CN111489397A - 一种成像设备标定方法以及装置 - Google Patents

一种成像设备标定方法以及装置 Download PDF

Info

Publication number
CN111489397A
CN111489397A CN201911316957.6A CN201911316957A CN111489397A CN 111489397 A CN111489397 A CN 111489397A CN 201911316957 A CN201911316957 A CN 201911316957A CN 111489397 A CN111489397 A CN 111489397A
Authority
CN
China
Prior art keywords
data
reference object
calibration reference
coordinate data
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911316957.6A
Other languages
English (en)
Inventor
孟伟
柯有华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201911316957.6A priority Critical patent/CN111489397A/zh
Publication of CN111489397A publication Critical patent/CN111489397A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种成像设备标定方法以及装置，该方法包括：获得标定参照物在待标定成像设备所摄取的视频数据中的运动轨迹数据；获得运动轨迹数据中的目标特征点的图像坐标数据；获得与目标特征点相对应的标定参照物的空间坐标数据；根据空间坐标数据和图像坐标数据，对待标定成像设备进行标定。通过使用该方法，可提升相机标定过程中世界坐标系下的三维空间点与像素平面的像素点之间的匹配效率和匹配准确性，使得相机标定过程更加简单、高效以及准确。

Description

一种成像设备标定方法以及装置
技术领域
本申请涉及计算机技术领域，具体涉及一种成像设备标定方法。本申请同时涉及一种成像设备标定装置以及一种电子设备。
背景技术
在计算机视觉、图像测量、三维场景重建等应用中，为了校正相机的镜头畸变、确定三维空间中的物理尺寸与图像的像素尺寸之间的换算关系、以及确定空间物体(或空间物体表面某点)的三维几何位置与该空间物体(或空间物体表面某点)在图像中对应的像素点的坐标之间的相互关系，需建立相机成像的几何模型，该几何模型的参数即为相机参数，求解相机参数的过程即为相机标定或摄像机标定，标定结果的精度及算法的稳定性直接影响相机工作的准确性。
现有的标定方法需使用尺寸已知的标定参照物，通过建立标定参照物上坐标已知的点与其在图像上的像素点之间的对应关系，利用预定算法获得相机模型的内外参数。该过程按照标定参照物的不同，可分为基于三维立体标靶的相机标定、基于二维平面靶标的相机标定、以及基于径向约束的相机标定等。
然而，上述标定方案存在以下问题：
现有的相机标定过程需针对每个待标定相机预先选取真实空间坐标与图像坐标之间的关联点，对于大场景(如机场，公路、交通枢纽、大型商场等)下的相机标定，由于存在大量摄像头参数需要标定，因此上述选取关联点的操作难度较大，导致相机标定复杂度较高、且较易受到人为因素的影响，难以保证相机标定的准确性。
发明内容
本申请提供一种成像设备标定方法，以解决现有相机标定复杂度较高、易受到人为因素的影响、难以保证相机标定的准确性的问题。本申请另外提供一种成像设备标定装置以及一种电子设备。
本申请提供一种成像设备标定方法，包括：
获得标定参照物在待标定成像设备所摄取的视频数据中的运动轨迹数据；
获得所述运动轨迹数据中的目标特征点的图像坐标数据；
获得与所述目标特征点相对应的所述标定参照物的空间坐标数据；
根据所述空间坐标数据和所述图像坐标数据，对所述待标定成像设备进行标定。
可选的，所述获得与所述目标特征点相对应的所述标定参照物的空间坐标数据，包括：获得与所述目标特征点在时间点上相匹配的空间坐标数据。
可选的，所述获得标定参照物在待标定成像设备所摄取的视频数据中的运动轨迹数据，包括：
获得所述待标定成像设备摄取的视频数据；
在所述视频数据中检测所述标定参照物；
对所述标定参照物进行跟踪，获得所述标定参照物在所述视频数据的每帧图像信息中的坐标信息；
根据所述标定参照物在所述视频数据的每帧图像信息中的坐标信息，获得所述标定参照物在所述待标定成像设备所摄取的视频数据中的运动轨迹数据。
可选的，所述获得所述待标定成像设备摄取的视频数据，包括：
当所述标定参照物在预设场景中按照预定运动方式运动时，获得所述待标定成像设备摄取的视频数据。
可选的，所述标定参照物在预设场景中按照预定运动方式运动，包括：
所述标定参照物在预设场景中按照可获得多个角点的方式进行运动。
可选的，所述标定参照物在预设场景中按照可获得多个角点的方式进行运动，包括：所述标定参照物在预设场景中的所述待标定成像设备的摄取范围内沿直线方向运动，并多次转向，以此获得多个角点。
可选的，所述标定参照物在预设场景中按照预定运动方式运动，包括：
所述标定参照物在预设场景中按照可获得多个运动起始时间点的方式进行运动。
可选的，所述标定参照物在预设场景中按照可获得多个运动起始时间点的方式进行运动，包括：
所述标定参照物在预设场景中的所述待标定成像设备的摄取范围内运动时，按照预定时间间隔停止运动，以此获得多个运动起始时间点。
可选的，所述获得所述待标定成像设备摄取的视频数据，包括：
当所述标定参照物在真实运动场景中运动时，获得所述待标定成像设备摄取的视频数据。
可选的，所述标定参照物为预知航班信息的飞机，所述真实运动场景为飞机场。
可选的，所述标定参照物的数量为多个。
可选的，所述根据所述空间坐标数据和所述图像坐标数据，对所述待标定成像设备进行标定，包括：
获得所述空间坐标数据与所述图像坐标数据的映射关系信息；
根据所述映射关系信息，获得所述待标定成像设备的参数信息。
可选的，所述获得所述运动轨迹数据中的目标特征点的图像坐标数据，包括：
获得所述运动轨迹数据的多个拐点；
将所述多个拐点确定为所述目标特征点，并将所述多个拐点的图像坐标数据确定为所述运动轨迹数据中的目标特征点的图像坐标数据。
可选的，所述获得所述运动轨迹数据中的目标特征点的图像坐标数据，包括：
获得所述运动轨迹数据的多个角点；
将所述多个角点确定为所述目标特征点，并将所述多个角点的图像坐标数据确定为所述运动轨迹数据中的目标特征点的图像坐标数据。
本申请还提供一种成像设备标定方法，包括：
获得标定参照物在预定时间段的空间运动轨迹数据；
获得所述标定参照物在所述预定时间段的图像轨迹数据，所述图像轨迹数据为所述标定参照物在待标定相机所摄取的视频数据中的轨迹数据；
获得所述空间运动轨迹数据的第一目标特征点，并获得所述图像轨迹数据中与所述第一目标特征点相匹配的第二目标特征点；
获得所述第一目标特征点的空间坐标数据和所述第二目标特征点的图像坐标数据；
根据所述空间坐标数据和所述图像坐标数据，对所述待标定相机进行标定。
本申请还提供一种成像设备标定装置，包括：
运动轨迹数据获得单元，用于获得标定参照物在待标定成像设备所摄取的视频数据中的运动轨迹数据；
图像坐标数据获得单元，用于获得所述运动轨迹数据中的目标特征点的图像坐标数据；
空间坐标数据获得单元，用于获得与所述目标特征点相对应的所述标定参照物的空间坐标数据；
标定单元，用于根据所述空间坐标数据和所述图像坐标数据，对所述待标定成像设备进行标定。
本申请还提供一种电子设备，包括：
处理器；
存储器，用于存储成像设备标定程序，所述程序在被所述处理器读取执行时，执行如下操作：
获得标定参照物在待标定成像设备所摄取的视频数据中的运动轨迹数据；
获得所述运动轨迹数据中的目标特征点的图像坐标数据；
获得与所述目标特征点相对应的所述标定参照物的空间坐标数据；
根据所述空间坐标数据和所述图像坐标数据，对所述待标定成像设备进行标定。
与现有技术相比，本申请具有以下优点：
本申请提供的成像设备标定方法，根据标定参照物在待标定成像设备所摄取的视频数据中的运动轨迹数据确定出对应的目标特征点，并获得该目标特征点的图像坐标信息，并将该目标特征点与标定参照物在三维空间中的位置信息进行匹配，获得与该目标特征点相对应的标定参照物的空间坐标数据，根据目标特征点的图像坐标信息和标定参照物的空间坐标数据，对待标定成像设备进行标定。通过使用该方法，可提升相机标定过程中世界坐标系下的三维空间点与像素平面的像素点之间的匹配效率和匹配准确性，使得相机标定过程更加简单、高效以及准确。
附图说明
图1是本申请第一实施例提供的成像设备标定方法的流程图；
图1-A是本申请第一实施例提供的场景示意图；
图2是本申请第二实施例提供的成像设备标定装置的单元框图；
图3是本申请第三实施例提供的电子设备的逻辑结构示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
针对成像设备的标定场景，为了降低成像设备标定过程中三维空间点与图像像素点之间的匹配过程的复杂度，提升成像设备的标定效率和准确性，本申请提供了一种成像设备标定方法、与该方法相对应的成像设备标定装置以及电子设备。以下提供实施例对所述方法、装置以及电子设备进行详细说明。
本申请第一实施例提供一种成像设备标定方法，该方法的应用主体可以为用于对成像设备进行标定的计算设备应用，图1为本申请第一实施例提供的成像设备标定方法的流程图，以下结合图1对本实施例提供的方法进行详细描述。以下描述所涉及的实施例是用来解释说明方法原理，不是实际使用的限定。
如图1所示，本实施例提供的成像设备标定方法包括如下步骤：
S101，获得标定参照物在待标定成像设备所摄取的视频数据中的运动轨迹数据。
在计算机视觉、图像测量、三维场景重建等应用中，为了校正相机的镜头畸变、确定三维空间中的物理尺寸与图像的像素尺寸之间的换算关系、以及确定空间物体(或空间物体表面某点)的三维几何位置与该空间物体(或空间物体表面某点)在图像中对应的像素点的坐标之间的相互关系，需建立相机成像的几何模型，该几何模型的参数即为相机参数，求解该参数的过程即为相机标定或摄像机标定。
在本实施例中，标定参照物指的是预先确定的处于待标定成像设备的摄取范围内的可移动对象，其用于在成像设备标定过程中获得相匹配的空间坐标信息和图像坐标信息，例如图1-A中所示，待标定成像设备为摄像机，该摄像机安置在机场，则该标定参照物可以为已确定航班信息的处于起飞或降落过程中的飞机；该摄像机安置在公路，则该标定参照物可以为行驶中的车辆；该摄像机安置在商场，则该标定参照物可以为安装有定位传感器的可移动机器人或佩戴有定位传感器的人。
当上述标定参照物处于运动过程中时，根据其真实位置信息的变化过程可实时产生相应的运动轨迹数据，即，随着标定参照物的真实位置信息的变化，其在每个时间点所对应的空间坐标信息也随之变化，关联后的空间坐标信息即为该标定参照物的空间运动轨迹数据。当待标定成像设备摄取到该标定参照物的运动过程后，所摄取的视频数据中同样包含该标定参照物的运动轨迹，且该视频数据中的运动轨迹与标定参照物在真实空间中的运动轨迹的形状相一致。
在本实施例中，如图1-A所示，标定参照物(起飞或降落中的飞机)的数量为多个。上述获得标定参照物在待标定成像设备所摄取的视频数据中的运动轨迹数据，具体包括如下过程：
A：获得待标定成像设备摄取的视频数据。例如，获得待标定摄像机所摄取的飞机起飞或降落的视频数据。在本实施例中，基于可获取标定参照物的空间坐标信息的难易程度的差异，获得待标定成像设备摄取的视频数据的方式有所不同。
针对机场、公路等室外场景，由于借助机场雷达、GPS定位技术等现有定位导航技术可较容易获取飞机、车辆等标定参照物的空间坐标信息，因此，可在飞机、车辆等标定参照物的真实运动场景中摄取视频数据，例如，当预知航班信息的飞机在起飞或降落时，通过安置于机场的待标定摄像机摄取针对该飞机的视频数据。
针对商场、医院等室内场景，可针对标定参照物预先设定运动方式，当所述标定参照物在预设场景中按照预定运动方式运动时，获得所述待标定成像设备摄取的视频数据，以此实现后续针对该标定参照物的准确定位。具体的，上述预定运动方式可以为：标定参照物在商场、医院等预设场景中按照可获得多个角点的方式进行运动，角点的位置坐标可用于对标定参照物进行准确定位，例如，指示安装有定位传感器的移动机器人在室内场景中的待标定摄像机的摄取范围内沿直线方向运动，并多次转向，以此获得多个角点，并获得多个角点对应的移动机器人的位置坐标。
在本实施例中，上述预定运动方式还可以为：标定参照物在预设场景中按照可获得多个运动起始时间点的方式进行运动。具体的，上述安装有定位传感器的移动机器人在预设场景中的所述待标定成像设备的摄取范围内运动时，按照预定时间间隔停止运动，以此获得多个运动起始时间点，并获得多个运动起始时间点所对应的移动机器人的位置坐标。
B：在所述视频数据中检测所述标定参照物。
在上述获取待标定摄像机所摄取的视频数据之后，还需针对该视频数据进行目标检测，以此识别出视频数据中的标定参照物。在本实施例中，该过程具体包含如下内容：
首先，对上述视频数据进行预处理，消除视频数据的图像帧中的无关信息，简化图像数据，从而提高视频数据中标定参照物的可检测性。例如，采用颜色空间变换、图像消噪以及图像增强等方式对视频数据进行预处理。颜色空间变换指的是图像处理过程中进行颜色模型间的转换，有利于提取视频图像的有效特征，例如，将RGB图像转换为灰度图像进行处理，可节省计算资源。图像消噪指的是采用高斯滤波、中值滤波、小波变换以及DCT变换滤波等方式消除视频图像中的噪声信息，避免因待标定摄像机的抖动、图像数字化、光线抖动等因素导致视频图像质量降低。图像增强指的是将视频数据中不清晰的图像帧变得清晰，以使该图像帧能够突出显示标定参照物，加强图像判读和识别的效果，可分为空域法和频域法，对于摄像机的在线标定场景，为了满足实时性的要求，采用空域内的直方图修正法做图像增强处理，用于改善图像的视觉效果，突出包含标定参照物的图像部分，便于后续的分析和处理。
其次，对上述预处理之后的视频数据进行运动目标检测。例如，采用光流法、帧差法以及背景差法等运动目标检测方法中的一种或多种检测获得视频数据中的标定参照物。其中，光流法利用灰度梯度不变或亮度恒定的约束假设来检测运动中的标定参照物，可在无需场景信息的情况下，检测独立运动的标定参照物。帧差法利用视频数据中相邻图像帧是否存在运动中的标定参照物时对应像素的变化情况实现标定参照物的检测。背景差法针对视频数据构造出背景图像，将当前待检测的图像帧与背景图像相减，将变化的区域判定为目标区域，并采用图像二值化处理方式将图像帧中标定参照物和背景图像分离出来，以此检测获得标定参照物。
C：对所述标定参照物进行跟踪，获得所述标定参照物在所述视频数据的每帧图像信息中的坐标信息。
在上述检测获得视频数据中的标定参照物之后，在连续的图像帧之间建立基于目标色彩、形状、纹理等有关特征的对应匹配，可用于跟踪获得运动中的标定参照物在视频数据的每帧图像中的坐标信息。例如，标定参照物为行驶的车辆，通过将该车辆的车牌信息在视频数据的连续的图像帧之间进行匹配，可实现对该车辆的跟踪，并通过运动目标搜索定位的方式获得该车辆在视频数据的每帧图像信息中的坐标信息。
D：根据所述标定参照物在所述视频数据的每帧图像信息中的坐标信息，获得所述标定参照物在所述待标定成像设备所摄取的视频数据中的运动轨迹数据。例如，将上述车辆在视频数据的每帧图像信息中的坐标信息进行关联拟合，具体可采用三次样条曲线拟合该车辆在视频数据的每帧图像信息中的坐标数据，获得该车辆在待标定摄像机所摄取的视频数据中的运动轨迹数据。
S102，获得所述运动轨迹数据中的目标特征点的图像坐标数据。
在上述步骤获得标定参照物在待标定成像设备所摄取的视频数据中的运动轨迹数据之后，本步骤用于获得该运动轨迹数据中的目标特征点，并获得该目标特征点在像素坐标系上的图像坐标数据。
在本实施例中，由于获得视频数据的方式包含针对室内场景和室外场景，因此，在获得运动轨迹数据中的目标特征点时，针对室内场景和室外场景分别对应不同类型的目标特征点，例如，针对机场、公路等室外场景，可获得运动轨迹数据的多个拐点，并将该多个拐点确定为目标特征点，并将该多个拐点的图像坐标数据确定为上述运动轨迹数据中的目标特征点的图像坐标数据。针对商场、医院等室内场景，可获得上述运动轨迹数据的多个角点，将该多个角点确定为目标特征点，并将该多个角点的图像坐标数据确定为上述运动轨迹数据中的目标特征点的图像坐标数据。
S103，获得与所述目标特征点相对应的所述标定参照物的空间坐标数据。
在上述步骤获得运动轨迹数据中的目标特征点在像素坐标系上的图像坐标数据之后，本步骤用于获得与上述目标特征点相对应的标定参照物在三维世界坐标系中的空间坐标数据。在本实施例中，该过程具体为获得与上述目标特征点在时间点上相匹配的空间坐标数据，该空间坐标数据为标定参照物在三维世界坐标系的空间坐标数据。即，在同一时间点，针对待标定摄像机所摄取的视频数据中的标定参照物的运动轨迹数据中的目标特征点，在真实三维空间中存在与该目标特征点相匹配的空间坐标数据。
在本实施例中，通过将标定参照物在运动过程中的空间坐标数据所对应的时间戳信息、与待标定摄像机在摄取上述视频数据中的目标特征点时所对应的时间戳信息进行匹配，即可获得与该目标特征点在时间点上相匹配的空间坐标数据。
在本实施例中，可通过现有的定位方式获得标定参照物在运动过程中的空间坐标数据。例如，标定参照物为飞机，可通过飞机的航班信息、机场雷达、GPS坐标、飞机的飞行高度等信息获得飞机在起飞或降落过程中的空间坐标数据以及对应的时间戳信息。再例如，标定参照物为上述室内场景中安装有定位传感器的智能机器人，可通过现有的SLAM(同步定位与地图构建，SimultaneousLocalization And Mapping)技术获得智能机器人的空间坐标数据以及对应的时间戳信息。当机器人运动时，其位置实时发生变化，根据机器人的定位传感器进行位置观测，提取到特征点(角点)的位置信息，然后将目前观测到的特征点的位置信息、机器人的运动距离、机器人运动前观测到的特征点的位置信息相互结合，对机器人当前位置和当前环境信息进行估计，获得机器人在各时间点所对应的空间坐标数据。
S104，根据所述空间坐标数据和所述图像坐标数据，对所述待标定成像设备进行标定。
在上述步骤获得目标特征点的图像坐标数据以及与该目标特征点在时间点上相匹配的标定参照物的空间坐标数据之后，本步骤用于根据上述图像坐标数据和空间坐标数据，对所述待标定成像设备进行标定，该过程具体包括如下内容：
首先，获得所述空间坐标数据与所述图像坐标数据的映射关系信息。例如，上述空间坐标数据为(Wx，Wy，Wz)，图像坐标数据为C＝(μ，v，1)，在标定参照物的真实世界高度未知的情况下，Wz＝0，用齐次坐标表示上述空间坐标W＝(x，y，1)，W和C的关系为：C＝HW，其中，H为单应变换矩阵，记为：
Figure BDA0002326093410000091
通过上述公式可得：
Figure BDA0002326093410000092
Figure BDA0002326093410000093
h＝[h11 h12 h13 h21 h22 h23 h31 h32 h33]T，
根据上述公式可得：
Figure BDA0002326093410000094
其次，根据上述映射关系信息，获得所述待标定成像设备的参数信息。例如，由h的参数信息的个数可知，h有8个自由度，至少需要4对以上在时间点上相匹配的空间坐标数据和图像坐标数据，才可进行参数求解。在本实施例中，采用Ransac算法进行h参数求解。
在标定参照物的真实世界高度已知的情况下，用齐次坐标将点P的空间坐标数据标记为P＝(X，Y，Z，1)T，与其在时间点上相匹配的图像坐标数据为(u，v，1)T。与单应矩阵的求解类似，此处定义3×4增广矩阵：T＝K(I，0)(R|t)，其中，K为待标定成像设备的内参矩阵，R和t记录该待标定成像设备的位姿信息，则有：
Figure BDA0002326093410000101
由上述公式可得：
Figure BDA0002326093410000102
T1＝(T11，T12，T13，T14)
T2＝(T21，T22，T23，T24)
T3＝(T31，T32，T33，T34)
则有：T1P-T3Pμ＝0；T2P-T3Pv＝0；
若有N个世界坐标系上的空间点(P1，P2......PN)与N个像素坐标系上的点(μ1，v1)，(μ2，v2)......(μN，vN)在时间点上相匹配，则有：
Figure BDA0002326093410000103
将T矩阵看作12个未知数，则至少需要6对以上在时间点上相匹配的空间坐标数据和图像坐标数据，才可求解出T。由矩阵乘法可知：
Figure BDA0002326093410000104
由于旋转矩阵R∈SO，K是一个上三角矩阵，可以用QR分解的方法求解出K，R。
由矩阵乘法可知：
Figure BDA0002326093410000105
通过上述内容可计算出待标定成像设备的世界坐标：Clocation＝-RTt。
在本实施例中，另外提供一种成像设备标定方法，该方法为基于上述实施例的扩展方案，该方法首先确定标定参照物在相同时间段内的空间运动轨迹数据和图像轨迹数据，并基于该空间运动轨迹数据和图像轨迹数据获得相互匹配的目标特征点，并基于目标特征点的坐标数据进行相机标定，该方法具体包括如下内容：
A、获得标定参照物在预定时间段的空间运动轨迹数据。
B、获得所述标定参照物在所述预定时间段的图像轨迹数据，所述图像轨迹数据为所述标定参照物在待标定相机所摄取的视频数据中的轨迹数据；即，获得标定参照物在相同时间段内的空间运动轨迹数据和图像轨迹数据。
C、获得所述空间运动轨迹数据的第一目标特征点，并获得所述图像轨迹数据中与所述第一目标特征点相匹配的第二目标特征点。例如，获得与第一目标特征点在时间点上相匹配的第二目标特征点。
D、获得所述第一目标特征点的空间坐标数据和所述第二目标特征点的图像坐标数据。
E、根据所述空间坐标数据和所述图像坐标数据，对所述待标定相机进行标定。该内容参见上述步骤S104，在此不再赘述。
在大型商场、交通枢纽、机场等安装有多个成像设备(图1-A中的摄像头)的场景中，利用计算机视觉做结构化分析或者事件分析时，需要了解目标对象或者事件的真实空间位置信息，例如图1-A中所示，通过多个摄像头对目标对象或者事件的空间位置做全局分析。为了实现上述过程，可在摄像头未安装前对摄像头进行手工标定，或者在摄像头上安装精密的位置和姿态传感器，以实时感知摄像头的精确地理位置和相机实时姿态，上述手工标定的过程对于新安装的摄像头是有效的，然而，对多个摄像头进行人工标定的复杂度过高、易受到人为因素的影响，难以保证相机标定的准确性；在摄像头上安装精密的位置和姿态传感器，其实现过程同样较为复杂，且投入成本较高。使用本实施例提供的方案，在利用多个摄像头对目标对象或者事件的空间位置做全局分析的过程中，可快速构建多个摄像头的视频数据和真实空间之间的对应关系，从而辅助业务系统构建事件发生、或者目标对象出现的真实地理信息，关联目标对象在多个摄像头下的轨迹，并做多个摄像头之间的事件联动，可高效准确地实现上述针对大型商场、交通枢纽、机场等通过多个成像设备(摄像头)对目标对象或者事件的空间位置做全局分析的场景中。
本实施例提供的成像设备标定方法，根据标定参照物在待标定成像设备所摄取的视频数据中的运动轨迹数据确定出对应的目标特征点，并获得该目标特征点的图像坐标信息，并将该目标特征点与标定参照物在三维空间中的位置信息进行匹配，获得与该目标特征点相对应的标定参照物的空间坐标数据，根据目标特征点的图像坐标信息和标定参照物的空间坐标数据，对待标定成像设备进行标定。通过使用该方法，可提升相机标定过程中世界坐标系下的三维空间点与像素平面的像素点之间的匹配效率和匹配准确性，使得相机标定过程更加简单、高效以及准确。
上述第一实施例提供了一种成像设备标定方法，与之相对应的，本申请第二实施例还提供了一种成像设备标定装置，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对装置实施例的描述仅仅是示意性的。
请参考图2理解该实施例，图2为本实施例提供的装置的单元框图，如图2所示，本实施例提供的装置包括：
运动轨迹数据获得单元201，用于获得标定参照物在待标定成像设备所摄取的视频数据中的运动轨迹数据；
图像坐标数据获得单元202，用于获得所述运动轨迹数据中的目标特征点的图像坐标数据；
空间坐标数据获得单元203，用于获得与所述目标特征点相对应的所述标定参照物的空间坐标数据；
标定单元204，用于根据所述空间坐标数据和所述图像坐标数据，对所述待标定成像设备进行标定。
可选的，所述获得与所述目标特征点相对应的所述标定参照物的空间坐标数据，包括：获得与所述目标特征点在时间点上相匹配的空间坐标数据。
可选的，所述获得标定参照物在待标定成像设备所摄取的视频数据中的运动轨迹数据，包括：
获得所述待标定成像设备摄取的视频数据；
在所述视频数据中检测所述标定参照物；
对所述标定参照物进行跟踪，获得所述标定参照物在所述视频数据的每帧图像信息中的坐标信息；
根据所述标定参照物在所述视频数据的每帧图像信息中的坐标信息，获得所述标定参照物在所述待标定成像设备所摄取的视频数据中的运动轨迹数据。
可选的，所述获得所述待标定成像设备摄取的视频数据，包括：
当所述标定参照物在预设场景中按照预定运动方式运动时，获得所述待标定成像设备摄取的视频数据。
可选的，所述标定参照物在预设场景中按照预定运动方式运动，包括：
所述标定参照物在预设场景中按照可获得多个角点的方式进行运动。
可选的，所述标定参照物在预设场景中按照可获得多个角点的方式进行运动，包括：所述标定参照物在预设场景中的所述待标定成像设备的摄取范围内沿直线方向运动，并多次转向，以此获得多个角点。
可选的，所述标定参照物在预设场景中按照预定运动方式运动，包括：
所述标定参照物在预设场景中按照可获得多个运动起始时间点的方式进行运动。
可选的，所述标定参照物在预设场景中按照可获得多个运动起始时间点的方式进行运动，包括：
所述标定参照物在预设场景中的所述待标定成像设备的摄取范围内运动时，按照预定时间间隔停止运动，以此获得多个运动起始时间点。
可选的，所述获得所述待标定成像设备摄取的视频数据，包括：
当所述标定参照物在真实运动场景中运动时，获得所述待标定成像设备摄取的视频数据。
可选的，所述标定参照物为预知航班信息的飞机，所述真实运动场景为飞机场。
可选的，所述标定参照物的数量为多个。
可选的，所述根据所述空间坐标数据和所述图像坐标数据，对所述待标定成像设备进行标定，包括：
获得所述空间坐标数据与所述图像坐标数据的映射关系信息；
根据所述映射关系信息，获得所述待标定成像设备的参数信息。
可选的，所述获得所述运动轨迹数据中的目标特征点的图像坐标数据，包括：
获得所述运动轨迹数据的多个拐点；
将所述多个拐点确定为所述目标特征点，并将所述多个拐点的图像坐标数据确定为所述运动轨迹数据中的目标特征点的图像坐标数据。
可选的，所述获得所述运动轨迹数据中的目标特征点的图像坐标数据，包括：
获得所述运动轨迹数据的多个角点；
将所述多个角点确定为所述目标特征点，并将所述多个角点的图像坐标数据确定为所述运动轨迹数据中的目标特征点的图像坐标数据。
在上述的实施例中，提供了一种成像设备标定方法以及一种成像设备标定装置，此外，本申请第三实施例还提供一种电子设备，由于电子设备实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对电子设备实施例的描述仅仅是示意性的。该电子设备实施例如下：
请参考图3理解本实施例，图3为本实施例提供的电子设备的示意图。
如图3所示，所述电子设备包括：处理器301；存储器302；
所述存储器302，用于存储成像设备标定程序，所述程序在被所述处理器读取执行时，执行如下操作：
获得标定参照物在待标定成像设备所摄取的视频数据中的运动轨迹数据；
获得所述运动轨迹数据中的目标特征点的图像坐标数据；
获得与所述目标特征点相对应的所述标定参照物的空间坐标数据；
根据所述空间坐标数据和所述图像坐标数据，对所述待标定成像设备进行标定。
可选的，所述获得与所述目标特征点相对应的所述标定参照物的空间坐标数据，包括：获得与所述目标特征点在时间点上相匹配的空间坐标数据。
可选的，所述获得标定参照物在待标定成像设备所摄取的视频数据中的运动轨迹数据，包括：
获得所述待标定成像设备摄取的视频数据；
在所述视频数据中检测所述标定参照物；
对所述标定参照物进行跟踪，获得所述标定参照物在所述视频数据的每帧图像信息中的坐标信息；
根据所述标定参照物在所述视频数据的每帧图像信息中的坐标信息，获得所述标定参照物在所述待标定成像设备所摄取的视频数据中的运动轨迹数据。
可选的，所述获得所述待标定成像设备摄取的视频数据，包括：
当所述标定参照物在预设场景中按照预定运动方式运动时，获得所述待标定成像设备摄取的视频数据。
可选的，所述标定参照物在预设场景中按照预定运动方式运动，包括：
所述标定参照物在预设场景中按照可获得多个角点的方式进行运动。
可选的，所述标定参照物在预设场景中按照可获得多个角点的方式进行运动，包括：所述标定参照物在预设场景中的所述待标定成像设备的摄取范围内沿直线方向运动，并多次转向，以此获得多个角点。
可选的，所述标定参照物在预设场景中按照预定运动方式运动，包括：
所述标定参照物在预设场景中按照可获得多个运动起始时间点的方式进行运动。
可选的，所述标定参照物在预设场景中按照可获得多个运动起始时间点的方式进行运动，包括：
所述标定参照物在预设场景中的所述待标定成像设备的摄取范围内运动时，按照预定时间间隔停止运动，以此获得多个运动起始时间点。
可选的，所述获得所述待标定成像设备摄取的视频数据，包括：
当所述标定参照物在真实运动场景中运动时，获得所述待标定成像设备摄取的视频数据。
可选的，所述标定参照物为预知航班信息的飞机，真实运动场景为飞机场。
可选的，所述标定参照物的数量为多个。
可选的，所述根据所述空间坐标数据和所述图像坐标数据，对所述待标定成像设备进行标定，包括：
获得所述空间坐标数据与所述图像坐标数据的映射关系信息；
根据所述映射关系信息，获得所述待标定成像设备的参数信息。
可选的，所述获得所述运动轨迹数据中的目标特征点的图像坐标数据，包括：获得所述运动轨迹数据的多个拐点；将所述多个拐点确定为所述目标特征点，并将所述多个拐点的图像坐标数据确定为所述运动轨迹数据中的目标特征点的图像坐标数据。
可选的，所述获得所述运动轨迹数据中的目标特征点的图像坐标数据，包括：获得所述运动轨迹数据的多个角点；将所述多个角点确定为所述目标特征点，并将所述多个角点的图像坐标数据确定为所述运动轨迹数据中的目标特征点的图像坐标数据。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

Claims (17)

1.一种成像设备标定方法，其特征在于，包括：
获得标定参照物在待标定成像设备所摄取的视频数据中的运动轨迹数据；
获得所述运动轨迹数据中的目标特征点的图像坐标数据；
获得与所述目标特征点相对应的所述标定参照物的空间坐标数据；
根据所述空间坐标数据和所述图像坐标数据，对所述待标定成像设备进行标定。
2.根据权利要求1所述的方法，其特征在于，所述获得与所述目标特征点相对应的所述标定参照物的空间坐标数据，包括：
获得与所述目标特征点在时间点上相匹配的所述标定参照物的空间坐标数据。
3.根据权利要求1所述的方法，其特征在于，所述获得标定参照物在待标定成像设备所摄取的视频数据中的运动轨迹数据，包括：
获得所述待标定成像设备摄取的视频数据；
在所述视频数据中检测所述标定参照物；
对所述标定参照物进行跟踪，获得所述标定参照物在所述视频数据的每帧图像信息中的坐标信息；
根据所述标定参照物在所述视频数据的每帧图像信息中的坐标信息，获得所述标定参照物在所述待标定成像设备所摄取的视频数据中的运动轨迹数据。
4.根据权利要求3所述的方法，其特征在于，所述获得所述待标定成像设备摄取的视频数据，包括：
当所述标定参照物在预设场景中按照预定运动方式运动时，获得所述待标定成像设备摄取的视频数据。
5.根据权利要求4所述的方法，其特征在于，所述标定参照物在预设场景中按照预定运动方式运动，包括：
所述标定参照物在预设场景中按照可获得多个角点的方式进行运动。
6.根据权利要求5所述的方法，其特征在于，所述标定参照物在预设场景中按照可获得多个角点的方式进行运动，包括：
所述标定参照物在预设场景中的所述待标定成像设备的摄取范围内沿直线方向运动，并多次转向，以此获得多个角点。
7.根据权利要求4所述的方法，其特征在于，所述标定参照物在预设场景中按照预定运动方式运动，包括：
所述标定参照物在预设场景中按照可获得多个运动起始时间点的方式进行运动。
8.根据权利要求7所述的方法，其特征在于，所述标定参照物在预设场景中按照可获得多个运动起始时间点的方式进行运动，包括：
所述标定参照物在预设场景中的所述待标定成像设备的摄取范围内运动时，按照预定时间间隔停止运动，以此获得多个运动起始时间点。
9.根据权利要求3所述的方法，其特征在于，所述获得所述待标定成像设备摄取的视频数据，包括：
当所述标定参照物在真实运动场景中运动时，获得所述待标定成像设备摄取的视频数据。
10.根据权利要求9所述的方法，其特征在于，所述标定参照物为预知航班信息的飞机，所述真实运动场景为飞机场。
11.根据权利要求1所述的方法，其特征在于，所述标定参照物的数量为多个。
12.根据权利要求1所述的方法，其特征在于，所述根据所述空间坐标数据和所述图像坐标数据，对所述待标定成像设备进行标定，包括：
获得所述空间坐标数据与所述图像坐标数据的映射关系信息；
根据所述映射关系信息，获得所述待标定成像设备的参数信息。
13.根据权利要求1所述的方法，其特征在于，所述获得所述运动轨迹数据中的目标特征点的图像坐标数据，包括：
获得所述运动轨迹数据的多个拐点；
将所述多个拐点确定为所述目标特征点，并将所述多个拐点的图像坐标数据确定为所述运动轨迹数据中的目标特征点的图像坐标数据。
14.根据权利要求1所述的方法，其特征在于，所述获得所述运动轨迹数据中的目标特征点的图像坐标数据，包括：
获得所述运动轨迹数据的多个角点；
将所述多个角点确定为所述目标特征点，并将所述多个角点的图像坐标数据确定为所述运动轨迹数据中的目标特征点的图像坐标数据。
15.一种成像设备标定方法，其特征在于，包括：
获得标定参照物在预定时间段的空间运动轨迹数据；
获得所述标定参照物在所述预定时间段的图像轨迹数据，所述图像轨迹数据为所述标定参照物在待标定相机所摄取的视频数据中的轨迹数据；
获得所述空间运动轨迹数据的第一目标特征点，并获得所述图像轨迹数据中与所述第一目标特征点相匹配的第二目标特征点；
获得所述第一目标特征点的空间坐标数据和所述第二目标特征点的图像坐标数据；
根据所述空间坐标数据和所述图像坐标数据，对所述待标定相机进行标定。
16.一种成像设备标定装置，其特征在于，包括：
运动轨迹数据获得单元，用于获得标定参照物在待标定成像设备所摄取的视频数据中的运动轨迹数据；
图像坐标数据获得单元，用于获得所述运动轨迹数据中的目标特征点的图像坐标数据；
空间坐标数据获得单元，用于获得与所述目标特征点相对应的所述标定参照物的空间坐标数据；
标定单元，用于根据所述空间坐标数据和所述图像坐标数据，对所述待标定成像设备进行标定。
17.一种电子设备，其特征在于，包括：
处理器；
存储器，用于存储成像设备标定程序，所述程序在被所述处理器读取执行时，执行如下操作：
获得标定参照物在待标定成像设备所摄取的视频数据中的运动轨迹数据；
获得所述运动轨迹数据中的目标特征点的图像坐标数据；
获得与所述目标特征点相对应的所述标定参照物的空间坐标数据；
根据所述空间坐标数据和所述图像坐标数据，对所述待标定成像设备进行标定。
CN201911316957.6A 2019-12-19 2019-12-19 一种成像设备标定方法以及装置 Pending CN111489397A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911316957.6A CN111489397A (zh) 2019-12-19 2019-12-19 一种成像设备标定方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911316957.6A CN111489397A (zh) 2019-12-19 2019-12-19 一种成像设备标定方法以及装置

Publications (1)

Publication Number Publication Date
CN111489397A true CN111489397A (zh) 2020-08-04

Family

ID=71794396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911316957.6A Pending CN111489397A (zh) 2019-12-19 2019-12-19 一种成像设备标定方法以及装置

Country Status (1)

Country Link
CN (1) CN111489397A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240754A (zh) * 2021-06-01 2021-08-10 亮风台（上海）信息科技有限公司 确定ptz摄像装置的内参的方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102294695A (zh) * 2010-06-25 2011-12-28 鸿富锦精密工业（深圳）有限公司 机器人标定方法及标定系统
WO2012145818A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
CN106204574A (zh) * 2016-07-07 2016-12-07 兰州理工大学 基于目标平面运动特征的相机位姿自标定方法
CN106251305A (zh) * 2016-07-29 2016-12-21 长春理工大学 一种基于惯性测量单元imu的实时电子稳像方法
CN108156450A (zh) * 2016-12-05 2018-06-12 罗伯特·博世有限公司 用于校准摄像机的方法、校准设备、校准系统以及机器可读的存储介质
JP2018157496A (ja) * 2017-03-21 2018-10-04 クラリオン株式会社 キャリブレーション装置
CN109345596A (zh) * 2018-09-19 2019-02-15 百度在线网络技术（北京）有限公司 多传感器标定方法、装置、计算机设备、介质和车辆
WO2019193859A1 (ja) * 2018-04-04 2019-10-10 コニカミノルタ株式会社 カメラ較正方法、カメラ較正装置、カメラ較正システムおよびカメラ較正プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102294695A (zh) * 2010-06-25 2011-12-28 鸿富锦精密工业（深圳）有限公司 机器人标定方法及标定系统
WO2012145818A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
CN106204574A (zh) * 2016-07-07 2016-12-07 兰州理工大学 基于目标平面运动特征的相机位姿自标定方法
CN106251305A (zh) * 2016-07-29 2016-12-21 长春理工大学 一种基于惯性测量单元imu的实时电子稳像方法
CN108156450A (zh) * 2016-12-05 2018-06-12 罗伯特·博世有限公司 用于校准摄像机的方法、校准设备、校准系统以及机器可读的存储介质
JP2018157496A (ja) * 2017-03-21 2018-10-04 クラリオン株式会社 キャリブレーション装置
WO2019193859A1 (ja) * 2018-04-04 2019-10-10 コニカミノルタ株式会社 カメラ較正方法、カメラ較正装置、カメラ較正システムおよびカメラ較正プログラム
CN109345596A (zh) * 2018-09-19 2019-02-15 百度在线网络技术（北京）有限公司 多传感器标定方法、装置、计算机设备、介质和车辆

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240754A (zh) * 2021-06-01 2021-08-10 亮风台（上海）信息科技有限公司 确定ptz摄像装置的内参的方法、装置、设备及存储介质
CN113240754B (zh) * 2021-06-01 2024-03-01 亮风台（上海）信息科技有限公司 确定ptz摄像装置的内参的方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111462200B (zh) 一种跨视频行人定位追踪方法、系统及设备
JP6095018B2 (ja) 移動オブジェクトの検出及び追跡
US9483703B2 (en) Online coupled camera pose estimation and dense reconstruction from video
CN110799918A (zh) 车辆用的方法、设备和计算机程序
US20150245020A1 (en) Image processing method, particularly used in a vision-based localization of a device
CN109472829B (zh) 一种物体定位方法、装置、设备和存储介质
US9934585B2 (en) Apparatus and method for registering images
CN112598743B (zh) 一种单目视觉图像的位姿估算方法及相关装置
CN109242900B (zh) 焦平面定位方法、处理装置、焦平面定位系统及存储介质
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
Ke et al. Roadway surveillance video camera calibration using standard shipping container
CN105225219B (zh) 信息处理方法及电子设备
CN111489397A (zh) 一种成像设备标定方法以及装置
Avola et al. Homography vs similarity transformation in aerial mosaicking: which is the best at different altitudes?
CN111489398B (zh) 一种成像设备标定方法以及装置
Liu et al. Outdoor camera calibration method for a GPS & camera based surveillance system
CN113450415B (zh) 一种成像设备标定方法以及装置
CN115294358A (zh) 特征点提取方法、装置、计算机设备及可读存储介质
Deng et al. Texture edge-guided depth recovery for structured light-based depth sensor
CN117115434A (zh) 数据分割装置和方法
Khosravani et al. Coregistration of kinect point clouds based on image and object space observations
CN114783172B (zh) 一种停车场空车位识别方法及系统、计算机可读存储介质
US20240112363A1 (en) Position estimation system, position estimation method, and program
US20240242318A1 (en) Face deformation compensating method for face depth image, imaging device, and storage medium
US11282280B2 (en) Method and system for node vectorisation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200804