CN114792343A - 图像获取设备的标定方法、获取图像数据的方法、装置 - Google Patents
图像获取设备的标定方法、获取图像数据的方法、装置 Download PDFInfo
- Publication number
- CN114792343A CN114792343A CN202210701375.5A CN202210701375A CN114792343A CN 114792343 A CN114792343 A CN 114792343A CN 202210701375 A CN202210701375 A CN 202210701375A CN 114792343 A CN114792343 A CN 114792343A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- image
- calibration
- information
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 100
- 238000002372 labelling Methods 0.000 claims abstract description 59
- 238000006243 chemical reaction Methods 0.000 claims abstract description 54
- 230000003287 optical effect Effects 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000013519 translation Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请提供一种图像获取设备的标定方法，一种获取图像数据的方法，以及与图像获取设备的标定方法、获取图像数据的方法对应的装置、电子设备以及计算机存储介质。由于在该标定方法中，通过获取安置有标定物的真实场景的图像信息以及点云图信息，并以标定物作为标定基准，可以快速获得摄像设备的内部参数以及反映摄像设备和激光雷达设备之间坐标转换关系的外部参数，标定方式较为快速简便。同时，利用标定的摄像设备的内部参数以及反映摄像设备和激光雷达设备之间坐标转换关系的外部参数，可以将点云图信息和图像信息建立对应关系，以调整点云图中用于标注目标物体的标注框，进而有助于准确标注点云图中的目标物体。
Description
技术领域
本申请涉及计算机领域，尤其涉及一种图像获取设备的标定方法、一种获取图像数据的方法，以及与图像获取设备的标定方法、获取图像数据的方法对应的装置、电子设备以及计算机存储介质。
背景技术
随着科技的日益进步，人们的生活方式也逐渐被科技改变了，智能化的生活让人们越来越便捷，现在智能化已经依靠人工智能、生物识别、物联网等技术慢慢运用到各行各业了。例如，在交通场景中，自动驾驶已成为当前研发过程中较为智能化的驾驶方式。在实现自动驾驶的过程中，需要对交通场景中的障碍物或者对象识别，以规划自动驾驶的路线。
具体地，在交通场景中，在对障碍物或者对象识别时，需要在交通场景中设置摄像设备与激光雷达设备，摄像设备负责采集交通场景中的图像，激光雷达设备负责采集交通场景中的点云数据。基于采集的交通场景中的图像与交通场景中的点云数据即可识别障碍物或者对象，在识别障碍物或者对象的过程中，需要用到摄像设备的内部参数以及反映摄像设备和激光雷达设备之间坐标转换关系的外部参数。因此，如何快速获得摄像设备的内部参数以及反映摄像设备和激光雷达设备之间坐标转换关系的外部参数成为自动驾驶场景中亟需解决的技术问题。
发明内容
本申请提供一种图像获取设备的标定方法，以解决如何快速获得摄像设备的内部参数以及反映摄像设备和激光雷达设备之间坐标转换关系的外部参数的技术问题，本申请还提供一种获取图像数据的方法，以及与图像获取设备的标定方法、获取图像数据的方法对应的装置、电子设备以及计算机存储介质。
本申请提供一种图像获取设备的标定方法，包括：
获取安置有标定物的真实场景的图像信息以及点云图信息；所述图像信息来自待标定的摄像设备，所述点云图信息来自待标定的点云图获取设备；
从所述图像信息中，提取所述标定物的标定点、特征点；以及，从所述点云图信息中，提取所述标定物的特征点；
基于所述标定点、以及标定物自身的尺寸参数，获得所述摄像设备的内部参数；
基于所述标定物的特征点分别在所述图像信息以及所述点云图信息中的位置，以及所述标定物自身的尺寸参数、所述摄像设备的内部参数，获取反映所述摄像设备和所述点云图获取设备之间坐标转换关系的外部参数。
可选的，所述从所述图像信息中，提取所述标定物的标定点，包括：
采用预设的角点检测算法对所述图像信息进行分析，确定所述标定物的标定点。
可选的，所述摄像设备的内部参数包括摄像设备的焦距、光心位置以及畸变参数；
所述基于所述标定点、以及标定物自身的尺寸参数，获得所述摄像设备的内部参数，包括：
基于所述标定物的标定点在所述图像信息中的位置，确定至少两个目标标定点在所述图像信息中的像素尺寸；
基于所述标定物自身的尺寸参数，获得所述至少两个目标标定点之间的实际距离；
基于所述至少两个目标标定点在所述图像信息中的像素尺寸与所述至少两个目标标定点之间的实际距离，确定摄像设备的焦距、光心位置以及畸变参数。
可选的，所述从所述点云图信息中，提取所述标定物的特征点，包括：
基于所述点云图信息，获取所述真实场景中用于表示标定物的点云信息；
基于所述真实场景中用于表示标定物的点云信息，确定用于表示标定物的点云的外接矩形；
将所述外接矩形的顶点作为所述标定物的特征点。
可选的，所述图像信息和所述点云图信息来自复数个图像和复数个点云图，不同的图像和点云图中，所述标定物安置在不同的位置；
所述基于所述点云图信息，获取真实场景中用于表示标定物的点云信息，包括：
去除所述点云图信息中的背景点云信息，获得所述真实场景中用于表示实体对象的点云信息；
在所述用于表示实体对象的点云信息中，筛选出移动过的实体对象对应的点云信息，作为所述用于表示标定物的点云信息。
可选的，所述标定物的特征点在所述图像信息中的位置包括所述标定物的顶点在图像中的像素位置；
所述标定物的顶点在图像中的像素位置采用如下方式获得：
基于所述图像信息，确定所述标定物在图像中的位姿；
根据所述标定物自身的尺寸参数、所述标定物在图像中的位姿以及所述摄像设备的内部参数，确定所述标定物的顶点在图像中的像素位置。
可选的，所述基于所述标定物的特征点分别在所述图像信息以及所述点云图信息中的位置，以及所述标定物自身的尺寸参数、所述摄像设备的内部参数，获取反映所述摄像设备和所述点云图获取设备之间坐标转换关系的外部参数，包括：
基于所述标定物的顶点在图像中的像素位置与预先建立的像素坐标系，确定顶点在像素坐标系中的坐标；
基于所述标定物的特征点在所述点云图信息中的位置与预先建立的点云坐标系，确定特征点在点云坐标系中的点云坐标；
基于所述顶点在像素坐标系中的坐标、所述特征点在点云坐标系中的点云坐标，以及所述标定物自身的尺寸参数、所述摄像设备的内部参数，获取反映所述摄像设备和所述点云图获取设备之间坐标转换关系的外部参数。
本申请提供一种获取图像数据的方法，包括：
获取从实际场景获取的图像信息以及点云图信息；所述图像信息、点云图信息分别来自经过联合标定的摄像设备、点云图获取设备；
根据点云图信息中的点云所呈现的轮廓特征，使用标注框对目标物体进行初步标注；
根据所述摄像设备的内部参数、所述摄像设备和所述点云图获取设备之间坐标转换关系的外部参数，将所述初步标注的标注框投射到图像信息中，获得在图像信息中的投射标注框；
根据所述投射标注框与图像信息中的目标物体图像的贴合程度，对所述投射标注框进行矫正；
根据矫正后的投射标注框反投射回所述点云图信息，获得对点云图信息中的目标物体的标注。
可选的，还包括：
根据所述摄像设备的内部参数、所述摄像设备和所述点云图获取设备之间坐标转换关系的外部参数，将所述轮廓特征对应的点云点投射到图像信息中，获得包含点云点标注的图像；
基于所述点云点在所述包含点云点标注的图像中的位置，判断是否需要重新调整所述摄像设备的内部参数、所述摄像设备和所述点云图获取设备之间坐标转换关系的外部参数。
可选的，如果所述点云点在图像中的位置使得点云点与所述图像信息中的目标物体的轮廓不贴合，则调整所述摄像设备的内部参数、所述摄像设备和所述点云图获取设备之间坐标转换关系的外部参数；
基于调整后的所述摄像设备的内部参数、调整后的所述摄像设备和所述点云图获取设备之间坐标转换关系的外部参数，重新将所述轮廓特征对应的点云点投射到图像信息中，直至点云点在图像中的位置使得点云点与所述图像信息中的目标物体的轮廓贴合。
可选的，所述根据矫正后的投射标注框反投射回所述点云图信息，获得对点云图信息中的目标物体的标注，包括：
根据所述摄像设备的内部参数、所述摄像设备和所述点云图获取设备之间坐标转换关系的外部参数，将所述矫正后的投射标注框反投射回所述点云图信息中，获得对点云图信息中的目标物体的标注。
可选的，所述根据所述投射标注框与图像信息中的目标物体图像的贴合程度，对所述投射标注框进行矫正，包括：
判断所述投射标注框是否与所述图像信息中的目标物体的轮廓贴合，如果否，调整投射标注框直至与目标物体的轮廓贴合，确定所述图像信息中矫正后的投射标注框。
本申请提供一种电子设备，包括：
处理器；
存储器，用于存储计算机程序，该计算机程序被处理器运行，执行上述图像获取设备的标定方法与获取图像数据的方法。
本申请提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，该计算机程序被处理器运行，执行上述图像获取设备的标定方法与获取图像数据的方法。
与现有技术相比，本申请实施例具有以下优点：
本申请提供一种图像获取设备的标定方法，由于在该方法中，在真实场景中放置标定物，获取安置有标定物的真实场景的图像信息以及点云图信息，即可快速从图像信息中提取标定物的标定点、特征点；以及，从点云图信息中提取标定物的特征点。之后即可基于标定点、以及标定物自身的尺寸参数，快速地获得摄像设备的内部参数；并基于标定物的特征点分别在图像信息以及点云图信息中的位置，以及标定物自身的尺寸参数、摄像设备的内部参数，即可快速地获取反映摄像设备和点云图获取设备之间坐标转换关系的外部参数。该方法通过在真实场景中放置标定物，并以标定物作为标定基准，可以快速获得摄像设备的内部参数以及反映摄像设备和激光雷达设备之间坐标转换关系的外部参数，标定方式较为简单。同时，利用标定的摄像设备的内部参数以及反映摄像设备和激光雷达设备之间坐标转换关系的外部参数，可以将点云图信息和图像信息建立对应关系，以调整点云图中用于标注目标物体的标注框，进而有助于准确标注点云图中的目标物体。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请提供的图像获取设备的标定方法的第一场景示意图。
图2为本申请提供的图像获取设备的标定方法的第二场景示意图。
图3为本申请提供的获取图像数据的方法的场景示意图。
图4为本申请第一实施例提供的图像获取设备的标定方法的流程图。
图5为本申请第二实施例提供的获取图像数据的方法的流程图。
图6为本申请第三实施例提供的图像获取设备的标定装置的示意图。
图7为本申请第四实施例提供的获取图像数据的装置的示意图。
图8为本申请第五实施例中提供的一种电子设备的示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此，本申请不受下面公开的具体实施的限制。
本申请提供图像获取设备的标定方法、获取图像数据的方法、装置、电子设备以及计算机存储介质。以下通过具体的实施例分别介绍图像获取设备的标定方法、获取图像数据的方法、装置、电子设备以及计算机存储介质。
本申请的图像获取设备的标定方法，可以运用在各种交通场景中。例如，在自动驾驶场景中，通过对图像获取设备进行标定，即可通过图像实现对真实交通场景中的实体对象进行识别和定位，以助于后续规划自动驾驶路径。
本申请的典型应用环境，是基于云端的智能交通；在此种场合下，道路上布置大量智能杆，通过其横杆可以安装各种交通视觉获取设备，在本申请中，主要关注的是安装在横杆上的实时图像获取设备，以及点云图获取设备，前者例如是摄像设备，后者例如是激光雷达；摄像设备获取可见光范围内的图像信息，该图像信息以视频或者图片的方式提供给位于云端的服务器，所述激光雷达用于发射激光，并接受物体对激光的反射，从而获得远处不同物体反射回的不同的激光，通过这些反射回来的信息，可以获得处于不同距离的反射激光的点，将这些点组合在一起可以形成点云图。点云图中的每个点都有其精准的三维坐标值，此外，由于不同物体的反射率不同，点云图中的每个点可以对应不同的反射率等相关参数，在点云图中表现为深浅不同的颜色。在智能交通中，需要获取实际交通中的大量点云图以及对应的图像，以便用于提供给智能交通服务器用于学习如何进行交通规划以及指挥无人车等；同时，由于摄像设备和点云图获取设备之间在内部性能的差异，以及外部安装位置的差异，两者获得的信息存在明显的差异，因此，需要对摄像设备和激光雷达设备进行联合标定，以便使同时获得的图像和点云图之间的对应关系能够准确的推导出来，从而提供给云服务器精确的、对应的信息，使其可以进行精确的智能交通控制。
在本申请中，标定，包括对图像获取设备自身的参数进行标定，以及，对不同类型的图像获取设备之间的坐标系转换关系进行标定。即：对图像获取设备标定之后，可以获取标定信息。通过对图像获取设备进行标定之后，通过获取的图像自身的信息以及标定信息，即可获取真实场景中实体对象的实际位置、实际尺寸、实际的姿态等相关信息。例如，在真实交通场景中，可以通过获取的真实交通场景的图像与标定信息，获取真实交通场景中的车辆的真实尺寸、位置以及距离目标对象的距离等信息。
以上述交通场景为例，主要采用两种类型的图像获取设备来获取图像：一类是摄像设备，一类是激光雷达设备。摄像设备一般用来获取真实交通场景的图像，激光雷达设备一般用来获取真实交通场景的点云图。在本申请中，真实交通场景的图像正如人们使用相机拍摄的影像图，具体到交通场景下，可以是指安装在某个固定高度位置的摄像设备拍摄的真实交通场景下的影像图；真实交通场景的点云图本质上是很多的点组成的图，所谓点云，在本申请中是通过激光雷达得到的对象外观表面的反射点的点数据集合。
如前所述，如果想通过真实交通场景的图像与点云图，获取真实交通场景中的车辆的真实尺寸、位置以及距离目标对象的距离等信息。需要对上述摄像设备的参数以及摄像设备与激光雷达设备之间的坐标系转换关系涉及的参数进行标定。
为了便于理解上述摄像设备的参数和摄像设备与激光雷达设备之间的坐标系转换关系涉及的参数，提供以下示例。
具体请参见图1，其为本申请提供的图像获取设备的标定方法的第一场景示意图。在图1中的左侧，把摄像设备看作是针孔，真实交通场景中的点P经过摄像设备的光心O，投影到物理成像平面上，变为点P'。
在图1中的右侧，将点P、点O以及点P'在空间的位置简化为相似三角形。
设O-x-y-z为摄像设备坐标系，z轴指向摄像设备的前方，x向右，y向下。O为光心，也是针孔。
设点P在真实世界点中的坐标为[X，Y，Z] T ，成像的点P'的坐标为[X'，Y'，Z'] T ，物理成像平面和光心的距离为f（即为焦距）。
根据右侧中的三角形相似关系，可以获得：
其中，上述公式中存在负号是因为坐标轴方向，也就表示了成的像是倒立的。为了便于表示上述公式，将成像平面从摄像设备的后面对称到前面去，上述公式可以变为：
进而可以获得：
基于此，就得到了P点与P'点的坐标关系。可以看出，X与X'之间的关系与焦距f以及距离Z有关。
此外，还需要将P'点放置到像素坐标系内。假设在物理成像平面上固定着像素平面o-u-v。像素坐标系通常采用如下方式定义：原点位于图像的左上角，u轴向右与x轴平行，v轴向下与y轴平行。设P'点在像素平面坐标系上的坐标为[u，v] T ，设P'点最终的像素坐标是在u轴上缩放α倍，在v轴上缩放了β倍。同时，原点平移了[c x ，c y ] T 。
因此可以得到P'与像素坐标的关系：
将上述的X'替换为用X表示，Y'替换为用Y表示，可得：
之后，采用f x ，f y 分别替换αf与βf，并采用齐次坐标把上述公式写成矩阵形式，最后可得：
也可以把Z写到等式左边去，上述公式就变成了：
在上述公式中，K即为摄像设备的内参矩阵，K为需要标定的摄像设备的内部参数的一部分。
在本申请中，如果需要反映摄像设备和点云图获取设备之间坐标转换关系的外部参数，则需要先将P点在点云坐标系中的坐标点P l 变换到摄像设备坐标系中的坐标点P c 。
假设P点在点云坐标系中的坐标用P l 表示，P点在摄像设备坐标系中的坐标用P c 表示，P l =[U，V，W，1]，经过旋转矩阵R的旋转和平移向量T的平移，变为：
在将其投影到像素坐标系中，可得如下公式：
其中，上述公式中Z为归一化参数，R为旋转矩阵（R1、R2和R3分别是R矩阵对应的第1-3列），T为平移向量，即R与T为需要标定的反映摄像设备和点云图获取设备之间坐标转换关系的外部参数。由于K即为已经标定的摄像设备的内部参数，并且P点在点云坐标系中的坐标、P点在像素坐标系中的坐标均为已知，则即可基于已知的P点在点云坐标系中的坐标、P点在像素坐标系中的坐标以及摄像设备的内部参数求取反映摄像设备和点云图获取设备之间坐标转换关系的外部参数。
具体标定摄像设备的内部参数，反映摄像设备和点云图获取设备之间坐标转换关系的外部参数的过程可以参见如下描述。
在本实施例中，在真实的场景中放置标定板以标定上述摄像设备的内部参数以及反映摄像设备和点云图获取设备之间坐标转换关系的外部参数。标定物可以是外表面上设置有黑白棋盘格的标定板，也可以是其他类型的标定物，例如，标定盘。
具体到交通场景中，标定板可以在被移动进而被放置在路面上的不同位置。在标定参数的过程中，首先，获取放置有标定物的真实交通场景的图像信息与点云图信息。基于图像信息，可以提取标定物的标定点、特征点；基于点云图信息中，可以提取标定物的特征点。具体地，标定点可以是黑白棋盘格中黑色格子与白色格子的交点，特征点可以是指标定物的顶点。
在提取标定点之后，基于该标定点、以及标定物自身的尺寸参数，即可获得摄像设备的内部参数。具体获得摄像设备的内部参数的过程如下：首先，基于标定物的标定点在图像信息中的位置，确定至少两个目标标定点在图像信息中的像素尺寸；之后，基于标定物自身的尺寸参数，获得至少两个目标标定点之间的实际距离；最终，基于至少两个目标标定点在图像信息中的像素尺寸与至少两个目标标定点之间的实际距离，确定摄像设备的焦距、光心位置以及畸变参数。
具体请参见图2，其为本申请提供的图像获取设备的标定方法的第二场景示意图。图中200的位置所示的点即为标定点，这些点即为黑白棋盘格中黑色格子与白色格子的交点。可以通过预设的角点检测算法对安置有标定物的真实场景的图像进行分析，以在图像中确定这些标定点。
棋盘格模板广泛应用在摄像设备的标定过程，常用的方法为通过建立棋盘格模板中标定点的图像坐标与对应世界坐标之间的关系来实现摄像设备的标定，也可以通过两个标定点间的像素尺寸与两个标定点间的实际尺寸之间的关系来实现摄像设备的标定。因此，棋盘格的角点的准确检测与否直接关系后续标定的摄像设备的参数。在实际中，可以采用常见的角点检测算法检测标定物的标定点，例如可以采用Shi-Tomasi角点检测算法检测标定物的标定点。在本申请中，不对角点检测算法的具体类型进行限定，只要能够基于获取的图像精确检测出标定物的标定点即可。
在确定角点之后，相当于确定了标定点。然后，就可以确定两个目标标定点在图像中的像素尺寸，由于标定板实际的尺寸是已知的，棋盘格中每个格子的尺寸相当于也是已知的，这样就可以获得这两个目标标定点在实际中的尺寸。基于两个目标标定点在图像中的像素尺寸以及两个目标标定点在实际中的尺寸，就可以确定摄像设备的焦距、光心位置以及畸变参数。摄像设备的焦距、光心位置以及畸变参数即为摄像设备的内部参数。
在确定摄像设备的内部参数之后，基于标定物的特征点分别在图像信息以及点云图信息中的位置，以及标定物自身的尺寸参数、摄像设备的内部参数，即可获取反映摄像设备和点云图获取设备之间坐标转换关系的外部参数。
由于在确定摄像设备的内部参数之前，已经确定了图像中的标定点、特征点，并从点云图中也确定了特征点（即标定物的顶点），基于顶点在像素坐标系中的坐标、特征点在点云坐标系中的点云坐标，以及标定物自身的尺寸参数、摄像设备的内部参数，即可获取反映摄像设备和点云图获取设备之间坐标转换关系的外部参数。
具体地，根据基于标定物的顶点在图像中的像素位置与预先建立的像素坐标系，可以确定顶点在像素坐标系中的坐标。
与此同时，基于标定物的特征点在点云图信息中的位置与预先建立的点云坐标系，可以确定特征点在点云坐标系中的点云坐标。
最终，基于顶点在像素坐标系中的坐标、顶点在点云坐标系中的点云坐标、标定物自身的尺寸参数、摄像设备的内部参数，即可获取反映摄像设备和点云图获取设备之间坐标转换关系的外部参数。
在确定上述内部参数与外部参数之后，即可基于内部参数与外部参数，确定对点云图信息中的目标物体的标注。即：上述获取的内部参数与外部参数用于后续获取图像数据的方法。具体地，请参见图3，其为本申请提供的获取图像数据的方法的场景示意图。
从图3中的左侧可以看出：在点云图中初步对一些物体标注了3D标注框，以示意出点云图中各个物体的轮廓。为了验证点云图中初步标注的3D标注框是否准确，即：验证初步标注的3D标注框与物体的实际轮廓是否贴合，基于上述获取的内部参数与外部参数，将初步标注的3D标注框投射到图像中，获得在图像中的投射标注框，实际上获得的是包含投射标注框的图像，即图3中右侧示意的图像。基于图3右侧示意的图像，可以很直观地看出投射标注框与图像中的目标物体轮廓的贴合程度，此时可以调整图像中的投射标注框的位置以及尺寸等，直至调整后的投射标注框与图像中的目标物体轮廓贴合。由于只有当投射标注框与图像中的目标物体轮廓的贴合时，将包含投射标注框的图像反投射回点云图时，反投射的点云图中的标注框才能准确标注目标物体，因此，将包含调整好的投射标注框的图像反投射回点云图时，点云图中对应的标注框能够准确标注目标物体。
上述介绍的图1至图3即为针对本申请的图像获取设备的标定方法与获取图像数据的方法的应用场景的图示，本申请的实施例中不对图像获取设备的标定方法与获取图像数据的方法的应用场景做具体的限定，上述图像获取设备的标定方法与获取图像数据的方法的应用场景，仅仅是本申请提供的图像获取设备的标定方法与获取图像数据的方法的应用场景的一个实施例，提供该应用场景实施例的目的是便于理解本申请提供的图像获取设备的标定方法与获取图像数据的方法，而并非用于限定本申请提供的图像获取设备的标定方法与获取图像数据的方法。本申请实施例对图像获取设备的标定方法与获取图像数据的方法的其它应用场景，不再一一赘述。
第一实施例
本申请第一实施例提供一种图像获取设备的标定方法，以下结合图4进行说明。需要说明的是，上述场景实施例是对本实施例的进一步举例以及详细说明，关于本实施例的一些详细介绍，请参见上述场景实施例。
请参照图4，其为本申请第一实施例提供的图像获取设备的标定方法的流程图。
本申请实施例的图像获取设备的标定方法，包括如下步骤：
步骤S401：获取安置有标定物的真实场景的图像信息以及点云图信息。
图像信息来自待标定的摄像设备，点云图信息来自待标定的点云图获取设备。
在本实施例中，摄像设备可以是指相机。点云图获取设备可以是指激光雷达设备。摄像设备与激光雷达设备可以固定在道路的上方，以采集交通场景的图像与交通场景的点云图。
在交通场景中，上述标定物可以移动，以安置在交通场景中的路面上的不同位置。标定物可以是外表面上设置有黑白棋盘格的标定板，也可以是其他类型的标定物，例如，标定盘。
步骤S402：从图像信息中，提取标定物的标定点、特征点；以及，从点云图信息中，提取标定物的特征点。
在获取图像信息与点云图信息之后，基于图像信息，可以提取标定物的标定点、特征点；基于点云图信息中，可以提取标定物的特征点。具体地，在本实施例中，所述标定物采用具有规定尺寸（常见规格为2米*2米）表面绘制了标准尺寸的黑白相交的正方形的格子，类似国际象棋棋盘，称为棋盘格；标定点一般选择黑白棋盘格中黑色格子与白色格子的相互斜向连接的直角角尖的交点，这些点由于为黑白两个具有显著差异的格子的尖角的连接点，其点位位置确定，且在可见光范围内，能够非常方便的从远处准确的确定这些点所在位置，因此，可以在摄像头获取的图像信息中准确确定；所述特征点，比较好的选择，是指标定板本身的四个角的顶点；这些点的特点是，可以采用激光雷达的点云信息准确确定其具体位置，因为激光雷达发出的激光而言，这些位置的点作为标定板和其环境的区分点，能够从其获得的点云信息中准确选取。由于上述标定点和特征点都具有显著性，并且其所在的标定板都有固定尺寸，因此，通过在图像或者点云图上通过确定这些点，可以准确获得图像或者点云图中摄取的点和真实世界的关系，从而计算摄像设备和激光雷达设备的相关参数。
作为从图像信息中，提取标定物的标定点的一种实施方式，可以是指：采用预设的角点检测算法对图像信息进行分析，确定标定物的标定点。可以采用常见的角点检测算法检测标定物的标定点，例如可以采用Shi-Tomasi角点检测算法检测标定物的标定点。在本申请中，不对角点检测算法的具体类型进行限定，只要能够基于获取的图像精确检测出标定物的标定点即可。
在本实施例中，从点云图信息中，提取标定物的特征点，可以是指提取标定物的顶点，将提取的标定物的顶点作为标定物的特征点。具体地，提取标定物的顶点的方式如下：首先，基于点云图信息，获取真实场景中用于表示标定物的点云信息；之后，基于真实场景中用于表示标定物的点云信息，确定用于表示标定物的点云的外接矩形；最后，将外接矩形的顶点作为标定物的顶点。
在本实施例中，由于将标定物的顶点作为标定物的特征点，因此从图像信息中，提取标定物的特征点，可以是指：提取标定物的顶点。作为从图像信息中，提取标定物的顶点的一种方式，可以是：首先，基于图像信息，确定标定物在图像中的位姿；之后，根据标定物自身的尺寸参数、标定物在图像中的位姿以及摄像设备的内部参数，确定标定物的顶点在图像中的像素位置。
在本实施例中，由于点云图信息是真实场景的点云图信息，还需要在真实场景的点云图信息中提取用于表示标定物的点云信息。由于标定物是可移动的，图像信息与点云图信息也不是来自一张图像与一个点云图。即：图像信息和点云图信息来自复数个图像和复数个点云图，在不同的图像和点云图中，标定物安置在真实场景中不同的位置。
作为基于点云图信息，获取真实场景中用于表示标定物的点云信息的一种实施方式：首先，去除点云图信息中的背景点云信息，获得真实场景中用于表示实体对象的点云信息；之后，在用于表示实体对象的点云信息中，筛选出移动过的实体对象对应的点云信息，作为用于表示标定物的点云信息。
具体地，上述背景点云信息可以是指一些除了目标物体以及标定板之外的背景对应的点云信息。例如，在真实交通场景中，路面的点云信息即为背景点云信息。在去除背景点云信息之后，仅剩余实体对象的点云信息。例如，在交通场景中，去除路面的点云之后，仅剩下路边的建筑、树木以及标定板等实体对象的点云。由于只有标定板是可移动的，因此，在用于表示实体对象的点云信息中，筛选出移动过的实体对象对应的点云信息，即可作为用于表示标定物的点云信息。
步骤S403：基于标定点、以及标定物自身的尺寸参数，获得摄像设备的内部参数。
在本实施例中，摄像设备的内部参数包括摄像设备的焦距、光心位置以及畸变参数。
作为基于标定点、以及标定物自身的尺寸参数，获得摄像设备的内部参数的一种实施例，可以按照如下方式：首先，基于标定物的标定点在图像信息中的位置，确定至少两个目标标定点在图像信息中的像素尺寸，例如，确定棋盘格中选中的两个角点的像素尺寸；之后，基于标定物自身的尺寸参数，获得至少两个目标标定点之间的实际距离，由于标定物自身的尺寸参数是已知的，每个棋盘格的尺寸也是已知的，这样就可以计算棋盘格中选中的两个角点的实际距离；最终，基于至少两个目标标定点在图像信息中的像素尺寸与至少两个目标标定点之间的实际距离，确定摄像设备的焦距、光心位置以及畸变参数。
上述确定焦距、光心位置以及畸变参数的过程，实际上对应求取内参矩阵K的过程，基于求取的内参矩阵K可以直接确定焦距，然后就可以确定光心位置，进而基于标定物自身的尺寸参数、包含有标定物的图像以及焦距、光心位置，确定畸变参数。
步骤S404：基于标定物的特征点分别在图像信息以及点云图信息中的位置，以及标定物自身的尺寸参数、摄像设备的内部参数，获取反映摄像设备和点云图获取设备之间坐标转换关系的外部参数。
在本实施例中，标定物的特征点在图像信息中的位置可以是指标定物的顶点在图像中的像素位置。具体地，可以采用如下方式获得标定物的顶点在图像中的像素位置：首先，基于图像信息，确定标定物在图像中的位姿；之后，根据标定物自身的尺寸参数、标定物在图像中的位姿以及摄像设备的内部参数，确定标定物的顶点在图像中的像素位置。
在从图像信息中，提取标定物的标定点、特征点；以及，从点云图信息中，提取标定物的特征点，并获取摄像设备的内部参数之后，基于标定物的特征点分别在图像信息以及点云图信息中的位置，以及标定物自身的尺寸参数、摄像设备的内部参数，获取反映摄像设备和点云图获取设备之间坐标转换关系的外部参数。
具体地，获取反映摄像设备和点云图获取设备之间坐标转换关系的外部参数可以按照如下方式。
首先，基于标定物的顶点在图像中的像素位置与预先建立的像素坐标系，确定顶点在像素坐标系中的坐标。
之后，基于标定物的特征点在点云图信息中的位置与预先建立的点云坐标系，确定特征点在点云坐标系中的点云坐标。
最终，基于顶点在像素坐标系中的坐标、特征点在点云坐标系中的点云坐标，以及标定物自身的尺寸参数、摄像设备的内部参数，即可获取反映摄像设备和点云图获取设备之间坐标转换关系的外部参数。
具体地，将特征点在点云坐标系中的点云坐标转换为特征点在摄像设备坐标系中的坐标，需要经过旋转矩阵R的旋转和平移向量T的平移。
假设P点在点云坐标系中的坐标用P l 表示，P点在摄像设备坐标系中的坐标用P c 表示，P l =[U，V，W，1]，经过旋转矩阵R的旋转和平移向量T的平移，变为：
在将其投影到像素坐标系中，可得如下公式：
其中，上述公式中Z为归一化参数，R为旋转矩阵，T为平移向量，即R与T为需要标定的反映摄像设备和点云图获取设备之间坐标转换关系的外部参数。由于K即为已经标定的摄像设备的内部参数，并且P点在点云坐标系中的坐标、P点在像素坐标系中的坐标均为已知，则即可基于已知的P点在点云坐标系中的坐标、P点在像素坐标系中的坐标以及摄像设备的内部参数求取反映摄像设备和点云图获取设备之间坐标转换关系的外部参数。
本申请提供一种图像获取设备的标定方法，由于在该方法中，在真实场景中放置标定物，获取安置有标定物的真实场景的图像信息以及点云图信息，即可快速从图像信息中提取标定物的标定点、特征点；以及，从点云图信息中提取标定物的特征点。之后即可基于标定点、以及标定物自身的尺寸参数，快速地获得摄像设备的内部参数；并基于标定物的特征点分别在图像信息以及点云图信息中的位置，以及标定物自身的尺寸参数、摄像设备的内部参数，即可快速地获取反映摄像设备和点云图获取设备之间坐标转换关系的外部参数。该方法通过在真实场景中放置标定物，并以标定物作为标定基准，可以快速获得摄像设备的内部参数以及反映摄像设备和激光雷达设备之间坐标转换关系的外部参数，标定方式较为简单。
第二实施例
本申请第二实施例提供一种获取图像数据的方法。该实施例利用第一实施例中获取的内部参数与外部参数，对图像以及点云图中的目标物体进行联合标注，以获取图像数据集，以下结合图5进行说明。需要说明的是，上述场景实施例是对本实施例的进一步举例以及详细说明，关于本实施例的一些详细介绍，请参见上述场景实施例。
请参照图5，其为本申请第二实施例提供的获取图像数据的方法的流程图。
本申请实施例的获取图像数据的方法，包括如下步骤：
步骤S501：获取从实际场景获取的图像信息以及点云图信息。
在本实施例中，图像信息、点云图信息分别来自经过联合标定的摄像设备、点云图获取设备。联合标定的摄像设备、点云图获取设备是指已经获取摄像设备的内部参数以及摄像设备和点云图获取设备之间坐标转换关系的外部参数。
步骤S502：根据点云图信息中的点云所呈现的轮廓特征，使用标注框对目标物体进行初步标注。
具体请参见图3，从图3中的左侧可以看出：在点云图中初步对一些物体标注了3D标注框，以示意出点云图中各个物体的轮廓。3D标注框即为初步标注的标注框。
所述3D标注框是在三维方向上的立方形框，用于框住被判定为某个被关注的物体所形成的点云阵列，这些点云阵列通过在点云图中的点云的聚集状态形成该被关注物体的外形轮廓。
步骤S503：根据摄像设备的内部参数、摄像设备和点云图获取设备之间坐标转换关系的外部参数，将初步标注的标注框投射到图像信息中，获得在图像信息中的投射标注框。
上述初步标注的3D标注框仅仅是根据点云图获得的，由于点云阵列本身与实际物体之间存在模糊的空间，并且，所述摄像设备和点云图获取设备之间具有一定的距离，因此，通过结合摄像设备获得的图像信息，可以矫正所述初步标注的3D标注框。
除此之外，在本实施例中，还包括：检测标定的内部参数与外部参数是否标定的准确。具体地，可以采用如下方式检测标定的内部参数与外部参数是否标定的准确：首先，根据摄像设备的内部参数、摄像设备和点云图获取设备之间坐标转换关系的外部参数，将轮廓特征对应的点云点投射到图像信息中，获得包含点云点标注的图像；之后，基于点云点在图像中的位置，判断是否需要重新调整摄像设备的内部参数、摄像设备和点云图获取设备之间坐标转换关系的外部参数。以上矫正的原因，是原始调校的摄像设备和激光雷达设备之间可能由于俯仰角度不断变化等原因，会有一些参数上的变化，可以通过上述方式，判断上次标定的参数是否准确，如果已经严重失准，则可以启动重新标定。由于实体对象的点云图与实体对象的图像是对应的，表示某个实体对象的点云点如果被投射到图像上，必然应该处于该实体对象的轮廓范围之内。这样才表明上述标定的内部参数与外部参数是准确可靠的。
假设不需要重新标定，则在本步骤中，可以使用摄像设备的内部参数、摄像设备和点云图获取设备之间坐标转换关系的外部参数，将初步标注的标注框投射到图像信息中，获得在图像信息中的投射标注框；如果投射标注框在图像中的位置与图像信息中的目标物体的轮廓不贴合，则调整对所述投射标注框进行调整，例如，平移或者调整其角度，总之，最终使投射标注框与图像中显示的物体基本吻合，吻合程度至少达到预先设定的阈值。
在获得最终调整后的摄像设备的内部参数、最终调整后的摄像设备和点云图获取设备之间坐标转换关系的外部参数之后，根据摄像设备的内部参数、摄像设备和点云图获取设备之间坐标转换关系的外部参数，将初步标注的标注框投射到图像信息中，获得在图像信息中的投射标注框，可以是指：根据最终调整后的摄像设备的内部参数、最终调整后的摄像设备和点云图获取设备之间坐标转换关系的外部参数，将初步标注的标注框投射到图像信息中，获得在图像信息中的投射标注框。获得在图像信息中的投射标注框实际是可以是指获得包含投射标注框的图像，基于包含投射标注框的图像获得图像信息中的投射标注框。
步骤S504：根据投射标注框与图像信息中的目标物体图像的贴合程度，对投射标注框进行矫正。
在本实施例中，在确定图像信息中的投射标注框之后，在基于投射标注框与图像信息中的目标物体图像的贴合程度，对投射标注框进行矫正的过程中，需要判断投射标注框是否与图像信息中的目标物体的轮廓贴合，具体地，如果投射标注框与图像信息中的目标物体的轮廓恰好贴合，则无需调整投射标注框；如果投射标注框与图像信息中的目标物体的轮廓不贴合，调整投射标注框直至与目标物体的轮廓贴合；调整方式包括对所述投射标注框进行位移、缩放或者转动。通过上述调整，在投射标注框与图像信息中的目标物体的轮廓贴合后，就可以确定矫正后的投射标注框在图像中的具体位置。确定图像信息中矫正后的投射标注框实际上也相当于确定了矫正后的投射标注框在图像中的位置。
步骤S505：根据矫正后的投射标注框反投射回点云图信息，获得对点云图信息中的目标物体的标注。
在本实施例中，作为根据矫正后的投射标注框反投射回点云图信息，获得对点云图信息中的目标物体的标注的一种方式：
根据最终调整后的摄像设备的内部参数、最终调整后的摄像设备和点云图获取设备之间坐标转换关系的外部参数、矫正后的投射标注框在图像中的位置，将矫正后的投射标注框反投射回点云图信息中，获得对点云图信息中的目标物体的标注。即：最终实际上是获得了标注了目标物体的点云图信息。例如，在交通场景中，最终获得了标注了汽车整个外形轮廓的点云图信息。通过上述反投射过程，就将图像中的信息代入了点云图，从而矫正了由于点云图本身的缺陷（点云图由一些列点组成，其轮框不够清晰）而造成的标注不够精准的问题。另外，客观上摄像设备在安装中和激光雷达等点云获取设备之间具有一定的安装距离，因此两者的视角存在差异，通过上述投射和反投射过程，也吸收了另一个视角的信息。
在本实施例中，利用标定的摄像设备的内部参数以及反映摄像设备和激光雷达设备之间坐标转换关系的外部参数，可以将点云图信息和图像信息建立对应关系，以联合图像与点云图的方式，来整点云图中用于标注目标物体的标注框，进而有助于准确标注点云图中的目标物体。进一步地，在本实施例中，确定了之前标定的内部参数与外部参数是否准确，以进一步使得最终标注的点云图中的目标物体更加准确。
第三实施例
与本申请第一实施例提供的图像获取设备的标定方法相对应的，本申请第三实施例还提供一种图像获取设备的标定装置。由于装置实施例基本类似于第一实施例，所以描述得比较简单，相关之处参见第一实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
请参照图6，其为本申请第三实施例提供的图像获取设备的标定装置的示意图。
该图像获取设备的标定装置600，包括：
初始图信息获取单元601，用于获取安置有标定物的真实场景的图像信息以及点云图信息；所述图像信息来自待标定的摄像设备，所述点云图信息来自待标定的点云图获取设备；
提取单元602，用于从所述图像信息中，提取所述标定物的标定点、特征点；以及，从所述点云图信息中，提取所述标定物的特征点；
内部参数获得单元603，用于基于所述标定点、以及标定物自身的尺寸参数，获得所述摄像设备的内部参数；
外部参数获得单元604，用于基于所述标定物的特征点分别在所述图像信息以及所述点云图信息中的位置，以及所述标定物自身的尺寸参数、所述摄像设备的内部参数，获取反映所述摄像设备和所述点云图获取设备之间坐标转换关系的外部参数。
可选的，所述提取单元，具体用于：采用预设的角点检测算法对所述图像信息进行分析，确定所述标定物的标定点。
可选的，所述摄像设备的内部参数包括摄像设备的焦距、光心位置以及畸变参数；
所述内部参数获得单元，具体用于：
基于所述标定物的标定点在所述图像信息中的位置，确定至少两个目标标定点在所述图像信息中的像素尺寸；
基于所述标定物自身的尺寸参数，获得所述至少两个目标标定点之间的实际距离；
基于所述至少两个目标标定点在所述图像信息中的像素尺寸与所述至少两个目标标定点之间的实际距离，确定摄像设备的焦距、光心位置以及畸变参数。
可选的，所述提取单元，具体用于：
基于所述点云图信息，获取所述真实场景中用于表示标定物的点云信息；
基于所述真实场景中用于表示标定物的点云信息，确定用于表示标定物的点云的外接矩形；
将所述外接矩形的顶点作为所述标定物的特征点。
可选的，所述图像信息和所述点云图信息来自复数个图像和复数个点云图，不同的图像和点云图中，所述标定物安置在不同的位置；
所述提取单元，具体用于：去除所述点云图信息中的背景点云信息，获得所述真实场景中用于表示实体对象的点云信息；
在所述用于表示实体对象的点云信息中，筛选出移动过的实体对象对应的点云信息，作为所述用于表示标定物的点云信息。
可选的，所述标定物的特征点在所述图像信息中的位置包括所述标定物的顶点在图像中的像素位置；
所述装置还包括：像素位置确定单元，具体用于：
基于所述图像信息，确定所述标定物在图像中的位姿；
根据所述标定物自身的尺寸参数、所述标定物在图像中的位姿以及所述摄像设备的内部参数，确定所述标定物的顶点在图像中的像素位置。
可选的，所述内部参数获得单元，具体用于：
基于所述标定物的顶点在图像中的像素位置与预先建立的像素坐标系，确定顶点在像素坐标系中的坐标；
基于所述标定物的特征点在所述点云图信息中的位置与预先建立的点云坐标系，确定特征点在点云坐标系中的点云坐标；
基于所述顶点在像素坐标系中的坐标、所述特征点在点云坐标系中的点云坐标，以及所述标定物自身的尺寸参数、所述摄像设备的内部参数，获取反映所述摄像设备和所述点云图获取设备之间坐标转换关系的外部参数。
第四实施例
与本申请第二实施例提供的获取图像数据的方法相对应的，本申请第四实施例还提供一种获取图像数据的装置。由于装置实施例基本类似于第二实施例，所以描述得比较简单，相关之处参见第二实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
请参照图7，其为本申请第四实施例提供的获取图像数据的装置的示意图。
该获取图像数据的装置700，包括：
图信息获得单元701，用于获取从实际场景获取的图像信息以及点云图信息；所述图像信息、点云图信息分别来自经过联合标定的摄像设备、点云图获取设备；
初步标注单元702，用于根据点云图信息中的点云所呈现的轮廓特征，使用标注框对目标物体进行初步标注；
投射单元703，用于根据所述摄像设备的内部参数、所述摄像设备和所述点云图获取设备之间坐标转换关系的外部参数，将所述初步标注的标注框投射到图像信息中，获得在图像信息中的投射标注框；
矫正单元704，用于根据所述投射标注框与图像信息中的目标物体图像的贴合程度，对所述投射标注框进行矫正；
反投射单元705，用于根据矫正后的投射标注框反投射回所述点云图信息，获得对点云图信息中的目标物体的标注。
可选的，还包括：判断单元，具体用于：根据所述摄像设备的内部参数、所述摄像设备和所述点云图获取设备之间坐标转换关系的外部参数，将所述轮廓特征对应的点云点投射到图像信息中，获得包含点云点标注的图像；
基于所述点云点在所述包含点云点标注的图像中的位置，判断是否需要重新调整所述摄像设备的内部参数、所述摄像设备和所述点云图获取设备之间坐标转换关系的外部参数。
可选的，重新投射单元，用于如果所述点云点在图像中的位置使得点云点与所述图像信息中的目标物体的轮廓不贴合，则调整所述摄像设备的内部参数、所述摄像设备和所述点云图获取设备之间坐标转换关系的外部参数；
基于调整后的所述摄像设备的内部参数、调整后的所述摄像设备和所述点云图获取设备之间坐标转换关系的外部参数，重新将所述轮廓特征对应的点云点投射到图像信息中，直至点云点在图像中的位置使得点云点与所述图像信息中的目标物体的轮廓贴合。
可选的，所反投射单元，具体用于：
根据所述摄像设备的内部参数、所述摄像设备和所述点云图获取设备之间坐标转换关系的外部参数，将所述矫正后的投射标注框反投射回所述点云图信息中，获得对点云图信息中的目标物体的标注。
可选的，所述矫正单元，具体用于：
判断所述投射标注框是否与所述图像信息中的目标物体的轮廓贴合，如果否，调整投射标注框直至与目标物体的轮廓贴合，确定所述图像信息中矫正后的投射标注框。
第五实施例
与本申请第一实施例以及第二实施例的方法相对应的，本申请第五实施例还提供一种电子设备。
如图8所示，图8为本申请第五实施例中提供的一种电子设备的示意图。
在本实施例中，该电子设备800的一种可选硬件结构可如图8所示，包括：至少一个处理器801，至少一个存储器802和至少一个通信总线805；存储器802中包含有程序803与数据804。
总线805可以是在电子设备800内部的组件之间传输数据的通信设备，诸如内部总线（例如，CPU-存储器总线）、外部总线（例如，通用串行总线端口、外围组件互连快速端口）等。
另外，电子设备中还包括：至少一个网络接口806，至少一个外设接口807。网络接口806以提供与外部网络808（例如，因特网、内联网、局域网、移动通信网络等）相关的有线或无线通信；在一些实施例中，网络接口806可以包括任意数量的网络接口控制器(NIC)、射频(RF)模块、转发器、收发器、调制解调器、路由器、网关、有线网络适配器的任意组合、无线网络适配器、蓝牙适配器、红外适配器、近场通信（“NFC”）适配器、蜂窝网络芯片等。
外设接口807用于与外设连接，外设可以如图中的外设1（图8中的809）、外设2（图8中的810）以及外设3（图8中的811）。外设即外围设备，外围设备可以包括但不限于光标控制设备（例如鼠标、触摸板或触摸屏）、键盘、显示器（例如阴极射线管显示器、液晶显示器）。显示器或发光二极管显示器、视频输入设备（例如，摄像机或通信耦合到视频档案的输入接口）等。
处理器801可能是CPU，或者是特定集成电路ASIC（Application SpecificIntegrated Circuit），或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器802可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。
其中，处理器801调用存储器802所存储的程序与数据，以执行本申请实施例提供的图像获取设备的标定方法与获取图像数据的方法。
第六实施例
与本申请第一实施例以及第二实施例的方法相对应的，本申请第六实施例还提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，该计算机程序被处理器运行，以执行本申请实施例提供的图像获取设备的标定方法与获取图像数据的方法。
在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器(ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读存储媒体(non-transitorycomputer readable storage media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
Claims (14)
1.一种图像获取设备的标定方法，其特征在于，包括：
获取安置有标定物的真实场景的图像信息以及点云图信息；所述图像信息来自待标定的摄像设备，所述点云图信息来自待标定的点云图获取设备；
从所述图像信息中，提取所述标定物的标定点、特征点；以及，从所述点云图信息中，提取所述标定物的特征点；
基于所述标定点、以及标定物自身的尺寸参数，获得所述摄像设备的内部参数；
基于所述标定物的特征点分别在所述图像信息以及所述点云图信息中的位置，以及所述标定物自身的尺寸参数、所述摄像设备的内部参数，获取反映所述摄像设备和所述点云图获取设备之间坐标转换关系的外部参数。
2.根据权利要求1所述的图像获取设备的标定方法，其特征在于，所述从所述图像信息中，提取所述标定物的标定点，包括：
采用预设的角点检测算法对所述图像信息进行分析，确定所述标定物的标定点。
3.根据权利要求2所述的图像获取设备的标定方法，其特征在于，所述摄像设备的内部参数包括摄像设备的焦距、光心位置以及畸变参数；
所述基于所述标定点、以及标定物自身的尺寸参数，获得所述摄像设备的内部参数，包括：
基于所述标定物的标定点在所述图像信息中的位置，确定至少两个目标标定点在所述图像信息中的像素尺寸；
基于所述标定物自身的尺寸参数，获得所述至少两个目标标定点之间的实际距离；
基于所述至少两个目标标定点在所述图像信息中的像素尺寸与所述至少两个目标标定点之间的实际距离，确定摄像设备的焦距、光心位置以及畸变参数。
4.根据权利要求1所述的图像获取设备的标定方法，其特征在于，所述从所述点云图信息中，提取所述标定物的特征点，包括：
基于所述点云图信息，获取所述真实场景中用于表示标定物的点云信息；
基于所述真实场景中用于表示标定物的点云信息，确定用于表示标定物的点云的外接矩形；
将所述外接矩形的顶点作为所述标定物的特征点。
5.根据权利要求4所述的图像获取设备的标定方法，其特征在于，所述图像信息和所述点云图信息来自复数个图像和复数个点云图，不同的图像和点云图中，所述标定物安置在不同的位置；
所述基于所述点云图信息，获取真实场景中用于表示标定物的点云信息，包括：
去除所述点云图信息中的背景点云信息，获得所述真实场景中用于表示实体对象的点云信息；
在所述用于表示实体对象的点云信息中，筛选出移动过的实体对象对应的点云信息，作为所述用于表示标定物的点云信息。
6.根据权利要求1所述的图像获取设备的标定方法，其特征在于，所述标定物的特征点在所述图像信息中的位置包括所述标定物的顶点在图像中的像素位置；
所述标定物的顶点在图像中的像素位置采用如下方式获得：
基于所述图像信息，确定所述标定物在图像中的位姿；
根据所述标定物自身的尺寸参数、所述标定物在图像中的位姿以及所述摄像设备的内部参数，确定所述标定物的顶点在图像中的像素位置。
7.根据权利要求6所述的图像获取设备的标定方法，其特征在于，所述基于所述标定物的特征点分别在所述图像信息以及所述点云图信息中的位置，以及所述标定物自身的尺寸参数、所述摄像设备的内部参数，获取反映所述摄像设备和所述点云图获取设备之间坐标转换关系的外部参数，包括：
基于所述标定物的顶点在图像中的像素位置与预先建立的像素坐标系，确定顶点在像素坐标系中的坐标；
基于所述标定物的特征点在所述点云图信息中的位置与预先建立的点云坐标系，确定特征点在点云坐标系中的点云坐标；
基于所述顶点在像素坐标系中的坐标、所述特征点在点云坐标系中的点云坐标，以及所述标定物自身的尺寸参数、所述摄像设备的内部参数，获取反映所述摄像设备和所述点云图获取设备之间坐标转换关系的外部参数。
8.一种获取图像数据的方法，其特征在于，包括：
获取从实际场景获取的图像信息以及点云图信息；所述图像信息、点云图信息分别来自经过联合标定的摄像设备、点云图获取设备；
根据点云图信息中的点云所呈现的轮廓特征，使用标注框对目标物体进行初步标注；
根据所述摄像设备的内部参数、所述摄像设备和所述点云图获取设备之间坐标转换关系的外部参数，将所述初步标注的标注框投射到图像信息中，获得在图像信息中的投射标注框；
根据所述投射标注框与图像信息中的目标物体图像的贴合程度，对所述投射标注框进行矫正；
根据矫正后的投射标注框反投射回所述点云图信息，获得对点云图信息中的目标物体的标注。
9.根据权利要求8所述的获取图像数据的方法，其特征在于，还包括：
根据所述摄像设备的内部参数、所述摄像设备和所述点云图获取设备之间坐标转换关系的外部参数，将所述轮廓特征对应的点云点投射到图像信息中，获得包含点云点标注的图像；
基于所述点云点在所述包含点云点标注的图像中的位置，判断是否需要重新调整所述摄像设备的内部参数、所述摄像设备和所述点云图获取设备之间坐标转换关系的外部参数。
10.根据权利要求9所述的获取图像数据的方法，其特征在于，如果所述点云点在图像中的位置使得点云点与所述图像信息中的目标物体的轮廓不贴合，则调整所述摄像设备的内部参数、所述摄像设备和所述点云图获取设备之间坐标转换关系的外部参数；
基于调整后的所述摄像设备的内部参数、调整后的所述摄像设备和所述点云图获取设备之间坐标转换关系的外部参数，重新将所述轮廓特征对应的点云点投射到图像信息中，直至点云点在图像中的位置使得点云点与所述图像信息中的目标物体的轮廓贴合。
11.根据权利要求8所述的获取图像数据的方法，其特征在于，所述根据矫正后的投射标注框反投射回所述点云图信息，获得对点云图信息中的目标物体的标注，包括：
根据所述摄像设备的内部参数、所述摄像设备和所述点云图获取设备之间坐标转换关系的外部参数，将所述矫正后的投射标注框反投射回所述点云图信息中，获得对点云图信息中的目标物体的标注。
12.根据权利要求8所述的获取图像数据的方法，其特征在于，所述根据所述投射标注框与图像信息中的目标物体图像的贴合程度，对所述投射标注框进行矫正，包括：
判断所述投射标注框是否与所述图像信息中的目标物体的轮廓贴合，如果否，调整投射标注框直至与目标物体的轮廓贴合，确定所述图像信息中矫正后的投射标注框。
13.一种电子设备，其特征在于，包括：
处理器；
存储器，用于存储计算机程序，该计算机程序被处理器运行，执行权利要求1-12任意一项所述的方法。
14.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，该计算机程序被处理器运行，执行权利要求1-12任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210701375.5A CN114792343B (zh) | 2022-06-21 | 2022-06-21 | 图像获取设备的标定方法、获取图像数据的方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210701375.5A CN114792343B (zh) | 2022-06-21 | 2022-06-21 | 图像获取设备的标定方法、获取图像数据的方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114792343A true CN114792343A (zh) | 2022-07-26 |
| CN114792343B CN114792343B (zh) | 2022-09-30 |
Family
ID=82462802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210701375.5A Active CN114792343B (zh) | 2022-06-21 | 2022-06-21 | 图像获取设备的标定方法、获取图像数据的方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114792343B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115797468A (zh) * | 2023-02-03 | 2023-03-14 | 厦门农芯数字科技有限公司 | 一种鱼眼摄像头安装高度的自动校正方法、装置以及设备 |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103471523A (zh) * | 2013-09-30 | 2013-12-25 | 北京林业大学 | 一种拟南芥轮廓表型的检测方法 |
| CN103837869A (zh) * | 2014-02-26 | 2014-06-04 | 北京工业大学 | 基于向量关系的单线激光雷达和ccd相机标定方法 |
| CN109920011A (zh) * | 2019-05-16 | 2019-06-21 | 长沙智能驾驶研究院有限公司 | 激光雷达与双目摄像头的外参标定方法、装置及设备 |
| CN109978955A (zh) * | 2019-03-11 | 2019-07-05 | 武汉环宇智行科技有限公司 | 一种联合激光点云与图像的高效标注方法 |
| CN110363158A (zh) * | 2019-07-17 | 2019-10-22 | 浙江大学 | 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法 |
| CN110542376A (zh) * | 2019-06-12 | 2019-12-06 | 烟台大学 | 一种用于定位adas标定目标板放置位置的装置和定位方法 |
| CN110598743A (zh) * | 2019-08-12 | 2019-12-20 | 北京三快在线科技有限公司 | 一种目标对象的标注方法和装置 |
| TW202020814A (zh) * | 2018-11-19 | 2020-06-01 | 國立交通大學 | 建築資訊模型與數值地形模型之整合系統及其整合方法 |
| CN112700552A (zh) * | 2020-12-31 | 2021-04-23 | 华为技术有限公司 | 三维物体检测方法、装置、电子设备及介质 |
| WO2021114884A1 (zh) * | 2019-12-11 | 2021-06-17 | 杭州海康威视数字技术股份有限公司 | 点云标注方法、装置、系统、设备及存储介质 |
| CN113345031A (zh) * | 2021-06-23 | 2021-09-03 | 地平线征程(杭州)人工智能科技有限公司 | 多摄像设备外参标定设备和方法、存储介质、电子设备 |
| CN113362363A (zh) * | 2021-06-18 | 2021-09-07 | 广东工业大学 | 一种基于视觉slam的图像自动标注方法、装置及存储介质 |
| TW202138757A (zh) * | 2020-03-24 | 2021-10-16 | 日商松下知識產權經營股份有限公司 | 尺寸測量方法及尺寸測量裝置 |
| CN113592897A (zh) * | 2020-04-30 | 2021-11-02 | 初速度（苏州）科技有限公司 | 一种点云数据的标注方法及装置 |
| US20220028097A1 (en) * | 2020-07-21 | 2022-01-27 | Jorjin Technologies Inc. | Image capturing and depth alignment method |
| CN114076937A (zh) * | 2020-08-20 | 2022-02-22 | 北京万集科技股份有限公司 | 激光雷达与相机联合标定方法和装置、服务器、计算机可读存储介质 |
| CN114219850A (zh) * | 2021-11-16 | 2022-03-22 | 英博超算(南京)科技有限公司 | 一种应用360全景环视技术的车辆测距系统 |
| CN114332689A (zh) * | 2021-12-14 | 2022-04-12 | 中国科学院合肥物质科学研究院 | 一种柑橘识别定位方法、装置、设备及存储介质 |
| CN114494453A (zh) * | 2021-12-29 | 2022-05-13 | 劢微机器人科技(深圳)有限公司 | 基于雷达和相机的自动装卸车方法及自动装卸车系统 |
-
2022
- 2022-06-21 CN CN202210701375.5A patent/CN114792343B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103471523A (zh) * | 2013-09-30 | 2013-12-25 | 北京林业大学 | 一种拟南芥轮廓表型的检测方法 |
| CN103837869A (zh) * | 2014-02-26 | 2014-06-04 | 北京工业大学 | 基于向量关系的单线激光雷达和ccd相机标定方法 |
| TW202020814A (zh) * | 2018-11-19 | 2020-06-01 | 國立交通大學 | 建築資訊模型與數值地形模型之整合系統及其整合方法 |
| CN109978955A (zh) * | 2019-03-11 | 2019-07-05 | 武汉环宇智行科技有限公司 | 一种联合激光点云与图像的高效标注方法 |
| CN109920011A (zh) * | 2019-05-16 | 2019-06-21 | 长沙智能驾驶研究院有限公司 | 激光雷达与双目摄像头的外参标定方法、装置及设备 |
| CN110542376A (zh) * | 2019-06-12 | 2019-12-06 | 烟台大学 | 一种用于定位adas标定目标板放置位置的装置和定位方法 |
| CN110363158A (zh) * | 2019-07-17 | 2019-10-22 | 浙江大学 | 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法 |
| CN110598743A (zh) * | 2019-08-12 | 2019-12-20 | 北京三快在线科技有限公司 | 一种目标对象的标注方法和装置 |
| WO2021114884A1 (zh) * | 2019-12-11 | 2021-06-17 | 杭州海康威视数字技术股份有限公司 | 点云标注方法、装置、系统、设备及存储介质 |
| TW202138757A (zh) * | 2020-03-24 | 2021-10-16 | 日商松下知識產權經營股份有限公司 | 尺寸測量方法及尺寸測量裝置 |
| CN113592897A (zh) * | 2020-04-30 | 2021-11-02 | 初速度（苏州）科技有限公司 | 一种点云数据的标注方法及装置 |
| US20220028097A1 (en) * | 2020-07-21 | 2022-01-27 | Jorjin Technologies Inc. | Image capturing and depth alignment method |
| CN114076937A (zh) * | 2020-08-20 | 2022-02-22 | 北京万集科技股份有限公司 | 激光雷达与相机联合标定方法和装置、服务器、计算机可读存储介质 |
| CN112700552A (zh) * | 2020-12-31 | 2021-04-23 | 华为技术有限公司 | 三维物体检测方法、装置、电子设备及介质 |
| CN113362363A (zh) * | 2021-06-18 | 2021-09-07 | 广东工业大学 | 一种基于视觉slam的图像自动标注方法、装置及存储介质 |
| CN113345031A (zh) * | 2021-06-23 | 2021-09-03 | 地平线征程(杭州)人工智能科技有限公司 | 多摄像设备外参标定设备和方法、存储介质、电子设备 |
| CN114219850A (zh) * | 2021-11-16 | 2022-03-22 | 英博超算(南京)科技有限公司 | 一种应用360全景环视技术的车辆测距系统 |
| CN114332689A (zh) * | 2021-12-14 | 2022-04-12 | 中国科学院合肥物质科学研究院 | 一种柑橘识别定位方法、装置、设备及存储介质 |
| CN114494453A (zh) * | 2021-12-29 | 2022-05-13 | 劢微机器人科技(深圳)有限公司 | 基于雷达和相机的自动装卸车方法及自动装卸车系统 |
Non-Patent Citations (5)
| Title |
|---|
| DIANA-MARGARITA CÓRDOVA-ESPARZA 等: "A multiple camera calibration and point cloud fusion tool for Kinect V2", 《SCIENCE OF COMPUTER PROGRAMMING》 * |
| FELIPE A. L. COSTA 等: "The Influence of Sub-Block Position on Performing Integrated Sensor Orientation Using In Situ Camera Calibration and Lidar Control Points", 《REMOTE SENSING 》 * |
| 曹明玮 等: "基于监督式学习的全景相机与激光雷达的联合标定", 《机电一体化》 * |
| 杨三永 等: "基于机器视觉的目标定位与机器人规划系统研究", 《计算机测量与控制》 * |
| 游通飞: "基于移动机器人的动态环境语义地图构建方法研究", 《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115797468A (zh) * | 2023-02-03 | 2023-03-14 | 厦门农芯数字科技有限公司 | 一种鱼眼摄像头安装高度的自动校正方法、装置以及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114792343B (zh) | 2022-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110163930B (zh) | 车道线生成方法、装置、设备、系统及可读存储介质 | |
| CN112219226B (zh) | 多阶段相机校准 | |
| US8436904B2 (en) | Method and apparatus for calibrating video camera | |
| US9641830B2 (en) | Automated camera calibration methods and systems | |
| CN112861653A (zh) | 融合图像和点云信息的检测方法、系统、设备及存储介质 | |
| CN109211207B (zh) | 一种基于机器视觉的螺钉识别与定位装置 | |
| US20220092819A1 (en) | Method and system for calibrating extrinsic parameters between depth camera and visible light camera | |
| CN111750820A (zh) | 影像定位方法及其系统 | |
| CN111260539B (zh) | 鱼眼图目标识别方法及其系统 | |
| CN110135396B (zh) | 地面标志的识别方法、装置、设备及介质 | |
| Yan et al. | Joint camera intrinsic and lidar-camera extrinsic calibration | |
| CN112305557B (zh) | 一种全景相机与多线激光雷达外参标定系统 | |
| CN112329846A (zh) | 激光点云数据高精度标注方法及系统、服务器及介质 | |
| CN113763478B (zh) | 无人车相机标定方法、装置、设备、存储介质及系统 | |
| CN115661262A (zh) | 内外参标定方法、装置及电子设备 | |
| CN114792343B (zh) | 图像获取设备的标定方法、获取图像数据的方法、装置 | |
| CN110084743A (zh) | 基于多航带起始航迹约束的图像拼接与定位方法 | |
| CN114119682A (zh) | 一种激光点云和图像配准方法及配准系统 | |
| WO2022126430A1 (zh) | 辅助对焦方法、装置及系统 | |
| CN115239816A (zh) | 一种相机标定方法、系统、电子设备及存储介质 | |
| CN114140771A (zh) | 一种图像深度数据集自动标注方法及系统 | |
| CN113808142A (zh) | 一种地面标识的识别方法、装置、电子设备 | |
| CN113450415A (zh) | 一种成像设备标定方法以及装置 | |
| CN112669388A (zh) | 激光雷达与摄像装置的标定方法及装置、可读存储介质 | |
| CN114897968B (zh) | 车辆视野的确定方法、装置、计算机设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240221 Address after: Room 553, 5th Floor, Building 3, No. 969 Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province, 311121 Patentee after: Hangzhou Alibaba Cloud Feitian Information Technology Co.,Ltd. Country or region after: China Address before: 311100 Room 516, floor 5, building 3, No. 969, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province Patentee before: Alibaba Dharma Institute (Hangzhou) Technology Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right |