CN114723825A - 用于无人行车场景下的相机坐标映射方法、系统、介质及电子终端 - Google Patents
用于无人行车场景下的相机坐标映射方法、系统、介质及电子终端 Download PDFInfo
- Publication number
- CN114723825A CN114723825A CN202210425320.6A CN202210425320A CN114723825A CN 114723825 A CN114723825 A CN 114723825A CN 202210425320 A CN202210425320 A CN 202210425320A CN 114723825 A CN114723825 A CN 114723825A
- Authority
- CN
- China
- Prior art keywords
- camera
- coordinate set
- matrix
- image
- black
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013507 mapping Methods 0.000 title claims abstract description 45
- 239000011159 matrix material Substances 0.000 claims abstract description 106
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 32
- FPIGOBKNDYAZTP-UHFFFAOYSA-N 1,2-epoxy-3-(4-nitrophenoxy)propane Chemical compound C1=CC([N+](=O)[O-])=CC=C1OCC1OC1 FPIGOBKNDYAZTP-UHFFFAOYSA-N 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 9
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 229910000831 Steel Inorganic materials 0.000 description 11
- 239000010959 steel Substances 0.000 description 11
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P10/00—Technologies related to metal processing
- Y02P10/20—Recycling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种用于无人行车场景下的相机坐标映射方法、系统、介质及电子终端，获取了相机在作业平面内的内参矩阵和畸变系数后，再获取作业平面上设置的多个沿指定方向尺寸不同的参考物的中心像素坐标集合及中心世界坐标集合，并结合内参矩阵、畸变系数、中心像素坐标集合及中心世界坐标集合计算相机的外参矩阵，得到的外参矩阵的适用性更好、误差更小；最后，结合内参矩阵、畸变系数及外参矩阵，构建相机的像素坐标系到激光雷达的世界坐标系的映射模型，有效实现了相机的像素坐标系与激光雷达的世界坐标系之间的映射，且映射模型的坐标映射精度更高，提高了无人行车的作业范围的检测精度，使得无人行车的作业变得更安全可控。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种用于无人行车场景下的相机坐标映射方法、系统、介质及电子终端。
背景技术
无人行车技术多用于钢铁工艺流程的仓储物流阶段，在这个阶段，钢铁厂会将生产的钢材或回收的废钢材堆放在指定的仓库中；然后，在仓库中操作行车，利用行车上的磁力起重器装卸钢材到货车中。随着工业智能化的发展，无人行车技术成为了现代化钢铁仓库的标准配置，早期的无人行车技术是利用激光雷达生成行车作业区域的点云信息，再结合起重器对货车进行装卸钢材的任务；但在执行过程中发现，如果钢材在货车车厢中堆积过满，会对货车车厢边框、车头形成覆盖或遮挡，激光雷达产生的点云信息就不容易区分出货车边界与钢材边界。而补充图像信息进行辅助诊断的话，图像可以根据钢材与货车的颜色、形状等信息的不同，进行准确的区分；因此，在二代无人行车技术中，增加了传统的光学相机作为辅助诊断手段。
但是，光学相机生成的图像信息仅能提供图像像素坐标，无法将点云生成的世界坐标与图像坐标直接联系起来，而如何将图像信息与激光雷达信息结合并作用在无人行车的装卸作业过程是目前工业界的难点和热点。
发明内容
鉴于以上所述现有技术的缺点，本发明提供一种相机坐标映射技术方案，以解决上述技术问题。
为实现上述目的及其他相关目的，本发明提供的技术方案如下。
一种用于无人行车场景下的相机坐标映射方法，在所述无人行车场景下，驱动无人行车在行车轨道上移动并在作业平面内作业，并结合所述无人行车上设置的激光雷达与相机进行作业检测，包括：
获取所述相机在所述作业平面内的内参矩阵和畸变系数；
获取所述作业平面上设置的多个参考物的中心像素坐标集合及中心世界坐标集合，多个所述参考物沿指定方向的尺寸不同，所述指定方向垂直于所述作业平面；
根据所述内参矩阵、所述畸变系数、所述中心像素坐标集合及所述中心世界坐标集合，计算所述相机的外参矩阵；
根据所述内参矩阵、所述畸变系数、所述外参矩阵，构建从所述相机的像素坐标系到所述激光雷达的世界坐标系的映射模型。
可选地，所述获取所述相机在所述作业平面内的内参矩阵和畸变系数的步骤，包括：
在所述作业平面上铺设黑白棋盘格；
驱动所述无人行车，带动所述相机对所述黑白棋盘格进行多角度分段拍摄，获取多张第一图像；
利用张正友棋盘格标定法处理多张所述第一图像，得到所述内参矩阵和所述畸变系数。
可选地，所述黑白棋盘格包括多个黑白交替的正方形格子，所述黑白棋盘格呈m×n矩阵设置，m、n分别为大于等于2的整数，且|m-n|≤2。
可选地，所述驱动所述无人行车，带动所述相机对所述黑白棋盘格进行多角度分段拍摄，获取多张第一图像的步骤，包括：
以预设长度为步进，沿第一方向移动所述黑白棋盘格，在第一次移动所述黑白棋盘格前及每次移动所述黑白棋盘格后，分别重复如下步骤：
沿所述第二方向驱动所述无人行车，将所述相机对准所述黑白棋盘格在所述第二方向上的中线位置拍摄，获取一张所述第一图像；
沿所述第二方向驱动所述无人行车，以预设角度为步进，带动所述相机进行移动并拍摄，获取多张所述第一图像；
其中，在所述作业平面内，所述第一方向垂直于所述第二方向。
可选地，所述利用张正友棋盘格标定法处理多张所述第一图像，得到所述内参矩阵和所述畸变系数的步骤，包括：
对所述第一图像中黑白格子交错的角点设置三维坐标，形成初始三维坐标集合，并将每个所述正方形格子的边长传入坐标中，得到三维坐标集合；
对所述第一图像进行处理，得到所述第一图像中黑白格子的二维坐标，并将所述二维坐标按照所述三维坐标对应的顺序进行保存，形成二维坐标集合；
利用张正友棋盘格标定法，对所述第一图像、所述三维坐标集合及所述二维坐标集合进行处理，获取所述内参矩阵和所述畸变系数：
式中，(*)zhang为张正友棋盘格标定算法，A为所述内参矩阵，k为所述畸变系数，imgs为所述第一图像，
为所述三维坐标集合，Imgm×n为所述二维坐标集合。
可选地，所述获取所述作业平面上设置的多个参考物的中心像素坐标集合及中心世界坐标集合的步骤，包括：
在所述作业平面上设置p个所述参考物，p个所述参考物沿所述指定方向的尺寸各不相同；
沿所述第二方向驱动所述无人行车，通过所述相机对所述作业平面连同所述参考物进行拍摄，获取第二图像；并通过所述激光雷达对所述作业平面连同所述参考物进行扫描，获取点云文件；
将所述第二图像中仅含所述参考物的区域筛选出来，形成参考物图像，再对所述参考物图像进行几何中心检测，得到所述参考物图像中所有所述参考物的中心像素坐标集合；
将所述点云文件中仅含所述参考物的区域裁剪出来，并计算每个所述参考物的几何中心三维坐标，形成所有所述参考物的中心世界坐标集合；
其中，p为大于等于6的整数，且所述中心像素坐标集合中的中心存储顺序与所述中心世界坐标集合中的中心存储顺序一致。
可选地，所述根据所述内参矩阵、所述畸变系数、所述中心像素坐标集合及所述中心世界坐标集合，计算所述相机的外参矩阵的步骤，包括：
使用EPNP算法，将所述内参矩阵、所述畸变系数、所述中心像素坐标集合及所述中心世界坐标集合带入求解，得到所述相机的外参矩阵：R,T＝EPNP(A,k,Hc,Fc)；
所述外参矩阵包括旋转向量和平移向量，式中，EPNP(*)为EPNP算法，R为旋转向量，T为平移向量，Hc为所述中心像素坐标集合，Fc为所述中心世界坐标集合。
可选地，所述根据所述内参矩阵、所述畸变系数、所述外参矩阵，构建从所述相机的像素坐标系到所述激光雷达的世界坐标系之间的映射模型的步骤，包括：
使用张正友棋盘格标定算法，将所述内参矩阵、所述畸变系数及所述外参矩阵带入，构建从所述相机的像素坐标系到所述激光雷达的世界坐标系的映射模型：
Point2d＝dot(A,R|T)*Point3d；
式中，Point2d为所述相机的像素坐标系对应的二维坐标，dot(*)为矩阵乘法公式，R|T为旋转向量与平移向量的联合矩阵，Point3d为所述激光雷达的世界坐标系对应的三维坐标。
一种用于无人行车场景下的相机坐标映射系统，在所述无人行车场景下，驱动无人行车在行车轨道上移动并在作业平面内作业，并结合所述无人行车上设置的激光雷达与相机进行作业检测，包括：
采集模块，用于获取所述作业平面上铺设的黑白棋盘格的图像，用于获取所述作业平面上设置的参考物的图像，以及用于获取所述参考物的点云文件；
预处理模块，用于处理所述黑白棋盘格的图像，获取所述相机在所述作业平面内的内参矩阵和畸变系数，用于处理所述参考物的图像及所述参考物的点云文件，获取所述参考物的中心像素坐标集合及中心世界坐标集合，还用于根据所述内参矩阵、所述畸变系数、所述中心像素坐标集合及所述中心世界坐标集合计算所述相机的外参矩阵；
处理模块，用于根据所述内参矩阵、所述畸变系数、所述外参矩阵，构建从所述相机的像素坐标系到所述激光雷达的世界坐标系的映射模型。
可选地，所述采集模块包括所述相机及所述激光雷达，所述相机用于获取所述作业平面上铺设的黑白棋盘格的图像及所述作业平面上设置的参考物的图像，所述激光雷达用于获取所述参考物的点云文件。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述的方法。
一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子终端执行上述任一项所述的方法。
如上所述，本发明提供的用于无人行车场景下的相机坐标映射方法、系统、介质及电子终端，至少具有以下有益效果：
获取了相机在作业平面内的内参矩阵和畸变系数后，再获取作业平面上设置的多个沿指定方向尺寸不同的参考物的中心像素坐标集合及中心世界坐标集合，并结合内参矩阵、畸变系数、中心像素坐标集合及中心世界坐标集合计算相机的外参矩阵，得到的外参矩阵的适用性更好、误差更小；最后，再结合内参矩阵、畸变系数及外参矩阵，构建从相机的像素坐标系到激光雷达的世界坐标系的映射模型，有效实现了相机的像素坐标系与激光雷达的世界坐标系之间的映射，基于适用性更好、误差更小的外参矩阵，映射模型的坐标映射精度更高，提高了无人行车的作业范围的检测精度，使得无人行车的作业变得更安全可控。
附图说明
图1是本发明中用于无人行车场景下的相机坐标映射方法的步骤示意图；
图2-图3是本发明一可选实施例中用于无人行车场景下的相机坐标映射方法的数据采集的流程示意图；
图4是本发明中用于无人行车场景下的相机坐标映射系统的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
如前述在背景技术中所述的，在无人行车场景下，无人行车对货车进行钢材装卸任务时，除了需要激光雷达对作业场景进行定位之外，还需要计算机视觉辅助(相机+上位机/处理器)无人行车进行作业；一般的，无人行车在行车轨道上移动并在作业平面内作业，并结合无人行车上设置的激光雷达与相机进行作业采集检测，上位机或者处理器对采集到的数据进行处理，分析检测无人行车的作业场景。但是，如何将相机拍摄到的无人行车作业场景图像与真实世界的坐标位置相结合，是目前亟需解决的技术问题。
基于此，如图1所示，本发明提供一种用于无人行车场景下的相机坐标映射方法，其包括步骤：
S1、获取相机在作业平面内的内参矩阵和畸变系数；
S2、获取作业平面上设置的多个参考物的中心像素坐标集合及中心世界坐标集合，多个参考物沿指定方向的尺寸不同，指定方向垂直于作业平面；
S3、根据内参矩阵、畸变系数、中心像素坐标集合及中心世界坐标集合，计算相机的外参矩阵；
S4、根据内参矩阵、畸变系数、外参矩阵，构建从相机的像素坐标系到激光雷达的世界坐标系的映射模型。
详细地，获取相机在作业平面内的内参矩阵和畸变系数的步骤S1，进一步包括：
S11、在作业平面上铺设黑白棋盘格；
S12、驱动无人行车，带动相机对黑白棋盘格进行多角度分段拍摄，获取多张第一图像；
S13、利用张正友棋盘格标定法处理多张第一图像，得到内参矩阵和畸变系数。
详细地，如图2所示，无人行车包括行车轨道、无人行车横梁及电机(图中未示出)，电机驱动无人行车(横梁)在行车轨道上移动并在两个行车轨道之间的作业平面(即XY平面)内作业，激光雷达与相机分别设置在无人行车(横梁)上。
更详细地，如图2所示，在作业平面上铺设黑白棋盘格的步骤S11，进一步包括：
S111、制作多个规格为2a*a的KT板，每个KT板上设置有两个正方形格子，一个正方形格子的颜色为黑色，另一个正方形格子的颜色为白色，且每个正方形格子的边长为a(如0.5米)；
S112、将多个KT板铺设在作业平面上，铺设方式为黑白格子交替摆放，平铺于无人行车的作业区域的地面(即作业平面)上，且使得每个正方形格子的高度一致，各个正方形格子间的间隙最小，形成一个呈m×n矩阵设置(m行n列)的黑白棋盘格，m、n分别为大于等于2的整数。
需要说明的是，在步骤S112中，为了满足无人行车横梁上的相机拍摄和作业区的覆盖范围，形成的黑白棋盘格需满足|m-n|≤2条件；黑白棋盘格整体的摆放角度任意，可以平行于无人行车的运行路径(X轴方向)，也可以旋转一定角度。
更详细地，如图2-图3所示，驱动无人行车(横梁)，带动相机对黑白棋盘格进行多角度分段拍摄，获取多张第一图像的步骤S12，进一步包括：以预设长度L(L为正方形格子边长a的整数倍，图中未示出)为步进，沿第一方向(Y轴方向)移动黑白棋盘格，在第一次移动黑白棋盘格前及每次移动黑白棋盘格后，分别重复如下步骤：
St1、沿第二方向(X轴方向)驱动无人行车(横梁)，将相机对准黑白棋盘格在第二方向上的中线位置拍摄，获取一张第一图像；
St2、沿第二方向(X轴方向)驱动无人行车(横梁)，以预设角度α为步进，带动相机进行移动并拍摄，获取多张第一图像；
其中，在作业平面内，第一方向垂直于第二方向。
在本发明的一可选实施例中，获取多张第一图像的步骤S12，具体包括：
Stp1、通过控制台，手动操作无人行车沿着第二方向(X轴方向)进行滑动拍摄，由于无人行车作业区域的场景比较大，需要多角度分段拍摄，先将无人行车(横梁)滑动到相机对准黑白棋盘格在第二方向上的中线位置(即正对黑白棋盘格的中心)进行拍摄，然后利用三角函数关系滑动无人行车，每次都将无人行车滑动至偏离正对线6°(即预设角度α位6°)的位置进行后续的拍摄，行车的滑动距离可表示为：
distance＝INT(H*tan6°)…………(1)；
式中，distance表示每次无人行车需要滑动的距离，H表示相机正对黑白棋盘格时，无人行车距离黑白棋盘格的垂直高度，tan6°表示三角函数关系式，INT()表示向下取整函数。
其中，使用公式(1)计算得到每次无人行车滑动的距离，受限于相机的广角角度和成像的畸变程度，当无人行车滑动至偏离正对线42°左右(即为X轴正负两个方向)的位置时不再进行图像的拍摄。以无人行车正对黑白棋盘格的位置为起点，可以左右(即为沿着X轴正负两个方向)滑动到距离垂线42°的位置，则左右两侧可以各取7次拍摄了含黑白格子的图像出来。
Stp2、将黑白棋盘格垂直于无人行车的运行路径(即第一方向)进行移动，移动的距离(即预设长度L)可表示为：
moved＝0.5*max(m,n)…………(2)；
式中，0.5表示单个轴正方形格子的边长，max(m,n)表示正方形格子组成的黑白棋盘格的最大的行或者列，moved表示黑白棋盘格移动的距离。
Stp3、重复步骤Stp1，进行无人行车滑动拍摄，得到若干含有黑白棋盘格的第一图像。
更详细地，利用张正友棋盘格标定法处理多张第一图像，得到内参矩阵和畸变系数的步骤S13，进一步包括：
S131、对第一图像中黑白格子交错的角点设置三维坐标，形成初始三维坐标集合，并将每个正方形格子的边长传入坐标中，得到三维坐标集合；
S132、利用图像处理技术对第一图像进行处理，得到第一图像中黑白格子的二维坐标，并将二维坐标按照三维坐标对应的顺序进行保存，形成二维坐标集合；
S133、利用张正友棋盘格标定法，对第一图像、三维坐标集合及二维坐标集合进行处理，获取内参矩阵和畸变系数：
式中，(*)zhang为张正友棋盘格标定算法，A为内参矩阵，k为畸变系数，imgs为第一图像，
为三维坐标集合，Imgm×n为二维坐标集合。
在本发明的一可选实施例中，在步骤S131中，对第一图像中黑白格子交错的角点设置三维坐标，设左上角顶点坐标为(0,0,0)，依次为(0,1,0)...(0,m-1,0)...(n-1,0,0)...(n-1,m-1,0)，形成初始三维坐标集合Objn×m，集合的元素个数为m×n，并将每个正方形格子的边长距离传入坐标中，得到三维坐标集合：
式中，0.5的计量单位为米，是每个正方形格子的边长。
详细地，获取作业平面上设置的多个参考物的中心像素坐标集合及中心世界坐标集合的步骤S2，进一步包括：
S21、如图3所示，在作业平面上设置p个参考物，p个参考物沿指定方向(Z轴方向)的尺寸各不相同；
S22、沿第二方向驱动无人行车，通过相机对作业平面连同参考物进行拍摄，获取第二图像；并通过激光雷达对作业平面连同参考物进行扫描，获取点云文件；
S23、将第二图像中仅含参考物的区域筛选出来，形成参考物图像，再对参考物图像进行几何中心检测，得到参考物图像中所有参考物的中心像素坐标集合；
S24、将点云文件中仅含参考物的区域裁剪出来，并计算每个参考物的几何中心三维坐标，形成所有参考物的中心世界坐标集合；
其中，p为大于等于6的整数，且中心像素坐标集合中的中心存储顺序与中心世界坐标集合中的中心存储顺序一致。
在本发明的一可选实施例中，如图3所示，参考物为圆柱体道具且各个道具的半径相同而高度各不相同；于步骤S23中，利用Python工具包将第二图像中仅含参考物的区域筛选出来，形成参考物图像，再使用Opencv的圆心检测算法对参考物图像进行圆心点检测，得到参考物图像中所有参考物的中心像素坐标集合Hc，其中，c∈p；于步骤S24中，利用点云处理工具CloudCompare对参考物区域进行裁剪并计算每个参考物的中心三维坐标，形成所有参考物的中心世界坐标集合Fc，其中c∈p，且Hc和Fc中的中心点存储顺序一致。
详细地，根据内参矩阵、畸变系数、中心像素坐标集合及中心世界坐标集合，计算相机的外参矩阵的步骤S3，进一步包括：使用OPencv包中的EPNP算法，将内参矩阵、畸变系数、中心像素坐标集合及中心世界坐标集合带入求解，得到相机的外参矩阵：
R,T＝EPNP(A,k,Hc,Fc)…………(5)；
其中，外参矩阵与位姿信息相关，外参矩阵包括旋转向量和平移向量，式中，EPNP(*)为EPNP算法，R为旋转向量，T为平移向量，Hc为中心像素坐标集合，Fc为中心世界坐标集合。
需要说明的是，外参矩阵基于作业平面上设置的多个沿指定方向尺寸不同的参考物的中心像素坐标集合及中心世界坐标集合计算得到，在作业平面之外，对应包括多个不同垂直高度的参考计算，计算得到的外参矩阵的适用性更好、误差更小。
详细地，根据内参矩阵、畸变系数、外参矩阵，构建从相机的像素坐标系到激光雷达的世界坐标系的映射模型的步骤S4，进一步包括：
使用张正友棋盘格标定算法，将内参矩阵、畸变系数及外参矩阵带入，构建从相机的像素坐标系到激光雷达的世界坐标系的映射模型：
Point2d＝dot(A,R|T)*Point3d…………(6)；
式中，Point2d为相机的像素坐标系对应的二维坐标，dot(*)为矩阵乘法公式，R|T为旋转向量与平移向量的联合矩阵，Point3d为激光雷达的世界坐标系对应的三维坐标。
更详细地，在步骤S4中，得到二维坐标Point2d并将其表示为(x,y)，(x,y)为理想无畸变坐标，而利用畸变系数k可以得到畸变后图像二维坐标(xdr,ydr)：
式中，k1,k2,k3为畸变系数k的元素，k1,k2,k3∈k,k＝{k1,k2,k3}，r由(x2+y2)而来。
针对相机后续采集到的图像数据，利用公式(6)和公式(7)，就可以将相机成像的二维坐标转换成点云文件中的三维坐标，可实现图像坐标与世界坐标的自由转换，便于与激光雷达扫描得到的点云数据的协同分析处理。
同时，如图4所示，基于与上述方法同样的发明构思，本发明还提供一种用于无人行车场景下的相机坐标映射系统，用于执行前述方法实施例中所述的用于无人行车场景下的相机坐标映射方法，其包括：
采集模块，用于获取作业平面上铺设的黑白棋盘格的图像，用于获取作业平面上设置的参考物的图像，以及用于获取参考物的点云文件；
预处理模块，用于处理黑白棋盘格的图像，获取相机在作业平面内的内参矩阵和畸变系数，用于处理参考物的图像及参考物的点云文件，获取参考物的中心像素坐标集合及中心世界坐标集合，还用于根据内参矩阵、畸变系数、中心像素坐标集合及中心世界坐标集合计算相机的外参矩阵；
处理模块，用于根据内参矩阵、畸变系数、外参矩阵，构建从相机的像素坐标系到激光雷达的世界坐标系的映射模型。
其中，采集模块、预处理模块和处理模块依次连接；采集模块包括相机及激光雷达，相机用于获取作业平面上铺设的黑白棋盘格的图像及作业平面上设置的参考物的图像，激光雷达用于获取参考物的点云文件；预处理模块用于对采集到的数据进行分析处理，获取内参矩阵、畸变系数及外参矩阵；处理模块用于对预处理模块处理后的数据进行处理，构建相机的像素坐标系到激光雷达的世界坐标系的映射模型；其中，预处理模块与处理模块可采用同一个或者不同的处理器进行处理。
需要说明的是，由于系统实施例的技术原理与前述方法实施例的技术原理相似，因而不再对同样的技术细节做重复性赘述。
此外，基于与上述方法同样的发明构思，本发明还提供一种计算机可读存储介质和电子终端；所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述任一项所述方法；所述电子终端包括处理器及存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子终端执行上述任一项所述方法。
详细地，所述计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。所述计算机程序可以存储于所述计算机可读存储介质中，该计算机程序在执行时，执行包括上述各方法实施例的步骤；而所述计算机可读存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
详细地，所述电子终端包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于通信，处理器和收发器用于运行所述计算机程序，使所述电子终端执行如上用于无人行车场景下的相机坐标映射方法的各个步骤。
更详细地，所述存储器可能包含随机存取存储器(RAM)，也可以包含只读存储器(ROM)，也可能还包括非易失性存储器，例如至少一个磁盘存储器；所述处理器可以是中央处理器(CPU)、网络处理器(NP)等通用处理器，还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述，在本发明所提供的用于无人行车场景下的相机坐标映射方法、系统、介质及电子终端中，获取了相机在作业平面内的内参矩阵和畸变系数后，再获取作业平面上设置的多个沿指定方向尺寸不同的参考物的中心像素坐标集合及中心世界坐标集合，并结合内参矩阵、畸变系数、中心像素坐标集合及中心世界坐标集合计算相机的外参矩阵，得到的外参矩阵的适用性更好、误差更小；最后，再结合内参矩阵、畸变系数及外参矩阵，构建相机的像素坐标系到激光雷达的世界坐标系的映射模型，有效实现了相机的像素坐标系与激光雷达的世界坐标系之间的映射，基于适用性更好、误差更小的外参矩阵，映射模型的坐标映射精度更高，提高了无人行车的作业范围的检测精度，使得无人行车的作业变得更安全可控。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (12)
1.一种用于无人行车场景下的相机坐标映射方法，在所述无人行车场景下，驱动无人行车在行车轨道上移动并在作业平面内作业，并结合所述无人行车上设置的激光雷达与相机进行作业检测，其特征在于，包括：
获取所述相机在所述作业平面内的内参矩阵和畸变系数；
获取所述作业平面上设置的多个参考物的中心像素坐标集合及中心世界坐标集合，多个所述参考物沿指定方向的尺寸不同，所述指定方向垂直于所述作业平面；
根据所述内参矩阵、所述畸变系数、所述中心像素坐标集合及所述中心世界坐标集合，计算所述相机的外参矩阵；
根据所述内参矩阵、所述畸变系数、所述外参矩阵，构建从所述相机的像素坐标系到所述激光雷达的世界坐标系的映射模型。
2.根据权利要求1所述的用于无人行车场景下的相机坐标映射方法，其特征在于，所述获取所述相机在所述作业平面内的内参矩阵和畸变系数的步骤，包括：
在所述作业平面上铺设黑白棋盘格；
驱动所述无人行车，带动所述相机对所述黑白棋盘格进行多角度分段拍摄，获取多张第一图像；
利用张正友棋盘格标定法处理多张所述第一图像，得到所述内参矩阵和所述畸变系数。
3.根据权利要求2所述的用于无人行车场景下的相机坐标映射方法，其特征在于，所述黑白棋盘格包括多个黑白交替的正方形格子，所述黑白棋盘格呈m×n矩阵设置，m、n分别为大于等于2的整数，且|m-n|≤2。
4.根据权利要求3所述的用于无人行车场景下的相机坐标映射方法，其特征在于，所述驱动所述无人行车，带动所述相机对所述黑白棋盘格进行多角度分段拍摄，获取多张第一图像的步骤，包括：
以预设长度为步进，沿第一方向移动所述黑白棋盘格，在第一次移动所述黑白棋盘格前及每次移动所述黑白棋盘格后，分别重复如下步骤：
沿所述第二方向驱动所述无人行车，将所述相机对准所述黑白棋盘格在所述第二方向上的中线位置拍摄，获取一张所述第一图像；
沿所述第二方向驱动所述无人行车，以预设角度为步进，带动所述相机进行移动并拍摄，获取多张所述第一图像；
其中，在所述作业平面内，所述第一方向垂直于所述第二方向。
5.根据权利要求4所述的用于无人行车场景下的相机坐标映射方法，其特征在于，所述利用张正友棋盘格标定法处理多张所述第一图像，得到所述内参矩阵和所述畸变系数的步骤，包括：
对所述第一图像中黑白格子交错的角点设置三维坐标，形成初始三维坐标集合，并将每个所述正方形格子的边长传入坐标中，得到三维坐标集合；
对所述第一图像进行处理，得到所述第一图像中黑白格子的二维坐标，并将所述二维坐标按照所述三维坐标对应的顺序进行保存，形成二维坐标集合；
利用张正友棋盘格标定法，对所述第一图像、所述三维坐标集合及所述二维坐标集合进行处理，获取所述内参矩阵和所述畸变系数：
式中，(*)zhang为张正友棋盘格标定算法，A为所述内参矩阵，k为所述畸变系数，imgs为所述第一图像，
为所述三维坐标集合，Imgm×n为所述二维坐标集合。
6.根据权利要求5所述的用于无人行车场景下的相机坐标映射方法，其特征在于，所述获取所述作业平面上设置的多个参考物的中心像素坐标集合及中心世界坐标集合的步骤，包括：
在所述作业平面上设置p个所述参考物，p个所述参考物沿所述指定方向的尺寸各不相同；
沿所述第二方向驱动所述无人行车，通过所述相机对所述作业平面连同所述参考物进行拍摄，获取第二图像；并通过所述激光雷达对所述作业平面连同所述参考物进行扫描，获取点云文件；
将所述第二图像中仅含所述参考物的区域筛选出来，形成参考物图像，再对所述参考物图像进行几何中心检测，得到所述参考物图像中所有所述参考物的中心像素坐标集合；
将所述点云文件中仅含所述参考物的区域裁剪出来，并计算每个所述参考物的几何中心三维坐标，形成所有所述参考物的中心世界坐标集合；
其中，p为大于等于6的整数，且所述中心像素坐标集合中的中心存储顺序与所述中心世界坐标集合中的中心存储顺序一致。
7.根据权利要求6所述的用于无人行车场景下的相机坐标映射方法，其特征在于，所述根据所述内参矩阵、所述畸变系数、所述中心像素坐标集合及所述中心世界坐标集合，计算所述相机的外参矩阵的步骤，包括：
使用EPNP算法，将所述内参矩阵、所述畸变系数、所述中心像素坐标集合及所述中心世界坐标集合带入求解，得到所述相机的外参矩阵：R,T＝EPNP(A,k,Hc,Fc)；
所述外参矩阵包括旋转向量和平移向量，式中，EPNP(*)为EPNP算法，R为旋转向量，T为平移向量，Hc为所述中心像素坐标集合，Fc为所述中心世界坐标集合。
8.根据权利要求7所述的用于无人行车场景下的相机坐标映射方法，其特征在于，所述根据所述内参矩阵、所述畸变系数、所述外参矩阵，构建从所述相机的像素坐标系到所述激光雷达的世界坐标系的映射模型的步骤，包括：
使用张正友棋盘格标定算法，将所述内参矩阵、所述畸变系数及所述外参矩阵带入，构建从所述相机的像素坐标系到所述激光雷达的世界坐标系之间的映射模型：
Point2d＝dot(A,R|T)*Point3d；
式中，Point2d为所述相机的像素坐标系对应的二维坐标，dot(*)为矩阵乘法公式，R|T为旋转向量与平移向量的联合矩阵，Point3d为所述激光雷达的世界坐标系对应的三维坐标。
9.一种用于无人行车场景下的相机坐标映射系统，在所述无人行车场景下，驱动无人行车在行车轨道上移动并在作业平面内作业，并结合所述无人行车上设置的激光雷达与相机进行作业检测，其特征在于，包括：
采集模块，用于获取所述作业平面上铺设的黑白棋盘格的图像，用于获取所述作业平面上设置的参考物的图像，以及用于获取所述参考物的点云文件；
预处理模块，用于处理所述黑白棋盘格的图像，获取所述相机在所述作业平面内的内参矩阵和畸变系数，用于处理所述参考物的图像及所述参考物的点云文件，获取所述参考物的中心像素坐标集合及中心世界坐标集合，还用于根据所述内参矩阵、所述畸变系数、所述中心像素坐标集合及所述中心世界坐标集合计算所述相机的外参矩阵；
处理模块，用于根据所述内参矩阵、所述畸变系数、所述外参矩阵，构建从所述相机的像素坐标系到所述激光雷达的世界坐标系的映射模型。
10.根据权利要求9所述的用于无人行车场景下的相机坐标映射系统，其特征在于，所述采集模块包括所述相机及所述激光雷达，所述相机用于获取所述作业平面上铺设的黑白棋盘格的图像及所述作业平面上设置的参考物的图像，所述激光雷达用于获取所述参考物的点云文件。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至8任一项所述的方法。
12.一种电子终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子终端执行如权利要求1至8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210425320.6A CN114723825A (zh) | 2022-04-21 | 2022-04-21 | 用于无人行车场景下的相机坐标映射方法、系统、介质及电子终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210425320.6A CN114723825A (zh) | 2022-04-21 | 2022-04-21 | 用于无人行车场景下的相机坐标映射方法、系统、介质及电子终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114723825A true CN114723825A (zh) | 2022-07-08 |
Family
ID=82246096
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210425320.6A Pending CN114723825A (zh) | 2022-04-21 | 2022-04-21 | 用于无人行车场景下的相机坐标映射方法、系统、介质及电子终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114723825A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115331130A (zh) * | 2022-10-14 | 2022-11-11 | 南京瑞蓝世光电传感技术研究院有限公司 | 基于地理标志物辅助导航的无人机巡检方法和无人机 |
| CN116485918A (zh) * | 2023-06-25 | 2023-07-25 | 天府兴隆湖实验室 | 一种标定方法、系统及计算机可读存储介质 |
| CN118247360A (zh) * | 2024-04-18 | 2024-06-25 | 镁佳(北京)科技有限公司 | 相机内外参的标定方法、装置、设备、存储介质及程序产品 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108278968A (zh) * | 2018-01-17 | 2018-07-13 | 北京建筑大学 | 一种车载扫描系统控制点检校方法 |
| CN108828606A (zh) * | 2018-03-22 | 2018-11-16 | 中国科学院西安光学精密机械研究所 | 一种基于激光雷达和双目可见光相机联合测量方法 |
| CN112230204A (zh) * | 2020-10-27 | 2021-01-15 | 深兰人工智能(深圳)有限公司 | 激光雷达和相机的联合标定方法及装置 |
| CN113436233A (zh) * | 2021-06-29 | 2021-09-24 | 阿波罗智能技术(北京)有限公司 | 自动驾驶车辆的配准方法、装置、电子设备和车辆 |
| CN114200430A (zh) * | 2021-12-10 | 2022-03-18 | 上海西井信息科技有限公司 | 激光雷达与相机的标定方法、系统、设备及存储介质 |
-
2022
- 2022-04-21 CN CN202210425320.6A patent/CN114723825A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108278968A (zh) * | 2018-01-17 | 2018-07-13 | 北京建筑大学 | 一种车载扫描系统控制点检校方法 |
| CN108828606A (zh) * | 2018-03-22 | 2018-11-16 | 中国科学院西安光学精密机械研究所 | 一种基于激光雷达和双目可见光相机联合测量方法 |
| CN112230204A (zh) * | 2020-10-27 | 2021-01-15 | 深兰人工智能(深圳)有限公司 | 激光雷达和相机的联合标定方法及装置 |
| CN113436233A (zh) * | 2021-06-29 | 2021-09-24 | 阿波罗智能技术(北京)有限公司 | 自动驾驶车辆的配准方法、装置、电子设备和车辆 |
| CN114200430A (zh) * | 2021-12-10 | 2022-03-18 | 上海西井信息科技有限公司 | 激光雷达与相机的标定方法、系统、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 王佳荣: "面向自动驾驶的多传感器三维环境感知系统关键技术研究", 《中国博士学位论文全文数据库_工程科技Ⅱ辑》, 15 January 2021 (2021-01-15), pages 035 - 30 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115331130A (zh) * | 2022-10-14 | 2022-11-11 | 南京瑞蓝世光电传感技术研究院有限公司 | 基于地理标志物辅助导航的无人机巡检方法和无人机 |
| CN116485918A (zh) * | 2023-06-25 | 2023-07-25 | 天府兴隆湖实验室 | 一种标定方法、系统及计算机可读存储介质 |
| CN116485918B (zh) * | 2023-06-25 | 2023-09-08 | 天府兴隆湖实验室 | 一种标定方法、系统及计算机可读存储介质 |
| CN118247360A (zh) * | 2024-04-18 | 2024-06-25 | 镁佳(北京)科技有限公司 | 相机内外参的标定方法、装置、设备、存储介质及程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114723825A (zh) | 用于无人行车场景下的相机坐标映射方法、系统、介质及电子终端 | |
| CN109146980B (zh) | 基于单目视觉的优化的深度提取和被动测距方法 | |
| CN109035320B (zh) | 基于单目视觉的深度提取方法 | |
| Kim et al. | SLAM-driven robotic mapping and registration of 3D point clouds | |
| CN109269430B (zh) | 基于深度提取模型的多株立木胸径被动测量方法 | |
| US11376735B2 (en) | Method for rapidly determining warehousing map, device, storage medium and robot | |
| CN109801333B (zh) | 体积测量方法、装置、系统及计算设备 | |
| CN113592950B (zh) | 基于光学动捕的大空间环境下多相机标定方法及相关设备 | |
| CN111473739A (zh) | 一种基于视频监控的隧道塌方区围岩变形实时监测方法 | |
| CN112906127B (zh) | 基于云台与扫描仪的车辆建模方法、系统、介质及设备 | |
| CN108592816B (zh) | 一种用于大尺寸表面的三维测量装置和方法 | |
| CN111881892B (zh) | 有序点云5d纹理网格数据结构生成方法、装置、设备及介质 | |
| CN113140036B (zh) | 一种三维建模方法、装置、设备及存储介质 | |
| CN113012226B (zh) | 相机位姿的估计方法、装置、电子设备及计算机存储介质 | |
| CN110942506B (zh) | 一种物体表面纹理重建方法、终端设备及系统 | |
| CN111830948A (zh) | 不同料场之间实时料堆三维成像的数据共享系统和方法 | |
| CN111123242A (zh) | 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质 | |
| CN112833784B (zh) | 一种单目相机结合激光扫描的钢轨定位方法 | |
| CN110969661B (zh) | 图像处理装置及方法、位置标定系统及方法 | |
| Park et al. | Automated collaboration framework of UAV and UGV for 3D visualization of construction sites | |
| CN113589263A (zh) | 一种多个同源传感器联合标定方法及系统 | |
| CN117848234A (zh) | 物体扫描机构、方法及相关设备 | |
| CN115014296B (zh) | 基于相机的输电线测距方法、装置和计算机设备 | |
| JP7352706B2 (ja) | 貨物計数方法及び装置、コンピュータ装置、並びに記憶媒体 | |
| CN114782556B (zh) | 相机与激光雷达的配准方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 401329 No. 5-6, building 2, No. 66, Nongke Avenue, Baishiyi Town, Jiulongpo District, Chongqing Applicant after: MCC CCID information technology (Chongqing) Co.,Ltd. Address before: 401329 No. 5-6, building 2, No. 66, Nongke Avenue, Baishiyi Town, Jiulongpo District, Chongqing Applicant before: CISDI CHONGQING INFORMATION TECHNOLOGY Co.,Ltd. |