CN115994854A - 一种标志物点云和图像配准的方法和系统 - Google Patents
一种标志物点云和图像配准的方法和系统 Download PDFInfo
- Publication number
- CN115994854A CN115994854A CN202310279128.5A CN202310279128A CN115994854A CN 115994854 A CN115994854 A CN 115994854A CN 202310279128 A CN202310279128 A CN 202310279128A CN 115994854 A CN115994854 A CN 115994854A
- Authority
- CN
- China
- Prior art keywords
- camera
- detection
- point cloud
- depth map
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明提出了一种标志物点云和图像配准的方法和系统，属于数据配准技术领域，该方法包括：设置相机参数初始值，将预处理后的点云数据根据初始值处理为第一深度图；利用训练后的图像检测模型对可见光图像检测得到第一检测信息；利用训练后的深度图检测模型对第一深度图检测得到第二检测信息；如果在可见光图像和深度图检测均检测到目标标志物，则根据第一检测信息和第二检测信息对相机参数标定；将点云数据转换到标定后相机坐标系下得到第二深度图，通过将第二深度图与可见光图像融合实现点云和可见光图像的配准。基于该方法，还提出了一种标志物点云和图像配准的系统，本发明实现在相机内参、外参均未知情况下对点云与图像配准。
Description
技术领域
本发明属于多源数据配准技术领域，特别涉及一种标志物点云和图像配准的方法和系统。
背景技术
计算机视觉的最终体现是三维视觉，而三维视觉的表达方式则是点云，点云处理在整个三维视觉领域占有非常重要的地位。在配电线路中当前利用点云数据实现隐患测距、高精度地图制作等功能离不开点云与图像的配准这一环节。
现有技术中公开的第一种点云和图像配准的方法是在相机内参信息确定的基础上，构造点云和图像的同名特征对来实现配准。现有技术中公开的第二种方法是通过寻找与激光雷达点云数据帧时间最接近的图像数据帧来完成，默认时间戳最接近即为配准，接下来则通过连续的点云数据帧和图像数据帧进行相机外参的预测，同样的，第二种方法也默认相机内参已知，且其应用的时间信息以及连续的点云数据帧信息是本发明条件中没有的。所以在相机内参、外参均未知的情况下，现有技术中无法实现配准，而且当前点云与图像配准的实现依赖于人工配准，然而人工配准操作复杂、难度高，配准人员工作量大且配准耗时长。
发明内容
为了解决上述技术问题，本发明提出了一种标志物点云和图像配准的方法和系统，创新性的将计算机视觉基础检测技术与配准规律相结合，在相机内参、外参均未知的情况下对点云与图像进行配准。
为实现上述目的，本发明采用以下技术方案：
一种标志物点云和图像配准的方法，包括以下步骤：
设置相机参数初始值，将预处理后的标志物点云数据根据相机参数初始值处理为第一深度图；
利用训练完成的图像检测模型对可见光图像进行检测得到第一检测信息；利用训练完成的深度图检测模型对第一深度图进行检测得到第二检测信息；
如果在可见光图像检测和深度图检测的过程中均检测到目标标志物，则根据第一检测信息和第二检测信息对相机参数进行标定；
将所述点云数据转换到标定后相机坐标系下得到第二深度图，通过将第二深度图与可见光图像进行像素加权融合实现标志物点云和可见光图像的配准。
进一步的，所述相机参数包括相机外参和相机内参；
所述相机外参包括旋转矩阵R和平移矩阵；
所述相机内参包括相机焦距f、光心位置坐标、、相机传感器的宽w和相机传感器的高h。
进一步的，将预处理后的标志物点云数据根据相机参数初始值处理为第一深度图的过程为：
如果真实环境中点云数据的三维点坐标为；在对应相机上的成像点为；其中为点云数据数量；为第个点云数据的x轴坐标；为第个点云数据的y轴坐标；为第个点云数据的z轴坐标；为第个点云数据像素横坐标；为第个点云数据像素纵坐标；
则；（1）
其中为三维点坐标经过旋转平移后的中间矩阵；
（2）
（3）
为相机成像的宽、为相机成像的高；光心位置横坐标；为光心位置纵坐标。
进一步的，训练图像检测模型的过程为：选择需要配准的标志物，利用标注工具对标志物进行标注，利用可见光图像标注数据对图像检测模型进行训练得到训练后的图像检测模型；
训练深度图检测模型的过程为：选择需要配准的标志物，利用标注工具对标志物进行标注，利用第一深度图标注数据对深度图检测模型进行训练得到训练后的深度图检测模型。
进一步的，所述第一检测信息包括可见光图像中第一检测框坐标、第一检测框尺寸和第一检测框旋转角度；第二检测信息包括第一深度图中第二检测框坐标、第二检测框尺寸和第二检测框旋转角度。
进一步的，根据第一检测信息和第二检测信息对相机参数进行标定的过程包括：
利用第一检测框尺寸和第二检测框尺寸对相机内参进行标定；
利用第一检测框旋转角度和第二检测框旋转角度对相机外参进行标定。
进一步的，所述利用第一检测框尺寸和第二检测框尺寸对相机内参进行标定的过程包括：
如果第一检测框的宽为、第一检测框的高为；第二检测框的宽为、第二检测框的高为；第一检测框的宽与第二检测框的宽之比；第二检测框的高与第二检测框的高之比；
当与的差值小于等于预设阈值时，则校正相机焦距为初始焦距的倍，当与的差值大于预设阈值时，则根据校正初始底片的宽度值，根据校正初始底片的高度值。
进一步的，所述利用第一检测框旋转角度和第二检测框旋转角度对相机外参进行标定的过程包括：利用第一检测框旋转角度和第二检测框旋转角度的差值作为相机需要沿z轴旋转的角度，最后利用罗德里格斯变换得到旋转矩阵。
本发明还提出了一种标志物点云和图像配准的系统，所述系统包括：预处理模块、检测模块、标定模块和配准模块；
所述预处理模块用于设置相机参数初始值，将预处理后的标志物点云数据根据相机参数初始值处理为第一深度图；
所述检测模块用于利用训练完成的图像检测模型对可见光图像进行检测得到第一检测信息；利用训练完成的深度图检测模型对第一深度图进行检测得到第二检测信息；
所述标定模块用于如果在深度图检测和可见光图像检测的过程中均检测到目标标志物，则根据第一检测信息和第二检测信息对相机参数进行标定；
所述配准模块用于将所述点云数据转换到标定后相机坐标系下得到第二深度图，通过将第二深度图与可见光图像进行像素加权融合实现标志物点云和可见光图像的配准。
进一步的，所述标定模块实现的过程为：
利用第一检测框尺寸和第二检测框尺寸对相机内参进行标定；
利用第一检测框旋转角度和第二检测框旋转角度对相机外参进行标定。
发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
本发明提出了一种标志物点云和图像配准的方法和系统，属于多源数据配准技术领域，该方法包括以下步骤：设置相机参数初始值，将预处理后的标志物点云数据根据相机参数初始值处理为第一深度图；利用训练完成的图像检测模型对可见光图像进行检测得到第一检测信息；利用训练完成的深度图检测模型对第一深度图进行检测得到第二检测信息；如果在可见光图像检测和深度图检测的过程中均检测到目标标志物，则根据第一检测信息和第二检测信息对相机参数进行标定；将点云数据转换到标定后相机坐标系下得到第二深度图，通过将第二深度图与可见光图像进行像素加权融合实现标志物点云和可见光图像的配准。基于一种标志物点云和图像配准的方法，还提出了一种标志物点云和图像配准的系统，本发明创新性的将计算机视觉基础检测技术与配准规律相结合，在相机内参、外参均未知的情况下对点云与图像进行配准。通过推导相机内、外参数与检测信息的具体关系，实现了标志物点云与图像的配准，进而减轻了配准人员在配准过程中的工作量，也为隐患测距等功能的自动化实现提供了技术支持。
本发明创新性的将旋转检测与相机内参校正结合到一起，通过调用旋转检测算法得到标志物在深度图与可见光图像中的检测信息，通过推导检测信息，即物体成像信息与相机各内参之间的具体关系，对设置的初始相机内参进行校正，得到精确的相机内参，该过程可多次迭代、实现最优校正。
本发明创新性的将旋转检测与相机外参预测结合到一起，通过调用旋转检测算法得到标志物在深度图与可见光图像中的检测信息，通过推导检测信息与相机外参之间的具体关系，对设置的初始相机外参进行校正，得到精确的相机外参，该过程可多次迭代。
附图说明
如图1为本发明实施例1提出的一种标志物点云和图像配准的方法流程图；
如图2为本发明实施例2提出的一种标志物点云和图像配准的系统示意图。
具体实施方式
为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
实施例1
本发明实施例1提出了一种标志物点云和图像配准的方法，用于解决现有技术配准的过程依赖于相机内参、外参均确定的情况。本发明创新性的将计算机视觉基础检测技术与配准规律相结合，在相机内参、外参均未知的情况下对点云与图像进行配准。通过结合旋转检测与相机参数和检测信息的具体量化关系实现了比较可观的配准效果。
如图1为本发明实施例1提出的一种标志物点云和图像配准的方法流程图；
在步骤S100中，设置相机参数初始值，将预处理后的标志物点云数据根据相机参数初始值处理为第一深度图。
利用点云离散点剔除算法对点云数据进行预处理，例如：半径滤波算法。
设置相机内参、外参初始值将点云数据处理为深度图，本发明实施例1中相机外参包括旋转矩阵R和平移矩阵；相机内参包括相机焦距f，单位为毫米、光心位置坐标、、相机传感器的宽w和相机传感器的高h。
将预处理后的标志物点云数据根据相机参数初始值处理为第一深度图的过程为：如果真实环境中点云数据的三维点坐标为；在对应相机上的成像点为；其中为点云数据数量；为第个点云数据的x轴坐标；为第个点云数据的y轴坐标；为第个点云数据的z轴坐标；为第个点云数据像素横坐标；为第个点云数据像素纵坐标；
则；（1）
其中为三维点坐标经过旋转平移后的中间矩阵；
（2）
（3）
为相机成像的宽、单位为毫米；为相机成像的高、单位为毫米；光心位置横坐标；为光心位置纵坐标。
在步骤S200中，利用训练完成的图像检测模型对可见光图像进行检测得到第一检测信息；利用训练完成的深度图检测模型对第一深度图进行检测得到第二检测信息。
训练图像检测模型的过程为：选择需要配准的标志物，利用标注工具对标志物进行标注，利用可见光图像标注数据对图像检测模型进行训练得到训练后的图像检测模型。
训练深度图检测模型的过程为：选择需要配准的标志物，利用标注工具对标志物进行标注，利用第一深度图标注数据对深度图检测模型进行训练得到训练后的深度图检测模型。
其中标注工具可采用例如RoLabelImg。
利用训练完成的图像检测模型对可见光图像进行检测得到第一检测信息；第一检测信息包括可见光图像中第一检测框坐标、第一检测框尺寸、第一检测框旋转角度、第一置信度得分和第二标签信息。
利用训练完成的深度图检测模型对第一深度图进行检测得到第二检测信息；第二检测信息包括第一深度图中第二检测框坐标、第二检测框尺寸、第二检测框旋转角度、第二置信度得分和第二标签信息。
在步骤S300中，如果在可见光图像检测和深度图检测的过程中均检测到目标标志物，则根据第一检测信息和第二检测信息对相机参数进行标定。
本发明实施例1中针对配电线路中杆塔点云和图像配准进行说明。为保证可见光与深度图中检测到的杆塔为同一杆塔，采用以下策略对检测结果进行过滤：如果可见光图像与深度图中检测出相同类型杆塔且存在某类型杆塔数量为一对一，选取某同类型一对一杆塔检测信息，直接用于后续的内参校正。如果可见光图像与深度图中检测出相同类型杆塔但所有同类型杆塔数量均为多对一、多对多或一对多；选取某同类型多对一、多对多或一对多的杆塔检测信息，两边均选取置信度得分最高的用于后续的内参校正。如果可见光图像与深度图中未检测出相同类型杆塔，不再进行后续的内参校正。
根据第一检测信息和第二检测信息对相机参数进行标定的过程包括：利用第一检测框尺寸和第二检测框尺寸对相机内参进行标定；利用第一检测框旋转角度和第二检测框旋转角度对相机外参进行标定。
其中，相机各内参与检测信息的具体关系推导过程为：假定某物体的三维点坐标为，已知某物体在相机下成像的宽为，高为，在相机下成像的宽为，高为，已知相机的成像大小为，焦距为，传感器宽为、高为，光心所位于的像素坐标为、，假定相机的成像大小、光心位置与相机一致，其焦距为，传感器宽为、高为。
根据如下公式：
根据如下公式求该物体在相机、下成像的宽、高比为：
根据上述推导可以得到结论：基于相同的相机坐标系，物体在内参不同的两相机中的成像宽/高均与焦距成正比，与传感器宽/高尺寸成反比。
所以利用第一检测框尺寸和第二检测框尺寸对相机内参进行标定的过程包括：如果第一检测框的宽为、第一检测框的高为；第二检测框的宽为、第二检测框的高为；第一检测框的宽与第二检测框的宽之比；第二检测框的高与第二检测框的高之比。
当与的差值小于等于预设阈值时，则校正相机焦距为初始焦距的倍，当与的差值大于阈值时，则根据校正初始底片的宽度值，根据校正初始底片的高度值。
另外，相机外参与检测信息的具体关系推导过程为：假定为任意物体的任一三维点坐标，、为设置的初始的旋转矩阵和平移矩阵，表示矩阵乘法，为沿x轴顺时针旋转1°对应的旋转变换矩阵，为沿y轴顺时针旋转1°对应的旋转变换矩阵，为相机成像大小，为相机焦距，、分别为相机传感器的宽、高。
利用上述公式可知：属于相机外参的旋转参数，沿x轴或y轴旋转1°对应的u方向和v方向的偏移，通过检测信息得到标志物的实际偏移量，即可得到相机需要沿x轴、y轴旋转的角度数。
所以利用第一检测框旋转角度和第二检测框旋转角度对相机外参进行标定的过程包括：利用第一检测框旋转角度和第二检测框旋转角度的差值作为相机需要沿z轴旋转的角度，最后利用罗德里格斯变换得到相机外参，即旋转矩阵。
所以，标志物仅通过旋转成像即可实现其点云与图像的配准。
在步骤S400中，将点云数据转换到标定后相机坐标系下得到第二深度图，通过将第二深度图与可见光图像进行像素加权融合实现标志物点云和可见光图像的配准。
点云数据首先根据步骤S300得到的相机外参转换为基于相机坐标系下的点云数据，转换公式如公式（1）所示，然后根据步骤S300得到的相机内参处理得到第二深度图；将得到的第二深度图与对应的可见光图像进行像素加权融合，融合后得到的图像能够比较直观的看出配准效果。
下面结合具体的示例对本发明实施例1实现的过程进行说明。
利用激光雷达扫描目标场景，获取到目标场景的点云，利用半径滤波算法对点云数据进行预处理，设置半径为0.2，点云数量阈值为50，剔除噪声点；处理后的点云数据共99个点位；设置初始相机参数为：焦距为3.69，相机成像大小为2592×1944（宽×高），相机光心位置为1312×986（宽×高），相机传感器尺寸为4.51845×3.38383，初始x,y,z轴对应旋转角为[-80°,0°,0°]，初始平移矩阵为[0,0,10]。
本发明中选取标志物为杆塔，利用训练完成的图像检测模型对可见光图像进行检测得到第一检测信息；第一检测信息包括可见光图像中第一检测框坐标、第一检测框尺寸、第一检测框旋转角度、第一置信度得分和第二标签信息。
利用训练完成的深度图检测模型对第一深度图进行检测得到第二检测信息；第二检测信息包括第一深度图中第二检测框坐标、第二检测框尺寸、第二检测框旋转角度、第二置信度得分和第二标签信息。
如下表一所示：检测框的信息分别为：
表一：检测框信息表
| 深度图检测框信息 | 可见光检测框信息 |
| [[1.11300e+03, 1.04200e+03, 1.27400e+03, 1.24600e+03, 1.0000e-01,2.54231e-01, 0.00000e+00]] | [[1.23200e+03, 1.03500e+03, 1.38000e+03, 1.20100e+03,5.0000e-01,9.55390e-01, 0.00000e+00]] |
| [[1.24300e+03, 8.42000e+02, 1.39700e+03, 1.02500e+03, 0.0000e-01,7.17741e-01, 2.00000e+00]] | [[1.24800e+03, 9.50000e+02, 1.37700e+03, 1.10300e+03, 1.0000e-01,9.85985e-01, 2.00000e+00],[1.24800e+03, 9.50000e+02, 0.97700e+03,0.10300e+03, 1.0000e-01,3.85985e-01, 2.00000e+00]] |
| None | [[9.16000e+02, 6.68000e+02, 1.02300e+03, 7.38000e+02, 1.0000e-01,9.75876e-01, 9.00000e+00]] |
| ... | ... |
| [[9.85000e+02, 9.78000e+02, 1.17800e+03, 1.14100e+03, 1.0000e-01,8.46124e-01, 9.00000e+00]] | [[1.28100e+03, 1.22300e+03, 1.34100e+03, 1.28100e+03, 7.0000e-01,8.61555e-01, 4.00000e+00],[1.39800e+03, 1.13400e+03, 1.43400e+03,1.18800e+03, 7.0000e-01,4.04173e-01, 1.20000e+01]] |
| [[1.24200e+03, 7.33000e+02, 1.42800e+03, 8.98000e+02, 1.0000e-01,7.73163e-01, 9.00000e+00],[1.24200e+03, 7.33000e+02, 1.42800e+03,8.98000e+02, 1.0000e-01,8.73163e-01, 9.00000e+00]] | [[1.30100e+03, 1.20600e+03, 1.42800e+03, 1.31900e+03, 3.0000e-01,9.76397e-01, 9.00000e+00]] |
进行目标匹配过滤后，过滤掉两个点位，过滤后的检测信息如下表二:
表二：过滤后的检测框信息表
| 深度图检测框信息 | 可见光检测框信息 |
| [[1.11300e+03, 1.04200e+03, 1.27400e+03, 1.24600e+03, 1.0000e-01,2.54231e-01, 0.00000e+00]] | [[1.23200e+03, 1.03500e+03, 1.38000e+03, 1.20100e+03, 4.0000e-01,9.55390e-01, 0.00000e+00]] |
| [[1.24300e+03, 8.42000e+02, 1.39700e+03, 1.02500e+03, 0.0000e-01,7.17741e-01, 2.00000e+00]] | [[1.24800e+03, 9.50000e+02, 1.37700e+03, 1.10300e+03, 7.0000e-01,9.85985e-01, 2.00000e+00]] |
| ... | ... |
| [[1.24200e+03, 7.33000e+02, 1.42800e+03, 8.98000e+02, 0.0000e-01,8.73163e-01, 9.00000e+00]] | [[1.30100e+03, 1.20600e+03, 1.42800e+03, 1.31900e+03, 3.0000e-01,9.76397e-01, 9.00000e+00]] |
以[[1.24300e+03, 8.42000e+02, 1.39700e+03,1.02500e+03,0.0000e-01,
717741e-01,2.00000e+00][[1.24800e+03,9.50000e+02,1.37700e+03,1.10300e+03,7.0000e-01, 9.85985e-01, 2.00000e+00]]对可见光-深度图检测信息为例，校正后得相机内参信息为：相机焦距为4.405116，相机成像大小为2592×1944（宽×高），相机光心位置为1312×986（宽×高），传感器尺寸为4.51845×3.38383。
以上面对内参进行校正的检测信息为例，预测得到的相机沿x轴、y轴，z轴的旋转角度为 -82.287、-0.16449，0.70001转换为旋转矩阵为： [[ 0.99992125, -0.01221713,-0.00287089],[ 0.00448438,0.13416626,0.99094869],[-0.01172137, -0.99088352,0.13421048]]。
利用上面得到的相机内参和相机外参对点云数据进行处理得到深度图，将得到的深度图与对应的可见光图像进行像素加权融合，融合后得到的配准效果。
本发明实施例1提出的一种标志物点云和图像配准的方法，创新性的将计算机视觉基础检测技术与配准规律相结合，在相机内参、外参均未知的情况下对点云与图像进行配准。通过推导相机内、外参数与检测信息的具体关系，实现了标志物点云与图像的配准，进而减轻了配准人员在配准过程中的工作量，也为隐患测距等功能的自动化实现提供了技术支持。
本发明实施例1提出的一种标志物点云和图像配准的方法，创新性的将旋转检测与相机内参校正结合到一起，通过调用旋转检测算法得到标志物在深度图与可见光图像中的检测信息，通过推导检测信息，即物体成像信息与相机各内参之间的具体关系，对设置的初始相机内参进行校正，得到精确的相机内参，该过程可多次迭代、实现最优校正。
本发明实施例1提出的一种标志物点云和图像配准的方法，创新性的将旋转检测与相机外参预测结合到一起，通过调用旋转检测算法得到标志物在深度图与可见光图像中的检测信息，通过推导检测信息与相机外参之间的具体关系，对设置的初始相机外参进行校正，得到精确的相机外参，该过程可多次迭代。
实施例2
基于本发明实施例1提出的一种标志物点云和图像配准的方法，本发明实施例2还提出了一种标志物点云和图像配准的系统，如图2为本发明实施例2提出的一种标志物点云和图像配准的系统示意图，该系统包括：预处理模块、检测模块、标定模块和配准模块；
预处理模块用于设置相机参数初始值，将预处理后的标志物点云数据根据相机参数初始值处理为第一深度图；
检测模块用于利用训练完成的图像检测模型对可见光图像进行检测得到第一检测信息；利用训练完成的深度图检测模型对第一深度图进行检测得到第二检测信息；
标定模块用于如果在深度图检测和可见光图像检测的过程中均检测到目标标志物，则根据第一检测信息和第二检测信息对相机参数进行标定；
配准模块用于将所述点云数据转换到标定后相机坐标系下得到第二深度图，通过将第二深度图与可见光图像进行像素加权融合实现标志物点云和可见光图像的配准。
其中预处理模块实现的过程为：利用点云离散点剔除算法对点云数据进行预处理，例如：半径滤波算法。
设置相机内参、外参初始值将点云数据处理为深度图，本发明实施例1中相机外参包括旋转矩阵R和平移矩阵；相机内参包括相机焦距f，单位为毫米、光心位置坐标、、相机传感器的宽w和相机传感器的高h。
将预处理后的标志物点云数据根据相机参数初始值处理为第一深度图的过程为：如果真实环境中点云数据的三维点坐标为；在对应相机上的成像点为；其中为点云数据数量；为第个点云数据的x轴坐标；为第个点云数据的y轴坐标；为第个点云数据的z轴坐标；为第个点云数据像素横坐标；为第个点云数据像素纵坐标；
则；（1）
其中为三维点坐标经过旋转平移后的中间矩阵；
（2）
（3）
为相机成像的宽、单位为毫米；为相机成像的高、单位为毫米；光心位置横坐标；为光心位置纵坐标。
检测模块实现的过程包括：训练图像检测模型、训练深度图检测模型以及利用训练完成的检测模型进行训练。
训练图像检测模型的过程为：选择需要配准的标志物，利用标注工具对标志物进行标注，利用可见光图像标注数据对图像检测模型进行训练得到训练后的图像检测模型；
训练深度图检测模型的过程为：选择需要配准的标志物，利用标注工具对标志物进行标注，利用第一深度图标注数据对深度图检测模型进行训练得到训练后的深度图检测模型。
其中标注工具可采用例如RoLabelImg。
利用训练完成的图像检测模型对可见光图像进行检测得到第一检测信息；第一检测信息包括可见光图像中第一检测框坐标、第一检测框尺寸、第一检测框旋转角度、第一置信度得分和第二标签信息。
利用训练完成的深度图检测模型对第一深度图进行检测得到第二检测信息；第二检测信息包括第一深度图中第二检测框坐标、第二检测框尺寸、第二检测框旋转角度、第二置信度得分和第二标签信息。
标定模块实现的过程中，本发明实施例2中针对配电线路中杆塔点云和图像配准进行说明，为保证可见光与深度图中检测到的杆塔为同一杆塔，采用以下策略对检测结果进行过滤：如果可见光图像与深度图中检测出相同类型杆塔且存在某类型杆塔数量为一对一，选取某同类型一对一杆塔检测信息，直接用于后续的内参校正。如果可见光图像与深度图中检测出相同类型杆塔但所有同类型杆塔数量均为多对一、多对多或一对多；选取某同类型多对一、多对多或一对多的杆塔检测信息，两边均选取置信度得分最高的用于后续的内参校正。如果可见光图像与深度图中未检测出相同类型杆塔，不再进行后续的内参校正。
根据第一检测信息和第二检测信息对相机参数进行标定的过程包括：利用第一检测框尺寸和第二检测框尺寸对相机内参进行标定；利用第一检测框旋转角度和第二检测框旋转角度对相机外参进行标定。
其中，相机各内参与检测信息的具体关系推导过程为：假定某物体的三维点坐标为，已知某物体在相机下成像的宽为，高为，在相机下成像的宽为，高为，已知相机的成像大小为，焦距为，传感器宽为、高为，光心所位于的像素坐标为、，假定相机的成像大小、光心位置与相机一致，其焦距为，传感器宽为、高为。
根据如下公式：
根据如下公式求该物体在相机、下成像的宽、高比为：
根据上述推导可以得到结论：基于相同的相机坐标系，物体在内参不同的两相机中的成像宽/高均与焦距成正比，与传感器宽/高尺寸成反比。
所以利用第一检测框尺寸和第二检测框尺寸对相机内参进行标定的过程包括：如果第一检测框的宽为、第一检测框的高为；第二检测框的宽为、第二检测框的高为；第一检测框的宽与第二检测框的宽之比；第二检测框的高与第二检测框的高之比。
当与的差值小于等于预设阈值时，则校正相机焦距为初始焦距的倍，当与的差值大于阈值时，则根据校正初始底片的宽度值，根据校正初始底片的高度值。
另外，相机外参与检测信息的具体关系推导过程为：假定为任意物体的任一三维点坐标，、为设置的初始的旋转矩阵和平移矩阵，表示矩阵乘法，为沿x轴顺时针旋转1°对应的旋转变换矩阵，为沿y轴顺时针旋转1°对应的旋转变换矩阵，为相机成像大小，为相机焦距，、分别为相机传感器的宽、高。
利用上述公式可知：属于相机外参的旋转参数，沿x轴或y轴旋转1°对应的u方向和v方向的偏移，通过检测信息得到标志物的实际偏移量，即可得到相机需要沿x轴、y轴旋转的角度数。
所以利用第一检测框旋转角度和第二检测框旋转角度对相机外参进行标定的过程包括：利用第一检测框旋转角度和第二检测框旋转角度的差值作为相机需要沿z轴旋转的角度，最后利用罗德里格斯变换得到相机外参，即旋转矩阵。
所以标志物仅通过旋转成像即可实现其点云与图像的配准。
配准模块实现的过程包括：点云数据首先标定模块得到的相机外参转换为基于相机坐标系下的点云数据，转换公式如公式（1）所示，然后根据标定模块得到的相机内参处理得到第二深度图；将得到的第二深度图与对应的可见光图像进行像素加权融合，融合后得到的图像能够比较直观的看出配准效果。
本发明实施例2提出的一种标志物点云和图像配准的系统，创新性的将计算机视觉基础检测技术与配准规律相结合，在相机内参、外参均未知的情况下对点云与图像进行配准。通过推导相机内、外参数与检测信息的具体关系，实现了标志物点云与图像的配准，进而减轻了配准人员在配准过程中的工作量，也为隐患测距等功能的自动化实现提供了技术支持。
本发明实施例2提出的一种标志物点云和图像配准的系统，创新性的将旋转检测与相机内参校正结合到一起，通过调用旋转检测算法得到标志物在深度图与可见光图像中的检测信息，通过推导检测信息，即物体成像信息与相机各内参之间的具体关系，对设置的初始相机内参进行校正，得到精确的相机内参，该过程可多次迭代、实现最优校正。
本发明实施例2提出的一种标志物点云和图像配准的系统，创新性的将旋转检测与相机外参预测结合到一起，通过调用旋转检测算法得到标志物在深度图与可见光图像中的检测信息，通过推导检测信息与相机外参之间的具体关系，对设置的初始相机外参进行校正，得到精确的相机外参，该过程可多次迭代。
本发明实施例2中各个模块实现的过程，和实施例1中相应步骤中的过程相同，在此不再详细赘述。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制。对于所属领域的技术人员来说，在上述说明的基础上还可以做出其它不同形式的修改或变形。这里无需也无法对所有的实施方式予以穷举。在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种标志物点云和图像配准的方法，其特征在于，包括以下步骤：
设置相机参数初始值，将预处理后的标志物点云数据根据相机参数初始值处理为第一深度图；
利用训练完成的图像检测模型对可见光图像进行检测得到第一检测信息；利用训练完成的深度图检测模型对第一深度图进行检测得到第二检测信息；
如果在可见光图像检测和深度图检测的过程中均检测到目标标志物，则根据第一检测信息和第二检测信息对相机参数进行标定；
将所述点云数据转换到标定后相机坐标系下得到第二深度图，通过将第二深度图与可见光图像进行像素加权融合实现标志物点云和可见光图像的配准。
2.根据权利要求1所述的一种标志物点云和图像配准的方法，其特征在于，所述相机参数包括相机外参和相机内参；
所述相机外参包括旋转矩阵R和平移矩阵；
所述相机内参包括相机焦距f、光心位置坐标、、相机传感器的宽w和相机传感器的高h。
3.根据权利要求2所述的一种标志物点云和图像配准的方法，其特征在于，将预处理后的标志物点云数据根据相机参数初始值处理为第一深度图的过程为：
如果真实环境中点云数据的三维点坐标为；在对应相机上的成像点为；其中为点云数据数量；为第个点云数据的x轴坐标；为第个点云数据的y轴坐标；为第个点云数据的z轴坐标；为第个点云数据像素横坐标；为第个点云数据像素纵坐标；
则；（1）
其中为三维点坐标经过旋转平移后的中间矩阵；
（2）
（3）
为相机成像的宽、为相机成像的高；光心位置横坐标；为光心位置纵坐标。
4.根据权利要求1所述的一种标志物点云和图像配准的方法，其特征在于,
训练图像检测模型的过程为：选择需要配准的标志物，利用标注工具对标志物进行标注，利用可见光图像标注数据对图像检测模型进行训练得到训练后的图像检测模型；
训练深度图检测模型的过程为：选择需要配准的标志物，利用标注工具对标志物进行标注，利用第一深度图标注数据对深度图检测模型进行训练得到训练后的深度图检测模型。
5.根据权利要求1所述的一种标志物点云和图像配准的方法，其特征在于，所述第一检测信息包括可见光图像中第一检测框坐标、第一检测框尺寸和第一检测框旋转角度；第二检测信息包括第一深度图中第二检测框坐标、第二检测框尺寸和第二检测框旋转角度。
6.根据权利要求5所述的一种标志物点云和图像配准的方法，其特征在于，根据第一检测信息和第二检测信息对相机参数进行标定的过程包括：
利用第一检测框尺寸和第二检测框尺寸对相机内参进行标定；
利用第一检测框旋转角度和第二检测框旋转角度对相机外参进行标定。
7.根据权利要求6所述的一种标志物点云和图像配准的方法，其特征在于，所述利用第一检测框尺寸和第二检测框尺寸对相机内参进行标定的过程包括：
如果第一检测框的宽为、第一检测框的高为；第二检测框的宽为、第二检测框的高为；第一检测框的宽与第二检测框的宽之比；第二检测框的高与第二检测框的高之比；
当与的差值小于等于预设阈值时，则校正相机焦距为初始焦距的倍，当与的差值大于预设阈值时，则根据校正初始底片的宽度值，根据校正初始底片的高度值。
8.根据权利要求6所述的一种标志物点云和图像配准的方法，其特征在于，所述利用第一检测框旋转角度和第二检测框旋转角度对相机外参进行标定的过程包括：利用第一检测框旋转角度和第二检测框旋转角度的差值作为相机需要沿z轴旋转的角度，最后利用罗德里格斯变换得到旋转矩阵。
9.一种标志物点云和图像配准的系统，其特征在于，所述系统包括：预处理模块、检测模块、标定模块和配准模块；
所述预处理模块用于设置相机参数初始值，将预处理后的标志物点云数据根据相机参数初始值处理为第一深度图；
所述检测模块用于利用训练完成的图像检测模型对可见光图像进行检测得到第一检测信息；利用训练完成的深度图检测模型对第一深度图进行检测得到第二检测信息；
所述标定模块用于如果在深度图检测和可见光图像检测的过程中均检测到目标标志物，则根据第一检测信息和第二检测信息对相机参数进行标定；
所述配准模块用于将所述点云数据转换到标定后相机坐标系下得到第二深度图，通过将第二深度图与可见光图像进行像素加权融合实现标志物点云和可见光图像的配准。
10.根据权利要求9所述的一种标志物点云和图像配准的系统，其特征在于，所述标定模块实现的过程为：
利用第一检测框尺寸和第二检测框尺寸对相机内参进行标定；
利用第一检测框旋转角度和第二检测框旋转角度对相机外参进行标定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310279128.5A CN115994854B (zh) | 2023-03-22 | 2023-03-22 | 一种标志物点云和图像配准的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310279128.5A CN115994854B (zh) | 2023-03-22 | 2023-03-22 | 一种标志物点云和图像配准的方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115994854A true CN115994854A (zh) | 2023-04-21 |
| CN115994854B CN115994854B (zh) | 2023-06-23 |
Family
ID=85992259
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310279128.5A Active CN115994854B (zh) | 2023-03-22 | 2023-03-22 | 一种标志物点云和图像配准的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115994854B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111340797A (zh) * | 2020-03-10 | 2020-06-26 | 山东大学 | 一种激光雷达与双目相机数据融合检测方法及系统 |
| CN112132874A (zh) * | 2020-09-23 | 2020-12-25 | 西安邮电大学 | 无标定板异源图像配准方法、装置、电子设备及存储介质 |
| CN113923420A (zh) * | 2021-11-18 | 2022-01-11 | 京东方科技集团股份有限公司 | 区域调整方法和装置、摄像头和存储介质 |
| CN114241298A (zh) * | 2021-11-22 | 2022-03-25 | 腾晖科技建筑智能(深圳)有限公司 | 一种激光雷达和图像融合的塔吊环境目标检测方法及系统 |
| CN114359181A (zh) * | 2021-12-17 | 2022-04-15 | 上海应用技术大学 | 一种基于图像和点云的智慧交通目标融合检测方法及系统 |
| CN114494248A (zh) * | 2022-04-01 | 2022-05-13 | 之江实验室 | 基于点云和不同视角下的图像的三维目标检测系统及方法 |
| US20220155776A1 (en) * | 2020-11-19 | 2022-05-19 | Tusimple, Inc. | Multi-sensor collaborative calibration system |
| WO2022156175A1 (zh) * | 2021-01-20 | 2022-07-28 | 上海西井信息科技有限公司 | 融合图像和点云信息的检测方法、系统、设备及存储介质 |
| CN115240093A (zh) * | 2022-09-22 | 2022-10-25 | 山东大学 | 基于可见光和激光雷达点云融合的输电通道自动巡检方法 |
| CN115294200A (zh) * | 2022-07-28 | 2022-11-04 | 中国人民解放军军事科学院国防科技创新研究院 | 一种多传感器融合的全天时三维目标检测方法 |
-
2023
- 2023-03-22 CN CN202310279128.5A patent/CN115994854B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111340797A (zh) * | 2020-03-10 | 2020-06-26 | 山东大学 | 一种激光雷达与双目相机数据融合检测方法及系统 |
| CN112132874A (zh) * | 2020-09-23 | 2020-12-25 | 西安邮电大学 | 无标定板异源图像配准方法、装置、电子设备及存储介质 |
| US20220155776A1 (en) * | 2020-11-19 | 2022-05-19 | Tusimple, Inc. | Multi-sensor collaborative calibration system |
| WO2022156175A1 (zh) * | 2021-01-20 | 2022-07-28 | 上海西井信息科技有限公司 | 融合图像和点云信息的检测方法、系统、设备及存储介质 |
| CN113923420A (zh) * | 2021-11-18 | 2022-01-11 | 京东方科技集团股份有限公司 | 区域调整方法和装置、摄像头和存储介质 |
| CN114241298A (zh) * | 2021-11-22 | 2022-03-25 | 腾晖科技建筑智能(深圳)有限公司 | 一种激光雷达和图像融合的塔吊环境目标检测方法及系统 |
| CN114359181A (zh) * | 2021-12-17 | 2022-04-15 | 上海应用技术大学 | 一种基于图像和点云的智慧交通目标融合检测方法及系统 |
| CN114494248A (zh) * | 2022-04-01 | 2022-05-13 | 之江实验室 | 基于点云和不同视角下的图像的三维目标检测系统及方法 |
| CN115294200A (zh) * | 2022-07-28 | 2022-11-04 | 中国人民解放军军事科学院国防科技创新研究院 | 一种多传感器融合的全天时三维目标检测方法 |
| CN115240093A (zh) * | 2022-09-22 | 2022-10-25 | 山东大学 | 基于可见光和激光雷达点云融合的输电通道自动巡检方法 |
Non-Patent Citations (4)
| Title |
|---|
| YU, J (YU, JIE)等: "An Advanced Outlier Detected Total Least-Squares Algorithm for 3-D Point Clouds Registration", IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING * |
| 康国华;张琪;张晗;徐伟证;张文豪;: "基于点云中心的激光雷达与相机联合标定方法研究", 仪器仪表学报, no. 12 * |
| 胡远志;刘俊生;何佳;肖航;宋佳;: "基于激光雷达点云与图像融合的车辆目标检测方法", 汽车安全与节能学报, no. 04 * |
| 闫利;索一凡;曹亮;: "车载激光雷达点云与全景影像的自动配准", 测绘科学, no. 04 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115994854B (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111369630A (zh) | 一种多线激光雷达与相机标定的方法 | |
| CN110197466B (zh) | 一种广角鱼眼图像矫正方法 | |
| CN105716542B (zh) | 一种基于柔性特征点的三维数据拼接方法 | |
| CN109993793B (zh) | 视觉定位方法及装置 | |
| US20130058581A1 (en) | Microscopic Vision Measurement Method Based On Adaptive Positioning Of Camera Coordinate Frame | |
| CN106971408B (zh) | 一种基于时空转换思想的摄像机标定方法 | |
| CN102509261A (zh) | 一种鱼眼镜头的畸变校正方法 | |
| CN102622747B (zh) | 一种用于视觉测量的摄像机参数优化方法 | |
| CN101577002A (zh) | 应用于目标检测的鱼眼镜头成像系统标定方法 | |
| CN112949478A (zh) | 基于云台相机的目标检测方法 | |
| CN110666798A (zh) | 一种基于透视变换模型的机器人视觉标定方法 | |
| CN104657982A (zh) | 一种投影仪标定方法 | |
| CN111854622B (zh) | 一种大视场光学动态变形测量方法 | |
| CN110807815B (zh) | 基于两组相互正交平行线对应消失点的快速水下标定方法 | |
| CN108537849A (zh) | 基于同心圆环的三维直角靶标的线阵相机的标定方法 | |
| CN112991467B (zh) | 基于相机的激光投影标识自动引导定位与实时校正方法 | |
| CN106780391A (zh) | 一种用于全视角三维测量仪光学系统的畸变矫正算法 | |
| CN111461963A (zh) | 一种鱼眼图像拼接方法及装置 | |
| CN114283203A (zh) | 一种多相机系统的标定方法及系统 | |
| CN114705122A (zh) | 一种大视场立体视觉标定方法 | |
| CN109191527A (zh) | 一种基于最小化距离偏差的对位方法及装置 | |
| CN112950719A (zh) | 一种基于无人机主动式光电平台的无源目标快速定位方法 | |
| CN107784633B (zh) | 适用于平面测量的无人机航拍图像校准方法 | |
| CN115994854B (zh) | 一种标志物点云和图像配准的方法和系统 | |
| WO2020113978A1 (zh) | 位于平面上的孔的中心位置的计算方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |