CN112102419B - 双光成像设备标定方法及系统、图像配准方法 - Google Patents

双光成像设备标定方法及系统、图像配准方法 Download PDF

Info

Publication number
CN112102419B
CN112102419B CN202011016581.XA CN202011016581A CN112102419B CN 112102419 B CN112102419 B CN 112102419B CN 202011016581 A CN202011016581 A CN 202011016581A CN 112102419 B CN112102419 B CN 112102419B
Authority
CN
China
Prior art keywords
image
coordinate system
coordinates
world coordinate
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011016581.XA
Other languages
English (en)
Other versions
CN112102419A (zh
Inventor
王静
刘东立
刘宇廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iray Technology Co Ltd
Original Assignee
Iray Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iray Technology Co Ltd filed Critical Iray Technology Co Ltd
Priority to CN202011016581.XA priority Critical patent/CN112102419B/zh
Publication of CN112102419A publication Critical patent/CN112102419A/zh
Application granted granted Critical
Publication of CN112102419B publication Critical patent/CN112102419B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种双光成像设备标定方法及系统，首先以设备的第一摄像装置和第二摄像装置获取标定面的图像，相应分别获得第一图像和第二图像，然后根据标定面上各个预设图形在世界坐标系的坐标、在第一图像中各个预设图形对应像的坐标以及在第二图像中各个预设图形对应像的坐标，获得世界坐标系相对第一摄像装置坐标系的第一变换参量、世界坐标系相对第二摄像装置坐标系的第二变换参量，进一步根据第一变换参量和第二变换参量，获得第一摄像装置所成图像和第二摄像装置所成图像的映射关系。本发明使用的标定面不需要使用非常昂贵的材料，容易制作，能够降低成本，并且标定的操作过程简单。本发明还公开一种双光成像设备图像配准方法。

Description

双光成像设备标定方法及系统、图像配准方法
技术领域
本发明涉及成像设备标定技术领域，特别是涉及一种双光成像设备标定方法及系统。本发明还涉及一种双光成像设备图像配准方法。
背景技术
近年来，搭载可见光摄像装置与红外摄像装置的双光成像设备发展快速，该成像设备可拍摄获得可见光图像，也能拍摄获得红外光图像。在一些应用比如同步定位与建图(Simultaneous Localization And Mapping，SLAM)、视觉摄影测量、遥感成像或者目标监视等应用中，为综合获取对象的光谱辐射信息，会采取多光谱联合测量的方法。而可见光摄像装置和红外摄像装置可以感知光谱的不同波段，可获得对象不同的光谱信息，因此，搭载可见光摄像装置与红外摄像装置的设备在多光谱联合测量中得到广泛应用。
在应用中需要将两种摄像装置获得的图像配准，现有技术中，对两摄像装置进行标定的方法成本高，操作过程复杂。
发明内容
本发明的目的是提供一种双光成像设备标定方法及系统，与现有技术相比能够降低成本，操作过程相对简单。本发明还提供一种双光成像设备图像配准方法。
为实现上述目的，本发明提供如下技术方案：
一种双光成像设备标定方法，包括：
以设备的第一摄像装置和第二摄像装置获取标定面的图像，相应分别获得第一图像和第二图像，所述标定面具有由多个预设图形排列形成的阵列；
根据所述标定面上各个预设图形在世界坐标系的坐标和在所述第一图像中各个预设图形对应像的坐标，获得世界坐标系相对所述第一摄像装置坐标系的第一变换参量，以及根据所述标定面上各个预设图形在世界坐标系的坐标和在所述第二图像中各个预设图形对应像的坐标，获得世界坐标系相对所述第二摄像装置坐标系的第二变换参量；
根据所述第一变换参量和所述第二变换参量，获得所述第一摄像装置所成图像和所述第二摄像装置所成图像的映射关系。
优选的，获取在图像中各个预设图形对应像的坐标包括：
在图像中确定出所述标定面上各个预设图形对应的像；
获得在图像中各个预设图形对应像的质心坐标，作为各个预设图形对应像的坐标。
优选的，具体包括：通过在图像中提取图像特征，找出预设图形对应的像，并以预设图形的几何特征或者预设图形阵列的排列特征为约束条件，排除不符合约束条件的预设图形对应像。
优选的，还包括：
将所述第一图像和所述第二图像裁剪为长宽比相同的图像；
将裁剪后的第一图像和第二图像调整到相同的分辨率，以在调整后的第一图像或者第二图像中确定所述标定面上各个预设图形对应像的坐标。
优选的，获得所述第一摄像装置所成图像和所述第二摄像装置所成图像的映射关系包括：
根据以下公式计算：Pn1＝K1*[R1new-R1new*C1]；
Pn2＝K2*[R2new-R2new*C2]；
其中，K1表示所述第一摄像装置的内参数矩阵，C1表示所述第一摄像装置光心在世界坐标系的坐标，R1new表示进行极线对齐后世界坐标系相对所述第一摄像装置坐标系的旋转矩阵，K2表示所述第二摄像装置的内参数矩阵，C2表示所述第二摄像装置光心在世界坐标系的坐标，R2new表示进行极线对齐后世界坐标系相对所述第二摄像装置坐标系的旋转矩阵；
根据Pn1获得所述第一摄像装置所成图像的映射矩阵，以及根据Pn2获得所述第二摄像装置所成图像的映射矩阵。
优选的，根据以下过程进行极线对齐：
获得第一摄像装置光心在世界坐标系的坐标以及第二摄像装置光心在世界坐标系的坐标，根据以下公式计算：
C1＝-inv(K1*R1)*T1，C2＝-inv(K2*R2)*T2；
其中，C1表示所述第一摄像装置光心在世界坐标系的坐标，C2表示所述第二摄像装置光心在世界坐标系的坐标，K1、R1、T1分别表示所述第一摄像装置的内参数矩阵、世界坐标系相对所述第一摄像装置坐标系的旋转矩阵、平移矩阵，K2、R2、T2分别表示所述第二摄像装置的内参数矩阵、世界坐标系相对所述第二摄像装置坐标系的旋转矩阵、平移矩阵；
第一摄像装置和第二摄像装置的x轴为：Vx＝C1-C2；
第一摄像装置的y轴为：V1y＝k1∧Vx，z轴为：V1z＝Vx∧V1y，其中，k1＝R1(3，：)；
第二摄像装置的y轴为：V2y＝k2∧Vx，z轴为：V2z＝Vx∧V2y，其中，k2＝R2(3，：)。
优选的，根据以下公式计算进行极线对齐后世界坐标系相对第一摄像装置坐标系的旋转矩阵以及世界坐标系相对第二摄像装置坐标系的旋转矩阵：
R1new＝[Vx′/norm(Vx)；V1y′/norm(V1y)；V1z′/norm(V1z)]；
R2new＝[Vx′/norm(Vx)；V2y′/norm(V2y)；V2z′/norm(V2z)]；
其中，函数norm()表示求向量的模。
优选的，根据所述标定面上各个预设图形在世界坐标系的坐标和在所述第一图像中各个预设图形对应像的坐标，获得世界坐标系相对所述第一摄像装置坐标系的第一变换参量包括：
标定面上预设图形在世界坐标系的坐标表示为在所述第一图像中预设图形对应像的坐标表示为/>根据以下公式计算第一变换参量：/>其中，Po1表示世界坐标系相对所述第一摄像装置坐标系的第一变换参量。
一种双光成像设备标定系统，用于执行以上所述的双光成像设备标定方法。
一种双光成像设备图像配准方法，根据第一摄像装置所成图像和第二摄像装置所成图像的映射关系，将所述第一摄像装置获得图像和所述第二摄像装置获得图像配准，其中采用以上所述的双光成像设备标定方法获得第一摄像装置所成图像和第二摄像装置所成图像的映射关系。
由上述技术方案可知，本发明所提供的一种双光成像设备标定方法及系统，首先以设备的第一摄像装置和第二摄像装置获取标定面的图像，相应分别获得第一图像和第二图像，然后根据标定面上各个预设图形在世界坐标系的坐标和在第一图像中各个预设图形对应像的坐标，获得世界坐标系相对第一摄像装置坐标系的第一变换参量，根据标定面上各个预设图形在世界坐标系的坐标和在第二图像中各个预设图形对应像的坐标，获得世界坐标系相对第二摄像装置坐标系的第二变换参量，进一步根据第一变换参量和第二变换参量，获得第一摄像装置所成图像和第二摄像装置所成图像的映射关系。本发明的双光成像设备标定方法及系统，使用的标定面不需要使用非常昂贵的材料，容易制作，能够降低成本，并且标定的操作过程简单。
本发明提供的一种双光成像设备图像配准方法，能够达到上述有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种双光成像设备标定方法的流程图；
图2为本发明实施例采用的一种标定面的示意图；
图3为本发明实施例中获取在图像中各个预设图形对应像的坐标的方法流程图；
图4为本发明实施例提供的一种双光成像设备标定系统的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
请参考图1，图1为本发明实施例提供的一种双光成像设备标定方法的流程图，由图可知，所述双光成像设备标定方法包括以下步骤：
S10：以设备的第一摄像装置和第二摄像装置获取标定面的图像，相应分别获得第一图像和第二图像。
所述标定面具有由多个预设图形排列形成的阵列。其中预设图形的形状确定，预设图形优选采用在图像中更容易被识别出的形状，可选的，预设图形可以是但不限于规则图形、点或者直线段，规则图形包括但不限于圆形、方形。示例性的请参考图2，图2为本实施例采用的一种标定面的示意图，其中在标定面上分布多个圆形成的阵列。
将标定面置于设备的第一摄像装置和第二摄像装置的共同视场内，将第一摄像装置、第二摄像装置对标定面拍摄图像。在标定过程中设备的第一摄像装置和第二摄像装置的相对位置固定，本方法可以应用于设备的第一摄像装置和第二摄像装置的光轴在同一水平面平行的情况，也可以应用于第一摄像装置和第二摄像装置的光轴在同一竖直平面平行的情况。
优选的，尽量使设备的第一摄像装置和第二摄像装置之间距离较小即两摄像装置尽量相距较近，使得两摄像装置的视场交集尽量多，有助于提高对摄像装置标定的准确性以及后续应用中对双光图像配准的准确性。
S11：根据所述标定面上各个预设图形在世界坐标系的坐标和在所述第一图像中各个预设图形对应像的坐标，获得世界坐标系相对所述第一摄像装置坐标系的第一变换参量，以及根据所述标定面上各个预设图形在世界坐标系的坐标和在所述第二图像中各个预设图形对应像的坐标，获得世界坐标系相对所述第二摄像装置坐标系的第二变换参量。
在实际应用中，可以在设计标定面的预设图形阵列时确定各个预设图形的坐标，或者也可以通过手动测量而确定出标定面上各个预设图形的坐标，进而在进行标定时获得标定面上各个预设图形在世界坐标系的坐标。
对于第一图像或者第二图像，获取在图像中各个预设图形对应像的坐标可通过以下方法进行，请参考图3，图3为本实施例中获取在图像中各个预设图形对应像的坐标的方法流程图，包括以下步骤：
S20：在图像中确定出所述标定面上各个预设图形对应的像。
可通过在图像中提取图像特征，在图像中识别出预设图形对应的像。进一步优选的，可先在图像中提取图像特征，找出预设图形对应的像，并以预设图形的几何特征或者预设图形阵列的排列特征为约束条件，排除不符合约束条件的预设图形对应像。比如，标定面的预设图形阵列为圆阵列，在获得的图像中通过提取图像特征在图像中找出足够多的圆，然后可以以圆半径、圆心距或者圆心所连直线条数等为约束条件，过滤排除掉不符合条件的圆，筛选出与标定面上圆相匹配的成像圆。通过本方法能够较准确地从图像中确定出标定面上各个预设图形对应像，有助于提高标定准确性。
可选的，在图像中提取图像特征以找出预设图形对应像可采用边缘检测法或者霍夫变换法，但不限于此，也可采用其它提取图像特征的方法，都在本发明保护范围内。
S21：获得在图像中各个预设图形对应像的质心坐标，作为各个预设图形对应像的坐标。从而获得图像中各个预设图形对应像的坐标。
通过上述方法过程，可对第一图像获得第一图像中各个预设图形对应像的坐标，对第二图像获得第二图像中各个预设图形对应像的坐标。
优选的，在获取图像中各个预设图形对应像的坐标之前，对于获得的第一图像和第二图像进行预处理，具体包括以下过程：
S30：将所述第一图像和所述第二图像裁剪为长宽比相同的图像。
S31：将裁剪后的第一图像和第二图像调整到相同的分辨率，以在调整后的第一图像或者第二图像中确定所述标定面上各个预设图形对应像的坐标。
首先对第一图像和第二图像进行裁剪，使得两图像达到相同的长宽比，然后对裁剪后的两图像放大或者缩小，将图像等长宽比的放大或者缩小，使得两图像调整到相同的分辨率。比如，第一图像的分辨率为a*b，第二图像的分辨率为A*B，A>B>a>b且A/B>a/b。若要将第二图像缩小到与第一图像的等尺寸大小分辨率，则首先对第二图像裁剪，比如裁剪后第二图像的分辨率为A’*B，A’/B＝a/b，对第二图像的宽度进行了裁剪。然后将裁剪后的第二图像缩小到a*b的分辨率大小。可以通过插值法将图像缩小分辨率。
可选的，可采用张正友标定法，根据标定面上各个预设图形在世界坐标系的坐标和在第一图像中各个预设图形对应像的坐标，获得世界坐标系相对第一摄像装置坐标系的第一变换参量，包括世界坐标系相对第一摄像装置坐标系的旋转矩阵、平移矩阵，还可以获得第一摄像装置的内参数矩阵，以及，根据标定面上各个预设图形在世界坐标系的坐标和在第二图像中各个预设图形对应像的坐标，获得世界坐标系相对第二摄像装置坐标系的第二变换参量，包括世界坐标系相对第二摄像装置坐标系的旋转矩阵、平移矩阵，还可以获得第二摄像装置的内参数矩阵。
具体的，对于第一摄像装置，根据第一摄像装置拍摄标定面获得的第一图像，标定面上预设图形在世界坐标系的坐标表示为在所述第一图像中预设图形对应像的坐标表示为/>根据以下公式计算第一变换参量：/>其中，Po1表示世界坐标系相对所述第一摄像装置坐标系的第一变换参量。
其中，Po1＝K1*[R1∣T1]，K1、R1、T1分别表示所述第一摄像装置的内参数矩阵、世界坐标系相对所述第一摄像装置坐标系的旋转矩阵、平移矩阵。
其中，
其中，dx、dy分别表示单一像素在x轴方向、y轴方向上的物理长度，比如其单位可为mm/像素。(u0，v0)表示图像中心的坐标。
同理的，参考上述方法过程，可根据标定面上各个预设图形在世界坐标系的坐标和在第二图像中各个预设图形对应像的坐标，获得世界坐标系相对第二摄像装置坐标系的第二变换参量Po2，Po2＝K2*[R2∣T2]，K2、R2、T2分别表示所述第二摄像装置的内参数矩阵、世界坐标系相对所述第二摄像装置坐标系的旋转矩阵、平移矩阵。
S12：根据所述第一变换参量和所述第二变换参量，获得所述第一摄像装置所成图像和所述第二摄像装置所成图像的映射关系。
具体的，可通过运算获得第一摄像装置所成图像相对预设成像面的映射关系以及第二摄像装置所成图像相对预设成像面的映射关系，从而获得第一摄像装置所成图像和第二摄像装置所成图像的映射关系。可选的，可通过以下过程获得第一摄像装置所成图像和第二摄像装置所成图像的映射关系。
根据以下公式计算：Pn1＝K1*[R1new-R1new*C1]；
Pn2＝K2*[R2new-R2new*C2]；
其中，K1表示所述第一摄像装置的内参数矩阵，C1表示所述第一摄像装置光心在世界坐标系的坐标，R1new表示进行极线对齐后世界坐标系相对所述第一摄像装置坐标系的旋转矩阵，K2表示所述第二摄像装置的内参数矩阵，C2表示所述第二摄像装置光心在世界坐标系的坐标，R2new表示进行极线对齐后世界坐标系相对所述第二摄像装置坐标系的旋转矩阵。
具体的，根据以下过程进行极线对齐：
获得第一摄像装置光心在世界坐标系的坐标以及第二摄像装置光心在世界坐标系的坐标，根据以下公式计算：
C1＝-inv(K1*R1)*T1，C2＝-inv(K2*R2)*T2；
其中，C1表示所述第一摄像装置光心在世界坐标系的坐标，C2表示所述第二摄像装置光心在世界坐标系的坐标。
第一摄像装置和第二摄像装置的x轴为：Vx＝C1-C2；
第一摄像装置的y轴为：V1y＝k1∧Vx，z轴为：V1z＝Vx∧V1y，其中，k1＝R1(3，：)；
第二摄像装置的y轴为：V2y＝k2∧Vx，z轴为：V2z＝Vx∧V2y，其中，k2＝R2(3，：)。
其中，V1y＝k1∧Vx表示向量V1y是垂直于向量k1和向量Vx的向量，V1z＝Vx∧V1y表示向量V1z是垂直于向量Vx和向量V1y的向量，V2y＝k2∧Vx表示向量V2y是垂直于向量k2和向量Vx的向量，V2z＝Vx∧V2y表示向量V2z是垂直于向量Vx和向量V2y的向量。
根据以下公式计算进行极线对齐后世界坐标系相对第一摄像装置坐标系的旋转矩阵以及世界坐标系相对第二摄像装置坐标系的旋转矩阵：
R1new＝[Vx′/norm(Vx)；V1y′/norm(V1y)；V1z′/norm(V1z)]；
R2new＝[Vx′/norm(Vx)；V2y′/norm(V2y)；V2z′/norm(V2z)]；
其中，函数norm()表示求向量的模，Vx′、V1y′、V1z′分别表示Vx的转置向量、V1y的转置向量、V1z的转置向量，V2y′、V2z′分别表示V2y的转置向量、V2z的转置向量。
进一步根据Pn1获得所述第一摄像装置所成图像的映射矩阵，以及根据Pn2获得所述第二摄像装置所成图像的映射矩阵，具体可根据以下公式计算：
Mn1＝Pn1(1:3,1:3)*inv(Po1(1:3,1:3))；
Mn2＝Pn1(1:3,1:3)*inv(Po1(1:3,1:3))；
其中，Mn1表示所述第一摄像装置所成图像的映射矩阵，Mn2表示所述第二摄像装置所成图像的映射矩阵。
根据标定获得的第一摄像装置所成图像的映射矩阵和第二摄像装置所成图像的映射矩阵，即可将两摄像装置获得的图像相映射。具体的，比如对于第一摄像装置，根据矩阵Mn1对第一摄像装置拍摄的图像做如下映射：
Xnew＝x’/z’，Ynew＝y’/z’。映射后图像imagenew(Xnew,Ynew)＝imageold(x,y)，其中，imageold(x,y)表示输入图像imageold在(x,y)处的像素值，imagenew(Xnew,Ynew)表示输出图像imagenew在(Xnew,Ynew)处的像素值。
对于第二摄像装置，同理根据矩阵Mn2对第二摄像装置拍摄的图像做映射，对第一摄像装置的图像做映射后的输出图像以及对第二摄像装置的图像做映射后的输出图像，即实现将两摄像装置的图像相映射。
优选的，在实际应用中，可以改变标定面的位置或者角度，或者改变设备的位置或者角度，将设备的第一摄像装置和第二摄像装置从不同的角度对标定面拍摄图像来获得标定数据，由于从单一角度获取的标定面图像中标定面圆心不一定能够覆盖全视场，在实际标定中单一角度获取的标定面图像中包含的图形数量可能偏多或者偏少，不能达到要求，因此通过从多个不同的角度对标定面获取图像来进行标定，以保证标定的准确性。
本实施例双光成像设备标定方法可以应用于搭载可见光摄像装置和红外摄像装置的设备。
相应的，本发明实施例还提供一种双光成像设备标定系统，用于执行以上所述的双光成像设备标定方法。
本实施例的双光成像设备标定系统，首先以设备的第一摄像装置和第二摄像装置获取标定面的图像，相应分别获得第一图像和第二图像，然后根据标定面上各个预设图形在世界坐标系的坐标和在第一图像中各个预设图形对应像的坐标，获得世界坐标系相对第一摄像装置坐标系的第一变换参量，根据标定面上各个预设图形在世界坐标系的坐标和在第二图像中各个预设图形对应像的坐标，获得世界坐标系相对第二摄像装置坐标系的第二变换参量，进一步根据第一变换参量和第二变换参量，获得第一摄像装置所成图像和第二摄像装置所成图像的映射关系。本系统使用的标定面不需要使用非常昂贵的材料，容易制作，能够降低成本，并且标定的操作过程简单。
请参考图4，图4为本实施例提供的一种双光成像设备标定系统的示意图，其中双光成像设备包括第一摄像装置41和第二摄像装置42，第一摄像装置41和第二摄像装置42分别与数据处理装置40相连。标定面43置于第一摄像装置41和第二摄像装置42的共同视场内，在标定面43设置有用于控制和改变标定面43的温度的控温装置44。其中标定面43可采用挖孔标定板形成。
相应的，本发明实施例还提供一种双光成像设备图像配准方法，根据第一摄像装置所成图像和第二摄像装置所成图像的映射关系，将所述第一摄像装置获得图像和所述第二摄像装置获得图像配准，其中采用以上所述的双光成像设备标定方法获得第一摄像装置所成图像和第二摄像装置所成图像的映射关系。
本实施例的双光成像设备图像配准方法，获得第一摄像装置所成图像和第二摄像装置所成图像的映射关系的方法过程，使用的标定面不需要使用非常昂贵的材料，容易制作，能够降低成本，并且标定的操作过程简单。
以上对本发明所提供的双光成像设备标定方法及系统、图像配准方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种双光成像设备标定方法，其特征在于，包括：
以设备的第一摄像装置和第二摄像装置获取标定面的图像，相应分别获得第一图像和第二图像，所述标定面具有由多个预设图形排列形成的阵列；
根据所述标定面上各个预设图形在世界坐标系的坐标和在所述第一图像中各个预设图形对应像的坐标，获得世界坐标系相对所述第一摄像装置坐标系的第一变换参量，以及根据所述标定面上各个预设图形在世界坐标系的坐标和在所述第二图像中各个预设图形对应像的坐标，获得世界坐标系相对所述第二摄像装置坐标系的第二变换参量；
根据所述第一变换参量和所述第二变换参量，获得所述第一摄像装置所成图像和所述第二摄像装置所成图像的映射关系。
2.根据权利要求1所述的双光成像设备标定方法，其特征在于，获取在图像中各个预设图形对应像的坐标包括：
在图像中确定出所述标定面上各个预设图形对应的像；
获得在图像中各个预设图形对应像的质心坐标，作为各个预设图形对应像的坐标。
3.根据权利要求2所述的双光成像设备标定方法，其特征在于，具体包括：通过在图像中提取图像特征，找出预设图形对应的像，并以预设图形的几何特征或者预设图形阵列的排列特征为约束条件，排除不符合约束条件的预设图形对应像。
4.根据权利要求1所述的双光成像设备标定方法，其特征在于，还包括：
将所述第一图像和所述第二图像裁剪为长宽比相同的图像；
将裁剪后的第一图像和第二图像调整到相同的分辨率，以在调整后的第一图像或者第二图像中确定所述标定面上各个预设图形对应像的坐标。
5.根据权利要求1-4任一项所述的双光成像设备标定方法，其特征在于，获得所述第一摄像装置所成图像和所述第二摄像装置所成图像的映射关系包括：
根据以下公式计算：Pn1＝K1*[R1new-R1new*C1]；
Pn2＝K2*[R2new-R2new*C2]；
其中，K1表示所述第一摄像装置的内参数矩阵，C1表示所述第一摄像装置光心在世界坐标系的坐标，R1new表示进行极线对齐后世界坐标系相对所述第一摄像装置坐标系的旋转矩阵，K2表示所述第二摄像装置的内参数矩阵，C2表示所述第二摄像装置光心在世界坐标系的坐标，R2new表示进行极线对齐后世界坐标系相对所述第二摄像装置坐标系的旋转矩阵；
根据Pn1获得所述第一摄像装置所成图像的映射矩阵，以及根据Pn2获得所述第二摄像装置所成图像的映射矩阵。
6.根据权利要求5所述的双光成像设备标定方法，其特征在于，根据以下过程进行极线对齐：
获得第一摄像装置光心在世界坐标系的坐标以及第二摄像装置光心在世界坐标系的坐标，根据以下公式计算：
C1＝-inv(K1*R1)*T1，C2＝-inv(K2*R2)*T2；
其中，C1表示所述第一摄像装置光心在世界坐标系的坐标，C2表示所述第二摄像装置光心在世界坐标系的坐标，K1、R1、T1分别表示所述第一摄像装置的内参数矩阵、世界坐标系相对所述第一摄像装置坐标系的旋转矩阵、平移矩阵，K2、R2、T2分别表示所述第二摄像装置的内参数矩阵、世界坐标系相对所述第二摄像装置坐标系的旋转矩阵、平移矩阵；
第一摄像装置和第二摄像装置的x轴为：Vx＝C1-C2；
第一摄像装置的y轴为：V1y＝k1∧Vx，z轴为：V1z＝Vx∧V1y，其中，k1＝R1(3，：)；
第二摄像装置的y轴为：V2y＝k2∧Vx，z轴为：V2z＝Vx∧V2y，其中，k2＝R2(3，：)。
7.根据权利要求6所述的双光成像设备标定方法，其特征在于，根据以下公式计算进行极线对齐后世界坐标系相对第一摄像装置坐标系的旋转矩阵以及世界坐标系相对第二摄像装置坐标系的旋转矩阵：
R1new＝[Vx′/norm(Vx)；V1y′/norm(V1y)；V1z′/norm(V1z)]；
R2new＝[Vx′/norm(Vx)；V2y′/norm(V2y)；V2z′/norm(V2z)]；
其中，函数norm()表示求向量的模。
8.根据权利要求1-4任一项所述的双光成像设备标定方法，其特征在于，根据所述标定面上各个预设图形在世界坐标系的坐标和在所述第一图像中各个预设图形对应像的坐标，获得世界坐标系相对所述第一摄像装置坐标系的第一变换参量包括：
标定面上预设图形在世界坐标系的坐标表示为在所述第一图像中预设图形对应像的坐标表示为/>根据以下公式计算第一变换参量：/>其中，Po1表示世界坐标系相对所述第一摄像装置坐标系的第一变换参量。
9.一种双光成像设备标定系统，其特征在于，用于执行权利要求1-8任一项所述的双光成像设备标定方法。
10.一种双光成像设备图像配准方法，其特征在于，根据第一摄像装置所成图像和第二摄像装置所成图像的映射关系，将所述第一摄像装置获得图像和所述第二摄像装置获得图像配准，其中采用权利要求1-8任一项所述的双光成像设备标定方法获得第一摄像装置所成图像和第二摄像装置所成图像的映射关系。
CN202011016581.XA 2020-09-24 2020-09-24 双光成像设备标定方法及系统、图像配准方法 Active CN112102419B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011016581.XA CN112102419B (zh) 2020-09-24 2020-09-24 双光成像设备标定方法及系统、图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011016581.XA CN112102419B (zh) 2020-09-24 2020-09-24 双光成像设备标定方法及系统、图像配准方法

Publications (2)

Publication Number Publication Date
CN112102419A CN112102419A (zh) 2020-12-18
CN112102419B true CN112102419B (zh) 2024-01-26

Family

ID=73755335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011016581.XA Active CN112102419B (zh) 2020-09-24 2020-09-24 双光成像设备标定方法及系统、图像配准方法

Country Status (1)

Country Link
CN (1) CN112102419B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129211B (zh) * 2021-06-16 2021-08-17 贝壳技术有限公司 光心对齐检测方法和装置、存储介质、电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104048601A (zh) * 2014-06-19 2014-09-17 湖北汽车工业学院 基于坐标变换的完整成像映射方法
CN107014312A (zh) * 2017-04-25 2017-08-04 西安交通大学 一种振镜式线激光扫描三维测量系统的整体标定方法
CN109754427A (zh) * 2017-11-01 2019-05-14 虹软科技股份有限公司 一种用于标定的方法和装置
WO2020024178A1 (zh) * 2018-08-01 2020-02-06 深圳配天智能技术研究院有限公司 一种手眼标定方法、系统及计算机存储介质
CN111489288A (zh) * 2019-01-28 2020-08-04 北京初速度科技有限公司 一种图像的拼接方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104048601A (zh) * 2014-06-19 2014-09-17 湖北汽车工业学院 基于坐标变换的完整成像映射方法
CN107014312A (zh) * 2017-04-25 2017-08-04 西安交通大学 一种振镜式线激光扫描三维测量系统的整体标定方法
CN109754427A (zh) * 2017-11-01 2019-05-14 虹软科技股份有限公司 一种用于标定的方法和装置
WO2020024178A1 (zh) * 2018-08-01 2020-02-06 深圳配天智能技术研究院有限公司 一种手眼标定方法、系统及计算机存储介质
CN111489288A (zh) * 2019-01-28 2020-08-04 北京初速度科技有限公司 一种图像的拼接方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于共面圆的双目立体视觉分步标定法;王科俊;魏娟;;应用科技(第01期);全文 *

Also Published As

Publication number Publication date
CN112102419A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN109146980B (zh) 基于单目视觉的优化的深度提取和被动测距方法
CN109035320B (zh) 基于单目视觉的深度提取方法
CN110276808B (zh) 一种单相机结合二维码测量玻璃板不平度的方法
CN109269430B (zh) 基于深度提取模型的多株立木胸径被动测量方法
WO2014024579A1 (ja) 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム
CN107084680B (zh) 一种基于机器单目视觉的目标深度测量方法
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN109579695B (zh) 一种基于异构立体视觉的零件测量方法
CN111612850B (zh) 一种基于点云的猪只体尺参数测量方法
CN114494045B (zh) 一种基于机器视觉的大型直齿轮几何参数测量系统及方法
CN110189375B (zh) 一种基于单目视觉测量的图像目标识别方法
CN110322485B (zh) 一种异构多相机成像系统的快速图像配准方法
WO2023060926A1 (zh) 一种基于3d光栅引导机器人定位抓取的方法、装置及设备
CN111739031B (zh) 一种基于深度信息的作物冠层分割方法
CN110969667A (zh) 基于边缘特征的多光谱相机外参自校正算法
CN108181319A (zh) 一种基于立体视觉的积尘检测装置及方法
KR101589167B1 (ko) 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법
CN113012234A (zh) 基于平面变换的高精度相机标定方法
CN112102419B (zh) 双光成像设备标定方法及系统、图像配准方法
CN116129037A (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
CN112470189B (zh) 光场系统的遮挡消除
CN109360269B (zh) 基于计算机视觉的地面三维平面重建方法
CN115082777A (zh) 基于双目视觉的水下动态鱼类形态测量方法及装置
Han et al. Target positioning method in binocular vision manipulator control based on improved canny operator
CN111260735B (zh) 一种单次拍摄的lidar与全景相机的外参数标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20201218

Assignee: INFIRAY TECHNOLOGIES CO.,LTD.

Assignor: Yantai Airui Photo-Electric Technology Co.,Ltd.

Contract record no.: X2024980006380

Denomination of invention: Calibration method, system, and image registration method for dual light imaging equipment

Granted publication date: 20240126

License type: Common License

Record date: 20240530