CN112767455B - 一种双目结构光的校准方法及系统 - Google Patents

一种双目结构光的校准方法及系统 Download PDF

Info

Publication number
CN112767455B
CN112767455B CN202110025522.7A CN202110025522A CN112767455B CN 112767455 B CN112767455 B CN 112767455B CN 202110025522 A CN202110025522 A CN 202110025522A CN 112767455 B CN112767455 B CN 112767455B
Authority
CN
China
Prior art keywords
camera
initial
image
correction algorithm
stereo correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110025522.7A
Other languages
English (en)
Other versions
CN112767455A (zh
Inventor
户磊
薛远
曹天宇
王亚运
季栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Dilusense Technology Co Ltd filed Critical Hefei Dilusense Technology Co Ltd
Priority to CN202110025522.7A priority Critical patent/CN112767455B/zh
Publication of CN112767455A publication Critical patent/CN112767455A/zh
Application granted granted Critical
Publication of CN112767455B publication Critical patent/CN112767455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本发明提供一种双目结构光的校准方法及系统，该方法包括：以初始第一相机为参考坐标系，获取所述初始第一相机对应的第一初始图像和初始第二相机对应的第二初始图像；基于所述初始第一相机保持不动、所述初始第二相机绕所述初始第一相机转动直至共面的原理，对所述初始第一相机和所述初始第二相机进行动态参数调节，获取目标立体校正算法；基于所述第一初始图像、所述第二初始图像和所述目标立体校正算法，获取校正后的第一初始图像和校正后的第二初始图像。本发明实施例以其中一个相机为基础，旋转另外一个相机达到图像立体校正的目的，由于只需要旋转一个相机，因此所设计出来的优化立体校正算法简单，计算量低。

Description

一种双目结构光的校准方法及系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种双目结构光的校准方法及系统。
背景技术
在双目结构光相机使用的过程中，双目结构光相机在出厂前会在模组厂进行标定，根据模组厂的标定给出了原始的图像立体校正算法，但是在双目结构光后续使用过程中，由于不可避免的存在安装误差或者外来因素的压迫，使得双目结构光相机的结构位置发生改变，从而导致原始的图像立体校正算法存在较大误差。
如图1所示，图像立体校正是指把实际中非共面行对准的两幅图像，校正成共面行对准，这样可以使两幅图像只存在水平方向上的视差。图像立体校正是提高立体匹配速度和准确率的重要方法，现有技术中提出的一种圆柱形投影算法，即两幅图像不投影到一个共同的平面上，而是投影到一个共同的圆柱面上，但是计算过程比较复杂，耗时长。
发明内容
本发明提供一种双目结构光的校准方法及系统，用以解决现有技术中图像立体校正方法计算复杂耗时长的缺陷，实现图像的高效、实时校正。
本发明提供一种双目结构光的校准方法，包括：
以初始第一相机为参考坐标系，获取所述初始第一相机对应的第一初始图像和初始第二相机对应的第二初始图像；
基于所述初始第一相机保持不动、所述初始第二相机绕所述初始第一相机转动直至共面的原理，对所述初始第一相机和所述初始第二相机进行动态参数调节，获取目标立体校正算法；
基于所述第一初始图像、所述第二初始图像和所述目标立体校正算法，获取校正后的第一初始图像和校正后的第二初始图像。
根据本发明提供一种的双目结构光的校准方法，所述目标立体校正算法包括目标第一相机立体校正算法和目标第二相机立体校正算法，所述基于所述第二初始图像绕所述第一初始图像转动直至共面的原理，获取目标立体校正算法，具体包括：
基于极线校正方法和预设出厂标定参数，获取初始第一相机立体校正算法和初始第二相机立体校正算法；
基于所述第一初始图像保持不动、所述第二初始图像绕所述第一初始图像转动直至共面的原理，获取校正后的第一相机和校正后的第二相机；
将所述初始第一相机的内参数、所述初始第二相机的内参数、校正后的第一相机的内参数和校正后的第二相机的内参数设置为相等，并将校正后的第一相机对应的旋转矩阵设置为单位矩阵；
基于上述原理，分别对所述初始第一相机立体校正算法和所述初始第二相机立体校正算法进行优化，获取目标第一相机立体校正算法和目标第二相机立体校正算法。
根据本发明提供一种的双目结构光的校准方法，所述目标第一相机立体校正算法应用如下公式获得：
UnL＝UL，
其中，UnL表示校正后的第一初始图像，UL表示所述第一初始图像。
根据本发明提供一种的双目结构光的校准方法，所述目标第二相机立体校正算法应用如下公式获得：
Figure BDA0002890189370000031
其中，UnR表示校正后的第二初始图像，KL表示所述初始第一相机的内参数，R表示所述初始第二相机对应的旋转矩阵，KR表示所述初始第二相机的内参数，UR表示所述第二初始图像。
根据本发明提供一种的双目结构光的校准方法，还包括：
当所述初始第一相机和所述初始第二相机的位置结构发生改变后，则将改变后的第一相机重新作为所述参考坐标系，通过列文伯格—马夸尔特算法，获取改变后的第二相机对应的旋转矩阵；
将改变后的第一相机对应的旋转矩阵和所述初始第一相机对应的旋转矩阵均设置为单位矩阵；
将改变后的第二相机对应的旋转矩阵重新作为所述初始第二相机对应的旋转矩阵。
根据本发明提供一种的双目结构光的校准方法，所述通过列文伯格—马夸尔特算法，获取改变后的第二相机对应的旋转矩阵，包括：
根据所述初始第一相机的内参数、所述初始第二相机的内参数和单位旋转矩阵，通过列文伯格—马夸尔特算法，获取改变后的第二相机的旋转角度；
基于所述初始第二相机对应的旋转矩阵和改变后的第二相机对应的旋转角度，获取改变后的第二相机对应的旋转矩阵。
根据本发明提供一种的双目结构光的校准方法，所述列文伯格—马夸尔特算法中应用如下公式进行初始化：
Figure BDA0002890189370000041
其中，Rx表示绕X轴的旋转角度，Ry表示绕Y轴的旋转角度，Rz表示绕Z轴的旋转角度。
本发明还提供一种双目结构光的校准系统，包括：
初始模块，用于以初始第一相机为参考坐标系，获取所述初始第一相机对应的第一初始图像和初始第二相机对应的第二初始图像；
优化模块，用于基于所述初始第一相机保持不动、所述初始第二相机绕所述初始第一相机转动直至共面的原理，对所述初始第一相机和所述初始第二相机进行动态参数调节，获取目标立体校正算法；
匹配模块，用于基于所述第一初始图像、所述第二初始图像和所述目标立体校正算法，获取校正后的第一初始图像和校正后的第二初始图像。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述双目结构光的校准方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述双目结构光的校准方法的步骤。
本发明实施例提供一种双目结构光的校准方法及系统，该方法以其中一个相机为基础，旋转另外一个相机达到图像立体校正的目的，由于只需要旋转一个相机，因此所设计出来的目标立体校正算法简单，计算量低。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中立体校正的转动示意图；
图2为本发明提供的一种双目结构光的校准方法的流程图；
图3为本发明实施例中所提出的立体校正算法转动示意图；
图4为本发明提供的一种双目结构光的校准系统的结构示意图；
图5为本发明提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图像极线校正是提高立体匹配速度和准确率的重要方法，极线校正算法是指将两幅图像重投影到同一平面上，以得到校正图像，重投影面经过两个图像面的交线且与极线平行。
现有技术中的双目结构光相机在出厂前，会进行模组标定，双目结构光相机内置的极线校正算法如下：
在摄像机成像模型中，用透视投影矩阵P表示摄像机模型：
P＝K[R T]， (1)
其中，R是单目摄像机的旋转矩阵，T是单目摄像机的平移矢量，K是单目摄像机计算的内参数。
假设投影矩阵表示为：
Figure BDA0002890189370000061
则图像上任意一点的坐标(u,v)和其对应的世界坐标w可表示为：
Figure BDA0002890189370000062
其中，当分母为0时，
Figure BDA0002890189370000063
表示焦平面。当平面
Figure BDA0002890189370000064
时，该平面和图像平面的交线是图像平面的纵轴。当平面
Figure BDA0002890189370000065
时，该平面和图像平面的交线是图像平面的横轴。而这三个平面的交点是光心坐标C，即：
Figure BDA0002890189370000066
变换得到：
Figure BDA0002890189370000067
其中，λ为比例因子，U为图像点齐次坐标。
已知左右两个相机经过标定得到投影矩阵MoL和MoR，将两个相机绕着各自光心旋转，直到两个相机的焦平面共面时，此时得到两个新相机，投影矩阵为MnL和MnR。
此时，基线CLCR包含在左右相机焦平面内，所有极线互相平行，在焦平面内建立一条新的X轴，使得X轴平行于CLCR，这样所有极线变为水平。由此可知，立体校正后的左右相机内参数相同，与平面共面且平行于基线。
结合上面公式(5)推导过程，将新投影矩阵MnL和MnR进行分解：
Figure BDA0002890189370000071
其中，A是两个新相机的内参数，CL和CR分别是原来左右相机的光心，可由式子(4)求解得到，而姿态矩阵R可由下式(7)得到：
Figure BDA0002890189370000072
其中，r1、r2和r3分别表示新相机坐标系中的X、Y、Z轴。可以通过如下方法得到：
(1)新坐标系X轴平行于基线：
Figure BDA0002890189370000073
(2)新坐标系Y轴垂直于新坐标系X轴，且垂直于新坐标系X轴和原坐标系Z轴组成的平面：
r2＝k∧r1， (9)
(3)新坐标系Z轴垂直于新坐标系X轴和新坐标系Y轴组成的平面：
r3＝r1∧r2， (10)
其中，k表示原坐标系Z轴方向的单位矢量。
对于左右新相机的空间成像关系可表示为：
sUn＝Pnw， (11)
根据式子(5)和(6)可得：
Figure BDA0002890189370000081
其中，Pn表示新的相机坐标系，P0表示原始的相机坐标系，U0表示原始图像，Un表示校正之后的图像。
那么根据上式(12)可计算出立体校正后图像与原图像的变换关系。
在上述出厂标定的基础上，本发明实施例提供一种双目结构光的校准方法的流程图，如图2所示，该方法包括：
在双目结构光相机长期使用的过程中，可能因为掉落等其它原因，导致双目结构光相机的结构变动，从而使得出厂内置的图像校准算法出现误差，因此，需要对双目结构光相机拍摄的图像进行实时的校正，以得到较准确的校正图像。
本发明实施例中的双目结构光相机包括左相机和右相机，其中，左相机相当于下面的第一相机，右相机相当于下面的第二相机。
210，以初始第一相机为参考坐标系，获取所述初始第一相机对应的第一初始图像和初始第二相机对应的第二初始图像；
将双目结构光相机出厂安装后、在结构上具有一定偏差的双目结构光相机称为初始双目结构光相机，此种结构位置下其中一个相机称为初始第一相机，另外一个相机称为初始第二相机，初始结构光双目相机内置有标定算法，但是由于两个相机的结构发生了改变，内置的图像立体校正算法无法满足精度要求。
因此在外部对双目结构光相机进行立体校正之前，以初始第一相机为基准，建立参考坐标系，先获取初始第一相机对应的内参数、初始第一相机对应的旋转矩阵和初始第一相机拍摄得到的第一初始图像，第一初始图像是已经经过相机内部图像立体校正算法后的图像。
同样地，还需要获得初始第二相机拍摄得到的第二初始图像，第二初始图像也是已经经过相机内部图像立体校正算法后的图像。
220，基于所述初始第一相机保持不动、所述初始第二相机绕所述初始第一相机转动直至共面的原理，对所述初始第一相机和所述初始第二相机进行动态参数调节，获取目标立体校正算法；
传统的立体校正算法需要同时转动第一相机和第二相机，以使得最后第一相机和第二相机共面，但是这样的立体校正方法计算比较复杂；本发明实施例中提出了另外一种使两个相机共面的原理，即以其中一个相机为基准，转动另外一个相机从而使得两个相机共面。
基于此，本发明实施例中以初始第一相机为基准，将初始第二相机绕初始第一相机转动，达到初始第一相机和初始第二相机共面的情形，将转动后得到的双目结构光相机称为校正后的双目结构光相机，将第一相机称为校正后的第一相机，将第二相机称为校正后的第二相机。
本发明实施例中，动态参数包括但不限于：初始第一相机对应的内参数、初始第一相机对应的旋转矩阵、初始第二相机对应的内参数和初始第二相机对应的旋转矩阵。
当以初始第一相机为基础建立参考坐标系时，初始第一相机对应的旋转矩阵即为单位矩阵，初始第二相机对应的旋转矩阵即为初始第二相机相对于参考坐标系的旋转矩阵，也就是初始第二相机相对于初始第一相机的旋转矩阵。旋转矩阵也称作为外参数，外参数会随着相机的结构位置发生改变而改变，但是内参数不会，相机的内参数是固定的。
在上述原理的基础上，校正后的第一相机和校正后的第二相机会存在一些可以优化或者可以化简的地方，对原始的图像立体校正算法进行简化或者优化，设计出目标立体校正算法。
230，基于所述第一初始图像、所述第二初始图像和所述目标立体校正算法，获取校正后的第一初始图像和校正后的第二初始图像。
根据第一初始图像和目标立体校正算法，得到校正后的第一初始图像，根据第二初始图像和目标立体校正算法，得到校正后的第二初始图像。
校正后的第一初始图像和校正后的第二初始图像由于是对经过内部校正后的图像再次进行外部校正，因此，校正后的第一初始图像和校正后的第二初始图像的校正精度更高。
本发明实施例提供一种双目结构光的校准方法，该方法以其中一个相机为基础，旋转另外一个相机达到图像立体校正的目的，由于只需要旋转一个相机，因此所设计出来的目标立体校正算法简单，计算量低。
另外地，当需要根据校正后的第一初始图像和校正后的第二初始图像进行匹配时，运用立体匹配算法获取视差图，进而获取深度图。而深度图的应用范围非常广泛，由于其能够记录场景中物体距离摄像机的距离，可以用以测量、三维重建、以及虚拟视点的合成等。
立体校正后的第一初始图像和第二初始图像得到后，匹配点是在同一行上的，可以使用OpenCV中的BM算法或者SGBM算法计算视差图。由于SGBM算法的表现要远远优于BM算法，因此常常采用SGBM算法获取视差图。
由于对初始双目相机拍摄的每张图像都有经过该目标立体校正算法，与传统立体校正算法相比，该目标立体校正算法可以大大降低计算量，从而提高了后续图像匹配的效率。
在上述实施例的基础上，优选地，所述目标立体校正算法包括目标第一相机立体校正算法和目标第二相机立体校正算法，所述基于所述第二初始图像绕所述第一初始图像转动直至共面的原理，获取目标立体校正算法，具体包括：
传统的极线校正(Fusiello)算法，其核心在于建立一个新坐标系，然后将原来两个相机坐标系向新建坐标系靠拢，需要通过一定程度的仿射变换获得校正后两个相机图像。
而在结构光相机三维重建中，校正后的图像常常会出现黑边，黑边会对立体匹配引入大量不必要的计算，并且生成深度图后需要进行放射变换的逆变换，消耗大量时间，本发明实施例在传统极线校正算法的基础上，对算法进行了升级。
基于极线校正方法和预设出厂标定参数，获取初始第一相机立体校正算法和初始第二相机立体校正算法；
假设对于初始第一相机，其内参数为KL，外参数旋转矩阵为RL，外参数平移矩阵TL，最原始的、未经过内部图像立体校正的第一图像坐标为UL。
对于初始第二相机，其内参数为KR，外参数旋转矩阵为RR，外参数平移矩阵TR，最原始的、未经过内部图像立体校正的第二初始图像坐标为UR。
双目结构光相机内部校正后得到校正后的第一相机和校正后的第二相机，对于校正后的第一相机，其内参数为KnL，外参数旋转矩阵为RnL，外参数平移矩阵TnL，校正后的第一图像坐标为UnL。
对于校正后的第二相机，其内参数为KnR，外参数旋转矩阵为RnR，外参数平移矩阵TnR，校正后的第一图像坐标为UnR。
根据极线校正方法(12)式可知：
Figure BDA0002890189370000121
将上式(13)展开得到：
Figure BDA0002890189370000122
其中，式(14)在计算时要按照从左到右的顺序计算，不能反向。
根据立体校正后的图像平面共面、尺度一致等特征可知，立体校正后摄像机的参数有如下关系：
Figure BDA0002890189370000123
此处，λ为比例因子，表示焦距变化关系，可省略，那么式(14)可简化为：
Figure BDA0002890189370000131
式(16)的上式即为初始第一相机立体校正算法，式(16)下面的公式即为初始第二相机立体校正算法。
基于所述第一初始图像保持不动、所述第二初始图像绕所述第一初始图像转动直至共面的原理，获取校正后的第一相机和校正后的第二相机；
将所述初始第一相机的内参数、所述初始第二相机的内参数、校正后的第一相机的内参数和校正后的第二相机的内参数设置为相等，并将校正后的第一相机对应的旋转矩阵设置为单位矩阵；
如图3所示，要解决上面提到的极线校正算法的缺点，最好的办法是以其中一个相机为基准，保持第一相机不动，仅仅转动第二相机，使得第一相机和第二相机共平面。
在该种情况下，可以得到如下特点：
Figure BDA0002890189370000132
基于上述方法，分别对所述初始第一相机立体校正算法和所述初始第二相机立体校正算法进行优化，获取目标第一相机立体校正算法和目标第二相机立体校正算法。
基于公式(17)，对公式(14)进行化简，即可得到目标第一相机立体校正算法和目标第二相机立体校正算法。
因此，本发明实施例中保证第一相机不动，绕动第二相机，使得第一相机和第二相机共面，基于该原理，设计出来的目标立体校正算法具有计算量小复杂度低的特点。
在上述实施例的基础上，优选地，所述目标第一相机立体校正算法应用如下公式获得：
UnL＝UL，
其中，UnL表示校正后的第一初始图像，UL表示所述第一初始图像。
在上述实施例的基础上，优选地，所述目标第二相机立体校正算法应用如下公式获得：
Figure BDA0002890189370000141
其中，UnR表示校正后的第二初始图像，KL表示所述初始第一相机的内参数，R表示所述初始第二相机的旋转矩阵，KR表示所述初始第二相机的内参数，UR表示所述第二初始图像。
具体地，基于公式(17)对公式(14)进行化简，即得到目标第一相机立体校正算法和目标第二相机立体校正算法，其公式具体如下：
Figure BDA0002890189370000142
如果双目结构光相机已经标定成功，想要获得准确的立体校正图像对，将标定数据带入(18)式，进行仿射变换即可，当然这要求第一相机和第二相机的焦距固定不变，双摄结构稳定。
但是该条件显然是无法达到的，主要难点在于：
双目结构光相机的模组标定以后，在安装在设备过程中，会受到压迫、碰摔等造成双摄相机结构发生变化，以及设备在使用过程的碰摔和老化等同样会造成双摄相机结构发生变化。
因此，在实际运用中，需要动态的调整标定参数去满足立体校正实现行对齐。
在上述实施例的基础上，优选地，还包括：
当所述初始第一相机和所述初始第二相机的位置结构发生改变后，则将改变后的第一相机重新作为所述参考坐标系，通过列文伯格—马夸尔特算法，获取改变后的第二相机对应的旋转矩阵；
将改变后的第一相机对应的旋转矩阵和所述初始第一相机对应的旋转矩阵均设置为单位矩阵；
将改变后的第二相机对应的旋转矩阵重新作为所述初始第二相机对应的旋转矩阵。
具体地，双目结构光相机的结构位置发生改变后，相机的外参数也会随之进行改变，只需要重新调整相机的外参数，即可用同样的方法获得目标立体校正算法。
将结构位置发生改变后，将其称之为改变后的第一相机和改变后的第二相机，以改变后的第一相机为基准重新建立参考坐标系，通过列文伯格—马夸尔特(Levenberg-Marquardt，简称LM)算法，计算出改变后的第二相机对应的旋转角度，此处改变后的第二相机对应的旋转角度即为改变后的第二相机相对于参考坐标系的旋转角度，也即是改变后的第二相机相对于改变后的第一相机之间的旋转角度。
从而在初始第二相机的旋转角度已知的基础上，得到改变后的第二相机的旋转角度。
具体计算公式如下：
Figure BDA0002890189370000161
其中，α表示绕X轴的旋转角度，β表示绕Y轴的旋转角度，γ表示绕Z轴的旋转角度。
LM算法应用如下公式进行初始化：
Figure BDA0002890189370000162
其中，Rx表示绕X轴的旋转角度，Ry表示绕Y轴的旋转角度，Rz表示绕Z轴的旋转角度。
直接利用LM算法即可实现动态调节参数满足立体校正图像对行，将优化得到的标定参数带入(20)式即可求解得到立体校正矩阵，完成图像立体校正。
本发明一优选实施例提供一种双目结构光的校准方法，该方法包括如下步骤：
(1)以初始第一相机为参考坐标系，获取初始第一相机的外参数，并获取初始第一相机的内参数，获取初始第一相机拍摄的第一初始图像。
(2)基于LM算法，获取初始第二相机的外参数，并获取初始第二相机的内参数，获取初始第二相机拍摄的第二初始图像。
(3)将初始第一相机的内参数、外参数、第一初始图像，初始第二相机的内参数、外参数和第二初始图像，代入到公式(18)中，得到校正后的第一初始图像和校正后的第二初始图像。
(4)基于校正后的第一初始图像和校正后的第二初始图像，进行图像匹配。
综上，本发明实施例提供一种双目结构光的校准方法，该方法以其中一个相机为基础，旋转另外一个相机达到图像立体校正的目的，由于只需要旋转一个相机，因此所设计出来的目标立体校正算法简单，计算量低；另外，由于对初始双目相机拍摄的每张图像都有经过该目标立体校正算法，与传统立体校正算法相比，该目标立体校正算法可以大大降低计算量，从而提高了后续图像匹配的效率；最后通过LM算法，实现了动态参数调节，从而使得该方法对相机的任何位置结构都使用，具有较强的鲁棒性。
本发明实施例还提供的一种双目结构光的校准系统，如图4所示，该系统包括初始模块401、优化模块402和匹配模块403，其中：
初始模块401用于以初始第一相机为参考坐标系，获取所述初始第一相机对应的第一初始图像和初始第二相机对应的第二初始图像；
优化模块402用于基于所述初始第一相机保持不动、所述初始第二相机绕所述初始第一相机转动直至共面的原理，对所述初始第一相机和所述初始第二相机进行动态参数调节，获取目标立体校正算法；
匹配模块403用于基于所述第一初始图像、所述第二初始图像和所述目标立体校正算法，获取校正后的第一初始图像和校正后的第二初始图像。
本实施例为与上述方法相对应的系统实施例，详情请参考上述方法实施例，本系统实施例在此不再赘述。
本发明实施例提供的一种电子设备，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(CommunicationsInterface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行一种双目结构光的校准方法，该方法包括：
以初始第一相机为参考坐标系，获取所述初始第一相机对应的第一初始图像和初始第二相机对应的第二初始图像；
基于所述初始第一相机保持不动、所述初始第二相机绕所述初始第一相机转动直至共面的原理，对所述初始第一相机和所述初始第二相机进行动态参数调节，获取目标立体校正算法；
基于所述第一初始图像、所述第二初始图像和所述目标立体校正算法，获取校正后的第一初始图像和校正后的第二初始图像。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的一种双目结构光的校准方法，该方法包括：
以初始第一相机为参考坐标系，获取所述初始第一相机对应的第一初始图像和初始第二相机对应的第二初始图像；
基于所述初始第一相机保持不动、所述初始第二相机绕所述初始第一相机转动直至共面的原理，对所述初始第一相机和所述初始第二相机进行动态参数调节，获取目标立体校正算法；
基于所述第一初始图像、所述第二初始图像和所述目标立体校正算法，获取校正后的第一初始图像和校正后的第二初始图像。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的一种双目结构光的校准方法，该方法包括：
以初始第一相机为参考坐标系，获取所述初始第一相机对应的第一初始图像和初始第二相机对应的第二初始图像；
基于所述初始第一相机保持不动、所述初始第二相机绕所述初始第一相机转动直至共面的原理，对所述初始第一相机和所述初始第二相机进行动态参数调节，获取目标立体校正算法；
基于所述第一初始图像、所述第二初始图像和所述目标立体校正算法，获取校正后的第一初始图像和校正后的第二初始图像。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种双目结构光的校准方法，其特征在于，包括：
以初始第一相机为参考坐标系，获取所述初始第一相机对应的第一初始图像和初始第二相机对应的第二初始图像；
基于所述初始第一相机保持不动、所述初始第二相机绕所述初始第一相机转动直至共面的原理，对所述初始第一相机和所述初始第二相机进行动态参数调节，获取目标立体校正算法；
基于所述第一初始图像、所述第二初始图像和所述目标立体校正算法，获取校正后的第一初始图像和校正后的第二初始图像；
其中，所述目标立体校正算法包括目标第一相机立体校正算法和目标第二相机立体校正算法，
所述目标第一相机立体校正算法应用如下公式获得：
UnL＝UL，
其中，UnL表示校正后的第一初始图像，UL表示所述第一初始图像；
所述目标第二相机立体校正算法应用如下公式获得：
Figure FDA0003548880050000011
其中，UnR表示校正后的第二初始图像，KL表示所述初始第一相机的内参数，R表示所述初始第二相机对应的旋转矩阵，KR表示所述初始第二相机的内参数，UR表示所述第二初始图像；
所述第一初始图像是经过相机内部图像立体校正算法后的图像；所述第二初始图像是经过相机内部图像立体校正算法后的图像。
所述基于所述第二初始图像绕所述第一初始图像转动直至共面的原理，获取目标立体校正算法，包括：
基于极线校正方法和预设出厂标定参数，获取初始第一相机立体校正算法和初始第二相机立体校正算法；
基于所述第一初始图像保持不动、所述第二初始图像绕所述第一初始图像转动直至共面的原理，获取校正后的第一相机和校正后的第二相机；
将所述初始第一相机的内参数、所述初始第二相机的内参数、校正后的第一相机的内参数和校正后的第二相机的内参数设置为相等，并将校正后的第一相机对应的旋转矩阵设置为单位矩阵；
基于上述原理，分别对所述初始第一相机立体校正算法和所述初始第二相机立体校正算法进行优化，获取目标第一相机立体校正算法和目标第二相机立体校正算法；
当所述初始第一相机和所述初始第二相机的位置结构发生改变后，则将改变后的第一相机重新作为所述参考坐标系，通过列文伯格—马夸尔特算法，获取改变后的第二相机对应的旋转矩阵；
将改变后的第一相机对应的旋转矩阵和所述初始第一相机对应的旋转矩阵均设置为单位矩阵；
将改变后的第二相机对应的旋转矩阵重新作为所述初始第二相机对应的旋转矩阵。
2.根据权利要求1所述的双目结构光的校准方法，其特征在于，所述以所述通过列文伯格—马夸尔特算法，获取改变后的第二相机对应的旋转矩阵，包括：
根据所述初始第一相机的内参数、所述初始第二相机的内参数和单位旋转矩阵，通过列文伯格—马夸尔特算法，获取改变后的第二相机的旋转角度；
基于所述初始第二相机对应的旋转矩阵和改变后的第二相机对应的旋转角度，获取改变后的第二相机对应的旋转矩阵。
3.根据权利要求2所述的双目结构光的校准方法，其特征在于，所述列文伯格—马夸尔特算法中应用如下公式进行初始化：
Figure FDA0003548880050000031
其中，Rx表示绕X轴的旋转角度，Ry表示绕Y轴的旋转角度，Rz表示绕Z轴的旋转角度。
4.一种双目结构光的校准系统，其特征在于，包括：
初始模块，用于以初始第一相机为参考坐标系，获取所述初始第一相机对应的第一初始图像和初始第二相机对应的第二初始图像；
优化模块，用于基于所述初始第一相机保持不动、所述初始第二相机绕所述初始第一相机转动直至共面的原理，对所述初始第一相机和所述初始第二相机进行动态参数调节，获取目标立体校正算法；
匹配模块，用于基于所述第一初始图像、所述第二初始图像和所述目标立体校正算法，获取校正后的第一初始图像和校正后的第二初始图像；
其中，所述优化模块中所述目标立体校正算法包括目标第一相机立体校正算法和目标第二相机立体校正算法，
所述目标第一相机立体校正算法应用如下公式获得：
UnL＝UL，
其中，UnL表示校正后的第一初始图像，UL表示所述第一初始图像；
所述目标第二相机立体校正算法应用如下公式获得：
Figure FDA0003548880050000041
其中，UnR表示校正后的第二初始图像，KL表示所述初始第一相机的内参数，R表示所述初始第二相机对应的旋转矩阵，KR表示所述初始第二相机的内参数，UR表示所述第二初始图像；
所述第一初始图像是经过相机内部图像立体校正算法后的图像；所述第二初始图像是经过相机内部图像立体校正算法后的图像，
所述基于所述第二初始图像绕所述第一初始图像转动直至共面的原理，获取目标立体校正算法，包括：
基于极线校正方法和预设出厂标定参数，获取初始第一相机立体校正算法和初始第二相机立体校正算法；
基于所述第一初始图像保持不动、所述第二初始图像绕所述第一初始图像转动直至共面的原理，获取校正后的第一相机和校正后的第二相机；
将所述初始第一相机的内参数、所述初始第二相机的内参数、校正后的第一相机的内参数和校正后的第二相机的内参数设置为相等，并将校正后的第一相机对应的旋转矩阵设置为单位矩阵；
基于上述原理，分别对所述初始第一相机立体校正算法和所述初始第二相机立体校正算法进行优化，获取目标第一相机立体校正算法和目标第二相机立体校正算法；
当所述初始第一相机和所述初始第二相机的位置结构发生改变后，则将改变后的第一相机重新作为所述参考坐标系，通过列文伯格—马夸尔特算法，获取改变后的第二相机对应的旋转矩阵；
将改变后的第一相机对应的旋转矩阵和所述初始第一相机对应的旋转矩阵均设置为单位矩阵；
将改变后的第二相机对应的旋转矩阵重新作为所述初始第二相机对应的旋转矩阵。
5.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述双目结构光的校准方法的步骤。
6.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述双目结构光的校准方法的步骤。
CN202110025522.7A 2021-01-08 2021-01-08 一种双目结构光的校准方法及系统 Active CN112767455B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110025522.7A CN112767455B (zh) 2021-01-08 2021-01-08 一种双目结构光的校准方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110025522.7A CN112767455B (zh) 2021-01-08 2021-01-08 一种双目结构光的校准方法及系统

Publications (2)

Publication Number Publication Date
CN112767455A CN112767455A (zh) 2021-05-07
CN112767455B true CN112767455B (zh) 2022-09-02

Family

ID=75701106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110025522.7A Active CN112767455B (zh) 2021-01-08 2021-01-08 一种双目结构光的校准方法及系统

Country Status (1)

Country Link
CN (1) CN112767455B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976455A (zh) * 2010-10-08 2011-02-16 东南大学 一种基于立体匹配的彩色图像三维重建方法
CN105096296A (zh) * 2014-05-05 2015-11-25 富士通株式会社 立体相机成像的校正装置、方法及电子设备
CN108876855A (zh) * 2018-05-28 2018-11-23 哈尔滨工程大学 一种基于深度学习的海参检测和双目视觉定位方法
CN109974623A (zh) * 2018-09-13 2019-07-05 北京伟景智能科技有限公司 基于线激光和双目视觉的三维信息获取方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734736B (zh) * 2018-05-22 2021-10-26 腾讯科技（深圳）有限公司 相机姿态追踪方法、装置、设备及存储介质
CN109615663A (zh) * 2018-12-12 2019-04-12 深圳市至高通信技术发展有限公司 全景视频校正方法及终端
CN110189382A (zh) * 2019-05-31 2019-08-30 东北大学 一种基于无共视区域的多双目相机运动标定方法
CN111457886B (zh) * 2020-04-01 2022-06-21 北京迈格威科技有限公司 距离确定方法、装置及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976455A (zh) * 2010-10-08 2011-02-16 东南大学 一种基于立体匹配的彩色图像三维重建方法
CN105096296A (zh) * 2014-05-05 2015-11-25 富士通株式会社 立体相机成像的校正装置、方法及电子设备
CN108876855A (zh) * 2018-05-28 2018-11-23 哈尔滨工程大学 一种基于深度学习的海参检测和双目视觉定位方法
CN109974623A (zh) * 2018-09-13 2019-07-05 北京伟景智能科技有限公司 基于线激光和双目视觉的三维信息获取方法和装置

Also Published As

Publication number Publication date
CN112767455A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN110349251B (zh) 一种基于双目相机的三维重建方法及装置
US20210233275A1 (en) Monocular vision tracking method, apparatus and non-transitory computer-readable storage medium
CN109313814B (zh) 照相机校准系统
CN108257183B (zh) 一种相机镜头光轴校准方法和装置
WO2018153374A1 (zh) 相机标定
US8849010B2 (en) Method and system for rectifying images
JP5442111B2 (ja) 画像から高速に立体構築を行なう方法
CN112288826B (zh) 双目相机的标定方法、装置及终端
CN109727290B (zh) 基于单目视觉三角测距法的变焦相机动态标定方法
CN111127524A (zh) 一种轨迹跟踪与三维重建方法、系统及装置
CN105654547B (zh) 三维重建方法
CN111161336B (zh) 三维重建方法、三维重建装置和计算机可读存储介质
WO2020237492A1 (zh) 三维重建方法、装置、设备及存储介质
CN111340737B (zh) 图像矫正方法、装置和电子系统
CN110490943B (zh) 4d全息捕捉系统的快速精确标定方法、系统及存储介质
JP2011086111A (ja) 撮像装置校正方法及び画像合成装置
CN113240749B (zh) 一种面向海上舰船平台无人机回收的远距离双目标定与测距方法
US8509522B2 (en) Camera translation using rotation from device
CN113744340A (zh) 用轴向视点偏移的非中心相机模型校准相机并计算点投影
CN110139094A (zh) 一种光心对齐方法、光心坐标计算方法及装置
CN111105467B (zh) 一种图像标定方法、装置及电子设备
CN104807405A (zh) 一种基于光线角度标定的三维坐标测量方法
CN108898550B (zh) 基于空间三角面片拟合的图像拼接方法
CN112767455B (zh) 一种双目结构光的校准方法及系统
CN110750094A (zh) 确定可移动设备的位姿变化信息的方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220708

Address after: Room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei City, Anhui Province

Applicant after: Hefei lushenshi Technology Co.,Ltd.

Address before: Room 3032, gate 6, block B, 768 Creative Industry Park, 5 Xueyuan Road, Haidian District, Beijing 100083

Applicant before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant