CN110689581B - 结构光模组标定方法、电子设备、计算机可读存储介质 - Google Patents

结构光模组标定方法、电子设备、计算机可读存储介质 Download PDF

Info

Publication number
CN110689581B
CN110689581B CN201810737539.3A CN201810737539A CN110689581B CN 110689581 B CN110689581 B CN 110689581B CN 201810737539 A CN201810737539 A CN 201810737539A CN 110689581 B CN110689581 B CN 110689581B
Authority
CN
China
Prior art keywords
parallax
distortion
camera
pixel
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810737539.3A
Other languages
English (en)
Other versions
CN110689581A (zh
Inventor
张弓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810737539.3A priority Critical patent/CN110689581B/zh
Publication of CN110689581A publication Critical patent/CN110689581A/zh
Application granted granted Critical
Publication of CN110689581B publication Critical patent/CN110689581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请涉及一种结构光模组标定方法、装置、电子设备和计算机可读存储介质。所述方法包括：获取结构光模组中的摄像头的内参和外参，并根据所述内参和外参获取所述摄像头的畸变参数；根据所述结构光模组的测距范围、基线长度和摄像头焦距得到参考视差范围，所述基线长度表示结构光模组中的投射器和摄像头之间的距离；根据所述参考视差范围及畸变参数获取每个像元对应的第一畸变视差和第一参考视差；根据每个像元的第一畸变视差和第一参考视差进行拟合得到每个像元的第一视差校正系数。

Description

结构光模组标定方法、电子设备、计算机可读存储介质
技术领域
本申请涉及影像技术领域，特别是涉及一种结构光模组标定方法和装置、电子设备、计算机可读存储介质。
背景技术
随着电子设备和影像技术的发展，越来越多的用户使用电子设备的结构光模组采集图像的深度信息。为了采集图像的深度信息，结构光模组在出厂前需要进行标定。传统结构光模组标定方法的深度计算精度低。
发明内容
本申请实施例提供一种结构光模组标定方法和装置、电子设备、计算机可读存储介质，可以提高结构光模组的深度计算精度。
一种结构光模组标定方法，包括：
获取结构光模组中的摄像头的内参和外参，并根据所述内参和外参获取所述摄像头的畸变参数；
根据所述结构光模组的测距范围、基线长度和摄像头焦距得到参考视差范围，所述基线长度表示结构光模组中的投射器和摄像头之间的距离；
根据所述参考视差范围及畸变参数获取每个像元对应的第一畸变视差和第一参考视差，其中，第一畸变视差为目标散斑图与参考散斑图中对应特征点在基线方向上的实际偏移值，第一参考视差为目标散斑图与参考散斑图中对应的特征点在基线方向上的参考偏移值；
根据每个像元的第一畸变视差和第一参考视差进行拟合得到每个像元的第一视差校正系数。
一种结构光模组标定装置，包括：
参数获取模块，用于获取结构光模组中的摄像头的内参和外参，并根据所述内参和外参获取所述摄像头的畸变参数；
视差范围确定模块，用于根据所述结构光模组的测距范围、基线长度和摄像头焦距得到参考视差范围，所述基线长度表示结构光模组中的投射器和摄像头之间的距离；
视差确定模块，用于根据所述参考视差范围及畸变参数获取每个像元对应的第一畸变视差和第一参考视差，其中，第一畸变视差为目标散斑图与参考散斑图中对应特征点在基线方向上的实际偏移值，第一参考视差为目标散斑图与参考散斑图中对应的特征点在基线方向上的参考偏移值；
拟合模块，用于根据每个像元的第一畸变视差和第一参考视差对进行拟合得到每个像元的第一视差校正系数。
一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的结构光模组标定方法的步骤。
一种非易失性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的结构光模组标定方法的步骤。
本申请实施例中结构光模组标定方法、装置、电子设备和计算机可读存储介质，根据结构光模组的基线长度、测距范围、摄像头焦距等确定参考视差范围，根据畸变参数得到每个像元的第一参考视差和第一畸变视差，对第一参考视差和第一畸变视差进行拟合得到每个像元的第一视差校正系数，不需要对图像进行校正，不会损失边缘信息，提高了深度计算精度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中结构光模组标定方法的应用环境示意图。
图2为一个实施例中结构光模组测距原理示意图。
图3为一个实施例中结构光模组标定方法的流程图。
图4为一个实施例中相对畸变变化示意图。
图5为一个实施例中根据所述内参和外参及标定图像中的特征点得到目标点点集和畸变点点集的流程图。
图6为一个实施例中目标点点集划分块示意图。
图7为一个实施例中x方向畸变变形曲面拟合结果的示意图。
图8为一个实施例中y方向畸变变形曲面拟合的示意图。
图9为又一个实施例中结构光模组标定方法的流程图。
图10为又一个实施例中结构光模组标定方法的流程图。
图11为一个实施例中多距离平行标定平板深度图采集示意图。
图12为一个实施例中深度图转换为点云的原理示意图。
图13为一个实施例中多距离平行标定平板深度图原始深度图和拟合深度图的示意图。
图14为一个实施例中结构光模组标定装置的结构框图。
图15为一个实施例中电子设备的内部结构示意图。
图16为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一标定图像称为第二标定图像，且类似地，可将第二标定图像称为第一标定图像。第一标定图像和第二标定图像两者都是标定图像，但其不是同一标定图像。
图1为一个实施例中结构光模组标定方法的应用环境示意图。如图1所示，该应用环境包括结构光模组110和标定平板120。结构光模组110包括投射器112和摄像头114。投射器112和摄像头114位于同一平面位置上。摄像头114的光轴垂直于标定平板120，且摄像头114与标定平板120的距离已知，采用Z0表示。标定平板120可为白色标定平板。投射器112用于将散斑图案投影到标定平板120上，摄像头114采集到被标定平板120反射的散斑图案得到参考散斑图。标定平板120所在的平面为参考平面。投射器112可为红外投射器。摄像头114可为红外摄像头(IR Camrea)。结构光模组110中的投射器112和摄像头114之间的连线为基线。为了标定基线长度b，可以将标定平板120移动到距离Z1的位置，利用Z0和Z1的绝对距离信息计算基线长度值，此外，基线长度也可以采用设计的基线长度，可以根据精度需求确定。基线长度是指投射器112和摄像头114之间的距离。投射器112和摄像头114之间的距离可采用两者光轴之间的距离表示。
图2为结构光模组测距原理示意图。如图2所示，结构光模组220包括投射器222和摄像头224。投射器222发出结构光将散斑图案投影到目标物体表面，目标物体反射的散斑图案，通过摄像头224拍摄到该反射的散斑图案得到目标散斑图。将目标散斑图与预先获得的参考散斑图进行匹配，获取目标散斑图和参考散斑图中的同名散斑点，得到两个散斑点之间的目标视差值，根据基线长度和摄像头224的焦距，可以计算得到目标点的深度Z，即可得到拍摄目标物体的位置和距离。如图2所示，x1为目标点在目标散斑图中的坐标，x0为对应同名散斑点在参考散斑图中的坐标，两者的差即为视差d。目标散斑图的散斑点和参考散斑图的散斑点相对应，则该两个散斑点为同名散斑点。通过对目标散斑图和参考散斑图进行图像匹配可以得到对应的同名散斑点。此外，还可以对散斑图像中的图案进行编码，散斑图像中的每个图案都有唯一的编号，则参考散斑图中每一个图案都有唯一编号，拍摄到目标散斑图后，在目标散斑图中寻找各个唯一的编码的图案，找到一个图案编号，可以直接在参考散斑图中查表找到对应的图案。
根据公式(1)可计算得出目标点的深度。
Figure BDA0001722407820000031
其中，b为投射器222和摄像头224的基线长度，f为摄像头的焦距，Z0为参考散斑图拍摄距离。
深度计算精度主要受摄像头光学畸变影响，光学镜头畸变大小随视场位置而变化，目标散斑和对应的参考散斑出现在不同视场位置，因此会有不同的畸变量，为了提升结构光模组深度计算精度，需要将畸变进行校正，得到参考视差d'。
Figure BDA0001722407820000032
公式(2)中x1'为目标点在目标散斑图中的校正坐标，x'0为对应同名散斑点在参考散斑图中的校正坐标。
通过对目标散斑图和参考散斑图进行畸变校正，消除相对畸变影响，利用畸变校正后的目标散斑图和参考散斑图做散斑匹配，可以提高深度计算精度。
图3为一个实施例中结构光模组标定方法的流程图。如图3所示，一种结构光模组标定方法，从操作302开始。
操作302，获取结构光模组中的摄像头的内参和外参，并根据所述内参和外参获取所述摄像头的畸变参数。
首先，对结构光模组中的摄像头进行标定，确定摄像头内参和外参的值。摄像头的内参可包括fx、fy、cx、cy，其中，fx表示焦距在图像坐标系x轴方向上单位像元大小，fy表示焦距在图像坐标系y轴方向上单位像元大小，cx、cy表示图像平面的主点坐标，主点是摄像头光轴与图像平面的交点。fx＝f/dx，fy＝f/dy，其中，f为单摄像头的焦距，dx表示图像坐标系x轴方向上一个像素的宽度，dy表示图像坐标系y轴方向上一个像素的宽度。图像坐标系是以摄像头拍摄的二维图像为基准建立的坐标系，用于指定物体在拍摄图像中的位置。图像坐标系中的(x,y)坐标系的原点位于摄像头光轴与成像平面的焦点(cx，cy)上，单位为长度单位，即米，像素坐标系中的(u，v)坐标系的原点在图像的左上角，单位为数量单位，即个。(x,y)用于表征物体从摄像头坐标系向图像坐标系的透视投影关系，(u，v)用于表征像素坐标。(x,y)与(u，v)之间的转换关系如公式(3)：
Figure BDA0001722407820000041
透视投影是指用中心投影法将形体投射到投影面上，从而获得的一种较为接近视觉效果的单面投影图。
摄像头的外参包括世界坐标系下的坐标转换到摄像头坐标系下的坐标的旋转矩阵和平移矩阵。世界坐标系通过刚体变换到达摄像头坐标系，摄像头坐标系通过透视投影变换到达图像坐标系。刚体变换是指三维空间中，当物体不发生形变时，对一个几何物体做旋转、平移的运动，即为刚体变换。刚体变换如公式(4)
Figure BDA0001722407820000042
Xc＝RX+T，
Figure BDA0001722407820000043
其中，Xc代表摄像头坐标系，X代表世界坐标系，R代表世界坐标系到摄像头坐标系的旋转矩阵，T代表世界坐标系到摄像头坐标系的平移矩阵。世界坐标系原点和摄像头坐标系原点之间的距离受x、y、z三个轴方向上的分量共同控制，具有三个自由度，R为分别绕X、Y、Z轴旋转的效果之和。tx表示x轴方向的平移量，ty表示y轴方向的平移量，tz表示z轴方向的平移量。
世界坐标系是客观三维空间的绝对坐标系，可以建立在任意位置。例如对于每张标定图像，世界坐标系可以建立在以标定板的左上角角点为原点，以标定板平面为XY平面，Z轴垂直标定板平面向上。摄像头坐标系是以摄像头光心为坐标系的原点，以摄像头的光轴作为Z轴，X轴、Y轴分别平行于图像坐标系的X轴Y轴。图像坐标系的主点是光轴与图像平面的交点。图像坐标系以主点为原点。像素坐标系是指原点定义在图像平面的左上角位置。
根据摄像头的内参和外参确定摄像头的畸变参数。在一个实施例中，可使用brown多项式作为畸变模型，brown模型包括5个参数，其中，3个径向畸变参数，2个切向畸变参数。在其他实施例中，也可进行分块曲面函数拟合得到畸变参数。
操作304，根据所述结构光模组的测距范围、基线长度和摄像头焦距得到参考视差范围，所述基线长度表示结构光模组中的投射器和摄像头之间的距离。
具体地，结构光模组的测距范围可以根据实际检测的需求选择，例如测距范围为15厘米至100厘米等。基线是指结构光模组投射器和摄像头之间的连线。基线长度表示结构光模组中的投射器和摄像头之间的距离，可以采用投射器的光轴和摄像头的光轴之间的距离表示。
根据测距范围、基线长度和摄像头焦距利用公式(1)可以求出参考视差范围，记为[d1',d'n]。
操作306，根据所述参考视差范围和畸变参数获取每个像元对应的第一畸变视差和第一参考视差，其中，第一畸变视差为目标散斑图与参考散斑图中对应特征点在基线方向上的实际偏移值，第一参考视差为目标散斑图与参考散斑图中对应的特征点在基线方向上的参考偏移值。
像元是像素点或像元点，即影像单元(Picture element)，是组成数字化影像的最小单元利用畸变参数计算摄像头每一像元坐标对应的畸变坐标，假设摄像头尺寸为M×N，则得到每一像元畸变后的x方向畸变变形坐标和y方向畸变变形坐标DistX,DistY,再次假定结构光模组中投射器和摄像头的基线方向为摄像头的x方向，则仅需保留x方向M×N大小的畸变变形矩阵DistX。
获取到畸变参数后，可以得到每一像元对应畸变变形点坐标，该畸变参数可用δ(·)表示。采集的图像不受畸变影响时，对于目标散斑图中的任意一点(x,y)，当参考视差为d'时，其对应的散斑在参考散斑图中的坐标为(x-d',y)。当考虑摄像头畸变时，则目标散斑畸变后的点为δ(x,y)，对应的参考散斑坐标为δ(x-d',y)，则实际视差为d，即畸变视差为d。
Figure BDA0001722407820000051
公式(5)中，Δd为相对畸变，δ(·)x为像元点畸变变形后x方向的坐标。相对畸变本质为对像元点(x,y)和(x-d',y)位置不同畸变变形的描述，它是影响散斑视差计算精度的主要因素，因此需要消除掉相对畸变Δd的影响。
在结构光模组的测距范围内，选择分布均匀的参考视差d1'，d'2，……，d'n，根据畸变参数得到畸变视差值d1，d2，……，d3。如图4所示，目标散斑图410中的目标散斑点412对应匹配到参考散斑图420中的参考散斑点422，在测距视差范围内，位于基线方向，每个像元会有n组参考视差和畸变视差对，其中，参考视差d1'对应畸变视差d1，参考视差d'2对应畸变视差d2，参考视差d3'对应畸变视差d3，参考视差d'4对应畸变视差d4，参考视差d'n对应畸变视差dn。白色圆点432表示参考像点，星号点434表示畸变像点，参考像点是目标散斑点对应到参考散斑图中后的理想像点。畸变像点是目标散斑点对应到参考散斑图中后的实际像点。
操作308，根据每个像元的第一畸变视差和第一参考视差进行拟合得到每个像元的第一视差校正系数。
镜头畸变曲线本身是光滑连续的，其在预设区域内通常可以用多项式描述，该预设区域可由测距范围确定，可以采用一元二次多项式即可精确拟合畸变视差和参考视差之间的关系，如公式(6)。
d'＝a0*d2+a1*d+a2 公式(6)
其中，a0，a1，a2为拟合系数，d'是第一参考视差，d是第一畸变视差。对每个像元的第一畸变视差和第一参考视差进行拟合得到拟合系数a0，a1，a2的值，即每个像元的第一视差校正系数。
对于每个像元，已知第一参考视差和第一畸变视差，采用多组不同距离的第一参考视差和第一畸变视差对公式(6)求解得到拟合系数。第一视差校正系数是某个像元与邻近像元的相对畸变关系。
根据摄像头的每个像元的第一视差校正系数得到摄像头的第一视差校正系数矩阵。对摄像头尺寸为M×N，即表示有M×N个像元，根据摄像头的每个像元的第一视差校正系数得到M×N×3的第一视差校正系数矩阵。
本实施例中结构光模组标定方法，根据结构光模组的基线长度、测距范围、摄像头焦距等确定参考视差范围，根据畸变参数得到每个像元的第一参考视差和第一畸变视差，对第一参考视差和第一畸变视差进行拟合得到每个像元的第一视差校正系数，不需要对图像进行校正，不会损失边缘信息，提高了深度计算精度。
在一个实施例中，对结构光模组中的摄像头进行标定，确定摄像头内参和外参的值。首先获取用于摄像头标定的标定板，该标定板上有编码图案，通过摄像头拍摄不同角度的标定板得到标定图像，从标定图像中提取特征点，计算无畸变情况下，摄像头的5个内参和2个外参，应用最小二乘法计算得到畸变系数，再通过极大似然法进行优化，得到摄像头最终的内参和外参。
首先建立摄像头模型，得到公式(7)。
Figure BDA0001722407820000061
其中，
Figure BDA0001722407820000062
的齐次坐标表示图像平面的像素坐标(u,v,1)，
Figure BDA0001722407820000063
的齐次坐标表示世界坐标系的坐标点(X,Y,Z,1)，A表示内参矩阵，R表示世界坐标系转换到摄像头坐标系的旋转矩阵，T表示世界坐标系转换到摄像头坐标系的平移矩阵。
Figure BDA0001722407820000064
其中，α＝f/dx，β＝f/dy，f为摄像头的焦距，dx表示图像坐标系x轴方向上一个像素的宽度，dy表示图像坐标系y轴方向上一个像素的宽度。γ代表像素点在x,y方向上尺度的偏差。u0、v0表示图像平面的主点坐标，主点是光轴与图像平面的交点。
将世界坐标系构造在Z＝0的平面上，再进行单应性计算，令Z＝0则将上述转换为公式(9)。
Figure BDA0001722407820000065
单应性是指在计算机视觉中被定义为一个平面到另一个平面的投影映射。令H＝A[r1 r2 t]，H为单应性矩阵。H是一个3*3的矩阵，并且有一个元素作为齐次坐标，因此，H有8个未知量待解。将单应性矩阵写成三个列向量的形式，即H＝[h1 h2 h3]，从而得到公式(10)。
[h1 h2 h3]＝λA[r 1r2 t] 公式(10)
对于公式(10)，采用两个约束条件，第一，r1,r2正交，得r1r2＝0，r1,r2分别绕x,y轴旋转。第二，旋转向量的模为1，即|r1|＝|r2|＝1。通过两个约束条件，将r1,r2代换为h1,h2与A的组合进行表达。即r1＝h1A-1，r2＝h2A-1。根据两个约束条件，可以得到公式(11)：
Figure BDA0001722407820000071
令
Figure BDA0001722407820000072
B为一个对称阵，故B的有效元素为6个，6个元素构成向量b。
b＝[B11,B12,B22,B13,B23,B33]T
Figure BDA0001722407820000073
可以计算得到Vij＝[hi1hj1,hi1hj2+hi2hj1,hi2hj2,hi3hj1+hi1hj3,hi3hj2+hi2hj3,hi3hj3]T
利用约束条件得到方程组：
Figure BDA0001722407820000074
通过至少三幅图像，应用公式(12)估算出B，对B进行分解得到摄像头的内参矩阵A的初始值。
基于内参矩阵计算外参矩阵，得到外参矩阵的初始值。
Figure BDA0001722407820000075
其中，λ＝1/||A-1h1||＝1/||A-1h2||。
摄像头完整几何模型采用公式(14)
Figure BDA0001722407820000076
其中，公式(14)是将世界坐标系构造在Z为0平面上得到的几何模型，X,Y为平面标定板上特征点的世界坐标，x,y,z为标定板上特征点在摄像头坐标系的物理坐标。
Figure BDA0001722407820000081
R为标定板的世界坐标系到摄像头坐标系的旋转矩阵，T为标定板的世界坐标系到摄像头坐标系的平移矩阵。
对标定板上特征点在摄像头坐标系的物理坐标[x,y,z]进行归一化处理，得到目标坐标点(x',y')。
Figure BDA0001722407820000082
利用畸变模型对摄像头坐标系像点进行畸变变形处理。
Figure BDA0001722407820000083
其中，k1、k2和k3为径向畸变参数，p1和p2为切向畸变参数。
利用内参将物理坐标转换为图像坐标。
Figure BDA0001722407820000084
将内参矩阵的初始值和外参矩阵的初始值导入到极大似然公式得到最终的内参矩阵和外参矩阵。极大似然公式为
Figure BDA0001722407820000085
求取最小值。
在一个实施例中，根据内参和外参获取摄像头的畸变参数包括：获取所述摄像头采集的标定图像中的特征点，根据所述内参和外参及标定图像中的特征点得到目标点点集和畸变点点集，采用分块曲面函数对所述目标点点集和畸变点点集进行拟合得到所述摄像头的畸变参数，其中，该分块曲面函数在块与块之间连续可导，且拟合结果连续。
若用于摄像头内参和外参标定的标定板上的图案为棋盘格图案，检测标定图像中的特征点可包括：采用Harris角点检测算子得到图像中角点的初始值；检测标定图像中的边缘信息，对得到的角点进行分组，得到边缘点集合；对选取的边缘点进行曲线拟合，包括全局和局部拟合曲线，求取全局曲线和局部曲线的交点即可得到所求的角点，得到的角点即为标定图像中的特征点。
在一个实施例中，若用于摄像头内参和外参标定的标定板的图案为椭圆或圆，则检测该标定图像中的特征点包括：采用canny边缘提取椭圆边缘信息，通过椭圆的一般方程和最小二乘法进行拟合得到椭圆的中心点；通过椭圆的中心点坐标表示每个椭圆在图像中的位置，通过椭圆中心点坐标，可以对椭圆中心点进行排序。
分块曲面函数可为B样条函数、自由曲面函数、zernike多项式函数中一种。
目标点点集中的目标点是指各个角度标定板上的特征点投影到摄像头坐标系归一化处理后的点坐标。畸变点点集中的畸变点是指各个角度的标定图像上的特征点转换到摄像头坐标系归一化处理后的点坐标。
在一个实施例中，如图5所示，根据所述内参和外参及标定图像中的特征点得到目标点点集和畸变点点集，从操作502开始。
操作502，根据摄像头的外参计算不同角度标定板上的特征点投影到摄像头坐标系并归一化，得到目标点坐标。
利用摄像头的外参计算各个不同角度的标定板上特征点投影到摄像头坐标系并归一化处理，得到目标点坐标。
首先摄像头完整几何模型采用公式(14)
Figure BDA0001722407820000091
其中，公式(14)是将世界坐标系构造在Z为0平面上得到的几何模型，X,Y为平面标定板上特征点的世界坐标，x,y,z为标定板上特征点在摄像头坐标系的物理坐标。
Figure BDA0001722407820000092
R为标定板的世界坐标系到摄像头坐标系的旋转矩阵，T为标定板的世界坐标系到摄像头坐标系的平移矩阵。
Figure BDA0001722407820000093
中Z＝0,则得到
Figure BDA0001722407820000094
为世界坐标系的坐标点的齐次坐标。
对标定板上特征点在摄像头坐标系的物理坐标[x,y,z]进行归一化处理，得到目标坐标点(x',y')。
Figure BDA0001722407820000095
操作504，根据摄像头的内参将检测到的不同角度标定图像上的特征点转换到摄像头坐标并归一化，得到畸变点坐标。
利用摄像头的内参对摄像头检测到的不同角度标定图像上的特征点转换到摄像头坐标并归一化处理得到畸变坐标(x”,y”)。
Figure BDA0001722407820000096
操作506，根据不同角度的目标点坐标得到单摄像头的目标点点集，根据不同角度的畸变点坐标得到单摄像头的畸变点点集。
综合各不同角度的目标点坐标得到摄像头的目标点点集(x'T,y'T)，综合各不同角度的畸变点坐标得到摄像头的畸变点点集(x'T',y'T')。
Figure BDA0001722407820000101
公式(19)中，1,2,3，……，n为不同角度，n为角度数目。
在一个实施例中，所述采用分块曲面函数对所述目标点点集和畸变点点集进行拟合得到所述摄像头的畸变参数，包括：将目标点点集按照块区间进行划分，对划分后的各块的目标点点集与对应的畸变点点集采用分块曲面函数拟合得到各块的拟合系数，根据各块的拟合系数得到所述摄像头的畸变参数。
对目标点点集和畸变点点集利用分块曲面函数分别对x、y方向变形做曲面拟合，得到拟合系数Dx，Dy。
x”T＝Dx(x'T,y'T)，y”T＝Dy(x'T,y'T)公式(20)
分块曲面函数可为B样条函数、自由曲面函数、zernike多项式函数中一种。以B样条函数为例，根据镜头径向畸变曲线特性将目标点点集进行块区间划分，块区间的大小可相同，也可以不同。块数量根据镜头畸变复杂度设定，对于畸变曲线较为光滑的镜头，一般图像长边方向划分为6个块，短边方向划分为4个块能够描述镜头畸变，如图6所示，将目标点点集划分为6*4个块，长边方向有7个点，短边方向有5个点。对于镜头畸变特性较为复杂的则需要更多划分。每个区块用二元N次方程描述，N大于2，根据实际畸变变形情况设置。由于B样条的特性，块之间曲面是连续的，拟合的镜头畸变变形也是连续的。
B样条曲线是在Bezier曲线基础上发展起来的一类曲线，通常采用的是二次。二次B样条曲线的参数方程，已知三个平面离散点P0、P1、P2，由这三点可以定义二次抛物线段，参数矢量方程形式为：
P(t)＝A0+A1t+A2t2 (0≤t≤1) 公式(21)
二次B样条曲线参数方程的矩形形式为：
Figure BDA0001722407820000102
二次B样条曲线的特点是起点为P0、P1点的中点，并与线段P0P1相切，终点为P1、P2的中点，并与线段P1P2相切，除起点、终点外，中间点将曲线拉向自己。若多于3个离散点，则采用二次B样条曲线进行分段拟合。
图7为一个实施例中x方向畸变变形曲面拟合结果的示意图。图8为一个实施例中y方向畸变变形曲面拟合的示意图。根据图7可知，B样条拟合块之间的曲面是连续的，根据图8可知，B样条拟合块之间的曲面是连续的。
通过分块曲面函数进行拟合得到畸变参数，解决了畸变模型过于简单性能较差的问题，提升了对摄像头光学畸变描述。
在一个实施例中，该标定图像为标定板的平面垂直于摄像头光轴时所拍摄的图像，该标定板覆盖该摄像头的视场角。
在一个实施例中，根据所述参考视差范围及畸变参数获取每个像元对应的第一畸变视差和第一参考视差包括：从参考视差范围采样得到预设数量的第一参考视差，根据畸变参数获取每个像元坐标对应的畸变坐标，根据每个像元坐标对应的畸变坐标逐像元搜索得到与第一参数视差对应的第一畸变视差。
摄像头的每个像元坐标可以以基线方向为x方向，光轴方向为y方向，基线与光轴的交点为原点建立坐标系。根据畸变参数可以求得每个像元坐标对应的畸变坐标。根据畸变坐标与参考散斑点坐标求取第一畸变视差。
图9为另一个实施例中结构光标定方法的流程图。如图9所示，一种结构光标定方法，从操作902开始。
操作902，利用畸变参数获取摄像头每一像元坐标对应的畸变坐标，以结构光模组的基线方向作为摄像头x方向，得到x方向的畸变变形矩阵。
利用分块曲面函数进行拟合得到的畸变参数，计算得到摄像头每一像元坐标对应的畸变坐标，假设摄像头尺寸为M×N，则得到每一像元畸变后的x方向畸变变形坐标和y方向畸变变形坐标DistX,DistY,再次假定结构光模组中投射器和摄像头的基线方向为摄像头的x方向，则仅需保留x方向M×N大小的畸变变形矩阵DistX。
操作904，根据结构光模组的测距范围、基线长度和和摄像头焦距得到参考视差范围，并采样得到预设数量的第一参考视差。
根据测距范围、基线长度和摄像头焦距利用公式(1)可以求出参考视差范围，记为[d1',d'n]。从参考视差范围中采样得到预设数量的第一参考视差，采样可采用均匀采样方式。预设数量是根据需要选择数量。
操作906，根据每个像元坐标对应的畸变坐标，逐像元搜索与预设数量的第一参考视差对应的第一畸变视差，得到每个像元的第一参考视差和第一畸变视差对，其中，第一畸变视差为目标散斑图与参考散斑图中对应特征点在基线方向上的实际偏移值，第一参考视差为目标散斑图与参考散斑图中对应的特征点在基线方向上的参考偏移值。
具体地，逐像元搜索与第一参考视差对应的第一畸变视差，例如搜索到第一参考视差di'，则其对应的第一畸变视差di。
操作908，根据每个像元的第一畸变视差和第一参考视差进行拟合得到每个像元的第一视差校正系数。
本实施例中的结构光模组标定方法，根据摄像头的畸变参数计算得到每个像元坐标对应的畸变坐标，根据测距范围、基线长度、焦距计算得到参考视差范围，从参考视差范围内采样可得到预设数量的第一参考视差，查找到第一参考视差对应的第一畸变视差，对第一参考视差和第一畸变视差进行拟合得到第一视差校正系数，不会损失图像边缘信息，提高了图像质量，以及深度计算精度。对于小基线结构光模组，效果更加明显。此外，在图像进行畸变校正过程中不需要进行图像重采样，因此不会导致散斑点偏移。
在一个实施例中，如图10所示，一种结构光模组标定方法，在得到每个像元的第一视差校正系数后，可以通过获取其他距离平行标定平板深度信息，利用平板本身的平面信息提升因畸变校正精度不足导致的深度图空间噪声。可以理解的是，在采集参考散斑图时，通过移动结构光模组或标定平板得到多距离平行标定平板实现采集多个不同距离的深度图，如图11所示，多距离平行标定平板1104中至少包括一个与摄像头1102距离小于参考距离，至少包括一个与摄像头1102距离大于参考距离，如D1和D2小于参考距离Z0，D3、D4和D5距离大于参考距离Z0。使用更多距离会对深度相对精度带来更多提升。如图10所示，该结构光模组标定方法，从操作1002开始。
操作1002，获取至少2个与摄像头不同距离的标定板的深度图得到多距离深度图，根据该多距离深度图得到每个像元的第二参考视差，其中，至少2个与该摄像头不同距离包括一个与该摄像头之间的距离小于参考距离，一个与该摄像头之间的距离大于该参考距离，该参考距离为参考平面与该摄像头之间的距离，其中，第二参考视差为多距离深度图对应的散斑图与参考散斑图中对应散斑点在基线方向上的参考偏移值。
具体地，摄像头拍摄多距离平行标定平板的深度图DepthRaw，得到多距离深度图，利用基线长度b和焦距f转换为参考视差draw。
操作1004，根据每个像元的第一视差校正系数对所述多距离深度图进行校正，得到校正后的多距离深度图。
利用第一视差校正系数对每个距离的平行标定平板深度图进行校正，得到校正后的深度图DepthCorrect。
操作1006，根据所述校正后的多距离深度图得到第二畸变视差，其中，第二畸变视差为多距离深度图所对应的散斑图与参考散斑图中对应的散斑点在基线方向上的实际偏移值。
在一个实施例中，根据所述校正后的多距离深度图得到第二畸变视差，包括：采用摄像头的内参将所述校正后的多距离深度图转化为点云；选取所述多距离深度图的预设区域所对应的点云进行拟合得到拟合平面；根据所述摄像头的内参和多距离深度图得到每个像元在摄像头坐标系的矢量，将所述像元在摄像头坐标系的矢量与所述拟合平面的交点作为所述像元的目标深度，根据所述目标深度得到第二畸变视差。
深度图是指带有深度信息的一帧数据，即将从摄像头到场景中各点的距离值作为像素值的图像。点云是指当一束激光照射到物体表面时，所发射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行扫描，会记录到反射的激光点信息，从而形成激光点云。
如图12所示，根据摄像头的内参将深度图DephCorrect中的m点转换为成世界坐标系中的M点，将深度图上的m点转换为世界坐标的M点。首先摄像头坐标系原点和世界坐标系原点均为摄像头光心O，假设深度图的中心为O'，利用图中三角形OmO'和OMA相似，可得
Figure BDA0001722407820000121
进而得到如公式(23)。
Figure BDA0001722407820000122
其中，m点坐标是(u,v)，世界坐标系中的M点坐标为(X,Y,Z)，fx表示焦距在图像坐标系x轴方向上单位像元大小，fy表示焦距在图像坐标系y轴方向上单位像元大小，cx、cy表示图像平面的主点坐标，主点是摄像头光轴与图像平面的交点。fx＝f/dx，fy＝f/dy，其中，f为单摄像头的焦距，dx表示图像坐标系x轴方向上一个像素的宽度，dy表示图像坐标系y轴方向上一个像素的宽度。
将像素坐标转换为齐次坐标，得到公式(24)
Figure BDA0001722407820000123
其中，
Figure BDA0001722407820000131
为摄像头的内参矩阵。
根据内参矩阵可以将深度图转换为点云。
选取深度图中心的预设区域的点云进行平面拟合，得到拟合平面参数Plane，由摄像头内参和多距离深度图DepthRaw得到每一像元在摄像头坐标系的矢量，该矢量与拟合平面的交点即为该像元的畸变深度，根据该畸变深度、基线长度和焦距可得到第二畸变参数视差dobj，如图13所示，原始深度图1302进行拟合后得到拟合深度图1304。
操作1008，根据每个像元的第一畸变视差、第一参考视差、第二畸变视差和第二参考视差进行拟合得到每个像元的第二视差校正系数，并根据每个像元的第二视差校正系数得到所述摄像头的第二视差校正系数矩阵。
采用一元二次多项式对每个像元的第一畸变视差、第一参考视差、第二畸变视差和第二参考视差进行拟合得到每个像元的第二视差校正系数。
本实施例中通过多距离平行标定平板获取多距离深度图，根据多距离深度图得到第二参考视差，利用第一视差校正系数对多距离深度图进行校正后，根据校正后的多距离深度图得到第二畸变视差，结合第一参考视差、第一畸变视差、第二参考视差和第二畸变视差进行拟合得到第二视差校正系数，避免了因畸变校正精度不足导致的深度图空间噪声，提高了相对精度。
在一个实施例中，上述结构光模组标定方法还包括：根据该第二视差校正系数矩阵对该多距离深度图进行校正；根据校正后的多距离深度图对该基线长度进行校正。
根据第二视察校正系数矩阵对多距离深度图中每个距离的深度图进行校正后得到实际的距离，根据实际的距离利用公式(1)求取基线长度，对基线长度进行校正。
应该理解的是，虽然图3、图5、图9、图10中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3、图5、图9和图10中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图14为一个实施例中结构光模组标定装置的结构框图。如图14所示，该结构光模组标定装置包括参数获取1402、视差范围确定模块1404、视差确定模块1406和拟合模块1408。
参数获取模块1402用于获取结构光模组中的摄像头的内参和外参，并根据所述内参和外参获取所述摄像头的畸变参数。
视差范围确定模块1404用于根据所述结构光模组的测距范围、基线长度和摄像头焦距得到参考视差范围，所述基线长度表示结构光模组中的投射器和摄像头之间的距离。
视差确定模块1406用于根据所述参考视差范围及畸变参数获取每个像元对应的第一畸变视差和第一参考视差，其中，第一畸变视差为目标散斑图与参考散斑图中对应特征点在基线方向上的实际偏移值，第一参考视差为目标散斑图与参考散斑图中对应的特征点在基线方向上的参考偏移值。
拟合模块1408用于根据每个像元的第一畸变视差和第一参考视差对进行拟合得到每个像元的第一视差校正系数。
在一个实施例中，上述结构光模组标定装置还包括校正模块。视差确定模块1406还用于获取至少2个与所述摄像头不同距离的标定平板的深度图得到多距离深度图，根据所述多距离深度图得到每个像元的第二参考视差，其中，至少2个与所述摄像头不同距离包括一个与所述摄像头之间的距离小于参考距离，一个与所述摄像头之间的距离大于所述参考距离，所述参考距离为参考平面与所述摄像头之间的距离，其中，第二参考视差为多距离深度图对应的散斑图与参考散斑图中对应散斑点在基线方向上的参考偏移值；
校正模块用于根据每个像元的第一视差校正系数对所述多距离深度图进行校正，得到校正后的多距离深度图；
视差确定模块1406还用于根据所述校正后的多距离深度图得到第二畸变视差，其中，第二畸变视差为多距离深度图所对应的散斑图与参考散斑图中对应的散斑点在基线方向上的实际偏移值；
拟合模块1408还用于根据每个像元的第一畸变视差、第一参考视差、第二畸变视差和第二参考视差进行拟合得到每个像元的第二视差校正系数，并根据每个像元的第二视差校正系数得到所述摄像头的第二视差校正系数矩阵。
在一个实施例中，校正模块还用于根据所述第二视差校正系数矩阵对所述多距离深度图进行校正；以及根据校正后的多距离深度图对所述基线长度进行校正。
在一个实施例中，视差确定模块1406还用于采用摄像头的内参将所述校正后的多距离深度图转化为点云；选取所述多距离深度图的预设区域所对应的点云进行拟合得到拟合平面；根据所述摄像头的内参和多距离深度图得到每个像元在摄像头坐标系的矢量，将所述像元在摄像头坐标系的矢量与所述拟合平面的交点作为所述像元的目标深度，根据所述目标深度得到第二畸变视差。
在一个实施例中，上述结构光模组标定装置还包括畸变参数确定模块。畸变参数确定模块用于获取所述摄像头采集的标定图像中的特征点，根据所述内参和外参及标定图像中的特征点得到目标点点集和畸变点点集，采用分块曲面函数对所述目标点点集和畸变点点集进行拟合得到所述摄像头的畸变参数，其中，所述分块曲面函数在块与块之间连续可导，且拟合结果连续。
该畸变参数确定模块还用于将目标点点集按照块区间进行划分，对划分后的各块的目标点点集与对应的畸变点点集采用分块曲面函数拟合得到各块的拟合系数，根据各块的拟合系数得到所述摄像头的畸变参数。该块区间的大小相同或不同。
分块曲面函数为B样条函数、自由曲面函数、zernike多项式函数中一种。
本申请实施例还提供了一种电子设备。该电子设备，包括存储器及处理器，该存储器中储存有计算机程序，该计算机程序被该处理器执行时，使得该处理器执行结构光模组标定方法中的操作。
本申请实施例提供了一种非易失性计算机可读存储介质。一种非易失性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下结构光模组标定方法中的操作。
图15为一个实施例中电子设备的内部结构示意图。如图15所示，该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器用于存储数据、程序等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本申请实施例中提供的适用于电子设备的无线网络通信方法。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种结构光模组标定方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等，用于与外部的电子设备进行通信。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
本申请实施例中提供的结构光模组标定装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行结构光模组标定方法。
本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图16为一个实施例中图像处理电路的示意图。如图16所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。
如图16所示，图像处理电路包括第一ISP处理器1630、第二ISP处理器1640和控制逻辑器1650。第一摄像头1610包括一个或多个第一透镜1612和第一图像传感器1614。第一图像传感器1614可包括色彩滤镜阵列(如Bayer滤镜)，第一图像传感器1614可获取用第一图像传感器1614的每个成像像素捕捉的光强度和波长信息，并提供可由第一ISP处理器1630处理的一组图像数据。第二摄像头1620包括一个或多个第二透镜1622和第二图像传感器1624。第二图像传感器1624可包括色彩滤镜阵列(如Bayer滤镜)，第二图像传感器1624可获取用第二图像传感器1624的每个成像像素捕捉的光强度和波长信息，并提供可由第二ISP处理器1640处理的一组图像数据。
第一摄像头1610采集的第一图像传输给第一ISP处理器1630进行处理，第一ISP处理器1630处理第一图像后，可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器1650，控制逻辑器1650可根据统计数据确定第一摄像头1610的控制参数，从而第一摄像头1616可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一ISP处理器1630进行处理后可存储至图像存储器1660中，第一ISP处理器1630也可以读取图像存储器1660中存储的图像以对进行处理。另外，第一图像经过ISP处理器1630进行处理后可直接发送至显示器1670进行显示，显示器1670也可以读取图像存储器1660中的图像以进行显示。
其中，第一ISP处理器1630按多种格式逐个像素地处理图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，第一ISP处理器1630可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度计算精度进行。
图像存储器1660可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自第一图像传感器1614接口时，第一ISP处理器1630可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器1660，以便在被显示之前进行另外的处理。第一ISP处理器1630从图像存储器1660接收处理数据，并对所述处理数据进行RGB和YCbCr颜色空间中的图像数据处理。第一ISP处理器1630处理后的图像数据可输出给显示器1670，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，第一ISP处理器1630的输出还可发送给图像存储器1660，且显示器1670可从图像存储器1660读取图像数据。在一个实施例中，图像存储器1660可被配置为实现一个或多个帧缓冲器。
第一ISP处理器1630确定的统计数据可发送给控制逻辑器1650。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜1612阴影校正等第一图像传感器1614统计信息。控制逻辑器1650可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定第一摄像头1610的控制参数及第一ISP处理器1630的控制参数。例如，第一摄像头1610的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一透镜1612控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及第一透镜1612阴影校正参数。
同样地，第二摄像头1620采集的第二图像传输给第二ISP处理器1640进行处理，第二ISP处理器1640处理第一图像后，可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器1650，控制逻辑器1650可根据统计数据确定第二摄像头1620的控制参数，从而第二摄像头1620可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二ISP处理器1640进行处理后可存储至图像存储器1660中，第二ISP处理器1640也可以读取图像存储器1660中存储的图像以对进行处理。另外，第二图像经过ISP处理器1640进行处理后可直接发送至显示器1670进行显示，显示器1670也可以读取图像存储器1660中的图像以进行显示。第二摄像头1620和第二ISP处理器1640也可以实现如第一摄像头1610和第一ISP处理器1630所描述的处理过程。
以下为运用图16中图像处理技术实现结构光模组标定方法的步骤。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种结构光模组标定方法，其特征在于，包括：
获取结构光模组中的摄像头的内参和外参，并根据所述内参和外参获取所述摄像头的畸变参数；
根据所述结构光模组的测距范围、基线长度和摄像头焦距得到参考视差范围，所述基线长度表示结构光模组中的投射器和摄像头之间的距离；
根据所述参考视差范围及畸变参数获取每个像元对应的第一畸变视差和第一参考视差，其中，第一畸变视差为考虑畸变影响情况下目标散斑图与参考散斑图中对应特征点在基线方向上的实际偏移值，第一参考视差为不考虑畸变影响情况下目标散斑图与参考散斑图中对应的特征点在基线方向上的参考偏移值；所述目标散斑图是拍摄目标物体反射的散斑图案得到；所述参考散斑图是拍摄标定板反射的散斑图案得到；
根据每个像元的第一畸变视差和第一参考视差进行拟合得到每个像元的第一视差校正系数。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取至少2个与所述摄像头不同距离的标定平板的深度图得到多距离深度图，根据所述多距离深度图得到每个像元的第二参考视差，其中，至少2个与所述摄像头不同距离包括一个与所述摄像头之间的距离小于参考距离，一个与所述摄像头之间的距离大于所述参考距离，所述参考距离为参考平面与所述摄像头之间的距离，其中，第二参考视差为多距离深度图对应的散斑图与参考散斑图中对应散斑点在基线方向上的参考偏移值；
根据每个像元的第一视差校正系数对所述多距离深度图进行校正，得到校正后的多距离深度图；
根据所述校正后的多距离深度图得到第二畸变视差，其中，第二畸变视差为多距离深度图所对应的散斑图与参考散斑图中对应的散斑点在基线方向上的实际偏移值；
根据每个像元的第一畸变视差、第一参考视差、第二畸变视差和第二参考视差进行拟合得到每个像元的第二视差校正系数，并根据每个像元的第二视差校正系数得到所述摄像头的第二视差校正系数矩阵。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据所述第二视差校正系数矩阵对所述多距离深度图进行校正；
根据校正后的多距离深度图对所述基线长度进行校正。
4.根据权利要求2所述的方法，其特征在于，所述根据所述校正后的多距离深度图得到第二畸变视差，包括：
采用摄像头的内参将所述校正后的多距离深度图转化为点云；
选取所述多距离深度图的预设区域所对应的点云进行拟合得到拟合平面；
根据所述摄像头的内参和多距离深度图得到每个像元在摄像头坐标系的矢量，将所述像元在摄像头坐标系的矢量与所述拟合平面的交点作为所述像元的目标深度，根据所述目标深度得到第二畸变视差。
5.根据权利要求1所述的方法，其特征在于，所述根据所述内参和外参获取所述摄像头的畸变参数，包括：
获取所述摄像头采集的标定图像中的特征点，根据所述内参和外参及标定图像中的特征点得到目标点点集和畸变点点集，采用分块曲面函数对所述目标点点集和畸变点点集进行拟合得到所述摄像头的畸变参数，其中，所述分块曲面函数在块与块之间连续可导，且拟合结果连续。
6.根据权利要求5所述的方法，其特征在于，所述采用分块曲面函数对所述目标点点集和畸变点点集进行拟合得到所述摄像头的畸变参数，包括：
将目标点点集按照块区间进行划分，对划分后的各块的目标点点集与对应的畸变点点集采用分块曲面函数拟合得到各块的拟合系数，根据各块的拟合系数得到所述摄像头的畸变参数。
7.根据权利要求6所述的方法，其特征在于，所述块区间的大小相同或不同。
8.根据权利要求5所述的方法，其特征在于，所述分块曲面函数为B样条函数、自由曲面函数、zernike多项式函数中一种。
9.一种结构光模组标定装置，其特征在于，包括：
参数获取模块，用于获取结构光模组中的摄像头的内参和外参，并根据所述内参和外参获取所述摄像头的畸变参数；
视差范围确定模块，用于根据所述结构光模组的测距范围、基线长度和摄像头焦距得到参考视差范围，所述基线长度表示结构光模组中的投射器和摄像头之间的距离；
视差确定模块，用于根据所述参考视差范围及畸变参数获取每个像元对应的第一畸变视差和第一参考视差，其中，第一畸变视差为考虑畸变影响情况下目标散斑图与参考散斑图中对应特征点在基线方向上的实际偏移值，第一参考视差为不考虑畸变影响情况下目标散斑图与参考散斑图中对应的特征点在基线方向上的参考偏移值；所述目标散斑图是拍摄目标物体反射的散斑图案得到；所述参考散斑图是拍摄标定板反射的散斑图案得到；
拟合模块，用于根据每个像元的第一畸变视差和第一参考视差对进行拟合得到每个像元的第一视差校正系数。
10.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的结构光模组标定方法的步骤。
11.一种非易失性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的结构光模组标定方法的步骤。
CN201810737539.3A 2018-07-06 2018-07-06 结构光模组标定方法、电子设备、计算机可读存储介质 Active CN110689581B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810737539.3A CN110689581B (zh) 2018-07-06 2018-07-06 结构光模组标定方法、电子设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810737539.3A CN110689581B (zh) 2018-07-06 2018-07-06 结构光模组标定方法、电子设备、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110689581A CN110689581A (zh) 2020-01-14
CN110689581B true CN110689581B (zh) 2022-05-13

Family

ID=69107052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810737539.3A Active CN110689581B (zh) 2018-07-06 2018-07-06 结构光模组标定方法、电子设备、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110689581B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402313B (zh) * 2020-03-13 2022-11-04 合肥的卢深视科技有限公司 图像深度恢复方法和装置
CN111476847B (zh) * 2020-04-03 2024-01-30 中国水利水电科学研究院 用于结构光参数标定的虚拟仪器装置及其方法
CN111735487B (zh) * 2020-05-18 2023-01-10 清华大学深圳国际研究生院 传感器、传感器标定方法与设备、存储介质
CN111750804B (zh) * 2020-06-19 2022-10-11 浙江华睿科技股份有限公司 一种物体测量的方法及设备
CN111815715A (zh) * 2020-07-03 2020-10-23 浙江大华技术股份有限公司 变焦云台摄像机的标定方法、装置及存储介质
CN111986154A (zh) * 2020-07-20 2020-11-24 深圳奥比中光科技有限公司 一种光学信息检测方法、装置及设备
CN112070845B (zh) * 2020-08-31 2024-02-02 安徽爱观视觉科技有限公司 双目相机的标定方法、装置及终端设备
CN112330751B (zh) * 2020-10-30 2022-08-26 合肥的卢深视科技有限公司 一种结构光相机行偏差检测方法及装置
CN112257713A (zh) * 2020-11-12 2021-01-22 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN112465912B (zh) * 2020-11-18 2024-03-29 新拓三维技术(深圳)有限公司 一种立体相机标定方法及装置
CN112488125B (zh) * 2020-11-28 2021-12-14 重庆邮电大学 一种基于高速视觉诊断和bp神经网络的重建方法及系统
CN112529967A (zh) * 2020-12-21 2021-03-19 清华大学 一种散斑结构光系统的参考图获取方法及装置
CN112598751A (zh) * 2020-12-23 2021-04-02 Oppo（重庆）智能科技有限公司 标定方法及装置、终端和存储介质
CN113158924A (zh) * 2021-04-27 2021-07-23 深圳赋能软件有限公司 散斑图像矫正方法、人脸识别方法、装置及设备
CN114022385B (zh) * 2021-11-07 2024-03-26 桂林电子科技大学 一种基于局部曲面拟合的图像复原方法
CN114299167B (zh) * 2022-03-11 2022-07-26 杭州灵西机器人智能科技有限公司 一种变焦镜头的单目标定方法、系统、装置和介质
CN117111046B (zh) * 2023-10-25 2024-01-12 深圳市安思疆科技有限公司 畸变矫正方法、系统、设备及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102612634A (zh) * 2010-09-13 2012-07-25 株式会社理光 校准装置、距离测量系统、校准方法和校准程序
WO2013182080A1 (zh) * 2012-06-08 2013-12-12 华为技术有限公司 一种参数标定方法及装置
CN104835159A (zh) * 2015-05-07 2015-08-12 中国科学院长春光学精密机械与物理研究所 用于连续变焦距光学成像系统的数字图像校正方法
CN105225224A (zh) * 2015-08-30 2016-01-06 大连理工大学 提高景深测量精度的相机布局与标定方法
CN106651794A (zh) * 2016-12-01 2017-05-10 北京航空航天大学 一种基于虚拟相机的投影散斑校正方法
CN107707821A (zh) * 2017-09-30 2018-02-16 努比亚技术有限公司 畸变参数的建模方法及装置、校正方法、终端、存储介质
CN108171759A (zh) * 2018-01-26 2018-06-15 上海小蚁科技有限公司 双鱼眼镜头全景相机的标定方法及装置、存储介质、终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103839258A (zh) * 2014-02-13 2014-06-04 西安交通大学 一种二值化激光散斑图像的深度感知方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102612634A (zh) * 2010-09-13 2012-07-25 株式会社理光 校准装置、距离测量系统、校准方法和校准程序
WO2013182080A1 (zh) * 2012-06-08 2013-12-12 华为技术有限公司 一种参数标定方法及装置
CN104835159A (zh) * 2015-05-07 2015-08-12 中国科学院长春光学精密机械与物理研究所 用于连续变焦距光学成像系统的数字图像校正方法
CN105225224A (zh) * 2015-08-30 2016-01-06 大连理工大学 提高景深测量精度的相机布局与标定方法
CN106651794A (zh) * 2016-12-01 2017-05-10 北京航空航天大学 一种基于虚拟相机的投影散斑校正方法
CN107707821A (zh) * 2017-09-30 2018-02-16 努比亚技术有限公司 畸变参数的建模方法及装置、校正方法、终端、存储介质
CN108171759A (zh) * 2018-01-26 2018-06-15 上海小蚁科技有限公司 双鱼眼镜头全景相机的标定方法及装置、存储介质、终端

Also Published As

Publication number Publication date
CN110689581A (zh) 2020-01-14

Similar Documents

Publication Publication Date Title
CN110689581B (zh) 结构光模组标定方法、电子设备、计算机可读存储介质
CN110717942B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110276808B (zh) 一种单相机结合二维码测量玻璃板不平度的方法
CN106875339B (zh) 一种基于长条形标定板的鱼眼图像拼接方法
CN109737874B (zh) 基于三维视觉技术的物体尺寸测量方法及装置
TWI555379B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
US9886759B2 (en) Method and system for three-dimensional data acquisition
CN106815869B (zh) 鱼眼相机的光心确定方法及装置
WO2019232793A1 (zh) 双摄像头标定方法、电子设备、计算机可读存储介质
CN109598764B (zh) 摄像头标定方法和装置、电子设备、计算机可读存储介质
CN107808398B (zh) 摄像头参数算出装置以及算出方法、程序、记录介质
JP2012088114A (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
CN107517346B (zh) 基于结构光的拍照方法、装置及移动设备
JPWO2011010438A1 (ja) 視差検出装置、測距装置及び視差検出方法
CN207766424U (zh) 一种拍摄装置及成像设备
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
CN109598763B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN109559353B (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
CN109584312B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN112257713A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN113160298A (zh) 一种深度真值获取方法、装置、系统及深度相机
CN117061868A (zh) 一种基于图像识别的自动拍照装置
CN114485953A (zh) 温度测量方法、装置及系统
CN109584311B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant