CN111487043A - 单目散斑结构光系统的散斑投射器标定参数确定方法 - Google Patents

单目散斑结构光系统的散斑投射器标定参数确定方法 Download PDF

Info

Publication number
CN111487043A
CN111487043A CN202010378793.6A CN202010378793A CN111487043A CN 111487043 A CN111487043 A CN 111487043A CN 202010378793 A CN202010378793 A CN 202010378793A CN 111487043 A CN111487043 A CN 111487043A
Authority
CN
China
Prior art keywords
camera
speckle
image
coordinate system
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010378793.6A
Other languages
English (en)
Other versions
CN111487043B (zh
Inventor
户磊
薛远
李东洋
化雪诚
王亚运
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Beijing Dilusense Technology Co Ltd
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dilusense Technology Co Ltd, Hefei Dilusense Technology Co Ltd filed Critical Beijing Dilusense Technology Co Ltd
Priority to CN202010378793.6A priority Critical patent/CN111487043B/zh
Publication of CN111487043A publication Critical patent/CN111487043A/zh
Application granted granted Critical
Publication of CN111487043B publication Critical patent/CN111487043B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G01M11/0242—Testing optical properties by measuring geometrical properties or aberrations
    • G01M11/0257—Testing optical properties by measuring geometrical properties or aberrations by analyzing the image formed by the object to be tested
    • G01M11/0264—Testing optical properties by measuring geometrical properties or aberrations by analyzing the image formed by the object to be tested by using targets or reference patterns

Landscapes

  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明实施例提供一种单目散斑结构光系统的散斑投射器标定参数确定方法，该方法包括：确定相机的内部参数；在参考平面内确定q个标记点，用相机分别处于两个不同位置时采集参考平面在开启和关闭散斑投射器的图像；基于关闭散斑投射器时在相机处于两个不同位置采集的图像中的标记点在相机坐标系中的三维坐标确定相机处于两个不同位置采集的图像中参考平面的平面方程；基于平面方程和在开启散斑投射器时在图像中选取的s个散斑点和s个同名点的像素坐标确定散斑点和同名点在相机坐标系下的三维坐标；基于散斑点和同名点的三维坐标确定散斑投射器的横轴坐标和竖轴坐标。本发明实施例提供的方法，实现了散斑投射器的位置参数的精确标定。

Description

单目散斑结构光系统的散斑投射器标定参数确定方法
技术领域
本发明涉及单目散斑结构光系统技术领域，尤其涉及一种单目散斑结构光系统的散斑投射器标定参数确定方法。
背景技术
在三维测量技术中，基于单目的散斑结构光技术是一个重要分支，以其精度高、价格低廉的优势而备受青睐，并已经在消费电子、游戏、工业等领域得到了广泛应用。如微软的Kinect一代产品、Iphonex的FaceID技术等，都是基于单目散斑机构光方案。一般使用一个主动式红外散斑发生器，赋予场景物体表面丰富的图像特征信息，再使用相机记录该场景的散斑图像，计算场景的深度信息，最终得到深度图像或三维数据。在实际使用前，该技术需要对系统进行标定，一般是将散斑结构光投射到一幅已知位置的参考平面上，并使用相机记录此时的参考平面散斑图像。在实际使用时，任意场景的散斑图像，都将与该参考平面散斑图像进行匹配，从而获得视差，再通过系统参数进行深度恢复。
当前主流的基于单目散斑结构光的标定及深度计算方案中，往往都采用如下计算方式。图1为现有技术提供的单目结构光简化原理图，如图1所示，标定时的参考平面位置与相机的距离为d0，且参考平面位置一般与相机光轴垂直。标定完成后，对于场景中任意物点Q，其场景的深度为d1，在相机传感器上成像为q点，随后使用匹配算法寻找该点在参考图像上的同名点P(即投射器所发射同一散斑特征点在不同影像上的像点)在相机传感器上成像为 p点，从而获得视差e。再根据系统参数，即相机焦距F、系统基线Tx，进行物点Q场景的深度d1解算。公式如下：
Figure RE-GDA0002541462920000021
但实际上，上述计算方式并没有考虑散斑投射器等效光心对于相机光心的相对位置关系，即默认为散斑投射器的等效光心位于相机坐标系的X轴上，距离坐标系原点相距L。如考虑该相对位置关系，则精确完备的数学模型表达如下。图2为现有技术提供的单目结构光完整原理图，如图2所示，P点在参考平面上(该平面垂直于光轴)，令P点在相机坐标系中的坐标为：
P:(x,y,d0)
散斑投射器的同名点在不同场景，都在同一直线上，则同名点Q点三维坐标为：
Q:k(P-T)+T
Q:(k(x-Tx)+Tx,k(y-Ty)+Ty,k(d0-Tz)+Tz)
其中，k为T、Q两点间的空间距离除以T，P两点间的空间距离，T＝(Tx,Ty, Tz)，图2中标明的光心坐标即投射器等效光心的坐标T(Tx,Ty,Tz)。
同一散斑点P、Q两点在参考图时、场景图时，在相机靶面上的投影为p、 q两点。设相机内参矩阵K(一般由相机标定得到)如下，其中fx、fy分别为相机系统标定后的x方向、y方向的焦距，单位像素，cx、cy为相机系统标定后的主点坐标(cx，cy)。
Figure RE-GDA0002541462920000022
根据相机中常用的针孔模型，由P、Q的三维空间位置，可推算出这两点在相机靶面成像后的像素位置p，q为：
p：
Figure RE-GDA0002541462920000023
q：
Figure RE-GDA0002541462920000024
其中，(u1,v1)为P点在相机靶面成像后的像素位置坐标，(u2,v2)为Q点在相机靶面成像后的像素位置坐标。
优选的，基线设计方向为相机坐标系的X方向，则从X方向进行视差解算。需要说明的是，设计为X方向只是为了方便说明，基线设计方向为Y方向并从 Y方向进行视差解算也同样不会影响该模型的结果。由匹配算法，针对可找到Q点的像点在参考图上的同名点u1的位置，即u1、u2为已知量，则由以下两式：
Figure RE-GDA0002541462920000031
Figure RE-GDA0002541462920000032
令e＝u2-u1，可解得：
Figure RE-GDA0002541462920000033
则进一步可解得Q点的深度信息为：
Figure RE-GDA0002541462920000034
可见，该深度解算公式与完备的深度解算公式差异较大，深度解算精度受Tz的影响。此外，若Tx由结构设计设定，而非通过标定方式获得，也会引入一定误差，最终误差积累可能导致最终的深度解算值存在5％以上的深度误差，这在高精度的应用场合如安防，精确三维重建等，是无法接受的。若想解决该问题，则需要首先在标定过程中精确获得Tx与Tz的值，而非简单的拍摄一幅特定位置的参考平面散斑图像。
因此，如何避免单目光散斑结构光系统中因为无法精确标定而带来的深度误差，在高精度场合无法被接收，仍然是本领域技术人员亟待解决的问题。
发明内容
本发明实施例提供一种单目散斑结构光系统的散斑投射器标定参数确定方法，用以解决现有的单目光散斑结构光系统中无法精确标定而带来的深度误差，在高精度场合无法被接收的问题。
第一方面，本发明实施例提供一种单目散斑结构光系统的散斑投射器标定参数确定方法，包括：
确定单目散斑结构光系统中相机的内部参数；
在单目散斑结构光系统的参考平面内设定q个已知参考平面坐标的标记点，用所述相机分别处于两个不同位置时采集所述参考平面在开启散斑投射器和关闭散斑投射器的图像，采集的4幅图像都包含所述q个标记点，其中， q≥4；
基于关闭散斑投射器时在所述相机处于所述参考平面前的两个不同位置采集的图像中的标记点在相机坐标系中的三维坐标确定所述相机处于两个不同位置采集的图像中参考平面在相机坐标系中的平面方程；
选取开启散斑投射器时在第一位置所采集的图像中的s个散斑点，在开启散斑投射器时在第二位置所采集的图像中确定所述s个散斑点对应的s个同名点，其中，s≥2，所述两个不同位置为所述第一位置和所述第二位置且所述第二位置通过所述相机基于所述第一位置进行平移或转动或平移结合转动得到；
基于所述平面方程、所述s个散斑点在图像中的像素坐标和所述s个同名点在图像中的像素坐标确定所述s个散斑点和所述s个同名点在相机坐标系下的三维坐标；
基于所述s个散斑点和所述s个同名点在相机坐标系下的三维坐标以及单目结构光的深度计算模型确定散斑投射器在相机坐标系中的横向X坐标和竖向Z坐标。
优选地，该方法中，所述关闭散斑投射器时在所述相机处于所述参考平面前的两个不同位置采集的图像中的标记点在相机坐标系中的三维坐标的确定，具体包括：
识别关闭散斑投射器时在所述相机处于所述第一位置时采集的图像中的任一第一位置标记点在图像坐标系下的像素坐标，基于所述任一第一位置标记点在图像坐标系下的像素坐标、所述任一第一位置标记点的参考平面坐标以及所述相机的内部参数根据张正友标定法确定所述任一第一位置标记点在相机坐标系中的三维坐标；
识别关闭散斑投射器时在所述相机处于所述第二位置时采集的图像中的任一第二位置标记点在图像坐标系下的像素坐标，基于所述任一第二位置标记点在图像坐标系下的像素坐标、所述任一第二位置标记点的参考平面坐标以及所述相机的内部参数根据张正友标定法确定所述任一第二位置标记点在相机坐标系中的三维坐标。
优选地，该方法中，所述基于关闭散斑投射器时在所述相机处于所述参考平面前的两个不同位置采集的图像中的标记点在相机坐标系中的三维坐标确定所述相机处于两个不同位置采集的图像中参考平面在相机坐标系中的平面方程，具体包括：
关闭散斑投射器时在所述相机处于第一位置时采集的图像B中参考平面和关闭散斑投射器时在所述相机处于第一位置时采集的图像D中参考平面的平面方程分别为mBx+nBy+pBz＝1和mDx+nDy+pDz＝1；
图像B的平面方程参数
Figure RE-GDA0002541462920000051
图像D的平面方程参数
Figure RE-GDA0002541462920000052
基于最小二乘法可以确定
Figure RE-GDA0002541462920000053
其中，
Figure RE-GDA0002541462920000054
b的行数为q，(xB1，yB1，zB1)为图像B中的第一个标记点在相机坐标系下的三维坐标，(xB2，yB2，zB2)为图像B中的第二个标记点在相机坐标系下的三维坐标，(xBq，yBq，zBq)为图像B中的第q个标记点在相机坐标系下的三维坐标, (xD1，yD1，zD1)为图像D中的第一个标记点在相机坐标系下的三维坐标，(xD2， yD2，zD2)为图像D中的第二个标记点在相机坐标系下的三维坐标，(xDq，yDq，zDq)为图像D中的第q个标记点在相机坐标系下的三维坐标。
优选地，该方法中，所述基于所述平面方程、所述s个散斑点在图像中的像素坐标和所述s个同名点在图像中的像素坐标确定所述s个散斑点和所述s个同名点在相机坐标系下的三维坐标，具体包括：
所述相机处于两个不同位置采集的图像中参考平面的平面方程分别为 mBx+nBy+pBz＝1和mDx+nDy+pDz＝1；
对于在开启散斑投射器时在所述相机处于第一位置采集的图像中所述s 个散斑点中的第i个散斑点，所述第i个散斑点的图像坐标为(ui，vi)，求解如下方程组可以确定第i个散斑点的相机坐标系下的三维坐标(xi，yi，zi)：
Figure RE-GDA0002541462920000061
对于在开启散斑投射器时在所述相机处于第二位置采集的图像中的第i 个同名点，所述第i个同名点的图像坐标为(u’i，v’i)，求解如下方程组可以确定第i个同名点的相机坐标系下的三维坐标(x’i，y’i，z’i)：
Figure RE-GDA0002541462920000062
其中，fx、fy、cx和cy为所述相机内参，所述第一位置和所述第二位置为所述两个不同位置，所述第二位置通过将所述第一位置进行平移或转动或平移结合转动得到。
优选地，该方法中，所述基于所述s个散斑点和所述s个同名点在相机坐标系下的三维坐标以及单目结构光的深度计算模型确定散斑投射器在相机坐标系中的横向X坐标和竖向Z坐标，具体包括：
基于散斑点和其同名点的相机坐标系下的三维坐标之间存在的直线约束关系，可以得到如下方程：
Figure RE-GDA0002541462920000071
和
Figure RE-GDA0002541462920000072
其中，k1、k2，…ks为各散斑点的三维位置到所述散斑投射器的距离与其同名点的三维位置到所述散斑投射器的距离的比值，xA1和zA1为第一个散斑点的横坐标和竖坐标，xA2和zA2为第二个散斑点的横坐标和竖坐标，xAs和zAs为第s个散斑点的横坐标和竖坐标，xC1和zC1为第一个同名点的横坐标和竖坐标， xC2和zC2为第二个同名点的横坐标和竖坐标，xCs和zCs为第s个同名点的横坐标和竖坐标，Tx和Tz为散斑投射器等效光心在相机坐标系下的横向X坐标和竖向Z坐标；
求解上述方程，确定Tx和Tz。
优选地，该方法中，所述求解上述方程，确定Tx和Tz，具体包括：
由方程
Figure RE-GDA0002541462920000073
和
Figure RE-GDA0002541462920000074
可以推出
Figure RE-GDA0002541462920000075
进而得到
Figure RE-GDA0002541462920000076
即可求解：v＝(GTG)-1GTc；
其中，
Figure RE-GDA0002541462920000077
第二方面，本发明实施例提供一种单目散斑结构光系统的散斑投射器标定参数确定装置，包括：
内参单元，用于确定单目散斑结构光系统中相机的内部参数；
采集单元，用于在单目散斑结构光系统的参考平面内设定q个已知参考平面坐标的标记点，用所述相机分别处于两个不同位置时采集所述参考平面在开启散斑投射器和关闭散斑投射器的图像，采集的4幅图像都包含所述q 个标记点，其中，q≥4；
平面单元，用于基于关闭散斑投射器时在所述相机处于所述参考平面前的两个不同位置采集的图像中的标记点在相机坐标系中的三维坐标确定所述相机处于两个不同位置采集的图像中参考平面在相机坐标系中的平面方程；
散斑同名点单元，用于选取开启散斑投射器时在第一位置所采集的图像中的s个散斑点，在开启散斑投射器时在第二位置所采集的图像中确定所述s 个散斑点对应的s个同名点，其中，s≥2，所述两个不同位置为所述第一位置和所述第二位置且所述第二位置通过所述相机基于所述第一位置进行平移或转动或平移结合转动得到；
坐标转换单元，用于基于所述平面方程、所述s个散斑点在图像中的像素坐标和所述s个同名点在图像中的像素坐标确定所述s个散斑点和所述s 个同名点在相机坐标系下的三维坐标；
计算单元，用于基于所述s个散斑点和所述s个同名点在相机坐标系下的三维坐标以及单目结构光的深度计算模型确定散斑投射器在相机坐标系中的横向X坐标和竖向Z坐标。
优选地，该装置中，所述关闭散斑投射器时在所述相机处于所述参考平面前的两个不同位置采集的图像中的标记点在相机坐标系中的三维坐标的确定，具体包括：
识别关闭散斑投射器时在所述相机处于所述第一位置时采集的图像中的任一第一位置标记点在图像坐标系下的像素坐标，基于所述任一第一位置标记点在图像坐标系下的像素坐标、所述任一第一位置标记点的参考平面坐标以及所述相机的内部参数根据张正友标定法确定所述任一第一位置标记点在相机坐标系中的三维坐标；
识别关闭散斑投射器时在所述相机处于所述第二位置时采集的图像中的任一第二位置标记点在图像坐标系下的像素坐标，基于所述任一第二位置标记点在图像坐标系下的像素坐标、所述任一第二位置标记点的参考平面坐标以及所述相机的内部参数根据张正友标定法确定所述任一第二位置标记点在相机坐标系中的三维坐标。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的单目散斑结构光系统的散斑投射器标定参数确定方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的单目散斑结构光系统的散斑投射器标定参数确定方法的步骤。
本发明实施例提供的方法，通过采集单目散斑结构光系统中相机处于两个不同的位置时控制单目散斑结构光系统中散斑投射器开启和关闭两种状态下的4幅图片，而图片中有预先设置好的q个标记点，首先根据所述标记点就可以确定相机处于两个不同位置时采集的图像的平面方程，然后根据所述平面方程可以确定散斑投射器开启时相机处于两个不同位置处采集的图像上的散斑点和对应同名点在相机坐标系下的三维坐标，最后根据处于两个不同位置处采集的图像上的散斑点和对应同名点在相机坐标系下的三维坐标确定散斑投射器的横轴坐标和竖轴坐标，如此，可以实现对散斑投射器的位置参数的精确标定。因此，本发明实施例提供的方法，实现了精确确定单目散斑结构光系统的散斑投射器标定参数，避免了单目散斑结构光系统无法应用于高精度场合的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术提供的单目结构光简化原理图；
图2为现有技术提供的单目结构光完整原理图；
图3为本发明实施例提供的单目散斑结构光系统的散斑投射器标定参数确定方法的流程示意图；
图4为本发明实施例提供的采集图像的示意图；
图5为本发明实施例提供的单目散斑结构光系统的散斑投射器标定参数确定装置的结构示意图；
图6为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有的单目光散斑结构光系统普遍存在无法精确标定而带来的深度误差，在高精度场合无法被接收的问题。对此，本发明实施例提供了一种单目散斑结构光系统的散斑投射器标定参数确定方法。图3为本发明实施例提供的单目散斑结构光系统的散斑投射器标定参数确定方法的流程示意图，如图3所示，该方法包括：
步骤110，确定单目散斑结构光系统中相机的内部参数。
具体地，首先对单目散斑结构光系统中相机进行内参标定。内参标定的方法目前存在多种，优选广泛应用的张正友标定法进行初值计算，再使用 LM法等非线性迭代法进行更加准确的迭代，上述方法均有较为成熟的方法和工具可以使用。
步骤120，在单目散斑结构光系统的参考平面内设定q个已知参考平面坐标的标记点，用所述相机分别处于两个不同位置时采集所述参考平面在开启散斑投射器和关闭散斑投射器的图像，采集的4幅图像都包含所述q个标记点，其中，q≥4。
具体地，完成相机内参标定后，为单目散斑结构光系统设置参考平面，所述参考平面用于标定且可以使散斑清晰成像的平面，所述参考平面的平面起伏误差应确保小于一定阈值，该阈值根据光学系统设计而定。所述参考平面内预先设定好q个已知参考平面坐标的标记点，或者是q个已知相对距离、角度的标记点，在图像上能够被识别，其中，q≥4。优选地，可选取参考平面的矩形顶点为4个标记点，标记点可选为圆形以方便在图像上识别定位。图 4为本发明实施例提供的采集图像的示意图，如图4所示，进行图像采集的时候，将相机放置于参考平面前的第一位置，保证参考平面上散斑能够覆盖图像画幅，采集图像A，保持相机位置、参考平面静止不动，关闭散斑投射器，采集图像B。再次打开散斑投射器，在保证参考平面上散斑能够覆盖画幅的前提下，更换相机位置，到第二位置采集图像C。所述第二位置与第一位置有第一定的差异性，通过将第一位置进行转动、平移或者转动结合平移得到。再保持相机位置、参考平面静止不动，关闭散斑投射器，采集图像D。采集的A、B、C和D四幅图像都包含参考平面上的所有标记点。
步骤130，基于关闭散斑投射器时在所述相机处于所述参考平面前的两个不同位置采集的图像中的标记点在相机坐标系中的三维坐标确定所述相机处于两个不同位置采集的图像中参考平面在相机坐标系中的平面方程。
具体地，对于在两个不同位置采集的图像中的标记点，可以识别出上述标记点精确的图像坐标，再基于所述标记点在参考平面上的位置分布或相对位置、角度关系，在已知相机内参的前提下，可以计算出所述标记点在相机坐标系中的三维坐标，再使用这些三维坐标，用最小二乘法可以解算出在两个不同位置采集的图像中参考平面在相机坐标系中的平面方程。
步骤140，选取开启散斑投射器时在第一位置所采集的图像中的s个散斑点，在开启散斑投射器时在第二位置所采集的图像中确定所述s个散斑点对应的s个同名点，其中，s≥2，所述两个不同位置为所述第一位置和所述第二位置且所述第二位置通过所述相机基于所述第一位置进行平移或转动或平移结合转动得到。
具体地，在开启散斑投射器时在所述相机处于两个不同位置采集的图像 A和C中，在图像A中选取s个散斑点，并使用匹配算法找到该s个散斑点在图像C中对应的s个同名点，其中，s≥2，所述两个不同位置即所述第一位置和所述第二位置，所述第一位置和所述第二位置之间的关系为所述第二位置通过所述相机基于所述第一位置进行平移或转动或平移结合转动得到。
步骤150，基于所述平面方程、所述s个散斑点在图像中的像素坐标和所述s个同名点在图像中的像素坐标确定所述s个散斑点和所述s个同名点在相机坐标系下的三维坐标。
具体地，根据步骤130确定的在两个不同位置采集的图像中参考平面在相机坐标系中的平面方程、内参参数和s个散斑点和对应的s个同名点的图像坐标确定所述s个散斑点和对应的s个同名点的相机坐标系下的三维坐标。
步骤150，基于所述s个散斑点和所述s个同名点在相机坐标系下的三维坐标以及单目结构光的深度计算模型确定散斑投射器在相机坐标系中的横向 X坐标和竖向Z坐标。
具体地，再根据结构光原理，可知所选取的散斑点和对应同名点的三维坐标之间存在直线约束，因此，可以构建各散斑点和对应的同名点的坐标值以及散斑投射器的横轴坐标和竖轴坐标之间的关系方程，通过解上述方程，可以求出散斑投射器的横轴坐标和竖轴坐标。
本发明实施例提供的方法，通过采集单目散斑结构光系统中相机处于两个不同的位置时控制单目散斑结构光系统中散斑投射器开启和关闭两种状态下的4幅图片，而图片中有预先设置好的q个标记点，首先根据所述标记点就可以确定相机处于两个不同位置时采集的图像的平面方程，然后根据所述平面方程可以确定散斑投射器开启时相机处于两个不同位置处采集的图像上的散斑点和对应同名点在相机坐标系下的三维坐标，最后根据处于两个不同位置处采集的图像上的散斑点和对应同名点在相机坐标系下的三维坐标确定散斑投射器的横轴坐标和竖轴坐标，如此，可以实现对散斑投射器的位置参数的精确标定。因此，本发明实施例提供的方法，实现了精确确定单目散斑结构光系统的散斑投射器标定参数，避免了单目散斑结构光系统无法应用于高精度场合的问题。
基于上述实施例，该方法中，所述关闭散斑投射器时在所述相机处于所述参考平面前的两个不同位置采集的图像中的标记点在相机坐标系中的三维坐标的确定，具体包括：
识别关闭散斑投射器时在所述相机处于所述第一位置时采集的图像中的任一第一位置标记点在图像坐标系下的像素坐标，基于所述任一第一位置标记点在图像坐标系下的像素坐标、所述任一第一位置标记点的参考平面坐标以及所述相机的内部参数根据张正友标定法确定所述任一第一位置标记点在相机坐标系中的三维坐标；
识别关闭散斑投射器时在所述相机处于所述第二位置时采集的图像中的任一第二位置标记点在图像坐标系下的像素坐标，基于所述任一第二位置标记点在图像坐标系下的像素坐标、所述任一第二位置标记点的参考平面坐标以及所述相机的内部参数根据张正友标定法确定所述任一第二位置标记点在相机坐标系中的三维坐标。
具体地，关闭散斑投射器时在所述相机处于第一位置时采集的图像为图像B，关闭散斑投射器时在所述相机处于第二位置时采集的图像为图像D，识别图像B和D中的所有标记点，获取其精确的图像坐标位置，对于图像B 中的任一标记点统称为第一位置标记点，要确定任一第一位置标记点在相机坐标系中的三维坐标，则通过所述任一第一位置标记点在图像坐标系下的像素坐标、所述任一第一位置标记点在参考平面上的分布或者相对位置、角度关系以及所述相机的内部参数根据张正友标定法确定；对于图像D中的任一标记点统称为第二位置标记点，要确定任一第二位置标记点在相机坐标系中的三维坐标，则通过所述任一第二位置标记点在图像坐标系下的像素坐标、所述第二位置标记点在参考平面上的分布或者相对位置、角度关系以及所述相机的内部参数根据张正友标定法确定。
基于上述任一实施例，该方法中，所述基于关闭散斑投射器时在所述相机处于所述参考平面前的两个不同位置采集的图像中的标记点在相机坐标系中的三维坐标确定所述相机处于两个不同位置采集的图像中参考平面在相机坐标系中的平面方程，具体包括：
关闭散斑投射器时在所述相机处于第一位置时采集的图像B中参考平面和关闭散斑投射器时在所述相机处于第一位置时采集的图像D中参考平面的平面方程分别为mBx+nBy+pBz＝1和mDx+nDy+pDz＝1；
图像B的平面方程参数
Figure RE-GDA0002541462920000141
图像D的平面方程参数
Figure RE-GDA0002541462920000142
基于最小二乘法可以确定
Figure RE-GDA0002541462920000143
其中，
Figure RE-GDA0002541462920000144
b的行数为q，(xB1，yB1，zB1)为图像B中的第一个标记点在相机坐标系下的三维坐标，(xB2，yB2，zB2)为图像B中的第二个标记点在相机坐标系下的三维坐标，(xBq，yBq，zBq)为图像B中的第q个标记点在相机坐标系下的三维坐标, (xD1，yD1，zD1)为图像D中的第一个标记点在相机坐标系下的三维坐标，(xD2， yD2，zD2)为图像D中的第二个标记点在相机坐标系下的三维坐标，(xDq，yDq，zDq)为图像D中的第q个标记点在相机坐标系下的三维坐标。
具体地，要确定相机处于两个不同位置采集的图像中参考平面的平面方程即是要确定关闭散斑投射器时在所述相机处于第一位置时采集的图像B中的参考平面的平面方程mBx+nBy+pBz＝1和关闭散斑投射器时在所述相机处于第一位置时采集的图像D中的参考平面的平面方程mDx+nDy+pDz＝1中的方程参数
Figure RE-GDA0002541462920000145
和
Figure RE-GDA0002541462920000146
然而，目前已知图像B和图像D中所有标记点的相机坐标系下的三维坐标，因此，把图像B中的所有标记点的三维坐标带入图像B中的参考平面的平面方程，可以得到一组方程组，同样，将图像D中的所有标记点的三维坐标带入图像D中的参考平面的平面方程，又可以得到一组方程组，解这两个方程组，就可以确定两个平面方程的参数。采用矩阵的表达方式，即基于最小二乘法，可以确定
Figure RE-GDA0002541462920000147
其中，
Figure RE-GDA0002541462920000148
b的行数为q，(xB1，yB1，zB1)为图像B中的第一个标记点的相机坐标系下的三维坐标，(xB2，yB2，zB2)为图像B中的第二个标记点的相机坐标系下的三维坐标，(xBq，yBq，zBq)为图像B中的第q个标记点的相机坐标系下的三维坐标, (xD1，yD1，zD1)为图像D中的第一个标记点的相机坐标系下的三维坐标， (xD2，yD2，zD2)为图像D中的第二个标记点的相机坐标系下的三维坐标， (xDq，yDq，zDq)为图像D中的第q个标记点的相机坐标系下的三维坐标。
基于上述任一实施例，该方法中，所述基于所述平面方程、所述s个散斑点在图像中的像素坐标和所述s个同名点在图像中的像素坐标确定所述s 个散斑点和所述s个同名点在相机坐标系下的三维坐标，具体包括：
所述相机处于两个不同位置采集的图像中参考平面的平面方程分别为 mBx+nBy+pBz＝1和mDx+nDy+pDz＝1；
对于在开启散斑投射器时在所述相机处于第一位置采集的图像中所述s 个散斑点中的第i个散斑点，所述第i个散斑点的图像坐标为(ui，vi)，求解如下方程组可以确定第i个散斑点的相机坐标系下的三维坐标(xi，yi，zi)：
Figure RE-GDA0002541462920000151
对于在开启散斑投射器时在所述相机处于第二位置采集的图像中的第i 个同名点，所述第i个同名点的图像坐标为(u’i，v’i)，求解如下方程组可以确定第i个同名点的相机坐标系下的三维坐标(x’i，y’i，z’i)：
Figure RE-GDA0002541462920000152
其中，fx、fy、cx和cy为所述相机内参，所述第一位置和所述第二位置为所述两个不同位置，所述第二位置通过将所述第一位置进行平移或转动或平移结合转动得到。
具体地，在开启散斑投射器时在所述相机处于第一位置采集的图像为图像A，在开启散斑投射器时在所述相机处于第二位置采集的图像为图像C，图像A中参考平面的平面方程即在关闭散斑投射器时在所述相机处于第一位置采集的图像中参考平面的平面方程mBx+nBy+pBz＝1，图像C中参考平面的平面方程即在关闭散斑投射器时在所述相机处于第二位置采集的图像中参考平面的平面方程mDx+nDy+pDz＝1。在图像A中选取s个散斑点，并使用匹配算法找到上述s个散斑点在图像C中对应的s个同名点，然后，通过平面方程、内参参数，可建立如下方程：
Figure RE-GDA0002541462920000161
和
Figure RE-GDA0002541462920000162
对于在开启散斑投射器时在所述相机处于第一位置采集的图像s个散斑点中的第i个散斑点，所述第i个散斑点的图像坐标为(ui，vi)，求解如下方程组可以确定第i个散斑点的相机坐标系下的三维坐标(xi，yi，zi)；对于在开启散斑投射器时在所述相机处于第二位置采集的图像s个同名点中的第i 个同名点，所述第i个同名点的图像坐标为(u’i，v’i)，求解如下方程组可以确定第i个同名点的相机坐标系下的三维坐标(x’i，y’i，z’i)，其中，fx、fy、 cx和cy为所述相机内参。
基于上述任一实施例，该方法中，所述基于所述s个散斑点和所述s个同名点在相机坐标系下的三维坐标以及单目结构光的深度计算模型确定散斑投射器在相机坐标系中的横向X坐标和竖向Z坐标，具体包括：
基于散斑点和其同名点的相机坐标系下的三维坐标之间存在的直线约束关系，可以得到如下方程：
Figure RE-GDA0002541462920000171
和
Figure RE-GDA0002541462920000172
其中，k1、k2，…ks为各散斑点的三维位置到所述散斑投射器的距离与其同名点的三维位置到所述散斑投射器的距离的比值，xA1和zA1为第一个散斑点的横坐标和竖坐标，xA2和zA2为第二个散斑点的横坐标和竖坐标，xAs和zAs为第s个散斑点的横坐标和竖坐标，xC1和zC1为第一个同名点的横坐标和竖坐标， xC2和zC2为第二个同名点的横坐标和竖坐标，xCs和zCs为第s个同名点的横坐标和竖坐标，Tx和Tz为散斑投射器等效光心在相机坐标系下的横向X坐标和竖向Z坐标；
求解上述方程，确定Tx和Tz。
具体地，基于单目光结构原理，可知散斑点和其同名点相机坐标系下的三维坐标之间存在的直线约束关系，于是可以得到如下方程：
Figure RE-GDA0002541462920000173
和
Figure RE-GDA0002541462920000174
其中，k1、k2，…ks为各散斑点的三维位置到所述散斑投射器的距离与其同名点的三维位置到所述散斑投射器的距离的比值，xA1和zA1为第一个散斑点的相机坐标系下的坐标和竖坐标，xA2和zA2为第二个散斑点的相机坐标系下的横坐标和竖坐标，xAs和zAs为第s个散斑点的相机坐标系下的横坐标和竖坐标， xC1和zC1为第一个同名点的相机坐标系下的横坐标和竖坐标，xC2和zC2为第二个同名点的相机坐标系下的横坐标和竖坐标，xCs和zCs为第s个同名点的相机坐标系下的横坐标和竖坐标，Tx和Tz为散斑投射器等效光心的相机坐标系下的横向X坐标和竖向Z坐标，即通过Tx和Tz可以得到散斑投射器在相机坐标系中的横向X坐标和竖向Z坐标；
求解上述方程，确定Tx和Tz。
基于上述任一实施例，该方法中，所述求解上述方程，确定Tx和Tz，具体包括：
由方程
Figure RE-GDA0002541462920000181
和
Figure RE-GDA0002541462920000182
可以推出
Figure RE-GDA0002541462920000183
进而得到
Figure RE-GDA0002541462920000184
即可求解：v＝(GTG)-1GTc；
其中，
Figure RE-GDA0002541462920000185
基于上述任一实施例，本发明实施例提供一种单目散斑结构光系统的散斑投射器标定参数确定装置，图5为本发明实施例提供的单目散斑结构光系统的散斑投射器标定参数确定装置的结构示意图。如图5所示，该装置包括内参单元510、采集单元520、平面单元530、散斑同名点单元540、坐标转换单元550和计算单元560，其中，
所述内参单元510，用于确定单目散斑结构光系统中相机的内部参数；
所述采集单元520，用于在单目散斑结构光系统的参考平面内设定q个已知参考平面坐标的标记点，用所述相机分别处于两个不同位置时采集所述参考平面在开启散斑投射器和关闭散斑投射器的图像，采集的4幅图像都包含所述q个标记点，其中，q≥4；
所述平面单元530，用于基于关闭散斑投射器时在所述相机处于所述参考平面前的两个不同位置采集的图像中的标记点在相机坐标系中的三维坐标确定所述相机处于两个不同位置采集的图像中参考平面在相机坐标系中的平面方程；
所述散斑同名点单元540，用于选取开启散斑投射器时在第一位置所采集的图像中的s个散斑点，在开启散斑投射器时在第二位置所采集的图像中确定所述s个散斑点对应的s个同名点，其中，s≥2，所述两个不同位置为所述第一位置和所述第二位置且所述第二位置通过所述相机基于所述第一位置进行平移或转动或平移结合转动得到；
所述坐标转换单元550，用于基于所述平面方程、所述s个散斑点在图像中的像素坐标和所述s个同名点在图像中的像素坐标确定所述s个散斑点和所述s个同名点在相机坐标系下的三维坐标；
所述计算单元560，用于基于所述s个散斑点和所述s个同名点在相机坐标系下的三维坐标以及单目结构光的深度计算模型确定散斑投射器在相机坐标系中的横向X坐标和竖向Z坐标。
本发明实施例提供的装置，通过采集单目散斑结构光系统中相机处于两个不同的位置时控制单目散斑结构光系统中散斑投射器开启和关闭两种状态下的4幅图片，而图片中有预先设置好的q个标记点，首先根据所述标记点就可以确定相机处于两个不同位置时采集的图像的平面方程，然后根据所述平面方程可以确定散斑投射器开启时相机处于两个不同位置处采集的图像上的散斑点和对应同名点在相机坐标系下的三维坐标，最后根据处于两个不同位置处采集的图像上的散斑点和对应同名点在相机坐标系下的三维坐标确定散斑投射器的横轴坐标和竖轴坐标，如此，可以实现对散斑投射器的位置参数的精确标定。因此，本发明实施例提供的装置，实现了精确确定单目散斑结构光系统的散斑投射器标定参数，避免了单目散斑结构光系统无法应用于高精度场合的问题。
基于上述任一实施例，该装置中，所述关闭散斑投射器时在所述相机处于所述参考平面前的两个不同位置采集的图像中的标记点在相机坐标系中的三维坐标的确定，具体包括：
识别关闭散斑投射器时在所述相机处于所述第一位置时采集的图像中的任一第一位置标记点在图像坐标系下的像素坐标，基于所述任一第一位置标记点在图像坐标系下的像素坐标、所述任一第一位置标记点的参考平面坐标以及所述相机的内部参数根据张正友标定法确定所述任一第一位置标记点在相机坐标系中的三维坐标；
识别关闭散斑投射器时在所述相机处于所述第二位置时采集的图像中的任一第二位置标记点在图像坐标系下的像素坐标，基于所述任一第二位置标记点在图像坐标系下的像素坐标、所述任一第二位置标记点的参考平面坐标以及所述相机的内部参数根据张正友标定法确定所述任一第二位置标记点在相机坐标系中的三维坐标。
基于上述任一实施例，该装置中，所述平面单元，具体用于，
关闭散斑投射器时在所述相机处于第一位置时采集的图像B中参考平面和关闭散斑投射器时在所述相机处于第一位置时采集的图像D中参考平面的平面方程分别为mBx+nBy+pBz＝1和mDx+nDy+pDz＝1；
图像B的平面方程参数
Figure RE-GDA0002541462920000201
图像D的平面方程参数
Figure RE-GDA0002541462920000202
基于最小二乘法可以确定
Figure RE-GDA0002541462920000203
其中，
Figure RE-GDA0002541462920000204
b的行数为q，(xB1，yB1，zB1)为图像B中的第一个标记点在相机坐标系下的三维坐标，(xB2，yB2，zB2)为图像B中的第二个标记点在相机坐标系下的三维坐标，(xBq，yBq，zBq)为图像B中的第q个标记点在相机坐标系下的三维坐标, (xD1，yD1，zD1)为图像D中的第一个标记点在相机坐标系下的三维坐标，(xD2， yD2，zD2)为图像D中的第二个标记点在相机坐标系下的三维坐标，(xDq，yDq，zDq)为图像D中的第q个标记点在相机坐标系下的三维坐标。
基于上述任一实施例，该装置中，所述坐标转换单元，具体用于，
所述相机处于两个不同位置采集的图像中参考平面的平面方程分别为 mBx+nBy+pBz＝1和mDx+nDy+pDz＝1；
对于在开启散斑投射器时在所述相机处于第一位置采集的图像中所述s 个散斑点中的第i个散斑点，所述第i个散斑点的图像坐标为(ui，vi)，求解如下方程组可以确定第i个散斑点的相机坐标系下的三维坐标(xi，yi，zi)：
Figure RE-GDA0002541462920000211
对于在开启散斑投射器时在所述相机处于第二位置采集的图像中的第i 个同名点，所述第i个同名点的图像坐标为(u’i，v’i)，求解如下方程组可以确定第i个同名点的相机坐标系下的三维坐标(x’i，y’i，z’i)：
Figure RE-GDA0002541462920000212
其中，fx、fy、cx和cy为所述相机内参，所述第一位置和所述第二位置为所述两个不同位置，所述第二位置通过将所述第一位置进行平移或转动或平移结合转动得到。
基于上述任一实施例，该装置中，所述计算单元，具体用于，
基于散斑点和其同名点的相机坐标系下的三维坐标之间存在的直线约束关系，可以得到如下方程：
Figure RE-GDA0002541462920000213
和
Figure RE-GDA0002541462920000214
其中，k1、k2，…ks为各散斑点的三维位置到所述散斑投射器的距离与其同名点的三维位置到所述散斑投射器的距离的比值，xA1和zA1为第一个散斑点的横坐标和竖坐标，xA2和zA2为第二个散斑点的横坐标和竖坐标，xAs和zAs为第s个散斑点的横坐标和竖坐标，xC1和zC1为第一个同名点的横坐标和竖坐标， xC2和zC2为第二个同名点的横坐标和竖坐标，xCs和zCs为第s个同名点的横坐标和竖坐标，Tx和Tz为散斑投射器等效光心在相机坐标系下的横向X坐标和竖向Z坐标；
求解上述方程，确定Tx和Tz。
基于上述任一实施例，该装置中，所述求解上述方程，确定Tx和Tz，具体包括：
由方程
Figure RE-GDA0002541462920000221
和
Figure RE-GDA0002541462920000222
可以推出
Figure RE-GDA0002541462920000223
进而得到
Figure RE-GDA0002541462920000224
即可求解：v＝(GTG)-1GTc；
其中，
Figure RE-GDA0002541462920000225
图6为本发明实施例提供的电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)601、通信接口(Communications Interface)602、存储器(memory)603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信。处理器601 可以调用存储在存储器603上并可在处理器601上运行的计算机程序，以执行上述各实施例提供的单目散斑结构光系统的散斑投射器标定参数确定方法，例如包括：确定单目散斑结构光系统中相机的内部参数；在单目散斑结构光系统的参考平面内设定q个已知参考平面坐标的标记点，用所述相机分别处于两个不同位置时采集所述参考平面在开启散斑投射器和关闭散斑投射器的图像，采集的4幅图像都包含所述q个标记点，其中，q≥4；基于关闭散斑投射器时在所述相机处于所述参考平面前的两个不同位置采集的图像中的标记点在相机坐标系中的三维坐标确定所述相机处于两个不同位置采集的图像中参考平面在相机坐标系中的平面方程；选取开启散斑投射器时在第一位置所采集的图像中的s个散斑点，在开启散斑投射器时在第二位置所采集的图像中确定所述s个散斑点对应的s个同名点，其中，s≥2，所述两个不同位置为所述第一位置和所述第二位置且所述第二位置通过所述相机基于所述第一位置进行平移或转动或平移结合转动得到；基于所述平面方程、所述s个散斑点在图像中的像素坐标和所述s个同名点在图像中的像素坐标确定所述s个散斑点和所述s个同名点在相机坐标系下的三维坐标；基于所述s个散斑点和所述s个同名点在相机坐标系下的三维坐标以及单目结构光的深度计算模型确定散斑投射器在相机坐标系中的横向X坐标和竖向Z坐标。
此外，上述的存储器603中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的单目散斑结构光系统的散斑投射器标定参数确定方法，例如包括：确定单目散斑结构光系统中相机的内部参数；在单目散斑结构光系统的参考平面内设定q 个已知参考平面坐标的标记点，用所述相机分别处于两个不同位置时采集所述参考平面在开启散斑投射器和关闭散斑投射器的图像，采集的4幅图像都包含所述q个标记点，其中，q≥4；基于关闭散斑投射器时在所述相机处于所述参考平面前的两个不同位置采集的图像中的标记点在相机坐标系中的三维坐标确定所述相机处于两个不同位置采集的图像中参考平面在相机坐标系中的平面方程；选取开启散斑投射器时在第一位置所采集的图像中的s个散斑点，在开启散斑投射器时在第二位置所采集的图像中确定所述s个散斑点对应的s个同名点，其中，s≥2，所述两个不同位置为所述第一位置和所述第二位置且所述第二位置通过所述相机基于所述第一位置进行平移或转动或平移结合转动得到；基于所述平面方程、所述s个散斑点在图像中的像素坐标和所述s个同名点在图像中的像素坐标确定所述s个散斑点和所述s个同名点在相机坐标系下的三维坐标；基于所述s个散斑点和所述s个同名点在相机坐标系下的三维坐标以及单目结构光的深度计算模型确定散斑投射器在相机坐标系中的横向X坐标和竖向Z坐标。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种单目散斑结构光系统的散斑投射器标定参数确定方法，其特征在于，包括：
确定单目散斑结构光系统中相机的内部参数；
在单目散斑结构光系统的参考平面内设定q个已知参考平面坐标的标记点，用所述相机分别处于两个不同位置时采集所述参考平面在开启散斑投射器和关闭散斑投射器的图像，采集的4幅图像都包含所述q个标记点，其中，q≥4；
基于关闭散斑投射器时在所述相机处于所述参考平面前的两个不同位置采集的图像中的标记点在相机坐标系中的三维坐标确定所述相机处于两个不同位置采集的图像中参考平面在相机坐标系中的平面方程；
选取开启散斑投射器时在第一位置所采集的图像中的s个散斑点，在开启散斑投射器时在第二位置所采集的图像中确定所述s个散斑点对应的s个同名点，其中，s≥2，所述两个不同位置为所述第一位置和所述第二位置且所述第二位置通过所述相机基于所述第一位置进行平移或转动或平移结合转动得到；
基于所述平面方程、所述s个散斑点在图像中的像素坐标和所述s个同名点在图像中的像素坐标确定所述s个散斑点和所述s个同名点在相机坐标系下的三维坐标；
基于所述s个散斑点和所述s个同名点在相机坐标系下的三维坐标以及单目结构光的深度计算模型确定散斑投射器在相机坐标系中的横向X坐标和竖向Z坐标。
2.根据权利要求1所述的单目散斑结构光系统的散斑投射器标定参数确定方法，其特征在于，所述关闭散斑投射器时在所述相机处于所述参考平面前的两个不同位置采集的图像中的标记点在相机坐标系中的三维坐标的确定，具体包括：
识别关闭散斑投射器时在所述相机处于所述第一位置时采集的图像中的任一第一位置标记点在图像坐标系下的像素坐标，基于所述任一第一位置标记点在图像坐标系下的像素坐标、所述任一第一位置标记点的参考平面坐标以及所述相机的内部参数根据张正友标定法确定所述任一第一位置标记点在相机坐标系中的三维坐标；
识别关闭散斑投射器时在所述相机处于所述第二位置时采集的图像中的任一第二位置标记点在图像坐标系下的像素坐标，基于所述任一第二位置标记点在图像坐标系下的像素坐标、所述任一第二位置标记点的参考平面坐标以及所述相机的内部参数根据张正友标定法确定所述任一第二位置标记点在相机坐标系中的三维坐标。
3.根据权利要求2所述的单目散斑结构光系统的散斑投射器标定参数确定方法，其特征在于，所述基于关闭散斑投射器时在所述相机处于所述参考平面前的两个不同位置采集的图像中的标记点在相机坐标系中的三维坐标确定所述相机处于两个不同位置采集的图像中参考平面在相机坐标系中的平面方程，具体包括：
关闭散斑投射器时在所述相机处于第一位置时采集的图像B中参考平面和关闭散斑投射器时在所述相机处于第一位置时采集的图像D中参考平面的平面方程分别为mBx+nBy+pBz＝1和mDx+nDy+pDz＝1；
图像B的平面方程参数
Figure FDA0002481082980000021
图像D的平面方程参数
Figure FDA0002481082980000022
基于最小二乘法可以确定
Figure FDA0002481082980000023
其中，
Figure FDA0002481082980000024
b的行数为q，(xB1，yB1，zB1)为图像B中的第一个标记点在相机坐标系下的三维坐标，(xB2，yB2，zB2)为图像B中的第二个标记点在相机坐标系下的三维坐标，(xBq，yBq，zBq)为图像B中的第q个标记点在相机坐标系下的三维坐标,(xD1，yD1，zD1)为图像D中的第一个标记点在相机坐标系下的三维坐标，(xD2，yD2，zD2)为图像D中的第二个标记点在相机坐标系下的三维坐标，(xDq，yDq，zDq)为图像D中的第q个标记点在相机坐标系下的三维坐标。
4.根据权利要求1所述的单目散斑结构光系统的散斑投射器标定参数确定方法，其特征在于，所述基于所述平面方程、所述s个散斑点在图像中的像素坐标和所述s个同名点在图像中的像素坐标确定所述s个散斑点和所述s个同名点在相机坐标系下的三维坐标，具体包括：
所述相机处于两个不同位置采集的图像中参考平面的平面方程分别为mBx+nBy+pBz＝1和mDx+nDy+pDz＝1；
对于在开启散斑投射器时在所述相机处于第一位置采集的图像中所述s个散斑点中的第i个散斑点，所述第i个散斑点的图像坐标为(ui，vi)，求解如下方程组可以确定第i个散斑点的相机坐标系下的三维坐标(xi，yi，zi)：
Figure FDA0002481082980000031
对于在开启散斑投射器时在所述相机处于第二位置采集的图像中的第i个同名点，所述第i个同名点的图像坐标为(u’i，v’i)，求解如下方程组可以确定第i个同名点的相机坐标系下的三维坐标(x’i，y’i，z’i)：
Figure FDA0002481082980000032
其中，fx、fy、cx和cy为所述相机内参，所述第一位置和所述第二位置为所述两个不同位置，所述第二位置通过将所述第一位置进行平移或转动或平移结合转动得到。
5.根据权利要求1或3或4所述的单目散斑结构光系统的散斑投射器标定参数确定方法，其特征在于，所述基于所述s个散斑点和所述s个同名点在相机坐标系下的三维坐标以及单目结构光的深度计算模型确定散斑投射器在相机坐标系中的横向X坐标和竖向Z坐标，具体包括：
基于散斑点和其同名点的相机坐标系下的三维坐标之间存在的直线约束关系，可以得到如下方程：
Figure FDA0002481082980000041
和
Figure FDA0002481082980000042
其中，k1、k2，…ks为各散斑点的三维位置到所述散斑投射器的距离与其同名点的三维位置到所述散斑投射器的距离的比值，xA1和zA1为第一个散斑点的横坐标和竖坐标，xA2和zA2为第二个散斑点的横坐标和竖坐标，xAs和zAs为第s个散斑点的横坐标和竖坐标，xC1和zC1为第一个同名点的横坐标和竖坐标，xC2和zC2为第二个同名点的横坐标和竖坐标，xCs和zCs为第s个同名点的横坐标和竖坐标，Tx和Tz为散斑投射器等效光心在相机坐标系下的横向X坐标和竖向Z坐标；
求解上述方程，确定Tx和Tz。
6.根据权利要求5所述的单目散斑结构光系统的散斑投射器标定参数确定方法，其特征在于，所述求解上述方程，确定Tx和Tz，具体包括：
由方程
Figure FDA0002481082980000043
和
Figure FDA0002481082980000044
可以推出
Figure FDA0002481082980000045
进而得到
Figure FDA0002481082980000046
即可求解：v＝(GTG)-1GTc；
其中，
Figure FDA0002481082980000047
7.一种单目散斑结构光系统的散斑投射器标定参数确定装置，其特征在于，包括：
内参单元，用于确定单目散斑结构光系统中相机的内部参数；
采集单元，用于在单目散斑结构光系统的参考平面内设定q个已知参考平面坐标的标记点，用所述相机分别处于两个不同位置时采集所述参考平面在开启散斑投射器和关闭散斑投射器的图像，采集的4幅图像都包含所述q个标记点，其中，q≥4；
平面单元，用于基于关闭散斑投射器时在所述相机处于所述参考平面前的两个不同位置采集的图像中的标记点在相机坐标系中的三维坐标确定所述相机处于两个不同位置采集的图像中参考平面在相机坐标系中的平面方程；
散斑同名点单元，用于选取开启散斑投射器时在第一位置所采集的图像中的s个散斑点，在开启散斑投射器时在第二位置所采集的图像中确定所述s个散斑点对应的s个同名点，其中，s≥2，所述两个不同位置为所述第一位置和所述第二位置且所述第二位置通过所述相机基于所述第一位置进行平移或转动或平移结合转动得到；
坐标转换单元，用于基于所述平面方程、所述s个散斑点在图像中的像素坐标和所述s个同名点在图像中的像素坐标确定所述s个散斑点和所述s个同名点在相机坐标系下的三维坐标；
计算单元，用于基于所述s个散斑点和所述s个同名点在相机坐标系下的三维坐标以及单目结构光的深度计算模型确定散斑投射器在相机坐标系中的横向X坐标和竖向Z坐标。
8.根据权利要求7所述的单目散斑结构光系统的散斑投射器标定参数确定装置，其特征在于，所述关闭散斑投射器时在所述相机处于所述参考平面前的两个不同位置采集的图像中的标记点在相机坐标系中的三维坐标的确定，具体包括：
识别关闭散斑投射器时在所述相机处于所述第一位置时采集的图像中的任一第一位置标记点在图像坐标系下的像素坐标，基于所述任一第一位置标记点在图像坐标系下的像素坐标、所述任一第一位置标记点的参考平面坐标以及所述相机的内部参数根据张正友标定法确定所述任一第一位置标记点在相机坐标系中的三维坐标；
识别关闭散斑投射器时在所述相机处于所述第二位置时采集的图像中的任一第二位置标记点在图像坐标系下的像素坐标，基于所述任一第二位置标记点在图像坐标系下的像素坐标、所述任一第二位置标记点的参考平面坐标以及所述相机的内部参数根据张正友标定法确定所述任一第二位置标记点在相机坐标系中的三维坐标。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一项所述的单目散斑结构光系统的散斑投射器标定参数确定方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如1-6中任一项所述的单目散斑结构光系统的散斑投射器标定参数确定方法的步骤。
CN202010378793.6A 2020-05-07 2020-05-07 单目散斑结构光系统的散斑投射器标定参数确定方法 Active CN111487043B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010378793.6A CN111487043B (zh) 2020-05-07 2020-05-07 单目散斑结构光系统的散斑投射器标定参数确定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010378793.6A CN111487043B (zh) 2020-05-07 2020-05-07 单目散斑结构光系统的散斑投射器标定参数确定方法

Publications (2)

Publication Number Publication Date
CN111487043A true CN111487043A (zh) 2020-08-04
CN111487043B CN111487043B (zh) 2021-11-09

Family

ID=71811998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010378793.6A Active CN111487043B (zh) 2020-05-07 2020-05-07 单目散斑结构光系统的散斑投射器标定参数确定方法

Country Status (1)

Country Link
CN (1) CN111487043B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111896032A (zh) * 2020-09-29 2020-11-06 北京清微智能科技有限公司 一种单目散斑投射器位置的标定系统及方法
CN112184811A (zh) * 2020-09-22 2021-01-05 合肥的卢深视科技有限公司 单目空间结构光系统结构校准方法及装置
CN112669362A (zh) * 2021-01-12 2021-04-16 四川深瑞视科技有限公司 基于散斑的深度信息获取方法、装置及系统
CN112927280A (zh) * 2021-03-11 2021-06-08 北京的卢深视科技有限公司 深度图像的获取方法及装置、单目散斑结构光系统
CN113124763A (zh) * 2021-04-22 2021-07-16 奥比中光科技集团股份有限公司 光轴检测系统的光轴标定方法、装置、终端、系统和介质
CN113146627A (zh) * 2021-04-01 2021-07-23 洛阳理工学院 基于实时测量数据的并联机构动力学参数求解方法
CN113240746A (zh) * 2021-04-19 2021-08-10 福建新大陆自动识别技术有限公司 基于理想成像平面的散斑结构光标定方法和设备
CN113504110A (zh) * 2021-07-14 2021-10-15 北京理工大学 一种基于标准散斑贴纸的复合材料力学性能参数测量方法
CN113793387A (zh) * 2021-08-06 2021-12-14 中国科学院深圳先进技术研究院 单目散斑结构光系统的标定方法、装置及终端
CN113822920A (zh) * 2021-09-29 2021-12-21 北京的卢深视科技有限公司 结构光相机获取深度信息的方法、电子设备及存储介质
CN115115684A (zh) * 2022-05-27 2022-09-27 合肥的卢深视科技有限公司 标定方法、系统、电子设备和计算机可读存储介质
WO2023201578A1 (zh) * 2022-04-20 2023-10-26 深圳大学 单目激光散斑投影系统的外参数标定方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103868524A (zh) * 2013-12-23 2014-06-18 西安新拓三维光测科技有限公司 一种基于散斑图案的单目测量系统标定方法及装置
CN108225216A (zh) * 2016-12-14 2018-06-29 中国科学院深圳先进技术研究院 结构光系统标定方法及装置、结构光系统及移动设备
CN108830907A (zh) * 2018-06-15 2018-11-16 深圳市易尚展示股份有限公司 基于单目系统的投影标定方法及系统
CN109405765A (zh) * 2018-10-23 2019-03-01 北京的卢深视科技有限公司 一种基于散斑结构光的高精度深度计算方法及系统
CN110276808A (zh) * 2019-06-11 2019-09-24 合肥工业大学 一种单相机结合二维码测量玻璃板不平度的方法
CN110285831A (zh) * 2019-07-05 2019-09-27 浙江大学城市学院 一种网格结构光投射器标定方法
CN110933391A (zh) * 2019-12-20 2020-03-27 成都极米科技股份有限公司 投影系统的标定参数补偿方法、装置及可读存储介质
US20200126462A1 (en) * 2017-07-11 2020-04-23 Hewlett-Packard Development Company, L.P. Projection calibrations

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103868524A (zh) * 2013-12-23 2014-06-18 西安新拓三维光测科技有限公司 一种基于散斑图案的单目测量系统标定方法及装置
CN108225216A (zh) * 2016-12-14 2018-06-29 中国科学院深圳先进技术研究院 结构光系统标定方法及装置、结构光系统及移动设备
US20200126462A1 (en) * 2017-07-11 2020-04-23 Hewlett-Packard Development Company, L.P. Projection calibrations
CN108830907A (zh) * 2018-06-15 2018-11-16 深圳市易尚展示股份有限公司 基于单目系统的投影标定方法及系统
CN109405765A (zh) * 2018-10-23 2019-03-01 北京的卢深视科技有限公司 一种基于散斑结构光的高精度深度计算方法及系统
CN110276808A (zh) * 2019-06-11 2019-09-24 合肥工业大学 一种单相机结合二维码测量玻璃板不平度的方法
CN110285831A (zh) * 2019-07-05 2019-09-27 浙江大学城市学院 一种网格结构光投射器标定方法
CN110933391A (zh) * 2019-12-20 2020-03-27 成都极米科技股份有限公司 投影系统的标定参数补偿方法、装置及可读存储介质

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184811A (zh) * 2020-09-22 2021-01-05 合肥的卢深视科技有限公司 单目空间结构光系统结构校准方法及装置
CN111896032B (zh) * 2020-09-29 2021-09-03 北京清微智能科技有限公司 一种单目散斑投射器位置的标定系统及方法
CN111896032A (zh) * 2020-09-29 2020-11-06 北京清微智能科技有限公司 一种单目散斑投射器位置的标定系统及方法
CN112669362A (zh) * 2021-01-12 2021-04-16 四川深瑞视科技有限公司 基于散斑的深度信息获取方法、装置及系统
CN112669362B (zh) * 2021-01-12 2024-03-29 四川深瑞视科技有限公司 基于散斑的深度信息获取方法、装置及系统
CN112927280B (zh) * 2021-03-11 2022-02-11 北京的卢深视科技有限公司 深度图像的获取方法及装置、单目散斑结构光系统
CN112927280A (zh) * 2021-03-11 2021-06-08 北京的卢深视科技有限公司 深度图像的获取方法及装置、单目散斑结构光系统
CN113146627A (zh) * 2021-04-01 2021-07-23 洛阳理工学院 基于实时测量数据的并联机构动力学参数求解方法
CN113146627B (zh) * 2021-04-01 2022-11-18 洛阳理工学院 基于实时测量数据的并联机构动力学参数求解方法
CN113240746A (zh) * 2021-04-19 2021-08-10 福建新大陆自动识别技术有限公司 基于理想成像平面的散斑结构光标定方法和设备
CN113240746B (zh) * 2021-04-19 2023-07-04 福建新大陆自动识别技术有限公司 基于理想成像平面的散斑结构光标定方法和设备
CN113124763B (zh) * 2021-04-22 2022-05-24 奥比中光科技集团股份有限公司 光轴检测系统的光轴标定方法、装置、终端、系统和介质
WO2022222291A1 (zh) * 2021-04-22 2022-10-27 奥比中光科技集团股份有限公司 光轴检测系统的光轴标定方法、装置、终端、系统和介质
CN113124763A (zh) * 2021-04-22 2021-07-16 奥比中光科技集团股份有限公司 光轴检测系统的光轴标定方法、装置、终端、系统和介质
CN113504110A (zh) * 2021-07-14 2021-10-15 北京理工大学 一种基于标准散斑贴纸的复合材料力学性能参数测量方法
CN113793387A (zh) * 2021-08-06 2021-12-14 中国科学院深圳先进技术研究院 单目散斑结构光系统的标定方法、装置及终端
CN113822920A (zh) * 2021-09-29 2021-12-21 北京的卢深视科技有限公司 结构光相机获取深度信息的方法、电子设备及存储介质
WO2023201578A1 (zh) * 2022-04-20 2023-10-26 深圳大学 单目激光散斑投影系统的外参数标定方法和装置
CN115115684A (zh) * 2022-05-27 2022-09-27 合肥的卢深视科技有限公司 标定方法、系统、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN111487043B (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
CN111487043B (zh) 单目散斑结构光系统的散斑投射器标定参数确定方法
CN109405765B (zh) 一种基于散斑结构光的高精度深度计算方法及系统
CN111210468B (zh) 一种图像深度信息获取方法及装置
US11455746B2 (en) System and methods for extrinsic calibration of cameras and diffractive optical elements
CN105451012B (zh) 三维成像系统和三维成像方法
CN109377551B (zh) 一种三维人脸重建方法、装置及其存储介质
US20150279016A1 (en) Image processing method and apparatus for calibrating depth of depth sensor
CN106815869B (zh) 鱼眼相机的光心确定方法及装置
AU2017225023A1 (en) System and method for determining a camera pose
CN111028205B (zh) 一种基于双目测距的眼睛瞳孔定位方法及装置
CN105894511B (zh) 标定靶设置方法、装置及停车辅助系统
JP2003130621A (ja) ３次元形状計測方法およびその装置
CN108805936A (zh) 摄像机外参标定方法、装置和电子设备
CN113034612B (zh) 一种标定装置、方法及深度相机
US10552984B2 (en) Capture device calibration methods and systems
CN110006634B (zh) 视场角测量方法、视场角测量装置、显示方法和显示设备
Olesen et al. Real-time extraction of surface patches with associated uncertainties by means of kinect cameras
CN113324528B (zh) 已知摄站位置的近景摄影测量目标定位方法及系统
WO2023201578A1 (zh) 单目激光散斑投影系统的外参数标定方法和装置
CN112102380A (zh) 一种红外图像与可见光图像的配准方法及相关装置
CN113763478B (zh) 无人车相机标定方法、装置、设备、存储介质及系统
Hsung et al. Automatic detection and reproduction of natural head position in stereo-photogrammetry
CN114387347A (zh) 确定外参标定的方法、装置、电子设备及介质
CN113822920B (zh) 结构光相机获取深度信息的方法、电子设备及存储介质
CN109506629B (zh) 一种水下核燃料组件检测装置旋转中心标定的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230614

Address after: Room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui 230001

Patentee after: Hefei lushenshi Technology Co.,Ltd.

Address before: Room 3032, gate 6, block B, 768 Creative Industry Park, 5 Xueyuan Road, Haidian District, Beijing 100083

Patentee before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD.

Patentee before: Hefei lushenshi Technology Co.,Ltd.

TR01 Transfer of patent right