CN112530008A - 一种条纹结构光的参数确定方法、装置、设备及存储介质 - Google Patents

一种条纹结构光的参数确定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112530008A
CN112530008A CN202011564167.2A CN202011564167A CN112530008A CN 112530008 A CN112530008 A CN 112530008A CN 202011564167 A CN202011564167 A CN 202011564167A CN 112530008 A CN112530008 A CN 112530008A
Authority
CN
China
Prior art keywords
target
parameters
disparity map
structure light
stripe structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011564167.2A
Other languages
English (en)
Inventor
王衍田
程诚
汪浩源
陈家彬
刘欣
王旭光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute of Nano Tech and Nano Bionics of CAS
Original Assignee
Suzhou Institute of Nano Tech and Nano Bionics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute of Nano Tech and Nano Bionics of CAS filed Critical Suzhou Institute of Nano Tech and Nano Bionics of CAS
Priority to CN202011564167.2A priority Critical patent/CN112530008A/zh
Publication of CN112530008A publication Critical patent/CN112530008A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种条纹结构光的参数确定方法、装置、设备及存储介质。该方法包括：获取目标物体的标准视差图；在检测到随机条纹结构光投射至目标物体时，获取目标物体的第一视差图；根据所述第一视差图和标准视差图生成的目标函数调整所述随机条纹结构光的参数，直至所述目标函数收敛，得到目标条纹结构光对应的参数。通过本发明的技术方案，能够根据使用场景确定条纹结构光的参数，生成具有场景自适应特点的结构光和相应的匹配算法。

Description

一种条纹结构光的参数确定方法、装置、设备及存储介质
技术领域
本发明实施例涉及三维重建技术领域，尤其涉及一种条纹结构光的参数确定方法、装置、设备及存储介质。
背景技术
随着计算机技术的发展和相关硬件设备性能的提升，三维重建技术在成像精度、成像速度等方面得到了显著提升，广泛地应用于人类生产生活的多个领域。
三维重建技术根据其获取物体三维信息的手段可以分为接触式和非接触式，而在非接触式的诸多技术中，主动式结构光技术在分辨率、速度上显示出较大优势，而且易于实现，受到了工业界、学术界的广泛关注和深入研究。主动式结构光技术的系统一般由左、右两台相机和一台投影仪组成，通常的流程是：首先设计出特定形式的结构光，再由投影仪向被测物体投射出去，并且由左、右相机拍摄物体得到图像，然后采用特定的匹配算法找出左、右图像上的同名点，最终获得被测物体的深度信息。
现有技术专注于提升成像精度和成像速度，从编码-解码的角度来设计结构光和相应的匹配算法，注重理论却不考虑实际的使用场景，并且，一旦结构光及其匹配算法被设计出来后，无法根据当前的使用场景进行自我调整。
发明内容
本发明实施例提供一种条纹结构光的参数确定方法、装置、设备及存储介质，以实现能够根据使用场景确定目标条纹结构光的参数，生成具有场景自适应特点的结构光和相应的匹配算法。
第一方面，本发明实施例提供了一种条纹结构光的参数确定方法，包括：
获取目标物体的标准视差图；
在检测到随机条纹结构光投射至目标物体时，获取目标物体的第一视差图；
根据所述第一视差图和标准视差图生成的目标函数调整所述随机条纹结构光的参数，直至所述目标函数收敛，得到目标条纹结构光对应的参数。
进一步的，还包括：
向投影仪发送第一开启指令，其中，所述第一开启指令携带目标条纹结构光的参数，以使所述投影仪根据目标条纹结构光的参数将目标条纹结构光投射到被测物体上得到目标视差图；
根据所述目标视差图确定所述被测物体的三维点云。
进一步的，根据所述第一视差图和标准视差图生成的目标函数调整所述随机条纹结构光的参数，包括：
根据所述第一视差图和标准视差图生成目标函数；
基于梯度下降算法和所述目标函数调整所述随机条纹结构光的参数。
进一步的，所述目标函数为：
Figure BDA0002861159950000021
Figure BDA0002861159950000022
err(d,g)[j]＝|d[j]-g[j]|；
其中，‖·‖1为L1范数，Θ为样本集合，t为样本，T为样本数，softmax为归一化指数函数，τ为温度系数，index为索引向量，0为零向量；d为第一视差图，g为目标视差图，j为视差图像素点纵坐标。进一步的，所述在检测到随机条纹结构光投射至目标物体时，获取目标物体的第一视差图，包括：
获取匹配算法的窗口参数；
向投影仪发送第二开启指令，所述第二开启指令携带所述随机条纹结构光的参数，以使所述投影仪基于所述随机条纹结构光的参数将随机条纹结构光投射到所述目标物体上；
获取左侧相机拍摄的所述目标物体的第一图像和所述右侧相机拍摄的所述目标物体的第二图像；
根据所述第一图像、第二图像和匹配算法的窗口参数确定第一视差图。
进一步的，向投影仪发送第二开启指令，所述第二开启指令携带所述随机条纹结构光的参数，以使所述投影仪基于所述随机条纹结构光的参数将随机条纹结构光投射到所述目标物体上，包括：
向投影仪发送第二开启指令，所述第二开启指令携带所述随机条纹结构光的参数，以使所述投影仪基于所述随机条纹结构光的参数将至少两幅随机条纹结构光依次投射到所述目标物体上。
第二方面，本发明实施例还提供了一种条纹结构光的参数确定装置，该装置包括：
第一获取模块，用于获取目标物体的标准视差图；
第二获取模块，用于在检测到随机条纹结构光投射至目标物体时，获取目标物体的第一视差图；
参数调整模块，用于根据所述第一视差图和标准视差图生成的目标函数调整所述随机条纹结构光的参数，直至所述目标函数收敛，得到目标条纹结构光对应的参数。
进一步的，还包括：
指令发送模块，用于向投影仪发送第一开启指令，其中，所述第一开启指令携带目标条纹结构光的参数，以使所述投影仪根据目标条纹结构光的参数将目标条纹结构光投射到被测物体上得到目标视差图；
确定模块，用于根据所述目标视差图确定所述被测物体的三维点云。
进一步的，所述参数调整模块，包括：
目标函数生成单元，用于根据所述第一视差图和标准视差图生成目标函数；
调整单元，用于基于梯度下降算法和所述目标函数调整所述随机条纹结构光的参数。
进一步的，所述目标函数为：
Figure BDA0002861159950000041
Figure BDA0002861159950000042
err(d,g)[j]＝|d[j]-g[j]|；
其中，‖·‖1为L1范数，Θ为样本集合，t为样本，T为样本数，softmax为归一化指数函数，τ为温度系数，index为索引向量，0为零向量；d为第一视差图，g为目标视差图，j为视差图像素点纵坐标。进一步的，所述第二获取模块，包括：
第一获取单元，用于获取匹配算法的窗口参数；
发送单元，用于向投影仪发送第二开启指令，所述第二开启指令携带所述随机条纹结构光的参数，以使所述投影仪基于所述随机条纹结构光的参数将随机条纹结构光投射到所述目标物体上；
第二获取单元，用于获取左侧相机拍摄的所述目标物体的第一图像和所述右侧相机拍摄的所述目标物体的第二图像；
确定单元，用于根据所述第一图像、第二图像和匹配算法的窗口参数确定第一视差图。
进一步的，所述发送单元，具体用于：
向投影仪发送第二开启指令，所述第二开启指令携带所述随机条纹结构光的参数，以使所述投影仪基于所述随机条纹结构光的参数将至少两幅随机条纹结构光依次投射到所述目标物体上。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的条纹结构光的参数确定方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的条纹结构光的参数确定方法。
本发明实施例通过获取目标物体的标准视差图和第一视差图，根据所述第一视差图和标准视差图生成的目标函数调整所述随机条纹结构光的参数，直至所述目标函数收敛，得到目标条纹结构光对应的参数，解决现有结构光及其匹配算法一旦被设计出来后，无法根据当前的使用场景进行自我调整的问题，实现根据使用场景确定条纹结构光的参数，生成具有场景自适应特点的结构光和相应的匹配算法。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例一中的一种条纹结构光的参数确定方法的流程图；
图1a是本发明实施例一中的条纹结构光的应用场景的示意图；
图1b是本发明实施例一中的标准视差图的计算方法的示意图；
图2是本发明实施例二中的一种条纹结构光的参数确定方法的流程图；
图2a是本发明实施例二中的时间相关匹配算法的示意图；
图2b是本发明实施例二中的另一种条纹结构光的参数确定方法的流程图；
图3是本发明实施例三中的一种条纹结构光的参数确定装置的结构示意图；
图4是本发明实施例四中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例一
图1为本发明实施例一提供的一种条纹结构光的参数确定方法的流程图，本实施例可适用于确定条纹结构光的参数的情况，该方法可以由本发明实施例中的条纹结构光的参数确定装置来执行，该装置可采用软件和/或硬件的方式实现，如图1所示，该方法具体包括如下步骤：
S110，获取目标物体的标准视差图。
其中，目标物体是指能够代表某种特定的3D模型家族特征的标准件，用于后续重建的使用。属于相同3D模型家族的物体一般都具有类似的形状和大小，例如，待重建物体类型是人脸，则获取3D模型家族的人脸模型作为目标物体。
具体的，获取目标物体在当前场景下的标准视差图。其中，当前场景是指由待重建物体类型、硬件系统以及使用环境等构成的场景。
所述待重建物体即目标物体，待重建物体类型是指3D模型家族中的模型类型。考虑到同一3D模型家族的物体之间所必然存在的差异性，还应该估算深度范围参数，即深度区间[Dmin,Dmax]。例如，当前的待重建物体类型是人脸，并且成像的距离是0.8m，那么深度区间可估算为[0.7m,0.9m]。
如图1a所示，所述硬件系统是由投影仪和左、右相机构成的双目系统，各硬件本身的内参以及相对位置构成了硬件系统的参数。所述硬件系统的参数包括：投影仪的分辨率，相机的分辨率，左相机内参Pl，右相机内参Pr，以及相机外参(即左右相机的相对位置参数，包括：旋转矩阵R、平移向量t)。所述投影仪的分辨率，相机的分辨率，左相机内参Pl，右相机内参Pr可以通过查看硬件设备说明获取，所述相机外参通常通过张正友标定算法求取。张正友标定算法是由张正友教授1998年提出的单平面棋盘格的摄像机标定方法，直接使用Matlab或OpenCV提供的工具即可方便、快速地完成标定，从而得到相机外参，本发明实施例对此不作赘述。
所述使用环境指的是三维重建时环境光的强弱，由于重建方法的不同，环境光对重建结果的精度有着不同程度的影响。通常室内的环境光较弱也可控，比如可在暗室内重建，而室外的环境光主要来自太阳光，一般比较强也难以控制。具体的，获取目标物体的标准视差图的方式可以为使用当前应用场景下的双目系统成像，并采用高精度的三维重建算法获取目标物体的标准视差图。所述高精度的三维重建算法可以为三频四步法、相移-格雷码法、相移-散斑法或者基于条纹结构光的时间相关匹配算法，本发明实施例对此不设限制。
示例性的，如图1b所示，在当前场景下，基于条纹结构光的时间相关匹配算法获取目标物体的标准视差图的步骤如下：
第一步，使用Parsa Mirdehghan等提出的方法生成标准条纹结构光，容错率设为ε＝0，时间序列长度设为K，例如，K＝40；
第二步，投影仪依次投射所述标准条纹结构光到目标物体上，左相机拍摄且经过极线校正后得到的左图序列依次表示为L1,L2，…,L40，右相机拍摄且经过极线校正后得到的右图序列依次表示为R1,R2，…,R40；
第三步，使用基于条纹结构光的时间相关匹配算法计算标准条纹结构光投射下目标物体的对应关系图gn(n∈N)，所述n为执行次数，N为预设总次数。对于左图中的像素点(i,j)，其时间序列向量用pj表示，右图对应极线上各个像素点的时间序列向量用qk(k＝1,…,M)表示，k为左图中的像素点列数j在右图对应极线上的列数，M为左图和右图的总列数，则像素点(i,j)在右图极线上的坐标为：
Figure BDA0002861159950000091
其中，gn[i,j]表示右图极线上的坐标，零均值归一化互相关系数(ZNCC，Zero-Mean Normalized Cross Correlation)的计算公式为：
Figure BDA0002861159950000092
其中，mean表示向量均值，||·||表示向量长度。
计算左图中的每一个像素点(i,j)在右图极线上的坐标，进而得到标准条纹结构光到目标物体上时，目标物体的对应关系图gn。
第四步，对第二步和第三步操作重复执行第一预设次数N，可以得到N幅对应关系图g1,g2，…,gN，所述第一预设次数N可以根据实际需求设定。
第五步，遵循“少数服从多数”的规则，对所述N幅对应关系图进行融合，即对于每一个像素点(i,j)，取g1[i,j],g2[i,j]，…,gN[i,j]中的众数作为所述像素点(i,j)在右图极线上的坐标g[i,j]，进而得到在标准条纹结构光投射下目标物体的对应关系图g，所述对应关系图g用以表示目标物体的标准视差图。
S120，在检测到随机条纹结构光投射至目标物体时，获取目标物体的第一视差图。
其中，随机条纹结构光由K幅随机条纹构成。
具体的，随机条纹结构光由每幅随机条纹对应的参数c1,c2，…,cK决定，目标物体的第一视差图根据随机条纹结构光对应的参数c1,c2，…,cK决定，或者目标物体的第一视差图还可以根据随机条纹结构光对应的参数c1,c2，…,cK和匹配算法的窗口宽度w决定。
需要说明的是，随机条纹结构光的参数为预先设定的，但是随机条纹结构光的参数并没有将场景参数考虑在内。为了生成场景自适应的条纹结构光，需要对随机条纹结构光的参数进行优化，使得在当前场景下获得的目标物体的第一视差图尽可能接近目标物体的标准视差图。因而，需要计算当前场景下，在随机条纹结构光投射下目标物体的第一视差图。
具体的，左侧相机和右侧相机在检测到随机条纹结构光投射至目标物体时分别拍摄一幅所述目标物体的图像，根据所述左侧相机拍摄的目标物体的图像和所述右侧相机拍摄的目标物体的图像，计算目标物体的第一视差图。
其中，检测随机条纹结构光投射至目标物体方式可以为接收到投影仪的触发信号，或者可以为检测到目标物体上投射有随机条纹结构光。
具体的，同样采用基于条纹结构光的时间相关匹配算法，计算在当前场景下所述随机条纹结构光投射到目标物体上时目标物体的对应关系d，用以表示目标物体的第一视差图。
S130，根据所述第一视差图和标准视差图生成的目标函数调整所述随机条纹结构光的参数，直至所述目标函数收敛，得到目标条纹结构光对应的参数。
具体的，根据所述第一视差图d和标准视差图g生成目标函数，所述目标函数给出了第一视差图和标准视差图的误差与待优化参数之间的数学关系式。对待优化参数进行优化并更新，若目标函数收敛，则输出目标条纹结构光对应的参数。需要说明的是，本实施例给出了双目系统下条纹结构光的参数确定方法，实际上若将硬件系统换为单目系统，本实施例中给出的目标函数以及方法流程仍然适用，只需将左相机拍摄的图像换为投影仪投射出去的条纹即可。
本实施例的技术方案，通过获取目标物体的标准视差图和第一视差图，根据所述第一视差图和标准视差图生成的目标函数调整所述随机条纹结构光的参数，直至所述目标函数收敛，得到目标条纹结构光对应的参数，能够根据使用场景确定条纹结构光的参数，生成具有场景自适应特点的结构光和相应的匹配算法。
实施例二
图2为本发明实施例二中的一种条纹结构光的参数确定方法的流程图，本实施例以上述实施例为基础进行优化，在本实施例中，还包括：向投影仪发送第一开启指令，其中，所述第一开启指令携带目标条纹结构光的参数，以使所述投影仪根据目标条纹结构光的参数将目标条纹结构光投射到所述目标物体上得到目标视差图；根据所述目标视差图确定所述目标物体的三维点云。
如图2所示，本实施例的方法具体包括如下步骤：
S210，获取目标物体的标准视差图。
S220，在检测到随机条纹结构光投射至目标物体时，获取目标物体的第一视差图。
可选的，所述在检测到随机条纹结构光投射至目标物体时，获取目标物体的第一视差图，包括：
获取匹配算法的窗口参数；
向投影仪发送第二开启指令，所述第二开启指令携带所述随机条纹结构光的参数，以使所述投影仪基于所述随机条纹结构光的参数将随机条纹结构光投射到所述目标物体上；
获取左侧相机拍摄的所述目标物体的第一图像和所述右侧相机拍摄的所述目标物体的第二图像；
根据所述第一图像、第二图像和匹配算法的窗口参数确定预测视差图。
具体的，获取匹配算法的窗口参数，所述窗口参数为匹配算法的窗口宽度。
投影仪根据K幅随机条纹参数c1,c2，…,cK生成相应的随机条纹，按预设时间间隔将K幅随机条纹依次投射至目标物体上，在检测到随机条纹结构光投射至目标物体时，左侧相机拍摄所述目标物体得到第一图像，和右侧相机拍摄所述目标物体得到第二图像。每更换一次条纹，左相机拍摄一张第一图像，同时右相机会拍摄一张第二图像，K幅随机条纹依次投射至目标物体上，共得到K幅第一图像和K幅第二图像。对所述K幅第一图像和第二图像进行极线校正处理，将校正后的K幅第一图像分别记为L1,…,LK，校正后的K幅第二图像分别记为R1,…,RK。
如图2a所示，基于时间相关匹配算法，根据所述第一图像、所述第二图像和匹配算法的窗口参数得到目标物体的第一视差图的计算公式如下：
Figure BDA0002861159950000121
其中，match函数为时间相关匹配算法，w为匹配算法的窗口参数。所述时间相关匹配算法考虑了匹配算法的窗口宽度，即横向邻域的像素点。
Figure BDA0002861159950000122
表示所述K幅第一图像的任意一行，
Figure BDA0002861159950000123
表示所述K幅第二图像的任意一行。
match函数的计算方法如下：
Figure BDA0002861159950000131
Figure BDA0002861159950000132
其中，
Figure BDA0002861159950000133
为对于左图中的像素点(i,j)在窗口宽度为w的时间序列向量，
Figure BDA0002861159950000134
为右图对应极线上各个像素点(i,j)在窗口宽度为w的时间序列向量，zj[k]为第k列像素点的零均值归一化互相关系数。
可选的，向投影仪发送开启指令，所述开启指令携带所述随机条纹结构光的参数，以使所述投影仪基于所述随机条纹结构光的参数将随机条纹结构光投射到所述目标物体上，包括：
向投影仪发送第二开启指令，所述第二开启指令携带所述随机条纹结构光的参数，以使所述投影仪基于所述随机条纹结构光的参数将至少两幅随机条纹结构光依次投射到所述目标物体上。
S230，根据所述第一视差图和标准视差图生成的目标函数调整所述随机条纹结构光的参数，直至所述目标函数收敛，得到目标条纹结构光对应的参数。
可选的，根据所述第一视差图和标准视差图生成的目标函数调整所述随机条纹结构光的参数，包括：
根据所述第一视差图和标准视差图生成目标函数；
基于梯度下降算法和所述目标函数调整所述随机条纹结构光的参数。
其中，所述目标函数为：
Figure BDA0002861159950000135
Figure BDA0002861159950000136
err(d,g)[j]＝|d[j]-g[j]|；
其中，‖·‖1为L1范数，Θ为样本集合，t为样本，T为样本数，softmax为归一化指数函数，τ为温度系数，index为索引向量，0为零向量；d为第一视差图，g为目标视差图，j为视差图像素点纵坐标。
可选的，还包括：
将所述第一差视图和目标视差图的每一行作为一个独立样本；
从所述独立样本中随机抽取预设数量的样本构成样本集合；
获取所述样本集合中每个样本的行索引。
具体的，第一差视图和目标视差图的每一行可看作一个独立的样本，随机选出图像总行数的预设数量构成样本集合，记该样本集合所包含的行索引为Θ，其中所述预设数量可以根据实际需求设定，例如预设数量可以是独立样本的15％。
目标函数的约束条件为0≤c1,…,cK≤1，1≤w≤11，且w为奇数。
具体的，基于随机梯度下降算法SGD求解目标函数确定所述随机条纹结构光的参数。计算err(d,g)相对于条纹结构光的参数c1,c2，…,cK的梯度和err(d,g)相对于匹配算法的窗口参数w的梯度，即：
Figure BDA0002861159950000141
Figure BDA0002861159950000142
其中，JL(ck,S)表示在场景S下并且投影仪投射条纹ck(1≤k≤K)时左相机的第一图像雅可比矩阵，JR(ck,S)示在场景S下并且投影仪投射条纹ck(1≤k≤K)时右相机的第二图像雅可比矩阵。
以第一图像雅可比矩阵为例，所述第一图像雅可比矩阵为一个M×N的矩阵，表示为：
Figure BDA0002861159950000151
其中，M为所述第一图像和所述第二图像的总列数，N为所述第一图像和所述第二图像的总行数。[m,n]元素表示的含义是：ck的第n个元素变化一个单位，
Figure BDA0002861159950000152
的第m个元素的变化量。前后投射在第n个元素相差单位灰度的条纹ck，左相机前后拍摄得到的图像
Figure BDA0002861159950000153
在第m个元素处的灰度差值，即为矩阵中[m,n]元素的值。
基于随机梯度下降算法SGD求解目标函数计算得到参数调整值为Δc1,Δc2，…,ΔcK和Δw，若所述参数调整值使得目标函数收敛，则确定目标条纹结构光对应的参数为c1+Δc1,c2+Δc2，…,cK+ΔcK，匹配算法的窗口参数为w+Δw。
需要说明的是，为了使目标条纹结构光具有较强的泛化能力，尽可能地适用于3D模型家族里的物体，参数优化过程中需要对大量的真实场景成像，但实际上是比较难以实现的。因此，在基于梯度下降算法的迭代过程中，若迭代次数等于第二预设次数，则对所述第一图像的每列循环移动预设像素的位置产生扰动。更改原有的对应关系，其实也就表明更换了场景。其中，所述第二预设次数可以为多个，设定第二预设次数的方式可以为设定第二预设次数为7的整数倍，或者设定第二预设次数具有固定间隔，例如，第二预设次数为第1次、第6次、第11次……，或者设定第二预设次数为无规律的次数。例如，第二预设次数为第1次、第7次、第20次、第25次。优选的，设定第二预设次数为15的整数倍。
如图2b所示，在初始化模块中，图像雅可比矩阵JL(c1,S),…,JL(cK,S)和JR(c1,),…,JR(cK,S)、待优化参数c1,…,cK,w进行初始化。通过投影仪向目标物体投射随机条纹结构光，通过相机拍摄目标物体图像，并根据所述图像计算得到目标物体的视差图。通过样本模块选取目标样本并获取目标样本的行索引，在匹配模块中，基于考虑w邻域的时间相关匹配算法，确定目标样本的行索引对应的第一视差图和目标视差图，通过梯度模块计算err(d,g)相对于条纹结构光的参数的梯度和err(d,g)相对于匹配算法的窗口参数的梯度，基于梯度下降算法确定在目标函数收敛时，随机条纹结构光的参数和匹配算法的窗口参数。。在梯度下降算法的迭代过程中，通过深度扰动模块增强目标条纹结构光的泛化能力。
S240，向投影仪发送第一开启指令，其中，所述第一开启指令携带目标条纹结构光的参数，以使所述投影仪根据目标条纹结构光的参数将目标条纹结构光投射到被测物体上得到目标视差图。
其中，第一开启指令用于向投影仪发送投射目标条纹结构光的指令，所述第一开启指令中携带目标条纹结构光的参数，或者携带目标条纹结构光的参数和匹配算法的窗口参数。
具体的，将第一开启指令发送至投影仪，使投影仪根据开启指令中携带的参数，将目标条纹结构光投射到所述目标物体上。左侧相机拍摄得到目标物体的左侧图像，右侧相机拍摄得到目标物体的右侧图像，根据所述左侧图像和右侧图像基于时间相关匹配算法得到左侧图像和右侧图像的对应关系图，即目标物体的目标视差图d0。
S250，根据所述目标视差图确定所述被测物体的三维点云。
具体的，获取目标物体的目标视差图d0之后，将目标视差图与对应列索引值相减得到左相机图像坐标系下的左视差图dL，设定左视差图dL中的每一个元素[x,y]，设定dL[x,y]＝Δ，则左视差图中二维点元素[x,y]和对应的三维点坐标的关系式为：
Figure BDA0002861159950000171
其中，Q为重投影矩阵，可由视觉库OpenCV的库函数stereoRectify得到，(X,Y,Z,W)为对应三维点的齐次坐标，W为非零常数。根据所述关系式确定左视差图中二维点元素[x,y]确定对应的三维点坐标为
Figure BDA0002861159950000172
左视差图中所有二维点坐标对应的三维点坐标构成目标物体的三维点云。
本实施例的技术方案，通过获取目标物体的标准视差图和第一视差图，根据所述第一视差图和标准视差图生成的目标函数调整所述随机条纹结构光的参数，直至所述目标函数收敛，得到目标条纹结构光对应的参数，根据所述目标条纹结构光确定被测物体的三维点云，能够根据使用场景确定目标条纹结构光的参数，生成具有场景自适应特点的结构光和相应的匹配算法，并根据目标所述条纹结构光投射到被测物体上得到被测物体的三维点云，实现基于场景自适应条纹结构光的三维重建。
实施例三
图3为本发明实施例三提供的一种条纹结构光的参数确定装置的结构示意图。本实施例可适用于确定条纹结构光的参数的情况，该装置可采用软件和/或硬件的方式实现，该装置可集成在任何提供条纹结构光的参数确定的功能的设备中，如图3所示，所述条纹结构光的参数确定的装置具体包括：第一获取模块310、第二获取模块320和参数调整模块330。
第一获取模块310，用于获取目标物体的标准视差图；
第二获取模块320，用于在检测到随机条纹结构光投射至目标物体时，获取目标物体的第一视差图；
参数调整模块330，用于根据所述第一视差图和标准视差图生成的目标函数调整所述随机条纹结构光的参数，直至所述目标函数收敛，得到目标条纹结构光对应的参数。
可选的，还包括：
指令发送模块，用于向投影仪发送第一开启指令，其中，所述第一开启指令携带目标条纹结构光的参数，以使所述投影仪根据目标条纹结构光的参数将目标条纹结构光投射到被测物体上得到目标视差图；
确定模块，用于根据所述目标视差图确定所述被测物体的三维点云。
可选的，所述参数调整模块，包括：
目标函数生成单元，用于根据所述第一视差图和标准视差图生成目标函数；
调整单元，用于基于梯度下降算法和所述目标函数调整所述随机条纹结构光的参数。
可选的，所述目标函数为：
Figure BDA0002861159950000191
Figure BDA0002861159950000192
err(d,g)[j]＝|d[j]-g[j]|；
其中，‖·‖1为L1范数，Θ为样本集合，t为样本，T为样本数，softmax为归一化指数函数，τ为温度系数，index为索引向量，0为零向量；d为第一视差图，g为目标视差图，j为视差图像素点纵坐标。可选的，所述第二获取模块，包括：
第一获取单元，用于获取匹配算法的窗口参数；
发送单元，用于向投影仪发送第二开启指令，所述第二开启指令携带所述随机条纹结构光的参数，以使所述投影仪基于所述随机条纹结构光的参数将随机条纹结构光投射到所述目标物体上；
第二获取单元，用于获取左侧相机拍摄的所述目标物体的第一图像和右侧相机拍摄的所述目标物体的第二图像；
确定单元，用于根据所述第一图像、第二图像和匹配算法的窗口参数确定第一视差图。
可选的，所述发送单元，具体用于：
向投影仪发送第二开启指令，所述第二开启指令携带所述随机条纹结构光的参数，以使所述投影仪基于所述随机条纹结构光的参数将至少两幅随机条纹结构光依次投射到所述目标物体上。
上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
本实施例的技术方案，获取目标物体的标准视差图和第一视差图，根据所述第一视差图和标准视差图生成的目标函数调整所述随机条纹结构光的参数，直至所述目标函数收敛，得到目标条纹结构光对应的参数，根据所述目标条纹结构光确定被测物体的三维点云，能够根据使用场景确定目标条纹结构光的参数，生成具有场景自适应特点的结构光和相应的匹配算法，并根据目标所述条纹结构光投射到被测物体上得到被测物体的三维点云，实现基于场景自适应条纹结构光的三维重建。
实施例四
图4为本发明实施例四中的一种计算机设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图4显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。另外，本实施例中的计算机设备12，显示器24不是作为独立个体存在，而是嵌入镜面中，在显示器24的显示面不予显示时，显示器24的显示面与镜面从视觉上融为一体。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的条纹结构光的参数确定方法：获取目标物体的标准视差图；在检测到随机条纹结构光投射至目标物体时，获取目标物体的第一视差图；根据所述第一视差图和标准视差图生成的目标函数调整所述随机条纹结构光的参数，直至所述目标函数收敛，得到目标条纹结构光对应的参数。
实施例五
本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的条纹结构光的参数确定方法：获取目标物体的标准视差图；在检测到随机条纹结构光投射至目标物体时，获取目标物体的第一视差图；根据所述第一视差图和标准视差图生成的目标函数调整所述随机条纹结构光的参数，直至所述目标函数收敛，得到目标条纹结构光对应的参数。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种条纹结构光的参数确定方法，其特征在于，包括：
获取目标物体的标准视差图；
在检测到随机条纹结构光投射至目标物体时，获取目标物体的第一视差图；
根据所述第一视差图和标准视差图生成的目标函数调整所述随机条纹结构光的参数，直至所述目标函数收敛，得到目标条纹结构光对应的参数。
2.根据权利要求1所述的方法，其特征在于，还包括：
向投影仪发送第一开启指令，其中，所述第一开启指令携带目标条纹结构光的参数，以使所述投影仪根据目标条纹结构光的参数将目标条纹结构光投射到被测物体上得到目标视差图；
根据所述目标视差图确定所述被测物体的三维点云。
3.根据权利要求1所述的方法，其特征在于，根据所述第一视差图和标准视差图生成的目标函数调整所述随机条纹结构光的参数，包括：
根据所述第一视差图和标准视差图生成目标函数；
基于梯度下降算法和所述目标函数调整所述随机条纹结构光的参数。
4.根据权利要求1所述的方法，其特征在于，所述目标函数为：
Figure FDA0002861159940000011
Figure FDA0002861159940000012
err(d,g)[j]＝|d[j]-g[j]|；
其中，‖·‖1为L1范数，Θ为样本集合所包含的行索引，t为样本，T为样本数，softmax为归一化指数函数，τ为温度系数，index为索引向量，0为零向量；d为第一视差图，g为目标视差图，j为视差图像素点纵坐标。
5.根据权利要求1所述的方法，其特征在于，所述在检测到随机条纹结构光投射至目标物体时，获取目标物体的第一视差图，包括：
获取匹配算法的窗口参数；
向投影仪发送第二开启指令，所述第二开启指令携带所述随机条纹结构光的参数，以使所述投影仪基于所述随机条纹结构光的参数将随机条纹结构光投射到所述目标物体上；
获取左侧相机拍摄的所述目标物体的第一图像和右侧相机拍摄的所述目标物体的第二图像；
根据所述第一图像、第二图像和匹配算法的窗口参数确定第一视差图。
6.一种条纹结构光的参数确定装置，其特征在于，包括：
第一获取模块，用于获取目标物体的标准视差图；
第二获取模块，用于在检测到随机条纹结构光投射至目标物体时，获取目标物体的第一视差图；
参数调整模块，用于根据所述第一视差图和标准视差图生成的目标函数调整所述随机条纹结构光的参数，直至所述目标函数收敛，得到目标条纹结构光对应的参数。
7.根据权利要求6所述的装置，其特征在于，还包括：
指令发送模块，用于向投影仪发送第一开启指令，其中，所述第一开启指令携带目标条纹结构光的参数，以使所述投影仪根据目标条纹结构光的参数将目标条纹结构光投射到被测物体上得到目标视差图；
确定模块，用于根据所述目标视差图确定所述被测物体的三维点云。
8.根据权利要求6所述的装置，其特征在于，所述参数调整模块，包括：
目标函数生成单元，用于根据所述第一视差图和标准视差图生成目标函数；
调整单元，用于基于梯度下降算法和所述目标函数调整所述随机条纹结构光的参数。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一所述的条纹结构光的参数确定方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的条纹结构光的参数确定方法。
CN202011564167.2A 2020-12-25 2020-12-25 一种条纹结构光的参数确定方法、装置、设备及存储介质 Pending CN112530008A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011564167.2A CN112530008A (zh) 2020-12-25 2020-12-25 一种条纹结构光的参数确定方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011564167.2A CN112530008A (zh) 2020-12-25 2020-12-25 一种条纹结构光的参数确定方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112530008A true CN112530008A (zh) 2021-03-19

Family

ID=74976488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011564167.2A Pending CN112530008A (zh) 2020-12-25 2020-12-25 一种条纹结构光的参数确定方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112530008A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015166403A1 (en) * 2014-04-27 2015-11-05 Coloright Ltd. Apparatus and method for customized hair-coloring
EP3154261A1 (en) * 2015-10-08 2017-04-12 Christie Digital Systems USA, Inc. System and method for online projector-camera calibration from one or more images
WO2018103152A1 (zh) * 2016-12-05 2018-06-14 杭州先临三维科技股份有限公司 一种三维数字成像传感器、三维扫描系统及其扫描方法
CN108629809A (zh) * 2018-04-26 2018-10-09 浙江大学 一种精确高效的立体匹配方法
CN109443239A (zh) * 2018-12-03 2019-03-08 广州欧科信息技术股份有限公司 结构光测量方法、装置、设备、存储介质及系统
WO2019177761A1 (en) * 2018-03-14 2019-09-19 Google Llc Hierarchical disparity hypothesis generation with slanted support windows
CN110500957A (zh) * 2019-09-10 2019-11-26 中国科学院苏州纳米技术与纳米仿生研究所 一种主动三维成像方法、装置、设备以及存储介质
CN111145342A (zh) * 2019-12-27 2020-05-12 山东中科先进技术研究院有限公司 一种双目散斑结构光三维重建方法及系统
US20210118162A1 (en) * 2019-10-22 2021-04-22 Tsinghua University Depth information calculation method and device based on light-field-binocular system
CN112802171A (zh) * 2021-01-14 2021-05-14 中国科学院苏州纳米技术与纳米仿生研究所 一种三维人脸重建方法、装置、系统及存储介质
US20220023903A1 (en) * 2020-07-27 2022-01-27 Malco, Llc Pressure actuated valves and methods of use

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015166403A1 (en) * 2014-04-27 2015-11-05 Coloright Ltd. Apparatus and method for customized hair-coloring
EP3154261A1 (en) * 2015-10-08 2017-04-12 Christie Digital Systems USA, Inc. System and method for online projector-camera calibration from one or more images
WO2018103152A1 (zh) * 2016-12-05 2018-06-14 杭州先临三维科技股份有限公司 一种三维数字成像传感器、三维扫描系统及其扫描方法
WO2019177761A1 (en) * 2018-03-14 2019-09-19 Google Llc Hierarchical disparity hypothesis generation with slanted support windows
CN108629809A (zh) * 2018-04-26 2018-10-09 浙江大学 一种精确高效的立体匹配方法
CN109443239A (zh) * 2018-12-03 2019-03-08 广州欧科信息技术股份有限公司 结构光测量方法、装置、设备、存储介质及系统
CN110500957A (zh) * 2019-09-10 2019-11-26 中国科学院苏州纳米技术与纳米仿生研究所 一种主动三维成像方法、装置、设备以及存储介质
US20210118162A1 (en) * 2019-10-22 2021-04-22 Tsinghua University Depth information calculation method and device based on light-field-binocular system
CN111145342A (zh) * 2019-12-27 2020-05-12 山东中科先进技术研究院有限公司 一种双目散斑结构光三维重建方法及系统
US20220023903A1 (en) * 2020-07-27 2022-01-27 Malco, Llc Pressure actuated valves and methods of use
CN112802171A (zh) * 2021-01-14 2021-05-14 中国科学院苏州纳米技术与纳米仿生研究所 一种三维人脸重建方法、装置、系统及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KONINCKX T P: "Real-time range acquisition by adaptive structured light", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, 31 December 2006 (2006-12-31), pages 432 - 445 *
孙旭: "基于机器视觉的带式输送机异物实时检测与定位研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》, no. 02, 15 February 2023 (2023-02-15), pages 021 - 698 *
王衍田: "三维测量中条纹结构光立体匹配及生成算法的研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 08, 15 August 2021 (2021-08-15), pages 138 - 308 *
蒋斌;赵子龙;宋展;谷飞飞;: "低成本微型结构光动态三维重建系统研究", 集成技术, no. 03, 15 May 2020 (2020-05-15), pages 1 *

Similar Documents

Publication Publication Date Title
CN110335316B (zh) 基于深度信息的位姿确定方法、装置、介质与电子设备
US10984556B2 (en) Method and apparatus for calibrating relative parameters of collector, device and storage medium
US10706567B2 (en) Data processing method, apparatus, system and storage media
US20180308240A1 (en) Method for estimating the speed of movement of a camera
US10225473B2 (en) Threshold determination in a RANSAC algorithm
US20130121559A1 (en) Mobile device with three dimensional augmented reality
WO2019164498A1 (en) Methods, devices and computer program products for global bundle adjustment of 3d images
KR20210119417A (ko) 깊이 추정법
EP2779091B1 (en) Automatic stereoscopic camera calibration
US20190182433A1 (en) Method of estimating the speed of displacement of a camera
US10706564B2 (en) Systems, methods, and media for determining object motion in three dimensions from light field image data
US20150147047A1 (en) Simulating tracking shots from image sequences
Kang et al. Two-view underwater 3D reconstruction for cameras with unknown poses under flat refractive interfaces
CN112184603B (zh) 一种点云融合方法、装置、电子设备和计算机存储介质
da Silveira et al. Dense 3d scene reconstruction from multiple spherical images for 3-dof+ vr applications
US20190325600A1 (en) Determining a pose of a handheld object
CN108444452B (zh) 目标经纬度和拍摄装置的三维空间姿态的检测方法及装置
CN114494589A (zh) 三维重建方法、装置、电子设备和计算机可读存储介质
Jung et al. Object Detection and Tracking‐Based Camera Calibration for Normalized Human Height Estimation
CN112733641A (zh) 物体尺寸测量方法、装置、设备及存储介质
US20220405968A1 (en) Method, apparatus and system for image processing
JP2024508024A (ja) 画像データの処理方法及び装置
CN117726747A (zh) 补全弱纹理场景的三维重建方法、装置、存储介质和设备
KR101766823B1 (ko) 불규칙한 조도 변화에 강건한 영상 기반 주행거리 측정 시스템 및 방법
CN112530008A (zh) 一种条纹结构光的参数确定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination