CN115115788A - 三维重建方法、装置及电子设备、存储介质 - Google Patents

三维重建方法、装置及电子设备、存储介质 Download PDF

Info

Publication number
CN115115788A
CN115115788A CN202210970249.XA CN202210970249A CN115115788A CN 115115788 A CN115115788 A CN 115115788A CN 202210970249 A CN202210970249 A CN 202210970249A CN 115115788 A CN115115788 A CN 115115788A
Authority
CN
China
Prior art keywords
phase
value
error
error correction
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210970249.XA
Other languages
English (en)
Other versions
CN115115788B (zh
Inventor
黄雨昕
丁有爽
邵天兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mech Mind Robotics Technologies Co Ltd
Original Assignee
Mech Mind Robotics Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mech Mind Robotics Technologies Co Ltd filed Critical Mech Mind Robotics Technologies Co Ltd
Priority to CN202210970249.XA priority Critical patent/CN115115788B/zh
Publication of CN115115788A publication Critical patent/CN115115788A/zh
Application granted granted Critical
Publication of CN115115788B publication Critical patent/CN115115788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请提供一种三维重建方法、装置及电子设备、存储介质。三维重建方法应用于三维相机，三维相机包括光机设备和光学相机，三维重建方法包括：获取待重建物体的投影图像，投影图像是通过光机设备向待重建物体投射二值化相位图，并通过光学相机获取的图像；对投影图像进行解相位，得到投影图像的相位值；基于相位值和误差校正查询表对投影图像进行误差校正，得到误差校正后的投影图像；误差校正查询表包括相位值与误差校正所需的误差补偿值之间的对应关系；基于误差校正后的投影图像进行待重建物体的三维重建。本申请可以解决在使用二值化相位条纹投影物体来进行物体的三维重建时，如何修正相位周期性误差以提升三维重建的效果的问题。

Description

三维重建方法、装置及电子设备、存储介质
技术领域
本申请涉及三维重建技术，尤其涉及一种三维重建方法、装置及电子设备、存储介质。
背景技术
随着机器视觉、智能制造、安防和物流的迅猛发展，非接触式快速三维重建技术成为一大研究热点。目前主流的三维重建方案主要是双目RGB方案、结构光方案、TOF方案等。
在结构光方案中，可以使用二值化相位条纹投影物体来进行物体的三维重建，二值化相位条纹指的是包括灰度值1和灰度值255的相位条纹。在基于二值化相位条纹进行三维重建时需要计算投影图像的相位，而在计算投影图像的相位时经常会出现相位周期性误差，这种相位周期性误差会直接影响三维重建的效果。
因此，在使用二值化相位条纹投影物体来进行物体的三维重建时，如何修正相位周期性误差以提升三维重建的效果，仍然是需要考虑的。
发明内容
本申请提供一种三维重建方法、装置及电子设备、存储介质，用以解决在使用二值化相位条纹投影物体来进行物体的三维重建时，如何修正相位周期性误差以提升三维重建的效果的问题。
一方面，本申请提供一种三维重建方法，应用于三维相机，所述三维相机包括光机设备和光学相机，所述方法包括：
获取待重建物体的投影图像，所述投影图像是通过光机设备向待重建物体投射二值化相位图，并通过光学相机获取的图像；
对所述投影图像进行解相位，得到所述投影图像的相位值；
基于相位值和误差校正查询表对所述投影图像进行误差校正，得到误差校正后的投影图像；所述误差校正查询表包括相位值与误差校正所需的误差补偿值之间的对应关系；
基于所述误差校正后的投影图像进行所述待重建物体的三维重建。
其中一个实施例中，所述误差校正查询表包括M个相位区间，每个相位区间具有两个顶点相位，M为大于零的整数；
所述方法还包括：
确定所述相位值在所述误差校正查询表中所属的相位区间为第K个相位区间，其中，K为大于零且小于M的整数；
获取所述第K个相位区间对应的误差补偿值；
所述基于所述误差补偿值对所述投影图像进行误差校正包括：
根据所述第K个相位区间对应的误差补偿值对所述投影图像进行误差校正。
其中一个实施例中，所述确定所述相位值在所述误差校正查询表中所属的相位区间为第K个相位区间之前，所述方法还包括：
获取多个二值化相位图像，所述多个二值化相位图像是光机设备在标定板投影，并通过光学相机拍摄得到的图像；
获取每个二值化相位图像中每个标定板特征点的解码相位值与重投影相位的参考坐标值，并根据每个标定板特征点的解码相位值与重投影相位的参考坐标值确定每个标定板特征点的相位误差值；
根据每个标定板特征点的相位误差值和解码相位值确定每个解码相位值对应的相位误差值；
基于每个解码相位值和每个解码相位值对应的相位误差值生成所述误差校正查询表。
其中一个实施例中，所述获取每个二值化相位图像中每个标定板特征点的解码相位值与重投影相位的参考坐标值包括：
解码每个所述二值化相位图像，得到每个所述二值化相位图像中每个标定板特征点的解码相位值；
根据每个标定板特征点的三维坐标值，计算每个标定板特征点的重投影相位的参考坐标值。
其中一个实施例中，所述根据每个标定板特征点的三维坐标值，计算每个标定板特征点的重投影相位的参考坐标值之前，所述方法还包括：
标定光学相机得到光学相机内参和畸变系数；
通过所述光学相机内参、所述畸变系数和每个标定板特征点的像素坐标，计算得到每个标定板特征点的三维坐标值。
其中一个实施例中，所述根据每个标定板特征点的解码相位值与重投影相位的参考坐标值确定每个标定板特征点的相位误差值包括：
根据每个标定板特征点的解码相位值和每个标定板特征点的重投影相位的参考坐标值之间的差值，确定每个标定板特征点的相位误差值。
其中一个实施例中，所述获取所述第K个相位区间对应的误差补偿值包括：
当所述相位值在所述第K个相位区间的补偿相位区间内时，获取所述第K个相位区间对应的误差补偿值；
所述第K个相位区间的补偿相位区间为
Figure BDA0003796390740000031
其中一个实施例中，所述方法还包括：
标定光学相机与光机设备之间的投影角度之间的关系系数，以及得到光学相机与光机设备之间的旋转矩阵和平移矩阵。
另一方面，本申请提供一种三维重建装置，应用于三维相机，所述三维相机包括光机设备和光学相机，包括：
获取模块，用于获取待重建物体的投影图像，所述投影图像是通过光机设备向待重建物体投射二值化相位图，并通过光学相机获取的图像；
解码模块，用于对所述投影图像进行解相位，得到所述投影图像的相位值；
校正模块，用于基于相位值和误差校正查询表对所述投影图像进行误差校正，得到误差校正后的投影图像；所述误差校正查询表包括相位值与误差校正所需的误差补偿值之间的对应关系；
重建模块，用于基于所述误差校正后的投影图像进行所述待重建物体的三维重建。
另一方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面提供的三维重建方法。
另一方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当所述指令被执行时，使得计算机执行如第一方面所述的三维重建方法。
另一方面，本申请提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的三维重建方法。
本申请的实施例提供的三维重建方法包括：获取待重建物体的投影图像，所述投影图像是通过光机设备向待重建物体投射二值化相位图，并通过光学相机获取的图像；对所述投影图像进行解相位，得到所述投影图像的相位值；基于相位值和误差校正查询表对所述投影图像进行误差校正，得到误差校正后的投影图像；所述误差校正查询表包括相位值与误差校正所需的误差补偿值之间的对应关系；基于所述误差校正后的投影图像进行所述待重建物体的三维重建。
即，在进行待重建物体的三维重建时，向该待重建物体投影二值化相位图，再解相位该二值化相位图得到该投影图像的相位值。基于误差校正查询表确定该投影图像的相位值对应的误差补偿值，并基于该误差补偿值对该投影图像进行误差校正，得到误差校正后的投影图像。由于对投影图像中的像素相位进行了误差校正，所以在三维重建时避免了相位周期性误差，提升了使用二值化相位条纹投影物体来进行物体的三维重建的效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本申请提供的三维重建方法的一种应用场景示意图；
图2为本申请的一个实施例提供的三维重建方法的流程示意图；
图3为本申请的一个实施例提供的标定板图像的示意图；
图4为本申请的一个实施例提供的相位补偿函数的示意图；
图5为本申请的一个实施例提供的三维重建装置的示意图；
图6为本申请的一个实施例提供的电子设备的示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
随着机器视觉、智能制造、安防和物流的迅猛发展，非接触式快速三维重建技术成为一大研究热点。目前主流的三维重建方案主要是双目RGB方案、结构光方案、TOF方案等。在结构光方案中，可以使用二值化相位条纹投影物体来进行物体的三维重建，二值化相位条纹指的是包括灰度值1和灰度值255的相位条纹。在基于二值化相位条纹进行三维重建时需要计算投影图像的相位，而在计算投影图像的相位时经常会出现相位周期性误差，这种相位周期性误差会直接影响三维重建的效果。
基于此，本申请提供一种三维重建方法、装置及电子设备、存储介质。该三维重建方法在进行待重建物体的三维重建时，向该待重建物体投影二值化相位图，再对该投影图像进行解相位得到该投影图像的相位值。基于相位值和误差校正查询表对该投影图像进行误差校正，得到误差校正后的投影图像。其中，该误差校正查询表包括相位值与误差校正所需的误差补偿值之间的对应关系。
由于对投影图像中的像素相位进行了误差校正，所以在三维重建时避免了相位周期性误差，提升了使用二值化相位条纹投影物体来进行物体的三维重建的效果。
本申请提供的三维重建方法应用于电子设备，该电子设备例如计算机、实验室使用的服务器、三维相机等。其中，三维相机包括光机设备和光学相机，光机设备用于向待重建物体投射二值化相位图，光学相机用于获取待重建物体的投影图像(包括投射在待重建物体的二值化相位图)。
图1为本申请提供的三维重建方法的应用示意图，图中，该电子设备通过光学相机获取待重建物体的投影图像，对该投影图像进行解相位后得到该投影图像的相位值。再基于该相位值和误差校正查询表对该投影图像进行误差校正，得到误差校正后的投影图像的相位值，基于该误差校正后的投影图像的相位值(或者说误差校正后的投影图像)进行该待重建物体的三维重建。
请参见图2，本申请的一个实施例提供一种三维重建方法，应用于三维相机，该三维相机包括光机设备和光学相机，该方法包括：
S210，获取待重建物体的投影图像，该投影图像是通过光机设备向待重建物体投射二值化相位图，并通过光学相机获取的图像。
该光机设备例如光栅投影仪、激光振镜、MEMS结构光发生器等。在获取待重建物体的投影图像之前，需要先标定该光机设备和该光学相机，得到该三维相机的标定参数。该三维相机的标定参数包括光学相机的内参Kcam、光学相机的畸变系数Dcam、光学相机和光机设备之间的旋转矩阵
Figure BDA0003796390740000061
和平移矩阵
Figure BDA0003796390740000062
在标定结束后，再基于标定板特征点重投影回光机设备后得到的误差补偿值生成误差校正查询表，具体如何生成误差校正查询表在步骤S230中描述。
该二值化相位图指的是二值化相位条纹图，包括灰度值1和灰度值255的相位条纹，该待重建物体的投影图像是具有相位值的图像。
S220，对该投影图像进行解相位，得到该投影图像的相位值。
该二值化相位图是经过编码的相位图，在获取该投影图像后，根据该二值化相位图的编码方式对应的解码方式对该二值化相位图进行解码和解相位，进而得到整个该投影图像的相位值。
整个该投影图像的相位值包括该投影图像中每个像素点的像素坐标对应的相位值。
S230，基于相位值和误差校正查询表对该投影图像进行误差校正，得到误差校正后的投影图像；该误差校正查询表包括相位值与误差校正所需的误差补偿值之间的对应关系。
基于相位值和误差校正查询表对该投影图像进行误差校正，是基于相位值和误差校正查询表确定误差校正所需的误差补偿值，再基于该误差补偿值对该投影图像进行误差校正。如上所描述的，在在计算投影图像的相位时经常会出现相位周期性误差，这种相位周期性误差会直接影响三维重建的效果，该误差补偿值用于补偿这种相位周期性误差，以提升三维重建的效果。这种相位周期性误差是N步相移产生的N倍频误差(N为自然数)，N倍频误差可以是高频误差，也可以是低频误差。例如N倍频误差是八步相移产生的8倍频误差(低频误差)。即，查询的误差补偿值后可以用来补偿N步相移产生的N倍频误差(N为自然数)，例如补偿如上描述的8倍频误差(低频误差)。
以下对如何标定以生成误差校正查询表的一种方法进行描述。
第一步：获取多个二值化相位图像，该多个二值化相位图像是光机设备在标定板投影，并通过光学相机拍摄得到的图像。
该二值化相位图像可以认为是标定板图像，在该光学相机的视野内拍摄N组标定板图片，并向标定板图片投影相位。
第二步：获取每个二值化相位图像中每个标定板特征点的解码相位值与重投影相位的参考坐标值，并根据每个标定板特征点的解码相位值与重投影相位的参考坐标值确定每个标定板特征点的相位误差值。
请参见图3，获取的标定板图片是具有相位值的标定板图片。对该标定板图片进行解码以得到标定板图片的相位值，即解码每个该二值化相位图像，得到每个该二值化相位图像中每个标定板特征点的解码相位值
Figure BDA0003796390740000071
标定板具有多个标定板特征点(请参见图3)，根据标定板图片的相位值可以确定出每个标定板特征点的解码相位值
Figure BDA0003796390740000072
获取标定板特征点的像素坐标，计算每个标定板特征点的像素坐标对应在光学相机坐标系下的三维坐标值(x,y,z)。根据标定板特征点的三维坐标值(x,y,z)可以计算出标定板特征点重投影相位的参考坐标值
Figure BDA0003796390740000073
重投影指的是将标定板的真实三维坐标通过光机设备的参数投影回光机设备，得到光机的相位值的过程。标定板特征点自身的三维坐标是已知的，在标定该三维相机时，不同标定板特征点之间的间距也是已知的，基于已知的信息在标定板上建立真实的三维坐标系。真实的三维坐标系建立后，通过标定的三维相机的参数，重投影就可以得到每个标定板特征点的参考坐标值
Figure BDA0003796390740000081
具体的，先分别标定光学相机和光机设备，得到三维相机的标定参数。具体的，标定光学相机得到光学相机的内参Kcam、光学相机的畸变系数Dcam。标定该光机设备，得到光学相机和光机设备之间的旋转矩阵
Figure BDA0003796390740000082
和平移矩阵
Figure BDA0003796390740000083
还得到光学相机与该光机设备的投影角度之间的关系系数A和B。其中，
Figure BDA0003796390740000084
Dcam＝(k1，k2，k3，p1，p2)，
Figure BDA0003796390740000085
Figure BDA0003796390740000086
通过标定得到的光学相机的内参Kcam、光学相机的畸变系数Dcam和标定板特征点的像素坐标，可以计算出每个标定板特征点在相机坐标系下的三维坐标值(x,y,z)。
根据三维坐标重投影计算相位公式
Figure BDA0003796390740000087
每个标定板特征点在相机坐标系下的三维坐标值(x,y,z)，可以计算出每个标定板特征点的参考坐标值
Figure BDA0003796390740000088
根据每个标定板特征点的解码相位值
Figure BDA0003796390740000089
和每个标定板特征点的重投影相位的参考坐标值
Figure BDA00037963907400000810
之间的差值，确定每个标定板特征点的相位误差值ε。即，根据标定板特征点的解码相位值
Figure BDA00037963907400000811
和参考坐标值
Figure BDA00037963907400000812
可以得到每个相位值下的误差值
Figure BDA00037963907400000813
第三步：根据每个标定板特征点的相位误差值和解码相位值确定每个解码相位值对应的相位误差值。
根据标定板特征点的相位误差值和标定板特征点的解码相位值的对应关系，可以推算每个解码相位值对应的相位误差值。标定板特征点的数量越多，推算的解码相位值对应的相位误差值越准确。
第四步：基于每个解码相位值和每个解码相位值对应的相位误差值生成该误差校正查询表。
根据得到的每个解码相位值对应的相位误差值制作误差校正查询表。具体的，将相位值化成合适大小的M等份个一维网格，划分后的网络一共有M+1个顶点。对于第K份网格，将补偿
Figure BDA0003796390740000091
的相位误差。
进一步的，将得到每个解码相位值对应的相位误差值ε放入划分后的网络网格中，记录每个网格中含有的相位误差值的大小，再使用优化函数对每个网格中含有的误差值的大小进行优化。优化的目的是使得网格顶点对网格中的相位值的误差补偿值和计算的得到的网格中的相位值对应的误差补偿值之间的差值最小。该优化函数例如为
Figure BDA0003796390740000092
优化的目的是为了使
Figure BDA0003796390740000093
之间的差值最小，εij代表第i个标定板的第j个特征点对应的相位值的误差补偿值，
Figure BDA0003796390740000094
代表相位为
Figure BDA0003796390740000095
时对应的误差补偿值，n代表标定板图片的数量，m代表每个标定板图片中的特征点个数。
基于优化后的每个解码相位值和每个解码相位值对应的相位误差值生成该误差校正查询表，还误差校正查询表包括M个相位区间，每个相位区间具有两个顶点相位，M为大于零的整数。每个相位区间都有对应的一个误差补偿值。
通过综上所描述的四个步骤标定得到该误差校正查询表后，基于该投影图像的相位值和误差校正查询表对该投影图像进行误差校正，得到误差校正后的投影图像。具体的，先确定该投影图像的相位值在该误差校正查询表中所属的相位区间为第K个相位区间(K为大于零且小于M的整数)。再获取该第K个相位区间对应的误差补偿值，根据该第K个相位区间对应的误差补偿值对该投影图像进行误差校正。
在一个可选的实施例中，当该相位值在该第K个相位区间的补偿相位区间
Figure BDA0003796390740000096
时，获取该第K个相位区间对应的误差补偿值。
在一个可选的实施例中，也可以基于优化后的每个解码相位值和每个解码相位值对应的相位误差值生成如图4所示的相位补偿函数，根据相位补偿函数进行该投影图像的误差校正。图4中横轴代表相位值，纵轴代表相位误差值。
S240，基于该误差校正后的投影图像进行该待重建物体的三维重建。
通过步骤S210至步骤S230对该投影图像的周期性误差进行了校正，再基于该误差校正后的投影图像进行待重建物体的三维重建时，就避免了周期性相位误差所引起的重建误差。
综上，本实施例提供的三维重建方法包括：获取待重建物体的投影图像，该投影图像是通过光机设备向待重建物体投射二值化相位图，并通过光学相机获取的图像；对该投影图像进行解相位，得到该投影图像的相位值；基于相位值和误差校正查询表对该投影图像进行误差校正，得到误差校正后的投影图像；该误差校正查询表包括相位值与误差校正所需的误差补偿值之间的对应关系；基于该误差校正后的投影图像进行该待重建物体的三维重建。
即，在进行待重建物体的三维重建时，向该待重建物体投影二值化相位图，再解相位该二值化相位图得到该投影图像的相位值。基于误差校正查询表确定该投影图像的相位值对应的误差补偿值，并基于该误差补偿值对该投影图像进行误差校正，得到误差校正后的投影图像。由于对投影图像中的像素相位进行了误差校正，所以在三维重建时避免了相位周期性误差，提升了使用二值化相位条纹投影物体来进行物体的三维重建的效果。
请参见图5，本申请的一个实施例还提供一种三维重建装置10，应用于三维相机，该三维相机包括光机设备和光学相机。该三维重建装置10包括：
获取模块11，用于获取待重建物体的投影图像，该投影图像是通过光机设备向待重建物体投射二值化相位图，并通过光学相机获取的图像。
解码模块12，用于对该投影图像进行解相位，得到该投影图像的相位值。
校正模块13，用于基于相位值和误差校正查询表对该投影图像进行误差校正，得到误差校正后的投影图像；该误差校正查询表包括相位值与误差校正所需的误差补偿值之间的对应关系。
重建模块14，用于基于该误差校正后的投影图像进行该待重建物体的三维重建。
该误差校正查询表包括M个相位区间，每个相位区间具有两个顶点相位，M为大于零的整数。该校正模块13还用于确定该相位值在该误差校正查询表中所属的相位区间为第K个相位区间，其中，K为大于零且小于M的整数；获取该第K个相位区间对应的误差补偿值；根据该第K个相位区间对应的误差补偿值对该投影图像进行误差校正。
该三维重建装置10还包括标定模块15，该标定模块15用于获取多个二值化相位图像，该多个二值化相位图像是光机设备在标定板投影，并通过光学相机拍摄得到的图像；获取每个二值化相位图像中每个标定板特征点的解码相位值与重投影相位的参考坐标值，并根据每个标定板特征点的解码相位值与重投影相位的参考坐标值确定每个标定板特征点的相位误差值；根据每个标定板特征点的相位误差值和解码相位值确定每个解码相位值对应的相位误差值；基于每个解码相位值和每个解码相位值对应的相位误差值生成该误差校正查询表。
该标定模块15具体用于解码每个该二值化相位图像，得到每个该二值化相位图像中每个标定板特征点的解码相位值；根据每个标定板特征点的三维坐标值，计算每个标定板特征点的重投影相位的参考坐标值。
该标定模块15还用于标定光学相机得到光学相机内参和畸变系数；通过该光学相机内参、该畸变系数和每个标定板特征点的像素坐标，计算得到每个标定板特征点的三维坐标值。
该标定模块15具体用于根据每个标定板特征点的解码相位值和每个标定板特征点的重投影相位的参考坐标值之间的差值，确定每个标定板特征点的相位误差值。
该校正模块13具体用于当该相位值在该第K个相位区间的补偿相位区间内时，获取该第K个相位区间对应的误差补偿值；该第K个相位区间的补偿相位区间为
Figure BDA0003796390740000111
该标定模块15还用于标定光学相机与光机设备之间的投影角度之间的关系系数，以及得到光学相机与光机设备之间的旋转矩阵和平移矩阵。
请参见图6，本申请的一个实施例还提供一种电子设备20，该电子设备20包括处理器21，以及与该处理器通信连接的存储器22。该存储器22存储计算机执行指令，该处理器21执行该存储器22存储的计算机执行指令，以实现如以上任一项实施例提供的三维重建方法。
本申请还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机执行指令，当该指令被执行时，使得计算机执行指令被处理器执行时用于实现如上任一项实施例提供的该三维重建方法。
本申请还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上任一项实施例提供的该三维重建方法。
需要说明的是，上述计算机可读存储介质可以是只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory，FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)等存储器。也可以是包括上述存储器之一或任意组合的各种电子设备，如移动电话、计算机、平板设备、个人数字助理等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所描述的方法。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种三维重建方法，其特征在于，应用于三维相机，所述三维相机包括光机设备和光学相机，所述方法包括：
获取待重建物体的投影图像，所述投影图像是通过光机设备向待重建物体投射二值化相位图，并通过光学相机获取的图像；
对所述投影图像进行解相位，得到所述投影图像的相位值；
基于相位值和误差校正查询表对所述投影图像进行误差校正，得到误差校正后的投影图像；所述误差校正查询表包括相位值与误差校正所需的误差补偿值之间的对应关系；
基于所述误差校正后的投影图像进行所述待重建物体的三维重建。
2.根据权利要求1所述的方法，其特征在于，所述误差校正查询表包括M个相位区间，每个相位区间具有两个顶点相位，M为大于零的整数；
所述方法还包括：
确定所述相位值在所述误差校正查询表中所属的相位区间为第K个相位区间，其中，K为大于零且小于M的整数；
获取所述第K个相位区间对应的误差补偿值；
所述基于所述误差补偿值对所述投影图像进行误差校正包括：
根据所述第K个相位区间对应的误差补偿值对所述投影图像进行误差校正。
3.根据权利要求2所述的方法，其特征在于，所述确定所述相位值在所述误差校正查询表中所属的相位区间为第K个相位区间之前，所述方法还包括：
获取多个二值化相位图像，所述多个二值化相位图像是光机设备在标定板投影，并通过光学相机拍摄得到的图像；
获取每个二值化相位图像中每个标定板特征点的解码相位值与重投影相位的参考坐标值，并根据每个标定板特征点的解码相位值与重投影相位的参考坐标值确定每个标定板特征点的相位误差值；
根据每个标定板特征点的相位误差值和解码相位值确定每个解码相位值对应的相位误差值；
基于每个解码相位值和每个解码相位值对应的相位误差值生成所述误差校正查询表。
4.根据权利要求3所述的方法，其特征在于，所述获取每个二值化相位图像中每个标定板特征点的解码相位值与重投影相位的参考坐标值包括：
解码每个所述二值化相位图像，得到每个所述二值化相位图像中每个标定板特征点的解码相位值；
根据每个标定板特征点的三维坐标值，计算每个标定板特征点的重投影相位的参考坐标值。
5.根据权利要求4所述的方法，其特征在于，所述根据每个标定板特征点的三维坐标值，计算每个标定板特征点的重投影相位的参考坐标值之前，所述方法还包括：
标定光学相机得到光学相机内参和畸变系数；
通过所述光学相机内参、所述畸变系数和每个标定板特征点的像素坐标，计算得到每个标定板特征点的三维坐标值。
6.根据权利要求4所述的方法，其特征在于，所述根据每个标定板特征点的解码相位值与重投影相位的参考坐标值确定每个标定板特征点的相位误差值包括：
根据每个标定板特征点的解码相位值和每个标定板特征点的重投影相位的参考坐标值之间的差值，确定每个标定板特征点的相位误差值。
7.根据权利要求2所述的方法，其特征在于，所述获取所述第K个相位区间对应的误差补偿值包括：
当所述相位值在所述第K个相位区间的补偿相位区间内时，获取所述第K个相位区间对应的误差补偿值；
所述第K个相位区间的补偿相位区间为
Figure FDA0003796390730000021
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
标定光学相机与光机设备之间的投影角度之间的关系系数，以及得到光学相机与光机设备之间的旋转矩阵和平移矩阵。
9.一种三维重建装置，其特征在于，应用于三维相机，所述三维相机包括光机设备和光学相机，包括：
获取模块，用于获取待重建物体的投影图像，所述投影图像是通过光机设备向待重建物体投射二值化相位图，并通过光学相机获取的图像；
解码模块，用于对所述投影图像进行解相位，得到所述投影图像的相位值；
校正模块，用于基于相位值和误差校正查询表对所述投影图像进行误差校正，得到误差校正后的投影图像；所述误差校正查询表包括相位值与误差校正所需的误差补偿值之间的对应关系；
重建模块，用于基于所述误差校正后的投影图像进行所述待重建物体的三维重建。
10.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至8中任一项所述的三维重建方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当所述指令被执行时，使得计算机执行如权利要求1至8中任一项所述的三维重建方法。
CN202210970249.XA 2022-08-12 2022-08-12 三维重建方法、装置及电子设备、存储介质 Active CN115115788B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210970249.XA CN115115788B (zh) 2022-08-12 2022-08-12 三维重建方法、装置及电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210970249.XA CN115115788B (zh) 2022-08-12 2022-08-12 三维重建方法、装置及电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN115115788A true CN115115788A (zh) 2022-09-27
CN115115788B CN115115788B (zh) 2023-11-03

Family

ID=83335214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210970249.XA Active CN115115788B (zh) 2022-08-12 2022-08-12 三维重建方法、装置及电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN115115788B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132589A (zh) * 2023-10-23 2023-11-28 深圳明锐理想科技有限公司 一种条纹图校正方法、光学检测设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110080471A1 (en) * 2009-10-06 2011-04-07 Iowa State University Research Foundation, Inc. Hybrid method for 3D shape measurement
KR101653649B1 (ko) * 2016-04-04 2016-09-05 주식회사 이오비스 균일도 보상 패턴광을 이용한 3차원 형상 측정 방법
CN107607060A (zh) * 2017-08-24 2018-01-19 东南大学 一种应用于光栅三维投影测量中的相位误差补偿方法
WO2018040017A1 (zh) * 2016-08-31 2018-03-08 深圳大学 一种基于自适应条纹的投影仪镜头畸变校正方法及其系统
CN108242064A (zh) * 2016-12-27 2018-07-03 合肥美亚光电技术股份有限公司 基于面阵结构光系统的三维重建方法及系统
CN110057319A (zh) * 2019-02-20 2019-07-26 西安理工大学 一种大范围反射率变化物体的高速三维测量方法
WO2020237492A1 (zh) * 2019-05-28 2020-12-03 深圳市汇顶科技股份有限公司 三维重建方法、装置、设备及存储介质
CN112581605A (zh) * 2020-12-24 2021-03-30 西安中科光电精密工程有限公司 一种结构光三维重建校正方法及装置
US20210172732A1 (en) * 2019-12-09 2021-06-10 Industrial Technology Research Institute Projecting apparatus and projecting calibration method
CN114111633A (zh) * 2021-10-27 2022-03-01 深圳市纵维立方科技有限公司 结构光三维测量的投影机镜头畸变误差校正方法
CN114688995A (zh) * 2022-04-27 2022-07-01 河北工程大学 一种条纹投影三维测量中的相位误差补偿方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110080471A1 (en) * 2009-10-06 2011-04-07 Iowa State University Research Foundation, Inc. Hybrid method for 3D shape measurement
KR101653649B1 (ko) * 2016-04-04 2016-09-05 주식회사 이오비스 균일도 보상 패턴광을 이용한 3차원 형상 측정 방법
WO2018040017A1 (zh) * 2016-08-31 2018-03-08 深圳大学 一种基于自适应条纹的投影仪镜头畸变校正方法及其系统
CN108242064A (zh) * 2016-12-27 2018-07-03 合肥美亚光电技术股份有限公司 基于面阵结构光系统的三维重建方法及系统
CN107607060A (zh) * 2017-08-24 2018-01-19 东南大学 一种应用于光栅三维投影测量中的相位误差补偿方法
CN110057319A (zh) * 2019-02-20 2019-07-26 西安理工大学 一种大范围反射率变化物体的高速三维测量方法
WO2020237492A1 (zh) * 2019-05-28 2020-12-03 深圳市汇顶科技股份有限公司 三维重建方法、装置、设备及存储介质
US20210172732A1 (en) * 2019-12-09 2021-06-10 Industrial Technology Research Institute Projecting apparatus and projecting calibration method
CN112581605A (zh) * 2020-12-24 2021-03-30 西安中科光电精密工程有限公司 一种结构光三维重建校正方法及装置
CN114111633A (zh) * 2021-10-27 2022-03-01 深圳市纵维立方科技有限公司 结构光三维测量的投影机镜头畸变误差校正方法
CN114688995A (zh) * 2022-04-27 2022-07-01 河北工程大学 一种条纹投影三维测量中的相位误差补偿方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HU HAOHUI等: "A combined binary defocusing technique with multi-frequency phase error compensation in 3D shape measurement", OPTICS AND LASERS IN ENGINEERING, vol. 124 *
刘冠洲等: "基于相位映射的结构光相位误差补偿方法研究", 中国测试, no. 04 *
易双等: "一种基于结构光的三维重建方法研究", 电子技术, no. 08 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132589A (zh) * 2023-10-23 2023-11-28 深圳明锐理想科技有限公司 一种条纹图校正方法、光学检测设备及存储介质
CN117132589B (zh) * 2023-10-23 2024-04-16 深圳明锐理想科技股份有限公司 一种条纹图校正方法、光学检测设备及存储介质

Also Published As

Publication number Publication date
CN115115788B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
CN110060200B (zh) 图像透视变换方法、装置及设备
CN108225216B (zh) 结构光系统标定方法及装置、结构光系统及移动设备
US9818201B2 (en) Efficient lens re-distortion
CN110689581A (zh) 结构光模组标定方法、电子设备、计算机可读存储介质
CN114111633A (zh) 结构光三维测量的投影机镜头畸变误差校正方法
CN109451302A (zh) 一种摄像模组测试方法、装置、电子设备及介质
CN110766767B (zh) 获取格雷码结构光图像的方法、系统、装置
CN115115788B (zh) 三维重建方法、装置及电子设备、存储介质
CN115393507B (zh) 三维重建方法、装置及电子设备、存储介质
CN111563965B (zh) 一种通过优化深度图生成全景图的方法及装置
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
CN112967205A (zh) 基于格雷码滤波器的异常点纠正方法、存储介质和系统
CN109859313B (zh) 3d点云数据获取方法、装置、3d数据生成方法及系统
CN114777687B (zh) 基于概率分布函数的分区域相位误差补偿方法及设备
CN108921902B (zh) 一种修正结构光相机偏差的方法及装置
CN116777769A (zh) 畸变图像的校正方法及装置、电子设备、存储介质
CN116818129A (zh) 应用于结构光重建的温度估计与热畸变校正方法
CN113596423B (zh) 一种亮度校正方法、装置、电子设备及可读存储介质
CN107945136B (zh) 一种鱼眼图像矫正方法、系统、设备及计算机存储介质
CN115908705A (zh) 一种基于特殊编码的三维成像方法及装置
CN114168695A (zh) 目标位置确定方法、装置、终端以及存储介质
CN113421292A (zh) 一种三维建模细节增强方法及装置
CN117474968A (zh) 标定方法和三维重建方法
CN111145268A (zh) 一种视频注册方法及装置
US10587774B2 (en) 3D printed object halftone image generation containing updated voxel data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant