CN112950494B - 一种基于高动态范围的三维重建方法 - Google Patents

一种基于高动态范围的三维重建方法 Download PDF

Info

Publication number
CN112950494B
CN112950494B CN202110153360.5A CN202110153360A CN112950494B CN 112950494 B CN112950494 B CN 112950494B CN 202110153360 A CN202110153360 A CN 202110153360A CN 112950494 B CN112950494 B CN 112950494B
Authority
CN
China
Prior art keywords
image
dynamic range
expressed
high dynamic
stripe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110153360.5A
Other languages
English (en)
Other versions
CN112950494A (zh
Inventor
刘屿
潘文钊
蔡鹤
何畅然
刘涛
胡国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Guangzhou Institute of Modern Industrial Technology
Original Assignee
South China University of Technology SCUT
Guangzhou Institute of Modern Industrial Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT, Guangzhou Institute of Modern Industrial Technology filed Critical South China University of Technology SCUT
Priority to CN202110153360.5A priority Critical patent/CN112950494B/zh
Publication of CN112950494A publication Critical patent/CN112950494A/zh
Application granted granted Critical
Publication of CN112950494B publication Critical patent/CN112950494B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Algebra (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于高动态范围的三维重建方法，可以对表面动态范围高(表面同时具有深色区域和高度反光区域)的物体进行三维重建。首先，本发明对被重建物体拍下不同曝光度的条纹图像序列，并根据对比度和曝光度，对该条纹图像序列进行融合，生成高动态范围条纹图像；其次，对高动态范围条纹图像进行相位获取和去载频，最终得到被重建物体的三维重建图。本发明可以有效地解决传统的三维重建方法因被重建物体表面的动态范围过高而导致三维重建失败的问题。

Description

一种基于高动态范围的三维重建方法
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种基于高动态范围的三维重建方法。
背景技术
经过多年的发展，三维重建技术已经很成熟并成功地运用于多个领域中。传统的三维重建的基本原理是将一定光栅周期的正弦条纹投影到被重建物体的表面上，这些正弦条纹会因为被测物的高度而产生变形，从而得到变形条纹图，再通过相位获取和去载频等步骤就可以得出被重建物体的三维信息。但是这种三维重建方法具有一定的局限性，只能用于动态范围不高的被测物体上。如果被测物体表面动态范围高(同时具有高度反光区域和深色区域)，就很难找到一个适当的曝光度，使被重建物体表面上反光和深色区域的条纹同时保持清晰。如果相机曝光度过低，则深色区域的条纹不清晰；反之如果相机曝光度过高，则反光区域的条纹不清晰。
因此，对于表面动态范围高的物体的三维重建，可能需要在被重建物体的表面涂上适量的显影剂，使其表面的亮度适合重建，才能得到较理想的三维重建结果。但是对于一些被重建物体，其表面因为某些原因是无法涂上显影剂的。因此，对于这种表面动态范围高的物体的三维重建，成为了一个亟待解决的问题。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于高动态范围的三维重建方法，该三维重建方法可以有效地解决传统的三维重建方法因被重建物体表面的动态范围高而导致三维重建失败的问题。
本发明的目的可以通过采取如下技术方案达到：
一种基于高动态范围的三维重建方法，所述的三维重建方法包括以下步骤：
S1、调整摄像机和投影仪的角度，将一定光栅周期的正弦条纹投影到被重建物体的表面上，通过摄像机对被重建物体拍下N张不同曝光度的条纹图像，N为大于1的整数；
S2、对N张不同曝光度的条纹图像建立权重图：第k张条纹图像Ik对应的权重图Wk的第i行第j列处的值Wk(i,j)表示为：
Figure GDA0003792666330000021
其中，Ck(i,j)表示位于条纹图像Ik第i行第j列的像素点的对比度，Ek(i,j)表示位于条纹图像Ik第i行第j列的像素点的曝光适当度，Wc为对比度权重系数，取值为大于0的常数，We为曝光适当度权重系数，取值为大于0的常数；
S3、对每张条纹图像和对应的权重图建立高斯金字塔：条纹图像Ik的高斯金字塔以条纹图像Ik为高斯金字塔的最低的一级，记为
Figure GDA0003792666330000022
条纹图像Ik对应的权重图Wk的高斯金字塔以权重图Wk为高斯金字塔的最低的一级，记为
Figure GDA0003792666330000023
条纹图像Ik的高斯金字塔的第L级
Figure GDA0003792666330000024
的第i行第j列处的值
Figure GDA0003792666330000025
表示为：
Figure GDA0003792666330000026
其中，L的取值范围为{1,2,...,Ng-1}，hg是一个5×5的高斯核矩阵，表示为：
Figure GDA0003792666330000031
其中，hg(r,l)表示hg的第r+2行第l+2列处的值，
Figure GDA0003792666330000032
对应的权重图的高斯金字塔第L级
Figure GDA0003792666330000033
的第i行第j列处的值
Figure GDA0003792666330000034
表示为：
Figure GDA0003792666330000035
其中，
Figure GDA0003792666330000036
的行列数与
Figure GDA0003792666330000037
的行列数相同，
Figure GDA0003792666330000038
的行数为
Figure GDA0003792666330000039
的行数的50％，
Figure GDA00037926663300000310
的列数为
Figure GDA00037926663300000311
的列数的50％；
S4、将
Figure GDA00037926663300000312
进行内插，在
Figure GDA00037926663300000313
的偶数行后和偶数列后插入0，使
Figure GDA00037926663300000314
的行数和列数增加一倍，得到行列数和
Figure GDA00037926663300000315
一致的
Figure GDA00037926663300000316
再建立条纹图像Ik的拉普拉斯金字塔的第L级
Figure GDA00037926663300000317
的第i行第j列处的值
Figure GDA00037926663300000318
表示为：
Figure GDA00037926663300000319
当0＜L＜Ng时
Figure GDA00037926663300000320
当L＝0时
其中，Ng为权重图的高斯金字塔的级数，
Figure GDA00037926663300000321
表示
Figure GDA00037926663300000322
的第i行第j列处的值；
S5、对图像金字塔进行融合，得到高动态范围条纹图像；
S6、对高动态范围条纹图像进行三维重建，得到被重建物体的三维信息。
进一步地，所述的步骤S2过程如下：
S21、使用对比度矩阵hc对条纹图像Ik进行卷积操作，计算出位于条纹图像Ik的第i行第j列的像素点的对比度Ck(i,j)，表示为：
Figure GDA0003792666330000041
其中，Ik(i,j)为条纹图像Ik第i行第j列的像素点的值，hc(r,l)为hg的第r+1行第l+1列处的值，对比度矩阵hc表示为：
Figure GDA0003792666330000042
S22、计算出位于条纹图像Ik的第i行第j列的像素点的曝光适当度Ek(i,j)，表示为：
Figure GDA0003792666330000043
其中，σ为取值大于0的常数。
进一步地，所述的步骤S5过程如下：
S51、对条纹图像Ik的拉普拉斯金字塔的第L级与条纹图像Ik对应的权重图的高斯金字塔的第L级进行按像素相乘，得到条纹图像Ik对应的加权图像金字塔的第L级
Figure GDA0003792666330000046
的第i行第j列处的值
Figure GDA0003792666330000047
表示为：
Figure GDA0003792666330000044
S52、计算高动态范围条纹图像的拉普拉斯金字塔：高动态范围条纹图像的拉普拉斯金字塔的第L级LPL的第i行第j列处的值LPL(i,j)表示为：
Figure GDA0003792666330000045
S53、金字塔融合：从高动态范围条纹图像的拉普拉斯金字塔第Ng-1级开始逐级从上至下进行递推，恢复对应的高动态范围条纹图像高斯金字塔GL，递推方法表示为：
GL＝LPL,当L＝Ng-1时
Figure GDA0003792666330000051
当0≤L＜Ng-1时
其中，
Figure GDA0003792666330000052
为对GL+1进行上采样后的图像，递推至L＝0时，即可得到最终的高动态范围条纹图像HI，表示为：
HI＝G0。
进一步地，所述的步骤S6过程如下：
S61、将高动态范围条纹图像HI中的第i行第j列处的值HI(i,j)表示为：
HI(i,j)＝A(i,j)+B(i,j)cos[φ′(i,j)]
其中，A(i,j)为测量平面的光强分布，B(i,j)为条纹对比度分布，φ′(i,j)为条纹图相位，然后，通过摄像机对被重建物体拍下相移量相对于HI分别增加
Figure GDA0003792666330000053
π和
Figure GDA0003792666330000054
的N张不同曝光度的条纹图像，再根据步骤S1至S5计算相移量相对于HI分别增加
Figure GDA0003792666330000055
π和
Figure GDA0003792666330000056
的高动态范围条纹图像HI1、HI2和HI3，HI1、HI2和HI3中的第i行第j列处的值HI1(i,j)、HI2(i,j)和HI3(i,j)表示为：
Figure GDA0003792666330000057
S62、计算相位图φ，φ的第i行第j列处的值φ(i,j)表示为：
Figure GDA0003792666330000061
其中，Iref、
Figure GDA0003792666330000062
和
Figure GDA0003792666330000063
分别为提前测得的四幅相移量为0、
Figure GDA0003792666330000064
π和
Figure GDA0003792666330000065
的高动态范围的测量平面条纹图像；
S63、对相位图φ进行相位展开和去载频，得到最终的三维重建图。
进一步地，所述的步骤S63过程如下：
S631、将φ(i,j)表示为：φ(i,j)＝φc(i,j)+Δφ(i,j)
其中，f为光栅基频，Δφ(i,j)为相位分布，φc(i,j)为载频相位分量，然后，将φc(i,j)表示为n项泽尼克多项式的组合：
φc(i,j)＝a0u0(i,j)+…+azuz(i,j)+...+an-1un-1(i,j)
其中，uz(i,j)为第z+1项泽尼克多项式，az为第z+1项泽尼克多项式对应的系数；
S632、在相位图φ的参考平面区域选取Ns个数据点进行拟合,有：
Figure GDA0003792666330000066
其中：
Figure GDA0003792666330000067
Figure GDA0003792666330000071
Figure GDA0003792666330000072
其中，φx表示第x个数据点对应的相位，ux,y表示第x个数据点对应的第y+1项泽尼克多项式，可进一步解得：
Figure GDA0003792666330000073
求解出A后，最终被重建物体的相位分布Δφ(i,j)为：
Δφ(i,j)＝φ(i,j)-φc(i,j)；
S633、根据被重建物体的相位分布Δφ(i,j)，恢复被重建物体的高度信息，即可得到被重建物体的三维信息，表示为：
Figure GDA0003792666330000074
其中，S为相机到测量面的距离，T为投影正弦光栅的周期，d为相机与投影仪的距离。
本发明相对于现有技术具有如下的优点及效果：
传统的三维重建将一定光栅周期的正弦条纹投影到被重建物体的表面上，这些正弦条纹会因为被测物的高度而产生变形，从而得到包含物体高度信息的条纹图像。但是如果被测物体表面动态范围高(同时具有高度反光区域和深色区域)，此时很难找到一个适当的曝光度，使被重建物体表面上反光和深色区域的条纹同时保持清晰。因此，对于表面动态范围高的物体的三维重建，可能需要在被重建物体的表面涂上适量的显影剂，使其表面的亮度适合重建，才能得到较理想的三维重建结果。但是对于一些被重建物体，其表面因为某些原因是无法涂上显影剂的。本发明对被重建物体拍下不同曝光度的条纹图像序列，并根据对比度和曝光度，对该条纹图像序列进行融合，生成高动态范围条纹图像。然后，本发明对高动态范围条纹图像进行相位获取和去载频，最终得到被重建物体的三维重建图像，可以有效地对表面动态范围过高的物体进行三维重建。
附图说明
图1是本发明公开的一种基于高动态范围的三维重建方法的流程图；
图2是本发明实施例中在某引用场景下的不同曝光度的条纹图像序列的示意图；
图3是本发明实施例中在某引用场景下的被重建物体的高动态范围条纹图像示意图；
图4是本发明实施例中在某引用场景下的相移量为
Figure GDA0003792666330000081
的被重建物体的高动态范围条纹图像示意图；
图5是本发明实施例中在某引用场景下的相移量为π的被重建物体的高动态范围条纹图像示意图；
图6是本发明实施例中在某引用场景下的相移量为
Figure GDA0003792666330000082
的被重建物体的高动态范围图像示意图；
图7是本发明实施例中在某引用场景下的被重建物体的相位示意图；
图8是本发明实施例中在某引用场景下的被重建物体的三维重建示意图；
图9是本发明实施例中在某引用场景下的低度曝光、中度曝光、高度曝光和高动态范围的条纹图像以及对应的相位图和三维重建图像，其中，图9(a1)是低度曝光下的条纹图像，图9(a2)是中度曝光下的条纹图像，图9(a3)是高度曝光下的条纹图像，图9(a4)是高动态范围条纹图像，图9(b1)是低度曝光下的条纹图像对应的相位图，图9(b2)是中度曝光下的条纹图像对应的相位图，图9(b3)是高度曝光下的条纹图像对应的相位图，图9(b4)是高动态范围条纹图像对应的相位图，图9(c1)是低度曝光下的条纹图像对应的三维重建图像，图9(c2)是中度曝光下的条纹图像对应的三维重建图像，图9(c3)是高度曝光下的条纹图像对应的三维重建图像，图9(c4)是高动态范围条纹图像对应的三维重建图像。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如图1所示，本实施例具体公开了一种基于高动态范围的三维重建方法，该方法包括以下步骤：、
S1、调整摄像机和投影仪的角度，将一定光栅周期的正弦条纹投影到被重建物体的表面上，通过摄像机对被重建物体拍下N张不同曝光度的条纹图像，如图2所示，N为大于1的整数。
S2、对N张不同曝光度的条纹图像建立权重图：第k张条纹图像Ik对应的权重图Wk的第i行第j列处的值Wk(i,j)表示为：
Figure GDA0003792666330000091
其中，Ck(i,j)表示位于条纹图像Ik的第i行第j列的像素点的对比度，Ek(i,j)表示位于条纹图像Ik的第i行第j列的像素点的曝光适当度，Wc为对比度权重系数，取值为大于0的常数，We为曝光适当度权重系数，取值为大于0的常数，较大的对比度Ck(i,j)表示此像素点具有更多的细节和纹理；较大的曝光适中度Ek(i,j)表示此处更接近于理想的中间曝光，而远离过曝光和欠曝光。
本实施例中，步骤S2过程如下：
S21、使用对比度矩阵hc对条纹图像Ik进行卷积操作，计算出位于条纹图像Ik的第i行第j列的像素点的对比度Ck(i,j)，表示为：
Figure GDA0003792666330000101
其中，Ik(i,j)为条纹图像Ik第i行第j列的像素点的值，hc(r,l)为hg的第r+1行第l+1列处的值，对比度矩阵hc表示为：
Figure GDA0003792666330000102
当中心像素点与邻域像素点的值之差的绝对值越大时，中心像素点处的对比度越大；当中心像素点与邻域像素点的值之差的绝对值越小时，中心像素点的亮度与邻域像素点的亮度越接近，中心像素点处的对比度越小；
S22、曝光适当度的计算：在像素值中，0代表最暗，255代表最亮，当像某个区域最暗或最亮时，分别对应曝光不足和曝光过度，所以最理想的曝光值应该尽可能远离0或255，所以在本发明中取最佳曝光的像素值为128，然后计算出位于条纹图像Ik第i行第j列的像素点的曝光适当度Ek(i,j)，表示为：
Figure GDA0003792666330000103
其中，σ为取值大于0的常数。
S3、对每张条纹图像和对应的权重图建立高斯金字塔：条纹图像Ik的高斯金字塔以条纹图像Ik为高斯金字塔的最低的一级，记为
Figure GDA0003792666330000111
条纹图像Ik对应的权重图Wk的高斯金字塔以权重图Wk为高斯金字塔的最低的一级，记为
Figure GDA0003792666330000112
条纹图像Ik的高斯金字塔的第L级
Figure GDA0003792666330000113
的第i行第j列处的值
Figure GDA0003792666330000114
表示为：
Figure GDA0003792666330000115
其中，L的取值范围为{1,2,...,Ng-1}，Ng为高斯金字塔的级数，hg是一个5×5的高斯核矩阵，表示为：
Figure GDA0003792666330000116
其中，hg(r,l)表示hg的第r+2行第l+2列处的值，
Figure GDA0003792666330000117
对应的权重图的高斯金字塔第L级
Figure GDA0003792666330000118
的第i行第j列处的值
Figure GDA0003792666330000119
表示为：、
Figure GDA00037926663300001110
其中，
Figure GDA00037926663300001111
的行列数与
Figure GDA00037926663300001112
的行列数相同，
Figure GDA00037926663300001113
的行数为
Figure GDA00037926663300001114
的行数的50％，
Figure GDA00037926663300001115
的列数为
Figure GDA00037926663300001116
的列数的50％。
S4、将
Figure GDA00037926663300001117
进行内插，在
Figure GDA00037926663300001118
的偶数行后和偶数列后插入0，使
Figure GDA00037926663300001119
的行数和列数增加一倍，得到行列数和
Figure GDA00037926663300001120
一致的
Figure GDA00037926663300001121
再建立第k张条纹图像的拉普拉斯金字塔的第L级
Figure GDA00037926663300001122
的第i行第j列处的值
Figure GDA00037926663300001123
表示为：
Figure GDA00037926663300001124
当0＜L＜Ng时
Figure GDA00037926663300001125
当L＝0时
其中，
Figure GDA00037926663300001126
表示
Figure GDA00037926663300001127
的第i行第j列处的值。
S5、对图像金字塔进行融合，得到最终的高动态范围条纹图像。
本实施例中，步骤S5过程如下：
S51、对条纹图像Ik的拉普拉斯金字塔的第L级与条纹图像Ik对应的权重图的高斯金字塔的第L级进行按像素相乘，得到第k张条纹图像对应的加权图像金字塔的第L级
Figure GDA0003792666330000125
的第i行第j列处的值
Figure GDA0003792666330000126
表示为：
Figure GDA0003792666330000121
S52、计算高动态范围条纹图像的拉普拉斯金字塔：高动态范围条纹图像的拉普拉斯金字塔的第L级LPL的第i行第j列处的值LPL(i,j)表示为：
Figure GDA0003792666330000122
S53、金字塔融合：得出高动态范围条纹图像的拉普拉斯金字塔后，要得到最后的高动态范围条纹图像，需要对高动态范围条纹图像的拉普拉斯金字塔进行融合，从高动态范围条纹图像的拉普拉斯金字塔最顶级，即第Ng-1级，开始逐级从上至下进行递推，可以恢复对应的高动态范围条纹图像高斯金字塔GL，递推方法表示为：
GL＝LPL,当L＝Ng-1时
Figure GDA0003792666330000123
当0≤L＜Ng-1时
其中，
Figure GDA0003792666330000124
为对GL+1进行上采样后的条纹图像，递推至L＝0时，即可得到最终的高动态范围条纹图像HI,如图3所示，表示为：
HI＝G0。
S6、对高动态范围条纹图像进行三维重建，得到被重建物体的三维信息。
本实施例中，步骤S6过程如下：
S61、由于投影的光栅是正弦条纹，高动态范围条纹图像HI中的第i行第j列处的值HI(i,j)表示为：
HI(i,j)＝A(i,j)+B(i,j)cos[φ′(i,j)]
其中，A(i,j)为测量平面的光强分布，B(i,j)为条纹对比度分布，φ′(i,j)为条纹图相位，然后，通过摄像机对被重建物体拍下相移量相对于HI分别增加
Figure GDA0003792666330000131
π和
Figure GDA0003792666330000132
的N张不同曝光度的条纹图像，再根据步骤S1至S5计算相移量相对于HI分别增加
Figure GDA0003792666330000133
π和
Figure GDA0003792666330000134
的高动态范围条纹图像HI1、HI2和HI3(分别如图4、图5和图6所示)，HI1、HI2和HI3中的第i行第j列处的值HI1(i,j)、HI2(i,j)和HI3(i,j)表示为：
Figure GDA0003792666330000135
S62、计算相位图φ，φ的第i行第j列处的值φ(i,j)表示为：
Figure GDA0003792666330000136
其中，Iref、
Figure GDA0003792666330000137
和
Figure GDA0003792666330000138
分别为提前测得的四幅相移量为0、
Figure GDA0003792666330000139
π和
Figure GDA00037926663300001310
的高动态范围的测量平面条纹图像；
S63、对相位图φ进行相位展开和去载频，得到最终的三维重建图；
本实施例中，步骤S63过程如下：
S631、将φ(i,j)表示为：
φ(i,j)＝φc(i,j)+Δφ(i,j)
其中，f为光栅基频，此时φ(i,j)包含了相位分布Δφ(i,j)和载频相位分量φc(i,j)，然后，将φc(i,j)表示为n项泽尼克多项式的组合：
φc(i,j)＝a0u0(i,j)+…+azuz(i,j)+...+an-1un-1(i,j)
其中，uz(i,j)为第z+1项泽尼克多项式，az为第z+1项泽尼克多项式对应的系数；
S632、在相位图φ的参考平面区域选取Ns个数据点进行拟合,有：
Figure GDA00037926663300001311
其中：
Figure GDA0003792666330000141
Figure GDA0003792666330000142
Figure GDA0003792666330000143
其中，φx表示第x个数据点对应的相位，ux,y表示第x个数据点对应的第y+1项泽尼克多项式，可进一步解得：
Figure GDA0003792666330000144
求解出A后，最终被重建物体的相位分布Δφ(i,j)为：Δφ(i,j)＝φ(i,j)-φc(i,j)；
S633、根据被重建物体相位分布Δφ(i,j)，恢复被重建物体的高度信息，即可得到被重建物体的三维信息，如图8所示，表示为：
Figure GDA0003792666330000145
其中，S为相机到测量面的距离，T为投影正弦光栅的周期，d为相机与投影仪的距离。
本发明已经在条纹图像、相位图和三维重建图像三个方面对算法的实验结果进行了评估。用于实验的是一个表面同时具有高度反光区域和黑色区域的物体，因此该物体表面的动态范围是非常高的，很难找到一个适合的曝光度使该物体反光区域和深色区域同时具有清晰的条纹。由图9(a1)、图9(a2)、图9(a3)和图9(a4)可以看出，在低度曝光下的条纹图像(图9(a1))中，反光区域条纹清晰，但深色区域条纹不清晰；中度曝光条纹图像(图9(a2))反光区域和深色区域的条纹都不清晰；高度曝光条纹图像(图9(a3))深色区域条纹清晰，但反光区域条纹不清晰，而高动态范围条纹图像(图9(a4))，在反光区域和深色区域都具有较清晰的条纹图像。
由图9(b1)、图9(b2)、图9(b3)和图9(b4)可以看出，在低度曝光下的条纹图像对应的相位图(图9(b1))中，深色区域存在部分相位丢失；中度曝光下的图像对应的相位图(图9(b2))未及高动态范围图像对应的相位图(图9(b4))清晰；在高度曝光下的条纹图像对应的相位图(图9(b3))中反光区域的相位几乎完全丢失；而在高动态范围条纹图像对应的相位图(图9(b4))中，反光区域和深色区域都具有清晰的相位。
由图9(c1)、图9(c2)、图9(c3)和图9(c4)可以看出，低度曝光下的条纹图像、中度曝光下的条纹图像和高度曝光下的条纹图像对应的三维重建图像都未能正确地重建物体的三维体貌，而高动态范围图像的的三维重建图像(图9(c4))可以比较完好地重建被测物的三维体貌。
因此，由图9可以看出，本发明无需在被重建物表面添加显影剂就可以重建表面动态范围高的物体，可以有效地克服反光和深色并存对三维重建的影响。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种基于高动态范围的三维重建方法，其特征在于，所述的三维重建方法包括以下步骤：
S1、调整摄像机和投影仪的角度，将一定光栅周期的正弦条纹投影到被重建物体的表面上，通过摄像机对被重建物体拍下N张不同曝光度的条纹图像，N为大于1的整数；
S2、对N张不同曝光度的条纹图像建立权重图：第k张条纹图像Ik对应的权重图Wk的第i行第j列处的值Wk(i,j)表示为：
Figure FDA0003792666320000011
其中，Ck(i,j)表示位于条纹图像Ik第i行第j列的像素点的对比度，Ek(i,j)表示位于条纹图像Ik第i行第j列的像素点的曝光适当度，Wc为对比度权重系数，取值为大于0的常数，We为曝光适当度权重系数，取值为大于0的常数；
S3、对每张条纹图像和对应的权重图建立高斯金字塔：条纹图像Ik的高斯金字塔以条纹图像Ik为高斯金字塔的最低的一级，记为
Figure FDA0003792666320000012
条纹图像Ik对应的权重图Wk的高斯金字塔以权重图Wk为高斯金字塔的最低的一级，记为
Figure FDA0003792666320000013
条纹图像Ik的高斯金字塔的第L级
Figure FDA0003792666320000014
的第i行第j列处的值
Figure FDA0003792666320000015
表示为：
Figure FDA0003792666320000016
其中，L的取值范围为{1,2,...,Ng-1}，hg是一个5×5的高斯核矩阵，表示为：
Figure FDA0003792666320000021
其中，hg(r,l)表示hg的第r+2行第l+2列处的值，
Figure FDA0003792666320000022
对应的权重图的高斯金字塔第L级
Figure FDA0003792666320000023
的第i行第j列处的值
Figure FDA0003792666320000024
表示为：
Figure FDA0003792666320000025
其中，
Figure FDA0003792666320000026
的行列数与
Figure FDA0003792666320000027
的行列数相同，
Figure FDA0003792666320000028
的行数为
Figure FDA0003792666320000029
的行数的50％，
Figure FDA00037926663200000210
的列数为
Figure FDA00037926663200000211
的列数的50％；
S4、将
Figure FDA00037926663200000212
进行内插，在
Figure FDA00037926663200000213
的偶数行后和偶数列后插入0，使
Figure FDA00037926663200000214
的行数和列数增加一倍，得到行列数和
Figure FDA00037926663200000215
一致的
Figure FDA00037926663200000216
再建立条纹图像Ik的拉普拉斯金字塔的第L级
Figure FDA00037926663200000217
的第i行第j列处的值
Figure FDA00037926663200000218
表示为：
Figure FDA00037926663200000219
当0＜L＜Ng时
Figure FDA00037926663200000220
当L＝0时
其中，
Figure FDA00037926663200000221
表示
Figure FDA00037926663200000222
的第i行第j列处的值，Ng为权重图的高斯金字塔的级数；
S5、对图像金字塔进行融合，得到高动态范围条纹图像；
S6、对高动态范围条纹图像进行三维重建，得到被重建物体的三维信息。
2.根据权利要求1所述的一种基于高动态范围的三维重建方法，其特征在于，所述的步骤S2过程如下：
S21、使用对比度矩阵hc对条纹图像Ik进行卷积操作，计算出位于条纹图像Ik的第i行第j列的像素点的对比度Ck(i,j)，表示为：
Figure FDA0003792666320000031
其中，Ik(i,j)为条纹图像Ik第i行第j列的像素点的值，hc(r,l)为hg的第r+1行第l+1列处的值，对比度矩阵hc表示为：
Figure FDA0003792666320000032
S22、计算出位于条纹图像Ik的第i行第j列的像素点的曝光适当度Ek(i,j)，表示为：
Figure FDA0003792666320000033
其中，σ为取值大于0的常数。
3.根据权利要求1所述的一种基于高动态范围的三维重建方法，其特征在于，所述的步骤S5过程如下：
S51、对条纹图像Ik的拉普拉斯金字塔的第L级与条纹图像Ik对应的权重图的高斯金字塔的第L级进行按像素相乘，得到条纹图像Ik对应的加权图像金字塔的第L级
Figure FDA0003792666320000034
的第i行第j列处的值
Figure FDA0003792666320000035
表示为：
Figure FDA0003792666320000036
S52、计算高动态范围条纹图像的拉普拉斯金字塔：高动态范围条纹图像的拉普拉斯金字塔的第L级LPL的第i行第j列处的值LPL(i,j)表示为：
Figure FDA0003792666320000041
S53、金字塔融合：从高动态范围条纹图像的拉普拉斯金字塔第Ng-1级开始逐级从上至下进行递推，恢复对应的高动态范围条纹图像高斯金字塔GL，递推方法表示为：
GL＝LPL,当L＝Ng-1时
Figure FDA0003792666320000042
当0≤L＜Ng-1时
其中，
Figure FDA0003792666320000043
为对GL+1进行上采样后的图像，递推至L＝0时，得到最终的高动态范围条纹图像HI，表示为：
HI＝G0。
4.根据权利要求3所述的一种基于高动态范围的三维重建方法，其特征在于，所述的步骤S6过程如下：
S61、将高动态范围条纹图像HI中的第i行第j列处的值HI(i,j)表示为：
HI(i,j)＝A(i,j)+B(i,j)cos[φ′(i,j)]
其中，A(i,j)为测量平面的光强分布，B(i,j)为条纹对比度分布，φ′(i,j)为条纹图相位，然后，通过摄像机对被重建物体拍下相移量相对于HI分别增加
Figure FDA0003792666320000044
π和
Figure FDA0003792666320000045
的N张不同曝光度的条纹图像，再根据步骤S1至S5计算相移量相对于HI分别增加
Figure FDA0003792666320000046
π和
Figure FDA0003792666320000047
的高动态范围条纹图像HI1、HI2和HI3，HI1、HI2和HI3中的第i行第j列处的值HI1(i,j)、HI2(i,j)和HI3(i,j)表示为：
Figure FDA0003792666320000051
S62、计算相位图φ，φ的第i行第j列处的值φ(i,j)表示为：
Figure FDA0003792666320000052
其中，Iref、
Figure FDA0003792666320000053
和
Figure FDA0003792666320000054
分别为提前测得的四幅相移量为0、
Figure FDA0003792666320000055
π和
Figure FDA0003792666320000056
的高动态范围的测量平面条纹图像；
S63、对相位图φ进行相位展开和去载频，得到最终的三维重建图。
5.根据权利要求4所述的一种基于高动态范围的三维重建方法，其特征在于，所述的步骤S63过程如下：
S631、将φ(i,j)表示为：φ(i,j)＝φc(i,j)+Δφ(i,j)
其中，f为光栅基频，Δφ(i,j)为相位分布，φc(i,j)为载频相位分量，然后，将φc(i,j)表示为n项泽尼克多项式的组合：
φc(i,j)＝a0u0(i,j)+…+azuz(i,j)+...+an-1un-1(i,j)
其中，uz(i,j)为第z+1项泽尼克多项式，az为第z+1项泽尼克多项式对应的系数；
S632、在相位图φ的参考平面区域选取Ns个数据点进行拟合,有：
Figure FDA0003792666320000057
其中：
Figure FDA0003792666320000061
Figure FDA0003792666320000062
Figure FDA0003792666320000063
其中，φx表示第x个数据点对应的相位，ux,y表示第x个数据点对应的第y+1项泽尼克多项式，解得：
Figure FDA0003792666320000064
求解出A后，最终被重建物体的相位分布Δφ(i,j)为：
Δφ(i,j)＝φ(i,j)-φc(i,j)；
S633、根据被重建物体的相位分布Δφ(i,j)，恢复被重建物体的高度信息，得到被重建物体的三维信息，表示为：
Figure FDA0003792666320000065
其中，S为相机到测量面的距离，T为投影正弦光栅的周期，d为相机与投影仪的距离。
CN202110153360.5A 2021-02-04 2021-02-04 一种基于高动态范围的三维重建方法 Active CN112950494B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110153360.5A CN112950494B (zh) 2021-02-04 2021-02-04 一种基于高动态范围的三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110153360.5A CN112950494B (zh) 2021-02-04 2021-02-04 一种基于高动态范围的三维重建方法

Publications (2)

Publication Number Publication Date
CN112950494A CN112950494A (zh) 2021-06-11
CN112950494B true CN112950494B (zh) 2022-09-30

Family

ID=76243710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110153360.5A Active CN112950494B (zh) 2021-02-04 2021-02-04 一种基于高动态范围的三维重建方法

Country Status (1)

Country Link
CN (1) CN112950494B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018071041A1 (en) * 2016-10-14 2018-04-19 Hewlett-Packard Development Company, L.P. Rebuilding three-dimensional models to provide simplified three-dimensional models
CN108519064A (zh) * 2018-04-20 2018-09-11 天津工业大学 一种应用于多频率三维测量的反光抑制方法
CN110702034A (zh) * 2019-10-25 2020-01-17 湖北工业大学 高反光表面三维面形测量方法、服务器及系统
CN111028165A (zh) * 2019-11-29 2020-04-17 郑州轻工业大学 一种基于raw数据抵抗相机抖动的高动态图像恢复方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012012943A1 (en) * 2010-07-28 2012-02-02 Shenzhen Institute Of Advanced Technology Chinese Academy Of Sciences Method for reconstruction of urban scenes
CN109993825B (zh) * 2019-03-11 2023-06-20 北京工业大学 一种基于深度学习的三维重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018071041A1 (en) * 2016-10-14 2018-04-19 Hewlett-Packard Development Company, L.P. Rebuilding three-dimensional models to provide simplified three-dimensional models
CN108519064A (zh) * 2018-04-20 2018-09-11 天津工业大学 一种应用于多频率三维测量的反光抑制方法
CN110702034A (zh) * 2019-10-25 2020-01-17 湖北工业大学 高反光表面三维面形测量方法、服务器及系统
CN111028165A (zh) * 2019-11-29 2020-04-17 郑州轻工业大学 一种基于raw数据抵抗相机抖动的高动态图像恢复方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Three Dimensional Image Reconstruction Method Based on Two Dimensional Radar Image and Optical Image;X. Yao,et al.;《2019 IEEE 4th International Conference on Signal and Image Processing (ICSIP)》;20191017;第959-965页 *
基于OpenCV的三维重建关键算法研究;罗建国;《信息科技辑》;20180615(第06期);第I138-1291页 *
基于倾斜影像与点云数据的城市三维建模及应用研究;刘涛;《基础科学辑》;20200215(第02期);第A008-246页 *
多尺度细节融合的多曝光高动态图像重建;付争方等;《计算机工程与应用》;20180408(第24期);第187-192、202页 *

Also Published As

Publication number Publication date
CN112950494A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN107894215B (zh) 基于全自动曝光的高动态范围光栅投影三维测量方法
He et al. Quaternary gray-code phase unwrapping for binary fringe projection profilometry
CN109506589B (zh) 一种基于结构光场成像的三维轮廓测量方法
Rao et al. High dynamic range 3D shape determination based on automatic exposure selection
CN108195313B (zh) 一种基于光强响应函数的高动态范围三维测量方法
US7936949B2 (en) Panchromatic modulation of multispectral imagery
JP2010511258A (ja) 位置合わせされたパンクロマティック画像に基づくマルチスペクトル画像の超解像のための構造化された平滑化
Babaie et al. Dynamics range enhancement in digital fringe projection technique
CN113358063B (zh) 一种基于相位加权融合的面结构光三维测量方法及系统
CN107071248B (zh) 一种用于提取强反射表面几何特征的高动态范围成像方法
CN110599578A (zh) 一种真实感三维彩色纹理重建方法
Xiao et al. High-quality binary fringe generation via joint optimization on intensity and phase
CN115546255A (zh) 基于sift流单帧条纹投影高动态范围误差补偿方法
CN112950494B (zh) 一种基于高动态范围的三维重建方法
Zhang et al. High-dynamic-range 3D shape measurement based on time domain superposition
CN114526692A (zh) 一种基于离焦度解包裹的结构光三维测量方法及装置
Wang et al. Nonlinear high-order harmonics correction for phase measuring profilometry
CN112802084A (zh) 基于深度学习的三维形貌测量方法、系统和存储介质
CN115187649B (zh) 抗强环境光干扰的三维测量方法、系统、设备及存储介质
CN114777687B (zh) 基于概率分布函数的分区域相位误差补偿方法及设备
Huang et al. Defocusing rectified multi-frequency patterns for high-precision 3D measurement
CN116753863A (zh) 三维测量的方法、装置、电子设备及存储介质
Wu et al. Point-to-point compensation method for color coupling and imbalance in color-fringe pattern profilometry
CN115950378A (zh) 一种基于二值条纹的快速测量方法
Zhang et al. Accurate measurement of high-reflective surface based on adaptive fringe projection technique

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant