CN117274352B - 一种三维重建系统、相位计算方法和三维重建方法 - Google Patents
一种三维重建系统、相位计算方法和三维重建方法 Download PDFInfo
- Publication number
- CN117274352B CN117274352B CN202311533535.0A CN202311533535A CN117274352B CN 117274352 B CN117274352 B CN 117274352B CN 202311533535 A CN202311533535 A CN 202311533535A CN 117274352 B CN117274352 B CN 117274352B
- Authority
- CN
- China
- Prior art keywords
- phase
- imaging device
- dimensional reconstruction
- fringe
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000004364 calculation method Methods 0.000 title claims abstract description 23
- 230000010363 phase shift Effects 0.000 claims abstract description 84
- 238000003384 imaging method Methods 0.000 claims abstract description 53
- 238000005259 measurement Methods 0.000 claims abstract description 19
- 230000001360 synchronised effect Effects 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 claims description 2
- 238000007747 plating Methods 0.000 claims description 2
- 230000001105 regulatory effect Effects 0.000 claims description 2
- 230000007547 defect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种三维重建系统、相位计算方法和三维重建方法，系统包括预配准相移条纹投影装置、左成像装置、右成像装置、正弦条纹结构光模板和测量控制模块，预配准相移条纹投影装置通过电子切换的方式进行分时投影，并通过正弦条纹结构光模板投影出N幅正弦条纹结构光图像，照射在需要三维重建的物体表面，左成像装置和右成像装置接收预配准相移条纹投影装置发出的同步控制信号，根据同步控制信号采集被正弦条纹结构光图像照射的物体表面图像作为三维重建图像传送至测量控制模块，测量控制模块根据接收到的三维重建图像完成三维重建，N≧3且为整数。解决了三维重建系统图像采集速度受投影装置的投影帧率限制的不足。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种三维重建系统、相位计算方法和三维重建方法。
背景技术
3D人脸识别由于其高识别率、高防伪性能，在公共安全、智慧校园、科研教学及疫情防控等领域均有非常广阔的应用前景，是建设智能化公共服务平台、智慧城市和平安城市的重要核心技术之一。而3D人脸识别快速发展的前提是要拥有高精度的3D人脸数据库或能实现三维人脸数据的现场快速采集，因此高速高精度的3D人脸采集系统的研制成为了热门研究方向。
近年来已提出多种基于非DLP的相移条纹投影方案：
（1）基于微机电系统（Micro Electro Mechanical Systems，MEMS）振镜的条纹结构光投影技术。MEMS振镜作为一种典型的光学微电子机械，能使入射光束按照特定的方式与时间顺序发生反射，从而在像面上实现扫描成像。但其目前市面上的产品主要投影格雷码为主，投影帧数较多而不适用于动态采集；此外，受激光输出光功率低的影响，投影能量较低，噪声较大，只适合近距离测量且精度较低；
（2）机械式条纹结构光投影技术。这种方法大多通过电机带动正弦光栅掩膜板（光栅片）进行旋转或平移，通过机械式组合结构实现相移的较准确控制。目前，申请号为CN202110534572.8的中国专利申请公开了一种光栅平动结构光三维测量系统及三维测量方法，该专利采用微型步进电机带动光栅片平动并利用位移检测器反馈步进位移量来实现较准确的相移控制，虽然该技术在电机的快速平动模式下相比于DLP投影有较大的速率提升，但由于步进电机存在响应延迟，使得该方法的投影帧率依然受限，即3D采集系统的采集帧率依然受限于投射器的投影帧率。
发明内容
本发明的目的在于克服现有技术中所存在的上述不足，提供一种三维重建系统、相位计算方法和三维重建方法。
为了实现上述发明目的，本发明提供了以下技术方案：
一种三维重建系统，包括预配准相移条纹投影装置、左成像装置、右成像装置、正弦条纹结构光模板和测量控制模块，
预配准相移条纹投影装置通过电子切换的方式进行分时投影，切换时间根据左成像装置或右成像装置的采集帧率确定，二者采集帧率相同，并通过正弦条纹结构光模板投影出N幅正弦条纹结构光图像，照射在需要三维重建的物体表面，
左成像装置和右成像装置接收预配准相移条纹投影装置发出的同步控制信号，根据同步控制信号采集被正弦条纹结构光图像照射的物体表面图像作为三维重建图像传送至测量控制模块，
测量控制模块根据接收到的三维重建图像完成三维重建，N≥3且为整数。
优选地，左成像装置和右成像装置安装在预配准相移条纹投影装置左右两侧，且二者在同一水平直线上。
优选地，预配准相移条纹投影装置包括一体化光栅片、一体化投影基座、N个LED光源和N个投影镜头，
一体化光栅片通过镀铬以及二值条纹编码方法预制有N幅正弦相移图案，预制的正弦相移图案相互平行，并且与一体化光栅片的长边平行，
N个LED光源照明一体化光栅片上预制的N幅正弦相移图案，
N个投影镜头将被照明的N幅正弦相移图案投射到需要三维重建的物体表面，
一体化投影基座的长边与左成像装置和右成像装置之间的水平直线垂直。
优选地，N个投影镜头的光心共线且与预制的正弦相移图案平行。
优选地，在使用系统前，对系统进行预配准，预配准包括以下流程：
a.通过鉴像板调整投影镜头、左成像装置和右成像装置的焦距；
b.通过PWM调节器将每个LED光源的亮度调节为一致；
c.调整投影镜头与一体化光栅片的横向位置，将不同的正弦相移条纹图像之间的相位差调整为2π/N。
一种相位计算方法，包括以下步骤：
Sa1.计算左成像装置和右成像装置采集的正弦相移条纹图像之间的差分图，计算公式如下：
其中，l、k为正弦相移条纹图像的序列号，k=0,1,....N-2, l=1,2,....N-1，l＞k，第一幅正弦相移条纹图像的序列号为0，p为正弦相移条纹图像的像素位置，p = 1, 2,...,P，P为正弦相移条纹图像的总像素，P为正整数，a p 、b p 和φ p 分别表示背景强度、调制振幅和待测相位，δ l 和δ k 分别表示第l+1幅和第k+1幅正弦相移条纹图像的相移量，定义δ 0 =0；
Sa2.使用欧几里德矩阵范数方程对进行简化，简化结果如下：
其中，其中|| ||2为欧几里德矩阵范数方程算子，R为常数项；
Sa3.根据E kl 的表达式构建最小二乘方程组，确定δ l 和δ k 的值；
Sa4.使用最小二乘法并基于已确定的δ l 和δ k 进行相位提取。
优选地，在步骤Sa3中，根据E kl 的表达式构建最小二乘方程组，确定δ l 和δ k 的值，包括以下步骤：
Sa31.在N=3时，δ l 和δ k 的确定包括以下步骤：
Sa311.在N=3时，最小二乘方程组为：
根据相移量的范围为[0, π]，将最小二乘方程组简化为：
Sa312.结合简化后的E 12和E 13来对E 23进行换算，得到下列两个方程组：
第一方程组：
第二方程组：
Sa313.以AX=B的方式表示步骤Sa32中的两个方程组，得到以下式子：
其中，，和/>分别用变量x 1和x 2表示，A 1为/>，A 2为/>，B 1为，B 2为/>；
Sa314.根据最小二乘法确定x 1和x 2的最优值，计算公式如下：
；
Sa315.根据arccos算子计算和/>的值；
Sa32.在N>3时，与N=3时，计算相位的方法一样，区别在于构建的最小二乘方程组的数量为，/>表示差分图的数量，其中第一组方程组的系数和第二方程组的系数分别通过下列表达式表示：
。
一种三维重建方法，包括以下步骤：
Sb1.使用三维重建系统中的左成像装置和右成像装置分别采集N帧投射在需要被三维重建物体表面的正弦相移条纹图像，并对采集的图像进行极线校正；
Sb2.根据相位计算方法计算左成像装置和右成像装置采集图像的左右包裹相位φ(x,y)；
Sb3.根据左右包裹相位φ(x,y)提取左右相位级次线；
Sb4.将提取的左右相位级次线作为模板，基于预设视差阈值范围R，使用左成像装置和右成像装置各自采集的第一帧正弦相移条纹图像进行立体匹配，确定预配准稀疏视差图D，并提取局部视差点Di，预设视差阈值范围R是假设深度范围已知的情况下，通过立体匹配确定的需要被三维重建物体的视差范围；
Sb5.根据局部视差点Di，寻找左右相对相位中的对应匹配对，并计算对应匹配对的相位级次差K i ；
Sb6.通过投票策略，统计相位级次差Ki出现概率最大的值，作为最终确定的相位级次差K，K为正整数；
Sb7.对左右包裹相位φ(x,y)进行基于可靠性引导的空间相位展开，得到左右相对相位；
Sb8.根据2Kπ的相位关系，采用相位调整算法，将左右相对相位调整到相同的相位基准，生成相对相位对；
Sb9.基于相对相位对，进行相位立体匹配，得到高密度视差图，实现三维重建。
优选地，在步骤Sb3中，采用单一的列向差分法提取相位级次线。
优选地，在步骤Sb5中，根据局部视差点Di，寻找左右相对相位中的对应匹配对，并计算对应匹配对的相位级次差K i ，包括以下步骤：
Sb51.以预配准稀疏视差图D上的每个已匹配点为锚点p(xi, yi)，并设定任意锚点p(xi, yi)的预配准视差值为d，i表示预配准稀疏视差图D中的有效点数或锚点个数；
Sb52.确定左右同一极线行上的两个相对相位，分别为 Lp(xl,i, yl,i)和/> Rp(xr，i, yl,i-di)，xl=xr；
Sb53.确定相对相位差Δ，Δ/>(xl,i, yl,i)=/> Lp(xl,i, yl,i)-/> Rp(xr,i, yl,i-di)；
Sb54.确定相位级次差Ki，Ki=Round[Δ(xl,i, yl,i)/2π]，其中，Round[]代表四舍五入操作。
与现有技术相比，本发明的有益效果：
1.三维重建系统采用了基于预配准电子切换的方式进行相移条纹投影，速度快，使三维重建系统的采集速度整体上不再受限于投影装置，而只与成像装置的帧率相关，具有高速高精度特性；
2.在使用三维重建系统前，对系统进行预配准，当预制光栅片时，将带有2π/N固定相移量的N幅相移图案刻蚀在一片光栅片上，以保证条纹之间的平行性，并形成了一片带有预制相移的一体化光栅片，降低了投影帧间的相移量误差；同时使用PWM调节器减少了亮度误差，提高了系统的准确率；
3.通过使用欧几里德矩阵范数方程对正弦相移条纹图像之间的差分图进行简化计算，并通过构建最小二乘方程组得出了在正弦相移条纹图像数量大于等于3时，计算相位的通用办法，有效的解决了由于硬件、结构本身的装配误差导致的相移误差问题；
4.三维重建方法借助视差约束条件，并利用相位级次线和相移条纹本身构造的纹理信息，即可在投影N≥3帧情况下实现高速、高精度的三维重建，具备高鲁棒性和高普适性。
附图说明
图1为系统示意图；
图2为预配准相移条纹投影装置图；
图3为预配准相移条纹投影装置的投影光路视场范围图；
图4为相位计算方法流程图；
图5为三维重建方法流程图；
图6为由条纹图提取的包裹相位和相位级次线图；
图7为局部视差点Di的提取示意图；
图8为相位调整前后示意图；
图9为三维重建后的高密度视差图；
图10为生成的三维点云图。
图中标记：100-预配准相移条纹投影装置，101-LED光源，102-一体化投影基座，103-投影镜头，104-一体化光栅片，201-左相机，202-右相机，300-测量控制模块。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
全文中所提到的N均是大于等于3的整数。
实施例1
如图1所示，三维重建系统，包括预配准相移条纹投影装置100、左相机201、右相机202、测量控制模块300。预配准相移条纹投影装置100的光路通过一体化光栅片104分时投影出3幅正弦条纹结构光图像，照射在被测物体表面，同时输出同步控制信号给左相机201和右相机202，左相机201和右相机202工作于外触发状态，在预配准相移条纹投影装置100所输出的同步控制信号控制下采集被投影结构光场照明下的物体表面作为建模图像传送至所述测量控制模块300，测量控制模块300控制协调三维建模实现系统的工作流程，并基于接收的条纹图像完成三维建模。
预配准相移条纹投影装置100，如图2所示， 包括3个LED光源101，1个一体化投影基座102，3个投影镜头103，以及1个一体化光栅片104，其中，一体化光栅片104通过镀铬技术及二值条纹编码方法预制了三步正弦相移图案，预制相移为0, 2π/3, 4π/3（尽可能为满周期等间距分布）。具体的，二值条纹编码方法包含但不限于二值误差扩散法，而预制相移条纹为相互平行的正弦相移图案，并且需保证条纹方向与光栅片的长边平行，3个LED光源101分时照明一体化光栅片104上的三步正弦相移条纹图像，利用三个独立镜头将一体化光栅片104上预制的三步平行相移图案投射到测量空间，图3所示为预配准相移条纹投影装置100的投影光路视场范围，则投射到测量空间的3组平行相移条纹在500mm工作距离处的重合视场直径为：406.25-2*18=370.25mm，N个独立镜头的光心需共线且平行于条纹方向，预配准相移条纹投影装置100（或一体化投影基座102）的长边需垂直于双目相机基线进行安装。
预配准相移条纹投影装置100通过电子切换的方式快速分时投影，从而实现正弦相移条纹图像的投影。切换间隔时间为帧率的倒数的数值部分，单位为秒，例如相机帧率为200FPS，则通过每5ms电子切换一次的方式进行分时投影，以三帧为例，则实现一次完整的正弦相移条纹图像采集只需要15ms即可完成，且速度只受限于左右相机采集图像的帧率，与传统DLP设备相比，速度不再受限于投影装置，这将大大提高设备的采集速度。
由于正弦相移条纹图像需通过多镜头进行投射，因此在获取正弦相移条纹图像用于重建前，需对系统进行预配准，其目的为对多投射器拟投影正弦相移条纹图像的背景强度、调制幅度、相移量等参素做预校准，以使硬件状态尽可能满足相移法测量要求。具体的，首先对相机及投影镜头采用鉴像板进行精确对焦，将每个镜头的焦距均调至最佳状态；然后通过PWM 调机节器调节每个通道的LED亮度，使亮度均匀性基本一致；最后通过调节投影镜头四周固定螺栓来调节投影镜头与一体化光栅片的横向位置，使多通道投影的条纹帧间形成预设2π/N固定相差。观察上位机条纹相移监测软件，当满足调节目标时，锁紧调节螺栓即完成调节。
实施例2
如图4所示，一种相位计算方法，包括以下步骤：
Sa1. 计算帧间差分图：=I k,p -I l,p （k=0,1,....N-2,l=1,2,....N-1，l＞k），对采集的未知正弦相移条纹图像序列I n ，其模型可以表示为：
，
其中n(n= 0, 1,...,N) 和p(p= 1, 2,...,P) 分别表示相移图的序列号和像素位置，P为正弦相移条纹图像的总像素数，为正整数，a p 、b p 和φ p 分别表示背景强度、调制振幅和待测相位，δ n 表示第n+1幅正弦相移条纹图像的未知相移量。为简单起见，通常定义δ 0=0，也就是第一幅正弦相移条纹图像的未知相移量，则：对于获取的N帧（N≥3）正弦相移条纹图像，第k幅和第l幅图像之间的差分图可以描述为（为了缩短表示，下式中隐去了符号(x,y)）：
，
根据上式，在N=3时，三帧正弦相移条纹图像可具体描述为：
，
对上式进行两两相减，得到的差分图如下所示（一些符号如(x,y)被省略以缩短表示）：
，
Sa2.计算差分图的欧几里德矩阵范数（EMN）方程Ekl =||||2并简化，具体如下：一般来说，对于一个M*N阶矩阵P=P(m,n)，其EMN被定义为：
，
其中|| ||2被称为EMN算子，因此，的EMN可以表示为：
，
其中M、N分别为正弦相移条纹图的行数和列数，m和n分别为选择的正弦相移条纹图像的行数和列数。
当相移图中的条纹数大于1时，上式中的三角函数周期也大于1，那么有如下近似条件成立：
，
结合近似条件，此时公式E kl 可以被简化为：
，
通常认为，在相移图序列中，b p (x,y)在时域上是不变化的，因此上式中R通常为常数项。由此可知，相移图相减后得到的EMN是关于相移量的函数，与成正比，且只包含三个未知数R、δ 1、δ 2，即最少只需要三个方程（3张相移条纹）即可解方程；
Sa3.构建最小二乘方程组，求解未知相移量δ n ，具体如下：在N=3时，由公式E kl ，对应的三个方程为：
，
由于预设相移数N≥3帧，因此相移量δ n 通常被控制在[0, π]的范围内，那么δ n /2的范围为[0, π/2]，对应。当相移量逐渐增加，有，则对应/>。因此，公式 E 12 、E 13 、E 23 以简化为：
，
在上述公式中，结合和/>来对/>进行展开、平移再平方等系列换算后，可得两个方程组：
，
即为构建的用于求解δ n 的最小二乘方程组，将和/>看成两个未知变量x 1和x 2，换算成AX=B的二元一次方程组可得：
，
其中， ，
和/> 分别用变量x 1和x 2表示，/>为/> ，/>为，/>为/> ，/>为/>
根据上式可将矩阵转化为，，
则，
此时，根据最小二乘法确定x1和x2的最优值，计算公式如下：
，
最后，通过arccos算子便可估算出准确的相移量δ 1 和δ 2 :
，
由于已定义δ 0 =0，则可得相移δ n 为0,δ 1,δ 2。
在N>3时，根据N=3的方法，同样获得对应的方程组（共计个）并基于最小二乘法完成δ n 的提取，其中/>表示差分图的数量。因此，该算法适用于N≥3帧正弦相移条纹图像的相位计算。分别列出N=3,4,5,6...时对应的最小二乘方程组，如表1所示：
表1 构建的N≥3时对应的最小二乘方程组
则通过表1的归纳总结，第一组方程的系数可以通过以下公式得到：
，
第二组方程的系数可以通过以下公式得到：
，
Sa4.使用最小二乘法并基于已确定的δ l 和δ k 进行相位提取。
因此，对于任何N≥3的正弦相移条纹图像，未知相移δ n 均可通过上述第一和第二方程组进行计算，这是一种N帧通用计算公式，计算简单且时间成本低，具有较大的使用价值。
实施例3
如图5所示，一种三维重建方法，包括以下步骤：
Sb1.使用三维重建系统中的左成像装置和右成像装置分别采集N帧投射在需要被三维重建物体表面的正弦相移条纹图像，并对采集的图像进行极线校正；
Sb2.根据相位计算方法计算左成像装置和右成像装置采集图像的左右包裹相位φ(x,y)，包裹相位φ(x,y)就是通过相位计算方法计算出来的相位值，仅是在此处将其定义为包裹相位；
Sb3.根据左右包裹相位φ(x,y)提取左右相位级次线；
Sb4.将提取的左右相位级次线作为模板，基于预设视差阈值范围R，使用左成像装置和右成像装置各自采集的第一帧正弦相移条纹图像进行立体匹配，确定预配准稀疏视差图D，如图6所示，并提取局部视差点Di，预设视差阈值范围R是假设深度范围已知的情况下，通过立体匹配确定的需要被三维重建物体的视差范围；
Sb5.根据局部视差点Di，寻找左右相对相位中的对应匹配对，并计算对应匹配对的相位级次差K i ；
Sb6.通过投票策略，统计相位级次差Ki出现概率最大的值，作为最终确定的相位级次差K，K为正整数；
Sb7.对左右包裹相位φ(x,y)进行基于可靠性引导的空间相位展开，得到左右相对相位；
Sb8.根据2Kπ的相位关系，采用相位调整算法，将左右相对相位调整到相同的相位基准，生成相对相位对；
Sb9.基于相对相位对，进行相位立体匹配，得到高密度视差图，实现三维重建。
在步骤Sb3中，采用单一的列向差分法提取相位级次线，提取的包裹相位和相位级次线如图6所示。
如图7所示，步骤Sb4的具体内容如下：对左右第一帧正弦条纹图像进行立体匹配，可以采用但不限于零均值归一化交叉相关(ZNCC)算法等。但值得注意的是，与散斑立体匹配不同，由于正弦条纹的周期特性，如果匹配在整个极线行上进行搜索，将会受到条纹模糊性的干扰，难以准确匹配。因此，有两个关键因素用于保证条纹立体匹配的准确性：（1）以相位级次线为模板，将左右级次线对应像素坐标分别映射到左右第一帧正弦条纹图像上，可实现匹配点的快速定位；（2）以预设视差阈值范围R来实现搜索范围的限制约束作用，以消除相位模糊带来的错误匹配，其中，预设视差阈值范围是假设深度范围已知的情况下，通过立体匹配大致确定的被测对象的视差范围。在双目立体视觉系统中，假设深度范围是已知的，通过双目相机基线及立体匹配可以大致确定当前深度范围内的大致视差范围。这个匹配过程是基于PatchMatch方法中广泛使用的相干性假设方法来进行的，即物体表面的变化是平滑的，那么视差值也应如此。例如，以测量人脸为例，选择瞳孔中心（离相机最近）、鼻尖和嘴角作为锚点，它们对应的视差（x l - x r ）分别为68、69、105、81和82，这样人脸区域的视差范围为R1∈[68,105]。为了提高可靠性，实际估计的视差范围通常需扩大一些，如R2∈[63,110]，被称为 “预设视差阈值范围”，可用于较大程度上减少立体匹配的搜索半径，从而实现更快的立体匹配。
步骤Sb5的具体内容如下：以局部视差点Di上的每个已匹配点为锚点，设任意锚点p(xi, yi)的预配准视差值为d，i表示视差图D中的有效点数或锚点个数，对应的左相对相位为 Lp(xl,i, yl,i)，则右相对相位为/> Rp(xr,i, yl,i-di)（同一行上），xl=xr，计算Δ/>(xl,i,yl,i)=/> Lp(xl,i, yl,i)-/> Rp(xr,i, yl,i-di)，即可求得每个锚点对应的左右相位差；然后，通过以下公式即可求得每个锚点所对应的相位级次差：
Ki=Round[Δ(xl,i, yl,i)/2π]，
其中，Round[]代表四舍五入操作。
在步骤Sb6中，通过投票策略，统计出Ki中出现概率最大的值，作为最终确定的相位级次差K，K为整数。
在步骤Sb7中，对左右包裹相位φ(x,y)进行基于可靠性引导的空间相位展开，得到左右相对相位。
步骤Sb8的具体内容如下：相位调整算法，即以左相位为参考，设调整前左右相对相位被标记为 L(x,y)和/> R(x,y)，则调整后的相对相位对可表示为：
'L(x,y)=/> L(x,y)，
'R(x,y)=/> R(x,y)+2Kπ，
调整后的左相对相位和右相对相位具有相同相位基准，位于相同的相位级次内，'L(x,y)为调整后的左相对相位，/>'R(x,y)为调整后的右相对相位，如图8所示为相位调整前后的过程示例，图8包括图8（a）和图8（b）。假设AL和AR是分别位于左右人脸鼻尖上的同一点，/> AL=/> 1, /> AR=/> 2，∆/>=/> AL-/> AR=/> 1-/> 2。如图8(a)所，相位调整前，左相对相位 L与右相对相位/> R的横截面没有重合。根据相位调整算法的公式，相位级次差Ki= Round[(/> 1-/> 2)/2π]，则/>'AL=/> 1,/>'AR=/> AR+2π*Ki=/> 1，如此，AL和AR点的相位值就被调整到相同的相位基准。如图8(b)所示，相位调整后，右相对相位/>'R与左相对相位/>'L的横截面重合，这里完全重合是假设了AL和AR是同一点的原因，如果他们之间存在像素偏差，二者表现为在同一个相位级次内有少许错位。
在步骤Sb9中，生成的高密度视差图如图9所示，生成的三维点云如图10所示，采用双线性插值法以提高视差精度，并且该相位立体匹配是在相对相位基础上完成，而非绝对相位，该方法代替了传统寻找绝对相位的过程。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种三维重建系统，其特征在于，包括预配准相移条纹投影装置、左成像装置、右成像装置、正弦条纹结构光模板和测量控制模块，
预配准相移条纹投影装置通过电子切换的方式进行分时投影，切换时间为左成像装置或右成像装置图像采集帧率倒数的数值部分，并通过正弦条纹结构光模板投影出N幅正弦条纹结构光图像，照射在需要三维重建的物体表面，
预配准相移条纹投影装置包括一体化光栅片、一体化投影基座、N个LED光源和N个投影镜头，
一体化光栅片通过镀铬以及二值条纹编码方法预制有N幅正弦相移图案，预制的正弦相移图案相互平行，并且与一体化光栅片的长边平行，
N个LED光源照明一体化光栅片上预制的N幅正弦相移图案，
N个投影镜头将被照明的N幅正弦相移图案投射到需要三维重建的物体表面，N个投影镜头的光心共线且与预制的正弦相移图案平行；
一体化投影基座的长边与左成像装置和右成像装置之间的水平直线垂直；
左成像装置和右成像装置接收预配准相移条纹投影装置发出的同步控制信号，根据同步控制信号采集被正弦条纹结构光图像照射的物体表面图像作为三维重建图像传送至测量控制模块，
测量控制模块根据接收到的三维重建图像完成三维重建，N≥3且为整数；
在使用系统前，对系统进行预配准，预配准包括以下流程：
a.通过鉴像板调整投影镜头、左成像装置和右成像装置的焦距；
b.通过PWM调节器将每个LED光源的亮度调节为一致；
c.调整投影镜头与一体化光栅片的横向位置，将不同的正弦相移条纹图像之间的相位差调整为2π/N。
2.根据权利要求1所述的一种三维重建系统，其特征在于，左成像装置和右成像装置安装在预配准相移条纹投影装置左右两侧，且二者在同一水平直线上。
3.一种基于权利要求1或2任一所述一种三维重建系统的相位计算方法，其特征在于，包括以下步骤：
Sa1.计算左成像装置和右成像装置采集的正弦相移条纹图像之间的差分图 ，计算公式如下：
其中，为序列号为k，像素位置为p的正弦相移条纹图像序列，/>为序列号为l，像素位置为p的正弦相移条纹图像序列，l、k为正弦相移条纹图像的序列号，k=0,1,....N-2,l=1,2,....N-1，l＞k，第一幅正弦相移条纹图像的序列号为0，p为正弦相移条纹图像的像素位置，p = 1, 2,..., P，P为正弦相移条纹图像的总像素，P为正整数，a p 、b p 和φ p 分别表示背景强度、调制振幅和待测相位，δ l 和δ k 分别表示第l+1幅和第k+1幅正弦相移条纹图像的相移量，定义δ 0 =0；
Sa2.使用欧几里德矩阵范数方程对进行简化，简化结果如下：
其中，其中|| ||2为欧几里德矩阵范数方程算子，R为常数项；
Sa3.根据E kl 的表达式构建最小二乘方程组，确定δ l 和δ k 的值；
Sa4.使用最小二乘法并基于已确定的δ l 和δ k 进行相位提取。
4.根据权利要求3所述的一种相位计算方法，其特征在于，在步骤Sa3中，根据E kl 的表达式构建最小二乘方程组，确定δ l 和δ k 的值，包括以下步骤：
Sa31.在N=3时，δ l 和δ k 的确定包括以下步骤：
Sa311.在N=3时，最小二乘方程组为：
根据相移量的范围为[0, π]，将最小二乘方程组简化为：
Sa312.结合简化后的 和 /> 来对 /> 进行换算，得到下列两个方程组：
Sa313.以AX=B的方式表示步骤Sa32中的两个方程组，得到以下式子：
其中，
，
和 /> 分别用变量x 1和x 2表示，/> 为 /> ，/> 为 ，/> 为 /> ，/> 为 /> ；
Sa314.根据最小二乘法确定x 1和x 2的最优值，计算公式如下：
；
Sa315.根据arccos算子计算 和 /> 的值；
Sa32.在N>3时，与N=3时，计算相位的方法一样，区别在于构建的最小二乘方程组的数量为 ，/> 表示差分图的数量，其中第一组方程组的系数和第二方程组的系数分别通过下列表达式表示：
。
5.一种三维重建方法，其特征在于，包括以下步骤：
Sb1.使用权利要求1或2任一所述的三维重建系统中的左成像装置和右成像装置分别采集N帧投射在需要被三维重建物体表面的正弦相移条纹图像，并对采集的图像进行极线校正；
Sb2.根据权利要求3或4任一所述的相位计算方法计算左成像装置和右成像装置采集图像的左右包裹相位φ(x,y)；
Sb3.根据左右包裹相位φ(x,y)提取左右相位级次线；
Sb4.将提取的左右相位级次线作为模板，基于预设视差阈值范围R，使用左成像装置和右成像装置各自采集的第一帧正弦相移条纹图像进行立体匹配，确定预配准稀疏视差图D，并提取局部视差点Di，预设视差阈值范围R是假设深度范围已知的情况下，通过立体匹配确定的需要被三维重建物体的视差范围；
Sb5.根据局部视差点Di，寻找左右相对相位中的对应匹配对，并计算对应匹配对的相位级次差K i ；
Sb6.通过投票策略，统计相位级次差Ki出现概率最大的值，作为最终确定的相位级次差K，K为正整数；
Sb7.对左右包裹相位φ(x,y)进行基于可靠性引导的空间相位展开，得到左右相对相位；
Sb8.根据2Kπ的相位关系，采用相位调整算法，将左右相对相位调整到相同的相位基准，生成相对相位对；
Sb9.基于相对相位对，进行相位立体匹配，得到高密度视差图，实现三维重建。
6.根据权利要求5所述的一种三维重建方法，其特征在于，在步骤Sb3中，采用单一的列向差分法提取相位级次线。
7.根据权利要求6所述的一种三维重建方法，其特征在于，在步骤Sb5中，根据局部视差点Di，寻找左右相对相位中的对应匹配对，并计算对应匹配对的相位级次差K i ，包括以下步骤：
Sb51.以预配准稀疏视差图D上的每个已匹配点为锚点p(xi, yi)，并设定任意锚点p(xi, yi)的预配准视差值为d，i表示预配准稀疏视差图D中的有效点数或锚点个数；
Sb52.确定左右同一极线行上的两个相对相位，分别为 Lp(xl,i, yl,i)和/> Rp(xr，i,yl,i-di)，xl=xr；
Sb53.确定相对相位差Δ，Δ/>(xl,i, yl,i)=/> Lp(xl,i, yl,i)-/> Rp(xr,i, yl,i-di)；
Sb54.确定相位级次差Ki，Ki=Round[Δ(xl,i, yl,i)/2π]，其中，Round[]代表四舍五入操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311533535.0A CN117274352B (zh) | 2023-11-17 | 2023-11-17 | 一种三维重建系统、相位计算方法和三维重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311533535.0A CN117274352B (zh) | 2023-11-17 | 2023-11-17 | 一种三维重建系统、相位计算方法和三维重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117274352A CN117274352A (zh) | 2023-12-22 |
| CN117274352B true CN117274352B (zh) | 2024-02-06 |
Family
ID=89214614
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311533535.0A Active CN117274352B (zh) | 2023-11-17 | 2023-11-17 | 一种三维重建系统、相位计算方法和三维重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117274352B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7440590B1 (en) * | 2002-05-21 | 2008-10-21 | University Of Kentucky Research Foundation | System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns |
| CN109974626A (zh) * | 2019-04-08 | 2019-07-05 | 四川大学 | 一种基于相移量编码条纹级次的结构光三维测量方法 |
| CN110132173A (zh) * | 2019-04-28 | 2019-08-16 | 航天智造（上海）科技有限责任公司 | 基于区域调制相移模板的高精度三维结构光重建方法 |
| CN112712585A (zh) * | 2020-12-15 | 2021-04-27 | 四川川大智胜软件股份有限公司 | 基于弧形二值编码相移条纹投影的三维成像系统及方法 |
| CN112762859A (zh) * | 2020-12-22 | 2021-05-07 | 四川大学 | 一种非数字光机正弦条纹结构光高精度三维测量装置 |
| CN113218336A (zh) * | 2021-03-31 | 2021-08-06 | 博众精工科技股份有限公司 | 一种光栅片、结构光三维重建的投影装置和测量装置 |
| CN113251952A (zh) * | 2021-05-17 | 2021-08-13 | 四川川大智胜软件股份有限公司 | 一种光栅平动结构光三维测量系统及三维测量方法 |
| CN114111637A (zh) * | 2021-11-25 | 2022-03-01 | 天津工业大学 | 一种基于虚拟双目的条纹结构光三维重建方法 |
| CN114413787A (zh) * | 2022-01-21 | 2022-04-29 | 西安知微传感技术有限公司 | 基于结构光的三维测量方法及大景深三维深度相机系统 |
| CN116592792A (zh) * | 2023-04-06 | 2023-08-15 | 四川大学 | 一种使用散斑辅助相对相位立体匹配的测量方法和系统 |
| CN116718133A (zh) * | 2023-06-16 | 2023-09-08 | 成都西南信息控制研究院有限公司 | 近距离单点结构光三维测量方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106767527B (zh) * | 2016-12-07 | 2019-06-04 | 西安知象光电科技有限公司 | 一种三维轮廓的光学混合检测方法 |
| CN109919876B (zh) * | 2019-03-11 | 2020-09-01 | 四川川大智胜软件股份有限公司 | 一种三维真脸建模方法及三维真脸照相系统 |
-
2023
- 2023-11-17 CN CN202311533535.0A patent/CN117274352B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7440590B1 (en) * | 2002-05-21 | 2008-10-21 | University Of Kentucky Research Foundation | System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns |
| CN109974626A (zh) * | 2019-04-08 | 2019-07-05 | 四川大学 | 一种基于相移量编码条纹级次的结构光三维测量方法 |
| CN110132173A (zh) * | 2019-04-28 | 2019-08-16 | 航天智造（上海）科技有限责任公司 | 基于区域调制相移模板的高精度三维结构光重建方法 |
| CN112712585A (zh) * | 2020-12-15 | 2021-04-27 | 四川川大智胜软件股份有限公司 | 基于弧形二值编码相移条纹投影的三维成像系统及方法 |
| CN112762859A (zh) * | 2020-12-22 | 2021-05-07 | 四川大学 | 一种非数字光机正弦条纹结构光高精度三维测量装置 |
| CN113218336A (zh) * | 2021-03-31 | 2021-08-06 | 博众精工科技股份有限公司 | 一种光栅片、结构光三维重建的投影装置和测量装置 |
| CN113251952A (zh) * | 2021-05-17 | 2021-08-13 | 四川川大智胜软件股份有限公司 | 一种光栅平动结构光三维测量系统及三维测量方法 |
| CN114111637A (zh) * | 2021-11-25 | 2022-03-01 | 天津工业大学 | 一种基于虚拟双目的条纹结构光三维重建方法 |
| CN114413787A (zh) * | 2022-01-21 | 2022-04-29 | 西安知微传感技术有限公司 | 基于结构光的三维测量方法及大景深三维深度相机系统 |
| CN116592792A (zh) * | 2023-04-06 | 2023-08-15 | 四川大学 | 一种使用散斑辅助相对相位立体匹配的测量方法和系统 |
| CN116718133A (zh) * | 2023-06-16 | 2023-09-08 | 成都西南信息控制研究院有限公司 | 近距离单点结构光三维测量方法 |
Non-Patent Citations (7)
| Title |
|---|
| 3D reconstruction method based on N-step phase unwrapping;Lin Wang等;The Visual Computer;第1-13页 * |
| Using facial landmarks to assist the stereo matching in fringe projection based 3D face profilometry;Yanqiong Guo等;Optical Engineering;第60卷(第7期);第1-15页 * |
| 一种利用结构光照明的高精度三维测量系统;李伊等;红外;第44卷(第10期);第21-33页 * |
| 三维曲面测量的编码结构光技术研究;唐苏明;中国博士学位论文全文数据库 信息科技辑(第3期);第I138-174页 * |
| 基于条纹投影结构光三维重建系统研究;杜国红;万方数据;第1-70页 * |
| 联合散斑与相位混合光场调制的三维重建方法;郭丽君等;激光与光电子学进展;第59卷(第10期);第314-323页 * |
| 高效RGB格雷码与相移法结合的三维重建技术;皮金柱等;传感器与微系统(第5期);第65-68+76页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117274352A (zh) | 2023-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6084712A (en) | Three dimensional imaging using a refractive optic design | |
| US10648789B2 (en) | Method for monitoring linear dimensions of three-dimensional objects | |
| TWI485361B (zh) | 三維形貌輪廓量測裝置及其方法 | |
| CN106548489B (zh) | 一种深度图像与彩色图像的配准方法、三维图像采集装置 | |
| US9019351B2 (en) | Three-dimensional image measuring apparatus | |
| CN101373135B (zh) | 基于瞬时随机光照的三维曲面测量装置及方法 | |
| CN103292740B (zh) | 一种三维扫描仪测量方法及其装置 | |
| TW488145B (en) | Three-dimensional profile scanning system | |
| CN108151671A (zh) | 一种三维数字成像传感器、三维扫描系统及其扫描方法 | |
| CN113251952B (zh) | 一种光栅平动结构光三维测量系统及三维测量方法 | |
| CN112762859B (zh) | 一种非数字光机正弦条纹结构光高精度三维测量装置 | |
| CN107967697B (zh) | 基于彩色随机二元编码结构照明的三维测量方法和系统 | |
| Liu et al. | A novel stereo vision measurement system using both line scan camera and frame camera | |
| CN110692084B (zh) | 用于导出场景的拓扑信息的装置和机器可读存储介质 | |
| CN108050958B (zh) | 一种基于视场匹配的单目深度相机及其对物体形貌的检测方法 | |
| Miao et al. | High-efficiency 3D reconstruction with a uniaxial MEMS-based fringe projection profilometry | |
| CN116592792A (zh) | 一种使用散斑辅助相对相位立体匹配的测量方法和系统 | |
| CN113763540A (zh) | 一种基于散斑条纹混合调制的三维重建方法及设备 | |
| Zhou et al. | 3D face imaging with the spatial-temporal correlation method using a rotary speckle projector | |
| CN106123807B (zh) | 一种产品3d检测系统及相应检测方法 | |
| CN117274352B (zh) | 一种三维重建系统、相位计算方法和三维重建方法 | |
| Hu et al. | Accurate 3-D shape measurement for large objects using speckle-assisted fringe projection and global markers localization | |
| JP2004537732A (ja) | 干渉縞を投影し絶対位相写像を評価することによる三次元画像法 | |
| KR20000053779A (ko) | 2차원 격자무늬를 이용한 3차원 형상측정시스템 | |
| RU125335U1 (ru) | Устройство контроля линейных размеров трехмерных объектов |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |