CN113344985A - 一种针对相移结构光成像的多径干扰的解扰方法 - Google Patents
一种针对相移结构光成像的多径干扰的解扰方法 Download PDFInfo
- Publication number
- CN113344985A CN113344985A CN202110679873.XA CN202110679873A CN113344985A CN 113344985 A CN113344985 A CN 113344985A CN 202110679873 A CN202110679873 A CN 202110679873A CN 113344985 A CN113344985 A CN 113344985A
- Authority
- CN
- China
- Prior art keywords
- equation
- sparse
- pixel
- camera
- multipath interference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 113
- 238000003384 imaging method Methods 0.000 title claims abstract description 19
- 230000010363 phase shift Effects 0.000 title claims abstract description 16
- 238000005259 measurement Methods 0.000 claims abstract description 8
- 238000000926 separation method Methods 0.000 claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 35
- 239000013598 vector Substances 0.000 claims description 28
- 230000003287 optical effect Effects 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 10
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 6
- 238000012986 modification Methods 0.000 abstract description 4
- 230000004048 modification Effects 0.000 abstract description 4
- 230000002902 bimodal effect Effects 0.000 description 17
- 230000000875 corresponding effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 229920003023 plastic Polymers 0.000 description 6
- 229910052573 porcelain Inorganic materials 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 241001415849 Strigiformes Species 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000010587 phase diagram Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 229910052602 gypsum Inorganic materials 0.000 description 2
- 239000010440 gypsum Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000407816 Neorina patria Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920000728 polyester Polymers 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种针对相移结构光成像的多径干扰的解扰方法，将相机上每个像素的观测信号建模成一个欠定线性系统，使用基于稀疏贝叶斯学习框架的方法求取稀疏解来解除多径干扰对结构光三维重建的影响，包括以下步骤：步骤1，生成投影图案集合并进行投影；步骤2，获取被扫描的物体表面发生形变后的投影图案；步骤3，对多条混叠光路进行分离，完成分离后的深度测量。本方法不涉及任何硬件改造也无需定制投影图案，可以方便地嵌入到现有的结构光系统中。
Description
技术领域
本发明属于计算机图像处理领域，具体涉及一种针对相移结构光成像的多径干扰的解扰方法。
背景技术
结构光成像属于主动式的三维扫描成像技术，该技术通过投影一组图案到待测物体上，利用相机拍摄物体表面形变后的图案，接着在相机图像和投影图像上寻找对应点，最后使用三角测量法实现三维重建。理想情况下，相机感光阵列每个像素单元在视野范围内只应看到投影图案中的一个像素位置，但在实际操作中，一旦重建场景中出现高反射材质的物体，或者像阶梯状的边缘这种在深度上具有不连续性的区域，就容易造成相机上一个像素单元看到投影图案上多个像素点，形成解码误差，影响重建质量。双峰或双模多径干扰是一类常见的具有代表性的多径干扰，此时相机感光面上的某像素接收到来自投影仪上的两个位置的光线，例如在物体的阶梯形边缘处，相机上的某些像素可以同时看到阶梯形边缘的两侧，这里称两侧的像素分别为前景像素和背景像素。
文献(Y.Zhang et.al.,Causes and Corrections for Bimodal Multi-pathScanning with Structured Light,IEEE Conference on Computer Vision and PatternRecognition 2019)探讨了结构光相机在成像过程中遇到的双峰多径干扰问题的起因，揭示了形成双峰多径干扰的两条光路如何作为投影图案空间频率的函数形成相消干涉和相干干涉的规律，以及如何利用这一有趣线索实现对两条干扰光路的解耦合。该方案需要依赖多个空间频率下的扫描来解耦双峰多径干扰的光路，以形成两次独立的深度测量。该方法对于扫描频率数量的需求会影响扫描的时间，其次，该方法难以应对多径干扰中干扰光路数量多于两条的场景。本发明聚焦于从双峰多径干扰模型泛化而来的更通用的N模(N≥2)稀疏多径干扰模型。此时成像平面上的某些像素可能同时接收到不少于两条的光线，从而影响投影图像和相机图像同名点的匹配，进而引入重建误差。通过对国内外相关技术的调研发现该问题至今尚未得到很好解决。
发明内容
针对现有技术的不足，本发明提供了一种针对结构光成像的多径干扰的解扰方法。本发明提供了一种针对结构光成像的多径干扰的解扰方法，将相机上每个像素的观测信号建模成一个欠定线性系统，使用基于稀疏贝叶斯学习框架的方法求取稀疏解来解除多径干扰对结构光三维重建的影响，包括以下步骤：
步骤1，生成投影图案集合并进行投影；
步骤2，获取被扫描的物体表面发生形变后的投影图案；
步骤3，对多条混叠光路进行分离，完成分离的深度测量。
本发明步骤1包括，在条纹投影技术中，一系列相移正弦条纹图案被投影到待重建目标物体上，表示如下：
其中xt表示在行分辨率为M的投影图案上位于第m行的像素强度，f是条纹图案的空间频率，其数值等于从投影区域的顶端到底端总共包含的正弦条纹的数量，t是从0到T-1共计T帧相移图案中的相移指数。
本发明步骤2中，相机采集图像表示为：
其中yt表示相机采集图像上的像素强度，a是在T帧图案上的像素平均强度，r是相机图像中采集到的投影正弦图案作用在该像素上的振幅，由下式求出：
其中的角度变量，
通过下式得到：
该像素对应的投影图像坐标系上的行数m由相位解缠算法从θ中解出，确定m后世界坐标系中的重建结果就能够从标定过的相机和投影模型中得出。
本发明步骤3包括，N-模稀疏多径干扰模型建立，使用行分辨率为m的投影仪对目标物体进行K个频率的扫描，每个扫描频率下进行相移操作，投影图案的频率和归一化后的行坐标分别表示为：
{fk:k＝1,2,…,K}和
在每组扫描频率下，相机成像阵列上的每个像素记录下幅度rk和相位θk，经过K个频率的扫描，相机中每个像素对应的相位和幅度的观测值可由以下向量表示：
通过下式来建模：
y＝Φx (5)
其中Φ表示包含所有可能光路的一个完备字典矩阵，表示为:
稀疏矢量x＝[x1,x2,...,xM]T表示求解出的相机上一个像素单元所接收到的来自投影仪上所有可能位置的光路，其中xm表示来自投影仪上第m行的光线；
本发明步骤3包括，构建基本稀疏估计模型，引入l0范数的正则项后得到：
其中x倾向于寻找符合观测下的最稀疏的一组解，||·||0表示l0范数，即向量中非零元素数的个数，Φ表示完备字典，y表示观测向量。
本发明步骤3包括，定义高斯似然：
假设λ是一个已知的表示噪声方差的参数，通过参数化一个零均值的高斯分布作为x的先验：
其中γ是方差未知的超参数的向量表示，后验分布p(x|y；γ)是高斯分布，其均值μx和协方差∑x分别由下式给出：
其中，
在给定γ的情况下，对x做边际化获得的y的条件协方差，如果γ是一个元素为零的稀疏向量，基于式(10)中的对角性质和矩阵乘法相关特性，估计量μx将具有与γ匹配的稀疏特性。
本发明步骤3包括，将问题等效转化成最小化负对数的似然问题：
将期望最大化EM算法用于将x视为隐变量下的最小化求解问题；EM算法中E步骤涉及到计算式(10)给出的p(x|y；γ)的后验问题；EM算法中M步骤简化为如下更新：
通过式(10)来计算
的最终估计值。
本发明步骤3包括，与特定应用相关的约束，将在γ空间中最小化L(γ)的问题转换为x空间中的等价问题，先通过最小化式(12)求解出一些备选的
然后利用已估计出的
通过式(10)计算
最小化下式：
其中，
式(15)是一个惩罚函数，Φ和λ是其中的参数，S＝{i:xi≠0}表示x中非零元素的索引集合。
本发明步骤3包括，通过一个加权的l1范数最小化过程来优化式(14)，进行如下迭代：
基于在
项上通过下式构造一个解耦的二次上界来实现；
其中
是界的一个任意参数向量，L∈[||ΦHΦ||,∞)，且，
对于固定值
进行上限替换g(x)，求解：
转化为i个独立/解耦的问题：
式(21)存在简单闭式解，包括在每个xi上施加非负，实值的约束，最优值表示如下：
在式(22)中计算出新的x后，通过如下设置来不断更新边界：
当引入实的，非负约束后，通过迭代式(19)，式(22)和式(23)能够保证式(17)的加权l1范数最小化问题收敛到最优解，该最优解即为对多条混叠光路进行分离，完成分离的深度测量。
本发明的核心是将强大的稀疏贝叶斯学习框架与特定应用约束相结合，提出了一种包含非负、实值约束的稀疏贝叶斯学习方法以解耦混叠光路，提取各条解耦光路的相位和幅度。对比其他主流方法，本方法不易陷入局部极值点，且在观测矩阵/字典矩阵包含高度相关的列向量时仍能得到全局最优解，且本方案不涉及任何硬件改造也无需定制投影图案，可以方便地嵌入到现有的结构光系统中。在实施例中通过大量仿真实验和一系列极具挑战性的真实场景的测试验证了本方法的有效性，通过与其他主流方法的对比评估了本方法的领先性。本方法既适用于干扰光路数量大于两条的稀疏多径干扰场景，也同时向下兼容以阶梯型边缘为典型代表的双峰多径干扰的场景。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。
图1为不同算法的重建对比图。
图2为不同算法的重建对比图。
图3为几种对比方法在待重建信号中非零元素数量变化下的重建误差曲线图。
图4为几种对比方法在扫描频率数量变化下的重建误差曲线图。
图5为用于算法评估的原始数据集示意图。
图6为基于不同方法重建的点云示意图。
图7为渲染到侧视角和俯视角下的猫头鹰和网格场景的重建点云示意图。
图8为白色瓷碗的重建结果示意图。
图9为分别渲染到正视，侧视和俯视角度的猫头鹰雕像和透明塑料盒场景的重建点云示意图。
图10中双峰多径干扰解扰方法中提取的主光路和本发明带约束的稀疏多径干扰解扰方法提取的最强光路对应的幅度图。
具体实施方式
本发明公开了一种针对相移结构光成像的多径干扰的解扰方法，将相机上每个像素的观测信号建模成一个欠定线性系统，使用基于稀疏贝叶斯学习框架的方法求取稀疏解来解除多径干扰对结构光三维重建的影响，包括以下步骤：
步骤1，生成投影图案集合并进行投影；
步骤2，获取被扫描的物体表面发生形变后的投影图案；
步骤3，对多条混叠光路进行分离，完成分离的深度测量。
步骤1包括，在条纹投影技术中，一系列相移正弦条纹图案被投影到待重建目标物体上，具体表示如下
其中xt表示在行分辨率为M的投影图案上位于第m行的像素强度，f是条纹图案的空间频率，其数值等于从投影区域的顶端到底端总共包含的正弦条纹的数量，t是从0到T-1共计T帧相移图案中的相移指数。
步骤2，获取被扫描的物体表面发生形变后的投影图案，相机采集图像可表示为：
其中yt表示相机采集图像上的像素强度，a是在T帧图案上的像素平均强度，r是相机图像中采集到的投影正弦图案作用在该像素上的振幅，可由下式求出：
其中的角度变量，
通过下式得到：
该像素对应的投影图像坐标系上的行数m就可以由合适的相位解缠算法从θ中解出。一旦确定了m，世界坐标系中的重建结果就可以从标定过的相机和投影模型中得出。
步骤3，对多条混叠光路进行分离，完成分离的深度测量包括以下步骤。
N-模稀疏多径干扰模型建立。
使用行分辨率为m的投影仪对目标物体进行K个频率的扫描，每个扫描频率下同样相移8次，投影图案的频率和归一化后的行坐标分别表示为{fk:k＝1,2,…,K}，
在每组扫描频率下，相机成像阵列上的每个像素可以记录下幅度rk和相位θk，这样经过K个频率的扫描，相机中每个像素对应的相位和幅度的观测值可由向量
来表示，可通过下式来建模：
y＝Φx (5)
其中Φ表示包含所有可能光路的一个完备字典矩阵，形式如下:
稀疏矢量x＝[x1,x2,...,xM]T表示求解出的相机上一个像素单元所接收到的来自投影仪上所有可能位置的光路，其中xm表示来自投影仪上第m行的光线。
对x的求解问题可以形式化成从一组不完备的或者有限的观测中，重建一个未知信号的问题。如果待求解的信号和观测数据之间的关系是通过一个欠定线性系统来描述，系统将有无穷多可行解。如果要精准的求解出满足观测值的解，则需要引入额外的正则项。通过引入l0范数的正则项后，可将问题形式化成
其中x倾向于寻找符合观测下的最稀疏的一组解，即这组解包含的来自投影仪和相机之间的光路数量要最少且与观测数据相符。需要注意的是，在足够稀疏的前提下，对于y≈Φx的可行(或近似可行)解是唯一的，这意味着只需要选择一个足够小的l0正则项。因此，只要多径干扰的路径数不太大，就很可能通过求解式(7)来找到这些解。
N-模稀疏多径干扰解耦方法
这里首先介绍可作为稀疏多径模型下求解基础的稀疏贝叶斯学习算法框架，接着对算法进行完善和扩展，引入与特定应用相关的约束。需要注意的是，结构光成像的应用场景会引入非负，实值方面的约束，目前尚未发现任何与非负，实值约束相关的可直接应用于结构光成像场景的基于稀疏贝叶斯学习框架的算法，也没有发现任何现有技术可以应对这种由高度相关的列向量定义的字典矩阵所构建的欠定线性系统。后续算法围绕在最小化式(7)的问题，先讨论x在无约束情况下最小化式(7)的基本稀疏估计模型，然后提出一种在特定应用相关的约束(x必须是非负、实值的约束)下的扩展算法。
构建基本稀疏估计模型
在不考虑与特定应用相关的约束时，最终求解目标可以形式化为如式(7)所示的稀疏回归问题，其中||×||0表示l0范数，即向量中非零元素数的个数，Φ表示完备字典，y表示观测向量。为简单起见，目前假设这些量都是实数，与特定应用相关的复数形式的扩展会在后面讨论。因为式(7)的求解是NP难的(NP-hard)，所以通常做法是用凸的l1范数
替换非凸的，不连续的l0正则项。然而，当Φ具有高度相关的列向量时，特别是基于本应用所需，这里凸的l1范数并不能作为式(7)的一个准确近似，通过对相关文献的检索也未发现任何参考文献针对由高度相关的列向量构造的矩阵Φ提供明确的解法。与此类似，以正交匹配追踪(Orthogonal Matching Pursuit,OMP)为代表的基于求局部极值的贪婪算法，非常容易陷入较差的极值点，特别是当字典矩阵的列向量之间存在一定的相关性时。
因此，这里使用贝叶斯框架以替代存在上述诸多问题的凸松弛方法以及贪婪方法，来求解式(7)并考虑与应用场景相关的约束。为此，首先定义高斯似然
现在假设λ是一个已知的表示噪声方差的参数，它也可以通过从数据中学习得到。接下来，通过参数化一个零均值的高斯分布作为x的先验
其中γ是方差未知的超参数的向量表示。因为似然和先验都基于高斯分布，所以后验分布p(x|y；γ)也是高斯分布，其均值μx和协方差∑x分别由下式给出
其中
是在给定γ的情况下，对x做边际化获得的y的条件协方差。从这些表达式中可以清楚地看出，如果γ是一个大部分元素为零的稀疏向量，基于式(10)中的对角性质和矩阵乘法相关特性，估计量μx将具有与之匹配的稀疏特性(非零值具有相同的索引)。当然，为了保证算法输出结果的稀疏性，需要使用一些方法来对γ进行合理估计，在保证后验匹配的前提下，将大量或绝大多数元素的估计推向零值。
可以使用边缘化最大似然法将x视为可被排除在模型之外的干扰项，由此产生的目标函数仅和γ相关，而且，由于对高斯分布的积分存在闭式解，可以将问题等效转化成最小化负对数的似然问题
虽然这个目标函数在γ中是非凸的，但是期望最大化(ExpectationMaximization，EM)算法可以用于将x视为隐变量下的最小化求解问题。其中E步骤涉及到简单地计算式(10)给出的p(x|y；γ)的后验问题，而M步骤可简化为如下更新：
鉴于只需要更新∑x的第i个对角元素(而非完整矩阵)，式(10)和(13)的整体计算复杂度在x的维度中是线性的，在y的维度中是二次的，且通常满足dim[y]！dim[x]。一旦完成对超参数
的估计，就可以基于
的估计值，通过式(10)来计算
的最终估计值，可将此法称为稀疏贝叶斯学习(sparse Bayesian learning,SBL)。
此外，如果在y，x和Φ是复数的假设前提下(假设具有复数形式高斯分布)来进行类似的推导，那么只需要将转置转换为Hermitian转置以获得所需的EM更新。下面将提出这种稀疏学习算法的另一种表述，以阐明优化式(12)可以实现更好的稀疏估计的原因，进而讨论引入与实际应用相关的约束问题。
与特定应用相关的约束
到目前为止，直接对x进行搜索和稀疏估计的问题已经被转化为先在表面稀疏的γ上进行搜索，然后估计出一个稀疏的x。但是这并不显而易见，特别是考虑到高斯先验的假设，它通常倾向于多样化或非稀疏的解。然而，可以将在γ空间中最小化L(γ)的问题转换为x空间中的等价问题，从而更方便地引入与结构光相机多径干扰应用相关的约束。具体而言，先通过最小化式(12)求解出一些合适的
然后利用已估计出的
通过式(10)计算
相当于最小化下式
其中
是一个惩罚函数，Φ和λ是其中的参数，S＝{i:xi≠0}表示x中非零元素的索引集合。需注意的是，如果出现任何xi＝0，那么相应的最优γi也将等于零，因为式(15)中的log-det项是γ的凹的非减函数。对于复数，唯一的区别是必须用Hermitian转置做替换。
尽管f本身通常没有闭式解，对每个系数幅度|xi|而言，在所有的λ≥0上，其仍是严格非递减的凹函数，因此自然倾向于找到稀疏的解，即存在很多的xi＝0。此外，如给定下式：
在优化式(15)时，对x的惩罚将通过log-det作用于Φ Φ，可以通过在f上进行正则化以补偿高相关性(即Φ Φ中存在大的非对角元素)来生成更高质量的稀疏估计。因此，如果设计出的Φ具有高度相关的列，本方法本质上会用f替换l0范数，而不是采用常见的l1的标准凸函数的替代方案，因为l1的替代方案在这种情况下不能确保求得最优解。
此外，尽管f的表达式是隐式的、变分的，但仍然可以通过一个实用的、迭代的、重新加权的l1范数最小化过程来优化式(14)。简而言之，这需要进行如下迭代
基于majorization-minimization算法的性质，在达到局部最小值或者其他临界点之前，式(14)可保证减少或维持不变；标准的凸解法可实现x的更新。如果假设数据是复数，只需像以前一样简单地替换Hermitian转置来更新w(用来更新x的凸解法也需要适当修改)。
这种数学上的重新形式化问题对于当前的应用也有另一项突出优势。假设y和Φ是复数而非实数，那么通过最小化式(12)或(14)得到的最优
也可能是一个不受约束的复向量。然而，结构光成像的应用场景对x会有非负，实值这样的先验约束，这些约束很难引入原始贝叶斯公式，因为最大似然所要求的边缘化处理并不容易实现。相比之下，通过在x上加约束来优化式(14)更为简单且直接。究其根本，只需修改式(17)中x凸的更新来引入这些约束，这在许多情况下只涉及到相当简单的修改。
例如，近端梯度法通常用于处理加权l1范数最小化问题。简言之，这种方法基于在
项上通过下式构造一个解耦的二次上界来实现
其中
是界的一个任意参数向量，L∈[||ΦHΦ||,∞)，且
因为
在Lipschitz常数||ΦHΦ||下保持Lipschitz连续性，在这种情况下，总可以构造出这样的二次上界。因此，对于固定值
如果用这个上限替换g(x)，经过一些代数操作，求解
可以转化为i个独立/解耦的问题
式(21)存在简单闭式解，包括在每个xi上施加非负，实值的约束。在这种情况下，最优值可以表示如下
在式(22)中计算出新的x后，可以通过如下设置
来不断更新边界。当引入实的，非负约束后，基于近端梯度算法的基本性质，通过迭代式(19)，式(22)和式(23)能够保证式(17)的加权l1范数最小化问题收敛到最优解。因此，这些迭代可形成一个内部循环来解决指定的带约束子问题，而将式(17)作为整个任务的外部循环。总体来说，组合迭代，即使直到收敛才执行，也可以保证式(14)减少或保持不变，且满足非负，实值的约束。这里将此算法称为带约束的稀疏贝叶斯估计算法(伪码见算法1)，总体而言，算法实现较为容易，是一个两层循环，基本上只涉及迭代式(17)作为外循环，并将式(19)，式(22)和式(23)作为内循环。
算法1带约束的稀疏贝叶斯学习方法
输入：Φ,y,L,λ
输出：x
w←1
ximag←0
xreal←max(real(ΦHy),0)
当尚未满足收敛条件时，执行循环
当尚未满足收敛条件时，执行循环
结束循环
结束循环
实施例
实验结果及分析讨论
1仿真数据上的评测结果
下面通过从K个有限数量的观测中，重建出N个非零稀疏信号这样一个经典的压缩感知问题来对相关方法进行测试和评估。这里通过式(6)构建出字典矩阵，选用60组空间扫描频率，即{fk＝k:k＝1,2,…,K,K＝60}，将M设置为1000，在这样一个高度欠定的问题设置下测试不同的方法。图1中第一行显示的基准信号包含4个非零信号。第二到第四行显示的分别是正交匹配追踪，稀疏贝叶斯学习，带约束的稀疏贝叶斯学习的重建结果。可以看出，本发明的方法比正交匹配追踪有着明显更高的重建精度。
在图2的重建对比中，基准信号包含10个非零信号。第二到第四行显示的分别是正交匹配追踪，稀疏贝叶斯学习，带约束的稀疏贝叶斯学习的重建结果。可以看出，从上到下，重建精度在不断提升，本发明的方法拥有最高的重建精度。
图1不同算法的重建对比图。第一行展示的基准稀疏信号包含4个非零信号。第二到第四行分别展示了正交匹配追踪，稀疏贝叶斯学习，带约束的稀疏贝叶斯学习的重建结果。可以看出，本发明的方法比正交匹配追踪有着明显更高的重建精度。
图2不同算法的重建对比图。第一行展示的基准稀疏信号包含10个非零信号。第二到第四行分别展示了正交匹配追踪，稀疏贝叶斯学习，带约束的稀疏贝叶斯学习的重建结果。可以看出，重建精度按照从上到下的方向在不断提升，本发明的方法拥有最高的重建精度。
图3为几种对比方法在待重建信号中非零元素数量变化下的重建误差曲线，通过多组实验观察不同方法的重建误差在待重建非零信号数量变化下的表现。在一系列的实验仿真中，稀疏非零信号的数量N从1逐渐增加到12，在每组参数设置下进行500次重复实验并在每次实验中(1)在x中随机设置N个非零元素的位置，(2)使用不同算法重建x，(3)计算误差。图中纵轴表示通过chamfer距离来衡量的原始基准信号和重建信号在对数坐标下的误差，横轴表示的是待重建信号中非零元素的数目，这里对比的算法包括l1正则法，正交匹配追踪，稀疏贝叶斯学习，带约束的稀疏贝叶斯学习。可以看出本发明的方法相对于l1正则法和正交匹配追踪方法在稀疏信号的重建上有更高的精度。
图4为几种对比方法在扫描频率数量变化下的重建误差曲线图，揭示了同样使用chamfer距离来衡量的重建精度和扫描频率数量之间的关系。本发明的方法其重建误差随着扫描频率的增加会显著降低，并且当扫描频率的数量到达10之后，重建误差会逐渐稳定并维持在一个较低的水平。相比之下，l1正则法和正交匹配追踪方法常会陷入到非最优的局部极值点，所以其误差曲线随着频率的增加会一直存在不稳定的抖动。
图3显示了几种对比方法在待重建信号中非零元素数量变化下的重建误差曲线。
图4显示了几种对比方法在扫描频率数量变化下的重建误差曲线。
2真实数据上的评估结果
为进一步通过真实场景验证评估本发明提出的方法并对比其他方法，这里构建的数据集如图5所示，包括：一个分别放置在聚酯布网和透明的塑料板之后的白色猫头鹰石膏雕像，以及一个光滑的白色高反射材质的瓷碗。构建的原型系统包括：Prosilica GC650GigE型号的相机，Optoma ML500的DLP投影仪，带HDMI的Xilinx Spartan6 LX25FPGA来实现投影仪和相机之间的时序同步，Velmex的双向导轨来协助系统标定。标定过程中，在CalTag标定板沿着导轨滑到每一个标定位置时，分配一个世界坐标系+幅度/相位坐标系。完成若干步后，可以得到一个张量，对于相机采集图片中的每个像素都可得到一个向量[xw,yw,zw,r,θ]，其中(r,θ)是幅度-相位对。利用这个张量，可以生成一个从相位到[xw,yw,zw]坐标系的多项式的映射函数，将相位图转化成点云结果。投影图案的正弦条纹周期设置为8个像素的倍数，投影仪在纵向分辨率为480，每个频率下相移8次，一共使用60个扫描频率，采集480帧图像并按照频率从高到低的顺序进行排列，即{fn＝480/(8n),n＝1,2,…,K,K＝60}。本发明的方法可以实现对干扰光路的解耦，并且同步提取出每条光路的相位和幅度信息，后续实验中，使用解耦后的首条/最强光路来绘制点云或相位图。
图5为用于算法评估的原始扫描数据集。图6通过点云图展示了使用不同方法对猫头鹰和网格场景进行重建的结果。首行使用了10个扫描频率，末行使用了11个扫描频率。(a)传统相位解缠方法的重建结果中存在严重误差。(b)双峰多径干扰的解扰方法与(a)相比有显著提升，但在有限数量的扫描频率下，重建结果中仍然存在由相位解缠错误带来的鬼影现象。(c)，(d)分别对应的是正交匹配追踪算法(OMP)，带约束的稀疏贝叶斯学习方法。可以看出，从上到下随着频率的增加，各个方法的重建质量在不断提升，另一方面，从左到右，随着算法的更新和优化，重建质量也在逐步提升。本发明提出的带约束的稀疏贝叶斯学习方法与其他方法相比，展现出了良好的重建效果，特别是在扫描频率数量有限的情况下，其重建效果明显优于其他方法。
图6基于不同方法重建的点云。首行对应的是10个扫描频率下的重建结果，末行对应11个扫描频率。(a)传统相位解缠方法，(b)双峰多径干扰解扰方法，(c)正交匹配追踪方法(OMP)，(d)带约束的稀疏贝叶斯学习方法，可以明显看出沿着从左到右以及从上到下的顺序，重建质量在逐步提升。本发明提出的带约束的稀疏贝叶斯学习方法展现出了较好的重建效果，特别是当扫描频率数量有限时，即在不完备的观测下，其重建质量明显优于其他方法。
图7为渲染到侧视角和俯视角下的猫头鹰和网格场景的重建点云示意图，通过两个不同视角展示了在60个扫描频率下的双峰多径干扰解扰方法(上行)和10个扫描频率下参考邻域互补信息的稀疏贝叶斯学习方法(下行)的重建结果。通过对比可以发现在首行展示的网格和猫头鹰之间以及猫头鹰的四周边缘处仍存在部分噪音点，其原因是双峰多径干扰模型基于双峰干扰假设，可以有效处理相机上的像素点因同时接收到了来自不多于两个不同位置的光线所带来的干扰，但无法应对一个像素点同时接收到来自超过两个不同位置光线所带来的干扰。例如，相机上一些像素点能够同时接收到来自前景网格，目标猫头鹰以及背景白墙反射回来的投影光线，尤其是在猫头鹰的四周轮廓边缘处，而本发明提出的稀疏多径干扰的解扰方法，可以有效应对此场景下当干扰光路数量多于两条时所带来的挑战。
图8通过一个白色光滑的高反射材质的瓷碗，对比了双峰多径干扰和本发明提出的稀疏多径干扰方法的重建结果。凹形瓷碗内表面会对光线进行来回多次反射，重点体现在白色瓷碗的顶部12点钟和底部6点钟的方位。相比与传统方法，双峰多径干扰已经能够解除大部分的由多径干扰引入的误差，但当实际场景中的干扰光路数量大于两条时，该算法仍然存在一定的局限，例如在碗的底部仍存在部分尚未去除的干扰，而本发明的方法能够进一步消除位于碗底的多径干扰。
图8白色瓷碗的重建结果。从左到右分别是：传统相位解缠方法，双峰多径干扰解扰方法和本发明带约束的稀疏贝叶斯学习方法重建的相位图。本发明的方法能够进一步消除位于碗底的双峰多径干扰解扰方法无法完全滤除的噪点。
图9为分别渲染到正视，侧视和俯视角度的猫头鹰雕像和透明塑料盒场景的重建点云示意图，展示了对包含透明物体的场景重建。一个猫头鹰石膏雕像被放置在一个透明塑料盒子里，重建结果分别被渲染到前视角，侧视角和俯视角上。(左)传统相位解缠方法，(中)双峰多径干扰的解扰方法，(右)稀疏多径干扰的解扰方法。可以看出无论是双峰多径干扰，还是稀疏多径干扰的解扰方法都可以对干扰光路进行有效解耦以滤除干扰，但双峰多径干扰的解扰方法重建出的玻璃板和猫头鹰之间仍存在少量的噪音点。值得注意的是，在图10中右图所示的使用带约束的稀疏多径干扰解扰方法解耦出的最强光路所对应的幅度图中，可以清晰地观察到透明塑料板表面的轻微划痕等更多细节。
图10中左图为双峰多径干扰解扰方法中提取的主光路和图10中右图为本发明带约束的稀疏多径干扰解扰方法提取的最强光路对应的幅度图。从表征结构信噪比的幅度图中可以观察到透明塑料平板表面的轻微划痕，且右图的划痕更为清晰明显。
本发明提供了一种针对相移结构光成像的多径干扰的解扰方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (9)
1.一种针对相移结构光成像的多径干扰的解扰方法，其特征在于，将相机上每个像素的观测信号建模成一个欠定线性系统，使用基于稀疏贝叶斯学习框架的方法求取稀疏解来解除多径干扰对结构光三维重建的影响，包括以下步骤：
步骤1，生成投影图案集合并进行投影；
步骤2，获取被扫描的物体表面发生形变后的投影图案；
步骤3，对多条混叠光路进行分离，完成分离后的深度测量。
2.根据权利要求1所述的方法，其特征在于，步骤1包括，在条纹投影技术中，一系列相移正弦条纹图案被投影到待重建目标物体上，表示如下：
其中xt表示在行分辨率为M的投影图案上位于第m行的像素强度，f是条纹图案的空间频率，其数值等于从投影区域的顶端到底端总共包含的正弦条纹的数量，t是从0到T-1共计T帧相移图案中的相移指数。
3.根据权利要求2所述的方法，其特征在于，步骤2中，相机采集图像表示为：
其中yt表示相机采集图像上的像素强度，a是在T帧图案上的像素平均强度，r是相机图像中采集到的投影正弦图案作用在该像素上的振幅，由下式求出：
其中的角度变量，
通过下式得到：
该像素对应的投影图像坐标系上的行数m由相位解缠算法从θ中解出，确定m后世界坐标系中的重建结果就能够从标定过的相机和投影模型中得出。
4.根据权利要求3所述的方法，其特征在于，步骤3包括，N-模稀疏多径干扰模型建立，使用行分辨率为m的投影仪对目标物体进行K个频率的扫描，每个扫描频率下同样进行相移操作，投影图案的频率和归一化后的行坐标分别表示为：
{fk:k＝1,2,…,K}和
在每组扫描频率下，相机成像阵列上的每个像素记录下幅度rk和相位θk，经过K个频率的扫描，相机中每个像素对应的相位和幅度的观测值可由以下向量表示：
通过下式来建模：
y＝Φx (5)
其中Φ表示包含所有可能光路的一个完备字典矩阵，表示为:
稀疏矢量x＝[x1,x2,...,xM]T表示求解出的相机上一个像素单元所接收到的来自投影仪上所有可能位置的光路，其中xm表示来自投影仪上第m行的光线。
5.根据权利要求4所述的方法，其特征在于，步骤3包括，构建基本稀疏估计模型，引入
范数的正则项后得到：
其中x倾向于寻找符合观测下的最稀疏的一组解，‖·‖0表示
范数，即向量中非零元素数的个数，Φ表示完备字典，y表示观测向量。
6.根据权利要求5所述的方法，其特征在于，步骤3包括，定义高斯似然：
假设λ是一个已知的表示噪声方差的参数，通过参数化一个零均值的高斯分布作为x的先验：
其中γ是方差未知的超参数的向量表示，后验分布p(x|y；γ)是高斯分布，其均值μx和协方差∑x分别由下式给出：
其中，
在给定γ的情况下，对x做边际化获得的y的条件协方差，如果γ是一个元素为零的稀疏向量，基于式(10)中的对角性质和矩阵乘法相关特性，估计量μx将具有与γ匹配的稀疏特性。
7.根据权利要求6所述的方法，其特征在于，步骤3包括，将问题等效转化成最小化负对数的似然问题：
将期望最大化EM算法用于将x视为隐变量下的最小化求解问题；EM算法中E步骤涉及到计算式(10)给出的p(x|y；γ)的后验问题；EM算法中M步骤简化为如下更新：
通过式(10)来计算
的最终估计值。
8.根据权利要求7所述的方法，其特征在于，步骤3包括，与特定应用相关的约束，将在γ空间中最小化L(γ)的问题转换为x空间中的等价问题，先通过最小化式(12)求解出一些备选的
然后利用已估计出的
通过式(10)计算
最小化下式：
其中，
式(15)是一个惩罚函数，Φ和λ是其中的参数，S＝{i:xi≠0}表示x中非零元素的索引集合。
9.根据权利要求7所述的方法，其特征在于，步骤3包括，通过一个加权的
范数最小化过程来优化式(14)，进行如下迭代：
基于在
项上通过下式构造一个解耦的二次上界来实现；
其中
是界的一个任意参数向量，L∈[‖ΦHΦ‖,∞)，且，
对于固定值
进行上限替换g(x)，求解：
转化为i个独立问题：
式(21)存在简单闭式解，包括在每个xi上施加非负，实值的约束，最优值表示如下：
在式(22)中计算出新的x后，通过如下设置来不断更新边界：
当引入实的，非负约束后，通过迭代式(19)，式(22)和式(23)能够保证式(17)的加权
范数最小化问题收敛到最优解，该最优解即为对多条混叠光路进行分离，完成分离的深度测量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110679873.XA CN113344985B (zh) | 2021-06-18 | 2021-06-18 | 一种针对相移结构光成像的多径干扰的解扰方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110679873.XA CN113344985B (zh) | 2021-06-18 | 2021-06-18 | 一种针对相移结构光成像的多径干扰的解扰方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113344985A true CN113344985A (zh) | 2021-09-03 |
| CN113344985B CN113344985B (zh) | 2023-12-22 |
Family
ID=77477593
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110679873.XA Active CN113344985B (zh) | 2021-06-18 | 2021-06-18 | 一种针对相移结构光成像的多径干扰的解扰方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113344985B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114509024A (zh) * | 2022-04-20 | 2022-05-17 | 广东工业大学 | 基于相位融合的大深度范围三维测量方法、系统及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060210145A1 (en) * | 2005-02-16 | 2006-09-21 | Sungkyunkwan University Foundation For Corporate Collaboration | Method and system of structural light-based 3d depth imaging using signal separation coding and error correction thereof |
| US20160334509A1 (en) * | 2015-05-13 | 2016-11-17 | Infineon Technologies Ag | Structured-light based multipath cancellation in tof imaging |
| CN108171680A (zh) * | 2018-01-24 | 2018-06-15 | 沈阳工业大学 | 应用于结构光图像的超稀疏cs融合算法 |
| CN110223337A (zh) * | 2019-06-11 | 2019-09-10 | 张羽 | 一种针对结构光成像的多径干扰的解扰方法 |
| CN112233225A (zh) * | 2020-10-14 | 2021-01-15 | 中国科学技术大学 | 基于相位相关匹配的平移运动物体三维重建方法和系统 |
| CN112859049A (zh) * | 2020-12-23 | 2021-05-28 | 宁波飞芯电子科技有限公司 | 一种tof距离探测中多路径抑制方法及测距系统 |
-
2021
- 2021-06-18 CN CN202110679873.XA patent/CN113344985B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060210145A1 (en) * | 2005-02-16 | 2006-09-21 | Sungkyunkwan University Foundation For Corporate Collaboration | Method and system of structural light-based 3d depth imaging using signal separation coding and error correction thereof |
| US20160334509A1 (en) * | 2015-05-13 | 2016-11-17 | Infineon Technologies Ag | Structured-light based multipath cancellation in tof imaging |
| CN108171680A (zh) * | 2018-01-24 | 2018-06-15 | 沈阳工业大学 | 应用于结构光图像的超稀疏cs融合算法 |
| CN110223337A (zh) * | 2019-06-11 | 2019-09-10 | 张羽 | 一种针对结构光成像的多径干扰的解扰方法 |
| CN112233225A (zh) * | 2020-10-14 | 2021-01-15 | 中国科学技术大学 | 基于相位相关匹配的平移运动物体三维重建方法和系统 |
| CN112859049A (zh) * | 2020-12-23 | 2021-05-28 | 宁波飞芯电子科技有限公司 | 一种tof距离探测中多路径抑制方法及测距系统 |
Non-Patent Citations (1)
| Title |
|---|
| 蒋斌;赵子龙;宋展;谷飞飞;: "低成本微型结构光动态三维重建系统研究", 集成技术, no. 03 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114509024A (zh) * | 2022-04-20 | 2022-05-17 | 广东工业大学 | 基于相位融合的大深度范围三维测量方法、系统及装置 |
| CN114509024B (zh) * | 2022-04-20 | 2022-08-09 | 广东工业大学 | 基于相位融合的大深度范围三维测量方法、系统及装置 |
| US11740076B2 (en) | 2022-04-20 | 2023-08-29 | Guangdong University Of Technology | Large-depth-range three-dimensional (3D) measurement method, system, and device based on phase fusion |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113344985B (zh) | 2023-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | A weighted dictionary learning model for denoising images corrupted by mixed noise | |
| Calvetti et al. | Hierachical Bayesian models and sparsity: ℓ2-magic | |
| Rajwade et al. | Image denoising using the higher order singular value decomposition | |
| Zhou et al. | Moving object detection by detecting contiguous outliers in the low-rank representation | |
| Wedel et al. | An improved algorithm for tv-l 1 optical flow | |
| Zeng et al. | Hyperspectral image restoration via global L 1-2 spatial–spectral total variation regularized local low-rank tensor recovery | |
| Elad et al. | Image denoising: The deep learning revolution and beyond—a survey paper | |
| Moore et al. | Panoramic robust pca for foreground–background separation on noisy, free-motion camera video | |
| US20100020208A1 (en) | Systems and methods for training an active random field for real-time image denoising | |
| Mahmoudi et al. | Sparse representations for range data restoration | |
| US20150030231A1 (en) | Method for Data Segmentation using Laplacian Graphs | |
| Liu et al. | Hyperspectral image restoration based on low-rank recovery with a local neighborhood weighted spectral–spatial total variation model | |
| Chantas et al. | Variational-Bayes optical flow | |
| Cao et al. | CS-MRI reconstruction based on analysis dictionary learning and manifold structure regularization | |
| Wang et al. | Improved surface reconstruction using high-frequency details | |
| CN113344985A (zh) | 一种针对相移结构光成像的多径干扰的解扰方法 | |
| Zhang et al. | Sparse multi-path corrections in fringe projection profilometry | |
| Kumar et al. | Accurate structure recovery via weighted nuclear norm: A low rank approach to shape-from-focus | |
| Buades et al. | Motion-compensated spatio-temporal filtering for multi-image and multimodal super-resolution | |
| Fan et al. | A non-convex regularization approach for compressive sensing | |
| Ghosh et al. | Robust simultaneous registration and segmentation with sparse error reconstruction | |
| Dogaru et al. | Sphere-guided training of neural implicit surfaces | |
| Shah et al. | Estimating sparse signals with smooth support via convex programming and block sparsity | |
| Török et al. | Analog‐VLSI, array‐processor‐based, Bayesian, multi‐scale optical flow estimation | |
| Hao et al. | Image denoising based on online dictionary learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |