CN113709442B - 一种基于投影重构的单像素成像方法 - Google Patents
一种基于投影重构的单像素成像方法 Download PDFInfo
- Publication number
- CN113709442B CN113709442B CN202111000918.2A CN202111000918A CN113709442B CN 113709442 B CN113709442 B CN 113709442B CN 202111000918 A CN202111000918 A CN 202111000918A CN 113709442 B CN113709442 B CN 113709442B
- Authority
- CN
- China
- Prior art keywords
- projection
- slice
- pixel
- projector
- included angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 238000005259 measurement Methods 0.000 claims description 18
- 230000010363 phase shift Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 7
- 230000000737 periodic effect Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 abstract description 27
- 238000000691 measurement method Methods 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
- H04N13/125—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues for crosstalk reduction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种基于投影重构的单像素成像方法，可以实现全局照明干扰下场景快速三维重构。首先，通过投射和拍摄多频粗定位的傅里叶切片图案模式，对像素阵列上每个像素的观测区域进行粗定位；然后，利用投射器向场景投射细定位的傅里叶切片图案模式，采用相机拍摄得到对应的图像；再次，对相机图像上每个像素执行投影切片重构算法，获得每个像素多方向的切片投影图像；最后，根据投影立体匹配算法获得像素阵列上每个像素所对应的投射器坐标，获得基于投影重构的单像素成像结果图。相较于传统的三维测量方法，由于该方法对投射器全部分辨率进行解析，因此特别适用于全局照明干扰下三维立体匹配点的鲁棒获取。同时，相较于传统的单像素成像方法，由于仅采用了多方向一维投影切片，该方法又具有非常高的探测和解算效率。
Description
技术领域
本发明涉及一种基于投影重构的单像素成像方法，可以实现全局照明干 扰下场景快速三维重构。本发明属于光学测量和计算成像领域。
背景技术
光学三维测量技术由于其非接触、速度快、结构简单、精度高等特点， 已被广泛应用于工业自动化加工质量控制、文物古建数字化保护和人机交互 与计算机图形学等领域。结构光技术作为一种常见的光学三维测量技术，使 用投影仪投射结构光图案，通过相机拍摄经物体表面调制后的结构光图案， 对相机拍摄的图案进行解码，与投射图案进行匹配，再利用三角测量原理， 计算得到被测物的三维形貌。这种方法假设光传输过程中不存在全局分量或 其对结果的影响很小，即可认为从投影仪发出的光线经过被测物体的作用后 全部被相机直接捕获。然而在实际测量中，受被测物体表面形态或材质属性 的影响，上述假设经常不被满足，从而导致重构的结果出现数据缺失、精度 下降等问题。
近年来，国内外针对这一问题，解决的基本思路是对光传输过程中的全 局分量进行抑制，从而得到更为鲁棒的三维测量结果，适用的技术路线大体 可分为以下几个方向：首先是基于直接分量和全局分量对入射光源不同作用 的假设上发展出的抑制全局分量的方法，比较流行的技术是基于光传输过程 中全局分量对高频投射条纹具有模糊作用的前提下，利用高频载波技术使全 局照明光趋于直流分量的方法；基于全局分量一般会改变入射光偏振态的假 设下，提出在投影仪和相机前加装线性偏振镜的方法抑制全局分量。其次是 根据双目立体视觉中的极线约束抑制全局光照的影响，比较有代表性的技术 是通过在相机前加装掩模结构，并配合投影仪的投射模式在双目测量系统中 直接探测光传输过程中经过由对极平面所形成通路的光强度，从而抑制全局 分量。然而，现有的抑制全局光照分量的方法都在一定程度上对光传输过程 作出了假设，因此解决的方法不具有一般性，在某些特殊的情况下仍然会出 现测量失败的问题。因此，需要一种更为普适、高效的解决该问题的测量方 法，以应对现实场景中可能出现的各种情况。
发明内容
本发明提出一种基于投影重构的单像素成像方法，可以实现全局照明干 扰下场景快速三维重构。本发明基于结构光三维形貌测量系统，主要由一台 投影仪与一台相机组成，投影仪与相机组成一个双目立体视觉系统。图2为 本发明的系统图。
本发明的基本原理是在对像素阵列上每个像素的方向切片观测区域进 行粗定位的基础上，投射细定位的傅里叶切片图案模式，并对相机图像上所 有像素执行投影切片的重构算法，获得相机每个像素观测到的投射器视角下 方向切片投影函数，最后，根据投影立体匹配算法获得投影立体匹配点。
本发明的技术解决方案为：首先，通过投射和拍摄多频粗定位的傅里叶 切片图案模式，对像素阵列上每个像素的观测区域进行粗定位；然后，利用 投射器向场景投射细定位的傅里叶切片图案模式，采用相机拍摄得到对应的 图像；其次，对相机图像上所有像素执行投影切片的重构算法，获得每个相 机像素下对应切片方向的投影图像；最后，根据投影立体匹配算法获得像素 阵列上每个像素所对应的投射器坐标。其测量过程主要包含以下步骤：
(1)先将投射器和相机面向被成像场景放置，投射器的投射区域应与 相机视场有重合的区域；
(2)通过投射和拍摄多频粗定位的傅里叶切片图案模式，对像素阵列 上每个像素的方向切片观测区域进行粗定位；
(3)利用投射器向场景投射细定位的傅里叶切片图案模式，采用相机 拍摄得到对应的图像；
(4)对相机图像上所有像素执行投影切片的重构算法，获得每个相机 像素下方向切片细定位投影函数；
(5)根据投影立体匹配算法获得像素阵列上每个像素所对应的投射器 坐标；
所述步骤(2)中的多频粗定位的傅里叶切片图案模式的生成公式为：
其中，(m,n)代表投射器平面坐标系上一点，取值范围是 0≤m≤M-1,0≤n≤N-1，k代表粗定位图案模式中条纹的空间频率，取值为 k＝0,1...K，K为粗定位过程中所采用的频率数目，在实际测量中可根据具 体情况设置为不同值，φ代表正弦基图案模式中条纹的相位，取值分别为0, π/2,π,3/2π，构成四步相移图像模式，a是正弦基图案模式中条纹的平均亮 度，b是正弦基图案模式中条纹的幅值。M是投射器沿横方向的有效显示像 素个数，N是投射器沿纵方向的有效显示像素个数；θ为所计算方向切片与 投射器横方向的夹角，θ为所计算方向切片与投射器横方向的夹角，取值为 [0°,180°)范围内的任意不同的S个值，并称该切片为夹角为θ的方向切片，Lθ 为θ夹角的方向切片在投射器范围内的等效像素数目，计算公式为：
其中，ceil为向上取整函数；
所述步骤(2)中的粗定位技术进一步包括如下步骤：
a.根据相机拍摄的四步相移横纵条纹图像，计算获得投射条纹频率所 对应的傅里叶系数，其余未投射频率进行补零操作，得到相机每个像素观测 到的投射器视角下夹角为θ的方向切片投影的所有一维傅里叶系数；
b.当获得了一维傅里叶变换域中的所有系数后，对变换域系数作一维 傅里叶逆变换，计算得到相机每个像素观测到的投射器视角下夹角为θ的方 向切片粗定位投影函数；
c.该投影函数中，值大于噪声阈值的区域即为对应像素可观测到的夹 角为θ的方向切片区域范围，取全部像素夹角为θ的方向切片区域范围最大 值为Bθ，由其所确定的区域称为有效区域；
所述步骤(3)中的细定位的傅里叶切片图案模式的生成公式为：
其中，(m,n)代表投射器平面坐标系上一点，取值范围是 0≤m≤M-1,0≤n≤N-1，M是投射器沿横方向的有效显示像素个数，N是 投射器沿纵方向的有效显示像素个数；k代表细定位图案模式中条纹的空间 频率，取值为k＝0,1...Bθ-1，Bθ为θ方向切片区域范围，φ为周期延拓的正弦 基图案模式中条纹的相位，取值分别为0,π/2,π,3/2π，构成四步相移图像模 式，a是周期延拓的正弦基图案模式中条纹的平均亮度，b是周期延拓的正 弦基图案模式中条纹的幅值；
所述步骤(4)中投影切片的重构算法进一步包括如下步骤：
a.根据相机拍摄不同频率的四步相移条纹图像，计算获得相机每个像 素下投影切片的一维傅里叶变换域系数；
b.当获取了傅里叶变换域的所有系数之后，对傅里叶变换域的系数作 一维傅里叶逆变换，计算得到相机每个像素对应的局部方向切片一维投影函 数，其分辨率为Bθ；
c.将每个像素对应的局部方向切片一维投影函数经周期延拓变为与夹 角为θ的方向切片下投射器范围内的等效像素数目Lθ分辨率一致的周期一 维投影函数；
d.根据步骤(2)的粗定位结果，将重构得到的周期一维投影函数的有 效区域保留，其他区域置零，得到对应像素在夹角为θ的方向切片细定位投 影函数；
所述步骤(5)中投影立体匹配算法进一步包括如下步骤：
a.对每条夹角为θ的方向切片细定位投影函数进行求取局部极大值操 作；
b.根据每一个局部极大值的坐标位置计算一条垂直于夹角为θ的方向 切片的直线方程，并称该直线方程为由对应局部极大值坐标确定的特征直线 方程；
c.从每条夹角θ切片方向下的细定位投影函数中均任意选择一根特征 直线方程，由这些特征直线方程所确定的交点则为一个投影立体匹配候选点；
d.遍历全部特征直线方程的组合方式后，得到全部的投影立体匹配候 选点，再根据双目立体视觉中的极线约束关系，从投影立体匹配候选点中确 定出最终的投影立体匹配点；
多频粗定位的傅里叶切片图案模式的生成公式与细定位的傅里叶切片图案模式的生成公式，其方向切片与投射器横方向的夹角θ的取值方法在于： 多频粗定位的傅里叶切片图案模式与细定位的傅里叶切片图案模式采用相 同的方向切片与投射器横方向的夹角θ，且可采用单方向、双方向、三方向 和四方向的投射模式，各投射模式下夹角θ的具体取值为：
a.单方向投射模式下夹角θ的取值为：θ＝0°；
b.双方向投射模式下夹角θ的取值为：θ＝0°,90°；
c.三方向投射模式下夹角θ的取值为：θ＝0°,60°,120°；
d.四方向投射模式下夹角θ的取值为：θ＝0°,45°,90°,135°。
本发明的优点在于：
(1)实现在全局照明干扰下三维立体匹配点的鲁棒获取。传统结构光 三维测量技术在测量过程中假设：光传输过程中不存在全局分量或其对结果 的影响很小，即可认为从投影仪发出的光线经过被测物体的作用后全部被相 机直接捕获。因此，当全局照明的影响不可忽略时，传统结构光三维测量方 法将出现测量失效的情况。本发明所涉及的基于投影重构的单像素成像方法 通过重构得到的各像素方向切片的投影函数，可有效将直接照明与全局照明 分离，并根据投影立体匹配算法获得投影立体匹配点，从而实现在全局照明干扰下三维立体匹配点的获取。
(2)提高全局照明干扰下三维立体匹配点的获取效率。在全局照明干 扰的条件下，在采集完整的光传输系数的基础上，结合双目立体视觉中的极 线约束关系同样可获得匹配点。然而，由于光传输系数所涉及的数据量巨大， 因此对其直接采集往往消耗大量时间。本发明通过获取各像素方向切片的投 影函数，将待测量对象从二维图像转变为一维投影函数，从而大大提高全局 照明干扰下三维立体匹配点的获取效率。
(3)为直接照明光和全局照明光的分离提供新思路。在传统成像中， 当被拍摄的场景存在直接照明光和全局明光混合现象时，像素阵列中每个像 素灰度值反映这种混合现象，无法分离直接照明光和间照明光。本发明所涉 及的基于投影重构的单像素成像方法可为场景中的直接照明光和间接照明 光的分离提供新思路。
总之，本发明提出的基于投影重构的单像素成像方法，在实现全局照明 干扰下场景快速三维重构的同时，为直接照明光和全局照明光的分离提供新 思路，有助于复杂光场建模的研究，对光学成像理论、计算机图形学和计算 机视觉的发展有良好的推动作用。
附图说明
图1为本发明的实施流程图。
图2为本发明实施时的系统结构图。该图中，1为计算机，2为投射器， 3为相机，4为测量场景。
图3是实现粗定位的原理示意图。该图中，5为夹角为0°的粗定位傅 里叶切片的图案模式，6为夹角为45°的粗定位傅里叶切片的图案模式，7 为夹角为90°的粗定位傅里叶切片的图案模式。8为相机某像素观测的投射 器分辨率的光传输系数。9为夹角为0°的方向切片粗定位投影函数，10为 夹角为45°的方向切片粗定位投影函数，11为夹角为90°的方向切片粗定 位投影函数。
图4是实现细定位的原理示意图。该图中，9为夹角为0°的方向切片 粗定位投影函数，10为夹角为45°的方向切片粗定位投影函数，11为夹 角为90°的方向切片粗定位投影函数。12为夹角为0°的细定位的傅里叶 切片图案模式，13为夹角为45°的细定位的傅里叶切片图案模式，14为夹 角为90°的细定位的傅里叶切片图案模式。15为夹角为0°的局部方向切 片一维投影函数，16为夹角为45°的局部方向切片一维投影函数，17为夹 角为90°的局部方向切片一维投影函数。18为周期延拓后的夹角为0°的 方向切片一维投影函数，19为周期延拓后的夹角为45°的方向切片一维投 影函数，20为周期延拓后的夹角为90°的方向切片一维投影函数。21为夹 角为0°的方向切片细定位投影函数，22为夹角为45°的方向切片细定位投 影函数，23为夹角为90°的方向切片细定位投影函数。
图5是实现投影立体匹配算法的原理示意图。该图中，24为计算局部 极大值后夹角为0°的局部方向切片一维投影函数，2为计算局部极大值后 夹角为45°的局部方向切片一维投影函数，26为计算局部极大值后夹角为 90°的局部方向切片一维投影函数。27为相机像素在投射器坐标系中的极 线方程，28为一个投影立体匹配候选点，29为从投影立体匹配候选点中确 定出最终的投影立体匹配点。
图6是金属叶片测量结果示意图。该图中，31为叶片测量对象的实物 图，32为传统三维测量方法测量失败的结果图，33为利用本专利所涉及的 方法重构得到的完整叶片的结果图。
具体实施方式
下面结合附图和具体实施方式对本发明的技术方案作进一步说明。
本发明提出一种基于投影重构的单像素成像方法，其组成结构如图2所 示，主要由一个投射器，相机，计算机和被成像场景组成。将像素阵列上的 每个像素视为独立的探测单元，通过分别投射粗、细定位的傅里叶切片图案 模式，重构得到像素阵列上每个像素的方向切片细定位投影函数，以获取三 维立体匹配点。首先，通过投射和拍摄多频粗定位的傅里叶切片图案模式， 对像素阵列上每个像素的观测区域进行粗定位；然后，利用投射器向场景投 射细定位的傅里叶切片图案模式，采用相机拍摄得到对应的图像；其次，对 相机图像上所有像素执行投影切片的重构算法，获得每个相机像素下对应切 片方向的投影图像；最后，根据投影立体匹配算法获得像素阵列上每个像素 所对应的投射器坐标。具体操作如下：
1、先将投射器和相机面向被成像场景放置，投射器的投射区域应与相 机视场有重合的区域。
2、通过投射和拍摄多频粗定位的傅里叶切片图案模式，对像素阵列上 每个像素的方向切片观测区域进行粗定位。
在投射和拍摄多频粗定位的傅里叶切片图案模式时，投射的图案模式为 以原点为旋转中心，以投射器横轴为初始位置，沿逆时针方向旋转θ角度方 向的低频傅里叶切片的图案模式，生成公式为：
其中，(m,n)代表投射器平面坐标系上一点，取值范围是 0≤m≤M-1,0≤n≤N-1，k代表粗定位图案模式中条纹的空间频率，取值为 k＝0,1...K，K为粗定位过程中所采用的频率数目，在实际测量中可根据具 体情况设置为不同值，φ代表正弦基图案模式中条纹的相位，取值分别为0, π/2,π,3/2π，构成四步相移图像模式，a是正弦基图案模式中条纹的平均亮 度，b是正弦基图案模式中条纹的幅值。M是投射器沿横方向的有效显示像 素个数，N是投射器沿纵方向的有效显示像素个数；θ为所计算方向切片与 投射器横方向的夹角，θ为所计算方向切片与投射器横方向的夹角，取值为 [0°,180°)范围内的任意不同的S个值，并称该切片为夹角为θ的方向切片。S 的数量可根据实际情况进行选取，其典型取值为：1、2、3、4。在各取值情 况下分别被称为：单方向、双方向、三方向和四方向的投射模式，各投射模式下夹角θ的具体取值为：
a.单方向投射模式下夹角θ的取值为：θ＝0°；
b.双方向投射模式下夹角θ的取值为：θ＝0°,90°；
c.三方向投射模式下夹角θ的取值为：θ＝0°,60°,120°；
d.四方向投射模式下夹角θ的取值为：θ＝0°,45°,90°,135°；
公式(1)中的Lθ为θ夹角的方向切片在投射器范围内的等效像素数目，计 算公式为：
其中，ceil为向上取整函数。
利用相机拍摄场景获得图像RCφ(k,θ；u,v)，相机像素响应的表达式为：
其中，Ω表示显示条纹的投射器区域，(u,v)表示相机像素平面的坐标， h(m,n；u,v)表示的是对应于相机像素(u,v)的投射器视角下的光传输系数， Rn表示的是相机对环境光的响应。
通过使用四步相移法，利用投射器分别投射相位为0,π/2,π,3/2π的条 纹，并进行相应计算，即可获得夹角为θ的方向切片粗定位投影的所有一维 傅里叶系数记为HC(k,θ；u,v)，其可以表示为：
当获取了夹角为θ的方向切片粗定位投影的所有一维傅里叶系数后，将 未投射的频率以零填充，对变换域系数作一维傅里叶逆变换，并根据傅里切 片原理，有：
LP[∫∫h(m,n；u,v)δ(mcosθ-nsinθ)dmdn]＝IFT[HC(k,θ；u,v)] (5)
其中，IFT表示一维傅里叶逆变换。其中，δ为单位脉冲函数，LP[·]为 低通滤波器。公式(5)表明：投射公式(1)和(2)生成的多频粗定位的傅 里叶切片图案模式，并根据公式(4)和(5)所得到的其结果为光传输系数 h(m,n；u,v)所对应的方向切片投影函数经过低通滤波后的函数，称为对应相 机像素在夹角为θ的方向切片粗定位投影函数，如图3(9)、(10)、(11)所示。在该函数中，值大于噪声阈值的区域即为对应像素可观测到的夹角为 θ的方向切片区域范围，设该范围的宽度为Bθ(u,v)，该范围内的区域称为有 效区域.
3、利用投射器向场景投射细定位的傅里叶切片图案模式，采用相机拍 摄得到对应的图像。
在投射和拍摄细定位的傅里叶切片图案模式，投射的图案模式为以原点 为旋转中心，以投射器横轴为初始位置，沿逆时针方向旋转θ角度方向，周 期为Bθ的全频率傅里叶切片的图案模式，生成公式为：
其中，(m,n)代表投射器平面坐标系上一点，取值范围是 0≤m≤M-1,0≤n≤N-1，M是投射器沿横方向的有效显示像素个数，N是 投射器沿纵方向的有效显示像素个数；φ为周期延拓的正弦基图案模式中条 纹的相位，取值分别为0,π/2,π,3/2π，构成四步相移图像模式，a是周期延 拓的正弦基图案模式中条纹的平均亮度，b是周期延拓的正弦基图案模式中 条纹的幅值；k代表细定位图案模式中条纹的空间频率，取值为k＝0,1...Bθ-1， Bθ为θ方向切片区域范围，表达式为：
其中Bθ(u,v)为像素(u,v)的可观测到的夹角为θ的方向切片区域范围， 
表示向上取整，W和H分别表示相机沿横纵方向的有效像素个数。
利用相机拍摄场景获得图像RFφ(k,θ；u,v)，相机像素响应的表达式为：
其中各参数与式(3)中一致。
4、对相机图像上所有像素执行投影切片的重构算法，获得每个相机像 素下方向切片细定位投影函数.
投影切片的重构算法包含如下过程：首先，通过使用四步相移法，利用 投射器分别投射相位为0,π/2,π,3/2π的条纹，并进行相应计算，即可获得夹 角为θ的方向切片粗定位投影的所有一维傅里叶系数HF(k,θ；u,v)，其可以表 示为：
然后，对HF(k,θ；u,v)作一维傅里叶逆变换，有：
h(ρ,θ；u,v)＝IFT[HF(k,θ；u,v)] (10)
其中，IFT表示一维傅里叶逆变换。其结果h(ρ,θ；u,v)是像素(u,v)对应 的局部方向切片一维投影函数，其分辨率与所投射细定位的傅里叶切片图案 模式周期Bθ相同，ρ为方向切片的空间坐标，将局部方向切片一维投影函数 进行周期延拓得
如图4所示，周期延拓的公式如下：
其中，
表示向上取整，ρ的取值范围是0≤m≤Lθ-1，Lθ为θ夹角的 切片在投射器范围内的等效像素数目，由式(2)计算。
最后，由于在步骤2中已经由粗定位傅里叶切片图案模式得到任意像素 的可见范围，故仅需将得到的周期延拓函数中对应区域保留即可，如图4所 示。得到的函数记为hr(ρ,θ；u,v)。
5、根据投影立体匹配算法获得像素阵列上每个像素所对应的投射器坐 标。
投影立体匹配算法的具体过程为：首先，对每条夹角为θ的方向切片细 定位投影函数hr(ρ,θ；u,v)进行求取局部极大值操作，设ρθ,i为一个局部极大 值的坐标位置，根据其坐标可计算一条垂直于夹角为θ的方向切片的直线方 程L(θ,i)：
L(θ,i):x·cosθ+y·sinθ-tθ,i＝0 (12)
其中，
M是投射器沿横方向的有效显示像素个数，N是投射器沿纵方向的有效 显示像素个数，Lθ为θ夹角的方向切片在投射器范围内的等效像素数目，LPθ 为θ夹角的方向切片的正负分界点，称由式(12)所确定的直线方程为由对 应局部极大值坐标确定的特征直线方程。式(12)-(14)中已省略相机像素 坐标(u,v)。
然后，从每条夹角θ切片方向下的细定位投影函数中均任意选择一根特 征直线方程，由这些特征直线方程所确定的交点则为一个投影立体匹配候选 点。给定一组特征直线方程，则一个投影立体匹配候选点可通过求取如下矩 阵奇异值分解后最小特征值所对应的特征向量确定：
其中，S≥2为所使用的方向切片数目。
最后，值得注意的是，式(15)中(i1,i2…,iS)应取遍全部特征直线方程的 组合方式。遍历全部特征直线方程的组合方式后，得到全部的投影立体匹配 候选点，再根据双目立体视觉中的极线约束关系，从投影立体匹配候选点中 选择距离极线距离最近者，为最终的投影立体匹配点，如图5所示。
当采用单方向投射模式时S＝1，所研究像素的极线方程组成一个特征方 程，并代入到式(15)中进行求解。此时，可将全部匹配点进行三维重构， 再根据型面的连续性约束，从点云处理的角度，对点云进行聚类操作，从而 去除由于全局照明干扰造成的离散点。
依照上述各步骤，可实现基于投影重构的单像素成像方法，从而达到在 实现全局照明干扰下场景快速三维重构的目标，如图6所示。
Claims (4)
1.一种基于投影重构的单像素成像方法，其特征在于：测量过程包括以下步骤：
(1)先将投射器和相机面向被成像场景放置，投射器的投射区域应与相机视场有重合的区域；
(2)通过投射和拍摄多频粗定位的傅里叶切片图案模式，对像素阵列上每个像素的方向切片观测区域进行粗定位，多频粗定位的傅里叶切片图案模式的生成公式为：
其中，(m,n)代表投射器平面坐标系上一点，取值范围是0≤m≤M-1,0≤n≤N-1，k代表粗定位图案模式中条纹的空间频率，取值为k＝0,1...K，K为粗定位过程中所采用的频率数目，在实际测量中可根据具体情况设置为不同值，φ代表正弦基图案模式中条纹的相位，取值分别为0,π/2,π,3/2π，构成四步相移图像模式，a是正弦基图案模式中条纹的平均亮度，b是正弦基图案模式中条纹的幅值，M是投射器沿横方向的有效显示像素个数，N是投射器沿纵方向的有效显示像素个数；θ为所计算方向切片与投射器横方向的夹角，取值为[0°,180°)范围内的任意不同的S个值，Lθ为θ夹角的方向切片在投射器范围内的等效像素数目，计算公式为：
其中，ceil为向上取整函数；
方向切片可采用单方向、双方向、三方向和四方向的投射模式，各投射模式下夹角θ的具体取值为：
a.单方向投射模式下夹角θ的取值为：θ＝0°；
b.双方向投射模式下夹角θ的取值为：θ＝0°,90°；
c.三方向投射模式下夹角θ的取值为：θ＝0°,60°,120°；
d.四方向投射模式下夹角θ的取值为：θ＝0°,45°,90°,135°；
(3)利用投射器向场景投射细定位的傅里叶切片图案模式，采用相机拍摄得到对应的图像，细定位的傅里叶切片图案模式的生成公式为：
其中，(m,n)代表投射器平面坐标系上一点，取值范围是0≤m≤M-1,0≤n≤N-1，M是投射器沿横方向的有效显示像素个数，N是投射器沿纵方向的有效显示像素个数；k代表细定位图案模式中条纹的空间频率，取值为k＝0,1...Bθ-1，Bθ为θ方向切片区域范围，θ为所计算方向切片与投射器横方向的夹角，φ为周期延拓的正弦基图案模式中条纹的相位，取值分别为0,π/2,π,3/2π，构成四步相移图像模式，a是周期延拓的正弦基图案模式中条纹的平均亮度，b是周期延拓的正弦基图案模式中条纹的幅值；
(4)对相机图像上所有像素执行投影切片的重构算法，获得每个相机像素下方向切片细定位投影函数；
(5)根据投影立体匹配算法获得像素阵列上每个像素所对应的投射器坐标。
2.根据权利要求1所述的方法，其特征在于：所述步骤(2)中的粗定位技术进一步包括如下步骤：
a.根据相机拍摄的四步相移横纵条纹图像，计算获得投射条纹频率所对应的傅里叶系数，其余未投射频率进行补零操作，得到相机每个像素观测到的投射器视角下夹角为θ的方向切片投影的所有一维傅里叶系数；
b.当获得了一维傅里叶变换域中的所有系数后，对变换域系数作一维傅里叶逆变换，计算得到相机每个像素观测到的投射器视角下夹角为θ的方向切片粗定位投影函数；
c.该投影函数中，值大于噪声阈值的区域即为对应像素可观测到的夹角为θ的方向切片区域范围，取全部像素夹角为θ的方向切片区域范围最大值为Bθ，由其所确定的区域称为有效区域。
3.根据权利要求1所述的方法，其特征在于：所述步骤(4)中的投影切片重构算法进一步包括如下步骤：
a.根据相机拍摄不同频率的四步相移条纹图像，计算获得相机每个像素下投影切片的一维傅里叶变换域系数；
b.当获取了傅里叶变换域的所有系数之后，对傅里叶变换域的系数作一维傅里叶逆变换，计算得到相机每个像素对应的局部方向切片一维投影函数，其分辨率为Bθ；
c.将每个像素对应的局部方向切片一维投影函数经周期延拓变为与夹角为θ的方向切片下投射器范围内的等效像素数目Lθ分辨率一致的周期一维投影函数；
d.根据步骤(2)的粗定位结果，将重构得到的周期一维投影函数的有效区域保留，其他区域置零，得到对应像素在夹角为θ的方向切片细定位投影函数。
4.根据权利要求1所述的方法，其特征在于：所述步骤(5)中的投影立体匹配算法进一步包括如下步骤：
a.对每条夹角为θ的方向切片细定位投影函数进行求取局部极大值操作；
b.根据每一个局部极大值的坐标位置计算一条垂直于夹角为θ的方向切片的直线方程，并称该直线方程为由对应局部极大值坐标确定的特征直线方程；
c.从每条夹角θ的方向切片下的细定位投影函数中均任意选择一根特征直线方程，由这些特征直线方程所确定的交点则为一个投影立体匹配候选点；
d.遍历全部特征直线方程的组合方式后，得到全部的投影立体匹配候选点，再根据双目立体视觉中的极线约束关系，从投影立体匹配候选点中确定出最终的投影立体匹配点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111000918.2A CN113709442B (zh) | 2021-08-30 | 2021-08-30 | 一种基于投影重构的单像素成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111000918.2A CN113709442B (zh) | 2021-08-30 | 2021-08-30 | 一种基于投影重构的单像素成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113709442A CN113709442A (zh) | 2021-11-26 |
| CN113709442B true CN113709442B (zh) | 2022-05-31 |
Family
ID=78656477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111000918.2A Active CN113709442B (zh) | 2021-08-30 | 2021-08-30 | 一种基于投影重构的单像素成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113709442B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007199750A (ja) * | 2006-01-23 | 2007-08-09 | Nec Corp | 画素群パラメータ算出方法及び目標物検出方法並びに画素群パラメータ算出装置及び目標物検出装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107306333B (zh) * | 2016-12-07 | 2020-06-16 | 暨南大学 | 一种高速单像素成像方法 |
| CN109087348B (zh) * | 2017-06-14 | 2022-04-29 | 北京航空航天大学 | 一种基于自适应区域投射的单像素成像方法 |
| CN108895985B (zh) * | 2018-06-19 | 2020-05-15 | 中国科学院合肥物质科学研究院 | 一种基于单像素探测器的物体定位方法 |
| CN110264540B (zh) * | 2019-06-19 | 2021-01-01 | 北京航空航天大学 | 一种并行单像素成像方法 |
-
2021
- 2021-08-30 CN CN202111000918.2A patent/CN113709442B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007199750A (ja) * | 2006-01-23 | 2007-08-09 | Nec Corp | 画素群パラメータ算出方法及び目標物検出方法並びに画素群パラメータ算出装置及び目標物検出装置 |
Non-Patent Citations (3)
| Title |
|---|
| 姜宏志等.单像素成像在三维测量中的应用.《红外与激光工程》.2020,(第03期),全文. * |
| 孙宝清等.单像素成像在特殊波段及三维成像的应用发展.《红外与激光工程》.2020,(第03期),全文. * |
| 赵慧洁等.精密制造中复杂反光表面三维测量技术.《航空精密制造技术》.2020,(第04期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113709442A (zh) | 2021-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Feng et al. | Robust dynamic 3-D measurements with motion-compensated phase-shifting profilometry | |
| CN104061879B (zh) | 一种连续扫描的结构光三维面形垂直测量方法 | |
| EP2295932B1 (en) | Image processing device, image processing method, and program | |
| KR101733228B1 (ko) | 구조광을 이용한 3차원 스캐닝 장치 | |
| CN106032976B (zh) | 基于波长选择的三条纹投影相位展开方法 | |
| CN110264540B (zh) | 一种并行单像素成像方法 | |
| CN107767456A (zh) | 一种基于rgb‑d相机的物体三维重建方法 | |
| CN208887565U (zh) | 一种非接触式高精度的三维测量系统 | |
| CN109087348B (zh) | 一种基于自适应区域投射的单像素成像方法 | |
| CN111947599B (zh) | 基于学习的条纹相位恢复和散斑相关的三维测量方法 | |
| CN104680534B (zh) | 基于单帧复合模板的物体深度信息获取方法 | |
| CN111473745A (zh) | 一种基于多频相移方案的发光表面微观三维测量方法 | |
| Schäfer et al. | Depth and intensity based edge detection in time-of-flight images | |
| CN111947600B (zh) | 基于相位级次代价滤波的鲁棒立体相位展开方法 | |
| CN112212806B (zh) | 一种基于相位信息导向的立体相位展开方法 | |
| CN113709442B (zh) | 一种基于投影重构的单像素成像方法 | |
| CN116429014A (zh) | 一种正交多投射的混叠图像不分离结构光三维测量方法 | |
| Fernandez et al. | Absolute phase mapping for one-shot dense pattern projection | |
| CN110223337B (zh) | 一种针对结构光成像的多径干扰的解扰方法 | |
| CN111462331A (zh) | 扩展对极几何并实时计算三维点云的若干方法 | |
| Fong et al. | High-resolution three-dimensional sensing of fast deforming objects | |
| Dizeu et al. | Frequency shift triangulation: a robust fringe projection technique for 3D shape acquisition in the presence of strong interreflections | |
| CN113066164A (zh) | 一种基于相移轮廓术的单条纹运动物体三维重建方法 | |
| CN112325799A (zh) | 一种基于近红外光投影的高精度三维人脸测量方法 | |
| Zhao et al. | A review on 3D measurement of highly reflective objects using structured light projection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |