CN106097337A - 一种拐角处物体的纹理与三维结构成像方法 - Google Patents

Abstract

一种拐角处物体的纹理与三维结构成像方法，其特征在于，包括以下步骤：1)、采集瞬态图像将带激光光源的照相机的激光光源聚焦后照射拐角后的漫反射墙面上任意一点x^S，再用带激光光源的照相机采集漫反射墙面的瞬态图像(x^S不在相机视野范围内)，得到相机平面上的瞬态图像I(t,u)，其中u为图像坐标；2)、转换坐标：将图像坐标u映射到漫反射墙面上得到点x^P，将图像坐标u转换为x^P，从而将采集得到的相机平面上的瞬态图像I(t,u)转换为漫反射墙面上的瞬态图像i(t,x^p)；本发明算法简单、实用性强，通过单应变换实现被测物体在不同视角的转换，通过采集瞬态图像能够对拐角处被遮挡、无法直接观测的待测物体进行成像，并且同时能够获得拐角处待测物体的纹理和三维结构。

Description

一种拐角处物体的纹理与三维结构成像方法

技术领域

本发明涉及一种拐角处物体的成像方法，尤其是一种拐角处物体的纹理与三维结构成像方法。

背景技术

普通相机成像时，依赖环境光源，物体的三维结构投影到成像平面，相机获得物体的平面投影的纹理和颜色。深度相机成像时，采用相机的单色激光光源，通过测量光从相机到物体的飞行时间获得物体表面各点的深度(即正面的三维结构)。

拐角物体即被拐角遮挡的物体，由于物体反射的光线不能被相机测量而无法用一般的方法成像。如果拐角后的墙面是镜面时，则可以用普通相机成像，但无法获得物体的三维结构；如果拐角后的墙面是漫反射表面时，则光线经过物体和墙面反射后发生混叠，无法成像。

拐角物体成像的基本原理为：拐角物体反射的光线被拐角后的漫反射墙面反射后，用相机采集，测量每条光线的飞行时间，然后采用计算方法分解混叠的光线，从而得到拐角物体表面的范围结构。

现有的一些拐角物体成像的方法主要是通过测量拐角物体发出的光线经过拐角处的墙面反射到相机的时间，用几何理论和计算方法解析出光源的位置，从而得到拐角物体的三维结构，这些方法无法同时得到拐角物体的纹理。

发明内容

针对现有技术的不足，本发明提供一种拐角处物体的纹理与三维结构成像方法。

本发明的技术方案为：一种拐角处物体的纹理与三维结构成像方法，其特征在于，包括以下步骤：

1)、采集瞬态图像：将带激光光源的照相机的激光光源聚焦后照射拐角后的漫反射墙面上任意一点x^S，再用带激光光源的照相机采集漫反射墙面的瞬态图像(x^S不在相机视野范围内)，得到相机平面上的瞬态图像I(t,u)，其中u为图像坐标；

2)、转换坐标：将图像坐标u映射到漫反射墙面上得到点x^P，将图像坐标u转换为x^P，从而将采集得到的相机平面上的瞬态图像I(t,u)转换为漫反射墙面上的瞬态图像i(t,x^p)；

3)、对于漫反射墙面上每个点x^P，其成像方程组为：

i(t,x^P)＝∫r(x)δ[t-τ_s(x)-τ_p(x)-τ_l(x^S)-τ_c(x^P)]dx，

${\mathrm{\τ}}_s\left(x\right)=\frac{1}{c}\sqrt{\left|\right|x^S-x|{|}^2+z{\left(x\right)}^2},{\mathrm{\τ}}_p\left(x\right)=\frac{1}{c}\sqrt{\left|\right|x^P-x|{|}^2+z{\left(x\right)}^2},$

${\mathrm{\τ}}_l\left(x^S\right)=\frac{1}{c}\sqrt{\left|\right|x^S-x^l|{|}^2+{\left(z^l\right)}^2},{\mathrm{\τ}}_c\left(x^p\right)=\frac{1}{c}\sqrt{\left|\right|x^P-x^c|{|}^2+{\left(z^c\right)}^2},$

其中x^S为激光光源照射点，x^P为瞬态图像映射到漫反射墙面的点，x为拐角后物体表面正交投影到漫反射墙面的点，r(x)为拐角后物体表面正交投影到漫反射墙面的纹理，z(x)为拐角后物体表面相对于漫反射墙面的深度，δ(t)称为狄拉克函数或单位脉冲函数，c为光速，x^l和x^c分别为激光和相机正交投影到漫反射墙面的点，z^l和z^c分别为激光和相机相对于漫反射墙面的深度；

4)、求解成像方程组，并计算得到r(x)和z(x)。

上述技术方案中，步骤1)中采集瞬态图像所用的带激光光源的相机为带飞秒脉冲激光器的超高速扫描相机，或为可变频率的ToF(飞行时间)深度相机。

上述技术方案中，步骤2)中所述转换坐标所使用的方法为单应变换，单应变换可以实现拐角处物体在不同视角的图像之间的转换，其数学表达式为：

x^p＝Hu，

$x^p=\left[\begin{array}{c}{x}^{p1}\\ y^{p1}\\ 1\end{array}\right],u=\left[\begin{array}{c}{x}^{u1}\\ y^{u1}\\ 1\end{array}\right],H=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]$

其中，(x^p1,y^p1)为点x^p的坐标分量，(x^u1,y^u1)为图像坐标u的坐标分量，H为3×3的非奇异单应矩阵。

上述技术方案中，步骤4)中计算r(x)和z(x)的步骤为：

4.1、离散化成像方程组：

x为正整数，t＝τ_s(x)+τ_p(x)+τ_l(x^S)+τ_c(x^P),

${\mathrm{\τ}}_s\left(x\right)=\frac{1}{c}\sqrt{\left|\right|x^S-x|{|}^2+z{\left(x\right)}^2},{\mathrm{\τ}}_p\left(x\right)=\frac{1}{c}\sqrt{\left|\right|x^P-x|{|}^2+z{\left(x\right)}^2},$

${\mathrm{\τ}}_l\left(x^S\right)=\frac{1}{c}\sqrt{\left|\right|x^S-x^l|{|}^2+{\left(z^l\right)}^2},{\mathrm{\τ}}_c\left(x^p\right)=\frac{1}{c}\sqrt{\left|\right|x^P-x^c|{|}^2+{\left(z^c\right)}^2}.$

4.2、求解误差：

$e\left(x\right)=\underset{x^P,x^S,t}{\Σ}{\[i(t,x^P)-\underset{x}{\Σ}r\left(x\right)\]}^2,t={\mathrm{\τ}}_s\left(x\right)+{\mathrm{\τ}}_p\left(x\right)+{\mathrm{\τ}}_l\left(x^S\right)+{\mathrm{\τ}}_c\left(x^P\right),$

${\mathrm{\τ}}_s\left(x\right)=\frac{1}{c}\sqrt{\left|\right|x^S-x|{|}^2+z{\left(x\right)}^2},{\mathrm{\τ}}_p\left(x\right)=\frac{1}{c}\sqrt{\left|\right|x^P-x|{|}^2+z{\left(x\right)}^2},$

${\mathrm{\τ}}_l\left(x^S\right)=\frac{1}{c}\sqrt{\left|\right|x^S-x^l|{|}^2+{\left(z^l\right)}^2},{\mathrm{\τ}}_c\left(x^p\right)=\frac{1}{c}\sqrt{\left|\right|x^P-x^c|{|}^2+{\left(z^c\right)}^2}.$

4.3、求解最小二乘问题：

$\[r\left(x\right),z\left(x\right)\]=\arg \underset{\[r\left(x\right),z\left(x\right)\]}{\min }e\left(x\right).$

所述的可变频的ToF(飞行时间)深度相机通过采用等间隔处理后的频率对被测对象采集一组图像集；从所述图像集中提取出基波图像和谐波图像，并对基波图像和谐波图像进行校正，将校正后的基波图像和谐波图像沿着所属频率做傅里叶反变换得到瞬态图像I(t,u)。

上述技术方案中，步骤4.3)中所述求解最小二乘问题的方法为置信度传播算法。

本发明的有益效果为：算法简单、实用性强，通过单应变换实现被测物体在不同视角的转换，通过采集瞬态图像能够对拐角处被遮挡、无法直接观测的待测物体进行成像，并且同时能够获得拐角处待测物体的纹理和三维结构。

附图说明

图1为本发明采集瞬态图像的示意图；

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明：

如图1所示，一种拐角处物体的纹理与三维结构成像方法，其特征在于，包括以下步骤：

1)、采集瞬态图像：通过带激光光源的照相机对拐角处待测物体进行瞬态图像采集，将带激光光源的照相机的激光光源聚焦后照射拐角后的漫反射墙面上任意一点x^S，再用带激光光源的照相机采集漫反射墙面的瞬态图像(x^S不在相机视野范围内)，得到相机平面上的瞬态图像I(t,u)，其中u为图像坐标；

2)、转换坐标：将图像坐标u映射到漫反射墙面上得到点x^P，将图像坐标u转换为x^P，从而将采集得到的相机平面上的瞬态图像I(t,u)转换为漫反射墙面上的瞬态图像i(t,x^p)；

3)、对于漫反射墙面上每个点x^P，其成像方程组为：

i(t,x^P)＝∫r(x)δ[t-τ_s(x)-τ_p(x)-τ_l(x^S)-τ_c(x^P)]dx,

${\mathrm{\τ}}_s\left(x\right)=\frac{1}{c}\sqrt{\left|\right|x^S-x|{|}^2+z{\left(x\right)}^2},{\mathrm{\τ}}_p\left(x\right)=\frac{1}{c}\sqrt{\left|\right|x^P-x|{|}^2+z{\left(x\right)}^2},$

${\mathrm{\τ}}_l\left(x^S\right)=\frac{1}{c}\sqrt{\left|\right|x^S-x^l|{|}^2+{\left(z^l\right)}^2},{\mathrm{\τ}}_c\left(x^p\right)=\frac{1}{c}\sqrt{\left|\right|x^P-x^c|{|}^2+{\left(z^c\right)}^2}$

其中x^S为激光光源照射点，x^P为瞬态图像映射到漫反射墙面的点，x为拐角后物体表面正交投影到漫反射墙面的点，r(x)为拐角后物体表面正交投影到漫反射墙面的纹理，z(x)为拐角后物体表面相对于漫反射墙面的深度，δ(t)称为狄拉克函数或单位脉冲函数，c为光速，x^l和x^c分别为激光和相机正交投影到漫反射墙面的点，z^l和z^c分别为激光和相机相对于漫反射墙面的深度；

4)、求解成像方程组，并计算得到r(x)和z(x)，其求解步骤如下，

4.1、离散化成像方程组：

x为正整数，t＝τ_s(x)+τ_p(x)+τ_l(x^S)+τ_c(x^P),

${\mathrm{\τ}}_s\left(x\right)=\frac{1}{c}\sqrt{\left|\right|x^S-x|{|}^2+z{\left(x\right)}^2},{\mathrm{\τ}}_p\left(x\right)=\frac{1}{c}\sqrt{\left|\right|x^P-x|{|}^2+z{\left(x\right)}^2},$

${\mathrm{\τ}}_l\left(x^S\right)=\frac{1}{c}\sqrt{\left|\right|x^S-x^l|{|}^2+{\left(z^l\right)}^2},{\mathrm{\τ}}_c\left(x^p\right)=\frac{1}{c}\sqrt{\left|\right|x^P-x^c|{|}^2+{\left(z^c\right)}^2}.$

4.2、求解误差：

$e\left(x\right)=\underset{x^P,x^S,t}{\Σ}{\[i(t,x^P)-\underset{x}{\Σ}r\left(x\right)\]}^2,t={\mathrm{\τ}}_s\left(x\right)+{\mathrm{\τ}}_p\left(x\right)+{\mathrm{\τ}}_l\left(x^S\right)+{\mathrm{\τ}}_c\left(x^P\right),$

${\mathrm{\τ}}_s\left(x\right)=\frac{1}{c}\sqrt{\left|\right|x^S-x|{|}^2+z{\left(x\right)}^2},{\mathrm{\τ}}_p\left(x\right)=\frac{1}{c}\sqrt{\left|\right|x^P-x|{|}^2+z{\left(x\right)}^2},$

${\mathrm{\τ}}_l\left(x^S\right)=\frac{1}{c}\sqrt{\left|\right|x^S-x^l|{|}^2+{\left(z^l\right)}^2},{\mathrm{\τ}}_c\left(x^p\right)=\frac{1}{c}\sqrt{\left|\right|x^P-x^c|{|}^2+{\left(z^c\right)}^2}.$

4.3、求解最小二乘问题：

$\[r\left(x\right),z\left(x\right)\]=\arg \underset{\[r\left(x\right),z\left(x\right)\]}{\min }e\left(x\right).$

上述技术方案中，步骤1)中采集瞬态图像所用的带激光光源的相机为带飞秒脉冲激光器的超高速扫描相机，或为可变频率的ToF(飞行时间)深度相机。

所述的可变频的ToF(飞行时间)深度相机采集瞬态图像I(t,u)的频率为5MHz-160MHz，将5MHz-160MHz的频率进行等间隔处理，可变频的ToF(飞行时间)深度相机通过采用等间隔处理后的频率对被测对象采集一组图像集；从所述图像集中提取出基波图像和谐波图像，并对基波图像和谐波图像进行校正，将校正后的基波图像和谐波图像沿着频率做傅里叶反变换得到瞬态图像I(t,u)。

上述技术方案中，步骤2)中所述转换坐标所使用的方法为单应变换，单应变换可以实现拐角处物体在不同视角的图像之间的转换，其数学表达式为：

x^p＝Hu，

$x^p=\left[\begin{array}{c}{x}^{p1}\\ y^{p1}\\ 1\end{array}\right],u=\left[\begin{array}{c}{x}^{u1}\\ y^{u1}\\ 1\end{array}\right],H=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]$

其中，(x^p1,y^p1)为点x^p的坐标分量，(x^u1,y^u1)为图像坐标u的坐标分量，H为3×3的非奇异单应矩阵。

上述技术方案中，步骤1)中激光光源照射拐角后的漫反射墙面上的每个点x^S均可以列成一个成像方程组。

上述技术方案中，步骤4.3)中所述求解最小二乘问题的方法为置信度传播算法。

上述实施例和说明书中描述的只是说明本发明的原理和最佳实施例，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (6)

1.一种拐角处物体的纹理与三维结构成像方法，其特征在于，包括以下步骤：

1)、采集瞬态图像：将带激光光源的照相机的激光光源聚焦后照射拐角后的漫反射墙面上任意一点x^S，再用带激光光源的照相机采集漫反射墙面的瞬态图像(x^S不在相机视野范围内)，得到相机平面上的瞬态图像I(t,u)，其中u为图像坐标；

2)、转换坐标：将图像坐标u映射到漫反射墙面上得到点x^P，将图像坐标u转换为x^P，从而将采集得到的相机平面上的瞬态图像I(t,u)转换为漫反射墙面上的瞬态图像i(t,x^p)；

3)、对于漫反射墙面上每个点x^P，其成像方程组为：

i(t,x^P)＝∫r(x)δ[t-τ_s(x)-τ_p(x)-τ_l(x^S)-τ_c(x^P)]dx，

${\mathrm{\τ}}_s\left(x\right)=\frac{1}{c}\sqrt{{||x^S-x||}^2+z{\left(x\right)}^2},{\mathrm{\τ}}_p\left(x\right)=\frac{1}{c}\sqrt{{||x^P-x||}^2+z{\left(x\right)}^2},$

${\mathrm{\τ}}_l\left(x^S\right)=\frac{1}{c}\sqrt{{||x^S-x^l||}^2+{\left(z^l\right)}^2},{\mathrm{\τ}}_c\left(x^p\right)=\frac{1}{c}\sqrt{{||x^P-x^c||}^2+{\left(z^c\right)}^2},$

其中x^S为激光光源照射点，x^P为瞬态图像映射到漫反射墙面的点，x为拐角后物体表面正交投影到漫反射墙面的点，r(x)为拐角后物体表面正交投影到漫反射墙面的纹理，z(x)为拐角后物体表面相对于漫反射墙面的深度，δ(t)称为狄拉克函数或单位脉冲函数，c为光速，x^l和x^c分别为激光和相机正交投影到漫反射墙面的点，z^l和z^c分别为激光和相机相对于漫反射墙面的深度；

4)、求解成像方程组，并计算得到r(x)和z(x)。

2.根据权利要求1所述的一种拐角处物体的纹理与三维结构成像方法，其特征在于：步骤1)中采集瞬态图像所用的带激光光源的相机为带飞秒脉冲激光器的超高速扫描相机，或为可变频率的ToF(飞行时间)深度相机。

3.根据权利要求1所述的一种拐角处物体的纹理与三维结构成像方法，其特征在于：步骤2)中所述转换坐标所使用的方法为单应变换，单应变换可以实现拐角处物体在不同视角的图像之间的转换，其数学表达式为：

x^p＝Hu，

$x^p=\left[\begin{array}{c}{x}^{p1}\\ y^{p1}\\ 1\end{array}\right],u=\left[\begin{array}{c}{x}^{u1}\\ y^{u1}\\ 1\end{array}\right],H=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]$

其中，(x^p1,y^p1)为点x^p的坐标分量，(x^u1,y^u1)为图像坐标u的坐标分量，H为3×3的非奇异单应矩阵。

4.根据权利要求1所述的一种拐角处物体的纹理与三维结构成像方法，其特征在于：步骤4)中计算r(x)和z(x)的步骤为：

4.1、离散化成像方程组：

x为正整数，t＝τ_s(x)+τ_p(x)+τ_l(x^S)+τ_c(x^P),

${\mathrm{\τ}}_s\left(x\right)=\frac{1}{c}\sqrt{{||x^S-x||}^2+z{\left(x\right)}^2},{\mathrm{\τ}}_p\left(x\right)=\frac{1}{c}\sqrt{{||x^P-x||}^2+z{\left(x\right)}^2},$

${\mathrm{\τ}}_l\left(x^S\right)=\frac{1}{c}\sqrt{{||x^S-x^l||}^2+{\left(z^l\right)}^2},{\mathrm{\τ}}_c\left(x^p\right)=\frac{1}{c}\sqrt{{||x^P-x^c||}^2+{\left(z^c\right)}^2},$

4.2、求解误差：

t＝τ_s(x)+τ_p(x)+τ_l(x^S)+τ_c(x^P),

${\mathrm{\τ}}_s\left(x\right)=\frac{1}{c}\sqrt{{||x^S-x||}^2+z{\left(x\right)}^2},{\mathrm{\τ}}_p\left(x\right)=\frac{1}{c}\sqrt{{||x^P-x||}^2+z{\left(x\right)}^2},$

${\mathrm{\τ}}_l\left(x^S\right)=\frac{1}{c}\sqrt{{||x^S-x^l||}^2+{\left(z^l\right)}^2},{\mathrm{\τ}}_c\left(x^p\right)=\frac{1}{c}\sqrt{{||x^P-x^c||}^2+{\left(z^c\right)}^2},$

4.3、求解最小二乘问题：

$\[r\left(x\right),z\left(x\right)\]=\arg \underset{\[r\left(x\right),z\left(x\right)\]}{\min }e\left(x\right).$

5.根据权利要求2所述的一种拐角处物体的纹理与三维结构成像方法，其特征在于：所述的可变频的ToF(飞行时间)深度相机通过采用等间隔处理后的频率对被测对象采集一组图像集；从所述图像集中提取出基波图像和谐波图像，并对基波图像和谐波图像进行校正，将校正后的基波图像和谐波图像沿着所属频率做傅里叶反变换得到瞬态图像I(t,u)。

6.根据权利要求4所述的一种拐角处物体的纹理与三维结构成像方法，其特征在于：步骤4.3)中所述求解最小二乘问题的方法为置信度传播算法。