CN104833307A - 一种高帧率运动物体三维测量方法 - Google Patents

Abstract

本发明公开了一种高帧率运动物体三维测量方法，该方法包括同步获取高帧率投影和图像、运用连续编解码算法对格雷码进行编解码以及进行基于格雷码的运动补偿算法三个步骤，采用基于DMD技术的快速、可编程图像模式技术，将高帧率视觉与高帧率投影引入到运动物体三维测量中，达到上千帧的编码结构光图像投影与获取，在连续投影与图像获取过程中，每获取一帧投影图像即可对被测物体进行编解码，最后通过已知物体运动速度或基于物体运动估计获取物体在被测水平面内的运动速度信息，运行偏差估计补偿算法。本发明克服了标准帧率意义上格雷码编码结构光不能用于运动物体三维测量的限制，具备运动偏差补偿功能，大大提高了连续三维测量的效率和精度。

Description

一种高帧率运动物体三维测量方法

技术领域：

本发明涉及图像处理、计算机图形学、结构光三维扫描等领域，特别涉及一种基于结构光投影的、编解码算法简单、高测量效率、高测量精度的高帧率运动物体三维测量方法。

背景技术：

近年来，三维测量技术在人体建模、模式识别、工业检测、逆向工程以及目标识别等领域得到了广泛应用，显示出了强大的商业前景。随着计算机技术以及光学半导体技术的发展，基于计算机视觉的结构光三维形态测量技术以其测量过程不直接接触被测物体、测量效率高等优势取得了巨大的发展。结构光编码方式总体上可分为时域结构光编码方式和空间结构光编码方式，时域结构光编码方式往往向被测物体投影多幅编码图像获取物体的三维形态信息，测量精度高，但是它往往只适用于静态物体三维测量。而空间结构光编码方式只需要向被测物体投影单个光栅图像，可以适用于运动物体三维测量，但是其编解码算法复杂，测量效率、精度较低。以上问题严重地限制了结构光三维测量技术在诸如快速自动化生产线产品检测中的应用。

发明内容：

本发明要解决的技术问题是，提供一种基于结构光投影的、编解码算法简单、高测量效率、高测量精度的高帧率运动物体三维测量方法。

本发明的技术解决方案是，提供一种包括以下顺序步骤的高帧率运动物体三维测量方法：

步骤一、同步获取高帧率投影和图像：采用基于DMD技术的快速、可编程图像模式技术，将高帧率视觉与高帧率投影引入到运动物体三维测量中，可以达到上千帧的编码结构光图像投影与获取；

步骤二、运用连续编解码算法对格雷码进行编解码：采用一种类流水线处理的编解码方法，在连续投影与图像获取过程中，每获取一帧投影图像，即可对被测物体进行编解码；

步骤三、进行基于格雷码的运动补偿算法：通过已知物体运动速度或基于物体运动估计获取物体在被测水平面内的运动速度信息，通过偏差估计补偿，得到更加精确的三维测量结果，实现扫描效率与扫描精度的平衡。

本发明所述的一种高帧率运动物体三维测量方法，其中，步骤一中所述的同步获取高帧率投影和图像是指使用高速DLP投影仪以高帧率投影编码图像，与之保持同步的高速工业相机通过信号同步模块的信号转换而同时获取投影图像，缩小投影与图像获取时间间隔。

本发明所述的一种高帧率运动物体三维测量方法，其中，步骤二中所述的运用连续编解码算法对格雷码进行编解码是指以六幅编码图像为例,编码顺序是G_iG_i+1G_i+2G_i+3G_i+4G_i+5，下一次再次编码是G_i+6G_i+7G_i+8G_i+9G_i+10G_i+11，如果投影帧率为K，那么编码频率为K/6，只需要相邻六帧图像即可完成一次编解码操作，即连续两次编码为G_iG_i+1G_i+2G_i+3G_i+4G_i+5、G_i+6G_i+1G_i+2G_i+3G_i+4G_i+5，编码频率可达到K。

本发明所述的一种高帧率运动物体三维测量方法，其中，步骤三中所述的进行基于格雷码的运动补偿算法是指首先在时刻t₂设定物体上某一点坐标点(x，y)，接着根据物体运动速度信息v_x，v_y预测出上一时刻t₁位于坐标点(x-v_x·Δt，y-v_y·Δt)，其中Δt＝t₂-t₁，

此时若物体运动速度v_x、v_y已知，则可以直接利用运动补偿算法获取精确编码值；

如运动速度v_x、v_y未知，则运动速度v_x、v_y估计算法按照以下流程进行：

①在k时刻，获取投影仪图像I(X，Y，k)，

②经过图像二值化处理，获取二值化图像G(X，Y，k)，

③经过编码图像生成步骤，得到编码图像C(X，Y，k)，

④经过深度图像求解步骤，得到系统深度图像D(X，Y，k)；

⑤设定深度阈值θ_R，将运动物体提取出来,得到运动区域图像Q(X，Y，k)，其中

$Q(X,Y,k)=\left\{\begin{array}{cc}1& D(X,Y,k)-D_R(X,Y){>\mathrm{\θ}}_R\\ 0& \left(\mathrm{otherwise}\right)\end{array}\right.$

其中，D_R(X，Y)为没有物体时的参考平面深度图像，运动目标深度图像D′(X，Y，k)＝Q(X，Y，k)·D(X，Y，k),对目标深度图像求取矩特征，

M₀(k)＝∑_X，YQ(X，Y，k)

M_X(k)＝∑_X，YX·Q(X，Y，k)

M_Y(k)＝∑_X，YY·Q(X，Y，k)

根据以上公式可得到运动速度v_x、v_y的信息

$v_x\left(k\right)=\frac{\tilde{X}\left(k\right)-\tilde{X}(k-\mathrm{\τ})}{\mathrm{\τ}},v_y\left(k\right)=\frac{\tilde{Y}\left(k\right)-\tilde{Y}(k-\mathrm{\τ})}{\mathrm{\τ}}$

其中，τ为图像获取时间间隔,由此得到的运动速度信息将用于下一时刻的运动补偿算法。

与现有技术相比较，本发明的有益效果在于：

1、可以达到上千帧的编码结构光图像投影与获取，突破传统标准帧率意义上，格雷码编码结构光不能用于运动物体三维测量的限制；

2、连续编解码算法对格雷码进行编解码，实现与帧率一致的编解码，在连续投影与图像获取过程中，每获取一帧投影图像，即可对被测物体进行编解码，提高了运动物体三维测量效率提高三维测量效率；

3、具备运动偏差补偿功能，根据已知或估计出物体运动信息，补偿由于运动造成的像素偏差，实现扫描效率与扫描精度的平衡，从而实现高帧率下运动物体的高效率、高精度三维形态测量。

附图说明：

图1是本发明中高帧率投影和图像同步获取系统示意图；

图2是图1中信号同步模块示意图；

图3是本发明一种高帧率运动物体三维测量方法中连续格雷码编解码示意图；

图4是传统格雷码编码方法示意图；

图5是本发明一种高帧率运动物体三维测量方法中格雷码的运动补充算法示意图；

图6是本发明一种高帧率运动物体三维测量方法中物体运动信息估计算法流程图。

具体实施例：

下面结合附图和具体实施例对本发明一种高帧率运动物体三维测量方法作进一步说明：

本发明一种高帧率运动物体三维测量方法的第一个步骤是同步获取高帧率投影和图像，这个步骤需要一个高帧率投影和图像同步获取系统，如图1所示，同步获取系统包括一个高帧率DLP投影仪5、一个高帧率工业相机6与一个信号同步模块7。在工作过程中，高帧率DLP投影仪5以上千帧速率投影格雷码编码图像P_i,同时配置高帧率DLP投影仪5的IO输出端，输出一上升沿跳变信号，经过信号同步模块7转换，发出适用于高帧率工业相机6外触发输入端的触发信号，从而实现高帧率下的同步投影与图像获取，获取到的图像同时传输到PC机。

本发明一种高帧率运动物体三维测量方法中，信号同步模块7，如图2所示，采用高帧率DLP投影仪5，可以实现上千帧黑白图像投影；同时，通过配置其外触发信号输出，可以实现投影的同时发出触发信号。高帧率工业相机6同时支持外部信号触发拍摄功能，信号同步模块7的功能为对输入信号IN进行处理，使输出信号OUT满足高帧率工业相机6的外部触发信号要求。

本发明一种高帧率运动物体三维测量方法的第二个步骤是，运用连续编解码算法对格雷码进行编解码，如图3所示，基于格雷码的编码方法通常是连续编码，以图3所示的六幅编码图像为例,编码顺序是G_iG_i+1G_i+2G_i+3G_i+4G_i+5，下一次再次编码是G_i+6G_i+7G_i+8G_i+9G_i+10G_i+11，如果投影帧率为K，那么编码频率为K/6。本发明采用循环连续编码方法，只需要相邻六帧图像即可完成一次编解码操作，即连续两次编码为G_iG_i+1G_i+2G_i+3G_i+4G_i+5、G_i+6G_i+1G_i+2G_i+3G_i+4G_i+5，编码频率可达到K，将三维测量效率提高六倍。

本发明一种高帧率运动物体三维测量方法的第三个步骤是，运用连续编解码算法对格雷码进行编解码，即基于格雷码的运动补偿算法。如图4所示，传统的格雷码编码方法只适用于静态物体的三维测量，在投影过程中，当物体运动时，物体上的同一点会对应于获得图像中的不同位置，即在t₁时刻时，物体上的一点(x，y)，当物体运动在t₂时刻时不再对应于点(x，y)，从而导致编码误差。高帧率投影可以从一定程度上减小这种误差，但是无法消除编码误差。因此，本发明一种高帧率运动物体三维测量方法提出一种运动误差补偿算法，采用估计出的物体的运动速度补偿由于物体运动造成的像素偏差。本发明一种高帧率运动物体三维测量方法中基于格雷码的运动补偿算法的核心思想是，如图5所示，在时刻t₂，物体上某一点坐标点(x，y)，可以根据物体运动速度信息v_x，vy预测出上一时刻位于坐标点(x-v_x·Δt，y-v_y·Δt)，其中Δt＝t₂-t₁。因此，可以最大程度上减小编码误差，获取更加精确的三维测量结果。

本发明一种高帧率运动物体三维测量方法提出的物体运动速度估计算法中，物体运动速度估计限于刚体或者可看作刚体的物体，运动速度限于近似匀速运动物体。若物体运动速度v_x、v_y已知，则可以直接利用运动补偿算法获取精确编码值；如运动速度v_x、v_y未知，则运动速度v_x、v_y估计算法按照如图6所示的流程进行：

①在k时刻，获取投影仪图像I(X，Y，k)，

②经过图像二值化处理，获取二值化图像G(X，Y，k)，

③经过编码图像生成步骤，得到编码图像C(X，Y，k)，

④经过深度图像求解步骤，得到系统深度图像D(X，Y，k)；

⑤设定深度阈值θ_R，将运动物体提取出来,得到运动区域图像Q(X，Y，k)，其中

$Q(X,Y,k)=\left\{\begin{array}{cc}1& D(X,Y,k)-D_R(X,Y){>\mathrm{\θ}}_R\\ 0& \left(\mathrm{otherwise}\right)\end{array}\right.---\left(1\right)$

其中，D_R(X，Y)为没有物体时的参考平面深度图像，运动目标深度图像D′(X，Y，k)＝Q(X，Y，k)·D(X，Y，k),对目标深度图像求取矩特征，

M₀(k)＝∑_X，YQ(X，Y，k)  (2)

M_X(k)＝∑_X，YX·Q(X，Y，k)  (3)

M_Y(k)＝∑_X，YY·Q(X，Y，k)  (4)

根据公式(1)、(2)、(3)及(4)可得到运动速度v_x、v_y的信息

$v_x\left(k\right)=\frac{\tilde{X}\left(k\right)-\tilde{X}(k-\mathrm{\τ})}{\mathrm{\τ}},v_y\left(k\right)=\frac{\tilde{Y}\left(k\right)-\tilde{Y}(k-\mathrm{\τ})}{\mathrm{\τ}}---\left(5\right)$

其中，τ为图像获取时间间隔,由此得到的运动速度信息将用于下一时刻的运动补偿算法。因此，运动速度估计算法是一个迭代的过程，当速度接近于物体实际运动时，可以最大限度消除编码误差，获取高精度的三维测量结果。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (4)

1.一种高帧率运动物体三维测量方法，其特在在于：该测量方法包括以下顺序步骤：

步骤一、同步获取高帧率投影和图像：采用基于DMD技术的快速、可编程图像模式技术，将高帧率视觉与高帧率投影引入到运动物体三维测量中，可以达到上千帧的编码结构光图像投影与获取；

步骤二、运用连续编解码算法对格雷码进行编解码：采用一种类流水线处理的编解码方法，在连续投影与图像获取过程中，每获取一帧投影图像，即可对被测物体进行编解码；

步骤三、进行基于格雷码的运动补偿算法：通过已知物体运动速度或基于物体运动估计获取物体在被测水平面内的运动速度信息，通过偏差估计补偿，得到更加精确的三维测量结果，实现扫描效率与扫描精度的平衡。

2.根据权利要求1所述的一种高帧率运动物体三维测量方法，其特征在于：步骤一中所述的同步获取高帧率投影和图像是指使用高速DLP投影仪(5)以高帧率投影编码图像，与之保持同步的高速工业相机(6)通过信号同步模块(7)的信号转换而同时获取投影图像，缩小投影与图像获取时间间隔。

3.根据权利要求1所述的一种高帧率运动物体三维测量方法，其特征在于：步骤二中所述的运用连续编解码算法对格雷码进行编解码是指以六幅编码图像为例,编码顺序是G_iG_i+1G_i+2G_i+3G_i+4G_i+5，下一次再次编码是G_i+6G_i+7G_i+8G_i+9G_i+10G_i+11，如果投影帧率为K，那么编码频率为K/6，只需要相邻六帧图像即可完成一次编解码操作，即连续两次编码为G_iG_i+1G_i+2G_i+3G_i+4G_i+5、G_i+6G_i+1G_i+2G_i+3G_i+4G_i+5，编码频率可达到K。

4.根据权利要求1所述的一种高帧率运动物体三维测量方法，其特征在于：步骤三中所述的进行基于格雷码的运动补偿算法是指首先在时刻t₂设定物体上某一点坐标点(x，y)，接着根据物体运动速度信息v_x，v_y预测出上一时刻t₁位于坐标点(x-v_x·Δt，y-v_y·Δt)，其中Δt＝t₂-t₁，

此时若物体运动速度v_x、v_y已知，则可以直接利用运动补偿算法获取精确编码值；

如运动速度v_x、v_y未知，则运动速度v_x、v_y估计算法按照以下流程进行：

①在k时刻，获取投影仪图像I(X，Y，k)，

②经过图像二值化处理，获取二值化图像G(X，Y，k)，

③经过编码图像生成步骤，得到编码图像C(X，Y，k)，

④经过深度图像求解步骤，得到系统深度图像D(X，Y，k)；

⑤设定深度阈值θ_R，将运动物体提取出来,得到运动区域图像Q(X，Y，k)，其中

$Q(X,Y,k)=\left\{\begin{array}{cc}1& D(X,Y,k)-D_R(X,Y)>{\mathrm{\θ}}_R\\ 0& \left(\mathrm{otherwise}\right)\end{array}\right.---\left(1\right)$

其中，D_R(X，Y)为没有物体时的参考平面深度图像，运动目标深度图像D′(X，Y，k)＝Q(X，Y，k)·D(X，Y，k),对目标深度图像求取矩特征，

M₀(k)＝Σ_X，YQ(X，Y，k)       (2)

M_X(k)＝Σ_X，YX·Q(X，Y，k)          (3)

M_Y(k)＝Σ_X，YY·Q(X，Y，k)           (4)

根据公式(1)、(2)、(3)及(4)可得到运动速度v_x、v_y的信息

$v_x\left(k\right)=\frac{\tilde{X}\left(k\right)-\tilde{X}(k-\mathrm{\τ})}{\mathrm{\τ}},v_y\left(k\right)=\frac{\tilde{Y}\left(k\right)-\tilde{Y}(k-\mathrm{\τ})}{\mathrm{\τ}}---\left(5\right)$

其中，τ为图像获取时间间隔, $\tilde{X}\left(k\right)=M_X\left(k\right)/M_0\left(k\right),\tilde{Y}\left(k\right)=M_Y\left(k\right)/M_0\left(k\right);$ 由此得到的运动速度信息将用于下一时刻的运动补偿算法。