CN107909648A - 一种基于多景深图像融合的三维重建方法 - Google Patents

Abstract

一种基于多景深图像融合的三维重建方法，属于三维重建技术领域；解决三维重建精度低、无法得到待测样本真实三维形貌的问题。技术方案是：(1)获取待测样本同一位置不同景深的高分辨率原始图像序列；(2)原始图像序列通过静态小波变换得到对应的高低频系数；(3)针对高低频系数设计相应的融合规则得到高低频融合系数，然后通过静态小波反变换得到融合图像，最后利用高频融合规则得到初始三维重建结果；(4)对初始三维重建结果进行高斯低通滤波处理得到待测样本的最终三维重建结果；(5)将融合图像与最终三维重建结果一一映射得到待测样本真实的三维重建结果。本发明具有三维重建精度高、重建结果真实等优点。

Description

一种基于多景深图像融合的三维重建方法

技术领域

本发明属于三维重建技术领域，具体涉及一种基于多景深图像融合的三维重建方法。

背景技术

近年来越来越多的产品朝着精密化和智能化发展，随着产品加工制造技术的不断革新，必然会导致工业生产流水线的集成化和自动化，因此以三维机器视觉检测技术代替人工检查成为技术发展的必然趋势。目前主流的三维重建方法主要包括激光共聚焦三维重建、结构光三维重建以及基于SFF(Shape From Focus)的图像序列三维重建三大类。

其中，激光共聚焦三维重建方法具有较高的重建精度，但其点扫描的重建方式存在效率低下的问题，不能满足工业应用领域的实时性要求；

结构光三维重建方法具有视场大与效率高的优点，但对于具有高反光属性待测样本的重建会产生较多高反光点的噪声干扰导致重建精度下降；

基于SFF的图像序列三维重建方法的技术路线是：首先选择合适的聚焦评价函数找到不同景深图像中的聚焦区域，然后通过平滑去噪等方法实现待测样本的二维图像序列三维化过程。现有基于SFF框架的三维重建方法主要包括两类：1、采用固定窗口大小的聚焦评价函数，如Ahmad等提出一种动态规划技术定位图像的聚焦区域，Mahmood等在SFF中加入遗传规划的思想提升重建精度；2、采用自适应窗口大小的聚焦评价函数，如Lee等采用绝对中位差作为衡量标准对聚焦评价函数的窗口进行动态调整。但上述方法存在以下两点问题：1、抗噪声干扰能力差，尤其是对图像中弱对比度区域的重建容易出现聚焦评价函数失效的问题；2、只能得到待测样本的高度信息，无法直接获取其表面的细节信息。上述问题的主要原因在于单一化的聚焦评价函数并不能很好的刻画复杂场景下待测样本不同尺度的细节信息。

发明内容

本发明的目的是为解决上述现有技术中存在的三维重建精度低、无法得到待测样本真实三维形貌的问题，而提供一种基于多景深图像融合的三维重建方法。

为实现上述目的，本发明所采用的技术方案是：一种基于多景深图像融合的三维重建方法，其中：包括以下步骤：

(1)获取待测样本同一位置不同景深的高分辨率原始图像序列；

其中，所述原始图像序列获取方法：首先通过手动调节相机纵向位移的方法找到待测样本的上表面与下底面位置，以上表面与下底面的间距设置相机拍摄量程，然后通过相机纵向等距离运动连续采集待测样本同一位置不同景深的图像，得到n幅原始图像序列I₁,I₂,…,I_n；

(2)将原始图像序列通过静态小波变换得到对应的高低频系数；

其中，所述高低频系数的得到方法：对图像序列I₁,I₂,…,I_n按照公式(1)和(2)进行J层静态小波分解，得到高频系数h_j,1,h_j,2,…,h_j,n(j＝1,…,J)和低频系数l₁,l₂,…,l_n；

其中k＝1,…,J,h₀和g₀分别是低频滤波器H₀和高频滤波器G₀的冲激响应；

(3)针对高频系数H_j＝max{abs(h_j,1),abs(h_j,2),…,abs(h_j,n)}采用绝对值最大的融合规则，其中所述高频系数为H_j(j＝1,…,J)，针对低频系数采用权重平均的融合规则，然后通过静态小波反变换得到融合图像I_fusion，公式如(3)所示：

其中k＝0,…,J-1，I_fusion＝L₀，h₁和g₁分别是低频滤波器H₁和高频滤波器G₁的冲激响应；将第J-1层高频融合系数对应的图像序列位置作为初始三维重建结果；公式如(4)所示：

Height_src＝Index{max(abs(h_J-1,1),abs(h_J-1,2),…,abs(h_J-1,n))} (4)

其中Index{·}为取下标函数。

(4)对步骤(3)得到的初始三维重建结果进行高斯低通滤波处理得到待测样本的最终三维重建结果；

(5)将步骤(3)得到的融合图像与步骤(4)得到的最终三维重建结果一一映射得到待测样本的真实三维重建结果。

与现有技术相比，本发明具有三维重建精度高、结果真实等优点。

附图说明

图1是本发明一种基于多景深图像融合的三维重建方法的流程图。

具体实施方式

如图1所示，本实施例所述一种基于多景深图像融合的三维重建方法，其中：包括以下步骤：

(1)获取待测样本同一位置不同景深的高分辨率原始图像序列；

其中，所述原始图像序列获取方法：首先通过手动调节相机纵向位移的方法找到待测样本的上表面与下底面位置，以上表面与下底面的间距设置相机拍摄量程，然后通过相机纵向等距离运动连续采集待测样本同一位置不同景深的图像，得到n幅原始图像序列I₁,I₂,…,I_n；

(2)将原始图像序列通过静态小波变换得到对应的高低频系数；

其中，所述高低频系数的得到方法：对图像序列I₁,I₂,…,I_n按照公式(1)和(2)进行J层静态小波分解，得到高频系数h_j,1,h_j,2,…,h_j,n(j＝1,…,J)和低频系数l₁,l₂,…,l_n；

其中k＝1,…,J,h₀和g₀分别是低频滤波器H₀和高频滤波器G₀的冲激响应；

(3)针对高频系数H_j＝max{abs(h_j,1),abs(h_j,2),…,abs(h_j,n)}采用绝对值最大的融合规则，其中所述高频系数为H_j(j＝1,…,J)，针对低频系数采用权重平均的融合规则，然后通过静态小波反变换得到融合图像I_fusion，公式如(3)所示：

其中k＝0,…,J-1，I_fusion＝L₀，h₁和g₁分别是低频滤波器H₁和高频滤波器G₁的冲激响应；将第J-1层高频融合系数对应的图像序列位置作为初始三维重建结果；公式如(4)所示：

Height_src＝Index{max(abs(h_J-1,1),abs(h_J-1,2),…,abs(h_J-1,n))} (4)

其中Index{·}为取下标函数。

(4)对步骤(3)得到的初始三维重建结果进行高斯低通滤波处理得到待测样本的最终三维重建结果；

(5)将步骤(3)得到的融合图像与步骤(4)得到的最终三维重建结果一一映射得到待测样本的真实三维重建结果。

Claims (1)

1.一种基于多景深图像融合的三维重建方法，其特征是：包括以下步骤：

(1)获取待测样本同一位置不同景深的高分辨率原始图像序列；

其中，所述原始图像序列获取方法：首先通过手动调节相机纵向位移的方法找到待测样本的上表面与下底面位置，以上表面与下底面的间距设置相机拍摄量程，然后通过相机纵向等距离运动连续采集待测样本同一位置不同景深的图像，得到n幅原始图像序列I₁,I₂,…,I_n；

(2)将原始图像序列通过静态小波变换得到对应的高低频系数；

其中，所述高低频系数的得到方法：对图像序列I₁,I₂,…,I_n按照公式(1)和(2)进行J层静态小波分解，得到高频系数h_j,1,h_j,2,…,h_j,n(j＝1,…,J)和低频系数l₁,l₂,…,l_n；

<mrow> <msub> <mi>l</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>m</mi> <mo>&amp;NotElement;</mo> <mi>z</mi> </mrow> </munder> <msub> <mi>h</mi> <mn>0</mn> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>-</mo> <mi>m</mi> <mo>)</mo> </mrow> <msub> <mi>l</mi> <mrow> <mi>k</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>

<mrow> <msub> <mi>h</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>m</mi> <mo>&amp;NotElement;</mo> <mi>z</mi> </mrow> </munder> <msub> <mi>g</mi> <mn>0</mn> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>-</mo> <mi>m</mi> <mo>)</mo> </mrow> <msub> <mi>l</mi> <mrow> <mi>k</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>

其中k＝1,…,J,h₀和g₀分别是低频滤波器H₀和高频滤波器G₀的冲激响应；

(3)针对高频系数H_j＝max{abs(h_j,1),abs(h_j,2),…,abs(h_j,n)}采用绝对值最大的融合规则，其中所述高频系数为H_j(j＝1,…,J)，针对低频系数采用权重平均的融合规则，然后通过静态小波反变换得到融合图像I_fusion，公式如(3)所示：

<mrow> <msub> <mi>L</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>m</mi> <mo>&amp;NotElement;</mo> <mi>z</mi> </mrow> </munder> <msub> <mi>h</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>-</mo> <mi>m</mi> <mo>)</mo> </mrow> <msub> <mi>L</mi> <mrow> <mi>k</mi> <mi>+1</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> <mo>+</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>m</mi> <mo>&amp;NotElement;</mo> <mi>z</mi> </mrow> </munder> <msub> <mi>g</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>-</mo> <mi>m</mi> <mo>)</mo> </mrow> <msub> <mi>H</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>

其中k＝0,…,J-1，I_fusion＝L₀，h₁和g₁分别是低频滤波器H₁和高频滤波器G₁的冲激响应；将第J-1层高频融合系数对应的图像序列位置作为初始三维重建结果；公式如(4)所示：

Height_src＝Index{max(abs(h_J-1,1),abs(h_J-1,2),…,abs(h_J-1,n))} (4)

其中Index{·}为取下标函数。

(4)对步骤(3)得到的初始三维重建结果进行高斯低通滤波处理得到待测样本的最终三维重建结果；

(5)将步骤(3)得到的融合图像与步骤(4)得到的最终三维重建结果一一映射得到待测样本的真实三维重建结果。