CN1312461C - 薄片型柔性体表面三维重建的系统和方法 - Google Patents

Abstract

本发明提出了一种用于薄片型柔性体表面三维重建的系统和方法。该系统包括一背景光源，用于发出均匀的后向漫反射光；一试样夹持装置，其上夹持有待三维重建的一试样，该试样夹持装置具有一顶点，所述试样在该顶点处弯折；一图像采集装置，用于采集所述试样在所述顶点处的侧面投影图像；一试样驱动装置，其驱动夹持在所述试样夹持装置上的所述试样均匀地通过所述顶点；以及一计算机。其中该计算机包括：驱动器，其控制该试样驱动装置的运转；图像采集卡，其接收所述试样的侧面投影图像的序列，对所述图像序列进行处理和分析；轮廓提取模块，其提取每一帧图像的侧面投影高度信息；以及拼接模块，其按照采集顺序拼接得到所述试样表面的三维立体图像。

Description

薄片型柔性体表面三维重建的系统和方法

技术领域

本发明涉及一种对物体表面进行三维重建的系统和方法，可广泛应用于物体表面的外观检测、特征分析和质量控制，尤其适用于薄片型柔性体表面的三维重建。

背景技术

三维重建技术被广泛地应用于工业生产、工业检测、宇宙探索、科学研究等各个领域。一般意义上讲，为获得物体的三维形状，所需的测量系统可以分为：机械接触测量和光电式非接触测量两大类。光电式非接触测量又可以分为：双目或多目立体测量，结构光栅，激光三角测量，激光飞点测量，莫尔干涉测量等方法。每一种三维重建技术都有各自的优点和缺点。

机械接触测量主要适用刚体的连续表面，具有较高精度和稳定性。而对于所谓的薄片型柔性体，其包括：纺织品，塑料薄膜，纸张和其他可自由弯曲的薄片型材料，则无法采用该机械接触测量。光电式非接触测量中的双目或多目立体测量，是基于双目立体匹配算法和相机标定技术，对于没有很多纹理细节或者深色的物体表面，测量精度差且不稳定。结构光栅测量，是基于编码光栅和三角测量的原理，对于杂色或多花纹的物体表面，由于破坏了光栅的编码图案，会导致重建算法失败。激光三角测量和激光飞点测量，是一种逐点测量方法，扫描效率低，且成本昂贵。莫尔干涉测量，同样不适合测量杂色，多花纹或深黑色的物体表面，而且复杂曲面的莫尔纹分析技术的自动化也是技术的难点。

在工业生产中，对于薄片型柔性体材料的表面分析主要是基于光反射或投射得到的二维表面图像，而二维表面图像无法表达材料表面的三维信息和特征。在此背景下，需要合适的三维重建技术来提取材料表面的三维信息和特征。由于材料表面的复杂性，杂色、多花纹、深色或黑色，缺少纹理细节等情况经常出现，面对如此复杂的样本测试种类，选用前面所述的几种重建技术只能适用于特定的样本类型，无法覆盖大部分样本类型。因此迫切需要提供一种通用的柔性材料表面的三维重建技术，其能够适用于各种类型的柔性材料表面。

发明内容

鉴于上述问题，本发明的目的是提供一种三维重建的技术，其不受试样表面的色彩，纹理和光泽等因素的影响，可快速、准确地得到柔性材料表面的三维立体信息。

为了实现上述目的，本发明提供了一种用于薄片型柔性体表面三维重建的系统，包括：一背景光源，用于发出均匀且具有一定亮度的后向漫反射光；一试样夹持装置，其上夹持有待三维重建的一试样，所述试样夹持装置具有一顶点，所述试样在该顶点处弯折，从所述背景光源发出的漫反射光投射到该试样上；一图像采集装置，用于采集所述试样的图像，从而得到所述试样在所述顶点处的侧面投影图像；一试样驱动装置，其驱动夹持在所述试样夹持装置上的所述试样均匀地通过所述顶点，从而该图像采集装置能够依次得到该试样表面不同位置处的侧面投影图像；以及一计算机。其中该计算机包括：一驱动器，与所述试样驱动装置相连，以控制所述试样驱动装置的运转；一图像采集卡，与所述图像采集装置相连，以接收该图像采集装置采集到的所述试样的侧面投影图像的序列、对接收的图像进行数字化处理并将其存储在存储器中，一轮廓提取模块，其提取每一帧图像的侧面投影高度信息，以及一拼接模块，其按照采集顺序将该每一帧图像的侧面投影高度信息拼接，以得到所述试样表面的三维立体图像。

本发明的另一方面，还提供了一种用于薄片型柔性体表面三维重建的方法，包括如下步骤：

采样：将试样夹持在一试样夹持装置上以使所述试样在该试样夹持装置的一顶点处弯折，驱动所述试样连续弯折通过所述试样夹持装置的该顶点、同时由设置在所述试样一侧的一背景光源对所述试样投影，以形成所述试样的位于该顶点位置的侧面投影图像，并由一图像采集装置采集一试样的各个位置处的侧面投影图像，形成侧面投影图像序列；

轮廓提取：对所述各个侧面投影图像进行处理，提取每一帧图像的侧面投影高度信息；

拼接：按照采集顺序将得到的侧面投影高度信息进行拼接，从而得到所述试样表面的三维立体图像。

本发明的有益效果是，由于本发明基于薄片型柔性体易于弯曲的特点，利用一种曲面型试样夹持装置，将薄片型材料固定并弯曲获得一定曲率的条形凸面；通过均匀且具有一定亮度的后向漫反射光源照射下，利用图像采集装置来采集图像，得到条形凸面的侧面投影图像；另外，通过由计算机控制的试样驱动装置，连续转动试样，得到试样表面在不同位置连续弯曲形成的条形凸面的侧面投影图像系列；利用图像处理和分析技术，提取图像系列中每一帧图像的试样表面的侧面投影高度信息，并按照采集顺序拼接提到试样表面的三维立体图像。所以本发明是一种专门适用于薄片型柔性体表面的三维重建的无接触光电测量方法，其不受试样表面的色彩，纹理和光泽等因素的影响，可快速、准确地得到柔性材料表面的三维立体信息。适用于离线检测和在线检测两种模式，可广泛应用于纺织，印刷，包装等行业。

下面结合附图和具体实施方式对本发明作进一步说明。

附图说明

图1是本发明用于薄片型柔性体表面的三维重建系统的结构示意图；

图2A和图2B示出了本发明中的曲面型试样夹持装置的两种实施例；

图3A和图3B分别示出本发明中的后向照明的方式；

图4是试样弯曲后的侧面投影图像；

图5是试样表面的侧面投影高度曲线；

图6是本发明中的计算机的构成示意图。

其中，附图标记说明如下：

光密闭空间1      背景光源2

试样夹持装置3    支架31，31’

辊子311          传送带312

夹头32           顶点33

试样4            电机5

图像采集装置7    后反射镜80

分束镜81

计算机10

图像采集卡101

电机驱动器102

图像处理模块104

轮廓提取模块1041

拼接模块1042

具体实施方式

以下结合附图和实例对本发明作进一步的描述。

本发明的表面三维重建的系统主要适用于薄片型柔性体材料。柔性体材料的定义为：非刚性固体材料，其在较小的外力下能进行一定曲率的弯曲。薄片型材料的定义为：具有一定的厚度和面积尺寸，面积尺寸相对厚度大很多倍(通常在20倍以上)，且厚度变化差异不大的连续体。

参照图1所示，本发明用于薄片型柔性体表面三维重建的系统包括：背景光源2，试样夹持装置3，试样驱动装置5，图像采集装置7和计算机10。

所述背景光源2是发出发散光束的点光源或点光源的阵列，其用于发出均匀且具有一定亮度的后向漫反射光。另外，该背景光源2还可配有光学系统(未示出)，使得所述发散光束经该光学系统后发出平行光束或会聚光束。而且，该背景光源可以是可见光源，也可以是红外光光源或者紫外光光源。

该试样夹持装置3呈曲面型，待三维重建的一试样4固定在该试样夹持装置3上，所述试样夹持装置具有一顶点33，试样4在该顶点处弯折，从背景光源2发出的漫反射光投射到该试样4上。

该图像采集装置7设置在该试样4的一侧，其可为CCD摄像头、CMOS摄像头、数码相机或数码摄像机，其连接到计算机10上，从而计算机10可通过该图像采集装置7实时地采集该试样4的图像，得到试样4在顶点33处的侧面投影图像序列。

该试样驱动装置在本实施例中为一电机5，其优选为步进电机，该电机5连接到计算机10上，由该计算机10进行驱动控制。该电机5驱动夹持在试样夹持装置3上的试样4均匀地通过所述顶点33，由图1可以看出，试样4沿纵向的某一位置会在顶点33处发生弯折，这样，随着该试样匀速地被驱动通过该顶点，该试样4纵向的每个位置均可在该顶点33处发生弯折，从而该图像采集装置7能够依次得到该试样表面不同位置处的侧面投影图像。另外，该电机5可以直接驱动该试样夹持装置3，也可通过一中间传动机构(未示出)驱动所述试样夹持装置，该中间传动机构一般为一减速齿轮组，从而可以适当的速度驱动该试样运动。

本系统的计算机10是整个系统的控制中心和图像的处理中心，如图6所示，其除了包括常规的中央处理单元CPU和存储器之外，还包括一图像采集卡101、一电机驱动器102和一图像处理模块104。该图像采集卡与所述图像采集装置7相连，用于将采集到的图像数字化，并将其存储到存储器中。所述电机驱动器与所述电机5相连，用于控制所述电机5以预定的速度或步长运转。

该图像处理模块104还进一步包括一轮廓提取模块1041和一拼接模块1042，所述轮廓提取模块1041用于提取每一帧图像的侧面投影高度信息，所述拼接模块1042用于将所述侧面投影高度信息按采样顺序拼接得到所述试样表面的三维立体图像。上述轮廓提取模块和拼接模块可以由电子线路实现，也可是在计算机10中运行的软件程序。

如图2A和2B所示，该试样夹持装置针对本发明的柔性材料，具有弯曲的形态。其可以是图2A所示的尖峰形的“A”型，也可以是图2B所示的圆弧形的“O”型，而且还可以包括平面弯曲所形成的任何形态。该弯曲形态的共同特征是具有一顶点33，这样，才能够使得试样4的每一部分能够在通过该顶点33时，将轮廓投影到图像采集装置7上，完成数据采样。如图2A所示，是该试样夹持装置的第一种实施例，其由支架31和夹头32组成，支架31包括布置为“A”字形的三个辊子311和环绕该辊子的传送带312。该三个辊子311在电机5的驱动下转动，从而使得该传送带312环绕该辊子转动，因此，由夹头32固定在该传送带312上的试样4也随着该传送带运动。

图2B示出了该试样夹持装置的另一实施例，其也由支架31’和夹头32组成。所不同的是该支架31’是一直径较大的辊子，电机5驱动该辊子转动，由夹头32固定在该辊子上的试样4随该辊子一起转动。该夹头32也有多种实施方式，可以是弹簧夹头，也可是磁性夹头。有关该试样夹持装置，在本申请发明人提交的实用新型专利申请(申请号：03207803.x，发明名称：用于数码织物外观/表面测试评定仪的磁性布样夹持装置)中有详细的描述，在此不再赘述。

在本发明的系统中，该背景光源2、试样夹持装置3和图像采集装置7配置为后向照明的方式，以获得最高对比度的投影图像。如图3A所示，该后向照明方式通过将该试样4设置在该背景光源2和该图像采集装置7之间来实现。这样，该背景光源2从该试样4的后方照明，就会在该图像采集装置7处投射出该试样的清晰的轮廓。

另外，该后向照明方式也可以另一种方式实现，如图3B所示，该背景光源2与图像采集装置7位于试样4的同一侧，在所述试样4的后方设置有一后反射镜80，在所述背景光源2和所述图像采集装置7之间设置一分束镜81，通过后反射来实现该后向照明。

为了实现最佳的图像采集效果，最好提供一个可以隔绝自然光的密闭空间1，至少将试样4、背景光源2和图像采集装置7设置在该密闭空间1中，从而可以得到更加清晰的投影图像。密闭空间1的实现方式可以是规则的几何体，也可以是不规则的几何体。

图4示出了一试样处于顶点33的某一位置处的侧面投影图像，该图像清晰地反映了其外形轮廓。

利用图像处理和分析技术，本系统的图像处理模块提取图像序列中的每一帧图像的试样表面的侧面投影高度信息如图5所示。

与本发明的柔性体表面三维重建系统相对应，本发明还提供了一种用于薄片型柔性体表面三维重建的方法，其包括如下步骤：

图像采样：采集一试样的各个位置处的侧面投影图像，形成侧面投影图像序列；轮廓提取：对所述各个侧面投影图像进行处理，提取每一帧图像的侧面投影高度信息；拼接：按照采集顺序将得到的侧面投影高度信息进行拼接，从而得到所述试样表面的三维立体图像。

另外，在上述步骤之前，还包括下列的初始化步骤：系统启动：使计算机，电机，光源，光电摄像系统处于工作状态；系统调试校准：检查系统的各部分是否工作正常。

在所述的采样步骤还进一步包含如下步骤：

将试样4夹持在试样夹持装置3上，使得所述试样4在该试样夹持装置3的一顶点33处弯折；在试样4一侧设置一背景光源2；驱动所述试样连续弯折通过所述试样夹持装置3的该顶点33；由图像采集装置7采集位于该顶点位置的试样4的侧面投影图像；该侧面投影图像由所述背景光源2投射形成。

在该薄片型柔性体表面三维重建方法和系统中的算法主要集中在如何从该侧面投影图像中分离出侧面投影高度信息，其中可用于该步骤的算法包括：

方法1：

·直方图分析：直方图定义为图像的灰度分布曲线。令试样弯曲凸面的侧面投影的灰度图像为f(x，y)，其中，(x，y)是图像坐标，f(x，y)是(x，y)处的象素点的灰度值，f(x，y)∈[0，255]。其中，灰度值为0代表该象素点为白色，灰度值为255代表该象素点为黑色。它的直方图为h(i)，i∈[0，255]。取投影图像序列中某一投影图像，图像中存在两类区域：背景区域和试样投影区域，它们的灰度分布模型接近高斯分布。假设两个分布的均值和方差分别为(u1，δ1)和(u2，δ2)，则直方图的分布模型为： $y\left(i\right)=A_1.e^{-\frac{{(i-u_1)}^2}{{\mathrm{\σ}}_1^2}}+A_2.e^{-\frac{{(i-u_2)}^{\text{2}}}{{\mathrm{\σ}}_2^2}},$ 通过寻找函数 $\mathrm{MSE}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}[y\left(i\right)-h\left(i\right){]}^2$ 的极小值得到两个高斯分布的最佳估计值(u1，δ1)(u2，δ2)。

·图像分割：根据背景和试样的灰度分布，设定阈值 $t=\frac{u_1+u_2+\mathrm{\λ}({\mathrm{\δ}}_1-{\mathrm{\δ}}_2)}{2}$

λ为经验系数，然后进行二值化处理， $f(x,y)=\left\{\begin{array}{cc}0& f(x,y)<t\\ 255& f(x,y)>t\end{array}.\right.$

·高度提取：经上述二值化处理的图像中，象素值为255的区域为试样，象素值为0的区域为背景，根据这一特征，扫描图像，得到试样和背景的边界轮廓线，并确定边界轮廓线上每一点的坐标，其中沿垂直边界方向的坐标为高度坐标。

方法2：

·边缘检测：利用边缘检测的算法进行边缘检测，常见的边缘检测算法包括Marr边缘检测方法，Sobel算子，Robert算子，拉普拉斯算子等。

Robert算子是一种利用局部差分算子寻找边缘的算子。它由下式给出：

$g(x,y)\left\{\right[\sqrt{f(x,y)}-\sqrt{f(x+1,y+1)}{]}^2+[\sqrt{f(x+1,y)}-\sqrt{f(x,y+1)}{]}^2{\}}^{1/2}$

其中，f(x，y)是具有整数象素坐标的输入图像。对于上述边缘检测的算法，在参考文献“数字图像处理，Prentice Hall著，1998”中有详细论述，在此不再赘述。

·高度提取：扫描图像，根据检测出来的轮廓边缘，确定边界轮廓线上每一点的坐标，其中沿垂直边界方向的坐标为高度坐标。

方法3：诺顿变换(Radon Transform)：根据图像在垂直方向的投影对灰度值进行求和(即垂直方向上的诺顿变换)，得到图像在垂直方向上的灰度分布。由于灰度的累积跟试样的厚度成线性关系，所以除以一定的比例系数，就可以得到试样的表面轮廓高度。

具体地说，令投影图像在(x，y)点的灰度值为f(x，y)，其中x∈[1，M]为图像横坐标，y∈[1，N]为图像纵坐标，则此帧图像在垂直方向的诺顿变换 $R\left(x\right)=\underset{y=1}{\overset{N}{\mathrm{\&Sigma;}}}f(x,y).$ 即对于水平方向的每一位置x，将图像灰度值沿垂直方向累积求和，得到水平位置x处的诺顿变换R(x)，对所有水平位置x∈[1，M]进行上述诺顿变换，即提取图像在垂直方向上的灰度分布；由于沿垂直方向的该灰度的累积R(x)跟该水平位置处试样的厚度成线性关系，所以将该累积值R(x)除以一定的比例系数，即可得到试样在横坐标(水平位置)为x处的表面轮廓高度。

另外，本发明的用于薄片型柔性体表面三维重建的方法，可以用于离线检测和在线检测两种模式。

本发明的用于薄片型柔性体表面三维重建的系统和方法，基于薄片型柔性体易于弯曲的特点，利用曲面型试样夹持装置，将薄片型材料固定并弯曲获得一定曲率的条形凸面；在一个可以隔绝自然光的密闭空间内容纳试样，在均匀且具有一定亮度的后向漫反射光源照射下，利用光电摄像系统采集图像，得到条形凸面的侧面投影图像；通过由计算机控制的试样驱动装置，连续均匀地转动试样，得到试样表面在不同位置连续弯曲形成的条形凸面的侧面投影图像系列；利用图像处理和分析技术，提取图像系列中每一帧图像的试样表面的侧面投影高度信息，并按照采集顺序拼接得到试样表面的三维立体图像。由上述可知，本发明所提出的三维重建系统和方法不受试样表面的物理性质影响，无论是有条纹的试样还是深色的试样，均可获得该试样表面的精确的三维模型。所以有效地克服了现有技术的缺陷。

虽然本发明已以上述实施例揭示如上，但是本发明并不局限于该实施例的内容，本技术领域的普通技术人员，在不脱离本发明的精神和范围内，可以对本发明做出任意的更动和润饰。本发明的保护范围以所附的权利要求书为准。

Claims (16)

1、一种用于薄片型柔性体表面三维重建的系统，其特征在于，包括：

一背景光源，用于发出均匀的后向漫反射光；

一试样夹持装置，其上夹持有待三维重建的一试样，所述试样夹持装置具有一顶点，所述试样在该顶点处弯折，从所述背景光源发出的漫反射光投射到该试样上；

一图像采集装置，用于采集所述试样的图像，从而得到所述试样在所述顶点处的侧面投影图像；

一试样驱动装置，其驱动夹持在所述试样夹持装置上的所述试样均匀地通过所述顶点，从而该图像采集装置能够依次得到该试样表面不同位置处的侧面投影图像；以及

一计算机，包括：

一驱动器，与所述试样驱动装置相连，以控制所述试样驱动装置的运转；

一图像采集卡，与所述图像采集装置相连，以接收该图像采集装置采集到的所述试样的侧面投影图像的序列、对接收的图像进行数字化处理并将其存储在存储器中；

一轮廓提取模块，其提取每一帧图像的侧面投影高度信息；以及

一拼接模块，其按照采集顺序将该每一帧图像的侧面投影高度信息拼接，以得到所述试样表面的三维立体图像。

2、如权利要求1所述的薄片型柔性体表面三维重建的系统，其特征在于，所述背景光源是发出发散光束的点光源或点光源的阵列，并可配有光学系统，使得所述发散光束经该光学系统后发出平行光束或会聚光束；所述背景光源可以是可见光源，也可以是红外光光源或者紫外光光源。

3、如权利要求1所述的薄片型柔性体表面三维重建的系统，其特征在于，所述试样夹持装置具有一支架和多个夹头(32)，所述顶点形成在所述支架的顶端，所述试样由所述夹头夹持在所述支架上，固定在该试样夹持装置上的试样以一定的曲率弯曲，便于采集该试样不同位置处的轮廓。

4、如权利要求3所述的薄片型柔性体表面三维重建的系统，其特征在于，所述支架包括布置成“A”形的三条辊子(311)和传送带(312)，所述传送带环绕所述辊子，形成所述支架；所述夹头将该试样夹持在所述传送带上。

5、如权利要求3所述的薄片型柔性体表面三维重建的系统，其特征在于，所述支架是一大直径的辊子。

6、如权利要求1所述的薄片型柔性体表面三维重建的系统，其特征在于，所述试样驱动装置是电机(5)。

7、如权利要求1所述的薄片型柔性体表面三维重建的系统，其特征在于，所述图像采集装置是选自下列集合的其中之一：CCD摄像头、CMOS摄像头、数码相机和数码摄像机。

8、如权利要求1所述的薄片型柔性体表面三维重建的系统，其特征在于，所述的背景光源、试样夹持装置和图像采集装置配置为后向照明的方式，以获得最高对比度的投影图像。

9、如权利要求8所述的薄片型柔性体表面三维重建的系统，其特征在于，所述试样夹持装置设置在所述背景光源和所述图像采集装置之间，以实现后向照明。

10、如权利要求8所述的薄片型柔性体表面三维重建的系统，其特征在于，所述的背景光源与图像采集装置位于所述试样夹持装置的同一侧，一后反射镜(80)设置在所述试样的后方，一分束镜(81)设置在所述背景光源和所述图像采集装置之间，通过后反射来实现该后向照明。

11、如权利要求6所述的薄片型柔性体表面三维重建的系统，其特征在于，所述电机通过一中间传动机构与所述试样夹持装置连接。

12、一种用于薄片型柔性体表面三维重建的方法，其特征在于，包括如下步骤：

采样：将试样夹持在一试样夹持装置上以使所述试样在该试样夹持装置的一顶点处弯折，驱动所述试样连续弯折通过所述试样夹持装置的该顶点、同时由设置在所述试样一侧的一背景光源对所述试样投影，以形成所述试样的位于该顶点位置的侧面投影图像，并由一图像采集装置采集一试样的各个位置处的侧面投影图像，形成侧面投影图像序列；

轮廓提取：对所述各个侧面投影图像进行处理，提取每一帧图像的侧面投影高度信息；

拼接：按照采集顺序将得到的侧面投影高度信息进行拼接，从而得到所述试样表面的三维立体图像。

13、如权利要求12所述的用于薄片型柔性体表面三维重建的方法，其特征在于，所述的轮廓提取步骤还包括如下三个步骤：

直方图分析：对试样弯曲凸面的侧面投影图像进行直方图分析，分别得出投影图像中背景和试样两个部分的灰度的高斯分布均值和方差；

图像分割，根据该背景和试样的灰度分布均值和方差，设定一阈值，根据该阈值对图像进行二值化处理，即象素点的灰度值大于该阈值，则该象素点的象素值为255，象素点的灰度值小于该阈值，则该象素点的象素值为0；

高度提取，根据图像中象素值为0的区域为背景，象素值为255的区域为试样，扫描图像，得到背景与试样的边界轮廓线，并确定边界轮廓线上每一点的坐标，其中沿垂直边界方向的坐标为高度坐标。

14、如权利要求12所述的用于薄片型柔性体表面三维重建的方法，其特征在于，所述轮廓提取步骤还包括如下二个步骤：

·边缘检测：利用边缘检测的算法进行边缘检测，该边缘检测算法包括Marr边缘检测方法，Sobel算子，Robert算子，拉普拉斯算子；

·高度提取：扫描图像，根据检测出来的轮廓边缘，确定边界轮廓线上每一点的坐标，其中沿垂直边界方向的坐标为高度坐标。

15、如权利要求12所述的用于薄片型柔性体表面三维重建的方法，其特征在于，所述轮廓提取通过诺顿变换步骤来实现：将图像灰度值沿垂直方向累积求和，提取图像在垂直方向上的灰度分布；对于水平方向的每一位置，由于沿垂直方向的该灰度的累积跟该水平位置处试样的厚度成线性关系，所以将该累积值除以一定的比例系数，即可得到试样每一水平位置处的表面轮廓高度。

16、根据权利要求12所述的用于薄片型柔性体表面三维重建的方法，其特征在于：该方法适用于离线检测和在线检测两种模式。

Images