CN104616348A - 基于多目立体视觉的织物外观重建方法 - Google Patents

Abstract

本发明是一种基于织物图像特征的外观形态三维重建系统，涉及采集装置设计、系统初始化、多目图像匹配与重建等内容，实现多种类型的织物外观形态重建。具体地，对系统初始化，包括设备的架构、图像采集、相机组标定和图像校正工作；采用了基于尺度不变特征转换的特征点检测，实现原始“种子点”的获取；在图像匹配阶段，提出采用BF-NCC实现全局图像的匹配；根据匹配计算获得视差信息进行换算，获得织物的三维空间坐标信息，利用多组相邻匹配结果，进行漏缺点的填充，实现全视角无遗漏重建。

Description

基于多目立体视觉的织物外观重建方法

技术领域

本发明涉及织物折皱状态下外观形态的实时重建问题，具体涉及采集装置设计、系统初始化、多目重建等内容，最终实现多种类型织物的外观形态三维重建。

背景技术

纺织品外观性能诸如外观平整度、折皱回复性能以及起毛起球等通常采用人工视觉评价。该方法属于主观评价，受到个体生理、心理及环境因素的影响，精度低、再现性差，难以满足当前检测需求。因此需要通过建立相关快速、客观、精确的评价方法。以上这些性能的测定面临的共性问题是：需要获得三维状态下的外观形态。机器视觉具有非接触、速度快、精度高、可重复测量等优点，因此，采用有效的三维重建方法，实现织物的外观形态的重建，尤为重要。然而目前的检测方法仍未有通用的重建方法，能够实现织物这一柔性体的重建。

现有方法如激光三角测量技术实验精度受多种条件制约，如光栅精密度、摄像机位置等。扫描过程慢、设备昂贵是制约其成为通用检测手段的关键问题。此外，目前的研究技术严格规定检测环境，特别是检测时的光照、角度等。环境光源不同，检测结果将会发生改变，影响检测结果。但由于检测过程中，光源由于种类、电压、频闪等因素，无法达到理论的一致性，因此需要解决环境光源变换的问题，增强适应性。光度立体视觉方法该方法需要封闭的光照环境，实验室的条件需要满足这一要求，不能适应自然光或户外现场检测，对于花色织物人存在一定检测误差。

发明内容

本发明要解决的技术问题是实现织物的外观形态的重建。

为了解决上述技术问题，本发明的技术方案是提供了一种基于多目立体视觉的织物外观重建方法，包括以下步骤：

步骤1、在被测织物的上方安装相机组，相机组包括N个呈环状均匀分布的相机，N≥2，然后，采用标定技术对相机组进行标；

步骤2、在被测织物表面设置编码点，同时，在编码点之间的区域内设置多个标记点，在被测织物旁设置标尺；

步骤3、采用标定后的相机组对被测织物进行多角度图像拍摄，每相邻两幅拍摄得到的图像之间有重叠的编码区域，采用尺度不变特征转换特征点检测与匹配，获得每幅图像中的尺度不变特征转换特征点，即SIFT特征点，利用SIFT特征点领域像素的梯度方向分别为每个SIFT特征点指定方向参数；

步骤4、利用SIFT特征点包含的位置、所处尺度及方向信息，为每个SIFT特征点确定一个SIFT特征区域，计算每个SIFT特征区域内梯度直方图，生成具有独特性的SIFT特征向量，该SIFT特征向量是其所对应的SIFT特征区域的图像信息的抽象；

步骤5、对每相邻两幅图像中的SIFT特征点的相似性进行判断，得到匹配视差图，包括以下步骤：

步骤5.1、取当前图像中的任意一个SIFT特征点x_l，找出相邻的图像中与该SIFT特征点x_l对应的SIFT特征向量的欧氏距离最近的前两个SIFT特征向量所对应的SIFT特征点x_r1与SIFT特征点x_r2，若最近的距离除以次近的距离小于事先设定的比例阈值，则将SIFT特征点x_l与SIFT特征点x_r1判定为一对匹配的特征点，进入步骤5.2，否则，重复步骤5.1；

步骤5.2、计算得到当前SIFT特征点x_l与SIFT特征点x_r1的视差x_l-x_r1及空间坐标Z值Z，式中，B为相机间光心距离，f为相机焦距。

步骤5.3、返回步骤5.1，直至遍历完当前图像中的所有SIFT特征点，从而得到匹配视差图；

步骤6、结合匹配视差图及相机组标定结果，生成三维空间坐标，根据该三维空间坐标将所有图像进行重新排序并进行归一化处理；分别计算各组相邻图像的匹配结果，确定多重匹配后的三维点坐标；根据各组三维点坐标得到各点在同一坐标系下的三维点坐标；集束调整该三维点坐标，得到整体优化的三维点坐标，进行漏缺点的填充，实现全视角无遗漏重建。

从上述技术方案可以看出，本发明基于表面特征的织物外观形态重建系统具有以下有益效果：

(1)通过多次测试实验，确定出多目配置的合理位置和相互关系，保证织物试样满足检测相关标准需求(a.试样尺寸38cm×38cm；b.试样尺寸25cm×25cm)；

(2)由于采用在线实时双目采集装置，稳固了图像的采集位置，模拟人眼视觉原理，利用专有线程遥控拍摄图像并及时将数据传入计算机中进行实时分析，因此具有较好的稳定性和即时性；

(3)SIFT特征点具有旋转、仿射、光照及尺度不变性，能够较好地检测出织物图像局部特征明显的点，这些点可作为后期图像匹配和重建的“种子点”，具有较强的鲁棒性；因此解决目前已有研究中存在的依赖指定光源或特定光照度下的检测要求，实现高度宽泛光照条件下的检测。

(4)本发明重点解决了SIFT的筛选、种子匹配、种子扩散等技术难点，通过区域适应的方式，在适度相容性机制下，寻找多个准匹配点，并进行竞争选择，提取最为符合的局部特征点进行匹配。实现了双目图像的稀疏匹配和稠密匹配，所采用的BF-NCC具有效率高，检测稳定等特点，因此能够实现织物图像的快速匹配；

(5)通过逆运算，利用多组匹配信息获得了织物的空间高度信息，表达出目标的世界坐标，从而重建出织物的三维外观折皱形态。

附图说明

图1为本发明实时织物三维重建的流程图；

图2环状多视角采集装置示意图

图3A为棋盘格示意图；

图3B为角点检测结果示意图；

图4为左右图像的立体标定示意图；

图5A为织物采集图；

图5B为织物校正图；

图6为尺度空间极值化处理过程图；

图7为特征点检测后效果图；

图8为左右视图种子点搜索机制示意图；

图9为左右视图稀疏匹配图；

图10A为重建后的视差图；

图10B为三维重建图。

具体实施方式

为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

为了使本领域普通技术人员更好地理解本发明，首先对其中的一些概念进行解释性说明：

(1)相机组标定：在图像测量过程以及机器视觉应用中，为了获得空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，需要建立相机成像的几何模型(相机参数)。这种几何模型必须通过实验与计算才能得到，其求解参数的过程就是相机标定(或摄像机标定)。

(2)尺度不变性：也叫标度不变性。是指图像经过尺度变换后，某一特性不变。

(3)稀疏匹配：图像的特征匹配又称稀疏匹配，主要采用灰度互相关匹配法进行边缘点或角点的匹配。

在本发明的一个示例性实施例中，提出了一种柔性体(织物)实时三维重建的方法。图1为本发明实施例的流程图。如图1所示，本方法由采集装置设计、系统初始化、多目相机匹配与重建四个部分组成，分为三个线程执行，第一个线程为硬件调用及系统初始化线程，实现相机组标定及图像采集校正等工作，第二个线程为特征点检测线程；第三个线程为多目匹配和重建线程。后两个线程并行执行，以提高数据处理效率。以下对这几个部分进行具体的说明。

织物采集装置设计为环状，用于多角度全方位地实现织物试样的无遗漏采集。其中，多目是指相机数量大于2，经测试四目相机为宜，能够完全覆盖试样，满足N目匹配的需求。采用工业相机进行图像采集，相机间夹角为360⁰/N。相机距离织物试样平台的距离设定在30～45cm；试样平台的尺寸为44cm×44cm，试样按照标准要求，采用38cm×38cm的尺寸，采集装置结构示意图如图2所示。在系统构建中，采用了一对同型号的工业相机(MER-500-7)用来实现实时和高精度图像采集。相机被平行地放置，通过USB数据接口调用相机的SDK，实现相机的启动、采集、数据存储、关闭等操控。多组双相机的组合，分别从不同的角度观测了织物这一目标，在一定程度上模拟了人眼的视觉效果。

步骤二：系统初始化

设计并搭建织物的外观形态采集装置，满足双目成像的技术要求，并实现多台高清数码相机的计算机动态控制。在系统构建中，采用了一对同型号的工业相机(MER-500-7)，用来实现实时和高精度图像采集。相机被平行地放置，通过USB数据接口调用相机的SDK，实现相机的操控。双相机的组合，分别从不同的角度观测了织物这一目标，在一定程度上模拟了人眼的视觉效果。

相机组安装后，需要采用标定技术进行标定。此处的标定，采用较为成熟且稳定的张正友的棋盘标定法，制作9*13的2cm见方的格子板(如图3A及图3B所示)，用以接下来的标定使用。

目标图像的像素坐标A(x_p，y_p)与形变后坐标A′(x_d，y_d)存在着相关关系，之间可通过线性方程表达：

$\left[\begin{array}{c}{x}_p\\ y_p\\ 1\end{array}\right]=\mathrm{KK}\left[\begin{array}{c}{x}_d\\ x_d\\ 1\end{array}\right]---\left(1\right)$

式(1)中，KK是作为相机的参数矩阵，并且定义如式(2)

$\mathrm{KK}=\left(\begin{array}{ccc}\mathrm{fc}\left(1\right)& \mathrm{alpha}\_c*\mathrm{fc}\left(1\right)& \mathrm{cc}\left(1\right)\\ 0& \mathrm{fc}\left(2\right)& \mathrm{cc}\left(2\right)\\ 0& 0& 1\end{array}\right)---\left(2\right)$

此处的fc(1)和fc(2)是焦距，系数alpha_c表示x和y轴的角度，cc(1)和cc(2)表示图像中心坐标值。由于标定板的实际尺寸已知，且获取的图像像素也已知，通过拍摄多张不同位置的棋格图像，获取棋盘格图像的角点位置，建立方程，利用以上公式，可以求出相机的参数。本实例的相机参数计算如表1所示。相机标定示意图如图4所示。

表1 左右相机内外参数计算结果

为了方便后期的数学推算，需要进一步获得满意的、完全平行的校准图像。即通过对轴的旋转、平移及径向扭曲等的变换，将所采集的图像重采样的过程。纠正前后的织物图像如图5A及图5B所示。

步骤三：多目相机匹配与重建

在被测织物表面设置编码点，同时，在编码点之间的区域内设置多个标记点；在被测物体旁设置标尺。采用步骤二标定后的相机组进行多角度图像拍摄后，每相邻两幅照片之间有重叠编码点区域，将各幅照片输入到计算机进行图像处理获得到各自图像的坐标。

此处采用尺度不变特征转换(英文全称：Scale-invariant feature transform，简称：SIFT)特征点检测与匹配。获得了每幅图中的SIFT特征点(见图6、7)，接着给SIFT特征点赋值一个128维方向参数，利用SIFT特征点邻域像素的梯度方向分别为每个SIFT特征点指定方向参数，其算子具有旋转不变性。采用公式(7)和(8)计算获取方向参数：

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}---\left(7\right)$

θ(x，y)＝tan^-1((L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y)))   (8)

m(x，y)及θ(x，y)分别为SIFT特征点(x，y)处梯度的模值和方向公式，L(·)为为每个SIFT特征点各自所在的尺度。

至此，图像的SIFT特征点已经检测完毕，每个SIFT特征点有三个信息：位置，所处尺度、方向，由此可以确定一个SIFT特征区域。直方图的峰值则代表了该SIFT特征点处邻域梯度的主方向，即作为该SIFT特征点的方向。直方图中的峰值就是主方向，其他的达到最大值80％的方向可作为辅助方向。通过对SIFT特征点周围图像区域分块，计算块内梯度直方图，生成具有独特性的向量，这个向量是该区域图像信息的一种抽象，具有唯一性。

当两幅图像的SIFT特征向量生成后，下一步我们采用SIFT特征向量的欧式距离来作为两幅图像中SIFT特征点的相似性判定度量。取图像1中的某个SIFT特征点，并找出其与图像2中欧式距离最近的前两个SIFT特征点，在这两个SIFT特征点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。降低这个比例阈值，SIFT特征点匹配的数目会减少，但更加稳定。

首先计算相邻相机的角度，换算获得平行状态下的新坐标。两幅图像所有SIFT特征点各自地存储为序列文件。对于每个SIFT特征点，需要寻找到最优匹配点和次优匹配点。此处采用BF-NCC(Normalized Cross Correlation in‘best-first’principle)方法进行搜索。

$\mathrm{\ρ}=\frac{\underset{x,y\∈W,x^{\′},y^{\′}\∈W}{\mathrm{\Σ}}[I_l(x,y)-{\stackrel{\‾}{I}}_l][I_r(x^{\′},y^{\′})-{\stackrel{\‾}{I}}_r]}{\sqrt{\underset{x,y\∈W}{\mathrm{\Σ}}{[I_l(x,y)-{\stackrel{\‾}{I}}_l]}^2}\sqrt{\underset{x^{\′},y^{\′}\∈W}{\mathrm{\Σ}}{[I_r(x^{\′},y^{\′})-{\stackrel{\‾}{I}}_r]}^2}}---\left(9\right)$

式(9)中，W表示搜索范围，I_l(x，y)表示左视图点像素值，表示左视图搜索范围像素均值，I_r(x′，y′)表示右视图点像素值，表示右视图搜索范围内像素均值。

采用的循环结构为实现稠密匹配，利用筛优机制如图8所示：

(1)从SIFT特征点中筛选出种子点；

从近邻像素点(61*61像素点)为中依次选择点，对另一张图进行搜索，搜索的范围为另一匹配点的十字路径(-10，10)；

(2)对于每个种子点重复步骤(1)；如果没有更多的点，则停止；

(3)对于每个匹配，重复步骤(1)、(2)和(3)。

在这一过程中，通过以上匹配，可以同时获得当前像素点x_l与其匹配点x_r之间的视差(x_l-x_r)，则任一点可以通过公式(10)获得其空间坐标Z值，即高度：

$Z=\frac{\mathrm{Bf}}{x_l-x_{r1}}---\left(10\right)$

式(10)中，B为相机间光心距离，f为相机焦距。

根据匹配视差图(见图9)，结合相机标定结果，生成三维空间坐标。根据上述图像坐标将所有图像进行重新排序并进行归一化处理；分别计算机各组相邻图像的匹配结果，确定多重匹配后的空间坐标；将各组三维点坐标得到各点在同一坐标系下的三维点坐标；集束调整上述新三维点坐标，得到整体优化的三维点坐标，进行漏缺点的填充，实现全视角无遗漏重建。

Claims (1)

1.一种基于多目立体视觉的织物外观重建方法，包括以下步骤：

步骤1、在被测织物的上方安装相机组，相机组包括N个呈环状均匀分布的相机，N≥2，然后，采用标定技术对相机组进行标；

步骤2、在被测织物表面设置编码点，同时，在编码点之间的区域内设置多个标记点，在被测织物旁设置标尺；

步骤3、采用标定后的相机组对被测织物进行多角度图像拍摄，每相邻两幅拍摄得到的图像之间有重叠的编码区域，采用尺度不变特征转换特征点检测与匹配，获得每幅图像中的尺度不变特征转换特征点，即SIFT特征点，利用SIFT特征点领域像素的梯度方向分别为每个SIFT特征点指定方向参数；

步骤4、利用SIFT特征点包含的位置、所处尺度及方向信息，为每个SIFT特征点确定一个SIFT特征区域，计算每个SIFT特征区域内梯度直方图，生成具有独特性的SIFT特征向量，该SIFT特征向量是其所对应的SIFT特征区域的图像信息的抽象；

步骤5、对每相邻两幅图像中的SIFT特征点的相似性进行判断，得到匹配视差图，包括以下步骤：

步骤5.1、取当前图像中的任意一个SIFT特征点x_l，找出相邻的图像中与该SIFT特征点x_l对应的SIFT特征向量的欧氏距离最近的前两个SIFT特征向量所对应的SIFT特征点x_r1与SIFT特征点x_r2，若最近的距离除以次近的距离小于事先设定的比例阈值，则将SIFT特征点x_l与SIFT特征点x_r1判定为一对匹配的特征点，进入步骤5.2，否则，重复步骤5.1；

步骤5.2、计算得到当前SIFT特征点x_l与SIFT特征点x_r1的视差x_l-x_r1及空间坐标Z值Z，式中，B为相机间光心距离，f为相机焦距；

步骤5.3、返回步骤5.1，直至遍历完当前图像中的所有SIFT特征点，从而得到匹配视差图；

步骤6、结合匹配视差图及相机组标定结果，生成三维空间坐标，根据该三维空间坐标将所有图像进行重新排序并进行归一化处理；分别计算各组相邻图像的匹配结果，确定多重匹配后的三维点坐标；根据各组三维点坐标得到各点在同一坐标系下的三维点坐标；集束调整该三维点坐标，得到整体优化的三维点坐标，进行漏缺点的填充，实现全视角无遗漏重建。