CN101587082A - 一种应用于织物疵点检测的快速三维重建方法 - Google Patents

Abstract

本发明属于图像处理和模式识别领域，涉及一种应用于织物疵点检测的快速三维重建方法。该方法包括用于获得织物“骨架”三维坐标的BCCSL(Binocular Camera Color StructureLight)方法(由本发明提出)和用于获得织物“细节”信息的SFTS(Shape From Two Shading)方法(由本发明提出)。本发明所设计的织物疵点三维重建方法，可以有效的解决三维重建的精度和速度，满足织物在线检测的需求，为后续的织物疵点三维识别做准备，提高中国纺织品的质量和等级。

Description

一种应用于织物疵点检测的快速三维重建方法

技术领域

本发明涉及一种用于织物疵点检测的快速三维重建方法，更具体的说，本发明涉及一种能够用于织物生产线的三维疵点检测的快速三维重建方法。

背景技术

纺织工业是我国国民经济传统支柱产业和重要的民生产业，也是国际竞争优势明显的产业，在繁荣市场、扩大出口、吸纳就业、增加农民收入、促进城镇化发展等方面发挥着重要作用。加快振兴纺织工业，必须以自主创新、技术改造、淘汰落后、优化布局为重点，推进结构调整和产业升级，推进我国纺织工业由大到强的转变。

中国目前是纺织品服装出口大国，但是我们从纺织服装加工中心变成一个纺织服装的利润中心需要走的路还相当遥远。自从我国加入WTO以来，纺织品出口一直以低价位、低利润与国外产品竞争，占领的大多数为中低端市场，而对质量要求严格的高端市场难以进入。因此，通过提高检验的技术与装配来提升我国纺织品质量已经成为迫在眉睫的问题。

织物疵点的自动检测和识别是20世纪90年代以来的一个研究热点。目前，国际上形成商品的自动检测系统为数不多，比较有影响的是：瑞士Uster公司的Fabriscan系统、比利时BracoVision公司的Cyclops系统和以色列EVS公司的I2TEX系统，这些系统价格非常昂贵，国内纺织企业主要还是靠人工离线检测。人工检验效率低，易疲劳，而且容易出现漏检现象。因此，必须开发结构灵活，算法稳定，适应性强的低成本在线疵点检测系统。李立轻等将自适应正交小波变换应用于织物疵点检测；宋寅卯等研究了基于最优PCNN模型的织物疵点自动检测；王三武等研究了基于BP神经网络的织物疵点检测方法；卿湘运等提出了基于局部熵的织物疵点检测与识别方法；高晓丁等研究了基于支撑矢量机的织物疵点识别算法；邢亚敬等研究了基于优化Gabor滤波器的织物疵点检测方法。上述方法为计算机视觉在织物检测方面的应用奠定了基础，但是由于上述检测均是基于二维图像处理，尚存在如下问题：

(1)难以解决“布面皱痕”带来的图像干扰。走布(卷布)辊为主动传动，放布为被动，在检测区的布面虽有一定张力，但在卷布过程中，张力有波动，张力过大或过小都会使检测区的布面产生凸凹皱痕，此皱痕在二维图像成像为阴影，容易被误认为疵点。

(2)难以解决“环境光背景光变化”带来的图像干扰。当灯箱环境光或者背景光发生变化时，或者背景光因老化等原因出现光线不匀现象时，均会导致二维图像出现灰度变化，该灰度变化很难与疵点信息带来的灰度变化区别开。

(3)难以解决“飞絮”带来的图像干扰。若织物表面存在飞絮，容易将飞絮产生的阴影误认为是疵点。

(4)  目前织物疵点只能应用于素色织物疵点的检测，对于复杂背景彩色织物的检测还有待进一步研究。

本发明设计的快速三维重建方法，正是为了解决上述问题而提出来的。三维重建方法一直是国内外研究的热点，1982年Marr的视觉计算理论，提出从图像恢复物体的三维形状，推动了基于图像技术的三维形貌测量技术的研究。20世纪90年代后，随着图像处理理论，模式识别理论，视觉标定理论，外极约束理论，二维和三维拼接理论等相关理论的发展，三维视觉测量技术在不同领域转化成工业产品，并具有检测速度快，非接触，精度高等优势。如德国GOM公司的ATOS三维光学扫描仪，德国Ettemeyer 3D公司的G-Scan系列，美国法如(FARO)科技的便携式激光扫描仪等。通过三维扫描仪测量所得到的三维形貌数据，可直接用于视觉检测和逆向工程等领域，在汽车、摩托车、模具、人体和服装、鞋帽、雕刻等领域，具有深远的意义。但是已有的三维重建方法一般需要向被测物体投射一系列的光信息，要求在光投射过程中被测物体处于静止状态，显然无法满足织物在线疵点检测的需求，因此已有的三维重建方法很难应用到在线视觉检测领域。

而本发明所提出的三维重建方法，可以满足在线三维视觉测量的需要。所述的三维重建方法采用两个彩色摄像机和一个主动投射光源，所述的主动投射光源不需要向被测物体投射一系列的光信息，而是一直向被测织物投射固定不变的结构光信息；所述的两个摄像机放置在不同的角度，通过标定后，利用本发明所提出的BCCSL(Binocular Camera Color StructureLight)方法，可以获得织物所在视场内所述结构光条投射位置的全部三维数据，所述结构光条没有覆盖部分的三维数据通过本发明提出的SFTS(Shape From Two Shading)方法获得。因此，本发明可以实时获得织物表面的三维数据信息，具有三维重建快速准确的特点，并且可以获得织物表面的三维颜色信息。颜色信息与三维结构信息的分开，可以更加方便的进行织物各种形式的疵点检测。

本发明所提出的SFTS方法，是建立在SFS(Shape From Shading)理论基础之上。20世纪末，由Horn等人提出从阴影恢复形貌的方法(Shape From Shading，简称SFS方法)，其原理是利用成像表面亮度的变化，解析出物体表面矢量信息，从而转换为表面深度信息。美国佛罗里达州计算机视觉研究实验室(Computer Vision Lab，School of Computer Science，University of Central Florida，Orlando)、美国纽约大学计算机科学系(Department ofComputer Science，University of New York)、国内西北工业大学以及汕头大学等都曾经对SFS算法进行过研究。但是，由于SFS算法仅利用一幅图像的信息，获得的三维重构精度较低，本发明利用左右两个摄像机采集到的两幅图像的灰度信息，并融合颜色、坐标位置等信息，提出了SFTS算法(Shape From Two Shading)，在保留已有SFS算法优势的同时，可以提高三维测量的精度。

因此，本发明所提出的快速三维重建方法是实现织物疵点三维识别的关键技术之一，只有织物的三维坐标被快速采集出来，织物的疵点才能被准确快速的检测出来，因此本发明可以提高中国纺织品的质量和等级，增加中国纺织品在国际经济贸易中的竞争力。

发明内容

本发明提供一种快速、可靠、实用、操作便捷的三维重建方法，该方法能够应用于织物疵点在线三维检测系统中，可以弥补二维疵点检测技术存在的缺陷。

所述的三维重建方法如图1所示，包括：

用于获得织物“骨架”三维坐标的BCCSL(Binocular Camera Color Structure Light)方法(由本发明提出)；

用于获得织物“细节”信息的SFTS(Shape From Two Shading)方法(由本发明提出)。

所述的BCCSL方法硬件系统包括：

用于建立高精度坐标基准的标定平台；

用于精度控制、图像采集和数据处理的计算机；

用于提供光源及扩展投射一幅固定不变的彩色结构光条的光源投射装置；

用于采集图像的两个彩色摄像机；

用于放置所述的光源和所述的两个摄像机的扫描平台；

所述的BCCSL方法通过所述的光源投射装置，向被测织物投射一幅固定不变的彩色结构光条；所述的两个摄像机通过摄像机标定程序后，实时采集被所述的彩色结构光条投射的织物图像；通过立体匹配方法获得所述结构光条投射位置的三维坐标信息，作为织物的“骨架”三维坐标信息。

所述的SFTS方法包括：

用于缩小成像范围的“骨架”分割方法；

用于获得三维坐标的朗博体成像逆分析方法。

本发明的三维重建方法工作步骤分为六步：

步骤1：启动光投射程序，光投射图案如图2所示。所投射的红色光条将所有光条分为两个部分。假设左面部分用0标识，右面部分用1标识；对于左面的0部分，绿色光条又将0信息分为两个部分，可分别标记为00和01……，依次类推，如果有n种颜色，则可以有效的区分的光条数为2ⁿ-1条。本发明所提出的彩色结构光条投射方法的特点是只需要投射一幅固定的彩色多光条图像，就可以完成双目视觉测量中光信息的匹配。为了减少颜色信息增多造成的误判断，本发明仅采用有限的几种容易被摄像机辨识的颜色信息，不同颜色信息之间交替分开，既能满足分开不同光条信息的目的，又可以减少光信息识别难度。

步骤2：启动摄像机标定程序。假设左摄像机A坐标系为O_aX_aY_aZ_a，假设右摄像机B所在的坐标系为O_bX_bY_bZ_b，假设两个摄像机之间的旋转矩阵为R，平移矩阵为T，标定的公式如公式(1)所示。

$\left[\begin{array}{c}{x}_a\\ y_a\\ z_a\end{array}\right]=R\·\left[\begin{array}{c}{x}_b\\ y_b\\ z_b\end{array}\right]+T$ 其中 $R=\left[\begin{array}{ccc}{r}_{\mathrm{ba}1}& r_{\mathrm{ba}2}& r_{\mathrm{ba}3}\\ r_{\mathrm{ba}4}& r_{\mathrm{ba}5}& r_{\mathrm{ba}6}\\ r_{\mathrm{ba}7}& r_{\mathrm{ba}8}& r_{\mathrm{ba}9}\end{array}\right]$ T＝[t_bax t_bay t_baz]^T    (1)

式(1)中：

r_ba1-r_ba9为右摄像机B相对于左摄像机A的旋转矩阵分量；

t_bax，t_bay，t_baz为右摄像机B相对于左摄像机A的平移矩阵分量。

步骤3：计算结构光条所在位置的三维坐标。经过第二步标定后的摄像机就可以进入测量状态，放置在不同位置的摄像机可以从不同视角拍摄结构光条信息。首先需要根据光条的颜色寻找匹配光条，依据外极线匹配原则，左摄像机采集到的光条上的某一点，必然在右摄像机与之对应的光条上能找到匹配点。假设左摄像机光条上某点P的斜率为k_a，则与之对应的匹配点的斜率k_b可由公式(2)获得。

$k_b=\frac{t_{\mathrm{abz}}\·(r_{\mathrm{ab}4}+r_{\mathrm{ab}5}\·k_a)-t_{\mathrm{aby}}\·(r_{\mathrm{ab}7}+r_{\mathrm{ab}6}\·k_a)}{t_{\mathrm{abx}}\·(r_{\mathrm{ab}7}+r_{\mathrm{ab}8}\·k_a)-t_{\mathrm{abz}}\·(r_{\mathrm{ab}1}+r_{\mathrm{ab}2}\·k_a)}---\left(2\right)$

式(2)中：

k_a为左摄像机采集到的图像中某光条上的一点P的斜率；

k_b为右摄像机采集到的图像中与P点对应点的斜率；

r_ba1-r_ba9为右摄像机B相对于左摄像机A的旋转矩阵分量；

t_bax，t_bay，t_baz为右摄像机B相对于左摄像机A的平移矩阵分量。

重复执行步骤3，则可以获得所有结构光条所在位置的三维坐标，构成织物“骨架”三维坐标。

步骤4：利用步骤3所获得的织物“骨架”，将被测织物视场分割为若干个子区域，并记录每个子区域边界的三维坐标信息。

步骤5：利用步骤4分割后的每一个子区域的内部，利用SFTS方法，获得局部点的坐标变化关系。

步骤6：将步骤5所获得的坐标变化关系与步骤4所获得“骨架”坐标信息进行融合，计算全局三维坐标。运算完毕。

将本发明所述的方法应用于织物检测生产线的示意图如图3所示。

本发明的有益效果是：通过本发明所提出的BCCSL方法和SFTS方法，无需投射一系列的光信息就可以实现快速三维重建，使得三维重建能够应用于织物在线三维视觉检测领域，为织物疵点三维识别做准备。

附图说明

图1：快速三维重建方法；

图2：彩色结构光条图案；

图3：织物在线三维检测示意图。

具体实施方式

本发明提供一种快速、可靠、实用、操作便捷的三维重建方法，该方法能够应用于织物疵点在线三维检测系统中，可以弥补二维疵点检测技术存在的缺陷。

所述的三维重建方法如图1所示，包括：

用于获得织物“骨架”三维坐标的BCCSL(Binocular Camera Color Structure Light)方法(由本发明提出)，该方法可以获得光条投射位置处的三维数据信息；

用于获得织物“细节”信息的SFTS(Shape From Two Shading)方法(由本发明提出)，该方法可以获得光条投射位置之外的三维数据信息。

图1所示的三维重建的技术路线是：利用BCCSL方法抽取织物“骨架”(投射固定的彩色结构光条→双目摄像机标定→获得织物骨架信息)→利用SFTS算法获得织物“细节”(利用骨架进行区域分割→解算区域内部稠密三维坐标→坐标与颜色进行信息融合)→“骨架”与“细节”信息的融合→三维重建完毕

所述的BCCSL方法硬件系统包括：

用于建立高精度坐标基准的标定平台，所述标定平台的加工精度为0.01mm/m，可用于对单个摄像机和多个摄像机进行标定；

用于精度控制、图像采集和数据处理的计算机；

用于提供光源及扩展投射一幅固定不变的彩色结构光条的光源投射装置，所述光源投射装置可选用商用投影仪，也可自己加工定做；

用于采集图像的两个彩色摄像机，所述的两个彩色摄像机从不同位置实时采集被测织物视场内的织物图片；

用于放置所述的光源和所述的两个摄像机的扫描平台；

所述的BCCSL方法通过所述的光源投射装置，向被测织物投射一幅固定不变的彩色结构光条；所述的两个摄像机通过摄像机标定程序后，实时采集被所述的彩色结构光条投射的织物图像；通过立体匹配方法获得所述结构光条投射位置的三维坐标信息，作为织物的“骨架”三维坐标信息。

所述的SFTS方法包括：

用于缩小成像范围的“骨架”分割方法，通过BCCSL方法所获得的织物的高精度“骨架”三维坐标信息，将被测织物视场分割为若干个小的视场，作为“子视场”，所述的“骨架”三维坐标信息作为每一个子视场的边缘；

用于获得三维坐标的朗博体成像逆分析方法。被分割后的每一个子视场，可近似认为是一个郎博体光学模型，按照朗博体成像逆分析方法可以推算出每一个点的位置梯度关系，与边缘的高精度“骨架”三维坐标进行信息融合，可以获得子视场内部每一个点的三维坐标。

本发明的三维重建方法工作步骤分为六步：

步骤1：启动光投射程序，光投射图案如图2所示。所投射的红色光条将所有光条分为两个部分。假设左面部分用0标识，右面部分用1标识；对于左面的0部分，绿色光条又将0信息分为两个部分，可分别标记为00和01……，依次类推，如果有n种颜色，则可以有效的区分的光条数为2ⁿ-1条。本发明所提出的彩色结构光条投射方法的特点是只需要投射一幅固定的彩色多光条图像，就可以完成双目视觉测量中光信息的匹配。为了减少颜色信息增多造成的误判断，本发明仅采用有限的几种容易被摄像机辨识的颜色信息，不同颜色信息之间交替分开，既能满足分开不同光条信息的目的，又可以减少光信息识别难度。

步骤2：启动摄像机标定程序。假设左摄像机A坐标系为O_aX_aY_aZ_a，假设右摄像机B所在的坐标系为O_bX_bY_bZ_b，假设两个摄像机之间的旋转矩阵为R，平移矩阵为T，标定的公式如公式(1)所示。

$\left[\begin{array}{c}{x}_a\\ y_a\\ z_a\end{array}\right]=R\·\left[\begin{array}{c}{x}_b\\ y_b\\ z_b\end{array}\right]+T$ 其中 $R=\left[\begin{array}{ccc}{r}_{\mathrm{ba}1}& r_{\mathrm{ba}2}& r_{\mathrm{ba}3}\\ r_{\mathrm{ba}4}& r_{\mathrm{ba}5}& r_{\mathrm{ba}6}\\ r_{\mathrm{ba}7}& r_{\mathrm{ba}8}& r_{\mathrm{ba}9}\end{array}\right]$ T＝[t_bax t_bay t_baz]^T    (1)

式(1)中：

r_ba1-r_ba9为右摄像机B相对于左摄像机A的旋转矩阵分量；

t_bax，t_bay，t_baz为右摄像机B相对于左摄像机A的平移矩阵分量。

步骤3：计算结构光条所在位置的三维坐标。经过第二步标定后的摄像机就可以进入测量状态，放置在不同位置的摄像机可以从不同视角拍摄结构光条信息。首先需要根据光条的颜色寻找匹配光条，依据外极线匹配原则，左摄像机采集到的光条上的某一点，必然在右摄像机与之对应的光条上能找到匹配点。假设左摄像机光条上某点P的斜率为k_a，则与之对应的匹配点的斜率k_b可由公式(2)获得。

$k_b=\frac{t_{\mathrm{abz}}\·(r_{\mathrm{ab}4}+r_{\mathrm{ab}5}\·k_a)-t_{\mathrm{aby}}\·(r_{\mathrm{ab}7}+r_{\mathrm{ab}6}\·k_a)}{t_{\mathrm{abx}}\·(r_{\mathrm{ab}7}+r_{\mathrm{ab}8}\·k_a)-t_{\mathrm{abz}}\·(r_{\mathrm{ab}1}+r_{\mathrm{ab}2}\·k_a)}---\left(2\right)$

式(2)中：

k_a为左摄像机采集到的图像中某光条上的一点P的斜率；

k_b为右摄像机采集到的图像中与P点对应点的斜率；

r_ba1-r_ba9为右摄像机B相对于左摄像机A的旋转矩阵分量；

t_bax，t_bay，t_baz为右摄像机B相对于左摄像机A的平移矩阵分量。

重复执行步骤3，则可以获得所有结构光条所在位置的三维坐标，构成织物“骨架”三维坐标。

步骤4：利用步骤3所获得的织物“骨架”，将被测织物视场分割为若干个子区域，并记录每个子区域边界的三维坐标信息。

步骤5：利用步骤4分割后的每一个子区域的内部，采用本发明提出的SFTS方法，获得局部点的坐标变化关系。

步骤6：将步骤5所获得的坐标变化关系与步骤4所获得“骨架”坐标信息进行融合，计算全局三维坐标。运算完毕。

将本发明所述的方法应用于织物检测生产线的示意图如图3所示。

本发明与现有三维重建方法最大区别有如下两点：

(1)本发明所设计的彩色结构光条投射方法，是只需要投射一幅固定不变的彩色多光条图像，就可以完成双目视觉测量中光信息的匹配，被测物体无需处于静止状态。本发明可以提高三维重建的速度。另外，为了减少颜色信息增多造成的误判断，本发明仅采用有限的几种容易被摄像机辨识的颜色信息，不同颜色信息之间交替分开，既能满足分开不同光条信息的目的，又可以减少光信息识别难度。

(2)将双目视觉与单目视觉有效的结合起来，提出了BCCSL方法和SFTS方法，既解决了双目视觉的立体匹配难题，又解决了单目视觉的精度难题。可以快速准确的获得织物在线检测的三维数据。

综上所述，本发明所述三维重建方法的优点是：

(1)彩色光条匹配精度高，不容易出现匹配误差和匹配错误，测量准确性和稳定性高；

(2)三维重建速度快，被测物体无需处于静止状态；

本发明将三维重建引入到织物在线疵点检测领域，解决三维重建的精度和速度难题，也解决了生产线上织物疵点检测的难题，为织物三维疵点识别奠定基础。

以上示意性的对本发明及其实施方式进行了描述，该描述没有局限性，附图中所示的也只是本发明的实施方式之一。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，采用其它形式的同类部件或其它形式的各部件布局方式，不经创造性的设计出与该技术方案相似的技术方案与实施例，均应属于本发明的保护范围。

Claims (2)

1.一种应用于织物疵点检测的快速三维重建方法，其特征是，它包括用于获得织物“骨架”三维坐标的BCCSL(Binocular Camera Color Structure Light)方法；用于获得织物“细节”信息的SFTS(Shape From Two Shading)方法；

所述的BCCSL方法通过所述的光源投射装置，向被测织物投射一幅固定不变的彩色结构光条；所述的两个摄像机通过摄像机标定程序后，实时采集被所述的彩色结构光条投射的织物图像；通过立体匹配方法获得所述结构光条投射位置的三维坐标信息，作为织物的“骨架”三维坐标信息；

所述的SFTS方法，包括用于缩小成像范围的“骨架”分割方法和用于获得三维坐标的朗博体成像逆分析方法。

2.根据权利要求1所述的快速三维重建方法，其特征是，它包括如下步骤：

步骤1：启动光投射程序，所投射的红色光条将所有光条分为两个部分，假设左面部分用0标识，右面部分用1标识；对于左面的0部分，绿色光条又将0信息分为两个部分，可分别标记为00和01……，依次类推，如果有n种颜色，则可以有效的区分的光条数为2ⁿ-1条；为了减少颜色信息增多造成的误判断，本发明仅采用有限的几种容易被摄像机辨识的颜色信息，不同颜色信息之间交替分开，既能满足分开不同光条信息的目的，又可以减少光信息识别难度；

步骤2：启动摄像机标定程序，假设左摄像机A坐标系为O_aX_aY_aZ_a，假设右摄像机B所在的坐标系为O_bX_bY_bZ_b，假设两个摄像机之间的旋转矩阵为R，平移矩阵为T，标定的公式如公式(1)所示：

$\left[\begin{array}{c}{x}_a\\ y_a\\ z_a\end{array}\right]=R\·\left[\begin{array}{c}{x}_b\\ y_b\\ z_b\end{array}\right]+T$ 其中 $R=\left[\begin{array}{ccc}{r}_{\mathrm{ba}1}& r_{\mathrm{ba}2}& r_{\mathrm{ba}3}\\ r_{\mathrm{ba}4}& r_{\mathrm{ba}5}& r_{\mathrm{ba}6}\\ r_{\mathrm{ba}7}& r_{\mathrm{ba}8}& r_{\mathrm{ba}9}\end{array}\right]$ T＝[t_bax t_bay t_baz]^T    (1)

式(1)中：

r_ba1-r_ba9为右摄像机B相对于左摄像机A的旋转矩阵分量；

t_bax，t_bay，t_baz为右摄像机B相对于左摄像机A的平移矩阵分量；

步骤3：计算结构光条所在位置的三维坐标，经过第二步标定后的摄像机就可以进入测量状态，放置在不同位置的摄像机可以从不同视角拍摄结构光条信息，首先需要根据光条的颜色寻找匹配光条，依据外极线匹配原则，左摄像机采集到的光条上的某一点，必然在右摄像机与之对应的光条上能找到匹配点，假设左摄像机光条上某点P的斜率为k_a，则与之对应的匹配点的斜率k_b可由公式(2)获得：

$k_b=\frac{t_{\mathrm{abz}}\·(r_{\mathrm{ab}4}+r_{\mathrm{ab}5}\·k_a)-t_{\mathrm{aby}}\·(r_{\mathrm{ab}7}+r_{\mathrm{ab}6}\·k_a)}{t_{\mathrm{abx}}\·(r_{\mathrm{ab}7}+r_{\mathrm{ab}8}\·k_a)-t_{\mathrm{abz}}\·(r_{\mathrm{ab}1}+r_{\mathrm{ab}2}\·k_a)}---\left(2\right)$

式(2)中：

k_a为左摄像机采集到的图像中某光条上的一点P的斜率；

k_b为右摄像机采集到的图像中与P点对应点的斜率；

r_ba1-r_ba9为右摄像机B相对于左摄像机A的旋转矩阵分量；

t_bax，t_bay，t_baz为右摄像机B相对于左摄像机A的平移矩阵分量；

重复执行步骤3，则可以获得所有结构光条所在位置的三维坐标，构成织物“骨架”三维坐标；

步骤4：利用步骤3所获得的织物“骨架”，将被测织物视场分割为若干个子区域，并记录每个子区域边界的三维坐标信息；

步骤5：利用步骤4分割后的每一个子区域的内部，利用SFTS方法，获得局部点的坐标变化关系；

步骤6：将步骤5所获得的坐标变化关系与步骤4所获得“骨架”坐标信息进行融合，计算全局三维坐标，运算完毕。

Images