CN110274919A - 基于Faster R-CNN的裁片花纹参数测量方法 - Google Patents

Abstract

一种基于Faster R‑CNN的纺织裁片参数测量方法，首先将花纹数据集输入到Faster R‑CNN+ResNET‑101网络进行训练利用训练模型生成的边界框对花纹进行包围完成花纹的粗定位。然后提取边界框中花纹轮廓计算几何中心点并填补缺失点完成花纹的细定位获得花纹中心点图。最后通过花纹中心点的周期分布特征测量所需参数，提高了测量的精度与效率。

Description

基于Faster R-CNN的裁片花纹参数测量方法

技术领域

本发明涉及一种基于Faster R-CNN的纺织裁片参数测量方法，该方法对具有多周期花纹纺织面料都具有较好的识别和检测效果，属于图像处理技术领域，可应用于纺织领域中多周期花纹裁片花纹偏斜角的和周期长度的自动化检测。

背景技术

纺织裁片在如汽车座椅、服装等诸多行业中是成品加工过程中裁床裁切的中间件，其质量是决定成品品质的一个关键。裁片的样式(CAD和花纹)众多，造成实际生产过程中只能进行人工抽检，难以进行在线全检，时常发生不合格裁片造成后续缝制工序质量下降，甚至造成成品质量不合格。所以建立一个纺织裁片参数自动测量方法，对提高纺织业自动化检测水平具有重要意义

随着纺织业技术的飞速发展，机织布的种类越来越多，结构及颜色也复杂多样。对于同种类的织物，由于花纹大小、形状以及分布规律的变化会对整幅图像花纹特征的提取造成较大影响，加大了花纹织物图像整体分析的难度。此外由于织物花纹种类繁多，也无法构建完整的织物花纹组织结构特征库，也就无法进行特征提取并与数据库中的织物花纹匹配。

裁片的尺寸和花纹信息是企业进行生产的重要依据。企业在进行生产时，要对裁片进行品质控制，主要从裁片的尺寸精度、切口质量、花纹信息三个方面来进行检验。目前，传统的检测方法主要是：检测花纹信息时人工通过坐标尺进行手动测量花纹纹理角度偏差。这种测量方式不仅存在主观性、易疲劳、速度慢、强度大等缺点，而且测量精度和效率也难以保证。此外，由于肉眼容易疲劳并具有生理限制，因此无法有效检测具有复杂花纹的纺织裁片。为了克服人工测量的种种弊端，测量臂、影像测量仪、三坐标测量仪等测量仪器得到了广泛使用，但仍存在许多问题，如：测量臂和三坐标测量仪的测量精度与使用者的操作水平有关，存在主观性；影像测量仪单次测量范围较小，效率很低。因此，有必要开发一种用于多周期花纹纺织裁片的自动检测系统，以提高纺织工业的生产水平和效率。

发明内容

针对上述问题，本发明的目的提出了一种基于Faster R-CNN的纺织裁片参数测量方法，首先将花纹数据集输入到Faster R-CNN+ResNET-101网络进行训练利用训练模型生成的边界框对花纹进行包围完成花纹的粗定位。然后提取边界框中花纹轮廓计算几何中心点并填补缺失点完成花纹的细定位获得花纹中心点图。最后通过花纹中心点的周期分布特征测量所需参数，提高了测量的精度与效率。

本发明解决上述技术问题所采用的技术方案是：一种基于Faster R-CNN的裁片花纹参数测量方法，其特征在于，采用深度学习中的目标检测网络Faster R-CNN，以单条花纹为目标样本进行标注并训练，得到花纹检测模型，对裁片进行花纹检测和中心点提取，分析中心点周期特征，自动拟合同一条周期线上的中心点为直线并计算花纹偏斜角和周期长度。在汽车座椅制造业中，纺织裁片的应用已经变得愈发普遍。大多数汽车座椅成品都是由这些裁片缝制而成。作为半成品，裁片的性能将显著影响成品的质量。然而，多周期花纹裁片花纹偏斜角是影响花纹质量的重要因素。横向倾斜角θ_warp和纵向偏斜角θ_weft被定义为沿着花纹的水平或垂直周期方向的线与该片的整体轮廓之间的角度。偏斜角是多周期花纹裁片的关键参数，因为它可以反映花纹样本与花纹模板之间的设计差异。

主要步骤包括：

步骤1：图像预处理，采集保持水平的多周期花纹裁片的局部纹理图像，制作花纹数据集；建立包含大约5000个花纹裁片图像的数据集，并以PASCAL VOC 2007的格式标注。

步骤2：花纹区域粗定位，以Faster R-CNN+ResNET-101的花纹检测模型检测花纹，对花纹进行粗定位；采用深度学习中的目标检测网络Faster R-CNN，以单条花纹为目标样本进行标注并训练，得到花纹检测模型，实现对花纹的粗定位。利用Faster R-CNN+ResNet-101花纹检测模型生成边界框包围每个花纹，对花纹进行粗定位，得到花纹的粗略周期分布特征。

步骤3：使用基于灰度直方图统计的自动阈值分割方法来分割花纹并计算其精确的几何中心位置。花纹中心精确定位，分割边界框中的花纹轮廓，计算花纹中心点，对花纹进行精确定位；对步骤2中获得的花纹粗定位，采用自适应阈值分割方法，对检测到的子区域进行灰度统计提取出现频率最高的灰度值作为分割阈值对花纹进行阈值分割，进行自动计算分割阈值分割出边界框中的花纹轮廓，计算花纹的几何中心点，确定花纹的准确位置。

步骤4：填充漏检的中心点，得到花纹中心点分布图，提取花纹周期信息；分析花纹中心点间的相关性，自动填充缺失的花纹中心点，得到花纹完整的周期分布特征图。补齐步骤3中没有定位到的缺失的中心点得到完整的花纹中心点分布特征图并测量所需参数。

步骤5：统计相邻中心点间的距离，计算花纹周期长度；拟合中心点为花纹周期线，计算花纹偏斜角度和周期长度。采用基于拓扑结构的花纹中心点分类算法对花纹按照经纬方向分类，分析中心点周期特征，对分类好的中心点利用最小二乘法进行直线拟合求取周期走向，自动拟合同一条周期线上的中心点为直线并计算花纹偏斜角和周期长度。

本发明的优点在于：

1.方法简单，易于实施。本发明利用Faster R-CNN花纹检测方法与花纹中心点提取算法相结合，算法简单，计算量小，且不需要高精度的仪器设备，方法简单实用。

2.准确性高。本发明在检测过程中，使用Faster R-CNN花纹检测模型生成边界框包围花纹实现了花纹的粗定位并且进一步分割边界框中的花纹求取中心点实现花纹的精确定位，提取花纹周期，提高花纹周期提取的准确率。

3.对周期性花纹织物的花纹质量都具有较好的检测效果。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的框架流程图。

图2采集花纹裁片图像；

图3花纹检测与分类图像；

图4边界框映射过程图像；

图5中心点补齐过程图像；

图6参数测量图像；

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1给出了按照本发明的一种基于Faster R-CNN的纺织裁片花纹偏斜角的测量方法的流程图。如图1所示，该方法首先收集各种花纹裁片图像进行标注制作数据集并用Faster R-CNN+ResNET-101网络进行训练得出花纹的分类与检测模型。然后利用检测模型生成边界框包围花纹找到花纹的大致位置并且进一步分割边界框中花纹轮廓计算其几何中心点得到花纹的精确位置。最后根据花纹中心点的分布特征拟合花纹的周期线测量花纹的周期长度与偏斜角度。下面结合附图，对本发明技术方案的具体实施过程加以说明。

1.图像采集及数据集的制作

首先，采集保持水平的多周期花纹裁片的局部纹理图像(如图2)。然后，具有重叠区域的图像裁剪方法用于图像裁剪，并且裁剪步长约是花纹周期的两倍。将尺寸为1280×1024的原始图像切割成尺寸为512×640的若干子图像(如图3(b)到(e))。最后，按照PASCALVOC 2007格式对子图像进行标注完成花纹数据集的制作。

2.花纹的粗定位

2.1子图花纹的分类与检测

由Faster R-CNN+ResNET-101网络训练出来的花纹检测模型用于生成边界框包围花纹并且在边界框左上方输出花纹的分类结果与得分(如图3(f)到(i))。

2.2原始图像花纹的分类与检测

在子图像中检测到的边界框映射到原始图像。首先，根据切割标准将所有子图像中的边界框的坐标映射到原始图像。然后，生成新的边界框以定位原始图像中的所有花纹。最后，合并检测相同花纹的不同边界框(如图4(c))。

3.花纹的细定位

3.1边界框的校正与花纹中心点提取

通过边界框校正算法来校正检测位置不合格的边界框。首先，阈值分割用于分割每个边界框中的花纹并计算其面积S_p。第二，将完整花纹的面积S_sta计为标准。第三，通过计算边界框的几何中心点P_b和花纹的几何中心点P_p来确定它们的相对位置。第四，比较S_sta与S_p的大小，如果S_sta<S_p，则移除没有准确包围此花纹的边界框。根据相对位置关系，将边界框向花纹中心点P_p方向移动，直到S_p≥S_sta。最后，计算位于校正后的边界框中的花纹的几何中心点，以获得原始中心点图。

3.2缺失点补齐

基于四邻域方法填充缺失的中心点以获得最终的中心点图(如图5(c))。首先，从原始中心点图计算纬纱周期长度T_hx和经纱周期长度T_hy。其次，缺失的中心点位于两个已知的相邻点A和B之间。如果(k+1/2)<T_hx<d_m<(k+3/2)T_hx，其中k＝1,2，...，d_m是两个相邻点A和B之间的距离，然后在线AB上均匀地填充k个缺失的中心点。假设填充点是N。第三，在纵向上找到N的两个相邻点C和D.最后，缺失点M(如图5(b))是L₁(由点A和点B形成的线)和L₂(由点C和点D形成的线)之间的交点。同样，处理垂直方向缺失点的案例。

4.花纹周期长度与偏斜角的测量

4.1周期长度的测量

花纹的周期值与偏斜角可以通过反应其位置分布特征的中心点图去测量，周期长度包括横向周期长度与纵向周期长度。测量方法为：找出横向(纵向)两个相邻中心点P₁(X₁,Y₁)、P₂(X₂,Y₂),则周期长度

4.2偏斜角度的测量

倾斜角度的测量还包括经纱倾斜角度θ_warp和纬纱倾斜角度θ_weft。获得倾斜角的过程在图6中示出。首先，使用基于最小二乘法的直线拟合方法拟合相同周期的中心点，并获得纬线L_AB和经线L_ED。其次，θ_h(L_AB和x轴之间的角度)和θ_v(L_EF和x轴之间的角度)通过以下公式计算：θ＝arctan(a)(a是L_AB或L_ED的斜率)。最后，通过以下等式获得倾斜角：

θ_weft＝θ_h-θ_c

θ_warp＝θ_v-θ_c

其中θ_c是裁片整体和x轴之间的角度。它是由坐标标尺在生产中测量的已知角度。由于发明仅研究了该片的局部花纹特征，因此假设θ_c是已知角度。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种基于Faster R-CNN的裁片花纹参数测量方法，其特征在于，采用深度学习中的目标检测网络Faster R-CNN，以单条花纹为目标样本进行标注并训练，得到花纹检测模型，分析中心点周期特征，自动拟合同一条周期线上的中心点为直线并计算花纹偏斜角。

2.根据权利要求1所述的基于Faster R-CNN的裁片花纹参数测量方法，其特征在于，主要步骤包括：

步骤1：图像预处理，采集保持水平的多周期花纹裁片的局部纹理图像，制作花纹数据集；

步骤2：花纹区域粗定位，以Faster R-CNN+ResNET-101的花纹检测模型检测花纹，对花纹进行粗定位；

步骤3：使用基于灰度直方图统计的自动阈值分割方法来分割花纹并计算其精确的几何中心位置，对花纹进行精确定位；

步骤4：填充漏检的中心点，得到花纹中心点分布图，提取花纹周期信息；

步骤5：统计相邻中心点间的距离，计算花纹周期长度；拟合中心点为花纹周期线，计算花纹偏斜角度和周期长度。

3.根据权利要求1所述的基于Faster R-CNN的裁片花纹参数测量方法，其特征在于，所述步骤1中，建立包含大约5000个花纹裁片图像的数据集，并以PASCAL VOC2007的格式标注。

4.根据权利要求1所述的基于Faster R-CNN的裁片花纹参数测量方法，其特征在于，步骤2中，采用深度学习中的目标检测网络Faster R-CNN，以单条花纹为目标样本进行标注并训练，得到花纹检测模型，实现对花纹的粗定位。

5.根据权利要求4所述的基于Faster R-CNN的裁片花纹参数测量方法，其特征在于，步骤2中，利用Faster R-CNN+ResNet-101花纹检测模型生成边界框包围每个花纹，对花纹进行粗定位，得到花纹的粗略周期分布特征。

6.根据权利要求1所述的基于Faster R-CNN的裁片花纹参数测量方法，其特征在于，步骤3中，对步骤2中获得的花纹粗定位，采用自适应阈值分割方法，对检测到的子区域进行灰度统计提取出现频率最高的灰度值作为分割阈值对花纹进行阈值分割，计算花纹的几何中心点，确定花纹的准确位置。

7.根据权利要求1所述的基于Faster R-CNN的裁片花纹参数测量方法，其特征在于，步骤4中，分析花纹中心点间的相关性，自动填充缺失的花纹中心点，得到花纹完整的周期分布特征图。

8.根据权利要求1所述的基于Faster R-CNN的裁片花纹参数测量方法，其特征在于，步骤5中，采用基于拓扑结构的花纹中心点分类算法对花纹按照经纬方向分类，分析中心点周期特征，对分类好的中心点利用最小二乘法进行直线拟合求取周期走向，自动拟合同一条周期线上的中心点为直线并计算花纹偏斜角和周期长度。