CN116503816B - 一种数据线缆的接脚分线检测方法 - Google Patents

Abstract

一种数据线缆的接脚分线检测方法，属于计算机视觉图像处理技术领域，包括以下步骤：步骤S1，图像资料的获；步骤S2，模型的预训；步骤S3，模型再训练。步骤S4，分线检测；步骤S5，将像素坐标转换为世界坐标并将含有世界坐标的信息其输出至打线机。本方案，通过图像识别，获取所有芯材的芯线组别、组内序数、对应的连接器接脚识别码和世界坐标，并将上述信息传输给打线机。打线机可以根据世界坐标，抓取对应的芯线并其对接到合适的连接器接脚，从而实现接脚分线检测。

Description

一种数据线缆的接脚分线检测方法

技术领域

本发明属于计算机视觉图像处理技术领域，具体涉及一种数据线缆的接脚分线检测方法。

背景技术

数据线缆中的导线需要与连接器的对应编号的接孔相连接。例如，图1为HDMI数据线缆的接头结构示意图，如图1所示，HDMI数据线缆为多芯同轴线缆，包含了五组3芯信号线、4条独立信号线和1条接地线，共20条芯线需要连接至HDMI连接器，其中，HDMI连接器的每个接孔编号对应到特定的一条导线进行连接。对于两者的连接，传统的方式是采用人工来进行分线排序与焊接，即，人工观察方式将数据线缆中的每根芯线逐一分离，并根据规格将各芯线根据连接器的接脚顺序排列，然后输送到打线机对芯线进行夹取和打线动作，接着输送到高频感应焊接机进行焊接。但是由于导线细且连接器的接孔排距小、接点面积小，人工处理方式的工作效率比较低。

因此，有必要在数据线缆的分线阶段引进图像检测技术，有效地侦测、定位线材，然后向后续的打线机提供每个芯线的图像物理坐标、芯材组别与对应的接脚识别码，以便打线机对芯线的夹取与打线，从而提高产线生产效率。

公开号为CN205484096U的中国专利公开了基于机器视觉的针脚倾斜缺陷检测装置，其通过对针脚的检测，用以判断针脚倾斜缺陷；其判断的标准为水平间距和垂直间距与正常间距的差值是否均小于预设间距阈值。该方法虽然也采用了视觉检测，但是，该方法较为简单，仅能判断针脚是否倾斜，并不能适用于芯线种类的辨识。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于一种数据线缆的接脚分线检测方法。

为了达到上述目的，本发明采取了以下的技术方案。

一种数据线缆的接脚分线检测方法，包括其采用的系统架构包括：摄像平台、分线检测模块和资料扩增模块；所述分线检测模块，包括物件检测单元；所述资料扩增模块，包括自动标注单元和人工标注单元；其包括以下步骤：

步骤S1，图像资料的获取：摄像平台获取图像资料，并将图像资料分成两部分，一部分作为模型训练资料，另一部作为检测资料；

步骤S2，模型的预训练：人工标注单元，获取模型训练资料，并对其进行人工标注，从而建立私有资料集；对私有资料集，平均分位两部分，对于第一部分进行第一次资料增扩，形成初始训练资料集；使用初始训练资料集对深度网络进行训练，得到供物件检测单元调用的预训练模型权重；

步骤S3，模型再训练：对私有资料集的第二部分进行第二次资料增扩后发送给物件检测单元；物件检测单元，调用的预训练的模型权重，输出物件边框信息至自动标注单元；自动标注单元将物件边框信息转化为训练资料；训练资料经过人工验证后加上初始训练资料集，得到最终训练资料集；使用最终训练资料集对深度网络进行训练，得到供物件检测单元调用的再训练模型权重；

步骤S4，分线检测：包括：

步骤S401，物件检测单元，进行物件侦测，输出物件边界框的信息；

步骤S402，后处理单元，对物件边界框坐标规一化，加上预测的组内序数向量，得到检测信息；组内序数向量/>含有芯线组别识别码/>和组内序数/>；

步骤S403，信息匹配：预置后台，设置有由参考组内序数向量组成的参考组内序数矩阵/>和与参考组内序数向量/>对应的连接器接脚识别码/>；预置后台，遍历组内序数向量/>和参考组内序数向量/>并进行匹配：若匹配个数达芯线规格数N，则获取实际芯材的连接器接脚识别码/>并将含有连接器接脚识别码/>的信息输出至打线机；否则返回物件检测单元重新进行物件侦测；

步骤S5，将像素坐标转换为图像物理坐标并将含有图像物理坐标的信息其输出至打线机。

进一步，所述摄像平台，包括摄像机、定焦镜头和环形光源；所述定焦镜头安装于摄像机；所述定焦镜头朝向数据线缆，并与数据线缆保持与焦距相适应的间距；所述环形光源套设于定焦镜头。

进一步，步骤S2中，人工标注，得到标签，标签为数据线缆的芯线分类组别。

进一步，步骤S2中，第一次资料增扩的方式，包括顺时针旋转90°、顺时针旋转180°、逆时针旋转90°、垂直翻转、水平翻转、亮度的提升或降低中的一种或者两种以上的组合；

步骤S3中，第二次资料增扩的方式，包括顺时针旋转45°、逆时针旋转45°、垂直翻转、水平翻转、亮度的提升或降低中的一种或者两种以上的组合。

进一步，步骤S2中，深度网络，采用YOLOv4网络结构。

进一步，步骤S401中，将检测资料输送至物件检测单元，物件检测单元调用再训练模型权重对检测资料进行物件侦测；

物件侦测后，统计芯线数量；若芯线数量达芯线规格数N，则输出芯线的物件边界框坐标和预测的芯线组别识别码至后处理单元，否则，物件检测单元重新进行物件侦测。

进一步，步骤S402中，令物件边界框，其中，i为芯线 序号，且i=0~N-1，N为芯线规格数；表示物件边界框左上方角点的规一化平面坐标 且其数值位于0到1之间，表示物件边界框右下方角点的规一化平面坐标且其数 值位于0到1之间，表示预测的芯线序号为i的芯线组别识别码；

则，物件边界框的X轴中心点为；物件边界框的Y轴中心点为/>；物件边界框的中心点坐标为/>；

后处理单元，设置像素坐标向量，表示物件边界框的中心点坐标和预测的芯线组别识别码的集合；

然后，设置像素坐标矩阵，i=0~N-1，N为芯线规格数。像素坐标矩阵CPos_I含有N个/>向量；

遍历像素坐标向量，对芯线组别识别码/>相同的物件边界框的中心点坐标进行计数，从而得到与预测的芯线组别识别码/>相对应的组内序数/>；

接着，设置组内序数向量；

最后，设置组内序数矩阵，该矩阵中含有N个组内序数向量/>；并将像素坐标矩阵CPos_I和组内序数矩阵/>作为检测信息。

进一步，步骤S403中，预置后台，设置有参考组内序数向量和参考组内序数矩阵/>；参考组内序数向量/>，表示预置后台提供的参考芯线组别识别码和参考组内序数/>；参考组内序数矩阵/>含有N个参考组内序数向量/>；

遍历组内序数向量和参考组内序数向量/>并进行匹配，两者相等的个数为匹配个数；如果匹配个数=N，则进行后续动作，否则，返回物件检测单元重新进行物件侦测；

使用参考组内序数向量进行索引并获取与其相对应的连接器接脚识别码/>；将连接器接脚识别码/>整合于组内序数矩阵/>，此时，组内序数矩阵/>并将其输出至打线机。

进一步，步骤S5中，将像素坐标转化为图像物理坐标时，将Y轴的初始点从左上方改为左下方；

对于像素坐标向量和图像物理坐标向量/>，其中，/>=/>*像素空间分辨率；/>=H－/>*像素空间分辨率；H为图像物理坐标Y轴的感测范围；

设置图像物理坐标矩阵，并将图像物理坐标矩阵CPos_W传输给打线机。

本方案，通过图像识别，获取所有芯材的芯线组别、组内序数、对应的连接器接脚识别码和图像物理坐标，并将上述信息传输给打线机。打线机可以根据图像物理坐标，抓取对应的芯线并其对接到合适的连接器接脚，从而实现接脚分线检测。检测过程计算简单，保证了图像实时处理的可行性。本方案，具有以下优点：

1，通过人工标注方式建立一个初始训练资料集，并利用资料扩增方式提升初始训练资料集中训练样本的数量与多样性。

2，具有较好的物件检测准确率。通过带有标签的初始训练资料集对深度网络进行预训练，并基于预训练的结果进行物件检测和再训练，从而达到一个比较好的训练结果。当图像分辨率为640x640时，其检测结果为99.9%的平均精度（mAP）。

3，采用匹配方法与坐标转换方法，以获取线材中心点坐标信息以及与线材所对应的连接脚位信息，有利于后续的打线机对线材进行夹取的动作以及打线动作。

附图说明

图1为HDMI数据线缆的接头结构示意图；

图2本发明的架构图；

图3是步骤S4分线检测的流程图；

图4是像素坐标和图像物理坐标的光学原理图。

具体实施方式

下面结合附图，对本发明作进一步详细说明。

图2是本发明的架构图，如图2所示，一种数据线缆的接脚分线检测方法，其采用的系统架构包括：摄像平台、分线检测模块和资料扩增模块；

所述摄像平台，包括摄像机、定焦镜头和环形光源。

所述摄像机为高分辨率摄影机，以提供高质量的芯材图像；

所述定焦镜头安装于摄像机；所述定焦镜头朝向数据线缆，并与数据线缆保持与焦距相适应的间距；

所述环形光源套设于定焦镜头，以提供足够的环境光源。

所述分线检测模块，包括物件检测单元。物件检测单元获取图像，并输出检测信息。

所述资料扩增模块，包括自动标注单元和人工标注单元。

所述人工标注单元，通过人工标注方式对图像资料扩增，得到初始训练资料集，然后对深度网络进行初始训练。

所述自动标注单元，对物件检测单元后的资料进行人工验证，并将其转化为最终训练资料集，然后对深度网络进行训练。

图3是步骤S4分线检测的流程图；结合图2和图3，一种数据线缆的接脚分线检测方法，包括以下步骤：

步骤S1，图像资料的获取：摄像平台获取图像资料，并将图像资料分成两部分，一部分作为模型训练资料，另一部作为检测资料。

步骤S2，模型的预训练：人工标注单元，获取模型训练资料，并对其进行人工标注，从而建立私有资料集。标注的标签，为数据线缆的芯线分类组别，例如，HDMI数据线缆中的芯线，以颜色作为区分，包括白色、绿色、红色、蓝色、棕色、银色和黑色七种组别。

对私有资料集，平均分位两部分，对于第一部分进行第一次资料增扩，形成初始训练资料集。第一次资料增扩生成多种具有不同情境的图像，以提升训练样本的数量与多样性。第一次资料增扩的方式，包括顺时针旋转90°、顺时针旋转180°、逆时针旋转90°、垂直翻转（上下镜像）、水平翻转（左右镜像）、亮度的提升（+20%）或降低（-20%）中的一种或者两种以上的组合。

使用初始训练资料集对深度网络进行训练，得到供物件检测单元调用的预训练模型权重。

深度网络，采用YOLOv4网络结构，此为公知常识，不在赘述。

步骤S3，模型再训练：对私有资料集的第二部分进行第二次资料增扩后发送给物件检测单元。

第二次资料增扩的方式，包括顺时针旋转45°、逆时针旋转45°、垂直翻转（上下镜像）、水平翻转（左右镜像）、亮度的提升（+20%）或降低（-20%）中的一种或者两种以上的组合。

物件检测单元，调用预训练模型权重，输出物件边框信息至自动标注单元；自动标注单元将物件边框信息转化为训练资料；训练资料经过人工验证后加上初始训练资料集，得到最终训练资料集；

使用最终训练资料集对深度网络进行训练，得到供物件检测单元调用的再训练模型权重。

步骤S4，分线检测：包括：

步骤S401，物件检测单元，进行物件侦测：将检测资料输送至物件检测单元，物件检测单元调用再训练模型权重对检测资料进行物件侦测。

物件检测单元，使用YOLOv4为预设的物件侦测器。

物件侦测后，统计芯线数量；若芯线数量达芯线规格数N（例如，HDMI数据线具有20条芯线），则输出芯线的物件边界框坐标和预测的芯线组别识别码至后处理单元，否则，物件检测单元重新进行物件侦测。

步骤S402，后处理单元，对物件边界框坐标规一化，加上预测的芯线组别识别码和组内序数/>，得到检测信息。

令物件边界框，其中，i为芯线序号，且i=0~N-1，N为 芯线规格数；表示物件边界框左上方角点的规一化平面坐标且其数值位于0到1之 间，表示物件边界框右下方角点的规一化平面坐标且其数值位于0到1之间，表 示预测的芯线序号为i的芯线组别识别码，在HDMI数据线缆中，其数值为0到6的整数，分别 表示白色、绿色、红色、蓝色、棕色、黑色和银色七种组别；

则，物件边界框的X轴中心点为；物件边界框的Y轴中心点为/>；物件边界框的中心点坐标为/>。

后处理单元，设置像素坐标向量，表示物件边界框的中心点坐标和预测的芯线组别识别码的集合；

然后，设置像素坐标矩阵，i=0~N-1，N为芯线规格数。像素坐标矩阵CPos_I含有N个/>向量。可以通过append函数，依次汇总像素坐标向量/>得到像素坐标矩阵CPos_I。

遍历像素坐标向量，对芯线组别识别码/>相同的物件边界框的中心点坐标进行计数，从而得到与预测的芯线组别识别码/>相对应的组内序数/>。

接着，设置组内序数向量。例如，在HDMI数据线缆中，/>=0表示芯线组别为白色，白色的线条共有六条，其对应组内序数向量/>表示为（0,1）、（0,2）、（0,3）、（0,4）、（0,5）、（0,6）。

最后，设置组内序数矩阵，该矩阵中含有N个组内序数向量/>；并将像素坐标矩阵CPos_I和组内序数矩阵/>作为检测信息。

步骤S403，信息匹配：预置后台，设置有由参考组内序数向量组成的参考组内序数矩阵/>和与参考组内序数向量/>对应的连接器接脚识别码/>；预置后台，遍历组内序数向量/>和参考组内序数向量/>并进行匹配：若匹配个数达芯线规格数N，则获取实际芯材的连接器接脚识别码/>，否则返回物件检测单元重新进行物件侦测。

预置后台，设置有参考组内序数向量和参考组内序数矩阵。参考组内序数向量/>，表示预置后台提供的参考芯线组别识别码/>和参考组内序数/>；参考组内序数矩阵/>含有N个参考组内序数向量/>。

遍历组内序数向量和参考组内序数向量/>并进行匹配，两者相等的个数为匹配个数；如果匹配个数=N，则进行后续动作，否则，返回物件检测单元重新进行物件侦测。

为获取各芯线所对应的连接器接脚识别码，将使用参考组内序数向量/>进行索引并获取与其相对应的连接器接脚识别码/>。然后通过Append函数整合将连接器接脚识别码/>整合于组内序数矩阵/>，此时，组内序数矩阵/>并将其输出至打线机。

步骤S5，将像素坐标转换为图像物理坐标并将其输出至打线机。

图4是像素坐标和图像物理坐标的光学原理图，图4用以解释光学的基本公式。光学的基本公式如下：

；

其中，α为放大倍率；d为成像范围；D为感测范围；v为成像距离；u为感测距离；f为焦距。

已知摄像机的像素尺寸大小为2.4(μm/pixel)，X轴成像范围为7.37mm，X轴感测范围D为65mm，焦距f为16mm，计算得到放大倍率α=0.1134和感测距离u=157mm。

表1、像素坐标和图像物理坐标转换

将像素坐标转化为图像物理坐标时，需要将Y轴的初始点从左上方改为左下方。

对于像素坐标向量和图像物理坐标向量，其中，/>=/>*像素空间分辨率；/>=H－/>*像素空间分辨率。H为图像物理坐标Y轴的感测范围。

设置图像物理坐标矩阵，并将图像物理坐标矩阵CPos_W传输给打线机。

至此，打线机，已经获取了组内序数矩阵和图像物理坐标矩阵CPos_W，即，打线机已经获取所有芯材的芯线组别、组内序数、对应的连接器接脚识别码和图像物理坐标，因此，其可以根据图像物理坐标，抓取对应的芯线并其对接到合适的连接器接脚。

通过实验验证本方案：设置三位测试者进行实际耗时的统计，包括预置后台预处理和芯材实际检测耗时。首先预置后台为首次应用此系统所需自订义芯材编号，于后续侦测系统便采用输入初始输入信息进行辨识，以检测5次线材数据进行比对，汇总于表2。

表2、三位测试者的实验耗时

从表2中可见：

(1)通过两位测试者进行5次线材检测为例，平均耗时为31s，相较于传统分线任务，减少约40%耗时。

(2)通过自动化分线，PID_i准确率达到100%，提升了工作的有效程度，从而进一步提升了生产效率。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (9)

1.一种数据线缆的接脚分线检测方法，其特征在于，包括其采用的系统架构包括：摄像平台、分线检测模块和资料扩增模块；所述分线检测模块，包括物件检测单元；所述资料扩增模块，包括自动标注单元和人工标注单元；其包括以下步骤：

步骤S1，图像资料的获取：摄像平台获取图像资料，并将图像资料分成两部分，一部分作为模型训练资料，另一部作为检测资料；

步骤S2，模型的预训练：人工标注单元，获取模型训练资料，并对其进行人工标注，从而建立私有资料集；对私有资料集，平均分位两部分，对于第一部分进行第一次资料增扩，形成初始训练资料集；使用初始训练资料集对深度网络进行训练，得到供物件检测单元调用的预训练模型权重；

步骤S3，模型再训练：使用最终训练资料集对深度网络进行训练，得到供物件检测单元调用的再训练模型权重；

步骤S3中，对私有资料集的第二部分进行第二次资料增扩后发送给物件检测单元；物件检测单元，调用的预训练的模型权重，输出物件边框信息至自动标注单元；自动标注单元将物件边框信息转化为训练资料；训练资料经过人工验证后加上初始训练资料集，得到最终训练资料集；

步骤S4，分线检测：包括：步骤S401，物件检测单元，进行物件侦测，输出物件边界框的信息；

步骤S402，后处理单元，对物件边界框坐标规一化，加上预测的组内序数向量，得到检测信息；

步骤S403，信息匹配：预置后台，设置有与参考组内序数向量对应的连接器接脚识别码/>，将检测信息与参考组内序数向量/>进行匹配；

步骤S5，将像素坐标转换为图像物理坐标并将含有图像物理坐标的信息其输出至打线机。

2.根据权利要求1所述的一种数据线缆的接脚分线检测方法，其特征在于，所述摄像平台，包括摄像机、定焦镜头和环形光源；所述定焦镜头安装于摄像机；所述定焦镜头朝向数据线缆，并与数据线缆保持与焦距相适应的间距；所述环形光源套设于定焦镜头。

3.根据权利要求1所述的一种数据线缆的接脚分线检测方法，其特征在于，步骤S2中，人工标注，得到标签，标签为数据线缆的芯线分类组别。

4.根据权利要求1所述的一种数据线缆的接脚分线检测方法，其特征在于，步骤S2中，第一次资料增扩的方式，包括顺时针旋转90°、顺时针旋转180°、逆时针旋转90°、垂直翻转、水平翻转、亮度提升或亮度降低中的一种或者两种以上的组合；

步骤S3中，第二次资料增扩的方式，包括顺时针旋转45°、逆时针旋转45°、垂直翻转、水平翻转、亮度提升或亮度降低中的一种或者两种以上的组合。

5.根据权利要求1所述的一种数据线缆的接脚分线检测方法，其特征在于，步骤S2中，深度网络，采用YOLOv4网络结构。

6.根据权利要求1所述的一种数据线缆的接脚分线检测方法，其特征在于，步骤S401中，将检测资料输送至物件检测单元，物件检测单元调用再训练模型权重对检测资料进行物件侦测；

物件侦测后，统计芯线数量；若芯线数量达芯线规格数N，则输出芯线的物件边界框坐标和预测的芯线组别识别码至后处理单元，否则，物件检测单元重新进行物件侦测。

7.根据权利要求6所述的一种数据线缆的接脚分线检测方法，其特征在于，步骤S402中，令物件边界框，其中，i为芯线序号，且i=0~N-1，N为芯线规格数；/>表示物件边界框左上方角点的规一化平面坐标且其数值位于0到1之间，/>表示物件边界框右下方角点的规一化平面坐标且其数值位于0到1之间，/>表示预测的芯线序号为i的芯线组别识别码；

则，物件边界框的X轴中心点为；物件边界框的Y轴中心点为/>；物件边界框的中心点坐标为/>；

后处理单元，设置像素坐标向量，表示物件边界框的中心点坐标和预测的芯线组别识别码的集合；

然后，设置像素坐标矩阵，i=0~N-1，N为芯线规格数；像素坐标矩阵CPos_I含有N个/>向量；

遍历像素坐标向量，对芯线组别识别码/>相同的物件边界框的中心点坐标进行计数，从而得到与预测的芯线组别识别码/>相对应的组内序数/>；

接着，设置组内序数向量；

最后，设置组内序数矩阵，该矩阵中含有N个组内序数向量/>；并将像素坐标矩阵CPos_I和组内序数矩阵/>作为检测信息。

8.根据权利要求7所述的一种数据线缆的接脚分线检测方法，其特征在于，步骤S403中，预置后台，设置有参考组内序数向量和参考组内序数矩阵/>；参考组内序数向量/>，表示预置后台提供的参考芯线组别识别码/>和参考组内序数；参考组内序数矩阵/>含有N个参考组内序数向量/>；

遍历组内序数向量和参考组内序数向量/>并进行匹配，两者相等的个数为匹配个数；如果匹配个数=N，则进行后续动作，否则，返回物件检测单元重新进行物件侦测；

使用参考组内序数向量进行索引并获取与其相对应的连接器接脚识别码/>；将连接器接脚识别码/>整合于组内序数矩阵/>，此时，组内序数矩阵/>并将其输出至打线机。

9.根据权利要求8所述的一种数据线缆的接脚分线检测方法，其特征在于，步骤S5中，将像素坐标转化为图像物理坐标时，将Y轴的初始点从左上方改为左下方；

对于像素坐标向量和图像物理坐标向量/>，其中，/>=/>*像素空间分辨率；/>=H－/>*像素空间分辨率；H为图像物理坐标Y轴的感测范围；

设置图像物理坐标矩阵，并将图像物理坐标矩阵CPos_W传输给打线机。