CN114612563B - 航空线缆自动化插接方法、系统及存储介质 - Google Patents
航空线缆自动化插接方法、系统及存储介质 Download PDFInfo
- Publication number
- CN114612563B CN114612563B CN202210289115.1A CN202210289115A CN114612563B CN 114612563 B CN114612563 B CN 114612563B CN 202210289115 A CN202210289115 A CN 202210289115A CN 114612563 B CN114612563 B CN 114612563B
- Authority
- CN
- China
- Prior art keywords
- plug
- cable
- pin
- aerial cable
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 230000009471 action Effects 0.000 claims abstract description 11
- 238000009826 distribution Methods 0.000 claims description 39
- 239000013598 vector Substances 0.000 claims description 36
- 238000004458 analytical method Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000005457 optimization Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 60
- 230000006870 function Effects 0.000 abstract description 12
- 230000007246 mechanism Effects 0.000 abstract description 8
- 230000002265 prevention Effects 0.000 abstract description 7
- 238000000605 extraction Methods 0.000 description 17
- 238000004422 calculation algorithm Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000012795 verification Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种航空线缆自动化插接方法、系统及存储介质，其中，方法包括：采集航空线缆的实际图像；从实际图像中提取至少一个插头描述特征，基于至少一个插头描述特征识别航空线缆的线缆插头的实际位姿；以及根据线缆插头的实际位姿执行航空线缆的插接动作，将线缆插头插接至待插接插座。由此，解决了多类型线缆插头位姿不当，检测精度低，从而增加员工身体负担等问题，通过自动化航空线缆插接系统，实现了航空线缆插接位姿的高精度检测，且具有检测可靠性高，图片质量的鲁棒性强，建模简单，模型复用性强等优点，通过利用机器人进行插接操作，同时具备防误识别与保护机制功能，从而有效的减轻了员工的操作负担。
Description
技术领域
本申请涉及自动化装备及制造中的视觉检测技术领域，特别涉及一种航空线缆自动化插接方法、系统及存储介质。
背景技术
在航空生产制造中，需要完成大量的线缆装配操作，其中，线缆的插接是整个装配过程的关键，目前的生产中所有的插接操作均需要员工手工完成。然而，线缆的安装位于机舱的各个位置，线缆插头长时间识别会对工人眼睛造成一定程度的损害，而插接所需的操作繁琐且绝大部分的操作位置不符合人体工学要求，对工人的健康产生了较大的负担。开发一套自动化的航空线缆装配系统，可以有效减轻员工的操作负担，并提高飞机的生产效率和质量。利用机器视觉进行检测具有非接触性好，速度快，通用性强的特点，开发一套航空线缆自动化插接装配系统，并利用机器人进行插接操作，对于搭建线缆自动化操作系统也具有很好的应用价值。
面向航空线缆插接的估计检测具有以下的难点：(1)插头插接所需的检测精度很高，并需要算法具有良好的快速性；(2)航空插头的种类繁多，对方法的适用性和扩展性提出了更高的要求；(3)工业生产装配对准确率要求很高，要求系统具有很好的可靠性和完善的保护机制。
目前，对目标的位姿估计大致有以下三类：基于模板匹配的方法，基于特征点匹配的方法和基于形状匹配的方法。其中，基于模板匹配的方法时间效率低，且匹配准确率受模板图像和实际图像之间的相似度影响大，且抗噪声能力差不利于实际使用；基于特征点的匹配方法对图像的鲁棒性强，但存在着匹配精度与准确率难以保证的不足；基于形状匹配的方法具有较好的匹配精度，但对建模精度要求高且建模过程较为复杂，不利于实际使用。随着深度学习技术的发展，部分研究者利用深度卷积网络实现对目标位姿的直接估计，此类方法可以实现多类目标的有效估计，但存在着训练过程需要大量数据且泛化能力不易保证的缺点。针对现有研究存在的问题和插接过程中检测的难点，提出一套航空线缆插头位姿的自动化准确检测算法很有价值。
发明内容
本申请提供一种航空线缆自动化插接方法、系统及存储介质，可以解决多类型线缆插头位姿的有效检测，具有检测精度高，检测可靠性高，对图像质量的鲁棒性强，建模简单且模型复用性强等优点，且具有防误识别与保护机制。
本申请第一方面实施例提供一种航空线缆自动化插接方法，包括以下步骤：
采集航空线缆的实际图像；
从所述实际图像中提取至少一个插头描述特征，并基于所述至少一个插头描述特征识别所述航空线缆的线缆插头的实际位姿；以及
根据所述线缆插头的实际位姿执行所述航空线缆的插接动作，将所述线缆插头插接至所述待插接插座。
根据本申请的一个实施例，所述采集航空线缆的实际图像，包括：
调整采集图像的相机转角与挟持所述航空线缆的机器人末端，使得相机轴线、线缆插头的插头轴线与所述待插接插座的轴线一致；
获取所述实际图像，基于所述待插接插座的插头连通域中心与预设插头辅助特征计算中心的加权值，定位所述线缆插头的当前所处位置，并进行校验。
根据本申请的一个实施例，所述从所述实际图像中提取至少一个插头描述特征，包括：
将所述实际图像在RGB(RGB color mode，RGB色彩模式)空间下的关注区域转换到色调、饱和度、明度的HSV(Hue,Saturation,Value，色调，饱和度，明度)特征空间，并利用全局二值化的最大类间方差法(OSTU大律法)对特征空间下图像进行二值化处理，得到标识有插针区域的二值化后图像；
对所述二值化后图像进行连通域分析，并对获得的连通域面积进行统计，保留面积位于均值一倍标准差区间内的连通域作为插针区域；
根据所述插针与图像区域中心的距离，识别中心插针与周围插针。
根据本申请的一个实施例，所述从所述实际图像中提取至少一个插头描述特征，还包括：
在所述中心插针中进行遍历搜索，寻找所生成向量与输入参考方向向量最为接近的一组插针；
将所述生成向量与所述输入参考方向向量最为接近的一组插针生成的向量作为初值的投影方向对所述区域中心内的插针中心进行投影，并对投影结果进行聚类，得到聚类结果；
利用所述聚类结果对所述插针中心进行Fisher投影运算，使投影后的插针分布具有最小类内散度与最大的类间散度；
邻域内迭代优化目标，并基于预设优化目标对结果进行验证，得到基于分布流形的至少一个插头描述特征。
根据本申请的一个实施例，所述基于所述至少一个插头描述特征识别所述航空线缆的线缆插头的实际位姿，包括：
基于插针的分布流形，根据插头先验信息及特征对应的计算方式计算所述实际位姿，其中，所述计算方式包括通过所述实际图像中的辅助特征确定其方向和根据插针分布情况进行运算。
根据本申请实施例的航空线缆自动化插接方法，通过采集航空线缆的实际图像，从中提取至少一个插头描述特征并识别航空线缆的线缆插头的实际位姿进而执行航空线缆的插接动作，将线缆插头插接至待插接插座。由此，解决了多类型线缆插头位姿不当，检测精度低，从而增加员工身体负担等问题，通过自动化航空线缆插接系统，实现了航空线缆插接位姿的高精度检测，且具有检测可靠性高，图片质量的鲁棒性强，建模简单，模型复用性强等优点，通过利用机器人进行插接操作，同时具备防误识别与保护机制功能，从而有效的减轻了员工的操作负担。
本申请第二方面实施例提供一种航空线缆自动化插接系统，包括：
采集模块，用于采集航空线缆的实际图像；
识别模块，用于从所述实际图像中提取至少一个插头描述特征，并基于所述至少一个插头描述特征识别所述航空线缆的线缆插头的实际位姿；以及
插接模块，用于根据所述线缆插头的实际位姿执行所述航空线缆的插接动作，将所述线缆插头插接至所述待插接插座。
根据本申请的一个实施例，所述采集模块，具体用于：
调整采集图像的相机转角与挟持所述航空线缆的机器人末端，使得相机轴线、线缆插头的插头轴线与所述待插接插座的轴线一致；
获取所述实际图像，基于所述待插接插座的插头连通域中心与预设插头辅助特征计算中心的加权值，定位所述线缆插头的当前所处位置，并进行检验。
根据本申请的一个实施例，所述识别模块，具体用于：
将所述实际图像在RGB空间下的关注区域转换到色调、饱和度、明度的HSV特征空间，并利用全局二值化的最大类间方差法(OSTU大律法)对特征空间下图像进行二值化处理，得到标识有插针区域的二值化后图像；
对所述二值化后图像进行连通域分析，并对获得的连通域面积进行统计，保留面积位于均值一倍标准差区间内的连通域作为插针区域；
根据所述插针与图像区域中心的距离，识别中心插针与周围插针。
根据本申请的一个实施例，所述识别模块，还用于：
在所述中心插针中进行遍历搜索，寻找所生成向量与输入参考方向向量最为接近的一组插针；
将所述生成向量与所述输入参考方向向量最为接近的一组插针生成的向量作为初值的投影方向对所述区域中心内的插针中心进行投影，并对投影结果进行聚类，得到聚类结果；
利用所述聚类结果对所述插针中心进行Fisher投影运算，使投影后的插针分布具有最小类内散度与最大的类间散度；
邻域内迭代优化目标，并基于预设优化目标对结果进行验证，得到基于分布流形的至少一个插头描述特征。
所述识别模块，具体用于：
基于插针的分布流形，根据插头先验信息及特征对应的计算方式计算所述实际位姿，其中，所述计算方式包括通过所述实际图像中的辅助特征确定其方向和根据插针分布情况进行运算。
根据本申请实施例的航空线缆自动化插接方法系统，通过采集航空线缆的实际图像，从中提取至少一个插头描述特征并识别航空线缆的线缆插头的实际位姿进而执行航空线缆的插接动作，将线缆插头插接至待插接插座。由此，解决了多类型线缆插头位姿不当，检测精度低，从而增加员工身体负担等问题，通过自动化航空线缆插接系统，实现了航空线缆插接位姿的高精度检测，且具有检测可靠性高，图片质量的鲁棒性强，建模简单，模型复用性强等优点，通过利用机器人进行插接操作，同时具备防误识别与保护机制功能，从而有效的减轻了员工的操作负担。
本申请第三方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的航空线缆自动化插接方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种航空线缆自动化插接方法的流程图；
图2为根据本申请一个实施例提供的航空线缆自动化插接算法的简易流程图；
图3为根据本申请一个实施例提供的航空线缆自动化插接算法的详细流程图；
图4为根据本申请一个实施例提供的航空线缆自动化插接方法的实际采集图像结果示意图；
图5为根据本申请一个实施例提供的航空线缆自动化插接方法的几类典型辅助特征示意图；
图6为根据本申请一个实施例提供的关注区域提取与插针提取中各步骤的图像处理效果示意图；
图7为根据本申请一个实施例提供的几种典型的插针布局流形示意图；
图8为根据本申请一个实施例提供的插针布局流形特征提取的效果示意图；
图9为根据本申请一个实施例提供的不同拍摄条件下的估计检测结果示意图；
图10为根据本申请一个实施例提供的不同类型插头的估计检测结果示意图；
图11为根据本申请实施例的航空线缆自动化插接系统的示例图。
具体实施方式
下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的航空线缆自动化插接方法、系统及存储介质。针对上述背景技术中心提到的员工在完成插接线缆时需手动操作且由于多类型线缆插头位姿不当不符合人体工学要求，长时间识别会产生身体健康负担等问题，本申请提供了一种航空线缆自动化插接方法，在该方法中，通过采集航空线缆的实际图像，从中提取至少一个插头描述特征并识别航空线缆的线缆插头的实际位姿进而执行航空线缆的插接动作，将线缆插头插接至待插接插座。由此，解决了多类型线缆插头位姿不当，检测精度低，从而增加员工身体负担等问题，通过自动化航空线缆插接系统，实现了航空线缆插接位姿的高精度检测，且具有检测可靠性高，图片质量的鲁棒性强，建模简单，模型复用性强等优点，通过利用机器人进行插接操作，同时具备防误识别与保护机制功能，从而有效的减轻了员工的操作负担。
具体而言，图1为本申请实施例所提供的一种航空线缆自动化插接方法的流程示意图。
其中，在本申请实施例中，如图2所示，线缆插头视觉检测系统的算法整体包括四个模块，分别为：S1：图像目标与特征检测；S2：关注区域提取与插针提取；S3：插针布局流形特征提取；S4：位姿估计与校验。其详细算法及步骤阐述将在以下具体实施例中进行说明。
如图1所示，该航空线缆自动化插接方法包括以下步骤：
在步骤S101中，采集航空线缆的实际图像。
进一步地，在一些实施例中，采集航空线缆的实际图像，包括：调整采集图像的相机转角与挟持航空线缆的机器人末端，使得相机轴线、线缆插头的插头轴线与待插接插座的轴线一致；获取实际图像，基于待插接插座的插头连通域中心与预设插头辅助特征计算中心的加权值，定位线缆插头的当前所处位置，并进行校验。
具体地，本申请实施例中，首先进行图像目标与特征检测，以采集航空线缆的实际图像。
具体而言，考虑到系统的通用性与便携性，通常采用工业阵面相机实现原始图像的清晰采集，拍摄前应满足以下原则：调整采集图像的相机转角与航空线缆的机器人，使得相机轴线、插头轴线与待插接插座三者的轴线一致，已实现后续检测算法的降维。如图3所示，展示了实际采集的图像结果，原图像素为2448*2048。
进一步地，由于线缆插头的多样性与拍摄背景的复杂性，为实现对目标的快速准确检测，使用YOLO(You Only Look Once，只需检测一次)深度网络对插头所在区域进行定位、提取(目标检测网络)，为防止检测错误以及检测图像产生目标缺损，使用连通域分析结果对目标检测网络结果进行校验与修正，其判据为插头所在连通域是否完全处于检测图像中。因此，运用插头辅助特征的方法进行后续检测计算，插头的辅助特征定义为插针外侧具有明显结构特点的结构或特征，如图4所示，为几类典型的辅助特征情况。在前述目标检测网络的结果上，使用另一YOLO网络实现对辅助特征的检测与提取(特征提取网络)。同样利用连通域分析结果实现对特征提取网络结果的校验与修正，其判据为辅助特征距离插头所在连通域是否小于给定阈值，将获得插头连通域中心与辅助特征计算中心的加权结果作为插头在图像中的位置坐标。
进一步地，通过上述采集过程，采用小数据集进行训练，提取400张原始图像并进行图像增强，获得共1000张图像进行训练，在测试集上可实现100％的目标检测准确度以及99％的辅助特征检测准确度，以更精准的采集航空线缆的实际图像。
在步骤S102中，从实际图像中提取至少一个插头描述特征，并基于至少一个插头描述特征识别航空线缆的线缆插头的实际位姿。
进一步地，在一些实施例中，从实际图像中提取至少一个插头描述特征，包括：将实际图像在RGB空间下的关注区域转换到色调、饱和度、明度的HSV特征空间，并利用全局二值化的最大类间方差法(OSTU大律法)对特征空间下图像进行二值化处理，得到标识有插针区域的二值化后图像；对二值化后图像进行连通域分析，并对获得的连通域面积进行统计，保留面积位于均值一倍标准差区间内的连通域作为插针区域；根据插针与图像区域中心的距离，识别中心插针与周围插针。
进一步地，在一些实施例中，从实际图像中提取至少一个插头描述特征，还包括：在中心插针中进行遍历搜索，寻找所生成向量与输入参考方向向量最为接近的一组插针；将生成向量与输入参考方向向量最为接近的一组插针生成的向量作为初值的投影方向对区域中心内的插针中心进行投影，并对投影结果进行聚类，得到聚类结果；利用聚类结果对插针中心进行Fisher投影运算，使投影后的插针分布具有最小类内散度与最大的类间散度；邻域内迭代优化目标，并基于预设优化目标对结果进行验证，得到基于分布流形的至少一个插头描述特征。
进一步地，在一些实施例中，基于至少一个插头描述特征识别航空线缆的线缆插头的实际位姿，包括：基于插针的分布流形，根据插头先验信息及特征对应的计算方式计算实际位姿，其中，计算方式包括通过实际图像中的辅助特征确定其方向和根据插针分布情况进行运算。
具体地，在本申请实施例中，其次进行关注区域提取与插针提取模块的实施。如图5所示，为关注区域提取与插针提取中各步骤的图像处理效果图，分别为(a)检测图像，(b)连通域分析，(c)检测辅助特征，(d)关注区域提取及(f)插针区域提取，并能从中可以观察到各步骤的实际效果。在采集到的航空线缆的实际图像中，提取至少一个插头描述特征，记插头描述特征为FAF∈R2，其中，FAF(1)∈{1,2,3}代表插头所具有的辅助特征数目，取值分别代表1个辅助特征，2个辅助特征以及大于或等于3个辅助特征；FAF(2)∈{0,1}代表所定义的辅助特征是否可以确定插头的姿态。当FAF(2)＝1时，表示为不需要使用所有插针便可以实现对插头的估计，此时，关注区域选择为0.5～0.8插头连通域半径的外接矩形，以减少对插针数据的依赖并提高算法的鲁棒性；当FAF(2)＝0时，表示为需要使用插针的整体信息完成后续算法，此时，关注区域选择为0.9～1.0倍大小的插头连通域。
进一步地，为便于进行插针识别，首先将图像在RGB空间下的关注区域转换到色调，饱和度，明度的HSV特征空间，并利用全局二值化的OSTU大律法对特征空间下图像进行二值化处理。为得到较为准确的插针区域，对二值化后图像进行相应的连通域分析，并对获得连通域面积进行统计，由于同一插头上插针所具有的规格是相近的，故采用方差分析的方法，保留面积位于均值一倍标准差(1σ原则)区间内的连通域作为插针区域，再根据插针与区域中心的距离，将其分为中心插针与周围插针两类并进行识别中心插针与周围插针。
具体地，在本申请实施例中，再次进行插针布局流形特征提取的实施。其中，插针的布局流形为插针所具有的低维度分布特性，最常见的分布流形为直线形式(分布轴线)，如图6所示，展示了几种典型的插针布局流形。
举例而言，如图7所示，以某线缆插头为例形象地显示了插针布局流形特征提取的效果图，分别为(a)提取插针，(b)分类插针，(c)获得初始投影方向，(d)聚类插针，(e)对插针进行Fisher投影，(f)结果示意。其具体流程如下：
(1)在中心插针中进行遍历搜索，寻找所生成向量与输入参考方向向量最为接近的一组插针；
(2)将该组插针生成的向量作为初值的投影方向对区域中心内的插针中心进行投影；
(3)利用DBSCAN(Density-Based Spatial Clustering of Application withNoise，聚类算法)方法实现对上述投影的结果进行聚类，聚类指标如下：
Nε(p)＝{q∈Xc|dist(p,q)≤ε}； (1)
Mε＝2； (2)
(4)利用步骤(3)中聚类结果对插针中心进行Fisher投影运算，使投影后的插针分布具有最易分离的特点，即具有最小类内散度SB以及最大的类间散度SW，其相关计算公式如下：
其中，w为投影方向；为插针中心坐标；yc为投影后的插针中心坐标；K为插针分类模式数目；Ck为第k类样本；Nk为属于k类样本的模式数目；μk,μ为插针分类模式的均值，计算如下：
通过优化如下指标：
可获得最优投影方向的封闭解：
J(w)＝Tr((wTSWw)-1(wTSBw))； (6)
由此，对于其他的流形形式，可使用诸如LLE(locally linear embedding)和t-SNE(t-distributed stochastic neighbor embedding)的流形学习方法实现。
(5)邻域内迭代优化目标，使用如下的优化目标对前述结果进行验证：
综上，本申请实施例的算法从给定初始投影方向w0开始，使用DBSCAN算法实现该方法下的投影数据聚类并计算相应的指标JLA。其次，通过优化投影方向w以获得最小的目标函数JLA，当优化停止后，w将由具有的最大特征值决定。
进一步地，本申请实施例中，最后进行位姿估计预校验模块的实施。通过上述步骤得到了一系列待筛选的分布流形(分布轴线)，基于待筛选的分布流形，根据插头先验信息的特征值对应的计算方式计算实际位姿。根据插头先验信息的FAF(2)取值，可采用以下两种方法进行计算：
(1)当FAF(2)＝1，即所操作插头可以通过图像中的辅助特征直接确定其方向，这时只需要根据参考输入图像求解下述优化问题，使得输入图像中的辅助特征与参考图像的辅助特征在进行旋转缩放后尽可能的接近，之后再根据获得的结果唯一确定分布轴线的方向，表达式如下：
其中，和/>为参考图像中辅助特征以及插头中心的坐标；/>为两个向量间的余弦距离，该结果反映了两者间的夹角大小；θ*为求解获得到的最优旋转角。
(2)当FAF(2)＝0，即所操作插头不能够通过图像中的辅助特征直接确定其方向，此时需要根据插针分布的形式辅助进行运算。考虑到插针的分布趋势，可采用如下的方法进行计算，记Lk为第Ck类模式的插针沿获得分布轴线具有的宽度，表达式如下：
Lk＝max(yc∈Ck)-min(yc∈Ck)； (11)
之后求解如下的优化问题，可获得由给定参考方向定义的插头方向，表达式如下：
通过上述步骤，完成了对插头方向的估计以及图像坐标系下的位置估计与像素表达的位置调整量。
在步骤S103中，根据线缆插头的实际位姿执行航空线缆的插接动作，将线缆插头插接至待插接插座。
具体地，通过基于分布流形，根据实际图像中的辅助特征确定其方向和根据插针分布情况进行计算得到的实际位姿，标定该次操作下所需机器人进行的位置调整量。首先，在保持机器人姿态的情况下令机器人在与插入方向垂直的平面内运行一小段的固定距离[Δxr,Δyr]，这里的方向与正向分别与插座定义相同，其次，采集运动后的插头图像，并运用模板匹配算法，将运动前的关注区域作为匹配模板与运动后的图像进行匹配，获得在图像空间下的运动距离[Δxim,Δyim]，并计算所需的控制调整量：
由此，在该过程中同时完成对于插头方向的验证，即两次计算的插头方向夹角需要小于给定的阈值，若不满足上述判据，则需要重新进行位姿估计运算。如图8、图9所示，分别为不同拍摄条件下的估计检测结果以及不同类型插头的估计检测结果，从中可以看出该方法具有对拍摄环境和图像质量具有良好的鲁棒性，以及对不同类型插头的适用性。
为了提高算法的可靠性，设置一系列识别正确性判据，并对关键步骤进行交叉验证，若判据不满足，则表示这次的结果存在异常，需调整位置重新运行算法，若结果仍不满足判据则发出错误提示。具体的正确性判据包括下列几点：(1)目标检测网络和特征提取网络的识别概率需要大于一定阈值；(2)插头应大致位于图像的中心，通过目标检测网络和连通域分析结果进行交叉验证；(3)插头应该完整处于检测图像中，即插头连通域不能与检测图像边缘相连，该过程通过连通域分析进行校验与调整；(4)辅助特征需较均匀分布在插针外围，若出现辅助特征距插头中心过大或者过小，则将其从辅助特征中剔除，若多数辅助特征均存在距离异常，则以辅助特征中心进行连通域搜索，尝试修正插头连通域；(5)获得的分布轴线与参考向量间夹角应小于一定阈值。通过这些保护判据，大大降低了航空线缆自动识别的失误率，对实际应用具有很大的帮助。
综上，为便于本领域技术人员进一步了解本申请实施例的航空线缆自动化插接方法，下面根据其具体步骤进一步进行阐述，如图10所示：
S1001，开始。
S1002，移动插头至拍摄位置。
S1003，拍摄图片。
S1004，插头目标检测，并通过插头连通域分析结果对目标检测网络结果进行校验并执行S1010。
S1005，插头连通域分析。
S1006，辅助特征检测，并通过插头连通域分析结果对特征提取网络结果进行校验。
S1007，提取关注区域。
S1008，提取插针区域。
S1009，提取插针分布流形。
S1010，计算插头位姿。
S1011，结果分析校验。
S1012，判断检测结果是否满足条件，若满足条件，则执行S1013，否则，执行S1002。
S1013，输出结果。
根据本申请实施例的航空线缆自动化插接方法，通过采集航空线缆的实际图像，从中提取至少一个插头描述特征并识别航空线缆的线缆插头的实际位姿进而执行航空线缆的插接动作，将线缆插头插接至待插接插座。由此，解决了多类型线缆插头位姿不当，检测精度低，从而增加员工身体负担等问题，通过自动化航空线缆插接系统，实现了航空线缆插接位姿的高精度检测，且具有检测可靠性高，图片质量的鲁棒性强，建模简单，模型复用性强等优点，通过利用机器人进行插接操作，同时具备防误识别与保护机制功能，从而有效的减轻了员工的操作负担。
其次参照附图描述根据本申请实施例提出的航空线缆自动化插接系统。
图11是本申请实施例的航空线缆自动化插接系统的方框示意图。
如图11所示，该航空线缆自动化插接系统10包括：采集模块100、识别模块200和插接模块300。
其中，采集模块100用于采集航空线缆的实际图像；
识别模块200用于从实际图像中提取至少一个插头描述特征，并基于至少一个插头描述特征识别航空线缆的线缆插头的实际位姿；以及
插接模块300用于根据线缆插头的实际位姿执行航空线缆的插接动作，将线缆插头插接至待插接插座。
进一步地，在一些实施例中，采集模块100，具体用于：
调整采集图像的相机转角与挟持航空线缆的机器人末端，使得相机轴线、线缆插头的插头轴线与待插接插座的轴线一致；
获取实际图像，基于待插接插座的插头连通域中心与预设插头辅助特征计算中心的加权值，定位线缆插头的当前所处位置，并进行检验。
进一步地，在一些实施例中，识别模块200，具体用于：
将实际图像在RGB空间下的关注区域转换到色调、饱和度、明度的HSV特征空间，并利用全局二值化的最大类间方差法(OSTU大律法)对特征空间下图像进行二值化处理，得到标识有插针区域的二值化后图像；
对二值化后图像进行连通域分析，并对获得的连通域面积进行统计，保留面积位于均值一倍标准差区间内的连通域作为插针区域；
根据插针与图像区域中心的距离，识别中心插针与周围插针。
进一步地，在一些实施例中，识别模块200，还用于：
在中心插针中进行遍历搜索，寻找所生成向量与输入参考方向向量最为接近的一组插针；
将生成向量与输入参考方向向量最为接近的一组插针生成的向量作为初值的投影方向对区域中心内的插针中心进行投影，并对投影结果进行聚类，得到聚类结果；
利用聚类结果对插针中心进行Fisher投影运算，使投影后的插针分布具有最小类内散度与最大的类间散度；
邻域内迭代优化目标，并基于预设优化目标对结果进行验证，得到基于分布流形的至少一个插头描述特征。
识别模块200，具体用于：
基于插针的分布流形，根据插头先验信息及特征对应的计算方式计算实际位姿，其中，计算方式包括通过实际图像中的辅助特征确定其方向和根据插针分布情况进行运算。
根据本申请实施例的航空线缆自动化插接方法系统，通过采集航空线缆的实际图像，从中提取至少一个插头描述特征并识别航空线缆的线缆插头的实际位姿进而执行航空线缆的插接动作，将线缆插头插接至待插接插座。由此，解决了多类型线缆插头位姿不当，检测精度低，从而增加员工身体负担等问题，通过自动化航空线缆插接系统，实现了航空线缆插接位姿的高精度检测，且具有检测可靠性高，图片质量的鲁棒性强，建模简单，模型复用性强等优点，通过利用机器人进行插接操作，同时具备防误识别与保护机制功能，从而有效的减轻了员工的操作负担。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的航空线缆自动化插接方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (5)
1.一种航空线缆自动化插接方法，其特征在于，包括以下步骤：
采集航空线缆的实际图像；
从所述实际图像中提取至少一个插头描述特征，并基于所述至少一个插头描述特征识别所述航空线缆的线缆插头的实际位姿；以及
根据所述线缆插头的实际位姿执行所述航空线缆的插接动作，将所述线缆插头插接至待插接插座；
其中，所述采集航空线缆的实际图像，包括：调整采集图像的相机转角与挟持所述航空线缆的机器人末端，使得相机轴线、线缆插头的插头轴线与所述待插接插座的轴线一致；获取所述实际图像，基于所述待插接插座的插头连通域中心与预设插头辅助特征计算中心的加权值，定位所述线缆插头的当前所处位置，并进行校验，所述预设插头辅助特征定义为插针外侧具有明显结构特点的结构或特征；
所述从所述实际图像中提取至少一个插头描述特征，包括：将所述实际图像在RGB空间下的关注区域转换到色调、饱和度、明度的HSV特征空间，并利用全局二值化的最大类间方差法对特征空间下图像进行二值化处理，得到标识有插针区域的二值化后图像；对所述二值化后图像进行连通域分析，并对获得的连通域面积进行统计，保留面积位于均值一倍标准差区间内的连通域作为插针区域；根据所述插针与图像区域中心的距离，识别中心插针与周围插针；
所述从所述实际图像中提取至少一个插头描述特征，还包括：在所述中心插针中进行遍历搜索，寻找所生成向量与输入参考方向向量最为接近的一组插针；将所述生成向量与所述输入参考方向向量最为接近的一组插针生成的向量作为初值的投影方向对所述区域中心内的插针中心进行投影，并对投影结果进行聚类，得到聚类结果；利用所述聚类结果对所述插针中心进行Fisher投影运算，使投影后的插针分布具有最小类内散度与最大的类间散度；邻域内迭代优化目标，并基于预设优化目标对结果进行验证，得到基于分布流形的至少一个插头描述特征。
2.根据权利要求1所述的方法，其特征在于，基于所述至少一个插头描述特征识别所述航空线缆的线缆插头的实际位姿，包括：
基于插针的分布流形，根据插头先验信息及特征对应的计算方式计算所述实际位姿，其中，所述计算方式包括通过所述实际图像中的辅助特征确定其方向和根据插针分布情况进行运算。
3.一种航空线缆自动化插接系统，其特征在于，包括：
采集模块，用于采集航空线缆的实际图像；
识别模块，用于从所述实际图像中提取至少一个插头描述特征，并基于所述至少一个插头描述特征识别所述航空线缆的线缆插头的实际位姿；以及
插接模块，用于根据所述线缆插头的实际位姿执行所述航空线缆的插接动作，将所述线缆插头插接至待插接插座；
所述采集模块，具体用于：调整采集图像的相机转角与挟持所述航空线缆的机器人末端，使得相机轴线、线缆插头的插头轴线与所述待插接插座的轴线一致；获取所述实际图像，基于所述待插接插座的插头连通域中心与预设插头辅助特征计算中心的加权值，定位所述线缆插头的当前所处位置，并进行检验，所述预设插头辅助特征定义为插针外侧具有明显结构特点的结构或特征；
所述识别模块，具体用于：将所述实际图像在RGB空间下的关注区域转换到色调、饱和度、明度的HSV特征空间，并利用全局二值化的最大类间方差法对特征空间下图像进行二值化处理，得到标识有插针区域的二值化后图像；对所述二值化后图像进行连通域分析，并对获得的连通域面积进行统计，保留面积位于均值一倍标准差区间内的连通域作为插针区域；根据所述插针与图像区域中心的距离，识别中心插针与周围插针；
所述识别模块，还用于：在所述中心插针中进行遍历搜索，寻找所生成向量与输入参考方向向量最为接近的一组插针；将所述生成向量与输入参考方向向量最为接近的一组插针生成的向量作为初值的投影方向对所述区域中心内的插针中心进行投影，并对投影结果进行聚类，得到聚类结果；利用所述聚类结果对所述插针中心进行Fisher投影运算，使投影后的插针分布具有最小类内散度与最大的类间散度；邻域内迭代优化目标，并基于预设优化目标对结果进行验证，得到基于分布流形的至少一个插头描述特征。
4.根据权利要求3所述的系统，其特征在于，
所述识别模块，具体用于：
基于插针的分布流形，根据插头先验信息及特征对应的计算方式计算所述实际位姿，其中，所述计算方式包括通过所述实际图像中的辅助特征确定其方向和根据插针分布情况进行运算。
5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-2任一项所述的航空线缆自动化插接方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210289115.1A CN114612563B (zh) | 2022-03-22 | 2022-03-22 | 航空线缆自动化插接方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210289115.1A CN114612563B (zh) | 2022-03-22 | 2022-03-22 | 航空线缆自动化插接方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114612563A CN114612563A (zh) | 2022-06-10 |
| CN114612563B true CN114612563B (zh) | 2024-06-21 |
Family
ID=81863974
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210289115.1A Active CN114612563B (zh) | 2022-03-22 | 2022-03-22 | 航空线缆自动化插接方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114612563B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117495859B (zh) * | 2024-01-02 | 2024-03-26 | 常州星宇车灯股份有限公司 | 接插件到位检测方法、装置、设备及其介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4616364B2 (ja) * | 2008-03-19 | 2011-01-19 | 日本発條株式会社 | ケーブルの自動姿勢決め方法及び自動姿勢決め装置 |
| CN108036786B (zh) * | 2017-12-01 | 2021-02-09 | 安徽优思天成智能科技有限公司 | 基于辅助线的位姿检测方法、装置和计算机可读存储介质 |
| CN108961221B (zh) * | 2018-06-15 | 2021-09-07 | 哈尔滨工业大学 | 一种航空插头现场静态图像检测算法 |
| CN113394632A (zh) * | 2020-03-13 | 2021-09-14 | 松下知识产权经营株式会社 | 线缆插入装置以及线缆插入方法 |
-
2022
- 2022-03-22 CN CN202210289115.1A patent/CN114612563B/zh active Active
Non-Patent Citations (1)
| Title |
|---|
| Pose estimation and robotic insertion tasks based on YOLO and layout features;Fangli Mou等;Engineering Applications of Artificial Intelligence;20220712;第2-3节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114612563A (zh) | 2022-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109740469B (zh) | 车道线检测方法、装置、计算机设备和存储介质 | |
| WO2017032311A1 (zh) | 一种检测方法及装置 | |
| CN110163176B (zh) | 车道线变化位置识别方法、装置、设备和介质 | |
| JP2004502250A (ja) | 検査システムと共に用いるための画像処理システム | |
| CN115176274A (zh) | 一种异源图像配准方法及系统 | |
| CN114612563B (zh) | 航空线缆自动化插接方法、系统及存储介质 | |
| CN111553176B (zh) | 一种适用于变电站屏柜接线的无线传输检查方法及系统 | |
| CN115775246A (zh) | 一种pcb元器件缺陷检测的方法 | |
| CN112183311A (zh) | 一种基于双模态数据融合的变电站设备故障检测方法 | |
| CN108992033B (zh) | 一种视觉测试的评分装置、设备和存储介质 | |
| Cui et al. | Global propagation of affine invariant features for robust matching | |
| CN114494373A (zh) | 基于目标检测与图像配准的轨道高精度对齐方法及系统 | |
| CN112036516A (zh) | 一种图像处理方法、装置、电子设备和存储介质 | |
| CN112418226A (zh) | 一种鱼眼分合闸状态识别的方法及装置 | |
| US20230342937A1 (en) | Vehicle image analysis | |
| Dantanarayana et al. | Object recognition and localization from 3D point clouds by maximum-likelihood estimation | |
| CN109299652B (zh) | 一种用于图像定位的模型训练方法、图像定位方法及装置 | |
| CN114663751A (zh) | 一种基于增量学习技术的输电线路缺陷识别方法和系统 | |
| CN118075438B (zh) | 视频显示方法及装置、控制器、视频显示系统 | |
| CN111178143B (zh) | 一种集装箱温度信息采集方法、装置及系统 | |
| CN112036402B (zh) | 一种对开式刀闸状态识别方法及设备 | |
| CN113642565B (zh) | 对象检测方法、装置、设备及计算机可读存储介质 | |
| JPH0981778A (ja) | モデリング装置およびモデリング方法 | |
| Möller et al. | An integrated analysis concept for errors in image registration | |
| CN115578723A (zh) | 车牌识别方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |