CN115393255A - 基于视觉与神经网络的航空杆件自动组装检测装置及方法 - Google Patents

Abstract

本发明涉及航空杆件组装与质量检测技术领域，具体涉及基于视觉与神经网络的航空杆件自动组装检测装置及方法，所述装置包括：杆件装置、杆件旋转固定装置、多轴机器人装置、目标定位装置、3D数模检测装置、编码字符检测装置、智能数据处理装置。所述方法包括：所述多轴机器人装置先抓取杆件下端放置于杆件旋转固定装置，再抓取杆件上端移动至目标定位装置下；所述目标定位装置分别对放置于杆件旋转固定装置的杆件下端以及多轴机器人抓取的杆件上端进行拍照，图像发送到智能数据处理装置进行处理；将视觉与神经网络技术应用于航空杆件组装与检测，不仅实现了自动化生产降低人工成木，还通过检测提高了出厂产品良率。

Description

基于视觉与神经网络的航空杆件自动组装检测装置及方法

技术领域

本发明涉及航空杆件组装与质量检测技术领域，具体涉及基于视觉与神经网络的航空杆件自动组装检测装置及方法。

背景技术

航空杆件由多节大小不一的部件组成，并且尺寸较小，外形纤细，所以航空杆件的组装需要极高的精度，而航空杆件组装后的检测工序也需要极高的准确度与专业度，且需要进行全面的检测，重点包括航空杆件高度、缝隙、弯曲度、凹凸缺陷、划痕缺陷的检测，检查组装的是否符合标准。由于高精度、高准确度及高专业度的要求，目前航空杆件的组装及检测均是依靠人工进行，组装依靠手工虽然流程简单，但是效率低下；检测依靠目视进行，由于航空杆件的尺寸较小，特别是编码字符较小，极容易引起视觉疲劳，导致检测出错。

发明内容

针对现有技术的不足，本发明提供了基于视觉与神经网络的航空杆件自动组装检测装置及方法，其目的在于解决依靠人工进行航空杆件组装效率低下，依靠人工进行航空杆件高度、缝隙、弯曲度、凹凸缺陷、划痕缺陷检测以及编码字符检测记录容易出错的问题。针对航空杆件自动组装与检测这一工序复杂且具有极高精度要求的目标，基于传统机器视觉算法与神经网络模型的强大学习能力，提出了一种具有极高精度且鲁棒性较好的方法及装置。

本发明通过以下技术方案予以实现：

基于视觉与神经网络的航空杆件自动组装检测装置，包括：

杆件装置，包括杆件上端和杆件下端，为生产好等待组装的航空杆件各部分，细分为杆件下端、杆件中端、杆件顶端，其中杆件中端与杆件顶端的处理流程一致，为便于描述，将杆件中端与杆件顶端统称为杆件上端；

杆件旋转固定装置：用于对杆件进行固定和旋转，是既可以将杆件下端竖直固定好，也可以对其进行旋转的装置，在杆件下端与杆件上端旋转组装的过程中起到稳定杆件的作用，在杆件编码字符采图以及3D点云采集的过程中起到旋转杆件的作用；

多轴机器人装置：包括一个六轴机器人以及一个定制夹具，具备夹取、移动、旋转待组装杆件装置的功能；

目标定位装置：包括两台工业相机以及两个配套的环形光源，分别为顶部相机和底部相机，顶部相机装在距离工作平台较高的位置，由相机支架固定，拍照时竖直朝下，底部相机固定在设备台上，竖直朝上。其中，顶部相机对固定于杆件旋转固定装置的杆件下端的组装端面进行拍照；底部相机对多轴机器人装置夹取的杆件上端的组装端面进行拍照，图像数据均发送至智能数据处理装置进行端面中心点的识别定位，辅助多轴机器人装置进行杆件的组装；

3D数模检测装置：包括一个导轨以及一个3D相机，导轨用于提供3D相机的移动轨道，3D相机对组装好的杆件进行3D点云的扫描并将数据发送至智能数据处理装置进行航空杆件高度、缝隙、弯曲度、凹凸缺陷、划痕缺陷的检测，其中弯曲度代表组装杆件的弯曲程度，缝隙长度则代表了组装杆件是否组装到位，凹凸缺陷及划痕缺陷则代表杆件表面的平滑完整度，以上检测项目满足要求，可认为是组装良品。

编码字符检测装置：包括一个线扫相机以及两个配套的线扫光源，对通过3D数模检测的组装杆件进行线扫相机的拍摄并将图像发送至智能数据处理装置进行编码字符的检测，实现产品的留档存储。

智能数据处理装置：对接收到的杆件端面图像、3D点云数据、编码字符图像进行相应处理，若3D数模检测结果正常则组装成功，检测通过，若存在异常，则输出错误信息。此外，对接收到的编码字符图像检测结果进行留档存储。

本发明的技术方案还提供了基于视觉与神经网络的航空杆件自动组装检测装置的使用方法，采用上述所述的基于视觉与神经网络的航空杆件自动组装检测装置进行，具体步骤如下：

S1：多轴机器人装置首先抓取杆件下端移动至杆件旋转固定装置的夹具处，待杆件旋转固定装置的夹具将杆件下端竖直夹紧至合适位置后，多轴机器人装置松开杆件下端，再竖直抓取杆件上端移动至目标定位装置底部相机的正上方进行组装端面的拍照并发送至智能数据处理装置，同时，目标定位装置顶部相机对杆件下端的组装端面进行拍照并发送至智能数据处理装置；

S2：进行杆件上端与杆件下端的组装：

S2-1：智能数据处理装置对步骤S1发送来的杆件上端、杆件下端的组装端面拍摄图像分别进行处理，识别组装端面的中心点图像坐标，并转换为机械坐标；

S2-2：基于步骤S2-1得到的两组机械坐标引导多轴机器人装置将杆件上端移动至杆件下端上方，将二者组装端面的中心点在竖直方向上重合，然后多轴机器人装置向下旋转杆件上端与杆件下端组装在一起；

S3：3D数模检测装置的3D相机在导轨上移动，对步骤S2-2组装好的杆件进行3D点云的扫描，同时杆件旋转固定装置配合对杆件进行旋转，并将扫描得到的数据发送至智能数据处理装置；

S4：智能数据处理装置对步骤S3发送来的3D点云数据进行处理，得到组装后杆件高度、缝隙、弯曲度、凹凸缺陷、划痕缺陷的检测结果，如果检测结果满足阈值要求，则代表检测通过，即杆件组装成功，若检测结果不满足阈值要求，则代表检测不通过，即组装失败需进行拆解重装；

S5：编码字符检测装置的线扫相机对步骤S4检测通过的杆件进行编码字符的线扫成像，成像时杆件旋转固定装置配合对杆件进行旋转，将得到的图像发送至智能数据处理装置；

S6：智能数据处理装置对步骤S5发送来的图像数据进行字符检测处理，得到印于杆件的编码，并将该数据进行保存。

优选的，所述智能数据处理装置对杆件组装端面中心点图像坐标的识别过程具体如下：

(a)对组装端面图像进行阈值分割得到二值化图像；

(b)对步骤(a)得到的二值化图像内目标进行分割，然后对分割后目标进行填充；

(c)基于坐标、圆度、面积对步骤(b)填充后目标进行筛选，得到位于图像中心点附近且圆度、面积满足阈值要求的目标，当筛选后目标大于1个时，选取面积较小的目标作为最终的筛选目标；

(d)对步骤(c)得到的唯一目标进行圆形拟合，得到拟合圆的中心点坐标作为杆件组装端面的中心点图像坐标。

优选的，所述智能数据处理装置对3D点云数据进行处理的具体过程如下：

(a)对得到的3D点云数据进行模型曲面重构；

(b)在重构的模型曲面中竖直选取一条弯曲程度最高的线段，该线段由连续的点组成；

(c)步骤(b)中线段弯曲程度的计算方式为：选取竖直连续的一系列点数据，并提取其两个端点，基于两个端点坐标构建直线，然后计算一系列点数据中距离所构建直线最远的一个点，并得到该点最远距离的值，这一个最远距离的值即代表该条线段的弯曲程度，而步骤(b)选取的弯曲程度最高的一条线段的弯曲度则代表整个杆件的弯曲度；

(d)基于步骤(b)选取线段的数据，从一端开始逐步由两个相邻点构建直线，然后计算紧接着的第三个点与该直线的距离，当距离低于设定值时认为该处不存在缝隙，由第二个点与第三个点构建直线，计算第三个点相邻的后一点与该直线的距高，以此类推。当距离高于设定值时认为该处存在缝隙，且该点为缝隙起点。继续向后计算，直到再次出现后向点距离前向直线存在几乎同样大小的距离，则认为该点为缝隙结束点，缝隙起点与缝隙结束点之间的距离即为缝隙长度；

(e)基于步骤(a)得到的重构模型曲面，对其曲面的平滑度进行计算，当出现超出阈值的连续面积的点数据高度低于周围的点数据高度时，则认为该处存在凹陷或划痕缺陷；当出现超出阈值的连续面积的点数据高度高于周围的点数据高度时，则认为该处存在凸起缺陷。反之，则认为不存在凹凸缺陷及划痕缺陷。

优选的，所述智能数据处理装置对线扫图像数据进行字符检测处理的具体过程如下：

(a)对图像依次进行增强明暗对比度、二值化、膨胀的处理；

(b)对处理后图像内的目标进行分割，并基于面积进行筛选，去除噪点、脏污等小面积区域，保留面积较大的目标；

(c)对筛选后目标进行面积排序与高度排序，同时计算每个目标的宽高比，根据排序结果与宽高比找到面积最大的字符，且与其高度相差不大的范围内至少有两个字符，以最大面积的字符为参考对筛选后目标再次进行筛选；

(d)对再次筛选的目标基于各自的x、y坐标寻找到一个中间字符，且该中间字符左右各有一个与其y坐标水平，且x坐标距离满足阈值要求的字符；

(e)基于步骤(d)得到的中间字符选取与其几乎在同一水平线上的剩余目标作为最终的字符筛选结果；

(f)采用预先训练好的人工神经网络对最终的字符筛选结果进行字符检测，检测结果即为航空杆件的编码字符数据。

优选的，所述人工神经网络的训练过程具体如下：

(a)采集大量包含航空杆件编码字符的图像，并对其进行标注，标注结束后划分训练集与测试集，完成数据集的构建；

(b)搭建人工神经网络ANN模型结构，使用步骤(a)的训练集对其进行训练，训练结束后，使用测试集对其进行测试，测试结果符合阈值要求则训练完成，若不符合阈值要求，则修改模型参数、训练参数重新对模型进行训练，直至满足要求。

优选的，所述步骤S2-2中得到的两组机械坐标引导多轴机器人装置将杆件上端移动至杆件下端上方，将二者组装端面的中心点在竖直方向上重合的具体过程如下：

(a)多轴机器人装置的夹具中心点本身具有一个机械坐标，理论上其夹取的杆件上端的端面中心点由智能数据处理装置计算得到的机械坐标应与其重合，但实际可能存在偏差，故计算出杆件上端的端面中心点机械坐标后，与多轴机器人装置的夹具中心点固定机械坐标进行比较，得到偏差值；

(b)多轴机器人装置基于智能数据处理装置得到的杆件下端的端面中心点机械坐标，再加上步骤(a)得到的偏差值进行补偿，准确地将二者组装端面的中心点在竖直方向上重合。

优选的，将组装端面的中心点图像坐标转换为机械坐标的依据是前期进行标定所求得的转换矩阵，底部相机与顶部相机的标定方法不同，故转换矩阵也不同。

底部相机的标定过程具体为：多轴机器人装置夹取标定针在相机视野内移动9个点，尽量覆盖相机的整个视野，且成田字形的矩阵，保持中心的那一点即实际生产时的固定拍照点，且相机平面距离标定针顶点的长度与实际生产时距离杆件上端底面的长度相同，分别记录下9点的机械坐标以及图像内标定针中心点的9点图像坐标，根据两组坐标求取转换矩阵。

顶部相机的标定过程具体为：选取一个固定的平面，设置顶部相机平面距离选取的固定平面长度与实际生产时相机平面距离杆件下端的端面长度相同，并记录下此时的机械坐标，定义为标定位机械坐标。然后将标定板放于平面上，依次记录下成田字形矩阵的9点图像坐标，然后再移动多轴机器人装置，使其夹取的标定针依次点在9个点上，并记录下9点的机械坐标。再移动顶部相机至杆件旋转固定装置正上方，使杆件下端的端面中心点与相机视野的中心点重合并记录下此时的机械坐标，定义为组装位机械坐标。最后根据标定位机械坐标、组装位机械坐标、9点图像坐标、9点机械坐标求取转换矩阵。

本发明的有益效果为：

(1)本发明的方法和装置，基于2D视觉技术对多轴机器人装置的动作进行引导，实现航空杆件的高精度放置与组装；基于3D视觉技术进行模型重构，实现对航空杆件高度、缝隙、弯曲度、凹凸缺陷、划痕缺陷的检测；基于线扫相机对航空杆件旋转时的扫描成像，获取航空杆件的编码字符图像，并基于预训练神经网络得到编码字符结果，整体实现了航空杆件的高精度组装与检测工序。

(2)本发明的方法和装置，可以实现航空杆件的自动组装与检测，与人工操作的方式相比，有效降低了人工成本与生产成本，且针对航空杆件外形纤细，人工检测容易视觉疲劳的情况，显著提高了检测精度与生产效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1中基于视觉与神经网络的航空杆件自动组装与检测装置图像；

图2为本发明实施例2中基于视觉与神经网络的航空杆件自动组装与检测方法流程图；

图3为本发明实施例2中杆件下端的组装端面图像；

图4为本发明实施例2中杆件上端的组装端面图像；

图5为本发明实施例2中杆件下端的组装端面中心点识别结果的示意图；

图6为本发明实施例2中杆件上端的组装端面中心点识别结果的示意图；

图7为本发明实施例2中编码字符图像；

图8为本发明实施例2中初步筛选后的编码字符图像；

图9为本发明实施例2中最终字符筛选后的编码字符图像剩余部分的示意图；

图10为本发明实施例2中基于神经网络的编码字符检测结果的示意图。

图中：1-杆件装置、2-杆件旋转固定装置、3-多轴机器人装置、4-目标定位装置、5-3D数模检测装置、6-编码字符检测装置、7-智能数据处理装置。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

如图1所示，一种基于视觉与神经网络的航空杆件自动组装检测装置，包括杆件装置1、杆件旋转固定装置2、多轴机器人装置3、目标定位装置4、3D数模检测装置5、编码字符检测装置6、智能数据处理装置7；

杆件装置1，为生产好等待组装的航空杆件各部分，细分为杆件下端、杆件中端、杆件顶端，其中杆件中端与杆件顶端的处理流程一致，为便于描述，将杆件中端与杆件顶端统称为杆件上端；

杆件旋转固定装置2，是既可以将杆件下端竖直固定好，也可以对其进行旋转的装置，在杆件下端与杆件上端旋转组装的过程中起到稳定杆件的作用，在杆件编码字符采图以及3D点云采集的过程中起到旋转杆件的作用；

多轴机器人装置3，包含一个六轴机器人以及一个定制夹具，具备夹取、移动、旋转待组装杆件装置1的功能；

目标定位装置4，包含两台工业相机以及两个配套的环形光源，分别为顶部相机和底部相机，顶部相机装在距离工作平台较高的位置，由相机支架固定，拍照时竖直朝下，底部相机固定在设备台上，竖直朝上。其中，顶部相机对固定于杆件旋转固定装置2的杆件下端的组装端面进行拍照；底部相机对多轴机器人装置3夹取的杆件上端的组装端面进行拍照，图像数据均发送至智能数据处理装置7进行端面中心点的识别定位，辅助多轴机器人装置3进行杆件的组装；

3D数模检测装置5，包含一个导轨以及一个3D相机，导轨用于提供3D相机的移动轨道，3D相机对组装好的杆件进行3D点云的扫描并将数据发送至智能数据处理装置7进行航空杆件高度、缝隙、弯曲度、凹凸缺陷、划痕缺陷的检测，其中弯曲度代表组装杆件的弯曲程度，缝隙长度则代表了组装杆件是否组装到位，凹凸缺陷及划痕缺陷则代表杆件表面的平滑完整度，以上检测项目满足要求，可认为是组装良品。

编码字符检测装置6，包含一个线扫相机及2个配套的线扫光源，对通过3D数模检测的组装杆件进行线扫相机的拍摄并将图像发送至智能数据处理装置7进行编码字符的检测，实现产品的留档存储。

智能数据处理装置7，对接收到的杆件端面图像、3D点云数据、编码字符图像进行相应处理，若3D数模检测结果正常则组装成功，检测通过，若存在异常，则输出错误信息。此外，对接收到的编码字符图像检测结果进行留档存储。

实施例2：

一种基于视觉与神经网络的航空杆件自动组装检测装置的使用方法，包括以下步骤：

S1：多轴机器人装置3首先抓取杆件下端移动至杆件旋转固定装置2的夹具处，待杆件旋转固定装置2的夹具将杆件下端竖直夹紧至合适位置后，多轴机器人装置3松开杆件下端，再竖直抓取杆件上端移动至目标定位装置4底部相机的正上方进行组装端面的拍照并发送至智能数据处理装置7，同时，目标定位装置4顶部相机对杆件下端的组装端面进行拍照并发送至智能数据处理装置7，杆件下端的组装端面图像如图3所示，杆件上端的组装端面图像如图4所示；

S2：进行杆件上端与杆件下端的组装：

S2-1：智能数据处理装置7对步骤S1发送来的杆件上端、杆件下端的组装端面拍摄图像分别进行处理，识别组装端面的中心点图像坐标，并转换为机械坐标，杆件下端的组装端面中心点识别结果如图5所示，杆件上端的组装端面中心点识别结果如图6所示；

对杆件组装端面中心点图像坐标的识别过程具体如下：

(a)对组装端面图像进行阈值分割得到二值化图像，分割阈值为[100，255]；

(b)对步骤(a)得到的二值化图像内目标进行分割，然后对分割后目标依次进行腐蚀、膨胀、腐蚀，使用方形结构元素，尺寸分别为2*2，4*4，2*2，然后对各目标进行内部填充；

(c)基于坐标、圆度、面积对步骤(b)填充后目标进行筛选，其中，坐标筛选条件为目标中心点的(x，y)值与图像中心点的(x₀，y₀)值不能相差100，即|x-x₀|<100，|y-y₀|<100。圆度的阈值范围为[0.7，1]，面积阈值中杆件下端为[4000，150000]，杆件上端为[8852，150000]。得到位于图像中心点附近且圆度、面积满足阈值要求的目标，当筛选后目标大于1个时，选取面积较小的目标作为最终的筛选目标；

(d)对步骤(c)得到的唯一目标进行圆形拟合，得到拟合圆的中心点坐标作为杆件组装端面的中心点图像坐标。

图像坐标转换为机械坐标的依据是前期进行标定所求得的转换矩阵，底部相机与顶部相机的标定方法不同，故转换矩阵也不同。

转换矩阵是一个2*3的矩阵Matrix，包含6个元素，分别定义为A、B、C、D、E、F。

底部相机的标定过程具体为：多轴机器人装置3夹取标定针在相机视野内移动9个点，尽量覆盖相机的整个视野，且成田字形的矩阵，保持中心的那一点即实际生产时的固定拍照点，且相机平面距离标定针顶点的长度与实际生产时距离杆件上端底面的长度相同，分别记录下9点的机械坐标以及图像内标定针中心点的9点图像坐标，根据两组坐标求取转换矩阵。

由9点机械坐标，9点图像坐标以及矩阵Matrix构造方程，基于最小方差求解矩阵Matrix的6个元素值。

顶部相机的标定过程具体为：选取一个固定的平面，设置顶部相机平面距离选取的固定平面长度与实际生产时相机平面距离杆件下端的端面长度相同，并记录下此时的机械坐标，定义为标定位机械坐标。然后将标定板放于平面上，依次记录下成田字形矩阵的9点图像坐标，然后再移动多轴机器人装置3，使其夹取的标定针依次点在9个点上，并记录下9点的机械坐标。再移动顶部相机至杆件旋转固定装置2正上方，使杆件下端的端面中心点与相机视野的中心点重合并记录下此时的机械坐标，定义为组装位机械坐标。最后根据标定位机械坐标、组装位机械坐标、9点图像坐标、9点机械坐标求取转换矩阵。

组装位机械坐标与标定位机械坐标求取差值(△x，△y)，9点机械坐标加上(△x，△y)后再与9点图像坐标求取矩阵Matrix的6个元素值。

S2-2：基于步骤S2-1得到的两组机械坐标引导多轴机器人装置将杆件上端移动至杆件下端上方，将二者组装端面的中心点在竖直方向上重合，然后多轴机器人装置向下旋转杆件上端与杆件下端组装在一起；

两组机械坐标引导多轴机器人装置的具体过程为：

(a)多轴机器人装置的夹具中心点本身具有一个机械坐标(x_0，y_0)，理论上其夹取的杆件上端的端面中心点由智能数据处理装置计算得到的机械坐标应与其重合，但实际可能存在偏差，故计算出杆件上端的端面中心点机械坐标(x₁，y₁)后，与多轴机器人装置的夹具中心点固定机械坐标进行比较，得到偏差值(△x₁，△y₁)；

(b)多轴机器人装置基于智能数据处理装置得到的杆件下端的端面中心点机械坐标(x₂，y₂)，再加上步骤(a)得到的偏差值(△x₁，△y₁)进行补偿，准确地将二者组装端面的中心点在竖直方向上重合。

S3：3D数模检测装置的3D相机在导轨上移动，对步骤S2-2组装好的杆件进行3D点云的扫描，同时杆件旋转固定装置配合对杆件进行旋转，并将扫描得到的数据发送至智能数据处理装置；

S4：智能数据处理装置对步骤S3发送来的3D点云数据进行处理，得到组装后杆件高度、缝隙、弯曲度、凹凸缺陷、划痕缺陷的检测结果，如果检测结果满足阈值要求，则代表检测通过，即杆件组装成功，若检测结果不满足阈值要求，则代表检测不通过，即组装失败需进行拆解重装；

具体的，所述智能数据处理装置对3D点云数据进行处理的具体过程如下：

(a)对得到的3D点云数据进行模型曲面重构；

(b)在重构的模型曲面中竖直选取一条弯曲程度最高的线段，该线段由连续的点组成；

(c)步骤(b)中线段弯曲程度的计算方式为：选取竖直连续的一系列点数据，并提取其两个端点(x_left，y_left)与(x_right，y_right)，基于两个端点坐标构建直线Line，然后计算一系列点数据中距离所构建直线Line最远的一个点(x_far，y_far)，并得到该点最远距离的值Distance，Distance即代表该条线段的弯曲程度，而步骤(b)选取的弯曲程度最高的一条线段的弯曲度则代表整个杆件的弯曲度；

(d)基于步骤(b)选取线段的数据，从一端开始逐步由两个相邻点构建直线，然后计算紧接着的第三个点与该直线的距离，当距离低于设定值时认为该处不存在缝隙，由第二个点与第三个点构建直线，计算第三个点相邻的后一点与该直线的距高，以此类推。当距离高于设定值时认为该处存在缝隙，且该点为缝隙起点。继续向后计算，直到再次出现后向点距离前向直线存在几乎同样大小的距离，则认为该点为缝隙结束点，缝隙起点与缝隙结束点之间的距离即为缝隙长度；

(e)基于步骤(a)得到的重构模型曲面，对其曲面的平滑度进行计算，当出现超出阈值的连续面积的点数据高度低于周围的点数据高度时，则认为该处存在凹陷或划痕缺陷；当出现超出阈值的连续面积的点数据高度高于周围的点数据高度时，则认为该处存在凸起缺陷。反之，则认为不存在凹凸缺陷及划痕缺陷。

S5：编码字符检测装置的线扫相机对步骤S4检测通过的杆件进行编码字符的线扫成像，成像时杆件旋转固定装置配合对杆件进行旋转，获取的图像数据如图7所示，将得到的图像发送至智能数据处理装置；

S6：智能数据处理装置对步骤S5发送来的图像数据进行字符检测处理，得到印于杆件的编码，并将该数据进行保存。

具体的，智能数据处理装置对线扫图像数据进行字符检测处理的具体过程如下：

(a)对图像依次进行增强明暗对比度、二值化、膨胀的处理；

(b)对处理后图像内的目标进行分割，并基于面积进行筛选，去除噪点、脏污等小面积区域，保留面积较大的目标，结果如图8所示；

(c)对筛选后目标进行面积排序与高度排序，同时计算每个目标的宽高比，根据排序结果与宽高比找到面积最大的字符，且与其高度相差不大的范围内至少有两个字符，以最大面积的字符为参考对筛选后目标再次进行筛选；

(d)对再次筛选的目标基于各自的x、y坐标寻找到一个中间字符，且该中间字符左右各有一个与其y坐标水平，且x坐标距离满足阈值要求的字符；

(e)基于步骤(d)得到的中间字符选取与其几乎在同一水平线上的剩余目标作为最终的字符筛选结果，具体如图9所示；

(f)采用预先训练好的人工神经网络对最终的字符筛选结果进行字符检测，检测结果即为航空杆件的编码字符数据，检测结果如图10所示。

具体的，预训练人工神经网络的训练过程具体如下：

(a)采集大量包含航空杆件编码字符的图像，并对其进行标注，标注结束后划分训练集与测试集，完成数据集的构建；

(b)搭建人工神经网络ANN模型结构，使用步骤(a)的训练集对其进行训练，训练结束后，使用测试集对其进行测试，测试结果符合阈值要求则训练完成，若不符合阈值要求，则修改模型参数、训练参数重新对模型进行训练，直至满足要求。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.基于视觉与神经网络的航空杆件自动组装检测装置，其特征在于，包括：

杆件装置(1)：包括杆件上端和杆件下端；

杆件旋转固定装置(2)：用于对杆件进行固定和旋转；

多轴机器人装置(3)：包括一个六轴机器人以及一个定制夹具，具备夹取、移动、旋转待组装杆件装置(1)的功能；

目标定位装置(4)：包括两台工业相机以及两个配套的环形光源，分别为顶部相机和底部相机；所述顶部相机安装在距离设备台较高的位置，由相机支架固定，拍照时竖直朝下；所述底部相机固定在设备台上，竖直朝上；其中，所述顶部相机对固定于所述杆件旋转固定装置(2)上的杆件下端的组装端面进行拍照；所述底部相机对所述多轴机器人装置(3)夹取的杆件上端的组装端面进行拍照，图像数据均发送至智能数据处理装置(7)进行端面中心点的识别定位，辅助所述多轴机器人装置(3)进行杆件的组装；

3D数模检测装置(5)：包括一个导轨以及一个3D相机，所述导轨用于提供所述3D相机的移动轨道，所述3D相机对组装好的杆件进行3D点云的扫描，并将数据发送至智能数据处理装置(7)进行对航空杆件的高度、缝隙、弯曲度、凹凸缺陷和划痕缺陷的检测；

编码字符检测装置(6)：包括一个线扫相机以及两个配套的线扫光源，对通过所述3D数模检测装置(5)的组装杆件进行所述线扫相机的拍摄，并将图像发送至智能数据处理装置(7)进行编码字符的检测，实现产品的留档存储；

智能数据处理装置(7)：对接收到的杆件端面图像、3D点云数据、编码字符图像进行相应处理；若3D数模检测结果正常则组装成功、检测通过，若存在异常，则输出错误信息；此外，对接收到的编码字符图像检测结果进行留档存储。

2.根据权利要求1所述的基于视觉与神经网络的航空杆件自动组装检测装置，其特征在于：在所述3D数模检测装置(5)中，所述弯曲度代表组装杆件的弯曲程度，缝隙长度代表组装杆件是否组装到位，凹凸缺陷及划痕缺陷则代表杆件表面的平滑完整度，若以上检测项目满足要求，则认为是组装良品。

3.基于视觉与神经网络的航空杆件自动组装检测装置的使用方法，采用权利要求1-2任一项所述的基于视觉与神经网络的航空杆件自动组装检测装置进行，其特征在于，包括如下步骤：

S1：控制多轴机器人装置(3)工作，首先抓取杆件下端移动至杆件旋转固定装置(2)的夹具处，待杆件旋转固定装置(2)的夹具将杆件下端竖直夹紧至合适位置后，多轴机器人装置(3)松开杆件下端，再竖直抓取杆件上端移动至目标定位装置(4)底部相机的正上方，进行组装端面的拍照并发送至智能数据处理装置(7)，同时，目标定位装置(4)顶部相机对杆件下端的组装端面进行拍照并发送至智能数据处理装置(7)；

S2：进行杆件上端与杆件下端的组装：

S2-1：智能数据处理装置(7)对步骤S1发送来的杆件上端、杆件下端的组装端面拍摄图像分别进行处理，识别组装端面的中心点图像坐标，并转换为机械坐标；

S2-2：基于步骤S2-1得到的两组机械坐标引导多轴机器人装置(3)将杆件上端移动至杆件下端正上方，将二者组装端面的中心点在竖直方向上重合，然后多轴机器人装置(3)向下旋转杆件上端与杆件下端组装在一起；

S3：3D数模检测装置(5)的3D相机在导轨上移动，对步骤S2-2组装好的杆件进行3D点云的扫描，同时杆件旋转固定装置(2)配合对杆件进行旋转，并将扫描得到的数据发送至智能数据处理装置(7)；

S4：智能数据处理装置(7)对步骤S3发送来的3D点云数据进行处理，得到组装后航空杆件的高度、缝隙、弯曲度、凹凸缺陷、划痕缺陷的检测结果，若检测结果满足阈值要求，则代表检测通过，即杆件组装成功；若检测结果不满足阈值要求，则代表检测不通过，即组装失败需进行拆解重装；

S5：编码字符检测装置(6)的线扫相机对步骤S4检测通过的杆件进行编码字符的线扫成像，成像时杆件旋转固定装置(2)配合对杆件进行旋转，将得到的图像发送至智能数据处理装置(7)；

S6：智能数据处理装置(7)对步骤S5发送来的图像数据进行字符检测处理，得到印于杆件的编码，并将该数据进行保存。

4.根据权利要求3所述的基于视觉与神经网络的航空杆件自动组装检测装置，其特征在于：所述智能数据处理装置(7)对杆件组装端面中心点图像坐标的识别过程具体如下：

(a)对组装端面图像进行阈值分割得到二值化图像；

(b)对步骤(a)得到的二值化图像内目标进行分割，然后对分割后目标进行填充；

(c)基于坐标、圆度、面积对步骤(b)填充后目标进行筛选，得到位于图像中心点附近且圆度、面积满足阈值要求的目标，当筛选后目标大于1个时，选取面积较小的目标作为最终的筛选目标；

(d)对步骤(c)得到的唯一目标进行圆形拟合，得到拟合圆的中心点坐标作为杆件组装端面的中心点图像坐标。

5.根据权利要求3所述的基于视觉与神经网络的航空杆件自动组装检测装置，其特征在于：所述智能数据处理装置(7)对3D点云数据进行处理的具体过程如下：

(a)对得到的3D点云数据进行模型曲面重构；

(b)在重构的模型曲面中竖直选取一条弯曲程度最高的线段，该线段由连续的点组成；

(c)步骤(b)中线段弯曲程度的计算方式为：选取竖直连续的一系列点数据，并提取其两个端点，基于两个端点坐标构建直线，然后计算一系列点数据中距离所构建直线最远的一个点，并得到该点最远距离的值，这一个最远距离的值即代表该条线段的弯曲程度，而步骤(b)选取的弯曲程度最高的一条线段的弯曲度则代表整个杆件的弯曲度。

6.根据权利要求5所述的基于视觉与神经网络的航空杆件自动组装检测装置，其特征在于，还包括：

(d)基于步骤(b)选取线段的数据，从一端开始逐步由两个相邻点构建直线，然后计算紧接着的第三个点与该直线的距离，当距离低于设定值时认为该处不存在缝隙；

由第二个点与第三个点构建直线，计算第三个点相邻的后一点与该直线的距高，以此类推；当距离高于设定值时认为该处存在缝隙，且该点为缝隙起点；

继续向后计算，直到再次出现后向点距离前向直线存在几乎同样大小的距离，则认为该点为缝隙结束点，缝隙起点与缝隙结束点之间的距离即为缝隙长度；

(e)基于步骤(a)得到的重构模型曲面，对其曲面的平滑度进行计算，当出现超出阈值的连续面积的点数据高度低于周围的点数据高度时，则认为该处存在凹陷或划痕缺陷；当出现超出阈值的连续面积的点数据高度高于周围的点数据高度时，则认为该处存在凸起缺陷；反之，则认为不存在凹凸缺陷及划痕缺陷。

7.根据权利要求3所述的基于视觉与神经网络的航空杆件自动组装检测装置，其特征在于，所述智能数据处理装置(7)对线扫图像数据进行字符检测处理的具体过程如下：

(a)对图像依次进行增强明暗对比度、二值化、膨胀的处理；

(b)对处理后图像内的目标进行分割，并基于面积进行筛选，去除噪点、脏污小面积区域，保留面积较大的目标；

(c)对筛选后目标进行面积排序与高度排序，同时计算每个目标的宽高比，根据排序结果与宽高比找到面积最大的字符，且与其高度相差不大的范围内至少有两个字符，以最大面积的字符为参考对筛选后目标再次进行筛选；

(d)对再次筛选的目标基于各自的x、y坐标寻找到一个中间字符，且该中间字符左右各有一个与其y坐标水平，且x坐标距离满足阈值要求的字符；

(e)基于步骤(d)得到的中间字符选取与其几乎在同一水平线上的剩余目标作为最终的字符筛选结果；

(f)采用预先训练好的人工神经网络对最终的字符筛选结果进行字符检测，检测结果即为航空杆件的编码字符数据。

8.根据权利要求7所述的基于视觉与神经网络的航空杆件自动组装检测装置，其特征在于，所述人工神经网络的训练过程具体如下：

(a)采集大量包含航空杆件编码字符的图像，并对其进行标注，标注结束后划分训练集与测试集，完成数据集的构建；

(b)搭建人工神经网络ANN模型结构，使用步骤(a)的训练集对其进行训练，训练结束后，使用测试集对其进行测试，测试结果若符合阈值要求，则训练完成，若不符合阈值要求，则修改模型参数、训练参数重新对模型进行训练，直至满足要求。

9.根据权利要求3所述的基于视觉与神经网络的航空杆件自动组装检测装置，其特征在于，所述步骤S2-2中将二者组装端面的中心点在竖直方向上重合的具体过程如下：

(a)多轴机器人装置(3)的夹具中心点本身具有一个机械坐标，理论上其夹取的杆件上端的端面中心点由智能数据处理装置(7)计算得到的机械坐标应与其重合，但实际可能存在偏差，故计算出杆件上端的端面中心点机械坐标后，与多轴机器人装置(3)的夹具中心点固定机械坐标进行比较，得到偏差值；

(b)多轴机器人装置(3)基于智能数据处理装置(7)得到的杆件下端的端面中心点机械坐标，再加上步骤(a)得到的偏差值进行补偿，准确地将二者组装端面的中心点在竖直方向上重合。

10.根据权利要求3所述的基于视觉与神经网络的航空杆件自动组装检测装置，其特征在于，将组装端面的中心点图像坐标转换为机械坐标的依据是前期进行标定所求得的转换矩阵，底部相机与顶部相机的标定方法不同，故转换矩阵也不同；

底部相机的标定过程具体为：多轴机器人装置(3)夹取标定针在相机视野内移动9个点，尽量覆盖相机的整个视野，且成田字形的矩阵，保持中心的那一点即实际生产时的固定拍照点，且相机平面距离标定针顶点的长度与实际生产时距离杆件上端组装端面的长度相同，分别记录下9点的机械坐标以及图像内标定针中心点的9点图像坐标，根据两组坐标求取转换矩阵；

顶部相机的标定过程具体为：

(a)选取一个固定的平面，设置顶部相机平面距离选取的固定平面长度与实际生产时相机平面距离杆件下端的组装端面长度相同，并记录下此时的机械坐标，定义为标定位机械坐标；

(b)然后将标定板放于平面上，依次记录下成田字形矩阵的9点图像坐标；

(c)然后再移动多轴机器人装置(3)，使其夹取的标定针依次点在9个点上，并记录下9点的机械坐标；

(d)再移动顶部相机至杆件旋转固定装置(2)正上方，使杆件下端的端面中心点与相机视野的中心点重合并记录下此时的机械坐标，定义为组装位机械坐标；

(e)最后根据标定位机械坐标、组装位机械坐标、9点图像坐标、9点机械坐标求取转换矩阵。

Images