CN116580005A - 基于图像处理与深度学习的管片模具开模系统的引导方法 - Google Patents

Abstract

本发明提供了一种基于图像处理与深度学习的管片模具开模系统的引导方法，属于自动开模领域，该方法包括：控制机械臂移动至模具螺栓的指定测距位置，对待定位螺栓进行图像采集，并对采集到的图像进行第一预处理，提取待定位螺栓的有效图像；基于所述有效图像进行定位分析，得到待定位螺栓的有效坐标，并引导所述机械臂移动到所述有效坐标，来对螺栓进行拧松操作采集拧松后的螺栓图像，对所述螺栓图像进行第二预处理提取所述螺栓图像的有效数据，并基于预设分析算法判断螺栓是否拧松成功，进而基于判断结果引导管片模具开模系统进行相应操作。将图像处理与深度学习应用到管片模具开模系统中实现螺栓的自动定位，提高了开模的准确性和效率。

Description

基于图像处理与深度学习的管片模具开模系统的引导方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于图像处理与深度学习的管片模具开模系统的引导方法。

背景技术

目前，市场上的自动螺栓开模设备结构都普遍比较简单，不能自行校正螺栓位置偏差，定位上容易出现误差，对开模顺序也无法进行优化。应用在不同型号的产品上时通常采用传统示教模式进行螺栓位置信息录入，操作较为繁琐且精确度不够高，需要人工进行辅助操作且人工操作的劳动量和劳动力都较大，也无法保证开模的准确性。

因此，本发明提出一种基于图像处理与深度学习的管片模具开模系统的引导方法。

发明内容

本发明提供一种基于图像处理与深度学习的管片模具开模系统的引导方法，用以通过对待定位螺栓进行图像采集，获取得到有效图像并基于有效图像分析出有效坐标，并引导机械臂进行拧松操作且通过图像判断是否拧松成功，保证开模的精确度。

本发明提供一种基于图像处理与深度学习的管片模具开模系统的引导方法，包括：

步骤1：控制机械臂移动至模具螺栓的指定测距位置，对待定位螺栓进行图像采集，并对采集到的图像进行第一预处理，提取待定位螺栓的有效图像；

步骤2：基于所述有效图像进行定位分析，得到待定位螺栓的有效坐标，并引导所述机械臂移动到所述有效坐标来对螺栓进行拧松操作；

步骤3：对所采集的拧松后的螺栓图像进行第二预处理并提取有效数据，判断螺栓是否拧松成功，进而来实现引导管片模具开模系统进行相应操作。

在一种可能实现的方式中，控制机械臂移动至模具螺栓的指定测距位置，对待定位螺栓进行图像采集，包括：

确定所述机械臂的当下坐标，并基于工控机控制所述机械臂由所述当下坐标移动至指定测距位置；

当所述机械臂移动到指定测距位置时，向摄像头发送开启指令，控制所述摄像头拍摄待定位螺栓，得到待定位螺栓图像；

其中，所述摄像头位于机械臂上。

在一种可能实现的方式中，对采集到的图像进行第一预处理，提取待定位螺栓的有效图像，包括：

对待定位螺栓图像进行RGB色彩空间特征提取，将所述待定位螺栓图像中的螺栓部分与图像背景剥离，得到螺栓部位图像，并将所述螺栓部位图像进行二值化处理；

将二值化图像进行平滑锐化处理，得到待定位螺栓的有效图像。

在一种可能实现的方式中，将所述待定位螺栓图像中的螺栓部分与图像背景剥离，得到螺栓部位图像，包括：

根据所述待定位螺栓的螺栓复杂度，确定图像拆分数量，并按照所述拆分数量对所述待定位螺栓图像进行对应数量的拆分；

获取每个拆分子图像的第一局部阈值以及第二局部阈值；

基于高斯滤波器滤除每个拆分子图像的高斯噪声；

确定每个滤除噪声子图像中每个像素点的梯度大小及方向，并锁定非边缘像素点以及候选边缘像素点，且删除非边缘像素点；

若同个候选边缘像素点的像素梯度值大于第一局部阈值，则将所述同个候选边缘像素点标记为边缘像素；

若同个候选边缘像素点的像素梯度值小于第二局部阈值，则将所述同个候选边缘像素点标记为背景像素；

若同个候选边缘像素点的像素梯度值大于等于第二局部阈值，且小于等于第一局部阈值，则获取所述同个候选边缘像素点的相邻连接像素点的相邻像素梯度值；

若所述相邻像素梯度值大于第一局部阈值，将所述同个候选边缘像素点标记为边缘像素；

基于所有标记后的子图像，构建得到螺栓部位图像。

在一种可能实现的方式中，基于所述有效图像进行定位分析，得到待定位螺栓的有效坐标的过程中，还包括：

根据定位分析结果，判断所述有效图像上存在的待定位螺栓的螺栓个数；

当所述螺栓个数为1时，将所述待定位螺栓的定位分析坐标视为有效坐标。

在一种可能实现的方式中，判断所述有效图像上存在的待定位螺栓的螺栓个数之后，还包括：

当所述螺栓个数为多个时，框选所述有效图像上的每个待定位螺栓，并根据每个框选区域的区域中心点，并按照从左到右的顺序进行相邻区域中心点的依次连接，构建得到待定位图谱；

基于所述待定位图谱，构建距离阵列，并将所述距离阵列与标准阵列进行比较，来计算同个距离元素的距离比值；

当所有距离比值都满足归一化条件时，判定所述有效图像合格；

否则，判定所述有效图像不合格，筛选不满足归一化条件的第一线，根据满足归一化条件的第二线的第二归一化系数，确定每个第一线的第一归一化系数的畸变因子；

根据所有第一线的线分布，确定具备相关关系的第一线以及不具备相关关系的第一线；

当第一线为单独线时，设定Y0的取值为1，表示对应第一线不具备相关关系；当第一线不为单独线时，设定Y0的取值为0，表示对应第一线具备相关关系；

将不具备相关关系的第一线按照对应的畸变因子进行第一修正；

将具备相关关系的第一线，来按照对应的畸变因子进行第二修正，并对第二修正线重新进行归一化判断以及相关系数确定的循环操作，直到所有的线都不具备相关关系，构建得到合格的有效图像；

根据开模流程，确定所述合格的有效图像中每个待定位螺栓的开模顺序；

如果所述开模顺序为有序顺序时，则分别向每个待定位螺栓设置顺序编码，并将第一个顺序编码对应的待定位螺栓的定位分析坐标视为有效坐标；

若所述开模顺序为随机顺序时，则获取所述机械臂到每个待定位螺栓的定位分析坐标的第一距离以及任意两个待定位螺栓之间的第二距离；

根据高效率开模模型，对所述第一距离以及第二距离进行解析，输出规划开模路径，并将所述规划开模路径上的第一个定位分析坐标视为有效坐标。

在一种可能实现的方式中，引导所述机械臂移动到所述有效坐标，来对螺栓进行拧松操作的过程中，还包括：

采集所述机械臂基于不同移动指令的历史移动路径以及基于所述历史移动路径的历史补偿路径，其中，所述历史移动路径以及历史补偿路径包括：移动距离以及移动方向；

基于同下发指令所对应的历史移动位移以及历史补偿位移，构建位移数组，其中，所述位移数组=[横向移动距离、竖向移动距离、历史移动距离、横向方向补偿、竖向方向补偿、历史方向补偿]；

分别确定每个位移数组的单位距离补偿量、单位横向补偿量以及单位竖向补偿量，并绘制得到所述单位距离补偿量的第一曲线、单位横向补偿量的第二曲线以及单位竖向补偿量的第三曲线；

对每条曲线进行拟合处理以及平均处理，并确定每条曲线的拟合处理值与平均处理值的差值绝对值；

若差值绝对值在预设范围内，则从拟合处理值以及平均处理值中随机筛选一个值作为对应曲线的最后值；

若差值绝对值不在预设范围内，则将拟合处理值作为对应曲线的最后值；

根据每个曲线的最后值与待移动位置，生成补偿指令进行补偿引导。

在一种可能实现的方式中，对所采集的拧松后的螺栓图像进行第二预处理并提取有效数据的过程中，包括：

基于机械臂上的摄像头对螺栓部位进行图像采集，得到拧松后的螺栓图像；

由距离传感器测量对应待拧松螺栓在螺栓未拧出之前机械臂和螺栓顶部的未拧出距离以及在螺栓拧出之后机械臂和螺栓顶部的拧出距离；

根据所述未拧出距离与拧出距离的距离差值，对所述拧松后的螺栓图像进行深度补偿，得到处理后的螺栓深度图像。

在一种可能实现的方式中，判断螺栓是否拧松成功，包括：

基于螺栓型号-拧出高度映射表获取目标螺栓拧出成功的标准拧出高度；

基于所述距离传感器多次获取目标螺栓的实际拧出高度值，得出平均实际拧出值，将所述平均实际拧出值及标准拧出高度Hb进行对比；

若，则判断拧松失败；

否则，判定拧松成功。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种基于图像处理与深度学习的管片模具开模系统的引导方法的流程图；

图2为对螺栓进行定位后螺栓位置的现实情况；

图3为待定位图谱的示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明实施例提供一种基于图像处理与深度学习的管片模具开模系统的引导方法，如图1所示，包括：

步骤1：控制机械臂移动至模具螺栓的指定测距位置，对待定位螺栓进行图像采集，并对采集到的图像进行第一预处理，提取待定位螺栓的有效图像；

步骤2：基于所述有效图像进行定位分析，得到待定位螺栓的有效坐标，并引导所述机械臂移动到所述有效坐标，来对螺栓进行拧松操作；

步骤3：对所采集的拧松后的螺栓图像进行第二预处理并提取有效数据，判断螺栓是否拧松成功，进而来实现引导管片模具开模系统进行相应操作。

该实施例中，机械臂与工控机相连，工控机为服务器，在启动软件后将机械臂连接，工控机与PLC采用485通信，PLC控制第七轴、警报、切换箱体等功能，工控机与螺丝轴采用TCP/IP通信，工控机为客户端，可以通过点击启动硬件配置按钮连接工控机与机械臂。

该实施例中，图像采集通过安装在机械臂上的摄像头实现。

该实施例中，第一预处理是指对采集到的图像进行RGB彩色空间提取获得螺栓部位图像，并通过二值化处理得到螺栓部位图像的二值化图像，对二值化图像进行平滑锐化处理。

该实施例中，待定位螺栓的有效图像是指采集到的图像经RGB色彩空间特征提取、二值化处理及平滑锐化处理后得到的螺栓部位图像。

该实施例中，定位分析是通过待定位螺栓的有效图像获取得到待定位螺栓的具体有效坐标的过程。

该实施例中，待定位螺栓的有效坐标是指待定位螺栓的精确坐标值，用以为机械臂进行拧松操作提供准确位置。

该实施例中，第二预处理是指通过机械臂上的距离传感器对螺栓拧松前和拧松后与机械臂的距离进行测量，并将两者进行比对，获取未拧出距离与拧出距离的差值并基于此对拧松后的图像进行深度补偿。

该实施例中，待定位螺栓的有效数据是指螺栓拧出高度及螺栓有效定位坐标等数据。

上述技术方案的有益效果是：通过将图像检测与深度学习结合的视觉系统应用到管片模具开模系统中，相比人力开模大大提升了开模的效率，螺栓定位的优化在保证高检出率的同时使得获取待开模螺栓的有效坐标的效率更高，定位更加精确。

本发明实施例提供一种基于图像处理与深度学习的管片模具开模系统的引导方法，控制机械臂移动至模具螺栓的指定测距位置，对待定位螺栓进行图像采集，包括：

确定所述机械臂的当下坐标，并基于工控机控制所述机械臂由所述当下坐标移动至指定测距位置；

当所述机械臂移动到指定测距位置时，向摄像头发送开启指令，控制所述摄像头拍摄待定位螺栓，得到待定位螺栓图像；

其中，所述摄像头位于机械臂上。

该实施例中，工控机与机械臂采用TCP/IP通信，工控机为服务器，启动软件后可将工控机与机械臂相连接并通过工控机实现对机械臂的控制。

该实施例中，指定测距位置与螺栓所在位置有关，可以通过上位机预先进行设定。

上述技术方案的有益效果是：通过对机械臂进行控制，通过机械臂上的摄像头对待定位螺栓图像进行采集，能够有效了解到待定位螺栓的实际情况，能够方便后续通过识别对待定位螺栓有效图像的提取。

本发明实施例提供一种基于图像处理与深度学习的管片模具开模系统的引导方法，对采集到的图像进行第一预处理，提取待定位螺栓的有效图像，包括：

对待定位螺栓图像进行RGB色彩空间特征提取，将所述待定位螺栓图像中的螺栓部分与图像背景剥离，得到螺栓部位图像，并将所述螺栓部位图像进行二值化处理；

将二值化图像进行平滑锐化处理，得到带定位螺栓的有效图像。

该实施例中，RGB色彩空间特征提取是指将螺栓在RGB色彩空间的特征根据设定值与背景的差异进行提取，将螺栓与图像中其他部分剥离。

该实施例中，二值化处理就是将模具螺栓部位的像素值根据一定的计算规则置为0或255，即处理为黑白效果，这一过程不改变模具和螺栓的局部和全局特征，通过选取适当的阈值处理来实现。

该实施例中，图像平滑锐化是因为图像在网络上发送与接受或批量处理的过程中存在失真的风险，也就是像素缺失被压缩，为避免这样的客观情况带来的影响，并尽可能的保存图像有效特征，需要对现有模具图像进行平滑处理，而图像锐化也是用于完善目标对象边缘的有效方式，经过处理的图像会降低模糊程度，使图像更清晰。

上述技术方案的有益效果是：通过对采集到的螺栓图像进行色彩空间特征提取将采集到的图像中背景部分与螺栓部分分离，并通过二值化处理得到螺栓部位图像的二值图，并对二值图进行平滑锐化，实现了对螺栓部位的精准提取并保证了螺栓部位图像的清晰度，保证了后续螺栓部位有效坐标的精准提取。

本发明实施例提供一种基于图像处理与深度学习的管片模具开模系统的引导方法，将所述待定位螺栓图像中国的螺栓部分与图像背景剥离，得到螺栓部位图像，包括：

根据所述待定位螺栓的螺栓复杂度，确定图像拆分数量，并按照所述拆分数量对所述待定位螺栓图像进行对应数量的拆分；

获取每个拆分子图像的第一局部阈值以及第二局部阈值；

基于高斯滤波器滤除每个拆分子图像的高斯噪声；

确定每个滤除噪声子图像中每个像素点的梯度大小及方向，并锁定非边缘像素点以及候选边缘像素点，且删除非边缘像素点；

若同个候选边缘像素点的像素梯度值大于第一局部阈值，则将所述同个候选边缘像素点标记为边缘像素；

若同个候选边缘像素点的像素梯度值小于第二局部阈值，则将所述同个候选边缘像素点标记为背景像素；

若同个候选边缘像素点的像素梯度值大于等于第二局部阈值，且小于等于第一局部阈值，则获取所述同个候选边缘像素点的相邻连接像素点的相邻像素梯度值；

若所述相邻像素梯度值大于第一局部阈值，将所述同个候选边缘像素点标记为边缘像素；

基于所有标记后的子图像，构建得到螺栓部位图像。

该实施例中，螺栓复杂度是由于螺栓的型号不同，因此在进行图像识别时获取的图像复杂度也不相同。

该实施例中，基于Otsu算法将螺栓部位图像与背景图像剥离，如图2所示。

该实施例中，第一局部阈值和第二局部阈值基于Otsu算法计算得到。

该实施例中，高斯滤波器是一种线性滤波器，能够有效的抑制噪声，平滑图像，其作用原理和均值滤波器类似，都是取滤波器窗口内的像素的均值作为输出，其窗口模板的系数和均值滤波器不同，为模板系数，随着距离母版中心的增大而系数减小。

该实施例中，高斯噪声指他的概率密度函数服从高斯分布的一类噪声，是数字图像常见的一种噪声。

上述技术方案的有益效果是：将螺栓部位图像与背景图像通过拆分比较像素点的方式进行剥离，并基于子图像构建得到螺栓部位完整图像，保证了螺栓部位图像的确定性，为后续进行螺栓有效坐标定位增加了准确性。

本发明实施例提供一种基于图像处理与深度学习的管片模具开模系统的引导方法，基于所述有效图像进行定位分析，得到待定位螺栓的有效坐标的过程中，还包括：

根据定位分析结果，判断所述有效图像上存在的待定位螺栓的螺栓个数；

当所述螺栓个数为1时，将所述待定位螺栓的定位分析坐标视为有效坐标。

上述技术方案的有益效果是：基于定位分析结果获取待定位螺栓的个数，为进行多个螺栓的情况下有效坐标的选取提供了前提条件，保证了螺栓开模时的精确性，不会出现开模不完整的情况。

本发明实施例提供一种基于图像处理与深度学习的管片模具开模系统的引导方法，判断所述有效图像上存在的待定位螺栓的螺栓个数之后，还包括：

当所述螺栓个数为多个时，框选所述有效图像上的每个待定位螺栓，并根据每个框选区域的区域中心点，并按照从左到右的顺序进行相邻区域中心点的依次连接，构建得到待定位图谱；

基于所述待定位图谱，构建距离阵列，并将所述距离阵列与标准阵列进行比较，来计算同个距离元素的距离比值；

当所有距离比值都满足归一化条件时，判定所述有效图像合格；

否则，判定所述有效图像不合格，筛选不满足归一化条件的第一线，根据满足归一化条件的第二线的第二归一化系数，确定每个第一线的第一归一化系数的畸变因子；

根据所有第一线的线分布，确定具备相关关系的第一线以及不具备相关关系的第一线；

当第一线为单独线时，设定Y0的取值为1，表示对应第一线不具备相关关系；当第一线不为单独线时，设定Y0的取值为0，表示对应第一线具备相关关系；

将不具备相关关系的第一线按照对应的畸变因子进行第一修正；

将具备相关关系的第一线，来按照对应的畸变因子进行第二修正，并对第二修正线重新进行归一化判断以及相关系数确定的循环操作，直到所有的线都不具备相关关系，构建得到合格的有效图像；

根据开模流程，确定所述合格的有效图像中每个待定位螺栓的开模顺序；

如果所述开模顺序为有序顺序时，则分别向每个待定位螺栓设置顺序编码，并将第一个顺序编码对应的待定位螺栓的定位分析坐标视为有效坐标；

若所述开模顺序为随机顺序时，则获取所述机械臂到每个待定位螺栓的定位分析坐标的第一距离以及任意两个待定位螺栓之间的第二距离；

根据高效率开模模型，对所述第一距离以及第二距离进行解析，输出规划开模路径，并将所述规划开模路径上的第一个定位分析坐标视为有效坐标。

该实施例中，待定位图谱是由待定位螺栓通过对采集到的图像进行预处理得来的，当待定位图谱如图3所示时，abcd为待定位螺栓框选区域的区域中心点，基于所述待定位图谱可以得到距离阵列[ab,ac,ad,bd,cd]，与之对应的标准阵列为[AB,AC,AD,BD,CD]，通过计算可以得到同个距离元素的距离比值，将五个距离比值进行比较，若满足归一化条件，则说明有效图像为合格图像；

若其中一个比值不满足归一化条件，比如，则将bd线段作为第一线，并将所述比值作为第一归一化系数，其余线段作为第二线，依据第二线同个距离元素的距离比值的平均值得到第二归一化系数，将第二归一化系数与第一归一化系数进行比较得出第一归一化系数的畸变因子，并按照畸变因子对待定位图谱进行第一修正；

若存在两个比值同时不满足归一化条件，比如与/>都不满足归一化条件，则将bd线段与ac线段作为第一线，其余线段作为第二线，且bd线段与ac线段没有共同点，所以判断二者不具有相关关系，依据所述比值获得两个第一归一化系数，计算第二线同个距离元素的距离比值的平均值作为第二归一化系数，将第二归一化系数与两个第一归一化系数进行比较得出两个第一归一化系数所对应的畸变因子，并按照两个畸变因子对待定位图谱进行第一修正。

若存在两个比值同时不满足归一化条件，比如与/>都不满足归一化条件，则将bd线段与cd线段作为第一线，其余线段作为第二线，且bd线段与cd线段有共同点d点，所以判断二者具有相关关系，取二者比值的平均值作为第一归一化系数，计算第二线同个距离元素的距离比值的平均值作为第二归一化系数，将第二归一化系数与第一归一化系数进行比较得出第一归一化系数的畸变因子，并按照畸变因子对待定位图谱进行第二修正。

该实施例中，距离阵列由待定位图谱构建得来，与待定位螺栓的个数及待定位螺栓的位置构成，表征了待定位螺栓的位置关系。

该实施例中，标准阵列由原始的待定位螺栓的位置关系得到。

该实施例中，有序顺序可依据螺栓标号进行设定，如图3中可先对a进行操作再依次对b,c,d进行开模操作。

该实施例中，规划开模路径时要考虑到每个螺栓与机械臂之间的第一距离及螺栓与螺栓之间的第二距离，按照机械臂总位移最短的方式进行路径规划。

该实施例中，Y0表示对应第一线是否为单独线，当为单独线时，取值为1，当不为单位线时，取值为0。

上述方案的有益效果是：对采集到的螺栓图像反映出的螺栓具体位置按照标准螺栓位置进行图像修正，获取得到待定位螺栓的有效坐标，排除了拍摄过程中图像畸变带来的影响，依据螺栓之间的位置距离关系确定了待定位螺栓的开模顺序，为后续进行拧松操作提供了精准的坐标及合理的顺序，提高了开模系统工作的精确度和开模的效率。

本发明实施例提供一种基于图像处理与深度学习的管片模具开模系统的引导方法，导所述机械臂移动到所述有效坐标，来对螺栓进行拧松操作的过程中，还包括：

采集所述机械臂基于不同移动指令的历史移动路径以及基于所述历史移动路径的历史补偿路径，其中，所述历史移动路径以及历史补偿路径包括：移动距离以及移动方向；

基于同下发指令所对应的历史移动位移以及历史补偿位移，构建位移数组，

其中，所述位移数组=[横向移动距离、竖向移动距离、历史移动距离、横向方向补偿、竖向方向补偿、历史方向补偿]；

分别确定每个位移数组的单位距离补偿量、单位横向补偿量以及单位竖向补偿量，并绘制得到所述单位距离补偿量的第一曲线、单位横向补偿量的第二曲线以及单位竖向补偿量的第三曲线；

对每条曲线进行拟合处理以及平均处理，并确定每条曲线的拟合处理值与平均处理值的差值绝对值；

若差值绝对值在预设范围内，则从拟合处理值以及平均处理值中随机筛选一个值作为对应曲线的最后值；

若差值绝对值不在预设范围内，则将拟合处理值作为对应曲线的最后值；

根据每个曲线的最后值与待移动位置，生成补偿指令进行补偿引导。

该实施例中，单位补偿量通过历史总位移与历史补偿位移计算得到，由历史位移可以得出横向移动位移、竖向移动位移和历史移动距离，由历史补偿位移可以得出横向补偿位移、竖向补偿位移和历史方向位移，计算相应补偿位移与移动位移的比值即可得出相应的单位补偿量。

该实施例中，取第一曲线、第二曲线、第三曲线的纵轴中值作为拟合处理值，用拟合处理值减去平均处理值即可得到差值，对差值取绝对值判断是否在预设范围内，即可获取对应曲线的最后值。

该实施例中，通过待移动位置坐标和当前机械臂坐标得到需要移动的横向位移、纵向位移和总位移，与相应单位补偿量相乘并将结果附加到曲线最后值上对机械臂进行位移补偿。

该实施例中，补偿指令包括横向方向补偿指令、竖向方向补偿指令以及历史方向补偿指令。

该实施例中，拟合处理之后的曲线一般为水平直线，所以获取该水平直线的竖坐标值即为拟合处理值。

上述技术方案的有益效果是：依据历史移动位移和历史补偿位移对机械臂的移动进行相应补偿，保证了机械臂的移动位置与有效坐标位置的一致性，为进行螺栓拧松操作及后续进行拧松距离的测量提供了有益的前提条件。

本发明实施例提供一种基于图像处理与深度学习的管片模具开模系统的引导方法，对所采集的拧松后的螺栓图像进行第二预处理并提取有效数据的过程中，包括：

基于机械臂上的摄像头对螺栓部位进行图像采集，得到拧松后的螺栓图像；

由距离传感器测量对应待拧松螺栓在螺栓未拧出之前机械臂和螺栓顶部的未拧出距离以及在螺栓拧出之后机械臂和螺栓顶部的拧出距离；

根据所述未拧出距离与拧出距离的距离差值，对所述拧松后的螺栓图像进行深度补偿，得到处理后的螺栓深度图像。

该实施例中，距离传感器位于机械臂上，用以测量机械臂与螺栓顶部的距离关系。

该实施例中，深度补偿是为了在图像上反映出螺栓的拧出高度，更直观的观测到螺栓的拧松情况。

上述技术方案的有益效果是：在机械臂上加上距离传感器并检测螺栓顶部与机械臂之间的距离，能够判断螺栓的拧出效果，基于距离差对图像进行深度补偿，将螺栓的拧出高度更加直观的反映在了图像上，使得螺栓的拧松情况变得一目了然。

本发明实施例提供一种基于图像处理与深度学习的管片模具开模系统的引导方法，判断螺栓是否拧松成功，包括：

基于螺栓型号-拧出高度映射表获取目标螺栓拧出成功的标准拧出高度；

基于所述距离传感器多次获取目标螺栓的实际拧出高度值，得出平均实际拧出值，将所述平均实际拧出值及标准拧出高度Hb进行对比；

若，则判断拧松失败；

否则，判定拧松成功。

该实施例中，螺栓型号-拧出高度映射表反映了不同的螺栓型号所对应的标准拧出高度，只有达到这个拧出高度后才能判定螺栓拧松成功。

上述技术方案的有益效果是：对螺栓的拧出高度进行判断，进而确定螺栓是否拧松成功，能够获取螺栓状态的精确结果，方便开模系统进行后续操作。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种基于图像处理与深度学习的管片模具开模系统的引导方法，其特征在于，包括：

步骤1：控制机械臂移动至模具螺栓的指定测距位置，对待定位螺栓进行图像采集，并对采集到的图像进行第一预处理，提取待定位螺栓的有效图像；

步骤2：基于所述有效图像进行定位分析，得到待定位螺栓的有效坐标，并引导所述机械臂移动到所述有效坐标，来对螺栓进行拧松操作；

步骤3：对所采集的拧松后的螺栓图像进行第二预处理并提取有效数据，判断螺栓是否拧松成功，进而来实现引导管片模具开模系统进行相应操作。

2.根据权利要求1所述的一种基于图像处理与深度学习的管片模具开模系统的引导方法，其特征在于，步骤1中，控制机械臂移动至模具螺栓的指定测距位置，对待定位螺栓进行图像采集，包括：

确定所述机械臂的当下坐标，并基于工控机控制所述机械臂由所述当下坐标移动至指定测距位置；

当所述机械臂移动到指定测距位置时，向摄像头发送开启指令，控制所述摄像头拍摄待定位螺栓，得到待定位螺栓图像；

其中，所述摄像头位于机械臂上。

3.根据权利要求1所述的一种基于图像处理与深度学习的管片模具开模系统的引导方法，其特征在于，步骤1中，对采集到的图像进行第一预处理，提取待定位螺栓的有效图像，包括：

对待定位螺栓图像进行RGB色彩空间特征提取，将所述待定位螺栓图像中的螺栓部分与图像背景剥离，得到螺栓部位图像，并将所述螺栓部位图像进行二值化处理；

将二值化图像进行平滑锐化处理，得到待定位螺栓的有效图像。

4.根据权利要求3所述的一种基于图像处理与深度学习的管片模具开模系统的引导方法，其特征在于，将所述待定位螺栓图像中的螺栓部分与图像背景剥离，得到螺栓部位图像，包括：

根据所述待定位螺栓的螺栓复杂度，确定图像拆分数量，并按照所述拆分数量对所述待定位螺栓图像进行对应数量的拆分；

获取每个拆分子图像的第一局部阈值以及第二局部阈值；

基于高斯滤波器滤除每个拆分子图像的高斯噪声；

确定每个滤除噪声子图像中每个像素点的梯度大小及方向，并锁定非边缘像素点以及候选边缘像素点，且删除非边缘像素点；

若同个候选边缘像素点的像素梯度值大于第一局部阈值，则将所述同个候选边缘像素点标记为边缘像素；

若同个候选边缘像素点的像素梯度值小于第二局部阈值，则将所述同个候选边缘像素点标记为背景像素；

若同个候选边缘像素点的像素梯度值大于等于第二局部阈值，且小于等于第一局部阈值，则获取所述同个候选边缘像素点的相邻连接像素点的相邻像素梯度值；

若所述相邻像素梯度值大于第一局部阈值，将所述同个候选边缘像素点标记为边缘像素；

基于所有标记后的子图像，构建得到螺栓部位图像。

5.根据权利要求1所述的一种基于图像处理与深度学习的管片模具开模系统的引导方法，其特征在于，步骤2中，基于所述有效图像进行定位分析，得到待定位螺栓的有效坐标的过程中，还包括：

根据定位分析结果，判断所述有效图像上存在的待定位螺栓的螺栓个数；

当所述螺栓个数为1时，将所述待定位螺栓的定位分析坐标视为有效坐标。

6.根据权利要求5所述的一种基于图像处理与深度学习的管片模具开模系统的引导方法，其特征在于，判断所述有效图像上存在的待定位螺栓的螺栓个数之后，还包括：

当所述螺栓个数为多个时，框选所述有效图像上的每个待定位螺栓，并根据每个框选区域的区域中心点，并按照从左到右的顺序进行相邻区域中心点的依次连接，构建得到待定位图谱；

基于所述待定位图谱，构建距离阵列，并将所述距离阵列与标准阵列进行比较，来计算同个距离元素的距离比值；

当所有距离比值都满足归一化条件时，判定所述有效图像合格；

否则，判定所述有效图像不合格，筛选不满足归一化条件的第一线，根据满足归一化条件的第二线的第二归一化系数，确定每个第一线的第一归一化系数的畸变因子；

根据所有第一线的线分布，确定具备相关关系的第一线以及不具备相关关系的第一线；

当第一线为单独线时，设定Y0的取值为1，表示对应第一线不具备相关关系；当第一线不为单独线时，设定Y0的取值为0，表示对应第一线具备相关关系；

将不具备相关关系的第一线按照对应的畸变因子进行第一修正；

将具备相关关系的第一线，来按照对应的畸变因子进行第二修正，并对第二修正线重新进行归一化判断以及相关系数确定的循环操作，直到所有的线都不具备相关关系，构建得到合格的有效图像；

根据开模流程，确定所述合格的有效图像中每个待定位螺栓的开模顺序；

如果所述开模顺序为有序顺序时，则分别向每个待定位螺栓设置顺序编码，并将第一个顺序编码对应的待定位螺栓的定位分析坐标视为有效坐标；

若所述开模顺序为随机顺序时，则获取所述机械臂到每个待定位螺栓的定位分析坐标的第一距离以及任意两个待定位螺栓之间的第二距离；

根据高效率开模模型，对所述第一距离以及第二距离进行解析，输出规划开模路径，并将所述规划开模路径上的第一个定位分析坐标视为有效坐标。

7.根据权利要求1所述的一种基于图像处理与深度学习的管片模具开模系统的引导方法，其特征在于，引导所述机械臂移动到所述有效坐标，来对螺栓进行拧松操作的过程中，还包括：

采集所述机械臂基于不同移动指令的历史移动路径以及基于所述历史移动路径的历史补偿路径，其中，所述历史移动路径以及历史补偿路径包括：移动距离以及移动方向；

基于同下发指令所对应的历史移动位移以及历史补偿位移，构建位移数组，其中，所述位移数组=[横向移动距离、竖向移动距离、历史移动距离、横向方向补偿、竖向方向补偿、历史方向补偿]；

分别确定每个位移数组的单位距离补偿量、单位横向补偿量以及单位竖向补偿量，并绘制得到所述单位距离补偿量的第一曲线、单位横向补偿量的第二曲线以及单位竖向补偿量的第三曲线；

对每条曲线进行拟合处理以及平均处理，并确定每条曲线的拟合处理值与平均处理值的差值绝对值；

若差值绝对值在预设范围内，则从拟合处理值以及平均处理值中随机筛选一个值作为对应曲线的最后值；

若差值绝对值不在预设范围内，则将拟合处理值作为对应曲线的最后值；

根据每个曲线的最后值与待移动位置，生成补偿指令进行补偿引导。

8.根据权利要求1所述的一种基于图像处理与深度学习的管片模具开模系统的引导方法，其特征在于，步骤3中，对所采集的拧松后的螺栓图像进行第二预处理并提取有效数据的过程中，包括：

基于机械臂上的摄像头对螺栓部位进行图像采集，得到拧松后的螺栓图像；

由距离传感器测量对应待拧松螺栓在螺栓未拧出之前机械臂和螺栓顶部的未拧出距离以及在螺栓拧出之后机械臂和螺栓顶部的拧出距离；

根据所述未拧出距离与拧出距离的距离差值，对所述拧松后的螺栓图像进行深度补偿，得到处理后的螺栓深度图像。

9.根据权利要求8所述的一种基于图像处理与深度学习的管片模具开模系统的引导方法，其特征在于，步骤3中，判断螺栓是否拧松成功，包括：

基于螺栓型号-拧出高度映射表获取目标螺栓拧出成功的标准拧出高度；

基于所述距离传感器多次获取目标螺栓的实际拧出高度值，得出平均实际拧出值，将所述平均实际拧出值及标准拧出高度Hb进行对比；

若，则判断拧松失败；

否则，判定拧松成功。