CN117197133B - 一种复杂工业环境下视觉机器人的控制系统及方法 - Google Patents
一种复杂工业环境下视觉机器人的控制系统及方法 Download PDFInfo
- Publication number
- CN117197133B CN117197133B CN202311460742.8A CN202311460742A CN117197133B CN 117197133 B CN117197133 B CN 117197133B CN 202311460742 A CN202311460742 A CN 202311460742A CN 117197133 B CN117197133 B CN 117197133B
- Authority
- CN
- China
- Prior art keywords
- processing
- product
- defect
- machine vision
- processing tool
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 196
- 230000007547 defect Effects 0.000 claims abstract description 139
- 238000001514 detection method Methods 0.000 claims abstract description 52
- 238000004519 manufacturing process Methods 0.000 claims abstract description 44
- 238000010219 correlation analysis Methods 0.000 claims abstract description 29
- 230000009471 action Effects 0.000 claims abstract description 16
- 238000012544 monitoring process Methods 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims abstract description 7
- 230000000007 visual effect Effects 0.000 claims abstract description 6
- 238000003754 machining Methods 0.000 claims description 58
- 239000013598 vector Substances 0.000 claims description 44
- 238000005516 engineering process Methods 0.000 claims description 17
- 230000002950 deficient Effects 0.000 claims description 15
- 238000012098 association analyses Methods 0.000 claims description 6
- 238000012512 characterization method Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 230000008859 change Effects 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007649 pad printing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Abstract
本发明公开了一种复杂工业环境下视觉机器人的控制系统及方法，包括柔性生产线，加工工具，传送单元，第一机器视觉单元，从站控制器，主站控制器，第二机器视觉单元，视觉监控控制器；所述第一机器视觉单元用于采集代加工产品的图像；所述主站控制器用于根据代加工产品的图像识别产品类型、根据从站控制器序号确定加工工艺流程中的加工工位的加工动作参数；所述第二机器视觉单元用于采集加工后的产品的图像以及加工工具的图像；所述视觉监控控制器包含缺陷检测模块、偏移检测模块、关联分析模块。本发明能够提高混线生产的可靠性、提高缺陷检测的准确性、能够分析加工工具偏移与加工缺陷的关联性。
Description
技术领域
本发明涉及机器视觉技术领域，尤其涉及一种复杂工业环境下视觉机器人的控制系统及方法。
背景技术
随着科技的高速发展，科技产品的更新迭代速度越来越快，为了适应这种快速变化，柔性生产线应运而生。柔性生产线能够根据生产需求的变化来调整生产线的生产加工操作，能够实现个性化、多样化、定制化的生产加工。但是由于柔性生产线的产品多样、工作环境复杂，给智能化控制带来了不小的挑战。
柔性生产线中能够生产不同类型的产品，而不同产品的生产工艺存在差异，进一步不同生产工艺中不同加工工位的加工任务也更加复杂，对于柔性生产线中如何进行高效可靠的混线生产，是亟需解决的技术问题。此外，通常在加工工位的加工任务结束后，基于机器视觉技术对产品进行缺陷检测，识别加工后的产品是否存在加工缺陷；但是由于生产线上的产品是持续性地依次加工的，在第一个产品进行缺陷检测时，后续的第二个产品大概率已经开始加工了；这就产生了一个严重的问题，由于生产线中的加工任务经常会包含焊接等产生强光照的加工任务，还包含一些产生强振动的加工任务，本发明统称为干扰事件；而干扰事件会影响图像识别的准确性，从而严重影响缺陷检测的准确性，容易出现漏检、误判的情况。此外，由于柔性生产线的加工工具处于频繁调整的状态，导致加工工具更加容易出现位置的偏移，这对加工产品的质量产生了不利影响，更加容易出现加工缺陷，而现有技术中对于加工产品的缺陷检测，通常是检测产品是否平滑、是否有缺口、是否有突刺等，并不能全面地量化出产品的缺陷情况。而即使检测出加工缺陷，现有的柔性生产控制系统也难以分析出关联影响因素，更无法给出进行调整维护的指导性建议。
现有的发明专利CN113109348B提出一种基于机器视觉的桨影移印缺陷识别方法，包括以下步骤：采集获取待检测桨翼的图像；与标准合格产品的模板进行匹配，匹配成功的为合格产品，匹配失败的为广义不合格产品；使用分好类的缺陷图像集对AI算法模型进行训练，得到AI算法模型分类器，利用该分类器对广义不合格产品进行分类；将符合针对性检测条件的广义不合格产品改判为合格产品。通过以上方法，区别对待不同缺陷的检测，更加真实还原产品的质检过程，同时通过对不同类型缺陷设置不同的品质控制误差，可调节合格产品的品控等级，使机器视觉缺陷检测具有柔性。但是该发明专利并未解决上述技术问题。
发明内容
发明目的：针对以上问题，本发明提出一种复杂工业环境下视觉机器人的控制系统及方法。技术方案：
第一方面，本发明提出一种复杂工业环境下视觉机器人的控制系统，包括柔性生产线，加工工具，传送单元，第一机器视觉单元，从站控制器，主站控制器，第二机器视觉单元，视觉监控控制器；
所述传送单元包含传送带、光电传感器；
优选地，所述光电传感器用于在传送带上的待加工产品达到加工工位入口时产生触发信号；
所述第一机器视觉单元用于采集代加工产品的图像；
所述主站控制器用于根据代加工产品的图像识别产品类型、根据从站控制器序号确定加工工艺流程中的加工工位的加工动作参数、将加工动作参数加载至加工工位的从站控制器中；
所述从站控制器用于控制加工工具执行加工任务；
所述第二机器视觉单元用于采集加工后的产品的图像以及加工工具的图像；
所述视觉监控控制器包含缺陷检测模块、偏移检测模块、关联分析模块；
所述缺陷检测模块用于对加工后的产品进行缺陷检测，并基于加工后产品的图像计算缺陷向量；
所述偏移检测模块用于检测加工工具的位置偏移情况，并基于加工工具在加工位置和归零位置的图像计算位置偏移量；
所述关联分析模块用于对产品加工缺陷与加工工具位置偏移进行关联性分析。
优选地，所述缺陷检测模块用于基于机器视觉技术对加工后的产品进行缺陷检测，提取图像中的产品轮廓曲线，与标准产品轮廓曲线进行比对分析，得到缺陷区域，计算缺陷区域的像素数量MQ，计算缺陷区域的方向系数MF，即从产品中心像素至缺陷区域中心像素方向的单位向量，基于缺陷区域的像素数量MQ和缺陷区域的方向系数MF，得到第i个缺陷区域的缺陷向量Mi，计算全部缺陷向量的合向量，即为加工产品的缺陷向量M。
优选地，所述偏移检测模块用于判断加工位置的加工工具图像中加工工具的位置，与预设的加工位置进行比较，获取第一偏移量N1，判断加归零位置的加工工具图像中加工工具的位置，与预设的初始零位进行比较，获取第二偏移量N2，根据第一偏移量N1和第二偏移量N2计算加工工具的位置偏移量N。
第二方面，本发明还提供了一种复杂工业环境下视觉机器人的控制方法，包括：
S3、判断是否产生干扰事件，包括：
S31、第一机器视觉单元采集加工工位的图像，判断加工工具是否在执行加工任务；若是，则进入步骤S32，若否则进入步骤S4；
S32、判断是否产生强振动干扰事件，包括：
获取加工工位的k帧图像，识别第i帧图像中加工产品中心点的坐标位置（Xi，Yi）；
判断X方向的振动偏移参数SX和Y方向的振动偏移参数SY；
；
；
其中，为k帧图像中加工产品中心点X坐标的均值，/>为k帧图像中加工产品中心点Y坐标的均值；
计算振动表征参数U：
；
判断U是否大于第一预设值，若是则进入步骤S34，若否则进入步骤S33；
S33、判断是否出现强光照干扰事件，包括：
获取加工工位的k帧图像，识别第t帧图像中第m个像素的亮度参数Btm；
计算第t帧图像的平均亮度；
其中，m0为图像的像素数量；
判断是否大于第二预设值，若是则进入步骤S34，若否则进入步骤S4；
S34、延迟第一预设时长，返回步骤S31；
S4、基于机器视觉技术对加工后的产品进行缺陷检测；
S5、检测加工工具的位置偏移情况；
S6、对产品加工缺陷与加工工具位置偏移进行关联性分析。
优选地，所述步骤S3之前还包括步骤S1、通过第一机器视觉单元识别柔性生产线中的产品，包括：
S11、待加工产品由传送带传输至柔性生产线中的加工工位入口，触发第一机器视觉单元工作；
S12、第一机器视觉单元采集加工工位入口处的待加工产品图像，传输至主站控制器；
S13、主站控制器基于待加工产品图像识别产品类型。
优选地，所述步骤S3之前还包括步骤S2、查询并加载与产品相匹配的加工任务，包括：
S21、主站控制器获取与第一机器视觉单元相对应的从站控制器序号；
S22、根据从站控制器序号确定加工工艺流程中的加工工位的加工动作参数；
S23、将加工动作参数加载至加工工位的从站控制器中；
S24、从站控制器控制加工工具执行加工任务。
优选地，所述步骤S4、基于机器视觉技术对加工后的产品进行缺陷检测包括：
S41、触发第二机器视觉单元采集加工后产品的图像；
S42、提取图像中的产品轮廓曲线，与标准产品轮廓曲线进行比对分析，得到缺陷区域；
S43、计算缺陷区域的像素数量MQ；
S44、计算缺陷区域的方向系数MF，即从产品中心像素至缺陷区域中心像素方向的单位向量；
S44、基于缺陷区域的像素数量MQ和缺陷区域的方向系数MF，得到第i个缺陷区域的缺陷向量Mi；
S45、计算全部缺陷向量的合向量，即为加工产品的缺陷向量M。
优选地，所述步骤S5、检测加工工具的位置偏移情况包括：
S51、控制加工工具处于加工位置，第二机器视觉单元采集加工工具的第一图像；
S52、判断第一图像中加工工具的位置，与预设的加工位置进行比较，获取第一偏移量N1；
S53、控制加工工具回归零位，第二机器视觉单元采集加工工具的第二图像；
S54、判断第二图像中加工工具的位置，与预设的初始零位进行比较，获取第二偏移量N2；
S55、计算加工工具的位置偏移量N：
；
其中，α、β均为预设权重系数。
优选地，所述步骤S6、对产品加工缺陷与加工工具位置偏移进行关联性分析包括：
S61、获取第一预设时间段内多个加工产品的缺陷向量M，将多个缺陷向量M均分解从而获得X方向的分量序列MX和Y方向的分量序列MY；
S62、获取第一预设时间段内加工工具的多个位置偏移量，从而获得加工工具的位置偏移量序列NT；
S63、对X方向的分量序列MX和加工工具的位置偏移量序列NT进行相关性分析，获取第一相关性系数ρX；
S64、对Y方向的分量序列MY和加工工具的位置偏移量序列NT进行相关性分析，获取第二相关性系数ρY；
S65、根据第一相关性系数ρX和第二相关性系数ρY判断产品加工缺陷与加工工具位置偏移的关联性。
优选地，所述步骤S6之后还包括步骤S7、将缺陷检测结果和关联性分析结果发送至监控终端。
本发明相对于现有技术具有以下有益效果：
1、本发明基于机器视觉技术识别柔性生产线中的产品类型，区别于现有的标签识别、射频识别方式，无需在产品上贴设标签，简化了操作流程、提高了生产效率；此外，通过机器视觉识别技术，查询与产品类型相匹配的加工工艺，并查询与加工工位相匹配的加工任务，通过主站-从站控制器的控制架构，能够稳定可靠有序地控制混线生产中的加工调配任务，提高了混线生产的可靠性。
2、本发明通过第一机器视觉单元监测单元采集加工图像，从而判断当前的加工任务是否会干扰第二机器视觉单元的缺陷检测任务，若会产生干扰，则延缓第二机器视觉单元的缺陷检测任务，直至当前加工任务结束或者干扰事件结束，这样就能够避免加工任务对缺陷检测任务的干扰，从而提高缺陷检测的准确性。
3、本发明的缺陷检测方式，不但通过计算缺陷区域的像素数量来表征缺陷的面积大小，还量化出了缺陷的位置，更加准确地表征出产品的加工缺陷的客观情况；并且，这种方式也有助于后续进行关联性分析。
4、此外，在实际生产中，加工工具的位置处于变化之中，需要在加工位置和归零位置之间来回切换；本发明在对加工工具的位置偏移情况进行检测时，综合考量了归零位、加工位两种状态下的位置偏移情况，更加准确合理，能够降低检测误差。
5、本发明在进行关联性分析时，首先将缺陷向量分解为X方向和Y方向的分量，而后依次对X方向分量和Y方向分量进行分析，分析与加工工具的位置偏移量的关联性，通过采集第一预设时间段内的多个图像，形成了多个数据序列，这样解决了具有方向的向量难以进行相关性分析的技术问题，并且能够更加详细地分析出不同方向的缺陷的相关性，从而使工作人员能够进行针对性地维护与调整，更具指导性。
附图说明
图1为本发明实施例一提供的一种复杂工业环境下视觉机器人的控制系统结构示意图；
图2为本发明实施例二提供的一种复杂工业环境下视觉机器人的控制方法流程图；
图3为本发明实施例三提供的一种复杂工业环境下视觉机器人的控制方法流程图。
具体实施方式
显然，本领域技术人员基于本发明的宗旨所做的许多修改和变化属于本发明的保护范围。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当称元件、组件被“连接”到另一元件、组件时，它可以直接连接到其他元件或者组件，或者也可以存在中间元件或者组件。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本发明实施例提供一种复杂工业环境下视觉机器人的控制系统，具体请参考图1，图1为本发明实施例一提供的一种复杂工业环境下视觉机器人的控制系统结构示意图，系统包括：柔性生产线，加工工具，传送单元，第一机器视觉单元，从站控制器，主站控制器，第二机器视觉单元，视觉监控控制器；其中，图1中仅示出了一个加工工位包含的从站控制器、第一机器视觉单元、第二机器视觉单元、加工工具、视觉监控控制器；图1中的省略号代表控制系统可根据实际需要包含多个加工工位，并相应地包含每个加工工位的从站控制器、第一机器视觉单元、第二机器视觉单元、加工工具、视觉监控控制器。
所述传送单元包含传送带、光电传感器；
优选地，所述光电传感器用于在传送带上的待加工产品达到加工工位入口时产生触发信号；
所述第一机器视觉单元用于采集代加工产品的图像；
所述主站控制器用于根据代加工产品的图像识别产品类型、根据从站控制器序号确定加工工艺流程中的加工工位的加工动作参数、将加工动作参数加载至加工工位的从站控制器中；
所述从站控制器用于控制加工工具执行加工任务；
所述第二机器视觉单元用于采集加工后的产品的图像以及加工工具的图像；
所述视觉监控控制器包含缺陷检测模块、偏移检测模块、关联分析模块；
所述缺陷检测模块用于对加工后的产品进行缺陷检测，并基于加工后产品的图像计算缺陷向量；
所述偏移检测模块用于检测加工工具的位置偏移情况，并基于加工工具在加工位置和归零位置的图像计算位置偏移量；
所述关联分析模块用于对产品加工缺陷与加工工具位置偏移进行关联性分析。
优选地，所述缺陷检测模块用于基于机器视觉技术对加工后的产品进行缺陷检测，提取图像中的产品轮廓曲线，与标准产品轮廓曲线进行比对分析，得到缺陷区域，计算缺陷区域的像素数量MQ，计算缺陷区域的方向系数MF，即从产品中心像素至缺陷区域中心像素方向的单位向量，基于缺陷区域的像素数量MQ和缺陷区域的方向系数MF，得到第i个缺陷区域的缺陷向量Mi，计算全部缺陷向量的合向量，即为加工产品的缺陷向量M。
优选地，所述偏移检测模块用于判断加工位置的加工工具图像中加工工具的位置，与预设的加工位置进行比较，获取第一偏移量N1，判断加归零位置的加工工具图像中加工工具的位置，与预设的初始零位进行比较，获取第二偏移量N2，根据第一偏移量N1和第二偏移量N2计算加工工具的位置偏移量N。
实施例二
本发明实施例还提供了一种复杂工业环境下视觉机器人的控制方法，具体请参考图2，图2为本发明实施例二提供的一种复杂工业环境下视觉机器人的控制方法流程图，该方法包括步骤：
S3、判断是否产生干扰事件，包括：
S31、第一机器视觉单元采集加工工位的图像，判断加工工具是否在执行加工任务；若是，则进入步骤S32，若否则进入步骤S4；
S32、判断是否产生强振动干扰事件，包括：
获取加工工位的k帧图像，识别第i帧图像中加工产品中心点的坐标位置（Xi，Yi）；
判断X方向的振动偏移参数SX和Y方向的振动偏移参数SY；
；
；
其中，为k帧图像中加工产品中心点X坐标的均值，/>为k帧图像中加工产品中心点Y坐标的均值；
计算振动表征参数U：
；
判断U是否大于第一预设值，若是则进入步骤S34，若否则进入步骤S33；
S33、判断是否出现强光照干扰事件，包括：
获取加工工位的k帧图像，识别第t帧图像中第m个像素的亮度参数Btm；
计算第t帧图像的平均亮度；
其中，m0为图像的像素数量；
判断是否大于第二预设值，若是则进入步骤S34，若否则进入步骤S4；
S34、延迟第一预设时长，返回步骤S31；
S4、基于机器视觉技术对加工后的产品进行缺陷检测；包括：
S41、触发第二机器视觉单元采集加工后产品的图像；
S42、提取图像中的产品轮廓曲线，与标准产品轮廓曲线进行比对分析，得到缺陷区域；
S43、计算缺陷区域的像素数量MQ；
S44、计算缺陷区域的方向系数MF，即从产品中心像素至缺陷区域中心像素方向的单位向量；
S44、基于缺陷区域的像素数量MQ和缺陷区域的方向系数MF，得到第i个缺陷区域的缺陷向量Mi；
S45、计算全部缺陷向量的合向量，即为加工产品的缺陷向量M。
S5、检测加工工具的位置偏移情况；包括：
S51、控制加工工具处于加工位置，第二机器视觉单元采集加工工具的第一图像；
S52、判断第一图像中加工工具的位置，与预设的加工位置进行比较，获取第一偏移量N1；
S53、控制加工工具回归零位，第二机器视觉单元采集加工工具的第二图像；
S54、判断第二图像中加工工具的位置，与预设的初始零位进行比较，获取第二偏移量N2；
S55、计算加工工具的位置偏移量N：
；
其中，α、β均为预设权重系数。
S6、对产品加工缺陷与加工工具位置偏移进行关联性分析；包括：
S61、获取第一预设时间段内多个加工产品的缺陷向量M，将多个缺陷向量M均分解从而获得X方向的分量序列MX和Y方向的分量序列MY；
S62、获取第一预设时间段内加工工具的多个位置偏移量，从而获得加工工具的位置偏移量序列NT；
S63、对X方向的分量序列MX和加工工具的位置偏移量序列NT进行相关性分析，获取第一相关性系数ρX；
S64、对Y方向的分量序列MY和加工工具的位置偏移量序列NT进行相关性分析，获取第二相关性系数ρY；
S65、根据第一相关性系数ρX和第二相关性系数ρY判断产品加工缺陷与加工工具位置偏移的关联性。
实施例三
本发明实施例还提供了一种复杂工业环境下视觉机器人的控制方法，具体请参考图3，图3为本发明实施例三提供的一种复杂工业环境下视觉机器人的控制方法流程图，该方法包括步骤：
S1、通过第一机器视觉单元识别柔性生产线中的产品，包括：
S11、待加工产品由传送带传输至柔性生产线中的加工工位入口，触发第一机器视觉单元工作；
S12、第一机器视觉单元采集加工工位入口处的待加工产品图像，传输至主站控制器；
S13、主站控制器基于待加工产品图像识别产品类型。
S2、查询并加载与产品相匹配的加工任务，包括：
S21、主站控制器获取与第一机器视觉单元相对应的从站控制器序号；
S22、根据从站控制器序号确定加工工艺流程中的加工工位的加工动作参数；
S23、将加工动作参数加载至加工工位的从站控制器中；
S24、从站控制器控制加工工具执行加工任务。
柔性生产线中能够生产不同类型的产品，而不同产品的生产工艺存在差异，进一步不同生产工艺中不同加工工位的加工任务也有所不同，对于柔性生产线中如何进行高效可靠的混线生产，是亟需解决的技术问题。
本发明基于机器视觉技术识别柔性生产线中的产品类型，区别于现有的标签识别、射频识别方式，无需在产品上贴设标签，简化了操作流程、提高了生产效率；此外，通过机器视觉识别技术，查询与产品类型相匹配的加工工艺，并查询与加工工位相匹配的加工任务，通过主站-从站控制器的控制架构，能够稳定可靠有序地控制混线生产中的加工调配任务，提高了混线生产的可靠性。
S3、判断是否产生干扰事件，包括：
S31、第一机器视觉单元采集加工工位的图像，判断加工工具是否在执行加工任务；若是，则进入步骤S32，若否则进入步骤S4；
S32、判断是否产生强振动干扰事件，包括：
获取加工工位的k帧图像，识别第i帧图像中加工产品中心点的坐标位置（Xi，Yi）；
判断X方向的振动偏移参数SX和Y方向的振动偏移参数SY；
；
；
其中，为k帧图像中加工产品中心点X坐标的均值，/>为k帧图像中加工产品中心点Y坐标的均值；
计算振动表征参数U：
；
判断U是否大于第一预设值，若是则进入步骤S34，若否则进入步骤S33；
S33、判断是否出现强光照干扰事件，包括：
获取加工工位的k帧图像，识别第t帧图像中第m个像素的亮度参数Btm；
计算第t帧图像的平均亮度；
其中，m0为图像的像素数量；
判断是否大于第二预设值，若是则进入步骤S34，若否则进入步骤S4；
S34、延迟第一预设时长，返回步骤S31；
通常在加工工位的加工任务结束后，对产品进行缺陷检测，基于图像识别技术识别加工后的产品是否存在加工缺陷；但是由于生产线上的产品是持续性地依次加工的，在第一个产品进行缺陷检测时，后续的第二个产品大概率已经开始加工了；这就产生了一个严重的问题，由于生产线中的加工任务经常会包含焊接等产生强光照的加工任务，还包含一些产生强振动的加工任务，本发明统称为干扰事件；而干扰事件会影响图像识别的准确性，从而严重影响缺陷检测的准确性，容易出现漏检、误判的情况。
本发明通过第一机器视觉单元监测单元采集加工图像，从而判断当前的加工任务是否会干扰第二机器视觉单元的缺陷检测任务，若会产生干扰，则延缓第二机器视觉单元的缺陷检测任务，直至当前加工任务结束或者干扰事件结束，这样就能够避免加工任务对缺陷检测任务的干扰，从而提高缺陷检测的准确性。
S4、基于机器视觉技术对加工后的产品进行缺陷检测；包括：
S41、触发第二机器视觉单元采集加工后产品的图像；
S42、提取图像中的产品轮廓曲线，与标准产品轮廓曲线进行比对分析，得到缺陷区域；
S43、计算缺陷区域的像素数量MQ；
S44、计算缺陷区域的方向系数MF，即从产品中心像素至缺陷区域中心像素方向的单位向量；
S44、基于缺陷区域的像素数量MQ和缺陷区域的方向系数MF，得到第i个缺陷区域的缺陷向量Mi；
S45、计算全部缺陷向量的合向量，即为加工产品的缺陷向量M。
现有技术中对于加工产品的缺陷检测，通常是检测产品是否平滑、是否有缺口、是否有突刺等，不能全面地量化出产品的缺陷情况。本发明的缺陷检测方式，不但通过计算缺陷区域的像素数量来表征缺陷的面积大小，还量化出了缺陷的位置，更加准确地表征出产品的加工缺陷的客观情况；并且，这种方式也有助于后续进行关联性分析。
S5、检测加工工具的位置偏移情况；包括：
S51、控制加工工具处于加工位置，第二机器视觉单元采集加工工具的第一图像；
S52、判断第一图像中加工工具的位置，与预设的加工位置进行比较，获取第一偏移量N1；
S53、控制加工工具回归零位，第二机器视觉单元采集加工工具的第二图像；
S54、判断第二图像中加工工具的位置，与预设的初始零位进行比较，获取第二偏移量N2；
S55、计算加工工具的位置偏移量N：
；
其中，α、β均为预设权重系数。
在实际生产中，加工工具的位置处于变化之中，需要在加工位置和归零位置之间来回切换；本发明在对加工工具的位置偏移情况进行检测时，综合考量了归零位、加工位两种状态下的位置偏移情况，更加准确合理，能够降低检测误差。
S6、对产品加工缺陷与加工工具位置偏移进行关联性分析；
S61、获取第一预设时间段内多个加工产品的缺陷向量M，将多个缺陷向量M均分解从而获得X方向的分量序列MX和Y方向的分量序列MY；
S62、获取第一预设时间段内加工工具的多个位置偏移量，从而获得加工工具的位置偏移量序列NT；
S63、对X方向的分量序列MX和加工工具的位置偏移量序列NT进行相关性分析，获取第一相关性系数ρX；
；
其中，m为第一预设时间段内加工产品的数量，MXi为X方向的分量序列中第i个数据，为X方向的分量序列中的数据均值，NTi为加工工具的位置偏移量序列中的第i个数据，/>为加工工具的位置偏移量序列中的数据均值；
S64、对Y方向的分量序列MY和加工工具的位置偏移量序列NT进行相关性分析，获取第二相关性系数ρY；
；
其中，m为第一预设时间段内加工产品的数量，MYi为Y方向的分量序列中第i个数据，为Y方向的分量序列中的数据均值，NTi为加工工具的位置偏移量序列中的第i个数据，/>为加工工具的位置偏移量序列中的数据均值；
S65、根据第一相关性系数ρX和第二相关性系数ρY判断产品加工缺陷与加工工具位置偏移的关联性；
本发明在进行关联性分析时，首先将缺陷向量分解为X方向和Y方向的分量，而后依次对X方向分量和Y方向分量进行分析，分析与加工工具的位置偏移量的关联性，通过采集第一预设时间段内的多个图像，形成了多个数据序列，这样解决了具有方向的向量难以进行相关性分析的技术问题，并且能够更加详细地分析出不同方向的缺陷的相关性，从而使工作人员能够进行针对性地维护与调整，更具指导性。
S7、将缺陷检测结果和关联性分析结果发送至监控终端。
本发明中第一相关性系数ρX和第二相关性系数ρY体现出加工工具的位置偏移量与产品缺陷的相关性，根据第一相关性系数ρX和第二相关性系数ρY的数值范围即可判断是否是由于加工工具的位置偏移导致了产品加工缺陷的产生，在检测出加工缺陷时，或者在预测到出现加工缺陷的趋势时，判断加工工具位置偏移的情况以及两者之间的关联性，发送至工作人员的监控终端进行展示，以此能够给工作人员提供指导性的设备维护建议。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应该认为超出本发明的范围。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系属于仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其他任何变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
Claims (4)
1.一种复杂工业环境下视觉机器人的控制方法，应用于视觉机器人的控制系统，所述视觉机器人的控制系统包括：柔性生产线，加工工具，传送单元，第一机器视觉单元，从站控制器，主站控制器，第二机器视觉单元，视觉监控控制器；所述传送单元包含传送带、光电传感器；其特征在于，所述光电传感器用于在传送带上的待加工产品达到加工工位入口时产生触发信号；所述第一机器视觉单元用于采集代加工产品的图像；所述主站控制器用于根据代加工产品的图像识别产品类型、根据从站控制器序号确定加工工艺流程中的加工工位的加工动作参数、将加工动作参数加载至加工工位的从站控制器中；所述从站控制器用于控制加工工具执行加工任务；所述第二机器视觉单元用于采集加工后的产品的图像以及加工工具的图像；所述视觉监控控制器包含缺陷检测模块、偏移检测模块、关联分析模块；所述缺陷检测模块用于对加工后的产品进行缺陷检测，并基于加工后产品的图像计算缺陷向量；所述偏移检测模块用于检测加工工具的位置偏移情况，并基于加工工具在加工位置和归零位置的图像计算位置偏移量；所述关联分析模块用于对产品加工缺陷与加工工具位置偏移进行关联性分析；
其特征在于，所述控制方法包括：
S3、判断是否产生干扰事件，包括：
S31、第一机器视觉单元采集加工工位的图像，判断加工工具是否在执行加工任务；若是，则进入步骤S32，若否则进入步骤S4；
S32、判断是否产生强振动干扰事件，包括：
获取加工工位的k帧图像，识别第i帧图像中加工产品中心点的坐标位置（Xi，Yi）；
判断X方向的振动偏移参数SX和Y方向的振动偏移参数SY；
；
；
其中，为k帧图像中加工产品中心点X坐标的均值，/>为k帧图像中加工产品中心点Y坐标的均值；
计算振动表征参数U：
；
判断U是否大于第一预设值，若是则进入步骤S34，若否则进入步骤S33；
S33、判断是否出现强光照干扰事件，包括：
获取加工工位的k帧图像，识别第t帧图像中第m个像素的亮度参数Btm；
计算第t帧图像的平均亮度；
其中，m0为图像的像素数量；
判断是否大于第二预设值，若是则进入步骤S34，若否则进入步骤S4；
S34、延迟第一预设时长，返回步骤S31；
S4、基于机器视觉技术对加工后的产品进行缺陷检测，包括：
S41、触发第二机器视觉单元采集加工后产品的图像；
S42、提取图像中的产品轮廓曲线，与标准产品轮廓曲线进行比对分析，得到缺陷区域；
S43、计算缺陷区域的像素数量MQ；
S44、计算缺陷区域的方向系数MF，即从产品中心像素至缺陷区域中心像素方向的单位向量；
S45、基于缺陷区域的像素数量MQ和缺陷区域的方向系数MF，得到第i个缺陷区域的缺陷向量Mi；
S46、计算全部缺陷向量的合向量，即为加工产品的缺陷向量M；
S5、检测加工工具的位置偏移情况，包括：
S51、控制加工工具处于加工位置，第二机器视觉单元采集加工工具的第一图像；
S52、判断第一图像中加工工具的位置，与预设的加工位置进行比较，获取第一偏移量N1；
S53、控制加工工具回归零位，第二机器视觉单元采集加工工具的第二图像；
S54、判断第二图像中加工工具的位置，与预设的初始零位进行比较，获取第二偏移量N2；
S55、计算加工工具的位置偏移量N：
；
其中，α、β均为预设权重系数；
S6、对产品加工缺陷与加工工具位置偏移进行关联性分析，包括：
S61、获取第一预设时间段内多个加工产品的缺陷向量M，将多个缺陷向量M均分解从而获得X方向的分量序列MX和Y方向的分量序列MY；
S62、获取第一预设时间段内加工工具的多个位置偏移量，从而获得加工工具的位置偏移量序列NT；
S63、对X方向的分量序列MX和加工工具的位置偏移量序列NT进行相关性分析，获取第一相关性系数ρX；
S64、对Y方向的分量序列MY和加工工具的位置偏移量序列NT进行相关性分析，获取第二相关性系数ρY；
S65、根据第一相关性系数ρX和第二相关性系数ρY判断产品加工缺陷与加工工具位置偏移的关联性。
2.根据权利要求1所述的复杂工业环境下视觉机器人的控制方法，其特征在于，所述步骤S3之前还包括步骤S1、通过第一机器视觉单元识别柔性生产线中的产品，包括：
S11、待加工产品由传送带传输至柔性生产线中的加工工位入口，触发第一机器视觉单元工作；
S12、第一机器视觉单元采集加工工位入口处的待加工产品图像，传输至主站控制器；
S13、主站控制器基于待加工产品图像识别产品类型。
3.根据权利要求2所述的复杂工业环境下视觉机器人的控制方法，其特征在于，所述步骤S3之前还包括步骤S2、查询并加载与产品相匹配的加工任务，包括：
S21、主站控制器获取与第一机器视觉单元相对应的从站控制器序号；
S22、根据从站控制器序号确定加工工艺流程中的加工工位的加工动作参数；
S23、将加工动作参数加载至加工工位的从站控制器中；
S24、从站控制器控制加工工具执行加工任务。
4.根据权利要求3所述的复杂工业环境下视觉机器人的控制方法，其特征在于，所述步骤S6之后还包括步骤S7、将缺陷检测结果和关联性分析结果发送至监控终端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311460742.8A CN117197133B (zh) | 2023-11-06 | 2023-11-06 | 一种复杂工业环境下视觉机器人的控制系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311460742.8A CN117197133B (zh) | 2023-11-06 | 2023-11-06 | 一种复杂工业环境下视觉机器人的控制系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117197133A CN117197133A (zh) | 2023-12-08 |
| CN117197133B true CN117197133B (zh) | 2024-01-30 |
Family
ID=88994580
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311460742.8A Active CN117197133B (zh) | 2023-11-06 | 2023-11-06 | 一种复杂工业环境下视觉机器人的控制系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117197133B (zh) |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101413904A (zh) * | 2008-11-25 | 2009-04-22 | 湖南大学 | 一种异形瓶装溶液中的杂质实时机器视觉检测方法及装置 |
| WO2015165015A1 (zh) * | 2014-04-28 | 2015-11-05 | 中国科学院自动化研究所 | 图像水平重力方向的检测方法 |
| CN105486311A (zh) * | 2015-12-24 | 2016-04-13 | 青岛海通机器人系统有限公司 | 室内机器人定位导航方法及装置 |
| CN106680287A (zh) * | 2016-12-28 | 2017-05-17 | 无锡浩远视觉科技有限公司 | 一种轴承铆钉台阶缺陷的视觉检测方法 |
| CN106770332A (zh) * | 2017-02-14 | 2017-05-31 | 杭州字节信息技术有限公司 | 一种基于机器视觉的电子模切料缺陷检测实现方法 |
| CN108226164A (zh) * | 2017-12-29 | 2018-06-29 | 深圳市智能机器人研究院 | 一种基于视觉检测的机器人打磨方法及系统 |
| DE102018200280A1 (de) * | 2017-01-12 | 2018-07-12 | Fanuc Corporation | Visuellsensor-abnormalitätsursachen-schätzsystem |
| CN109146912A (zh) * | 2018-07-26 | 2019-01-04 | 湖南人文科技学院 | 一种基于目标性分析的视觉目标跟踪方法 |
| WO2020133046A1 (zh) * | 2018-12-27 | 2020-07-02 | 深圳配天智能技术研究院有限公司 | 一种缺陷检测方法及装置 |
| CA3040946A1 (en) * | 2019-04-23 | 2020-10-23 | Vab Solutions Inc. | Wood labeling system and method for labeling wood products in a production line |
| CA3046003A1 (en) * | 2019-06-11 | 2020-12-11 | Eidos Interactive Corp. | Systems and methods for augmented reality applications |
| CN112614121A (zh) * | 2020-12-29 | 2021-04-06 | 国网青海省电力公司海南供电公司 | 一种多尺度小目标设备缺陷识别监测方法 |
| CN112847321A (zh) * | 2021-01-04 | 2021-05-28 | 扬州市职业大学(扬州市广播电视大学) | 基于人工智能的工业机器人视觉图像识别系统 |
| CN113109348A (zh) * | 2021-03-12 | 2021-07-13 | 华南理工大学 | 一种基于机器视觉的桨影移印缺陷识别方法 |
| WO2022027949A1 (zh) * | 2020-08-04 | 2022-02-10 | 湖南大学 | 一种基于机器视觉的玻璃瓶底缺陷检测方法及系统 |
| KR20220042916A (ko) * | 2020-09-28 | 2022-04-05 | (주)미래융합정보기술 | 제품 결함 이미지 원격 학습을 통한 비전 검사 시스템 |
| CN115201220A (zh) * | 2022-08-17 | 2022-10-18 | 泰州市健新智造科技有限公司 | 基于机器视觉的轮毂加工表面缺陷检测系统 |
| CN115546145A (zh) * | 2022-09-29 | 2022-12-30 | 杭州海康机器人股份有限公司 | 一种基于机器视觉的缺陷检测方法、装置及电子设备 |
| CN115797872A (zh) * | 2023-01-31 | 2023-03-14 | 捷易(天津)包装制品有限公司 | 基于机器视觉的包装缺陷识别方法、系统、设备及介质 |
| CN116840243A (zh) * | 2023-09-01 | 2023-10-03 | 湖南睿图智能科技有限公司 | 一种机器视觉对象识别的修正方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10593060B2 (en) * | 2017-04-14 | 2020-03-17 | TwoAntz, Inc. | Visual positioning and navigation device and method thereof |
-
2023
- 2023-11-06 CN CN202311460742.8A patent/CN117197133B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101413904A (zh) * | 2008-11-25 | 2009-04-22 | 湖南大学 | 一种异形瓶装溶液中的杂质实时机器视觉检测方法及装置 |
| WO2015165015A1 (zh) * | 2014-04-28 | 2015-11-05 | 中国科学院自动化研究所 | 图像水平重力方向的检测方法 |
| CN105486311A (zh) * | 2015-12-24 | 2016-04-13 | 青岛海通机器人系统有限公司 | 室内机器人定位导航方法及装置 |
| CN106680287A (zh) * | 2016-12-28 | 2017-05-17 | 无锡浩远视觉科技有限公司 | 一种轴承铆钉台阶缺陷的视觉检测方法 |
| DE102018200280A1 (de) * | 2017-01-12 | 2018-07-12 | Fanuc Corporation | Visuellsensor-abnormalitätsursachen-schätzsystem |
| CN106770332A (zh) * | 2017-02-14 | 2017-05-31 | 杭州字节信息技术有限公司 | 一种基于机器视觉的电子模切料缺陷检测实现方法 |
| CN108226164A (zh) * | 2017-12-29 | 2018-06-29 | 深圳市智能机器人研究院 | 一种基于视觉检测的机器人打磨方法及系统 |
| CN109146912A (zh) * | 2018-07-26 | 2019-01-04 | 湖南人文科技学院 | 一种基于目标性分析的视觉目标跟踪方法 |
| WO2020133046A1 (zh) * | 2018-12-27 | 2020-07-02 | 深圳配天智能技术研究院有限公司 | 一种缺陷检测方法及装置 |
| CA3040946A1 (en) * | 2019-04-23 | 2020-10-23 | Vab Solutions Inc. | Wood labeling system and method for labeling wood products in a production line |
| CA3046003A1 (en) * | 2019-06-11 | 2020-12-11 | Eidos Interactive Corp. | Systems and methods for augmented reality applications |
| WO2022027949A1 (zh) * | 2020-08-04 | 2022-02-10 | 湖南大学 | 一种基于机器视觉的玻璃瓶底缺陷检测方法及系统 |
| KR20220042916A (ko) * | 2020-09-28 | 2022-04-05 | (주)미래융합정보기술 | 제품 결함 이미지 원격 학습을 통한 비전 검사 시스템 |
| CN112614121A (zh) * | 2020-12-29 | 2021-04-06 | 国网青海省电力公司海南供电公司 | 一种多尺度小目标设备缺陷识别监测方法 |
| CN112847321A (zh) * | 2021-01-04 | 2021-05-28 | 扬州市职业大学(扬州市广播电视大学) | 基于人工智能的工业机器人视觉图像识别系统 |
| CN113109348A (zh) * | 2021-03-12 | 2021-07-13 | 华南理工大学 | 一种基于机器视觉的桨影移印缺陷识别方法 |
| CN115201220A (zh) * | 2022-08-17 | 2022-10-18 | 泰州市健新智造科技有限公司 | 基于机器视觉的轮毂加工表面缺陷检测系统 |
| CN115546145A (zh) * | 2022-09-29 | 2022-12-30 | 杭州海康机器人股份有限公司 | 一种基于机器视觉的缺陷检测方法、装置及电子设备 |
| CN115797872A (zh) * | 2023-01-31 | 2023-03-14 | 捷易(天津)包装制品有限公司 | 基于机器视觉的包装缺陷识别方法、系统、设备及介质 |
| CN116840243A (zh) * | 2023-09-01 | 2023-10-03 | 湖南睿图智能科技有限公司 | 一种机器视觉对象识别的修正方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117197133A (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109926817B (zh) | 基于机器视觉的变压器自动装配方法 | |
| CN1447933A (zh) | 使用预先制程控制机架的制程工具的缺陷检测及其控制的方法及装置 | |
| CN111507261B (zh) | 一种基于视觉目标定位的工序操作质量监控方法 | |
| CN115202310B (zh) | 一种电动汽车电机扣件的自动化加工方法及系统 | |
| CN111097717B (zh) | 用于机器视觉质量检测设备的自适应剔废控制方法及系统 | |
| CN116840243B (zh) | 一种机器视觉对象识别的修正方法及系统 | |
| CN115239711B (zh) | 一种缝制设备的在线运行异常识别系统 | |
| CN117197133B (zh) | 一种复杂工业环境下视觉机器人的控制系统及方法 | |
| CN114407079B (zh) | 一种控制机械臂安装螺栓的方法 | |
| CN109816191A (zh) | 多工作站系统的质量预测方法及其系统 | |
| CN115993366B (zh) | 基于传感设备的加工件表面检测方法及系统 | |
| CN113053786B (zh) | 半导体制程中失控行为的处理方法及处理装置 | |
| CN114913119A (zh) | 一种半导体晶圆检测工艺中的自动探针状态识别方法 | |
| KR100357764B1 (ko) | 지능형 피혁 품질선별 장치 | |
| CN117113260B (zh) | 基于数据分析的智能贴合设备故障预警系统 | |
| EP4202765A1 (en) | Method and system for counting bakeable food products | |
| CN116810493B (zh) | 基于数据驱动的数控机床防碰撞检测方法及系统 | |
| KR100462121B1 (ko) | 카메라를 이용한 피혁상태 검사장치 | |
| CN116834023B (zh) | 一种打钉机器人控制系统 | |
| CN114511169B (zh) | 一种飞行随动锁钉质量的评估方法及系统 | |
| TWI782539B (zh) | 智慧化加工之方法與系統 | |
| CN115936406B (zh) | 基于网络的数据信息终端系统 | |
| KR102486533B1 (ko) | 제조공정을 자동으로 관리 및 모니터링 하는 제조공정 모니터링 장치 및 방법 | |
| CN115393553B (zh) | 基于3d视觉的用于确定线材捆线位置的挂牌方法及其装置 | |
| CN117862068A (zh) | 一种瑕疵产品分拣程序验证方法、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |