CN116453062B - 基于机器人高精度柔顺装配的包装机装配风险监控方法 - Google Patents
基于机器人高精度柔顺装配的包装机装配风险监控方法 Download PDFInfo
- Publication number
- CN116453062B CN116453062B CN202310687060.4A CN202310687060A CN116453062B CN 116453062 B CN116453062 B CN 116453062B CN 202310687060 A CN202310687060 A CN 202310687060A CN 116453062 B CN116453062 B CN 116453062B
- Authority
- CN
- China
- Prior art keywords
- motion
- assembly
- robot
- tracking
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000012544 monitoring process Methods 0.000 title claims abstract description 24
- 238000004806 packaging method and process Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000005259 measurement Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 7
- 238000011524 similarity measure Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 22
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000000605 extraction Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
本发明涉及图像数据处理技术领域，尤其涉及一种基于机器人高精度柔顺装配的包装机装配风险监控方法，包括采集装配机器人实际运动轨迹的运行数据，并对所述运行数据进行预处理；通过自适应聚类方法跟踪所述运行数据中的目标区域，以提取所述目标区域并得到初始跟踪窗口；自适应调节所述初始跟踪窗口，利用所述目标区域对应的最优跟踪窗口，获取所述装配机器人单个运动周期内的运动轨迹曲线；判断所述装配机器人的运动风险度，当所述运动风险度大于风险阈值时发出预警；通过对装配机器人运行图像数据处理技术，完成机器人装配过程中的目标跟踪，提高了目标追踪效率与精度，进而提高了装配机器人的风险监控精度与效率。
Description
技术领域
本发明涉及图像数据处理技术领域，尤其涉及一种基于机器人高精度柔顺装配的包装机装配风险监控方法。
背景技术
装配机器人作为一种用来代替人们劳动的重要工具，它可把任何物件或工具按空间(位置和姿态)的时变要求进行移动，从而完成某一工业生产的作业要求。其不仅能够代替人们在危险的环境下进行工作，并不受危险环境的危害，同时能够提高加工精度，减少因人员因疲劳造成的损失。例如，模拟人手臂，手腕和手功能的装配机器人，在手机或者平板电脑装配生产线，通过加装关节力矩传感器，机器人也能够被赋予触觉，协助人类或独立完成这些工作将极大的提高生产效率。
而在装配过程中，装配机器人的装配过程是否合格，直接影响了产品的质量。装配过程出现问题的产品，其产品质量较差，不稳定的同时易出现崩塌现象，进而导致产生一定的危险。因此，需要对高精度柔顺装配的包装机中装配机器人进行风险监控，提高装配与包装的质量与效率，降低事故发生的可能。
发明内容
本发明提供的基于机器人高精度柔顺装配的包装机装配风险监控方法，可以提高装配与包装的质量与效率，降低事故发生的可能。
本发明提供的基于机器人高精度柔顺装配的包装机装配风险监控方法，包括采集装配机器人实际运动轨迹的运行数据，并对所述运行数据进行预处理；
通过自适应聚类方法跟踪所述运行数据中的目标区域，以提取所述目标区域并得到初始跟踪窗口；
自适应调节所述初始跟踪窗口，利用所述目标区域对应的最优跟踪窗口，获取所述装配机器人单个运动周期内的运动轨迹曲线；
判断所述装配机器人的运动风险度，当所述运动风险度大于风险阈值时发出预警。
在一实施例中，所述运行数据为相机采集的图像数据；所述预处理包括通过加权灰度化方法对所述运行数据进行灰度处理。
在一实施例中，将预处理后的所述运行数据通过帧差法区分为第一数据和第二数据；其中，第一数据为运动图像数据，第二数据为静止图像数据。
在一实施例中，通过光流法获取第一数据中像素点的运行方向和运动速度，所述像素点包括运动像素点和静止像素点；利用所述自适应聚类方法跟踪所述第一数据中的目标区域，基于所述像素点的运动速度和运动方向对所述第一数据进行分割，获取所述第一数据中的所述目标区域，并将获取的所述目标区域的最小外接矩形作为初始跟踪窗口。
在一实施例中，利用所述自适应聚类方法跟踪目标区域包括：
任选装配机器人主体方向上的运动像素点作为聚类中心点q，根据计算聚类中心点q与待聚类点w的初始相似性度量指标Y；其中，/>、/>分别为聚类中心点q的运动方向与灰度值；/>、/>则分别为待聚类点w的运动方向与灰度值；
针对所述待聚类点w获取装配机器人主体方向上的相邻运动像素点，并与所述待聚类点w连线得到特征线段，根据得到所述待聚类点w的运动特征值U；其中，/>为所述待聚类点w的特征线段上像素点个数，/>则为特征线段上第i个像素点的运动速度，/>为所述待聚类点w的运动速度，/>为所述待聚类点w与特征线段上第i个像素点的距离；
通过设置获取聚类中心点q与所述待聚类点w之间的最优相似性度量指标/>，并对所述最优相似性度量指标/>进行归一化处理；其中，U为所述待聚类点w的运动特征值，/>为q点的运动特征值，/>为大于0的正数；当所述最优相似性度量指标大于相似度阈值时，则将该像素点进行聚类为所述目标区域的像素点，以完成目标区域跟踪。
在一实施例中，选取所述运动像素点频率最大的运动方向作为所述装配机器人的运动方向，与所述装配机器人的运动方向垂直方向为所述装配机器人主体方向。
在一实施例中，结合跟踪窗口的跟踪方向，根据所述第一数据中某一图像序列内相邻两个图像的初始跟踪窗口的灰度概率分布特征差异变化对所述跟踪窗口大小进行自适应调节，以得到所述目标区域对应的所述最优跟踪窗口；其中，在时序上连续的运动图像为一个图像序列。
在一实施例中，通过以下步骤对所述跟踪窗口大小进行自适应调节：
获取所述图像序列中相邻的第一图像和第二图像的灰度分布特征；
根据所述初始跟踪窗口的长M，利用
得到调节后所述最优跟踪窗口的长；
其中，为所述第一图像内初始化跟踪窗口内像素点灰度级个数，/>为所述第二图像内跟踪窗口内像素点灰度级个数；/>为第i个灰度级在初始跟踪窗口内的频率值，/>为第i个灰度级在当前跟踪窗口内的频率值。
在一实施例中，根据所述初始跟踪窗口的宽N，
利用
得到调节后所述最优跟踪窗口的宽。
在一实施例中，记录同一周期内所述最优跟踪窗口的多个中心点并进行拟合，生成所述装配机器人的实际运动轨迹曲线；通过曲线相似度算法计算预设运动轨迹曲线与所述实际运动轨迹曲线的相似度，所述运动风险度于所述相似度呈反比。
与现有技术相比，本发明提供的基于机器人高精度柔顺装配的包装机装配风险监控方法，通过分析装配机器人装配过程中的运动特征，以及机器人表面特征完成自适应聚类指标的构建并完成自适应聚类，提高了目标区域的提取精度；基于目标区域完成初始跟踪窗口的获取，基于不同视频图像内跟踪窗口内区域与目标区域的差异自适应更新跟踪窗口，完成最优跟踪窗口的获取，提高了的目标追踪效率与精度，进而提高了装配机器人的风险监控精度与效率。
附图说明
图1是本发明提供的风险监控方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例；下面所描述的本发明不同实施方式中所设计的技术特征只要彼此之间未构成冲突就可以相互结合；基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，本发明所使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域的普通技术人员通常所理解的含义相同的含义，不能理解为对本发明的限制；应进一步理解，本发明所使用的术语应被理解为具有与这些术语在本说明书的上下文和相关领域中的含义一致的含义，并且不应以理想化或过于正式的意义来理解，除本发明中明确如此定义之外。
本发明针对的场景为工厂生产的各种零件需要使用装配机器人进行装配，得到相应的产品，再对产品进行包装处理，通过机器人的装配过程中的运动状态完成装配风险监控。
在对机器人的装配风险进行监控时，往往是对装配机器人的运动过程进行监控，现有技术在对装配机器人的运动过程监控时容易出现跟踪失败的现象，导致得到的运动轨迹不够准确，风险监控精度与效率较低。
为此，本发明通过图像处理技术，完成机器人装配过程中的目标跟踪，进而获取机器人装配过程中的运动轨迹，基于实际运动轨迹与预设运动轨迹的差异完成装配风险监控。
如图1所示，本发明提供一种基于机器人高精度柔顺装配的包装机装配风险监控方法，包括：
采集装配机器人实际运动轨迹的运行数据，并对所述运行数据进行预处理；
通过自适应聚类方法跟踪所述运行数据中的目标区域，以提取所述目标区域并得到初始跟踪窗口；
自适应调节所述初始跟踪窗口，利用所述目标区域对应的最优跟踪窗口，获取所述装配机器人单个运动周期内的运动轨迹曲线；
判断所述装配机器人的运动风险度，当所述运动风险度大于风险阈值时发出预警。
具体实施时，首先通过工业相机及固定光源采集装配机器人实际运动轨迹的运行数据，即通过工业相机及固定光源采集装配机器人装配过程中的视频图像数据，较佳地，本实施例中运行数据为采集的RGB图像数据；并通过加权灰度化方法对运行数据进行预处理，以将RGB图像数据转化成灰度图像数据；加权灰度化为现有技术中图像灰度处理的公知技术，在此不再赘述。
由于工厂在装配包装时，往往是对一类产品进行装配包装，即采集的视频图像数据中装配机器人的运动为重复操作，故其具有周期性，因此可对视频图像数据进行初步分类，将其分为多个周期，目的是为了获取单个周期内装配机器人在装配过程中的运动轨迹，将单周期内的运动轨迹与预设运动轨迹进行比较获取装配风险。
具体地，将预处理后的运行数据，即灰度处理后的视频图像数据使用帧差法区分为第一数据和第二数据；其中，第一数据为运动图像数据，第二数据为静止图像数据；使用帧差法可以完成视频图像数据中是否存在运动物体的判断，则可将灰度视频图像数据分成运动图像数据与静止图像数据。
而装配机器人在装配过程往往是持续运动的，因此可在时序上对运动图像数据进行分析，将在时序上连续的运动图像数据记为一个图像序列Q{，/>…/>…/>},其中/>为在/>时刻所采集到的运动图像数据，即/>，/>的相邻图像为静止图像。
由于装配机器人表面往往为同一种颜色，且在装配过程中进行持续运动，即图像内装配机器人表面的灰度值相近，且运动信息一致；在装配机器人进行装配时，往往是使用机械臂夹取物品，将物品放置到指定位置完成装配，而机械臂在运动过程中，往往一端固定，另一端夹持物品；可参考人的手臂完成高精度柔顺装配，则可通过对图像中像素点的运动特征来完成目标区域的初步获取。
基于此，以第一数据中第一图像为例，通过光流法获取第一数据中第一图像/>内像素点的运行方向和运动速度，其中，像素点包括运动像素点和静止像素点；光流法是通过不同图像中像素点的亮度变换对运动进行估计图像中物体的运动方向和运动速度的方法，属于现有技术中常见的公知技术，在此不再赘述。
具体地，对于第一数据中每一图像的像素点，均有对应的运动速度V和运动方向θ，其中运动速度V=0的像素点为静止像素点，运动速度V不等于0的像素点为运动像素点；而装配机器人的机械臂在图像数据中所对应的区域内的像素点应均为运动像素点。
MeanShift是一种基于密度估计的聚类算法，主要用于目标跟踪，其工作原理是利用样本的概率分布在不断迭代中不断调整目标区域的位置和大小，以实现对目标的跟踪。
在MeanShift算法运用到目标跟踪中时，因为MeanShift算法迭代时搜索窗口大小是固定不变的。但是在实际视频应用场景中，目标往往有尺寸的变化，同时伴随着形变等姿态变换，导致在使用MeanShift算法进行跟踪时，容易出现跟踪失败的现象。进而导致得到的运动轨迹不够准确，风险监控精度与效率较低。
由于图像数据中运动物体可能存在多个，而装配机器人为主要观测对象，其在图像数据中所占的范围较大，图像数据中蕴含其运动信息的像素点数量应为最多，故得到的特征方向即为运动方向；运动像素点均有其对应的运动方向，故对得到的运动方向进行统计，选取频率最大的运动方向作为机器人运动方向，记为，与/>垂直的方向记为/>，为机械臂的主体方向。
由于装配机器人装配过程中的环境较为复杂，在使用欧式距离进行聚类时极易出现非目标区域像素点被误聚为目标区域像素点，因此本发明中对聚类过程中的相似性度量进行自适应构建，以便提高聚类效果，完成机器人目标区域的精确获取。
本发明通过自适应聚类方法跟踪运动图像数据中的目标区域，再基于像素点的运动速度和运动方向对第一数据进行分割，获取第一数据中的目标区域，并将目标区域的最小外接矩形作为初始跟踪窗口。
具体地，使用k-means均值聚类算法进行目标跟踪，首先任选机械臂主体方向上的运动像素点作为聚类中心点q，待聚类的运动像素点为w点同时满足3*3邻域内的像素点均为运动像素点，待聚类的运动像素点为w；
接着，根据计算聚类中心点q与待聚类的运动像素点w的初始相似性度量指标Y；其中，/>、/>分别为聚类中心点q的运动方向与灰度值；/>、/>则分别为待聚类点w的运动方向与灰度值；
初始相似性度量指标Y值越大，则说明待聚类的运动像素点w与聚类中心点q点越相似，说明越可能属于一类像素点，越可能同属于运动图像数据中的装配机器人，即属于目标区域。
但由于装配机器人的工作环境往往较为复杂，在同一图像数据内可能存在多个运动物体，因此仅通过上述初始相似性度量指标Y的计算进行聚类时，得到的目标区域可能不为装配机器人目标区域，即精度较低。
而对于运动图像数据中的其余运动物体，其运动特征往往与装配机器人的运动特征存在差异，因此，通过引入待聚类点的局部运动变化特性进行再聚类，提高目标区域的获取精度，使得得到的目标区域更符合机器人装配过程中的运动特征，即得到的目标区域更加准确。
具体地，针对待聚类点w获取装配机器人主体方向上的相邻运动像素点，并与待聚类点w连线得到特征线段，对特征线段上的像素点进行分析，根据得到所述待聚类点w的运动特征值U；其中，/>为所述待聚类点w的特征线段上像素点个数，/>则为特征线段上第i个像素点的运动速度，/>为所述待聚类点w的运动速度，/>为所述待聚类点w与特征线段上第i个像素点的距离；
其次，通过设置获取聚类中心点q与所述待聚类点w之间的最优相似性度量指标/>，其中，U为所述待聚类点w的运动特征值，/>为q点的运动特征值，/>为大于0的正数，例如/>可以为0.01；
然后，对最优相似性度量指标进行归一化处理；当最优相似性度量指标/>大于相似度阈值时，则将该像素点进行聚类为目标区域的像素点，以跟踪目标区域；
接着基于像素点的运动速度和运动方向对运动图像数据进行分割，提取运动图像数据中目标装配机器人的区域，并将目标装配机器人的区域的最小外接矩形作为初始跟踪窗口。
本实施例中，相似度阈值以0.75为例，当最优相似性度量指标大于相似度阈值0.75时，则将该像素点进行聚类为目标区域的像素点，将其聚为一类，聚类过程为现有技术中常见的公知技术，此处不再赘述。
通过上述自适应聚类方法跟踪目标区域，可以在环境较为复杂的情况下，完成运动图像数据中目标区域的精确提取，即存在多运动物体的情况下，基于像素点的运动速度和运动方向对运动图像数据进行分割，获取运动图像数据中的目标区域，并将目标区域的最小外接矩形作为初始跟踪窗口，完成运动图像数据中装配机器人部分的目标跟踪和提取。
MeanShift算法中跟踪窗口的大小和形状在跟踪过程中非常重要，跟踪窗口太小会导致无法精确的对目标完成搜索，会出现目标丢失现象。跟踪窗口太大则会导致掺杂进背景干扰信息，导致计算量增大，跟踪精度降低。而当目标进行移动时，目标在图像中的大小也会随之变换。
因此本发明中通过跟踪对象的在不同视频图像数据的特征变换完成跟踪窗口的自适应更新，进而完成目标跟踪；以在时序上连续的运动图像数据的某个图像序列Q{，…/>…/>}中第一图像Q1和第二图像Q2为例，通过第一图像Q1和第二图像Q2的变化，完成图像内最优跟踪窗口的获取;初始跟踪窗口的形状呈矩形状，其大小为M*N。
具体地，根据选取频率最大的运动方向作为机器人运动方向，可知跟踪窗口的跟踪方向为/>，通过第一图像Q1和第二图像Q2跟踪窗口内的灰度直方图，基于灰度直方图差异来反映灰度概率分布特征差异，进而对跟踪窗口的大小进行自适应调节。
以第一图像Q1和第二图像Q2为例，其初始跟踪窗口大小为M*N,针对跟踪窗口的长M,利用，，得到调节后所述最优跟踪窗口的长/>；
接着，针对跟踪窗口的宽N,利用，，得到调节后所述最优跟踪窗口的宽/>；
其中，为所述第一图像内初始化跟踪窗口内像素点灰度级个数，/>为所述第二图像内跟踪窗口内像素点灰度级个数；max（）为选取其中最大值；
为第i个灰度级在初始跟踪窗口内的频率值，/>为第i个灰度级在当前跟踪窗口内的频率值，其差异越大，则说明与前一跟踪窗口内的区域越不相似；
F（）为对括号内的数进行向上取整，C值越小，则说明窗口内区域越不相似，则说明当前图像内机器人发生姿态变化，其内灰度分布特征发生变化，目标区域缩小，故需对跟踪窗口进行调小；
为此，可对M不断进行调节，本实施例中，可根据直至得到的C值满足 或达到调节阈值20次为止，此处选择C最大所对应的M值，作为最终的M值，调节后的跟踪窗口则为最优跟踪窗口，最优跟踪窗口可记为/>；根据上述对图像数据的处理，完成最优跟踪窗口的获取。
通过上述步骤针对装配机器人装配过程中的运行图像数据进行分析处理后，利用最优跟踪窗口完成对运行图像数据中目标装配机器人运动追踪；将最优跟踪窗口的中心点作为运动点，记录在同一周期内的视频图像数据的运动点，对得到的多个运动点进行拟合，获取装配机器人的实际运动轨迹曲线。
通过曲线相似度算法计算预设运动轨迹曲线与实际运动轨迹曲线相似度XS，则可获取运动风险度FX=1-XS，其中相似度XS越大，则说明运动轨迹越符合预设运动轨迹，发生风险的概率越小，即运动风险度FX越小；曲线相似度算法可以是现有技术中常见的曲线相似度计算方法，在此不再赘述。
最后，判断装配机器人的运动风险度与风险度阈值的关系，当运动风险度大于风险阈值时发出预警；本实施例中，运动风险度以0.6为例，当运动风险度大于0.6时，停止装配机器人的运行并向工作人员发出预警，以便对装配机器人进行维修处理。
与现有技术相比，本发明提供的基于机器人高精度柔顺装配的包装机装配风险监控方法，通过分析装配机器人装配过程中的运动特征，以及机器人表面特征完成自适应聚类指标的构建并完成自适应聚类，提高了目标区域的提取精度；基于目标区域完成初始跟踪窗口的获取，基于不同视频图像内跟踪窗口内区域与目标区域的差异自适应更新跟踪窗口，完成最优跟踪窗口的获取，提高了的目标追踪效率与精度，进而提高了装配机器人的风险监控精度与效率。
另外，本领域技术人员应当理解，尽管现有技术中存在许多问题，但是，本发明的每个实施例或技术方案可以仅在一个或几个方面进行改进，而不必同时解决现有技术中或者背景技术中列出的全部技术问题。本领域技术人员应当理解，对于一个权利要求中没有提到的内容不应当作为对于该权利要求的限制。
本文中使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的；本发明实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”、等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (5)
1.一种基于机器人高精度柔顺装配的包装机装配风险监控方法，其特征在于：包括
采集装配机器人实际运动轨迹的运行数据，并对所述运行数据进行预处理；
通过自适应聚类方法跟踪所述运行数据中的目标区域，以提取所述目标区域并得到初始跟踪窗口；
自适应调节所述初始跟踪窗口，利用所述目标区域对应的最优跟踪窗口，获取所述装配机器人单个运动周期内的运动轨迹曲线；
判断所述装配机器人的运动风险度，当所述运动风险度大于风险阈值时发出预警；
利用所述自适应聚类方法跟踪目标区域包括：
任选装配机器人主体方向上的运动像素点作为聚类中心点q，根据计算聚类中心点q与待聚类点w的初始相似性度量指标Y；其中，/>、/>分别为聚类中心点q的运动方向与灰度值；/>、/>则分别为待聚类点w的运动方向与灰度值；
针对所述待聚类点w获取装配机器人主体方向上的相邻运动像素点，并与所述待聚类点w连线得到特征线段，根据得到所述待聚类点w的运动特征值U；其中，/>为所述待聚类点w的特征线段上像素点个数，/>则为特征线段上第i个像素点的运动速度，/>为所述待聚类点w的运动速度，/>为所述待聚类点w与特征线段上第i个像素点的距离；
通过设置获取聚类中心点q与所述待聚类点w之间的最优相似性度量指标/>，并对所述最优相似性度量指标/>进行归一化处理；其中，U为所述待聚类点w的运动特征值，/>为q点的运动特征值，/>为大于0的正数；当所述最优相似性度量指标/>大于相似度阈值时，则将该像素点进行聚类为所述目标区域的像素点，以完成目标区域跟踪；
结合跟踪窗口的跟踪方向，根据所述第一数据中某一图像序列内相邻两个图像的初始跟踪窗口的灰度概率分布特征差异变化对所述跟踪窗口大小进行自适应调节，以得到所述目标区域对应的所述最优跟踪窗口；其中，在时序上连续的运动图像为一个图像序列；
通过以下步骤对所述跟踪窗口大小进行自适应调节：
获取所述图像序列中相邻的第一图像和第二图像的灰度分布特征；
根据所述初始跟踪窗口的长M，利用
得到调节后所述最优跟踪窗口的长；
其中，为所述第一图像内初始化跟踪窗口内像素点灰度级个数，/>为所述第二图像内跟踪窗口内像素点灰度级个数；/>为第i个灰度级在初始跟踪窗口内的频率值，为第i个灰度级在当前跟踪窗口内的频率值；
根据所述初始跟踪窗口的宽N，
利用
得到调节后所述最优跟踪窗口的宽；
将预处理后的所述运行数据通过帧差法区分为第一数据和第二数据；其中，第一数据为运动图像数据，第二数据为静止图像数据。
2.根据权利要求1所述的基于机器人高精度柔顺装配的包装机装配风险监控方法，其特征在于：所述运行数据为相机采集的图像数据；所述预处理包括通过加权灰度化方法对所述运行数据进行灰度处理。
3.根据权利要求1所述的基于机器人高精度柔顺装配的包装机装配风险监控方法，特征在于：通过光流法获取第一数据中像素点的运行方向和运动速度，所述像素点包括运动像素点和静止像素点；利用所述自适应聚类方法跟踪所述第一数据中的目标区域，基于所述像素点的运动速度和运动方向对所述第一数据进行分割，获取所述第一数据中的所述目标区域，并将获取的所述目标区域的最小外接矩形作为初始跟踪窗口。
4.根据权利要求1所述的基于机器人高精度柔顺装配的包装机装配风险监控方法，其特征在于：选取所述运动像素点频率最大的运动方向作为所述装配机器人的运动方向，与所述装配机器人的运动方向垂直方向为所述装配机器人主体方向。
5.根据权利要求1所述的基于机器人高精度柔顺装配的包装机装配风险监控方法，其特征在于：记录同一周期内所述最优跟踪窗口的多个中心点并进行拟合，生成所述装配机器人的实际运动轨迹曲线；通过曲线相似度算法计算预设运动轨迹曲线与所述实际运动轨迹曲线的相似度，所述运动风险度于所述相似度呈反比。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310687060.4A CN116453062B (zh) | 2023-06-12 | 2023-06-12 | 基于机器人高精度柔顺装配的包装机装配风险监控方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310687060.4A CN116453062B (zh) | 2023-06-12 | 2023-06-12 | 基于机器人高精度柔顺装配的包装机装配风险监控方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116453062A CN116453062A (zh) | 2023-07-18 |
| CN116453062B true CN116453062B (zh) | 2023-08-22 |
Family
ID=87122218
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310687060.4A Active CN116453062B (zh) | 2023-06-12 | 2023-06-12 | 基于机器人高精度柔顺装配的包装机装配风险监控方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116453062B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117095007B (zh) * | 2023-10-20 | 2024-01-30 | 深圳市兴东泰电子有限公司 | 一种基于图像处理的pfa包胶飞杆卡座组装监测系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104036526A (zh) * | 2014-06-26 | 2014-09-10 | 广东工业大学 | 一种基于自适应窗的灰度目标跟踪方法 |
| CN106204640A (zh) * | 2016-06-29 | 2016-12-07 | 长沙慧联智能科技有限公司 | 一种运动目标检测系统及方法 |
| WO2017143949A1 (zh) * | 2016-02-23 | 2017-08-31 | 芋头科技（杭州）有限公司 | 基于人体信息的机器人监控系统 |
| CN109949375A (zh) * | 2019-02-02 | 2019-06-28 | 浙江工业大学 | 一种基于深度图感兴趣区域的移动机器人目标跟踪方法 |
| WO2019237516A1 (zh) * | 2018-06-11 | 2019-12-19 | 平安科技（深圳）有限公司 | 目标跟踪方法、装置、计算机设备及存储介质 |
| CN111241931A (zh) * | 2019-12-30 | 2020-06-05 | 沈阳理工大学 | 一种基于YOLOv3的空中无人机目标识别和跟踪方法 |
| CN114926781A (zh) * | 2022-05-27 | 2022-08-19 | 北京邮电大学 | 支持实时监控场景的多人时空域异常行为定位方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112926514A (zh) * | 2021-03-26 | 2021-06-08 | 哈尔滨工业大学（威海） | 一种多目标检测及跟踪方法、系统、存储介质及应用 |
-
2023
- 2023-06-12 CN CN202310687060.4A patent/CN116453062B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104036526A (zh) * | 2014-06-26 | 2014-09-10 | 广东工业大学 | 一种基于自适应窗的灰度目标跟踪方法 |
| WO2017143949A1 (zh) * | 2016-02-23 | 2017-08-31 | 芋头科技（杭州）有限公司 | 基于人体信息的机器人监控系统 |
| CN106204640A (zh) * | 2016-06-29 | 2016-12-07 | 长沙慧联智能科技有限公司 | 一种运动目标检测系统及方法 |
| WO2019237516A1 (zh) * | 2018-06-11 | 2019-12-19 | 平安科技（深圳）有限公司 | 目标跟踪方法、装置、计算机设备及存储介质 |
| CN109949375A (zh) * | 2019-02-02 | 2019-06-28 | 浙江工业大学 | 一种基于深度图感兴趣区域的移动机器人目标跟踪方法 |
| CN111241931A (zh) * | 2019-12-30 | 2020-06-05 | 沈阳理工大学 | 一种基于YOLOv3的空中无人机目标识别和跟踪方法 |
| CN114926781A (zh) * | 2022-05-27 | 2022-08-19 | 北京邮电大学 | 支持实时监控场景的多人时空域异常行为定位方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于有效特征点的运动目标匹配跟踪算法;郑晓萌;张德海;;电子设计工程(第20期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116453062A (zh) | 2023-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | A novel finger and hand pose estimation technique for real-time hand gesture recognition | |
| CN107480704B (zh) | 一种具有遮挡感知机制的实时视觉目标跟踪方法 | |
| Luo et al. | Decomposition algorithm for depth image of human health posture based on brain health | |
| Ni et al. | Visual tracking using neuromorphic asynchronous event-based cameras | |
| CN116453062B (zh) | 基于机器人高精度柔顺装配的包装机装配风险监控方法 | |
| KR20190038808A (ko) | 비디오 데이터의 객체 검출 | |
| CN111199556B (zh) | 基于摄像头的室内行人检测和跟踪方法 | |
| WO2011013281A1 (ja) | 移動体検出方法及び移動体検出装置 | |
| CN110288627A (zh) | 一种基于深度学习和数据关联的在线多目标跟踪方法 | |
| CN104821010A (zh) | 基于双目视觉的人手三维信息实时提取方法及系统 | |
| Ali et al. | Multiple object tracking with partial occlusion handling using salient feature points | |
| CN110717934B (zh) | 一种基于strcf的抗遮挡目标跟踪方法 | |
| CN110751097B (zh) | 一种半监督的三维点云手势关键点检测方法 | |
| CN116091551B (zh) | 一种基于多模态融合的目标检索跟踪方法及系统 | |
| CN111552292B (zh) | 基于视觉的移动机器人路径生成与动态目标跟踪方法 | |
| Xiao et al. | A new tracking approach for visible and infrared sequences based on tracking-before-fusion | |
| CN112131991B (zh) | 一种基于事件相机的数据关联方法 | |
| Ikram et al. | Real time hand gesture recognition using leap motion controller based on CNN-SVM architechture | |
| Yashas et al. | Hand gesture recognition: a survey | |
| CN109064497B (zh) | 一种基于颜色聚类补充学习的视频跟踪方法 | |
| CN115564798A (zh) | 一种基于深度学习的智能机器人视觉跟踪方法 | |
| Luan et al. | Dynamic hand gesture recognition for robot ARM teaching based on improved LRCN model | |
| Karamiani et al. | Detecting and tracking moving objects in video sequences using moving edge features | |
| CN108257156B (zh) | 一种从视频中自动追踪目标物体的方法 | |
| Siam et al. | 4-DoF tracking for robot fine manipulation tasks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |