CN117549317A - 一种机器人抓取定位方法及系统 - Google Patents
一种机器人抓取定位方法及系统 Download PDFInfo
- Publication number
- CN117549317A CN117549317A CN202410045026.1A CN202410045026A CN117549317A CN 117549317 A CN117549317 A CN 117549317A CN 202410045026 A CN202410045026 A CN 202410045026A CN 117549317 A CN117549317 A CN 117549317A
- Authority
- CN
- China
- Prior art keywords
- value
- robot
- grabbing
- illumination
- track
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000005286 illumination Methods 0.000 claims abstract description 108
- 230000009471 action Effects 0.000 claims abstract description 65
- 238000004458 analytical method Methods 0.000 claims abstract description 41
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012423 maintenance Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 5
- 230000007613 environmental effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 238000010191 image analysis Methods 0.000 claims 1
- 238000010606 normalization Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract description 9
- 230000008569 process Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000006011 Stroke Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
Abstract
本申请公开了一种机器人抓取定位方法及系统,涉及机器人定位技术领域;该系统环境分析模块、定位调优模块和轨迹预警模块;通过分析目标物所处环境以得到调优参数,依据调优参数进行目标物的位姿识别并匹配到对应的抓取动作,使得机器人能够根据实际环境的噪声和光照条件进行自适应动态调整,从而提高抓取动作的鲁棒性和适应性,确保在不同环境下都能够获得准确的定位结果;通过对机器人抓取动作进行监测以形成三维运动轨迹图,依据三维运动轨迹图对机器人抓取动作的连贯性和稳定性进行分析和评估以判定机器人抓取动作是否存在风险,并生成抓取动作风险预警提前发现潜在的问题,进一步保障机器人抓取动作的稳定性和准确性。
Description
技术领域
本申请涉及机器人定位技术领域,具体而言,涉及一种机器人抓取定位方法及系统。
背景技术
在工业生产线上,定位对于机器人抓取动作至关重要,它可以确保机器人能够精准、安全地完成抓取任务;若没有准确的定位,机器人将无法有效地执行抓取任务,容易导致失败或错误的抓取结果,从而造成产品质量下降,甚至导致整个生产线的产品不合格;因此,准确的定位对于机器人的抓取来说尤为重要;
机器人的工作环境复杂多样,尤其是工业生产线上的机器人,环境中机械噪声过大,光线过暗等都是常见的;现有的机器人定位方法通常采用激光视觉定位方式进行识别定位从而进行抓取动作,但是视觉定位方法易受到环境光照、噪声等因素的干扰,光照条件不佳会使得图像过暗或者过亮,影响目标物体的辨识和位置估计;机械噪声会导致图像模糊或者失真,进而影响特征提取和匹配的准确性,造成机器人的抓取动作精度不高或者抓取动作错误;因此如何让机器人的视觉定位参数依据环境的变化进行自适应动态调节成为需要解决的问题。
发明内容
本申请提供一种机器人抓取定位系统,以解决上述背景技术提到的问题。
根据本申请的一个方面,提供了一种机器人抓取定位方法,包括以下步骤:
Z1:采集环境信息和动作信息并保存;
Z2:获取最新的更新时长,将系统当前时刻与最近一次的更新指令对应的时刻进行时间差值计算以得到实际时长,当实际时长等于更新时长时,则执行步骤Z3;
Z3:通过对环境信息进行光照干扰分析和噪声干扰分析以得到最新的光照干扰值和噪声干扰值;
Z4:通过接收到的最新的噪声干扰值和光照干扰值对视觉定位中的参数进行动态调整以得到准确的定位结果;具体为:
Z41:设定存在一个标准参数,其中标准参数包括标准曝光时长BY1、标准增益BY2和标准去噪强度BY3;
Z42:调取高强照射的数量Q1和低强照射的数量Q3,当Q1大于或等于Q3时,则输出强光调节信号;当Q1小于Q3时,则输出弱光调节信号;
将光照干扰值GZ和噪声干扰值HZ通过调优参数组的公式进行计算以得到调优曝光时长Y1、调优增益Y2和调优去噪强度Y3;其中BY1为标准曝光时长、BY2为标准增益,Y3为标准去噪强度,β1为设定的曝光时长转换系数,β2为设定的增益转换系数,β3为设定的去噪强度转换系数;当输出的是强光干扰信号时,则n4取值为奇数,当输出的是弱光干扰信号时,则n4取值为偶数;
Z43:依据调优参数进行调节以得到目标物图片,通过对目标物图片进行识别得到目标物位姿;设定存在若干种位姿,每种位姿均对应一个抓取动作;将目标物位姿与设定的所有位姿进行匹配以得到对应的抓取动作,控制机器人按照对应的抓取动作完成对目标物的抓取;
Z44:调取光照干扰值和噪声干扰值进行综合分析以得到更新时长,并将更新时长发送至Z2;
Z5:通过机器人抓取动作的流畅度进行分析判定机器人的抓取状态,并得到抓取状态值,据此以判断机器人抓取动作是否存在风险。
可选的,光照干扰分析的具体步骤为:
调取不同采集时刻的光照强度记为Gj,其中j=1,2,3……n1,n1取值为正整数,n1表示的是采集时刻的总数;将其代入定的公式进行计算以得到光照均衡值Gσ,/>为所有采集时刻的光照强度均值;
将光照强度与设定的光照区间进行比较分析以将光照强度分为高强照射、中强照射和低强照射,分别统计高强照射、中强照射和低强照射的数量,并将其分别记为Q1、Q2和Q3;
调取不同采集时刻对应的目标物彩色图像,并对其进行图片分析以得到图晰系数记为LSZj;
将光照强度Gj、光照均衡值Gσ、图晰系数LSZj、高强照射的数量Q1、中强照射的数量Q2和低强照射的数量Q3代入设定的公式进行计算以得到光照干扰值GZ,其中a3和a4分别为设定的权重系数,Gmax为设定的最佳光照强度,最佳光照强度是光照区间中上限值的平均值。
可选的,调取不同采集时刻对应的目标物彩色图像,并对其进行图片分析以得到图晰系数,具体如下:
调取不同采集时刻对应的目标物彩色图像,将目标物彩色图像进行划分为若干个像素格,利用照片识别器识别像素格亮度值和色温值,并将其分别记为Lji和Sji,其中i=1,2,3……n2,n2取值为正整数,n2表示的是像素格总数;将两者代入设定的公式进行计算以得到亮度均衡值Lσ和色温均衡值Sσ,/>为j的采集时刻对应的目标物彩色图像中像素格的亮度平均值,/>为j的采集时刻对应的目标物彩色图像中像素格的色温平均值;
将亮度值Lji、色温值Sji、亮度均衡值Lσ和色温均衡值Sσ代入设定的公式进行计算以得到图晰系数LSZj,其中a1和a2分别为设定的比例系数。
可选的,噪声干扰分析的具体步骤为:
调取不同采集时刻对应的目标物彩色图像,并对其进行傅里叶变换分析以得到图噪值记为Pσj;
以机器人为中心,以一定距离为半径画圆得到干扰范围;将处于干扰范围内的设备记为干扰设备;分别获取每个干扰设备的噪声值以及距离机器人的干扰距离,将噪声值除以干扰距离以得到该干扰设备的表现噪声值记为Hjk,其中k=1,2,3……n3,n3取值为正整数,n3表示的是干扰设备的总数,k表示的是其中任意一个干扰设备的序号;
将图噪值Pσj和表现噪声值Hjk代入设定的公式计算以得到噪声干扰值HZ。
可选的,调取不同采集时刻对应的目标物彩色图像,并对其进行傅里叶变换分析以得到图噪值,具体如下:
调取不同采集时刻对应的目标物彩色图像,将其进行灰度处理和快速傅里叶变换得到复数傅里叶矩阵,通过计算其模长的平方以表示信号在对应频率处的能量值,以频率为横轴,以能量值为纵轴绘制频谱图;
设定存在一个频率区间,将频率与频率区间进行比较分析以将频率分为低频、中频和高频,分别将低频、中频和高频对应的能量值进行求和计算以得到低频分量、中频分量和高频分量,并将分别记为P1j、P2j和P3j;将P1j、P2j和P3j代入设定的公式得到对应采集时刻的图噪系数Pσj。
可选的,通过机器人抓取动作的流畅度进行分析判定机器人的抓取状态,并得到抓取状态值,据此以判断机器人抓取动作是否存在风险;具体如下:
调取不同采集时刻对应的运动轨迹,将运动轨迹中每个轨迹点以及轨迹点对应的运动速度和运动方向在三维坐标轴中进行标注以得到运动轨迹三维图;依据运动轨迹三维图以得到每个轨迹点的三维坐标记为(x1,y1,z1)、(x2,y2,z2)……(xo,yo,zo);其中o=1,2,3……n5,n5取值为正整数,n5表示的是轨迹点的总数,o表示的是其中任一一个轨迹点的序号;取相邻两个轨迹点的运动方向,并计算相邻两个运动方向的夹角记为运动夹角;取相邻两个轨迹点的运动速度进行差值计算以得到速度差记为/>,将相邻两个轨迹点的坐标、运动夹角/>和速度差/>代入设定的公式进行计算以得到相邻轨迹的抓取轨迹值/>,其中m1、m2、m3分别为设定的权重系数;
将抓取轨迹轨迹值与设定的轨迹区间进行比较分析以将抓取轨迹值分为高风险轨迹值、中风险轨迹值和低风险轨迹值;分别统计运动轨迹三维图中高风险轨迹值、中风险轨迹值和低风险轨迹值的数量,并将其分别记为D1、D2和D3;将抓取轨迹值、高风险轨迹值的数量D1、中风险轨迹值的数量D2和低风险轨迹值的数量D3代入设定的公式进行计算以得到该抓取动作的抓取状态值DZ,其中d1、d2分别为设定的权重系数;
将抓取状态值与设定的状态阈值进行比较,当抓取状态值大于设定的状态阈值时,则生成机器人抓取动作风险预警,并发送生成机器人维护通知至对应的维护工程师。
根据本申请的一个方面,提供了一种机器人抓取定位系统。该系统包括:数据采集模块、服务器、环境分析模块、定位调优模块和轨迹预警模块;
数据采集模块通过搭载于机器人上的传感器以获取环境信息和动作信息,并将其发送至服务器保存;
服务器存储有更新时长,获取最近的更新时长,将系统当前时刻与最近一次的更新指令对应的时刻进行时间差值计算以得到实际时长,当实际时长等于更新时长时,则送至更新指令至环境分析模块;
环境分析模块接收到更新指令时,则通过对目标物所处环境进行光照干扰分析和噪声干扰分析以得到光照干扰值和噪声干扰值,并将两者发送至定位调优模块;
定位调优模块依据接收到的光照干扰值和噪声干扰值进行数值化分析以得到调优参数,机器人依据调优参数进行视觉定位和目标物的抓取;同时将光照干扰值和噪声干扰值进行综合分析以得到最新的更新时长,并将其发送至服务器;
轨迹预警模块通过对监测机器人抓取目标物的动作得到三维运动轨迹图,依据三维运动轨迹图对机器人的抓取动作的稳定性进行分析以得到抓取状态值,并据此判断机器人的抓取动作是否存在风险。
与现有技术相比,本发明的有益效果是:
(1)通过分析目标物所处环境以得到调优参数,依据调优参数进行目标物的位姿识别并匹配到对应的抓取动作;使得机器人能够根据实际环境的噪声和光照条件进行自适应动态调整,从而提高抓取动作的鲁棒性和适应性,确保在不同环境下都能够获得准确的定位结果;
(2)通过对机器人抓取动作进行监测以形成三维运动轨迹图,依据三维运动轨迹图对机器人抓取动作的连贯性和稳定性进行分析和评估以判定机器人抓取动作是否存在风险,并生成抓取动作风险预警提前发现潜在的问题,进一步保障机器人抓取动作的稳定性和准确性。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本发明的方法流程示意图
图2为本发明的系统总框图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1-图2所示,一种机器人抓取定位方法,基于一种机器人抓取定位系统以实现,该系统包括数据采集模块、服务器、环境分析模块、定位调优模块和轨迹预警模块;数据采集模块通过搭载于机器人上的传感器以获取环境信息和动作信息;其中环境信息包括光照强度和噪声值;动作信息包括动作速度、运动方向和运动轨迹;传感器包括深度摄像机、噪声传感器、光电传感器;深度摄像机用于对目标物进行拍照以得到目标物彩色图像,还用于监测机器人执行抓取动作时目标物所处位置以及该位置的运动速度和运动方向,将每个采集时刻对应的位置记为轨迹点,依次连接轨迹点以形成运动轨迹;噪声传感器用于监测每个设备运行时产生的噪声值;光电传感器用于监测光照强度;
该方法包括以下步骤:
Z1:数据采集模块通过搭载于机器人上的传感器以获取环境信息和动作信息,并将其发送至服务器保存;
Z2:服务器存储有更新时长,获取最近的更新时长,将系统当前时刻与最近一次的更新指令对应的时刻进行时间差值计算以得到实际时长,当实际时长等于更新时长时,则送至更新指令至环境分析模块;
Z3:环境分析模块接收到更新指令时,则通过对环境信息进行深化分析以得到最新的噪声干扰值和光照干扰值,并将其更新至定位调优模块,具体为:
对光照影响的分析:
调取不同采集时刻对应的目标物彩色图像,将目标物彩色图像进行划分为若干个像素格,利用照片识别器识别像素格亮度值和色温值,并将其分别记为Lji和Sji,其中i=1,2,3……n2,n2取值为正整数,n2表示的是像素格总数;Lji表示的是j采集时刻目标物彩色图像中i的像素格的亮度值,Sji表示的是j采集时刻目标物彩色图像中i的像素格的色温值;利用设定的公式进行计算以得到亮度均衡值Lσ和色温均衡值Sσ,/>为j的采集时刻对应的目标物彩色图像中像素格的亮度平均值,/>为j的采集时刻对应的目标物彩色图像中像素格的色温平均值;亮度均衡值和色温均衡值分别是衡量目标物彩色图像的亮度和色温的均衡程度值;
将亮度值Lji、色温值Sji、亮度均衡值Lσ和色温均衡值Sσ通过设定的公式进行计算以得到图晰系数LSZj,其中a1和a2分别为设定的比例系数;由公式可知,当像素格的亮度值和色温值分别越接近亮度平均值/>和色温平均值/>时,则图晰系数越大,表示目标物彩色图像越清晰;
调取不同采集时刻的光照强度,其中光照强度是指目标物体所在位置的光照强度,并将其记为Gj,其中j=1,2,3……n1,n1取值为正整数,n1表示的是采集时刻的总数;利用设定的公式进行计算以得到光照均衡值Gσ,/>为所有采集时刻的光照强度均值;光照均衡值是衡量目标物的位置光照均衡的程度值,当光照均衡值越大,则表示不同采集时刻下的目标物所处位置的光照强度越稳定;将光照强度与设定的光照区间进行比较分析,当光照强度大于设定的光照区间中的最大值时,说明该采集时刻的时候的光照强度比较大,存在由于光照强度大造成目标物彩色图像饱和度过高,影响机器人的视觉识别能力,则将该采集时刻对应的光照强度记为高强照射;当光照强度处于设定的光照区间之内时,则将该采集时刻对应的光照强度记为中强照射;当光照强度小于设定的光照区间中的最小值时,说明该采集时刻对应的光照强度比较小,存在较大的由于光照强度比较小造成及机器人难以准确识别目标物的轮廓和特征点的风险,则将该采集时刻对应的光照强度记为低强照射;分别统计高强照射、中强照射和低强照射的数量,并将其分别记为Q1、Q2和Q3;利用设定的公式/>进行计算以得到光照干扰值GZ,其中a3和a4分别为设定的权重系数;由公式可知,Gmax为设定的最佳光照强度,最佳光照强度是光照区间中上限值的平均值;当光照强度越接近最佳光照强度的时候则说明环境的光照强度越合适,则干扰值则越小,反之则干扰值越大;当图晰值越小时,则表示目标物彩色图像越不想清晰,则干扰值越大;当干扰值越大时,则表示此时环境光照强度对于机器人的视觉定位干扰越大;
对噪声影响的分析:
调取不同采集时刻对应的目标物彩色图像,将其进行灰度处理和快速傅里叶变换得到复数傅里叶矩阵F(u,v),其中u和v分别代表了信号在x方向和y方向上的频率;通过计算其模长的平方∣F(u,v)∣2来表示信号在频率为(u,v)处的能量值,能量值越大表示该频率分量在信号中占比越大;以频率为横轴,以能量值为纵轴绘制频谱图;
设定存在一个频率区间,将频率与频率区间进行比较分析,当频率小于设定的频率区间中的最小值时,则将该频率记为低频,将低频对应的能量值进行求和计算以得到低频分量记为P1j;当频率处于设定的频率区间之内时,则将该频率记为中频,将中频对应的能量值进行求和计算以得到中频分量记为P2j;当频率大于设定的频率区间中的最大值时,则将该频率记为高频,将高频对应的能量值进行求和计算以得到高频分量记为P3j;利用设定的公式得到对应采集时刻的图噪系数Pσj;由公式可知,高频分量通常包含了细节、边缘等细小的特征,而这些特征容易受到噪声的影响;当高频分量越大时,表示目标物彩色图像受噪声的影响比较大,则图噪系数越大;
以机器人为中心,以一定距离为半径画圆得到干扰范围;其中一定距离是5m或10m等;将处于干扰范围内的设备记为干扰设备;分别获取每个干扰设备的噪声值以及距离机器人的干扰距离,将噪声值除以干扰距离以得到该干扰设备的表现噪声值记为Hjk,其中k=1,2,3……n3,n3取值为正整数,n3表示的是干扰设备的总数,k表示的是其中任意一个干扰设备的序号;需要说明的是,当干扰设备的产生的噪声越大,其与机器人之间的距离越近,则该干扰设备的表现噪声值越大,说明该干扰设备产生的噪声对机器人的影响越大;
利用设定的公式计算以得到噪声干扰值HZ,由公式可知,当图噪值越大,j采集时刻的干扰设备的表现噪声值越大,则噪声干扰值越大;
Z4:定位调优模块通过接收到的最新的噪声干扰值和光照干扰值对视觉定位中的参数进行动态调整以得到准确的定位结果;具体为:
Z41:设定存在一个标准参数,其中标准参数包括标准曝光时长BY1、标准增益BY2和标准去噪强度BY3;标准参数是指在标准环境状态下的参数;需要说明的是,曝光时长是指拍摄过程中快门打开的时长;在较暗的环境下,需要增加曝光时长以获取更多的光线,保证图像足够明亮;而在较明亮的环境下,需要缩短曝光时长,避免图像曝光过度,导致图像失真或者过曝;增益是指相机传感器的放大倍数,用于增强图像的亮度;当光线强烈时,图像已经足够明亮,增加增益会导致图像过度曝光和噪声增加,进而影响图像质量和定位的准确性;去噪强度是指控制滤波器对图像进行去噪处理的参数;
Z42:调取高强照射的数量Q1和低强照射的数量Q3,当Q1大于等于Q3时,则输出强光调节信号;当Q1小于Q3时,则输出弱光调节信号;
将光照干扰值GZ和噪声干扰值HZ通过调优参数组的公式进行计算以得到调优曝光时长Y1、调优增益Y2和调优去噪强度Y3;其中BY1为标准曝光时长、BY2为标准增益,Y3为标准去噪强度,β1为设定的曝光时长转换系数,β2为设定的增益转换系数,β3为设定的去噪强度转换系数;当输出的是强光干扰信号时,则n4取值为奇数,当输出的是弱光干扰信号时,则n4取值为偶数;
Z43:依据调优参数进行调节以得到目标物图片,通过对目标物图片进行识别得到目标物位姿;设定服务器存储有若干种位姿,位姿是指物体在三维空间中的位置和方向,每种位姿均对应一个抓取动作;将目标物位姿与设定的所有位姿进行匹配以得到对应的抓取动作,控制机器人按照对应的抓取动作进行抓取;
Z44:调取光照干扰值GZ和噪声干扰值HZ,并将两者通过设定的公式进行计算以得到更新时长T,其中b1和b2分别为设定的权重系数,α为设定的时长转换系数,时长转换系数由本领域技术人员自行设定;将更新时长发送服务器;
通过分析目标物所处环境以得到调优参数,依据调优参数进行目标物的位姿识别并匹配到对应的抓取动作,使得机器人能够根据实际环境的噪声和光照条件进行自适应动态调整,有效地适应不同的光照和噪声情况,提高图像质量和定位准确性;同时,将识别得到的位姿与预设的位姿进行匹配,可以根据不同的目标位姿执行相应的抓取动作。
Z5:轨迹预警模块通过机器人抓取动作的流畅度进行分析判定机器人的抓取状态,并得到抓取状态值,据此以判断机器人抓取动作是否存在风险;具体为:
调取不同采集时刻对应的运动轨迹,将运动轨迹中每个轨迹点以及轨迹点对应的运动速度和运动方向在三维坐标轴中进行标注以得到运动轨迹三维图;依据运动轨迹三维图以得到每个轨迹点的三维坐标记为(x1,y1,z1)、(x2,y2,z2)……(xo,yo,zo);其中o=1,2,3……n5,n5取值为正整数,n5表示的是轨迹点的总数,o表示的是其中任一一个轨迹点的序号;取相邻两个轨迹点的运动方向,并计算相邻两个运动方向的夹角记为运动夹角,运动角越大,表示两个轨迹点之间的运动方向变化较大,意味着抓取动作的不连贯或不稳定性越大;取相邻两个轨迹点的运动速度进行差值计算以得到速度差记为/>,速度差越大,则表示相邻两个轨迹点之间的速度变化大,说明机器人在抓取过程中存在运动不平稳的可能性越大;利用设定的公式/>进行计算以得到相邻轨迹的抓取轨迹值/>,其中m1、m2、m3分别为设定的权重系数;以此类推以得到所有相邻轨迹点之间的轨迹值;
将抓取轨迹值与设定的轨迹区间进行比较分析,当抓取轨迹值大于设定的轨迹区间中的最大值时,说明该抓取轨迹值对应的相邻两个轨迹点之间的存在抓取不稳定的风险较大,则将该取轨迹轨迹值记为高风险轨迹值;当抓取轨迹轨迹值处于设定的轨迹区间之内时,则将该取轨迹轨迹值记为中风险轨迹值;当抓取轨迹轨迹值小于设定的轨迹区间中的最小值时,该取轨迹轨迹值记为低风险轨迹值;分别统计运动轨迹三维图中高风险轨迹值、中风险轨迹值和低风险轨迹值的数量,并将其分别记为D1、D2和D3;
利用设定的公式进行计算以得到该抓取动作的抓取状态值DZ,其中d1、d2分别为设定的权重系数;由公式可知,当运动轨迹三维图中高风险轨迹值、中风险轨迹值的数量越多,相邻两个轨迹点之间的抓取轨迹值越大,则抓取状态值越大,说明机器人完成该抓取动作的不稳定性越大;将抓取状态值与设定的状态阈值进行比较,当抓取状态值大于设定的状态阈值时,说明机器人的抓取动作存在不稳定风险,则生成机器人抓取动作风险预警,并发送生成机器人维护通知至对应的维护工程师以及时进行机器人维护;
通过对机器人抓取动作进行监测以形成三维运动轨迹图,依据三维运动轨迹图对机器人抓取动作的连贯性和稳定性进行分析和评估以判定机器人抓取动作是否存在风险,并生成抓取动作风险预警提前发现潜在的问题,进一步保障机器人抓取动作的稳定性和准确性。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (7)
1.一种机器人抓取定位方法,包括:
Z1:采集环境信息和动作信息;
其特征在于,还包括以下步骤:
Z2:获取最新的更新时长,将系统当前时刻与最近一次的更新指令对应的时刻进行时间差值计算以得到实际时长,当实际时长等于更新时长时,则执行步骤Z3;
Z3:基于环境信息进行光照干扰分析和噪声干扰分析以得到最新的光照干扰值和噪声干扰值;
Z4:通过接收到的最新的噪声干扰值和光照干扰值对视觉定位中的参数进行动态调整以得到准确的定位结果;具体为:
Z41:设定存在一个标准参数,其中标准参数包括标准曝光时长BY1、标准增益BY2和标准去噪强度BY3;
Z42:调取高强照射的数量Q1和低强照射的数量Q3,当Q1≥Q3时,则输出强光调节信号;当Q1<Q3时,则输出弱光调节信号;
将光照干扰值GZ和噪声干扰值HZ通过调优参数组的公式 进行计算以得到调优曝光时长Y1、调优增益Y2和调优去噪强度Y3;其中BY1为标准曝光时长、BY2为标准增益,Y3为标准去噪强度,β1为设定的曝光时长转换系数,β2为设定的增益转换系数,β3为设定的去噪强度转换系数;当输出的是强光干扰信号时,则n4取值为奇数,当输出的是弱光干扰信号时,则n4取值为偶数;
Z43:依据调优参数进行调节以得到目标物图片,通过对目标物图片进行识别得到目标物位姿;将目标物位姿与设定的所有位姿进行匹配以得到对应的抓取动作,控制机器人按照对应的抓取动作完成对目标物的抓取;
Z44:基于光照干扰值和噪声干扰值进行综合分析以得到更新时长,并将更新时长发送至Z2;
Z5:通过机器人抓取动作的流畅度进行分析判定机器人的抓取状态,并得到抓取状态值,据此判断机器人抓取动作是否存在风险。
2.根据权利要求1所述的一种机器人抓取定位方法,其特征在于,光照干扰分析的具体步骤为:
调取不同采集时刻的光照强度,并将其进行数值化分析以得到光照均衡值;
将光照强度与设定的光照区间进行比较分析以将光照强度分为高强照射、中强照射和低强照射,分别统计高强照射、中强照射和低强照射的数量;
调取不同采集时刻对应的目标物彩色图像,并对其进行图片分析以得到图晰系数;
将光照强度、光照均衡值、图晰系数、高强照射的数量、中强照射的数量和低强照射的数量进行归一化分析以得到光照干扰值。
3.根据权利要求2所述的一种机器人抓取定位方法,其特征在于,调取不同采集时刻对应的目标物彩色图像,并对其进行图片分析以得到图晰系数,具体如下:
调取不同采集时刻对应的目标物彩色图像,将目标物彩色图像进行划分为若干个像素格,利用照片识别器识别像素格亮度值和色温值,并将两者分别将进行数值化分析以得到亮度均衡值和色温均衡值;
将亮度值、色温值、亮度均衡值和色温均衡值进行综合分析以得到图晰系数。
4.根据权利要求1所述的一种机器人抓取定位方法,其特征在于,噪声干扰分析的具体步骤为:
调取不同采集时刻对应的目标物彩色图像,并对其进行傅里叶变换分析以得到图噪值;
以机器人为中心,以一定距离为半径画圆得到干扰范围;将处于干扰范围内的设备记为干扰设备;分别获取每个干扰设备的噪声值以及距离机器人的干扰距离,并将两者进行数值处理以得到表现噪声值;
将图噪值和表现噪声值进行公式化计算分析以得到噪声干扰值。
5.根据权利要求4所述的一种机器人抓取定位方法,其特征在于,调取不同采集时刻对应的目标物彩色图像,并对其进行傅里叶变换分析以得到图噪值,具体如下:
调取不同采集时刻对应的目标物彩色图像,将其进行灰度处理和快速傅里叶变换得到复数傅里叶矩阵,通过计算其模长的平方以表示信号在对应频率处的能量值,以频率为横轴,以能量值为纵轴绘制频谱图;
设定存在一个频率区间,将频率与频率区间进行比较分析以将频率分为低频、中频和高频,分别将低频、中频和高频对应的能量值进行求和计算以得到低频分量、中频分量和高频分量,并将三者进行数值化分析以得到图噪系数。
6.根据权利要求1所述的一种机器人抓取定位方法,其特征在于,通过机器人抓取动作的流畅度进行分析判定机器人的抓取状态,并得到抓取状态值,据此以判断机器人抓取动作是否存在风险;具体如下:
调取不同采集时刻对应的运动轨迹,将运动轨迹中每个轨迹点以及轨迹点对应的运动速度和运动方向在三维坐标轴中进行标注以得到运动轨迹三维图;依据运动轨迹三维图以得到每个轨迹点的三维坐标;取相邻两个轨迹点的运动方向,并计算相邻两个运动方向的夹角记为运动夹角;取相邻两个轨迹点的运动速度进行差值计算以得到速度差,将其与运动夹角和三维坐标进行公式化计算分析以得到相邻轨迹的抓取轨迹值;
将抓取轨迹轨迹值与设定的轨迹区间进行比较分析以将抓取轨迹值分为高风险轨迹值、中风险轨迹值和低风险轨迹值;分别统计运动轨迹三维图中高风险轨迹值、中风险轨迹值和低风险轨迹值的数量,将其与抓取轨迹值进行数值化分析以得到该抓取动作的抓取状态值;
将抓取状态值与设定的状态阈值进行比较,当抓取状态值大于设定的状态阈值时,则生成机器人抓取动作风险预警,并发送生成机器人维护通知至对应的维护工程师。
7.一种机器人抓取系统,包括数据采集模块和服务器;其特征在于,还包括环境分析模块、定位调优模块和轨迹预警模块;
数据采集模块通过搭载于机器人上的传感器以获取环境信息和动作信息,并将其发送至服务器保存;
服务器存储有更新时长,获取最近的更新时长,将系统当前时刻与最近一次的更新指令对应的时刻进行时间差值计算以得到实际时长,当实际时长等于更新时长时,则送至更新指令至环境分析模块;
环境分析模块接收到更新指令时,则通过对目标物所处环境进行光照干扰分析和噪声干扰分析以得到光照干扰值和噪声干扰值,并将两者发送至定位调优模块;
定位调优模块依据接收到的光照干扰值和噪声干扰值进行数值化分析以得到调优参数,机器人依据调优参数进行视觉定位和目标物的抓取;同时将光照干扰值和噪声干扰值进行综合分析以得到最新的更新时长,并将其发送至服务器;
轨迹预警模块通过监测机器人抓取目标物的动作得到三维运动轨迹图,依据三维运动轨迹图对机器人的抓取动作的稳定性进行分析以得到抓取状态值,并据此判断机器人的抓取动作是否存在风险。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410045026.1A CN117549317B (zh) | 2024-01-12 | 2024-01-12 | 一种机器人抓取定位方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410045026.1A CN117549317B (zh) | 2024-01-12 | 2024-01-12 | 一种机器人抓取定位方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117549317A true CN117549317A (zh) | 2024-02-13 |
CN117549317B CN117549317B (zh) | 2024-04-02 |
Family
ID=89823684
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410045026.1A Active CN117549317B (zh) | 2024-01-12 | 2024-01-12 | 一种机器人抓取定位方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117549317B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104077757A (zh) * | 2014-06-09 | 2014-10-01 | 中山大学 | 一种融合实时交通状态信息的道路背景提取与更新方法 |
CN108093183A (zh) * | 2018-02-11 | 2018-05-29 | 普联技术有限公司 | 一种摄像机日夜模式切换方法及终端设备 |
US20180297215A1 (en) * | 2017-04-14 | 2018-10-18 | Brown University | Eye In-Hand Robot |
CN108972556A (zh) * | 2018-08-14 | 2018-12-11 | 广东工业大学 | 微特电机生产线上复杂光照环境下的导线抓取系统及方法 |
CN112084957A (zh) * | 2020-09-11 | 2020-12-15 | 广东联通通信建设有限公司 | 一种移动目标滞留检测方法及系统 |
CN113664826A (zh) * | 2021-07-26 | 2021-11-19 | 南京轩世琪源软件科技有限公司 | 一种未知环境中的机器人抓取方法及系统 |
CN113696186A (zh) * | 2021-10-09 | 2021-11-26 | 东南大学 | 复杂光照条件下基于视触融合的机械臂自主移动抓取方法 |
CN115631401A (zh) * | 2022-12-22 | 2023-01-20 | 广东省科学院智能制造研究所 | 一种视觉感知的机器人自主抓取技能学习系统及方法 |
-
2024
- 2024-01-12 CN CN202410045026.1A patent/CN117549317B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104077757A (zh) * | 2014-06-09 | 2014-10-01 | 中山大学 | 一种融合实时交通状态信息的道路背景提取与更新方法 |
US20180297215A1 (en) * | 2017-04-14 | 2018-10-18 | Brown University | Eye In-Hand Robot |
CN108093183A (zh) * | 2018-02-11 | 2018-05-29 | 普联技术有限公司 | 一种摄像机日夜模式切换方法及终端设备 |
CN108972556A (zh) * | 2018-08-14 | 2018-12-11 | 广东工业大学 | 微特电机生产线上复杂光照环境下的导线抓取系统及方法 |
CN112084957A (zh) * | 2020-09-11 | 2020-12-15 | 广东联通通信建设有限公司 | 一种移动目标滞留检测方法及系统 |
CN113664826A (zh) * | 2021-07-26 | 2021-11-19 | 南京轩世琪源软件科技有限公司 | 一种未知环境中的机器人抓取方法及系统 |
CN113696186A (zh) * | 2021-10-09 | 2021-11-26 | 东南大学 | 复杂光照条件下基于视触融合的机械臂自主移动抓取方法 |
CN115631401A (zh) * | 2022-12-22 | 2023-01-20 | 广东省科学院智能制造研究所 | 一种视觉感知的机器人自主抓取技能学习系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117549317B (zh) | 2024-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106895952B (zh) | 基于视觉测量技术风洞模型振动的抑制方法 | |
CN111401246A (zh) | 一种烟雾浓度检测方法、装置、设备及存储介质 | |
CN111161214B (zh) | 一种基于双目视觉的猪只体重测量及饮水行为识别系统及方法 | |
CN116823064A (zh) | 基于bim技术的建筑工程质量监控系统 | |
EP2549759A1 (en) | Method and system for facilitating color balance synchronization between a plurality of video cameras as well as method and system for obtaining object tracking between two or more video cameras | |
CN111065915B (zh) | 优化对目标物体外部检查的设备及其方法 | |
CN116229036B (zh) | 数据采集系统、方法、计算机设备及存储介质 | |
CN116630327B (zh) | 基于热力图的锅炉状态异常监测系统 | |
CN117549317B (zh) | 一种机器人抓取定位方法及系统 | |
CN116228780A (zh) | 基于计算机视觉的硅片缺陷检测方法及系统 | |
CN114494438A (zh) | 基于目标跟踪技术的继电器触点共同振动次数测量方法 | |
CN111833347A (zh) | 一种输电线路防振锤缺陷检测方法及相关装置 | |
CN103425958B (zh) | 一种视频中不动物检测的方法 | |
CN112434600A (zh) | 一种无人机巡检方法及系统 | |
CN110335274B (zh) | 一种三维模具缺陷检测方法及装置 | |
CN111473944B (zh) | 观测流场中存在复杂壁面的piv数据修正方法、装置 | |
CN112861817A (zh) | 一种仪表噪声图像处理方法 | |
CN112345542A (zh) | 一种隧道掌子面裂隙快速识别的方法 | |
CN108509845B (zh) | 基于特征拟合的变电站仪表设备巡检的视觉检测方法 | |
CN117237676B (zh) | 一种核电厂基于事件相机对小目标掉落轨迹的处理方法 | |
CN117232638B (zh) | 机器人振动检测方法及系统 | |
CN111898525A (zh) | 烟雾识别模型的构建方法、进行烟雾检测的方法及装置 | |
CN113897587B (zh) | 镀膜机的设备监测方法、装置及镀膜机 | |
CN114913316B (zh) | 工业设备表计识别的图像分类方法、装置、电子设备和存储介质 | |
CN114240765A (zh) | 基于灰度相机的干扰光照去除方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |