CN117863182A - 一种基于图像处理的机械臂精细控制方法、装置及机械臂 - Google Patents
一种基于图像处理的机械臂精细控制方法、装置及机械臂 Download PDFInfo
- Publication number
- CN117863182A CN117863182A CN202410090412.2A CN202410090412A CN117863182A CN 117863182 A CN117863182 A CN 117863182A CN 202410090412 A CN202410090412 A CN 202410090412A CN 117863182 A CN117863182 A CN 117863182A
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- track
- image
- coordinate system
- pixel coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 title claims abstract description 34
- 230000009471 action Effects 0.000 claims abstract description 53
- 230000003068 static effect Effects 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 230000001133 acceleration Effects 0.000 claims description 12
- 238000005452 bending Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 239000000463 material Substances 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 16
- 238000004590 computer program Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007598 dipping method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于图像处理的机械臂精细控制方法、装置及机械臂，其中方法包括如下步骤：获取待执行样本库中的动态图像；基于动态图像，获取动作执行载体在动态图像中移动的像素坐标系轨迹；将像素坐标系轨迹转换为机械臂的基坐标系轨迹，得到控制机械臂的轨迹参数；控制机械臂按照基坐标系轨迹运动，带动所述机械臂末端的动作执行载体进行动态图像中的动作复现。通过获取待执行样本库中相应基础动作的动态GIF图像的像素坐标系轨迹，并将其转换为机械臂的基坐标系轨迹，进而得到通过动作执行载体复现动作的控制参数，不受预设库素材的约束，可以实现基础动作任意组合，具有适应性强、复现准确等诸多优点。
Description
技术领域
本发明涉及机械臂控制技术领域，特别涉及一种基于图像处理的机械臂精细控制方法、装置及机械臂。
背景技术
近年来随着机器人行业的蓬勃发展，人们对协作机械臂的精细化控制要求越来越高，而由于毛笔是柔性介质，用机械臂写毛笔字，需要综合考虑毛笔的柔软度、蘸墨时的吸墨量、在宣纸等介质上的书写阻力等因素，对于机械臂的轨迹规划、力度控制、速度控制、位移控制，以及计算机视觉反馈和伺服控制都有较高的要求。在现有方案中，在楷体字库中选择任意汉字然后通过对汉字进行图像处理生成了汉字笔画轨迹、力度和运笔角度。
虽然市场上出现了好几款写字机器人，但这些机器人写字在技术层面上应用的仅限于机械臂末端的位置控制，没有考虑书法中的力道艺术。单纯的把汉字的轮廓描绘出来，显然不能满足大家的审美需求。
目前在机械臂应用市场中，也出现了一些使用机械臂书写设备对中国传统书法艺术进行模拟的产品。虽然现有的机械臂书写设备可以进行很多种字体的书法书写，但大多数机械臂书写设备都是采用示教或者提前录入特定文字的方式进行书写。如果使用上述的控制策略进行书写，则机械臂只能按照调试好的文字数据库书写固定的文字，在使用层面功能过于单一，不便于进行具有特色的书法创造。
发明内容
本发明实施例的目的是提供一种基于图像处理的机械臂精细控制方法、装置及机械臂，通过获取待执行样本库中相应基础动作的动态GIF图像的像素坐标系轨迹，并将其转换为机械臂的基坐标系轨迹，进而得到通过动作执行载体复现动作的控制参数，不受预设库素材的约束，可以实现基础动作任意组合，具有适应性强、复现准确等诸多优点。
为解决上述技术问题，本发明实施例的第一方面提供了一种基于图像处理的机械臂精细控制方法，包括如下步骤：
获取待执行样本库的动态图像；
基于所述动态图像，获取动作执行载体在所述动态图像中移动的像素坐标系轨迹；
将所述像素坐标系轨迹转换为机械臂的基坐标系轨迹，得到控制所述机械臂的轨迹参数；
控制所述机械臂按照基坐标系轨迹运动，带动所述机械臂末端的动作执行载体进行所述动态图像中的动作复现。
进一步地，基于所述动态图像，获取动作执行载体在所述动态图像中移动的像素坐标系轨迹，包括：
将所述动态图像拆分成若干个静态图像帧；
基于所述若干个静态图像帧，进行图像矩阵差值计算，得到前后两个所述静态图像帧的差值，并生成新的差值图片；
获取所述差值图片的轮廓，保存所述轮廓及其质心和坐标值；
基于所有所述差值图片轮廓的质心，得到所述像素坐标系轨迹；
基于所述像素坐标系轨迹的斜率变化，得到轨迹角度变化率和动作执行载体在轨迹处的斜率弯曲角度；
依据所述轮廓坐标值和所述像素坐标系轨迹的斜率负倒数计算所述动作执行载体的标准横截面积，所述标准横截面积与所述机械臂握持所述动作执行载体的力度成正比。
进一步地，所述将所述像素坐标系轨迹转换为机械臂的基坐标系轨迹，得到控制所述机械臂的轨迹参数，包括：
将所述像素坐标系轨迹转换所述机械臂基坐标系轨迹；
通过moveit路径规划，依据所述机械臂基坐标系轨迹得到包含时间信息、加速度信息和速度信息的轨迹点；
对包含时间信息、加速度信息和速度信息的所述轨迹点进行预设次数的样条插补，得到用于控制所述机械臂运动的轨迹参数。
进一步地，所述机械臂末端还设置有图像获取组件，所述动作执行载体为毛笔；
所述得到用于所述机械臂运动的轨迹参数值之后，还包括：
通过所述图像获取组件获取所述机械臂带动所述毛笔运动时所述毛笔书写的笔画图像；
获取所述笔画图像相应的笔画横截面积依据所述笔画横截面积计算所述机械臂控制所述毛笔的实时力度值；
将所述实施力度值与所述机械臂控制所述毛笔的预设力度值进行对比；
依据对比结果，调整所述机械臂末端带动所述毛笔的力度。
相应地，本发明实施例的第二方面提供了一种基于图像处理的机械臂精细控制装置，通过上述任一机械臂精细控制方法控制机械臂，包括：
动态图像获取模块，其用于获取待执行样本库动态图像；
图像轨迹获取模块，其用于基于所述动态图像，获取动作执行载体在所述动态图像中移动的像素坐标系轨迹；
图像轨迹转换模块，其用于将所述像素坐标系轨迹转换为机械臂的基坐标系轨迹，得到控制所述机械臂的轨迹参数；
动作执行控制模块，其用于控制所述机械臂按照基坐标系轨迹运动，带动所述机械臂末端的动作执行载体进行所述动态图像中的动作复现。
进一步地，所述图像轨迹获取模块包括：
图像拆分单元，其用于将所述动态图像拆分成若干个静态图像帧；
图片生成单元，其用于基于所述若干个静态图像帧，进行图像矩阵差值计算，得到前后两个所述静态图像帧的差值，并生成新的差值图片；
轮廓获取单元，其用于获取所述差值图片的轮廓，保存所述轮廓及其质心和坐标值；
轨迹生成单元，其用于基于所有所述差值图片轮廓的质心，得到所述像素坐标系轨迹；
斜率计算单元，其用于基于所述像素坐标系轨迹的斜率变化，得到轨迹角度变化率和动作执行载体在轨迹处的斜率弯曲角度；
面积计算单元，其用于依据所述轮廓坐标值和所述像素坐标系轨迹的斜率负倒数计算所述动作执行载体的标准横截面积，所述标准横截面积与所述机械臂握持所述动作执行载体的力度成正比。
进一步地，所述图像轨迹转换模块包括：
轨迹转换单元，其用于将所述像素坐标系轨迹转换所述机械臂基坐标系轨迹；
轨迹点生成单元，其用于通过moveit路径规划，依据所述机械臂基坐标系轨迹得到包含时间信息、加速度信息和速度信息的轨迹点；
控制参数计算单元，其用于对包含时间信息、加速度信息和速度信息的所述轨迹点进行预设次数的样条插补，得到用于控制所述机械臂运动的轨迹参数。
进一步地，所述机械臂末端还设置有图像获取组件，所述动作执行载体为毛笔；
所述图像轨迹转换模块还包括：
实时图像获取单元，其用于通过所述图像获取组件获取所述机械臂带动所述毛笔运动时所述毛笔书写的笔画图像；
笔画面积对比单元，其用于获取所述笔画图像相应的笔画横截面积，依据所述笔画横截面积计算所述机械臂控制所述毛笔的实时力度值；
力度值对比单元，其用于将所述实施力度值与所述机械臂控制所述毛笔的预设力度值进行对比；
力度值调整单元，其用于依据对比结果，调整所述机械臂末端带动所述毛笔的实时力度值，使所述实时力度值等于所述预设力度值。
相应地，本发明实施例的第三方面提供了一种机械臂，包括上述任一所述的基于图像处理的机械臂精细控制装置。
相应地，本发明实施例的第四方面提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述任一所述的基于图像处理的机械臂精细控制方法。
相应地，本发明实施例的第五方面提供了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述基于图像处理的机械臂精细控制方法。
本发明实施例的上述技术方案具有如下有益的技术效果：
通过获取毛笔字字体库中的笔画动态GIF图像的像素坐标系轨迹，并将其转换为机械臂的基坐标系轨迹，进而得到通过毛笔字书写的控制参数，由于能够准确复现字体库中的基础笔画，因此可以通过笔画组合形成任意汉字，不受预设库字数的约束，实现任意汉字的书写，具有各种字体适应性强、书写工整准确等诸多优点。
附图说明
图1是本发明实施例提供的基于图像处理的机械臂精细控制方法流程图；
图2是本发明实施例提供的机械臂控制方法逻辑示意图；
图3是本发明实施例提供的毛笔字体库动态图像的静态图像帧示意图；
图4是本发明实施例提供的差值图片示意图；
图5是本发明实施例提供的依据差值图片生成的像素坐标系轨迹图；
图6是本发明实施例提供的坐标系转换控制过程示意图；
图7是本发明实施例提供的机械臂控制毛笔书写的毛笔字实例图；
图8是本发明实施例提供的基于图像处理的机械臂精细控制装置模块框图；
图9是本发明实施例提供的图像轨迹获取模块框图；
图10是本发明实施例提供的图像轨迹转换模块框图。
附图标记：
1、动态图像获取模块，2、图像轨迹获取模块，21、图像拆分单元，22、图片生成单元，23、轮廓获取单元，24、轨迹生成单元，25、斜率计算单元，26、面积计算单元，3、图像轨迹转换模块，31、轨迹转换单元，32、轨迹点生成单元，33、控制参数计算单元，34、实时图像获取单元，35、力度值计算单元，36、力度值对比单元，37、力度值调整单元，4、毛笔书写控制模块。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
请参照图1，本发明实施例的第一方面提供了一种基于图像处理的机械臂精细控制方法，包括如下步骤：
步骤S100，获取待执行样本库的动态图像，可以为GIF动图。
步骤S200，基于动态图像，获取动作执行载体在动态图像中移动的像素坐标系轨迹。
步骤S300，将像素坐标系轨迹转换为机械臂的基坐标系轨迹，得到控制机械臂的轨迹参数。
步骤S400，控制机械臂按照基坐标系轨迹运动，带动机械臂末端的动作执行载体进行动态图像中的动作复现。
上述技术方案中，通过获取待执行样本库中相应基础动作的动态GIF图像的像素坐标系轨迹，并将其转换为机械臂的基坐标系轨迹，进而得到通过动作执行载体复现动作的控制参数，不受预设库素材的约束，可以实现基础动作任意组合，具有适应性强、复现准确等诸多优点。
具体的，请参照图2，步骤S200中的基于动态图像，获取动作执行载体在动态图像中移动的像素坐标系轨迹，包括：
步骤S210，将动态图像拆分成若干个静态图像帧。如图3所示，以毛笔字中的“心”字为例，通过将心字的动态笔画图进行拆分，得到46帧的静态图像。
步骤S220，基于若干个静态图像帧，进行图像矩阵差值计算，得到前后两个静态图像帧的差值，并生成新的差值图片。如图4所示，通过计算心字动态笔画图的46帧静态图像，进行图像矩阵差值计算，得到45个差值图片。
步骤S230，获取差值图片的轮廓，保存轮廓及其质心和坐标值。
步骤S240，基于所有差值图片轮廓的质心，得到像素坐标系轨迹。如图5所示，基于上述45个差值图片，可以得到心字的像素坐标系轨迹图；差值图片的质心组成了上述心字的像素坐标系轨迹图。
步骤S250，基于像素坐标系轨迹的斜率变化，得到轨迹角度变化率和动作执行载体在轨迹处的斜率弯曲角度。
通过图像轮廓中的所有质心连线计算出可以直接计算出轨迹斜率的变化，再根据轨迹斜率变化可计算出轨迹角度变化率，从而求出动作执行载体在轨迹处斜率弯曲角度，从而推理出动作执行载体的姿态。其中，轨迹斜率为沿着轨迹行进方向的斜率。
步骤S260，依据轮廓坐标值和像素坐标系轨迹的斜率负倒数计算动作执行载体的标准横截面积，标准横截面积与机械臂握持动作执行载体的力度成正比。
其中，上述轨迹斜率K的负倒数为横截面方向的相率。
下面以一个具体实施例对上述过程进行说明：1、通过轮廓中两个相邻质心可以计算出轨迹斜率k；2、计算与质心垂直的斜率，即斜率的负倒数；3、根据质心点和斜率k，可以确定这条直线(y＝kx+b)；4、计算经过这条直线所有的像素点数，即横截面积。
具体的，请参照图6，步骤S300中的将像素坐标系轨迹转换为机械臂的基坐标系轨迹，得到控制机械臂的轨迹参数，包括：
步骤S310，将像素坐标系轨迹转换机械臂基坐标系轨迹。
上述过程中，将像素坐标系轨迹转换成相机坐标系的轨迹，然后再转换成机械臂的基坐标系轨迹。
具体的，相机内参中像素坐标系与相机坐标系之间的关系如下式。
μ,υ是像素坐标系内质心的坐标，xc、yc、zc是base坐标系，μ0和υ0是图片中心点像素坐标系(图片是480*480),μ0和υ0都是240。f/dx和f/dy在相机内参中表示是单位像素的宽度，其含义类似于汉字的字号，依据经验值得到。
上述公式有三个未知量xc、yc、zc，而zc值由纸的高度决定，xc、yc可以直接计算得出。
步骤S320，通过moveit路径规划，依据机械臂基坐标系轨迹得到包含时间信息、加速度信息和速度信息的轨迹点。
步骤S330，对包含时间信息、加速度信息和速度信息的轨迹点进行预设次数的样条插补，得到用于控制机械臂运动的轨迹参数。
通过上述过程，由像素坐标系轨迹可得到机械臂基坐标系轨迹，再对机械臂基坐标系轨迹点进行多次插值处理，将生成的小数量的轨迹点插补成机械臂关节可以直接使用的轨迹。
其中，待执行样本库包括：毛笔字样本库、钢笔字样本或其他具有笔画粗细变化的字体样本库，动作执行载体相应可以包括：毛笔、钢笔或其他具有笔画粗细变化的字体样本库。下面，以笔画粗细变化最明显的毛笔字样本库对本技术方案进行说明。
进一步地，机械臂末端还设置有图像获取组件，可选的，为高清摄像头或高清相机。动作执行载体为毛笔。
因此，在步骤S330中的得到用于机械臂运动的轨迹参数值之后，还包括：
步骤S340，通过图像获取组件获取机械臂带动毛笔运动时毛笔书写的笔画图像。
步骤S350，获取笔画图像相应的笔画横截面积，依据笔画横截面积计算机械臂控制毛笔的实时力度值。
具体的，依据笔画横截面积计算毛笔实时力度值的具体过程为：在毛笔头刚接触书写介质时至毛笔头与书写介质接触一半深度时，二者的关系为：y＝a*x2+b*x+c，其中，x为横截面积，y为毛笔的实时力度值，a、b、c为常数，且a≠0；a、b、c的取值与机械臂的自由度数量、末端夹持工具结构、毛笔型号有关，通常可以通过样机标定结合曲线拟合算法得到。
步骤S360，将实施力度值与机械臂控制所述毛笔的预设力度值进行对比。
步骤S370，依据对比结果，调整机械臂末端带动毛笔的实时力度值，使实时力度值趋近于或等于预设力度值。
通过在机械臂末端设置一个摄像头，在书写的同时对已完成部分进行实时拍摄，拍摄字体已书写部分的实时横截面积与已知的标准横截面积进行比较。基于比较结果控制机械臂调整控制毛笔书写的力度，形成一个闭环控制，实现毛笔字的完美书写。
请参照图7，机械臂末端固定设置的毛笔，基于上述控制方法，可以实现对毛笔字的有效书写，毛笔的力度控制准确，与毛笔字笔画动态图中的书写力度基本一致。
相应地，请参照图8，本发明实施例的第二方面提供了一种基于图像处理的机械臂精细控制装置，通过上述任一机械臂精细控制方法控制机械臂，包括：
动态图像获取模块1，其用于获取待执行样本库动态图像；
图像轨迹获取模块2，其用于基于动态图像，获取动作执行载体在动态图像中移动的像素坐标系轨迹；
图像轨迹转换模块3，其用于将像素坐标系轨迹转换为机械臂的基坐标系轨迹，得到控制机械臂的轨迹参数；
动作执行控制模块4，其用于控制机械臂按照基坐标系轨迹运动，带动机械臂末端的动作执行载体进行动态图像中的动作复现。
进一步地，请参照图9，图像轨迹获取模块2包括：
图像拆分单元21，其用于将动态图像拆分成若干个静态图像帧；
图片生成单元22，其用于基于若干个静态图像帧，进行图像矩阵差值计算，得到前后两个静态图像帧的差值，并生成新的差值图片；
轮廓获取单元23，其用于获取差值图片的轮廓，保存轮廓及其质心和坐标值；
轨迹生成单元24，其用于基于所有差值图片轮廓的质心，得到像素坐标系轨迹；
斜率计算单元25，其用于基于像素坐标系轨迹的斜率变化，得到轨迹角度变化率和动作执行在轨迹处的斜率弯曲角度；
面积计算单元26，其用于依据轮廓坐标值和像素坐标系轨迹的斜率负倒数计算动作执行载体的标准横截面积，标准横截面积与机械臂握持动作执行载体的力度成正比。
进一步地，请参照图10，图像轨迹转换模块3包括：
轨迹转换单元31，其用于将像素坐标系轨迹转换机械臂基坐标系轨迹；
轨迹点生成单元32，其用于通过moveit路径规划，依据机械臂基坐标系轨迹得到包含时间信息、加速度信息和速度信息的轨迹点；
控制参数计算单元33，其用于对包含时间信息、加速度信息和速度信息的轨迹点进行预设次数的样条插补，得到用于控制机械臂运动的轨迹参数。
进一步地，机械臂末端还设置有图像获取组件，动作执行载体为毛笔；图像轨迹转换模块3还包括：
实时图像获取单元34，其用于通过图像获取组件获取机械臂带动毛笔运动时毛笔书写的笔画图像；
力度值计算单元35，其用于获取笔画图像相应的笔画横截面积，依据笔画横截面积计算机械臂控制毛笔的实时力度值；
力度值对比单元36，其用于将实施力度值与机械臂控制毛笔的预设力度值进行对比；
力度值调整单元37，其用于依据对比结果，调整机械臂末端带动毛笔的力度。
上述机械臂精细控制装置与前述机械臂精细控制方法的过程相对应。
相应地，本发明实施例的第三方面提供了一种机械臂，包括上述任一的基于图像处理的机械臂精细控制装置。
相应地，本发明实施例的第四方面提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行上述任一的基于图像处理的机械臂精细控制方法。
相应地，本发明实施例的第五方面提供了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述基于图像处理的机械臂精细控制方法。
本发明实施例旨在保护一种基于图像处理的机械臂精细控制方法、装置及机械臂，其中方法包括如下步骤：获取待执行样本库中的动态图像；基于动态图像，获取动作执行载体在动态图像中移动的像素坐标系轨迹；将像素坐标系轨迹转换为机械臂的基坐标系轨迹，得到控制机械臂的轨迹参数；控制机械臂按照基坐标系轨迹运动，带动所述机械臂末端的动作执行载体进行动态图像中的动作复现。上述技术方案具备如下效果：
通过获取毛笔字字体库中的笔画动态GIF图像的像素坐标系轨迹，并将其转换为机械臂的基坐标系轨迹，进而得到通过毛笔字书写的控制参数，由于能够准确复现字体库中的基础笔画，因此可以通过笔画组合形成任意汉字，不受预设库字数的约束，实现任意汉字的书写，具有各种字体适应性强、书写工整准确等诸多优点。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (10)
1.一种基于图像处理的机械臂精细控制方法，其特征在于，包括如下步骤：
获取待执行样本库中的动态图像；
基于所述动态图像，获取动作执行载体在所述动态图像中移动的像素坐标系轨迹；
将所述像素坐标系轨迹转换为机械臂的基坐标系轨迹，得到控制所述机械臂的轨迹参数；
控制所述机械臂按照基坐标系轨迹运动，带动所述机械臂末端的动作执行载体进行所述动态图像中的动作复现。
2.根据权利要求1所述的基于图像处理的机械臂精细控制方法，其特征在于，基于所述动态图像，获取动作执行载体在所述动态图像中移动的像素坐标系轨迹，包括：
将所述动态图像拆分成若干个静态图像帧；
基于所述若干个静态图像帧，进行图像矩阵差值计算，得到前后两个所述静态图像帧的差值，并生成新的差值图片；
获取所述差值图片的轮廓，保存所述轮廓及其质心和坐标值；
基于所有所述差值图片轮廓的质心，得到所述像素坐标系轨迹；
基于所述像素坐标系轨迹的斜率变化，得到轨迹角度变化率和动作执行载体在轨迹处的斜率弯曲角度；
依据所述轮廓坐标值和所述像素坐标系轨迹的斜率负倒数计算所述动作执行载体的标准横截面积，所述标准横截面积与所述机械臂握持所述动作执行载体的力度成正比。
3.根据权利要求2所述的基于图像处理的机械臂精细控制方法，其特征在于，所述将所述像素坐标系轨迹转换为机械臂的基坐标系轨迹，得到控制所述机械臂的轨迹参数，包括：
将所述像素坐标系轨迹转换所述机械臂基坐标系轨迹；
通过moveit路径规划，依据所述机械臂基坐标系轨迹得到包含时间信息、加速度信息和速度信息的轨迹点；
对包含时间信息、加速度信息和速度信息的所述轨迹点进行预设次数的样条插补，得到用于控制所述机械臂运动的轨迹参数。
4.根据权利要求3所述的基于图像处理的机械臂精细控制方法，其特征在于，所述机械臂末端还设置有图像获取组件，所述动作执行载体为毛笔；
所述得到用于所述机械臂运动的轨迹参数值之后，还包括：
通过所述图像获取组件获取所述机械臂带动所述毛笔运动时所述毛笔书写的笔画图像；
获取所述笔画图像相应的笔画横截面积，依据所述笔画横截面积计算所述机械臂控制所述毛笔的实时力度值；
将所述实施力度值与所述机械臂控制所述毛笔的预设力度值进行对比；
依据对比结果，调整所述机械臂末端带动所述毛笔的实时力度值，使所述实时力度值等于所述预设力度值。
5.一种基于图像处理的机械臂精细控制装置，其特征在于，通过如权利要求1-4任一所述的机械臂精细控制方法控制机械臂，包括：
动态图像获取模块，其用于获取待执行样本库的动态图像；
图像轨迹获取模块，其用于基于所述动态图像，获取动作执行载体在所述动态图像中移动的像素坐标系轨迹；
图像轨迹转换模块，其用于将所述像素坐标系轨迹转换为机械臂的基坐标系轨迹，得到控制所述机械臂的轨迹参数；
动作执行控制模块，其用于控制所述机械臂按照基坐标系轨迹运动，带动所述机械臂末端的动作执行载体进行所述动态图像中的动作复现。
6.根据权利要求5所述的基于图像处理的机械臂精细控制装置，其特征在于，所述图像轨迹获取模块包括：
图像拆分单元，其用于将所述动态图像拆分成若干个静态图像帧；
图片生成单元，其用于基于所述若干个静态图像帧，进行图像矩阵差值计算，得到前后两个所述静态图像帧的差值，并生成新的差值图片；
轮廓获取单元，其用于获取所述差值图片的轮廓，保存所述轮廓及其质心和坐标值；
轨迹生成单元，其用于基于所有所述差值图片轮廓的质心，得到所述像素坐标系轨迹；
斜率计算单元，其用于基于所述像素坐标系轨迹的斜率变化，得到轨迹角度变化率和动作执行载体在轨迹处的斜率弯曲角度；
面积计算单元，其用于依据所述轮廓坐标值和所述像素坐标系轨迹的斜率负倒数计算所述动作执行载体的标准横截面积，所述标准横截面积与所述机械臂握持所述动作执行载体的力度成正比。
7.根据权利要求6所述的基于图像处理的机械臂精细控制装置，其特征在于，所述图像轨迹转换模块包括：
轨迹转换单元，其用于将所述像素坐标系轨迹转换所述机械臂基坐标系轨迹；
轨迹点生成单元，其用于通过moveit路径规划，依据所述机械臂基坐标系轨迹得到包含时间信息、加速度信息和速度信息的轨迹点；
控制参数计算单元，其用于对包含时间信息、加速度信息和速度信息的所述轨迹点进行预设次数的样条插补，得到用于控制所述机械臂运动的轨迹参数。
8.根据权利要求7所述的基于图像处理的机械臂精细控制装置，其特征在于，所述机械臂末端还设置有图像获取组件，所述动作执行载体为毛笔；
所述图像轨迹转换模块还包括：
实时图像获取单元，其用于通过所述图像获取组件获取所述机械臂带动所述毛笔运动时所述毛笔书写的笔画图像；
力度值计算单元，其用于获取所述笔画图像相应的笔画横截面积，依据所述笔画横截面积计算所述机械臂控制所述毛笔的实时力度值；
力度值对比单元，其用于将所述实施力度值与所述机械臂控制所述毛笔的预设力度值进行对比；
力度值调整单元，其用于依据对比结果，调整所述机械臂末端带动所述毛笔的实时力度值，使所述实时力度值等于所述预设力度值。
9.一种机械臂，其特征在于，包括如权利要求5-8任一所述的基于图像处理的机械臂精细控制装置。
10.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-4任一所述的基于图像处理的机械臂精细控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410090412.2A CN117863182A (zh) | 2024-01-22 | 2024-01-22 | 一种基于图像处理的机械臂精细控制方法、装置及机械臂 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410090412.2A CN117863182A (zh) | 2024-01-22 | 2024-01-22 | 一种基于图像处理的机械臂精细控制方法、装置及机械臂 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117863182A true CN117863182A (zh) | 2024-04-12 |
Family
ID=90588331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410090412.2A Pending CN117863182A (zh) | 2024-01-22 | 2024-01-22 | 一种基于图像处理的机械臂精细控制方法、装置及机械臂 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117863182A (zh) |
-
2024
- 2024-01-22 CN CN202410090412.2A patent/CN117863182A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108460369B (zh) | 一种基于机器视觉的绘图方法及系统 | |
| CN106041928B (zh) | 一种基于工件模型的机器人作业任务生成方法 | |
| US7930067B2 (en) | Motion editing apparatus and motion editing method for robot, computer program and robot apparatus | |
| CN106003033B (zh) | 一种具有力控制的六自由度机械臂标准汉字书写方法 | |
| CN113524157A (zh) | 配置临摹功能的机器人系统、方法、机械臂和存储介质 | |
| Song et al. | Artistic pen drawing on an arbitrary surface using an impedance-controlled robot | |
| Berio et al. | Learning dynamic graffiti strokes with a compliant robot | |
| CN103020085B (zh) | 一种个人风格化书法动态字库的实现方法及其应用 | |
| US20130229390A1 (en) | Methods and Apparatus for Deformation of Virtual Brush Marks via Texture Projection | |
| CN109664300A (zh) | 一种基于力觉学习的机器人多风格书法临摹方法 | |
| CN110561421B (zh) | 机械臂间接拖动示教方法及装置 | |
| Mueller et al. | Robotic calligraphy—learning how to write single strokes of Chinese and Japanese characters | |
| CN110164238A (zh) | 一种用于书法训练的智能系统及工作方法 | |
| Guo et al. | ShadowPainter: Active learning enabled robotic painting through visual measurement and reproduction of the artistic creation process | |
| CN115922728A (zh) | 机器人指向动作控制方法、装置、电子设备和存储介质 | |
| CN109857322B (zh) | 一种基于安卓的画笔宽度控制方法和装置 | |
| CN111152234A (zh) | 用于机器人的书法临摹方法、装置及机器人 | |
| CN117863182A (zh) | 一种基于图像处理的机械臂精细控制方法、装置及机械臂 | |
| CN109676583B (zh) | 基于目标姿态深度学习视觉采集方法、学习系统及存储介质 | |
| Jeon et al. | A sketch interface to empower novices to create 3D animations | |
| CN113618728A (zh) | 机器人运动轨迹的补偿方法、装置及计算机存储介质 | |
| Lam et al. | Stroke trajectory generation experiment for a robotic Chinese calligrapher using a geometric brush footprint model | |
| JP3802483B2 (ja) | 書道学習支援システム、コンピュータ、プログラム、及び記録媒体 | |
| Li et al. | Robot brush-writing system of Chinese calligraphy characters | |
| CN109591012B (zh) | 加强学习方法、机器人和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |