CN111168676A - 机械臂手眼协作绘画方法、装置、绘画机器人及介质 - Google Patents
机械臂手眼协作绘画方法、装置、绘画机器人及介质 Download PDFInfo
- Publication number
- CN111168676A CN111168676A CN202010016527.9A CN202010016527A CN111168676A CN 111168676 A CN111168676 A CN 111168676A CN 202010016527 A CN202010016527 A CN 202010016527A CN 111168676 A CN111168676 A CN 111168676A
- Authority
- CN
- China
- Prior art keywords
- track
- target rectangular
- image
- rectangular area
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000010422 painting Methods 0.000 title claims abstract description 56
- 238000013507 mapping Methods 0.000 claims abstract description 34
- 238000003708 edge detection Methods 0.000 claims abstract description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007591 painting process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/003—Manipulators for entertainment
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
- Spray Control Apparatus (AREA)
Abstract
本申请提供一种机械臂手眼协作绘画方法及装置、一种绘画机器人以及一种计算机可读介质。方法包括：获取机械臂进行绘画的区域图像；对区域图像进行边缘检测，确定实际绘画的目标矩形区域；提取目标矩形区域内的实际绘制轨迹；目标矩形区域与预设绘制图像轨迹存在坐标映射关系；根据坐标映射关系，将实际绘制轨迹与预设绘制图像轨迹进行对比，判断是否存在未绘制的残余轨迹；若是，则根据所述坐标映射关系控制机械臂对所述残余轨迹继续进行绘制；重复执行上述步骤，直至无残余轨迹后停止绘画。通过本方案，使得绘画机器人以随机笔触大小的笔进行绘画演示时，可以根据视觉反馈，判断图像剩余未画完部分，并进行智能补全。
Description
技术领域
本申请涉及机器人控制技术领域，具体涉及一种机械臂手眼协作绘画方法及装置、一种绘画机器人以及一种计算机可读介质。
背景技术
随着科技的发展，机器人的功能越来越强大，机器人的应用也越来越广泛。在照相技术十分发达的今天，仍然有不少人热衷于绘画，绘画机器人能将照片绘制成图像，因此，也受到越来越多人的欢迎。
目前，多数绘画机器人以固定笔触大小的笔进行绘画，若使用非固定笔触的笔，会由于下笔粗细不可控，容易产生多余笔画，或是遗漏笔画的现象，并且绘画机器人无法主动确定绘制区域，若绘制过程中目标绘制区域移动，由于缺乏相应反馈，无法及时进行调整，导致绘制图像失败。
发明内容
本申请的目的是提供一种机械臂手眼协作绘画方法及装置、一种绘画机器人以及一种计算机可读介质。
本申请第一方面提供一种机械臂手眼协作绘画方法，包括：
步骤S1、获取机械臂进行绘画的区域图像；
步骤S2、对所述区域图像进行边缘检测，确定实际绘画的目标矩形区域；
步骤S3、提取所述目标矩形区域内的实际绘制轨迹；所述目标矩形区域与预设绘制图像轨迹存在坐标映射关系；
步骤S4、根据所述坐标映射关系，将所述实际绘制轨迹与所述预设绘制图像轨迹进行对比，判断是否存在未绘制的残余轨迹；
步骤S5、若是，则根据所述坐标映射关系控制机械臂对所述残余轨迹继续进行绘制；重复执行步骤S3至S5，直至无残余轨迹后停止绘画。
在本申请的一些实施方式中，所述方法还包括：
按照预设周期，记录所述目标矩形区域的多个顶点坐标；
计算当前周期与上一周期中记录的相对应顶点坐标之间的误差，并计算多个顶点坐标误差的平均值；
若所述平均值不大于预设误差阈值，则确定所述目标矩形区域未移动；
若所述平均值大于所述预设误差阈值，则确定所述目标矩形区域移动，此时停止机械臂绘画。
在本申请的一些实施方式中，所述确定所述目标矩形区域移动，此时停止机械臂绘画之后，还包括：
重新计算所述目标矩形区域与预设绘制图像轨迹之间的坐标映射关系，以根据新的坐标映射关系继续进行所述步骤S4。
在本申请的一些实施方式中，所述步骤S2之前，还包括：
对所述区域图像进行预处理。
本申请第二方面提供一种机械臂手眼协作绘画装置，包括：
获取模块，用于获取机械臂进行绘画的区域图像；
确定模块，用于对所述区域图像进行边缘检测，确定实际绘画的目标矩形区域；
提取模块，用于提取所述目标矩形区域内的实际绘制轨迹；所述目标矩形区域与预设绘制图像轨迹存在坐标映射关系；
对比模块，用于根据所述坐标映射关系，将所述实际绘制轨迹与所述预设绘制图像轨迹进行对比，判断是否存在未绘制的残余轨迹；若是，则根据所述坐标映射关系控制机械臂对所述残余轨迹继续进行绘制，直至无残余轨迹后停止绘画。
在本申请的一些实施方式中，所述装置还包括：区域移动判断模块，用于：
按照预设周期，记录所述目标矩形区域的多个顶点坐标；
计算当前周期与上一周期中记录的相对应顶点坐标之间的误差，并计算多个顶点坐标误差的平均值；
若所述平均值不大于预设误差阈值，则确定所述目标矩形区域未移动；
若所述平均值大于所述预设误差阈值，则确定所述目标矩形区域移动，此时停止机械臂绘画。
在本申请的一些实施方式中，所述区域移动判断模块，还用于：
确定所述目标矩形区域移动，此时停止机械臂绘画之后，重新计算所述目标矩形区域与预设绘制图像轨迹之间的坐标映射关系。
在本申请的一些实施方式中，所述装置还包括：预处理模块，用于在所述确定模块对所述区域图像进行边缘检测之前，对所述区域图像进行预处理。
本申请第三方面提供一种绘画机器人，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行以实现本申请第一方面所述的方法。
本申请第四方面提供一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现本申请第一方面所述的方法。
相较于现有技术，本申请提供的机械臂手眼协作绘画方法、装置、绘画机器人及介质，通过实时对比实际绘制轨迹与预设绘制图像轨迹，判断是否存在未绘制的残余轨迹，直至完成预设绘制图像轨迹，使得绘画机器人以随机笔触大小的笔进行绘画演示时，可以根据视觉反馈，判断图像剩余未画完部分，并进行智能补全。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本申请的一些实施方式所提供的一种机械臂手眼协作绘画方法的流程图；
图2示出了本申请的一些实施方式所提供的另一种机械臂手眼协作绘画方法的流程图；
图3示出了本申请的一些实施方式所提供的一种机械臂手眼协作绘画装置的示意图；
图4示出了本申请的一些实施方式所提供的另一种机械臂手眼协作绘画装置的示意图；
图5示出了本申请的一些实施方式所提供的一种绘画机器人的示意图；
图6示出了本申请的一些实施方式所提供的一种计算机可读介质的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
另外，术语“第一”和“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例提供一种机械臂手眼协作绘画方法及装置、一种绘画机器人以及计算机可读介质，下面结合附图进行说明。
请参考图1，其示出了本申请的一些实施方式所提供的一种机械臂手眼协作绘画方法的流程图，如图所示，所述机械臂手眼协作绘画方法，可以包括以下步骤：
步骤S101：获取机械臂进行绘画的区域图像；
本实施例中，该区域图像可以是通过摄像头获取的实时图像，该摄像头可以是绘画机器人上安装的摄像头，当然也可以是在其它位置安装的摄像头，摄像头对准机械臂进行绘画的区域进行拍摄，获得所述区域图像。
实际应用中，机械臂进行绘画的区域可能处于不同的实际环境中，例如高光环境、模糊环境等。因此，在本申请的一些实施方式中，上述方法还可以包括步骤：对所述区域图像进行预处理。
具体的，对于所述区域图像，可以根据不同的实际场景，进行不同的机器视觉预处理方式，例如在高光环境下进行光照补偿，在模糊环境下进行图像锐化，图像滤波等。
步骤S102：对所述区域图像进行边缘检测，确定实际绘画的目标矩形区域；
本实施例中，实际绘画的目标矩形区域例如可以是一张画纸区域或其它，所述区域图像中会包括除绘画区域以外的其它区域，并且可能存在不同的拍摄角度，所述目标矩形区域是机械臂实际绘画的区域，因此，可以通过边缘检测方法从所述区域图像中提取出目标矩形区域，以便于提取当前已绘制部分图像轨迹。
具体的，对所述区域图像进行边缘检测，轮廓查找，将检测到的轮廓图像按轮廓大小进行排序，同时计算封闭轮廓的周长或者曲线的长度，以一定的精度逼近闭合多边形曲线，筛选出近似的四边形曲线，选取其中最大的四边形，即为目标矩形区域。
步骤S103：提取所述目标矩形区域内的实际绘制轨迹；所述目标矩形区域与预设绘制图像轨迹存在坐标映射关系；
其中，所述预设绘制图像轨迹是用户设定的需要绘制的图像，例如人物头像或者树木风景等的轨迹，这些轨迹是机械臂具体的绘画轨迹，由轨迹点组成。
本实施例中，提取所述目标矩形区域内的实际绘制轨迹，为了便于后续实际绘制轨迹与预设绘制图像轨迹进行对比，预先建立了目标矩形区域与预设绘制图像轨迹的坐标映射关系。具体的，计算所述目标矩形区域与预设绘制图像轨迹的坐标映射关系，获得透视变换矩阵f，则预设绘画轨迹点α(x,y)与实际绘画轨迹点β(x′,y′)之间的映射关系为α＝f·β。
步骤S104：根据所述坐标映射关系，将所述实际绘制轨迹与所述预设绘制图像轨迹进行对比，判断是否存在未绘制的残余轨迹；
步骤S105：若是，则根据所述坐标映射关系控制机械臂对所述残余轨迹继续进行绘制；重复执行步骤S103至S105，直至无残余轨迹后停止绘画。
由于机械臂在实际绘制图像过程中，可能会存在笔触的随机变化，导致部分图像未完成绘制。为了解决该问题，本实施例中，根据所述坐标映射关系，将所述实际绘制轨迹与所述预设绘制图像轨迹进行对比，判断是否存在未绘制的残余轨迹。
实际应用中，可以将预设绘画图像轨迹划分为多个部分，例如，可以将人脸图像分成眼睛部分、鼻子部分等，也就是将预设绘画图像轨迹划分为了预设轨迹序列周期，当每个部分绘制过程中，即在预设轨迹序列周期中，都进行是否存在未绘制的残余轨迹的判断，这样可以达到实时补全图像剩余未画完部分的效果。
具体的，在预设轨迹序列周期内，记录输入机械臂轨迹点构成的预设轨迹l以及摄像头获取的实际绘制轨迹l′，将实际绘制轨迹l′通过上述变换矩阵f变化后，与l进行对比，得到未绘制的残余轨迹。对残余轨迹进行记录，然后再生成对应轨迹，输入机械臂进行绘制。重复步骤S103至S105，直至无残余轨迹，则停止绘画。
本实施例提供的机械臂手眼协作绘画方法，通过实时对比实际绘制轨迹与预设绘制图像轨迹，判断是否存在未绘制的残余轨迹，直至完成预设绘制图像轨迹，使得绘画机器人以随机笔触大小的笔进行绘画演示时，可以根据视觉反馈，判断图像剩余未画完部分，并进行智能补全。
在本申请的一些实施方式中，上述机械臂手眼协作绘画方法，还可以包括以下步骤：
步骤S201：按照预设周期，记录所述目标矩形区域的多个顶点坐标；
本实施例中，预设周期可以根据具体需要进行设定，例如1分钟。上一周期中目标矩形区域的多个顶点坐标可以记录为(A、B、C、D)，当前周期中目标矩形区域的多个顶点坐标可以记录为(A′、B′、C′、D′)。
步骤S202：计算当前周期与上一周期中记录的相对应顶点坐标之间的误差，并计算多个顶点坐标误差的平均值；
本实施例中，计算(A′、B′、C′、D′)与(A、B、C、D)中各顶点之间的差值，例如A′与A之间的差值。然后再计算全部差值的平均值。
步骤S204：若所述平均值不大于预设误差阈值，则确定所述目标矩形区域未移动；
步骤S204：若所述平均值大于所述预设误差阈值，则确定所述目标矩形区域移动，此时停止机械臂绘画。
实际应用中，机械臂在绘画过程中本身会存在一定的绘画误差，因此可以设定一个预设误差阈值，当所述平均值不大于预设误差阈值时，认为目标矩形区域未移动，当所述平均值大于所述预设误差阈值时，确定目标矩形区域发生了移动，此时停止机械臂绘画。
在本申请的一些实施方式中，确定所述目标矩形区域移动，停止机械臂绘画之后，重新计算所述目标矩形区域与预设绘制图像轨迹之间的坐标映射关系，以根据新的坐标映射关系继续进行根据坐标映射关系，将实际绘制轨迹与所述预设绘制图像轨迹进行对比，判断是否存在未绘制的残余轨迹的步骤。
具体的，待目标矩形区域的四顶点稳定后，基于相关机器视觉算法，将矩形区域内图像进行滤波并二值化处理，确定已绘制轨迹l′。将记录的输入机械臂轨迹点构成的预设轨迹l与实际绘制轨迹l′进行特征匹配，并分别得到两者的特征点序列，根据特征点序列计算新的坐标映射关系f′。
相较于现有技术，本申请实施例提供的上述机械臂手眼协作绘画方法，根据目标矩形区域的多个顶点坐标来判断其是否发生移动，一旦发生移动，立即停止机械臂绘图，使得机械臂能够得到相应反馈，及时进行调整，确保图像绘制成功。
在上述的实施例中，提供了一种机械臂手眼协作绘画方法，与之相对应的，本申请还提供一种机械臂手眼协作绘画装置。本申请实施例提供的机械臂手眼协作绘画装置可以实施上述机械臂手眼协作绘画方法，该机械臂手眼协作绘画装置可以通过软件、硬件或软硬结合的方式来实现。例如，该机械臂手眼协作绘画装置可以包括集成的或分开的功能模块或单元来执行上述各方法中的对应步骤。请参考图3，其示出了本申请的一些实施方式所提供的一种机械臂手眼协作绘画装置的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
如图3所示，所述机械臂手眼协作绘画装置10可以包括：
获取模块101，用于获取机械臂进行绘画的区域图像；
确定模块102，用于对所述区域图像进行边缘检测，确定实际绘画的目标矩形区域；
提取模块103，用于提取所述目标矩形区域内的实际绘制轨迹；所述目标矩形区域与预设绘制图像轨迹存在坐标映射关系；
对比模块104，用于根据所述坐标映射关系，将所述实际绘制轨迹与所述预设绘制图像轨迹进行对比，判断是否存在未绘制的残余轨迹；若是，则根据所述坐标映射关系控制机械臂对所述残余轨迹继续进行绘制，直至无残余轨迹后停止绘画。
在本申请实施例的一些实施方式中，如图4所示，所述装置10还包括：区域移动判断模块105，用于：
按照预设周期，记录所述目标矩形区域的多个顶点坐标；
计算当前周期与上一周期中记录的相对应顶点坐标之间的误差，并计算多个顶点坐标误差的平均值；
若所述平均值不大于预设误差阈值，则确定所述目标矩形区域未移动；
若所述平均值大于所述预设误差阈值，则确定所述目标矩形区域移动，此时停止机械臂绘画。
在本申请实施例的一些实施方式中，所述区域移动判断模块105，还用于：
确定所述目标矩形区域移动，此时停止机械臂绘画之后，重新计算所述目标矩形区域与预设绘制图像轨迹之间的坐标映射关系。
在本申请实施例的一些实施方式中，所述装置10还包括：预处理模块，用于在所述确定模块对所述区域图像进行边缘检测之前，对所述区域图像进行预处理。
本申请实施例提供的机械臂手眼协作绘画装置10，与本申请前述实施例提供的机械臂手眼协作绘画方法出于相同的发明构思，具有相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的机械臂手眼协作绘画方法对应的绘画机器人，请参考图5，其示出了本申请的一些实施方式所提供的一种绘画机器人的示意图。如图5所示，所述绘画机器人20包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的机械臂手眼协作绘画方法。
其中，存储器201可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述机械臂手眼协作绘画方法可以应用于处理器200中，或者由处理器200实现。
处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。
本申请实施例提供的绘画机器人与本申请实施例提供的机械臂手眼协作绘画方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的机械臂手眼协作绘画方法对应的计算机可读介质，请参考图6，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的机械臂手眼协作绘画方法。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的机械臂手眼协作绘画方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是，附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，其均应涵盖在本申请的权利要求和说明书的范围当中。
Claims (10)
1.一种机械臂手眼协作绘画方法，其特征在于，包括：
步骤S1、获取机械臂进行绘画的区域图像；
步骤S2、对所述区域图像进行边缘检测，确定实际绘画的目标矩形区域；
步骤S3、提取所述目标矩形区域内的实际绘制轨迹；所述目标矩形区域与预设绘制图像轨迹存在坐标映射关系；
步骤S4、根据所述坐标映射关系，将所述实际绘制轨迹与所述预设绘制图像轨迹进行对比，判断是否存在未绘制的残余轨迹；
步骤S5、若是，则根据所述坐标映射关系控制机械臂对所述残余轨迹继续进行绘制；重复执行步骤S3至S5，直至无残余轨迹后停止绘画。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
按照预设周期，记录所述目标矩形区域的多个顶点坐标；
计算当前周期与上一周期中记录的相对应顶点坐标之间的误差，并计算多个顶点坐标误差的平均值；
若所述平均值不大于预设误差阈值，则确定所述目标矩形区域未移动；
若所述平均值大于所述预设误差阈值，则确定所述目标矩形区域移动，此时停止机械臂绘画。
3.根据权利要求2所述的方法，其特征在于，所述确定所述目标矩形区域移动，此时停止机械臂绘画之后，还包括：
重新计算所述目标矩形区域与预设绘制图像轨迹之间的坐标映射关系，以根据新的坐标映射关系继续进行所述步骤S4。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述步骤S2之前，还包括：
对所述区域图像进行预处理。
5.一种机械臂手眼协作绘画装置，其特征在于，包括：
获取模块，用于获取机械臂进行绘画的区域图像；
确定模块，用于对所述区域图像进行边缘检测，确定实际绘画的目标矩形区域；
提取模块，用于提取所述目标矩形区域内的实际绘制轨迹；所述目标矩形区域与预设绘制图像轨迹存在坐标映射关系；
对比模块，用于根据所述坐标映射关系，将所述实际绘制轨迹与所述预设绘制图像轨迹进行对比，判断是否存在未绘制的残余轨迹；若是，则根据所述坐标映射关系控制机械臂对所述残余轨迹继续进行绘制，直至无残余轨迹后停止绘画。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：区域移动判断模块，用于：
按照预设周期，记录所述目标矩形区域的多个顶点坐标；
计算当前周期与上一周期中记录的相对应顶点坐标之间的误差，并计算多个顶点坐标误差的平均值；
若所述平均值不大于预设误差阈值，则确定所述目标矩形区域未移动；
若所述平均值大于所述预设误差阈值，则确定所述目标矩形区域移动，此时停止机械臂绘画。
7.根据权利要求6所述的装置，其特征在于，所述区域移动判断模块，还用于：
确定所述目标矩形区域移动，此时停止机械臂绘画之后，重新计算所述目标矩形区域与预设绘制图像轨迹之间的坐标映射关系。
8.根据权利要求5至7任一项所述的装置，其特征在于，所述装置还包括：预处理模块，用于在所述确定模块对所述区域图像进行边缘检测之前，对所述区域图像进行预处理。
9.一种绘画机器人，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行以实现如权利要求1至4任一项所述的方法。
10.一种计算机可读介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求1至4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010016527.9A CN111168676B (zh) | 2020-01-08 | 2020-01-08 | 机械臂手眼协作绘画方法、装置、绘画机器人及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010016527.9A CN111168676B (zh) | 2020-01-08 | 2020-01-08 | 机械臂手眼协作绘画方法、装置、绘画机器人及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111168676A true CN111168676A (zh) | 2020-05-19 |
| CN111168676B CN111168676B (zh) | 2021-06-15 |
Family
ID=70647442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010016527.9A Active CN111168676B (zh) | 2020-01-08 | 2020-01-08 | 机械臂手眼协作绘画方法、装置、绘画机器人及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111168676B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111913644A (zh) * | 2020-07-29 | 2020-11-10 | 北京大麦地信息技术有限公司 | 一种白板的线条绘制方法及装置、可读存储介质 |
| CN113221958A (zh) * | 2021-04-19 | 2021-08-06 | 深圳瀚维智能医疗科技有限公司 | 按摩轨迹与按摩区域匹配方法、装置、系统及存储介质 |
| CN115817063A (zh) * | 2022-10-27 | 2023-03-21 | 重庆鲁班机器人技术研究院有限公司 | 双臂绘画机器人教学系统及其绘画控制方法、装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106651988A (zh) * | 2016-10-13 | 2017-05-10 | 中国科学院半导体研究所 | 一种人脸线条画的自动绘制系统 |
| KR20170060948A (ko) * | 2015-11-25 | 2017-06-02 | 주식회사 우아한형제들 | 드로잉 시스템 및 그 제공방법 |
| CN108030551A (zh) * | 2017-12-06 | 2018-05-15 | 上海波城医疗科技有限公司 | 手术机械臂行程校正系统及方法 |
| CN108460369A (zh) * | 2018-04-04 | 2018-08-28 | 南京阿凡达机器人科技有限公司 | 一种基于机器视觉的绘图方法及系统 |
| CN108972557A (zh) * | 2018-08-16 | 2018-12-11 | 中国科学院自动化研究所 | 微零件位姿自动对准装置及其方法 |
| CN109249747A (zh) * | 2018-09-28 | 2019-01-22 | 浙江工业大学 | 基于Delta机器人的作画装置 |
| CN109727299A (zh) * | 2018-11-20 | 2019-05-07 | 广东智媒云图科技股份有限公司 | 一种控制机械臂联合作画的方法、电子设备及存储介质 |
-
2020
- 2020-01-08 CN CN202010016527.9A patent/CN111168676B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170060948A (ko) * | 2015-11-25 | 2017-06-02 | 주식회사 우아한형제들 | 드로잉 시스템 및 그 제공방법 |
| CN106651988A (zh) * | 2016-10-13 | 2017-05-10 | 中国科学院半导体研究所 | 一种人脸线条画的自动绘制系统 |
| CN108030551A (zh) * | 2017-12-06 | 2018-05-15 | 上海波城医疗科技有限公司 | 手术机械臂行程校正系统及方法 |
| CN108460369A (zh) * | 2018-04-04 | 2018-08-28 | 南京阿凡达机器人科技有限公司 | 一种基于机器视觉的绘图方法及系统 |
| CN108972557A (zh) * | 2018-08-16 | 2018-12-11 | 中国科学院自动化研究所 | 微零件位姿自动对准装置及其方法 |
| CN109249747A (zh) * | 2018-09-28 | 2019-01-22 | 浙江工业大学 | 基于Delta机器人的作画装置 |
| CN109727299A (zh) * | 2018-11-20 | 2019-05-07 | 广东智媒云图科技股份有限公司 | 一种控制机械臂联合作画的方法、电子设备及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111913644A (zh) * | 2020-07-29 | 2020-11-10 | 北京大麦地信息技术有限公司 | 一种白板的线条绘制方法及装置、可读存储介质 |
| CN113221958A (zh) * | 2021-04-19 | 2021-08-06 | 深圳瀚维智能医疗科技有限公司 | 按摩轨迹与按摩区域匹配方法、装置、系统及存储介质 |
| CN115817063A (zh) * | 2022-10-27 | 2023-03-21 | 重庆鲁班机器人技术研究院有限公司 | 双臂绘画机器人教学系统及其绘画控制方法、装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111168676B (zh) | 2021-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111168676B (zh) | 机械臂手眼协作绘画方法、装置、绘画机器人及介质 | |
| KR102292028B1 (ko) | 제스처 인식 방법, 장치, 전자 기기 및 저장 매체 | |
| Romero-Ramirez et al. | Speeded up detection of squared fiducial markers | |
| Liang et al. | 3D fingertip and palm tracking in depth image sequences | |
| Azad et al. | Stereo-based 6d object localization for grasping with humanoid robot systems | |
| Chen et al. | Using FTOC to track shuttlecock for the badminton robot | |
| Yu et al. | A novel vision-based grasping method under occlusion for manipulating robotic system | |
| KAYMAK et al. | Implementation of object detection and recognition algorithms on a robotic arm platform using raspberry pi | |
| CN111216133A (zh) | 一种基于指尖识别和手部运动跟踪的机器人演示编程方法 | |
| Hu et al. | Physical interaction: Reconstructing hand-object interactions with physics | |
| CN111890355A (zh) | 一种机器人标定方法、装置及系统 | |
| Dragusu et al. | Practical applications for robotic arms using image processing | |
| CN114241316A (zh) | 一种物体空间信息标签的生成方法、装置、存储介质和电子设备 | |
| CN108109164A (zh) | 一种信息处理方法及电子设备 | |
| JP5868005B2 (ja) | 撮像装置、撮像条件設定方法、プログラム | |
| Duong et al. | Accurate sparse feature regression forest learning for real-time camera relocalization | |
| EP4155036A1 (en) | A method for controlling a grasping robot through a learning phase and a grasping phase | |
| Wang et al. | Hand Gesture Recognition and motion estimation using the Kinect Sensor | |
| CN115471416A (zh) | 目标识别方法、存储介质及设备 | |
| CN114510142B (zh) | 基于二维图像的手势识别方法及其系统和电子设备 | |
| Villota et al. | Pairwise registration in indoor environments using adaptive combination of 2D and 3D cues | |
| Silvers et al. | Human machine interface in weld seam detection using an RGB-D camera | |
| Vysocky et al. | Generating synthetic depth image dataset for industrial applications of hand localization | |
| CN112965602A (zh) | 一种基于手势的人机交互方法及设备 | |
| Rivière et al. | Model–based video tracking for gestural interaction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Room 101, building 1, block C, Qianjiang Century Park, ningwei street, Xiaoshan District, Hangzhou City, Zhejiang Province Applicant after: Hangzhou Weiming Information Technology Co.,Ltd. Applicant after: Institute of Information Technology, Zhejiang Peking University Address before: Room 288-1, 857 Xinbei Road, Ningwei Town, Xiaoshan District, Hangzhou City, Zhejiang Province Applicant before: Institute of Information Technology, Zhejiang Peking University Applicant before: Hangzhou Weiming Information Technology Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200519 Assignee: Zhejiang smart video security Innovation Center Co.,Ltd. Assignor: Institute of Information Technology, Zhejiang Peking University Contract record no.: X2022330000930 Denomination of invention: Method, device, painting robot and medium for robot arm hand eye cooperation painting Granted publication date: 20210615 License type: Common License Record date: 20221229 |
|
| EE01 | Entry into force of recordation of patent licensing contract |