CN115817063A - 双臂绘画机器人教学系统及其绘画控制方法、装置 - Google Patents
双臂绘画机器人教学系统及其绘画控制方法、装置 Download PDFInfo
- Publication number
- CN115817063A CN115817063A CN202211323346.6A CN202211323346A CN115817063A CN 115817063 A CN115817063 A CN 115817063A CN 202211323346 A CN202211323346 A CN 202211323346A CN 115817063 A CN115817063 A CN 115817063A
- Authority
- CN
- China
- Prior art keywords
- arm
- painting
- robot
- double
- track
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000010422 painting Methods 0.000 claims abstract description 194
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 238000013135 deep learning Methods 0.000 claims abstract description 8
- 230000011218 segmentation Effects 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 16
- 230000033001 locomotion Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 14
- 238000009499 grossing Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 239000003973 paint Substances 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 230000009977 dual effect Effects 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 239000013589 supplement Substances 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 210000000697 sensory organ Anatomy 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 238000007726 management method Methods 0.000 claims description 2
- 238000004886 process control Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 14
- 241000282414 Homo sapiens Species 0.000 description 9
- 230000008901 benefit Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Manipulator (AREA)
Abstract
本发明提供的双臂绘画机器人教学系统及其绘画控制方法、装置，涉及双臂机器人领域。该双臂绘画机器人的绘画控制方法包括：获取目标绘画信息；根据机器视觉系统采集绘画信息，通过深度学习算法计算第一绘画臂画画轨迹以及第二绘画臂的绘画轨迹；获取画板、画笔的检测信息；根据所述画板、画笔的检测信息，判断所述双臂绘画机器人是否能够进行绘画；若所述双臂绘画机器人能够进行绘画，则控制所述左右手臂协调完成绘画任务。本发明提供的双臂绘画机器人教学系统及其绘画控制方法、装置能够提升绘画效率。
Description
技术领域
本发明涉及双臂机器人领域，具体而言，涉及双臂绘画机器人教学系统及其绘画控制方法、装置。
背景技术
人类从起源到今天经历了几百万年的环境适应、身体进化、智力发展，人类上肢的双臂部位和手指是区别人和动物的重要标志，非常发达、灵活。双臂机器人是指具有两个可工作的机械臂的类人机器人，通常应用于工业领域。由于双臂机器人模仿人双臂，其应用范围并不局限在工业领域，也可以应用在其他领域，如绘画教学演示等。
目前，绘画机器人是指一种可以独立模仿人类特定行为的类人机器人，按结构可分为龙门式绘画机器人和摇臂式绘画机器人，摇臂式绘画机器人又可分为单臂式、双臂式和多臂式绘画机器人。摇臂式绘画机器人灵活性高，可编程能力强，具有较强的智能水平和创作能力，未来可塑性强，但是其自由度较多，控制复杂。单臂式绘画机器人与双臂式相比结构简单，单臂独立工作，容易控制，但绘制复杂精细的图案时效率较低，笔迹粗糙。双臂式绘画机器人在一个控制系统中同时完成对两个机械臂的控制规划，具有更高的灵活性和适应能力，适用于绘制复杂精细的图案，绘画效率较高，但双臂协调运动规划和控制难度较大。
从绘画机器人获取图画源分为单纯的轨迹规划生成机器图画法、基于图像处理的机器图画法、基于深度学习的机器画图法。一是直接处理数字图像生成机械臂执行的轨迹，生成图画；二是通过机器视觉技术在真实环境中获取图像，再通过图像处理生成执行轨迹的图画。视觉图像提取技术大多数借助边缘提取技术，获得指定人脸的轮廓线，再将其全部转化为矢量点，由机器人进行绘画。这种方法对光线要求较严苛，不进行线条处理，图像处理时间长、图像效果不太稳定、易受外部因素影响。
双臂机器人绘画主要存在的缺陷是双臂的协调性不够，难以体现双臂机器人的优势，目前鲜有报道。本发明双臂绘画机器人最大的亮点为基于双臂机器人，一则更符合学生心目中“人”的概念，二则双臂机器人与单臂相比跟为灵活，完成单臂所不能达到的任务；同时也运用了机器视觉系统及深度学习算法，使得其更加的拟人化、智能化。
发明内容
本发明的目的包括，例如，提供一种双臂绘画机器人教学系统及其绘画控制方法、装置，其能够提升绘画效率。
本发明的实施例可以这样实现：
第一方面，本发明实施例提供一种双臂绘画机器人的绘画控制方法，用于双臂绘画机器人，就结构来说，所述双臂绘画机器人包括第一绘画臂和第二绘画臂，就硬件而言，双臂绘画机器人包括检测评估层、运动控制层、通信层、协调规划层，其中，检测而评估层包括检测传感器系统模块、视觉系统模块以及算法模块；运动控制层包括左臂运动控制模块(即第一绘画臂)和右臂运动控制模块(即第二绘画臂)；通信层为通信模块，可以为CAN/TCP/IP/WIFI等通信方式；协调规划层包括可视化人机界面以及可以与平板电脑或计算机连接通信，所述绘画控制方法包括：
获取目标绘画信息；
根据所述目标绘画信息，计算所述第一绘画臂的第一绘画轨迹以及所述第二绘画臂的第二绘画轨迹；
获取画板、画笔的检测信息；
根据所述画板、画笔的检测信息，判断所述双臂绘画机器人是否能够进行绘画；
若所述双臂绘画机器人能够进行绘画，则控制所述第一绘画臂按照所述第一绘画轨迹绘画，以及控制所述第二绘画臂按照所述第二绘画轨迹绘画。
进一步地，在可选的实施例中，所述获取目标绘画信息的步骤中，所述目标绘画信息包括视频数据；
所述根据所述目标绘画信息，计算所述第一绘画臂的第一绘画轨迹以及所述第二绘画臂的第二绘画轨迹的步骤包括：
提取所述视频数据中的视频关键帧；
对所述视频数据进行预处理；
对预处理后的视频数据进行特征提取、特征筛选及补充。
进一步地，在可选的实施例中，在所述提取所述视频数据中的视频关键帧的步骤中，利用帧差法找出所述视频数据中的视频关键帧。
进一步地，在可选的实施例中，在所述对所述视频数据进行预处理的步骤中，利用灰度化处理，中值滤波、高斯平滑和二值化方法对所述视频数据进行预处理。
进一步地，在可选的实施例中，在所述对预处理后的视频数据进行特征提取的步骤中，运用canny算法获取所述视频数据中的面部轮廓和五官特征信息，其中，所述canny算法包括以下步骤：
利用高斯滤波器对预处理后的视频数据进行平滑处理；
利用一阶偏导的有限差分来计算梯度的幅值和方向；
对梯度幅值进行非极大值抑制；
用双阈值算法检测和连接边缘。
进一步地，在可选的实施例中，在所述对预处理后的视频数据进行特征筛选及补充的步骤中，运用霍夫变换和RBF方法中的规则样条函数分别对识别特征线条进行定位和补充。
进一步地，在可选的实施例中，所述方法还包括模型重建步骤，在所述模型重建步骤中，基于SFM三维重建和基于Deep learning的三维重建方法模型重塑，利用Morse理论的模型分割算法对模型进行优化及分解成所述第一绘画臂的所述第一绘画轨迹以及所述第二绘画臂的所述第二绘画轨迹。
进一步地，在可选的实施例中，在所述利用Morse理论的模型分割算法对模型进行优化及分解成所述第一绘画臂的所述第一绘画轨迹以及所述第二绘画臂的所述第二绘画轨迹的步骤中，通过相机建立网络模型M；使每个顶点v在半径为r的领域内平滑；利用Morse函数f按照Morse Lemma计算网络模型M的关键点，并选出顶点集合S,并创建分割边界集合B及关键分割点集合P；依照分割边界集合B中的分割线段生成分割线集合L，根据分割线集合L生成子模型集合Ms；根据机器人加工任务是面向空间曲线还是空间曲面选择不同的机器人加工轨迹生成方法生成所述第一绘画轨迹和所述第二绘画轨迹。
本发明提供的双臂绘画机器人的绘画控制方法具有以下有益效果：根据目标绘画信息，计算第一绘画臂的第一绘画轨迹以及第二绘画臂的第二绘画轨迹；根据画板、画笔的检测信息，判断双臂绘画机器人是否能够进行绘画；若双臂绘画机器人能够进行绘画，则控制第一绘画臂按照第一绘画轨迹绘画，以及控制第二绘画臂按照第二绘画轨迹绘画。也就是说，本发明实施例可以根据目标绘画信息计算第一绘画臂和第二绘画臂的第一绘画轨迹和第二绘画轨迹，该第一绘画轨迹和第二绘画轨迹共同实现了将目标绘画信息绘画于画板上，从而可以提高绘画效率。
第二方面，本发明实施例提供一种双臂绘画机器人的绘画控制装置，用于双臂绘画机器人，所述双臂绘画机器人包括第一绘画臂和第二绘画臂，所述绘画控制装置包括：
第一获取模块：用于获取目标绘画信息；
计算模块：用于根据所述目标绘画信息，计算所述第一绘画臂的第一绘画轨迹以及所述第二绘画臂的第二绘画轨迹；
第二获取模块：用于获取画板、画笔的检测信息；
判断模块：用于根据所述画板、画笔的检测信息，判断所述双臂绘画机器人是否能够进行绘画；
控制模块：用于若所述双臂绘画机器人能够进行绘画，则控制所述第一绘画臂按照所述第一绘画轨迹绘画，以及控制所述第二绘画臂按照所述第二绘画轨迹绘画。
进一步地，在可选的实施例中，所述计算模块还用于：
提取所述视频数据中的视频关键帧；
对所述视频数据进行预处理；
对预处理后的视频数据进行特征提取、特征筛选及补充。
进一步地，在可选的实施例中，利用帧差法找出所述视频数据中的视频关键帧。
进一步地，在可选的实施例中，利用灰度化处理，中值滤波、高斯平滑和二值化方法对所述视频数据进行预处理。
进一步地，在可选的实施例中，运用canny算法获取所述视频数据中的面部轮廓和五官特征信息，其中，所述canny算法包括以下步骤：
利用高斯滤波器对预处理后的视频数据进行平滑处理；
利用一阶偏导的有限差分来计算梯度的幅值和方向；
对梯度幅值进行非极大值抑制；
用双阈值算法检测和连接边缘。
进一步地，在可选的实施例中，运用霍夫变换和RBF方法中的规则样条函数分别对识别特征线条进行定位和补充。
进一步地，在可选的实施例中，所述绘画控制装置还包括模型重建模块，所述模型重建模块基于SFM三维重建和基于Deep learning的三维重建方法模型重塑，利用Morse理论的模型分割算法对模型进行优化及分解成所述第一绘画臂的所述第一绘画轨迹以及所述第二绘画臂的所述第二绘画轨迹。
进一步地，在可选的实施例中，模型重建模块通过相机建立网络模型M；使每个顶点v在半径为r的领域内平滑；利用Morse函数f按照Morse Lemma计算网络模型M的关键点，并选出顶点集合S,并创建分割边界集合B及关键分割点集合P；依照分割边界集合B中的分割线段生成分割线集合L，根据分割线集合L生成子模型集合Ms；根据机器人加工任务是面向空间曲线还是空间曲面选择不同的机器人加工轨迹生成方法生成所述第一绘画轨迹和所述第二绘画轨迹。
本实施例提供的双臂绘画机器人的绘画控制装置：根据目标绘画信息，计算第一绘画臂的第一绘画轨迹以及第二绘画臂的第二绘画轨迹；根据画板、画笔的检测信息，判断双臂绘画机器人是否能够进行绘画；若双臂绘画机器人能够进行绘画，则控制第一绘画臂按照第一绘画轨迹绘画，以及控制第二绘画臂按照第二绘画轨迹绘画。也就是说，本发明实施例可以根据目标绘画信息计算第一绘画臂和第二绘画臂的第一绘画轨迹和第二绘画轨迹，该第一绘画轨迹和第二绘画轨迹共同实现了将目标绘画信息绘画于画板上，从而可以提高绘画效率。
第三方面，本发明实施例提供一种双臂绘画机器人教育系统，包括：双臂绘画机器人，所述双臂绘画机器人包括第一绘画臂、第二绘画臂和控制器，所述第一绘画臂和所述第二绘画臂均与所述控制器电连接，所述控制器上存储有可执行的程序，所述程序被执行时，实现前述任一项的绘画控制方法；教学资源库，所述教育资源库与所述控制器通信连接。
本发明实施例提供的双臂绘画机器人接近人体形态，符合学生心目中“人”的概念，具有较强的亲切感，教学中易于被学生接受和使用。同时，双臂式绘画机器人两个机械臂的运动由一个控制系统一控制协调，灵活性高，适应能力强，绘画效率较高，能清晰地绘制复杂精细的图案。并且双臂绘画机器人运用机器视觉系统及深度学习算法，能够提取视频画面，准确识别和定位视频画面中图案的轮廓，提高绘画轨迹的准确度和清晰度，实现机器人绘图的拟人化和智能化。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明具体实施例所述的双臂绘画机器人的结构示意图；
图2为本发明具体实施例所述的双臂绘画机器人的硬件模块示意图；
图3为本发明具体实施例所述的双臂绘画机器人教学系统的结构示意图；
图4为本发明具体实施例所述的双臂绘画机器人的绘画控制方法的示意图；
图5为本发明具体实施例所述的双臂绘画机器人的绘画控制方法的流程图；
图6为本发明具体实施例所述的双连接层神经网络模型图；
图7为本发明具体实施例所述的单臂控制方法的示意图；
图8为本发明具体实施例所述的双臂绘画机器人路径规划方法的示意图。
图标：100、双臂绘画机器人；102、控制器；110、双臂机器人；111、第一绘画臂；112、第二绘画臂；113、控制柜；120、操作柜；130、轨迹实训平台。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。
下面结合附图，对本发明的具体实施方式进行详细说明。
请参阅图1，其示出了本发明实施例所述的一种双臂绘画机器人100的结构示意图。该双臂绘画机器人100包括双臂机器人110、操作柜120以及轨迹实训平台130，操作柜120内可放置物品，操作柜120的上方设有轨迹实训平台130，操作柜120的下方设有滑轮，该滑轮为两个万向轮和两个定向轮，定向轮用于定向固定，万向轮可实现自由移动，便于在各个场所进行操作演示，轨迹实训平台130的上方设有画板支座，画板支座上放置有画板，以及对称设置的画笔夹具支座，画笔夹具的支座上为两块支座，支座上设有限位凹槽，画笔夹具能够稳定的放置在画笔夹具的支座上，不易掉落；画笔夹具支座上设有画笔夹具总成，画笔夹具总成包括画笔和画笔夹具，画笔夹具的下方设有画笔夹持部，画笔夹具的上方设有被夹持部，被夹持部为圆形柱，圆形柱被切割为四个平面，平面上方有凸台限位，避免画笔夹具的被夹持部在气动手抓总成抓取时滑落，画笔夹具的下方为方形块，该方形块放置在画笔夹具的支座上；
双臂机器人110包括第一绘画臂111、第二绘画臂112和控制柜113，控制柜113的底端设有滑轮，该滑轮包括两个万向轮和两个定向轮，控制柜113内设有控制系统，用于控制双臂机器人110的第一绘画臂111和第二绘画臂112作业，第一绘画臂111和第二绘画臂112的末端均设有气动手抓总成，气动手抓总成包括气缸、两块手抓板以及法兰连接板，法兰连接板与手臂的下端连接，气缸用于手抓板的推开和闭合，以抓取画笔夹具总成，手抓板与画笔夹具的被夹持部的切面相配合，使其在气缸推动手抓板时，能够稳固的抓取画笔夹具的被夹持部，最后在画板上进行轨迹示教。
请参阅图2，本发明实施例提供的双臂绘画机器人100的硬件模块示意图，本发明实施例提供的双臂绘画机器人100的绘画控制方法和绘画控制装置可以应用于双臂绘画机器人100。该双臂绘画机器人100包括第一绘画臂111和第二绘画臂112，上述的绘画控制方法和绘画控制装置用于控制第一绘画臂111和第二绘画臂112的运行轨迹，从而实现稳定高效的绘画教学。所述绘画控制装置包括至少一个可以软件或固件(firmware)的形式存储于所述控制器102中或固化在服务器的操作系统(operating system，OS)中的软件功能模块。所述控制器102用于执行存储于其中的可执行模块，例如所述绘画控制装置所包括的软件功能模块及计算机程序等。
控制器102可能是一种集成电路芯片，具有信号的处理能力。上述的控制器102可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器。控制器102也可以是任何常规的处理器等。
控制器102上烧录有绘画控制程序，当控制器102接收到执行指令后，执行该绘画控制程序，实现本发明实施例所述的绘画控制方法。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
请参阅图2，双臂绘画机器人100包括检测评估层、运动控制层、通信层、协调规划层，其中，检测而评估层包括检测传感器系统模块、视觉系统模块以及算法模块；运动控制层包括左臂运动控制模块(即第一绘画臂111)和右臂运动控制模块(即第二绘画臂)；通信层为通信模块，可以为CAN/TCP/IP/WIFI等通信方式；协调规划层包括可视化人机界面以及可以与平板电脑或计算机连接通信。
请参阅图3，在本实施例中，双臂绘画机器人100还可以应用在双臂绘画机器人100教育系统，该教育系统包括双臂绘画机器人100以及教学资源库。该双臂绘画机器人100的软件模块包括视觉系统、柜机处理软件、多源多模态感知模型、交互体验模块、理实一体实现模块以及双臂机器人110本体(即硬件结构部分)。教学资源库包括学习过程控制策略、课堂教学方案、控制软件实现部分、机器人执行控制算法，同时，还包括教学质量评估以及教学过程的管理等。
请参阅图4和图5，本实施例提供了一种双臂绘画机器人的绘画控制方法，包括以下步骤。
步骤S100：获取目标绘画信息。
需要指出的是，在步骤S100中，获取目标绘画信息可以通过视频摄像头或者导入图片或者视频格式的文件，本发明实施例对此不做具体要求和限定。
步骤S200：根据目标绘画信息，计算第一绘画臂的第一绘画轨迹以及第二绘画臂的第二绘画轨迹。
在可选的实施例中，获取目标绘画信息的步骤中，目标绘画信息包括视频数据，在步骤S100中可以通过视频摄像头或者导入视频文件的方式获取目标绘画信息。
在本实施例中，上述的根据目标绘画信息，计算第一绘画臂的第一绘画轨迹以及第二绘画臂的第二绘画轨迹的步骤S200包括以下子步骤S210、子步骤S220以及子步骤S230。
子步骤S210：提取视频数据中的视频关键帧。
在本实施例中，在提取视频数据中的视频关键帧的步骤中，利用帧差法找出视频数据中的视频关键帧。
子步骤S220：对视频数据进行预处理。
在本实施例中，在对视频数据进行预处理的步骤中，利用灰度化处理，中值滤波、高斯平滑和二值化方法对视频数据进行预处理。
子步骤S230：对预处理后的视频数据进行特征提取、特征筛选及补充。
在本实施例中，在对预处理后的视频数据进行特征提取的步骤中，运用canny算法获取视频数据中的面部轮廓和五官特征信息，其中，canny算法包括以下步骤：
S231：利用高斯滤波器对预处理后的视频数据进行平滑处理；
S232：利用一阶偏导的有限差分来计算梯度的幅值和方向；
S233：对梯度幅值进行非极大值抑制；
S234：用双阈值算法检测和连接边缘。
在本实施例中，在对预处理后的视频数据进行特征筛选及补充的步骤中，运用霍夫变换和RBF方法中的规则样条函数分别对识别特征线条进行定位和补充。
在可选的实施例中，绘画控制方法还包括模型重建步骤，在模型重建步骤中，基于SFM三维重建和基于Deep learning的三维重建方法模型重塑，利用Morse理论的模型分割算法对模型进行优化及分解成第一绘画臂的第一绘画轨迹以及第二绘画臂的第二绘画轨迹。
需要指出的是，在本发明实施例中，SFM算法可以参考以下方式实现。
主要基于多视觉几何原理，随着CNN的在二维图像的积累，很多基于CNN的2D深度估计取得一定效果，用神经网路双层卷积CNN算法对三维重建。
图6是改进后的双连接层神经网络模型图，其二维卷积公式定义如下：
其中y(i,j)表示二维卷积后的输出，i，i,j为图片中对应的坐标，k为卷积核的大小，g(i,j)为卷积的输入，h(k-i,k-j)为卷积核中的某个值。
需要指出的是，针对传统CNN神经网络在处理小数据集时所存在的识别率低的问题，本申请的发明人通过多次反复调整模型结构，并结合多年相关领域研究，发现提高卷积核大小、增加卷积层数量等变化对于模型识别效果的提升均不明显，容易导致过拟合现象发生。通过在两个全连接层中间设置一个随机取舍层，对卷积池化后的表情特征进行随机训练，模型的识别能力将得到显著提升。
请参阅图7和图8，可选地，在本实施例中，在利用Morse理论的模型分割算法对模型进行优化及分解成第一绘画臂的第一绘画轨迹以及第二绘画臂的第二绘画轨迹的步骤中，通过相机建立网络模型M；使每个顶点v在半径为r的领域内平滑；利用Morse函数f按照Morse Lemma计算网络模型M的关键点，并选出顶点集合S,并创建分割边界集合B及关键分割点集合P；依照分割边界集合B中的分割线段生成分割线集合L，根据分割线集合L生成子模型集合Ms；根据机器人加工任务是面向空间曲线还是空间曲面选择不同的机器人加工轨迹生成方法生成第一绘画轨迹和第二绘画轨迹。
步骤S300：获取画板、画笔的检测信息。
需要指出的是，在步骤S300中主要是检测画板和画笔是否在指定位置，当画板和画笔在指定的预设位置时，双臂绘画机器人可以绘画，否则需要调整画板和画笔的位置。
步骤S400：根据画板、画笔的检测信息，判断双臂绘画机器人是否能够进行绘画。
需要指出的是，若画板、画笔在对应位置，则判定双臂绘画机器人能够进行绘画，若画板、画笔中有一者没有在对应位置，则判定该双机器人不能进行绘画。在画板、画笔没有在对应位置时，可以向用户发送提醒信息，以使用户及时处理。
步骤S500：若双臂绘画机器人能够进行绘画，则控制第一绘画臂按照第一绘画轨迹绘画，以及控制第二绘画臂按照第二绘画轨迹绘画。
应当理解的是，在本发明实施例中，采用双臂绘画机器人，该双臂绘画机器人具有第一绘画臂和第二绘画臂，该第一绘画臂和第二绘画臂可以提高绘画效率，从而便于双臂绘画机器人的绘画展示。
本发明实施例提供的双臂绘画机器人的绘画控制方法：根据目标绘画信息，计算第一绘画臂的第一绘画轨迹以及第二绘画臂的第二绘画轨迹；根据画板、画笔的检测信息，判断双臂绘画机器人是否能够进行绘画；若双臂绘画机器人能够进行绘画，则控制第一绘画臂按照第一绘画轨迹绘画，以及控制第二绘画臂按照第二绘画轨迹绘画。也就是说，本发明实施例可以根据目标绘画信息计算第一绘画臂和第二绘画臂的第一绘画轨迹和第二绘画轨迹，该第一绘画轨迹和第二绘画轨迹共同实现了将目标绘画信息绘画于画板上，从而可以提高绘画效率。
本发明实施例还一种双臂绘画机器人的绘画控制装置，用于双臂绘画机器人，双臂绘画机器人包括第一绘画臂和第二绘画臂，绘画控制装置包括第一获取模块、计算模块、第二获取模块、判断模块和控制模块。
在本发明实施例中，第一获取模块用于获取目标绘画信息。
可选地，在本实施例中，上述的步骤S100由第一获取模块执行。
在本发明实施例中，计算模块用于根据目标绘画信息，计算第一绘画臂的第一绘画轨迹以及第二绘画臂的第二绘画轨迹。
可选地，在本实施例中，上述的步骤S200由计算模块执行。
在本发明实施例中，第二获取模块用于获取画板、画笔的检测信息。
可选地，在本实施例中，上述的步骤S300由第二获取模块执行。
在本发明实施例中，判断模块用于根据画板、画笔的检测信息，判断双臂绘画机器人是否能够进行绘画。
可选地，在本实施例中，上述的步骤S400由判断模块执行。
在本发明实施例中，控制模块用于若双臂绘画机器人能够进行绘画，则控制第一绘画臂按照第一绘画轨迹绘画，以及控制第二绘画臂按照第二绘画轨迹绘画。
可选地，在本实施例中，上述的步骤S500由控制模块执行。
本实施例提供的双臂绘画机器人的绘画控制装置：根据目标绘画信息，计算第一绘画臂的第一绘画轨迹以及第二绘画臂的第二绘画轨迹；根据画板、画笔的检测信息，判断双臂绘画机器人是否能够进行绘画；若双臂绘画机器人能够进行绘画，则控制第一绘画臂按照第一绘画轨迹绘画，以及控制第二绘画臂按照第二绘画轨迹绘画。也就是说，本发明实施例可以根据目标绘画信息计算第一绘画臂和第二绘画臂的第一绘画轨迹和第二绘画轨迹，该第一绘画轨迹和第二绘画轨迹共同实现了将目标绘画信息绘画于画板上，从而可以提高绘画效率。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (10)
1.一种双臂绘画机器人的绘画控制方法，用于双臂绘画机器人的硬件包括检测评估层、运动控制层、通信层、协调规划层，所述检测评估层用于检测获取数据，所述运动控制层用于对所述双臂绘画机器人进行运动控制，所述协调规划层用于对所述双臂机器人的运动协调进行控制；所述双臂绘画机器人包括第一绘画臂和第二绘画臂，其特征在于，所述绘画控制方法包括：
获取目标绘画信息；
根据所述目标绘画信息，计算所述第一绘画臂的第一绘画轨迹以及所述第二绘画臂的第二绘画轨迹；
获取画板、画笔的检测信息；
根据所述画板、画笔的检测信息，判断所述双臂绘画机器人是否能够进行绘画；
若所述双臂绘画机器人能够进行绘画，则控制所述第一绘画臂按照所述第一绘画轨迹绘画，以及控制所述第二绘画臂按照所述第二绘画轨迹绘画。
2.根据权利要求1所述的双臂绘画机器人的绘画控制方法，其特征在于，所述获取目标绘画信息的步骤中，所述目标绘画信息包括视频数据；
所述根据所述目标绘画信息，计算所述第一绘画臂的第一绘画轨迹以及所述第二绘画臂的第二绘画轨迹的步骤包括：
提取所述视频数据中的视频关键帧；
对所述视频数据进行预处理；
对预处理后的视频数据进行特征提取、特征筛选及补充。
3.根据权利要求2所述的双臂绘画机器人的绘画控制方法，其特征在于，在所述提取所述视频数据中的视频关键帧的步骤中，利用帧差法找出所述视频数据中的视频关键帧。
4.根据权利要求2所述的双臂绘画机器人的绘画控制方法，其特征在于，在所述对所述视频数据进行预处理的步骤中，利用灰度化处理，中值滤波、高斯平滑和二值化方法对所述视频数据进行预处理。
5.根据权利要求2所述的双臂绘画机器人的绘画控制方法，其特征在于，在所述对预处理后的视频数据进行特征提取的步骤中，运用canny算法获取所述视频数据中的面部轮廓和五官特征信息，其中，所述canny算法包括以下步骤：
利用高斯滤波器对预处理后的视频数据进行平滑处理；
利用一阶偏导的有限差分来计算梯度的幅值和方向；
对梯度幅值进行非极大值抑制；
用双阈值算法检测和连接边缘。
6.根据权利要求2所述的双臂绘画机器人的绘画控制方法，其特征在于，在所述对预处理后的视频数据进行特征筛选及补充的步骤中，运用霍夫变换和RBF方法中的规则样条函数分别对识别特征线条进行定位和补充。
7.根据权利要求1-6任一项所述的双臂绘画机器人的绘画控制方法，其特征在于，所述方法还包括模型重建步骤，在所述模型重建步骤中，基于SFM三维重建和基于Deeplearning的三维重建方法模型重塑，利用Morse理论的模型分割算法对模型进行优化及分解成所述第一绘画臂的所述第一绘画轨迹以及所述第二绘画臂的所述第二绘画轨迹。
8.根据权利要求7所述的双臂绘画机器人的绘画控制方法，其特征在于，在所述利用Morse理论的模型分割算法对模型进行优化及分解成所述第一绘画臂的所述第一绘画轨迹以及所述第二绘画臂的所述第二绘画轨迹的步骤中，通过相机建立网络模型M；使每个顶点v在半径为r的领域内平滑；利用Morse函数f按照Morse Lemma计算网络模型M的关键点，并选出顶点集合S,并创建分割边界集合B及关键分割点集合P；依照分割边界集合B中的分割线段生成分割线集合L，根据分割线集合L生成子模型集合Ms；根据机器人加工任务是面向空间曲线还是空间曲面选择不同的机器人加工轨迹生成方法生成所述第一绘画轨迹和所述第二绘画轨迹。
9.一种双臂绘画机器人的绘画控制装置，用于双臂绘画机器人，所述双臂绘画机器人包括第一绘画臂和第二绘画臂，其特征在于，所述绘画控制装置包括：
第一获取模块：用于获取目标绘画信息；
计算模块：用于根据所述目标绘画信息，计算所述第一绘画臂的第一绘画轨迹以及所述第二绘画臂的第二绘画轨迹；
第二获取模块：用于获取画板、画笔的检测信息；
判断模块：用于根据所述画板、画笔的检测信息，判断所述双臂绘画机器人是否能够进行绘画；
控制模块：用于若所述双臂绘画机器人能够进行绘画，则控制所述第一绘画臂按照所述第一绘画轨迹绘画，以及控制所述第二绘画臂按照所述第二绘画轨迹绘画。
10.一种双臂绘画机器人教育系统，其特征在于，包括：
双臂绘画机器人，所述双臂绘画机器人包括第一绘画臂、第二绘画臂和控制器，所述第一绘画臂和所述第二绘画臂均与所述控制器电连接，所述控制器上存储有可执行的程序，所述程序被执行时，实现如权利要求1-8任一项所述的绘画控制方法；
教学资源库，所述教育资源库与所述控制器通信连接，所述教学资源库包括学习过程控制策略功能模块、课堂教学方案功能模块、控制软件实现功能模块、机器人执行控制算法功能模块、教学质量评估功能模块以及教学过程管理功能模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211323346.6A CN115817063A (zh) | 2022-10-27 | 2022-10-27 | 双臂绘画机器人教学系统及其绘画控制方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211323346.6A CN115817063A (zh) | 2022-10-27 | 2022-10-27 | 双臂绘画机器人教学系统及其绘画控制方法、装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115817063A true CN115817063A (zh) | 2023-03-21 |
Family
ID=85525572
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211323346.6A Pending CN115817063A (zh) | 2022-10-27 | 2022-10-27 | 双臂绘画机器人教学系统及其绘画控制方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115817063A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04262406A (ja) * | 1991-02-16 | 1992-09-17 | Yaskawa Electric Corp | 双腕ロボット教示装置 |
| US20120197438A1 (en) * | 2009-12-02 | 2012-08-02 | Canon Kabushiki Kaisha | Dual arm robot |
| CN108973509A (zh) * | 2018-08-09 | 2018-12-11 | 广东智媒云图科技股份有限公司 | 绘画装置及绘画装置控制方法 |
| CN111168676A (zh) * | 2020-01-08 | 2020-05-19 | 浙江省北大信息技术高等研究院 | 机械臂手眼协作绘画方法、装置、绘画机器人及介质 |
| CN111185903A (zh) * | 2020-01-08 | 2020-05-22 | 浙江省北大信息技术高等研究院 | 控制机械臂绘制人像画的方法、装置及机器人系统 |
| CN210925010U (zh) * | 2019-10-31 | 2020-07-03 | 浙江君睿智能装备有限公司 | 一种改进式教仪多功能机器人示教设备 |
| CN211193905U (zh) * | 2019-10-23 | 2020-08-07 | 北京信息科技大学 | 一种绘图机器人以及绘图系统 |
| CN112614400A (zh) * | 2020-12-18 | 2021-04-06 | 重庆师范大学 | 一种教育机器人与课堂教学的控制方法及系统 |
| CN114407047A (zh) * | 2022-03-01 | 2022-04-29 | 蓝宙(江苏)技术有限公司 | 一种绘画机器人及其控制方法 |
-
2022
- 2022-10-27 CN CN202211323346.6A patent/CN115817063A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04262406A (ja) * | 1991-02-16 | 1992-09-17 | Yaskawa Electric Corp | 双腕ロボット教示装置 |
| US20120197438A1 (en) * | 2009-12-02 | 2012-08-02 | Canon Kabushiki Kaisha | Dual arm robot |
| CN108973509A (zh) * | 2018-08-09 | 2018-12-11 | 广东智媒云图科技股份有限公司 | 绘画装置及绘画装置控制方法 |
| CN211193905U (zh) * | 2019-10-23 | 2020-08-07 | 北京信息科技大学 | 一种绘图机器人以及绘图系统 |
| CN210925010U (zh) * | 2019-10-31 | 2020-07-03 | 浙江君睿智能装备有限公司 | 一种改进式教仪多功能机器人示教设备 |
| CN111168676A (zh) * | 2020-01-08 | 2020-05-19 | 浙江省北大信息技术高等研究院 | 机械臂手眼协作绘画方法、装置、绘画机器人及介质 |
| CN111185903A (zh) * | 2020-01-08 | 2020-05-22 | 浙江省北大信息技术高等研究院 | 控制机械臂绘制人像画的方法、装置及机器人系统 |
| CN112614400A (zh) * | 2020-12-18 | 2021-04-06 | 重庆师范大学 | 一种教育机器人与课堂教学的控制方法及系统 |
| CN114407047A (zh) * | 2022-03-01 | 2022-04-29 | 蓝宙(江苏)技术有限公司 | 一种绘画机器人及其控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hasan et al. | RETRACTED ARTICLE: Static hand gesture recognition using neural networks | |
| Schmidt et al. | Grasping of unknown objects using deep convolutional neural networks based on depth images | |
| Wan et al. | Teaching robots to do object assembly using multi-modal 3d vision | |
| Alamsyah et al. | Faster R-CNN with inception v2 for fingertip detection in homogenous background image | |
| CN110246127A (zh) | 基于深度相机的工件识别与定位方法和系统、分拣系统 | |
| Elbrechter et al. | Bi-manual robotic paper manipulation based on real-time marker tracking and physical modelling | |
| Kulecki et al. | Practical aspects of detection and grasping objects by a mobile manipulating robot | |
| Wang et al. | DemoGrasp: Few-shot learning for robotic grasping with human demonstration | |
| Laili et al. | Custom grasping: A region-based robotic grasping detection method in industrial cyber-physical systems | |
| Liang et al. | A robot calligraphy writing method based on style transferring algorithm and similarity evaluation | |
| CN115817063A (zh) | 双臂绘画机器人教学系统及其绘画控制方法、装置 | |
| EP4155036A1 (en) | A method for controlling a grasping robot through a learning phase and a grasping phase | |
| Ardizzone et al. | Pose classification using support vector machines | |
| Cruz-Silva et al. | 3-D Human Body Posture Reconstruction by Computer Vision | |
| Hüser et al. | Visual programming by demonstration of grasping skills in the context of a mobile service robot using 1D-topology based self-organizing-maps | |
| Fei et al. | Boosting visual servoing performance through RGB-based methods | |
| Liang et al. | Visual reconstruction and localization-based robust robotic 6-DoF grasping in the wild | |
| Shin et al. | Deep Learning-based Hand Pose Estimation from 2D Image | |
| Patil et al. | Sift based approach: Object recognition and localization for pick-and-place system | |
| Xin et al. | Visual servoing of unknown objects for family service robots | |
| Chiang et al. | Optimal Grasping Strategy for Robots With a Parallel Gripper Based on Feature Sensing of 3D Object Model | |
| Li et al. | Hard Disk Posture Recognition and Grasping Based on Depth Vision | |
| Ahmadzadeh et al. | Visuospatial skill learning | |
| Çapkan et al. | Robotic Arm Guided by Deep Neural Networks and New Knowledge-Based Edge Detector for Pick and Place Applications | |
| Saeed Mian et al. | Automated 3D model‐based free‐form object recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |