CN112518756B - 机械臂的运动轨迹规划方法及装置、机械臂及存储介质 - Google Patents

机械臂的运动轨迹规划方法及装置、机械臂及存储介质 Download PDF

Info

Publication number
CN112518756B
CN112518756B CN202011435841.7A CN202011435841A CN112518756B CN 112518756 B CN112518756 B CN 112518756B CN 202011435841 A CN202011435841 A CN 202011435841A CN 112518756 B CN112518756 B CN 112518756B
Authority
CN
China
Prior art keywords
model
motion
initial
mechanical arm
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011435841.7A
Other languages
English (en)
Other versions
CN112518756A (zh
Inventor
郑大可
刘益彰
庞建新
谭欢
熊友军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ubtech Robotics Corp
Original Assignee
Ubtech Robotics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ubtech Robotics Corp filed Critical Ubtech Robotics Corp
Priority to CN202011435841.7A priority Critical patent/CN112518756B/zh
Publication of CN112518756A publication Critical patent/CN112518756A/zh
Application granted granted Critical
Publication of CN112518756B publication Critical patent/CN112518756B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明实施例公开了一种机械臂的运动轨迹规划方法及装置、机械臂及存储介质,方法包括:在机械臂接收到任务指令之后,获取机械臂的视觉检测系统采集到的环境数据,根据上述的任务指令、环境数据及预设的示教运动DS模型库,确定该机械臂的初始DS模型运动轨迹,并对所述初始DS模型运动轨迹进行修正,得到机械臂的目标运动轨迹,该目标运动轨迹是匹配所述任务指令的运动轨迹。通过基于人类示教活动生成DS模型运动轨迹,并形成示教运动动态系统DS模型库的方式,使得机械臂能够利用该示教运动DS模型库确定初始DS模型运动轨迹,并进一进地对该初始DS模型运动轨迹进行修正,得到符合任务指令需求的目标运动轨迹,实现机械臂自主且灵活的运动轨迹的规划。

Description

机械臂的运动轨迹规划方法及装置、机械臂及存储介质
技术领域
本发明涉及智能控制技术领域,尤其涉及一种机械臂的运动轨迹规划方法及装置、机械臂及存储介质。
背景技术
随着科技的快速发展,机械臂的技术也越来越成熟,目前,机械臂技术在无人搬运、物流分拣、流水线制造等领域已经取得了很大的提升并得到了成熟的应用,但是在诸如养老、助残、家庭服务、人机协同、复杂未知场景自主操作等领域的提升和应用还有很长的路要走,对于上述的复杂领域,机械臂无法自主且灵活地进行运动轨迹的规划。
发明内容
本发明的主要目的在于提供一种机械臂的运动轨迹规划方法及装置、设备及存储介质,可以解决现有技术中的机械臂无法自主且灵活地进行运动轨迹的规划的问题。
为实现上述目的,本发明第一方面提供一种机械臂的运动轨迹规划方法,所述方法包括:
若机械臂接收到任务指令,则获取所述机械臂的视觉检测系统采集到的环境数据;
根据所述任务指令、所述环境数据及预设的示教运动动态系统DS模型库,确定所述机械臂的初始DS模型运动轨迹,所述示教运动DS模型库至少包含基于人类示教活动生成的DS模型运动轨迹;
对所述初始DS模型运动轨迹进行修正,得到所述机械臂的目标运动轨迹。
为实现上述目的,本发明第二方面提供一种机械臂的运动轨迹规划装置,所述装置包括:
获取模块,用于若机械臂接收到任务指令,则获取所述机械臂的视觉检测系统采集到的环境数据;
确定模块,用于根据所述任务指令、所述环境数据及预设的示教运动动态系统DS模型库,确定所述机械臂的初始DS模型运动轨迹,所述示教运动动态系统DS模型库至少包含基于人类示教活动生成的DS模型运动轨迹;
修正模块,用于对所述初始DS模型运动轨迹进行修正,得到所述机械臂的目标运动轨迹。
为实现上述目的,本发明第三方面提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如第一方面所述的方法中的各个步骤。
为实现上述目的,本发明第四方面提供一种机械臂,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如第一方面所述的方法中的各个步骤。
采用本发明实施例,具有如下有益效果:
本发明提供一种机械臂的运动轨迹规划方法,在机械臂接收到任务指令之后,获取机械臂的视觉检测系统采集到的环境数据,根据上述的任务指令、环境数据及预设的示教运动动态系统(Dynamical System,DS)模型库,确定该机械臂的初始DS模型运动轨迹,并对所述初始DS模型运动轨迹进行修正,得到机械臂的目标运动轨迹,该目标运动轨迹是匹配所述任务指令的运动轨迹。通过基于人类示教活动生成DS模型运动轨迹,并形成示教运动动态系统DS模型库的方式,使得机械臂能够利用该示教运动DS模型库确定初始DS模型运动轨迹,并进一进地对该初始DS模型运动轨迹进行修正,得到符合任务指令需求的目标运动轨迹,实现机械臂自主且灵活的运动轨迹的规划。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1为本发明实施例中机械臂的运动轨迹规划方法的一流程示意图;
图2为本发明实施例中机械臂的运动轨迹规划方法的另一流程图;
图3为本发明图1所示实施例中步骤103的细化步骤的流程示意图;
图4为本发明实施例中凹形障碍物的示意图;
图5为图4所示凹形障碍物的另一示意图;
图6为本发明实施例中机械臂的运动轨迹规划装置的方框示意图;
图7为本发明实施例中机械臂的系统方框图的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,为本发明实施例中机械臂的运动轨迹规划方法,所述方法包括:
步骤101、若机械臂接收到任务指令,则获取机械臂的视觉检测系统采集到的环境数据;
在本发明实施例中,上述的机械臂的运动轨迹规划方法由机械臂的运动轨迹规划装置实现,该运动轨迹规划装置为程序模块,该程序模块存储在机械臂的计算机可读存储介质中,机械臂中的处理器可以调用并执行该程序模块,以实现上述的机械臂的运动轨迹规划方法。
其中,用户或者设备可以向机械臂发送任务指令,该任务指令可以是语音指令,也可以是非语音指令,例如,用户可以通过语音的方式说出指令,由机械臂的语音采集模块对用户的语音进行采集,并生成任务指令,或者,机械臂可以接收到其他用户端或者设备通过网络发送的任务指令。
其中,机械臂具有视觉检测系统,该视觉检测系统可以检测到机械臂的可活动空间内的环境数据,该视觉检测系统可以包含摄像头,通过摄像头拍摄图像的方式获取到上述的环境数据。例如,机械臂的可活动空间内存在一个水杯,则利用视觉检测系统包含的摄像头则可以拍摄到包含该水杯的图像。
步骤102、根据任务指令、环境数据及预设的示教运动DS模型库,确定机械臂的初始DS模型运动轨迹,示教运动DS模型库至少包含基于人类示教活动生成的DS模型运动轨迹;
步骤103、对初始DS模型运动轨迹进行修正,得到机械臂的目标运动轨迹。
在本发明实施例中,机械臂的运动轨迹是指机械臂的末端的移动轨迹,可以基于DS原理描述该机械臂的运动轨迹,其中,DS是数学上的一个概念,在DS系统中存在一个固定规则,描述了几何空间中的一个点随时间演化情况,因此,可以通过DS原理描述机械臂的末端(将该末端看作是一个点)的运动轨迹。
在本发明实施例中,预先设置示教运动DS模型库。上述的示教运动DS模型库至少包含基于人类示教活动生成的DS模型运动轨迹,其中,人类示教活动是指人类使用手臂真实的完成一个任务,该任务可以由一个动作构成,也可以是由多个动作构成,例如,该人类示教活动可以是:举起手臂,放下手臂,拿起杯子、打开冰箱门等等,可以由一个进行示教活动的人员真实的演示“举起手臂”、“放下手臂”、“拿起冰箱”及“打开冰箱门”的操作,并拍摄得到该人员演示上述动作的视频数据,并基于DS原理对该视频数据中的手臂的末端的位置进行确认,得到手臂的末端在执行上述动作的过程中的移动轨迹,上述人员的手臂则对应着机械臂,手臂的手掌部分则为手臂的末端,且对应着机械臂的末端,机械臂可以模拟上述人员的手臂执行任务,即可将基于DS原理得到的手臂的末端的移动轨迹作为机械臂的DS模型运动轨迹使用,因此,基于该移动轨迹即可得到相应的动作对应的DS模型运动轨迹,使得可以通过上述方式,得到上述的示教运动DS模型库,且机械臂能够通过模拟人类真实的动作的方式执行任务,以便具有自主且灵活地确定运动轨迹的能力,提高了机械臂的自主性及灵活性。
可以理解的是,可以在不同场景下设置不同的示教运动DS模型库,例如,在家居场景下,可以由人类示教在家里活动的可能的动作,并基于人类示教的动作得到家居场景对应的示教运动DS模型库,在实际应用中,可以根据具体的场景及需求设置相应的示教运动DS模型库,此处不做限定。
在本发明实施例中,可以根据任务指令、环境数据及上述预设的示教运动DS模型库,确定机械臂的初始DS模型运动轨迹,且考虑到示教运动DS模型库实际上相当于一个模板库,其与机械臂真实的活动还具有差异,例如可能会存在障碍物,需要进行障碍物避障,或者可能任务的终点位置不相同等等,因此,在得到上述的初始DS模型运动轨迹之后,还将对该初始DS模型运动轨迹进行修正,得到机械臂的目标运动轨迹。
可以理解的是,在得到上述的目标运动轨迹之后,可以对机械臂进行轨迹跟踪控制,使得机械臂能够精确跟踪该目标运动轨迹,以使得机械臂能够实现上述任务指令所指示的任务,实现机械臂的类人自主运动。
在本发明实施例中,通过基于人类示教活动生成DS模型运动轨迹,并形成示教运动动态系统DS模型库的方式,使得机械臂能够利用该示教运动DS模型库确定初始DS模型运动轨迹,并进一进地对该初始DS模型运动轨迹进行修正,得到符合任务指令需求的目标运动轨迹,实现机械臂自主且灵活的运动轨迹的规划。
基于图1所示实施例,请参阅图2,为本发明实施例中机械臂的运动轨迹规划方法的另一流程示意图,包括:
步骤201、若机械臂接收到任务指令,则获取所述机械臂的视觉检测系统采集到的环境数据;
可以理解的是,上述步骤201与图1所示实施例中的步骤101描述的内容相似,具体可以参阅图1所示实施例中步骤101的相关内容,此处不做赘述。
步骤202、对任务指令进行解析,确定任务指令指示的目标任务名称及目标任务物体,目标任务物体是指所述机械臂执行任务指令指向的被操作物体;
步骤203、对环境数据进行物体识别,确定环境数据包含的第一物体;
步骤204、根据目标任务名称、目标任务物体,第一物体及示教运动DS模型库确定机械臂的初始DS模型运动轨迹;
在本发明实施例中,上述的示教运动DS模型库包含任务名称、任务物体及DS模型运动轨迹之间的对应关系,其中,在基于人类的示教运动得到DS模型运动轨迹时,还将设置任务物体、任务名称,例如,任务名称可以是“拿起”,任务物体可以是“水杯”、“瓶子”、“剪刀”“手机”等等,则组成的任务指令可以是:“拿起水杯”、“拿起瓶子”、“拿起剪刀”、“拿起手机”等等。可以理解的是,上述的对应关系中,任务物体可以为空,即机械臂执行的任务可以是手臂的动作,和外界的物体无关,例如,任务名称可以是“举手”、“指向前方”等等,在实际应用中,在上述对应关系中任务物体是否为空与具体的任务相关,可以根据需要进行设置,此处不做限定。
此外,上述示教运动DS模型库中的DS模型运动轨迹具体可以是:获取到人类示教活动中的针对任务A的视频数据,利用基于高斯混合模型的示教运动动态系统模型辨识方法对该视频数据进行辨识处理,得到任务A对应的DS模型运动轨迹,且可以理解的是,可以基于对任务A的分析,设置该DS模型运动轨迹的任务名称及任务物体。
在本发明实施例中,在接收到任务指令,且获取到环境数据之后,可以对该任务指令进行解析,确定该任务指令指示的目标任务名称及目标任务物体,其中,该目标任务物体是指机械臂执行任务指令指向的被操作物体,例如,若任务指令是“拿起水杯”,则目标任务名称则可以是“拿起”,目标任务物体则是“水杯”。
具体的,若上述任务指令为非语音指令,则可以获得任务指令包含的信息,并确定该信息中的目标任务名称及目标任务物体。例如,用户可以在可与机械臂进行通信的终端的显示界面输入任务,即“打开冰箱”,并由该终端生成任务指令,且终端将该任务指令通过网络发送给机械臂,机械臂对该任务指令进行解析,则可以确定目标任务名称为“打开”,目标任务物体为“冰箱”。
若上述任务指令为语音指令,则需要先对该语音指令进行语音识别,确定该语音指令包含的文字内容,并进一步地对文字内容进行关键字划分,确定关键字,然后基于关键字确定上述的目标任务名称及目标任务物体。
进一步地,还将对环境数据进行物体识别,确定该环境数据包含的第一物体,其中,上述的第一物体是指环境数据包含的图像中存在的所有物体。
且在一种可行的实现方式中,将根据上述的目标任务名称、目标任务物体,第一物体及示教运动DS模型库确定机械臂的初始DS模型运动轨迹,其中,由于示教运动DS模型库包含任务名称、任务物体及DS模型运动轨迹,因此,上述初始DS模型运动轨迹具体可以按照如下方式得到:
步骤a、判断第一物体是否包含目标任务物体;
步骤b、当第一物体包含目标任务物体时,利用目标任务名称、目标任务物体查找示教运动DS模型库,确定与目标任务名称及目标任务物体具有对应关系的初始DS模型运动轨迹。
其中,将判断第一物体是否包含目标任务物体,具体的,若目标任务物体不为空,则遍历第一物体,且遍历结束后,确定遍历到的物体中与目标任务物体相同的第二物体,则确定该第二物体即为目标任务物体,例如,若第一物体包括:水杯、剪刀、笔、本子等,目标任务物体为“水杯”,则遍历第一物体确定包含目标任务物体“水杯”。可以理解的是,在目标任务物体为空时,则也可以确定第一物体包含目标任务物体。
进一步地,将利用目标任务名称、目标任务物体查找示教运动DS模型库,确定与目标任务名称及目标任务物体具有对应关系的初始DS模型运动轨迹。
可以理解的是,任务指令指示的任务可以是由多个小的任务构成的,例如,任务是“打开冰箱”,则可以将该任务分解成两个步骤执行,一个为移动到冰箱门处,其对应的目标任务名称是:移动位置,目标任务物体为:冰箱,另一个则是执行打开的动作,其对应的目标任务名称为:打开,目标任务物体为冰箱,在该种情况下,则需要分别得到该两个步骤对应的初始DS模型运动轨迹,将该两个步骤的初始DS模型运动轨迹作为任务指令指示的任务的运动轨迹,可以理解的是,在实际应用中可以根据需要设置对任务的划分方式,及示教运动DS模型库中各个DS模型运动轨迹对应的任务大小,此处不做限定。
步骤205、对所述初始DS模型运动轨迹进行修正,得到所述机械臂的目标运动轨迹。
在本发明实施例中,通过使用目标任务名称及目标任务物体查找示教运动DS模型库的方式,使得能够有效的确定与目标任务名称及目标任务物体具有对应关系的初始DS模型运动轨迹。
进一步地,请参阅图3,为本发明实施例中图1所示实施例中步骤103的细化步骤的流程示意图,该细化步骤包括:
步骤301、判断环境数据包含的第一物体中是否存在位姿位于初始DS模型运动轨迹上的障碍物,得到第一判断结果;及判断任务指令中的目标任务物体的第一位姿是否与初始DS模型运动轨迹中的目标物体的第二位姿相同,得到第二判断结果;
步骤302、根据第一判断结果及第二判断结果对初始DS模型运动轨迹进行修正,得到目标运动轨迹。
在本发明实施例中,在得到初始DS模型运动轨迹之后,将对其进行修正,使得修正后得到的目标运动轨迹能够更符合实际场景下机械臂执行任务指令所需要的轨迹。
具体的,可以先确定环境数据包含的第一物体中是否存在位姿位于初始DS模型运动轨迹上的障碍物,使得能够进行障碍物的判断,以便确定是否需要进行避障处理。
其中,上述的环境数据包含的第一物体,是通过对环境数据进行物体识别确定的,除了用于确定是否存在目标任务物体之外,还用于确定是否存在障碍物,可以理解的是,机械臂可以确定环境数据中包含的第一物体的位姿,该位姿及DS模型运动轨迹都是基于同一个笛卡尔坐标系确定的。
其中,确定障碍物的方式可以是判断第一物体中是否存在位姿位于初始DS模型运动轨迹上的障碍物,得到第一判断结果,该第一判断结果可以是不存在,或者,可以是存在,且为物体A,通过该种方式,可以确定是否存在障碍物,可以理解的是,确定障碍物可以是实时的,即实时确定在机械臂的末端的移动轨迹上,该末端即将达到的位置是否存在障碍物。
此外,还将确定目标任务物体的第一位姿是否与初始DS模型运动轨迹中的目标物体的第二位姿相同,得到第二判断结果,该第二判断结果可以是相同也可以不同。其中,初始DS模型运动轨迹中的目标物体是指人类示教活动所使用到的物体,例如,人类示教活动是“拿起水杯”,则目标物体则为水杯。
具体的,若基于第一判断结果确定存在障碍物,且基于第二判断结果确定第一位姿与第二位姿相同,则对初始DS模型运动轨迹进行障碍物避障修正,得到目标运动轨迹。
若基于第一判断结果确定存在障碍物,且基于第二判断结果确定第一位姿与第二位姿不同,则对初始DS模型运动轨迹进行障碍物避障修正,并基于第一位姿对障碍物避障修正后的初始DS模型运动轨迹进行目标物体的位姿的修正,得到目标运动轨迹;
若基于第一判断结果确定不存在障碍物,且基于第二判断结果确定第一位姿与第二位姿相同,则确定初始DS模型运动轨迹为目标运动轨迹;
若基于第一判断结果确定不存在障碍物,且基于第二判断结果确定第一位姿与第二位姿不同,则基于第一位姿对初始DS模型运动轨迹进行目标物体的位姿的修正,得到目标运动轨迹。
在本发明实施例中,上述的对初始DS模型运动轨迹进行障碍物避障修正,包括:先基于障碍物的形状,确定障碍物为凹形障碍物还是凸形障碍物,其中,凹形障碍物是指物体的形状的外边缘的切线可将其形状划分成至少两个部分的物体,除了凹形障碍物以外的其他障碍物都可以称为凸形障碍物。
其中,当障碍物为凹形障碍物时,可以将凹形障碍物划分成至少两个两两相交的凸形障碍物,其中,两两相交的凸形障碍物相交的位置为相交线。
当初始DS模型运动轨迹到达凹形障碍物的交点未位于相交线上时,计算凸形障碍物组合形成的组合模态矩阵,利用组合模态矩阵对初始DS模型运动轨迹进行修正。
当初始DS模型运动轨迹到达凹形障碍物的交点位于相交线上时,确定形成相交线的第一凸形障碍物的第一法向量及第二凸形障碍物的第二法向量,利用第一法向量及第二法向量构建交点对应的模态矩阵,利用交点对应的模态矩阵对初始DS模型运动轨迹进行修正。
为了更好的理解本发明实施例中的技术方案,请参阅图4,为本发明实施例中凹形障碍物的一个示意图,该凹形障碍物是以电钻为例,其由三个凸形障碍物构成,该三个凸形障碍物分别为凸形障碍物1、凸形障碍物2及凸形障碍物3,其中,凸形障碍物1和凸形障碍物2之间两两相交,凸形障碍物2和凸形障碍物3之间两两相交,且两两相交的凸形障碍物的相交的位置为相交线,在图4中,相交线为A和B,其中,相交线A的范围为点c1至点c2之间,相交线B的范围为点c3至点c4之间。可以理解的是,对于任何一个凹形障碍物,都可以划分成多个凸形障碍物。
可以按照如下公式计算上述电钻划分后的三个凸形障碍物的组合模态矩阵,如下:
Figure BDA0002828135740000101
其中,
Figure BDA0002828135740000102
Figure BDA0002828135740000103
Figure BDA0002828135740000111
其中,
Figure BDA0002828135740000112
表示N个凸形障碍物的组合模态矩阵,
Figure BDA0002828135740000113
表示第i个凸形障碍物的模态矩阵,
Figure BDA0002828135740000114
表示第i个凸形障碍物的法向量,
Figure BDA0002828135740000115
Figure BDA0002828135740000116
为第i个凸形障碍物的法向量对应的超平面的基向量;
其中,
Figure BDA0002828135740000117
Figure BDA0002828135740000118
其中,
Figure BDA0002828135740000119
表示第i个凸形障碍物的表面函数,(ξ)1、(ξ)2、(ξ)3分别表示笛卡尔坐标系中的X轴、Y轴及Z轴。
在得到上述凹形障碍物拆分后的多个凸形障碍物的组合模态之后,将进一步地确定初始DS模型运动轨迹到达该凹形障碍物的交点是否位于相交线上,即如图4所示,确定初始DS模型运动轨迹是否到达了相交线A或者相交线B上。
当初始模型运动轨迹到达凹形障碍物的交点未位于相交线上时,此时,可利用上述的组合模态矩阵对初始DS模型运动轨迹进行修正。
具体的,可以使用如下公式:
Figure BDA00028281357400001110
其中,
Figure BDA00028281357400001111
表示初始DS模型运动轨迹进行障碍物修正之后的运动轨迹,
Figure BDA00028281357400001112
表示N个凸形障碍物的组合模态矩阵,f(ξ)表示初始DS模型运动轨迹。
具体的,以图4所涉及的内容为基础,请参阅图5,为图4所示凹形障碍物的另一示意图,其中,
Figure BDA00028281357400001113
表示凸形障碍物1的中心点,
Figure BDA00028281357400001114
表示凸形障碍物2的中心点,
Figure BDA00028281357400001115
表示凸形障碍物3的中心点,
Figure BDA00028281357400001116
表示交点,且该交点位于第三凸形障碍物的表面,
Figure BDA00028281357400001117
表示第三个凸形障碍物的法向量,
Figure BDA00028281357400001118
Figure BDA00028281357400001119
表示第三个凸形障碍物的法向量对应的超平面的基向量。
当初始DS模型运动轨迹到达凹形障碍物的交点位于相交线上时,则确定形成相交线的第一凸形障碍物的第一法向量及第二凸形障碍物的第二法向量,利用第一法向量及第二法向量构建交点对应的模态矩阵,利用该交点对应的模态矩阵对初始DS模型运动轨迹进行修正,使得能够避开凹形障碍物。
其中,以交点为相交线上的点
Figure BDA0002828135740000121
为例,且点
Figure BDA0002828135740000122
在第m个凸形障碍物和第n个凸形障碍物的相交线上,则点
Figure BDA0002828135740000123
在第m个凸形障碍物的第一法向量(在第一凸形障碍物的第一法向量)如下:
Figure BDA0002828135740000124
Figure BDA0002828135740000125
其中,
Figure BDA0002828135740000126
表示第一法向量,
Figure BDA0002828135740000127
表示交点的坐标,
Figure BDA0002828135740000128
表示第m个凸形障碍物的中心点的坐标,
Figure BDA0002828135740000129
表示第m个凸形障碍物的表面函数,b代表第m个凸形障碍物和第n个凸形障碍物交线上一点的标记。
其中,点
Figure BDA00028281357400001210
在第n个凸形障碍物的第二法向量(在第二凸形障碍物的第二法向量)如下:
Figure BDA00028281357400001211
Figure BDA00028281357400001212
其中,
Figure BDA00028281357400001213
表示第二法向量,
Figure BDA00028281357400001214
表示交点的坐标,
Figure BDA00028281357400001215
表示第m个凸形障碍物的中心点的坐标,
Figure BDA00028281357400001216
表示第n个凸形障碍物的表面函数,b代表第m个凸形障碍物和第n个凸形障碍物交线上一点的标记。
在得到上述的第一法向量和第二法向量之后,利用第一法向量和第二法向量构建交点
Figure BDA00028281357400001217
对应的
Figure BDA00028281357400001218
模态矩阵,如下:
Figure BDA00028281357400001219
其中,
Figure BDA00028281357400001220
Figure BDA00028281357400001221
Figure BDA00028281357400001222
Figure BDA00028281357400001223
其中,pin表示伪逆。
其中,
Figure BDA0002828135740000131
表示与第一法向量和第二法向量均垂直的向量。通过构造该向量的方式,使得在对初始移动轨迹进行避障修正时,能够使得修正后的目标移动轨迹能够沿着第一障碍物和第二障碍物的表面的法向量的切线向外移出,以实现避障。
且在得到交点
Figure BDA0002828135740000132
对应的
Figure BDA0002828135740000133
模态矩阵,将利用该模态矩阵对初始DS模型运动轨迹进行修正,得到进行障碍物修正后的运动轨迹。公式如下:
Figure BDA0002828135740000134
其中,f(ξ)表示初始移动轨迹,
Figure BDA0002828135740000135
表示基于相交点
Figure BDA0002828135740000136
确定的目标模态矩阵,
Figure BDA0002828135740000137
表示避障修正之后的目标移动轨迹。
具体的,以图4所涉及的内容为基础,请参阅图5,为图4所示凹形障碍物的另一示意图,其中,
Figure BDA0002828135740000138
表示凸形障碍物1的中心点,
Figure BDA0002828135740000139
表示凸形障碍物2的中心点,
Figure BDA00028281357400001310
表示凸形障碍物3的中心点,
Figure BDA00028281357400001311
表示第一凸形障碍物1和第二凸形障碍物2的相交线(交线)上的点,且该点为上述的交点。
Figure BDA00028281357400001312
表示点
Figure BDA00028281357400001313
第一个凸形障碍物上的法向量,
Figure BDA00028281357400001314
表示点
Figure BDA00028281357400001315
第二个凸形障碍物上的法向量,e12表示同时垂直于
Figure BDA00028281357400001316
Figure BDA00028281357400001317
的向量,即上述的
Figure BDA00028281357400001318
的值。
可以理解的是,若障碍物修正之后不需要再进行目标物体的位姿的修正,则障碍物修正后的运动轨迹即为目标运动轨迹,若障碍物修正之后还需要对目标物体的位姿进行修正,则进一步的进行目标物体的位姿的,且将修正后的运动轨迹作为目标运动轨迹。
其中,目标物体的位姿的修正方式为利用所述目标任务物体的第一位姿替换所述目标物体的位姿。
在本发明实施例中,通过利用环境数据及任务指令,可以有效确定是否需要进行障碍物避障修正及目标任务物体的位姿的修正,且在需要进行障碍物避障修正时,若障碍物为凹形障碍物,则通过将凹形障碍物划分成多个凸形障碍物,并基于初始DS模型运动轨迹到达凹形障碍物的交点是否位于相交线上,而构造不同的模态矩阵,以对初始DS模型运动轨迹进行修正,使得能够有效实现避障,且在需要对目标物体的位姿进行修正时,也将进行目标物体的位姿的修正,通过上述方式,使得修正后的目标运动轨迹更加符合实际场景下的任务需求,使得能够有效且精确的实现任务。
且进一步地,本发明实施例中的技术方案适用于诸如养老、助残、家庭服务、人机协同等等场景,能够使得机械臂自主且灵活的实现运动轨迹的规划,且通过对确定的目标运动轨迹的跟踪控制,使得机械臂能够实现精确控制,有效且准确地完成期望的任务,实现机械臂的类人自主运动。且可以理解的是,上述的运动轨迹的规划过程是实时的过程,也可以实现运动轨迹的实时规划。
请参阅图6,为本发明实施例中机械臂的运动轨迹规划装置的结构示意图,该装置包括:
获取模块601,用于若机械臂接收到任务指令,则获取机械臂的视觉检测系统采集到的环境数据;
确定模块602,用于根据任务指令、环境数据及预设的示教运动动态系统DS模型库,确定机械臂的初始DS模型运动轨迹,示教运动动态系统DS模型库至少包含基于人类示教活动生成的DS模型运动轨迹;
修正模块603,用于对初始DS模型运动轨迹进行修正,得到机械臂的目标运动轨迹。
可以理解的是,上述机械臂的运动轨迹规划装置中涉及到的获取模块501、确定模块502及修正模块503与机械臂的运动轨迹规划方法的实施例中描述的内容相似,具体可以参阅方法实施例中相关的内容,此处不做赘述。
在本发明实施例中,通过基于人类示教活动生成DS模型运动轨迹,并形成示教运动动态系统DS模型库的方式,使得机械臂能够利用该示教运动DS模型库确定初始DS模型运动轨迹,并进一进地对该初始DS模型运动轨迹进行修正,得到符合任务指令需求的目标运动轨迹,实现机械臂自主且灵活的运动轨迹的规划。
图7示出了一个实施例中机械臂的系统方框图的示意图。如图7所示,该机械臂包括通过系统总线连接的处理器、存储器和网络接口。其中,存储器包括非易失性存储介质和内存储器。该机械臂的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现机械臂的运动轨迹规划方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行机械臂的运动轨迹规划方法。本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的机械臂的限定,具体的机械臂可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提出了一种机械臂,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行以下步骤:
若机械臂接收到任务指令,则获取所述机械臂的视觉检测系统采集到的环境数据;
根据所述任务指令、所述环境数据及预设的示教运动动态系统DS模型库,确定所述机械臂的初始DS模型运动轨迹,所述示教运动DS模型库至少包含基于人类示教活动生成的DS模型运动轨迹;
对所述初始DS模型运动轨迹进行修正,得到所述机械臂的目标运动轨迹。
在一个实施例中,提出了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行以下步骤:
若机械臂接收到任务指令,则获取所述机械臂的视觉检测系统采集到的环境数据;
根据所述任务指令、所述环境数据及预设的示教运动动态系统DS模型库,确定所述机械臂的初始DS模型运动轨迹,所述示教运动DS模型库至少包含基于人类示教活动生成的DS模型运动轨迹;
对所述初始DS模型运动轨迹进行修正,得到所述机械臂的目标运动轨迹。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种机械臂的运动轨迹规划方法,其特征在于,所述方法包括:
若机械臂接收到任务指令,则获取所述机械臂的视觉检测系统采集到的环境数据;
根据所述任务指令、所述环境数据及预设的示教运动动态系统DS模型库,确定所述机械臂的初始DS模型运动轨迹,所述示教运动动态系统DS模型库至少包含基于人类示教活动生成的DS模型运动轨迹;
对所述初始DS模型运动轨迹进行修正,得到所述机械臂的目标运动轨迹;
其中,所述对所述DS模型运动轨迹进行修正,得到所述机械臂的目标运动轨迹,包括:
判断所述环境数据包含的第一物体中是否存在位姿位于所述初始DS模型运动轨迹上的障碍物,得到第一判断结果;及判断所述任务指令中的目标任务物体的第一位姿是否与所述初始DS模型运动轨迹中的目标物体的第二位姿相同,得到第二判断结果;
根据所述第一判断结果及所述第二判断结果对所述初始DS模型运动轨迹进行修正,包括:若存在所述障碍物,且所述第一位姿与所述第二位姿相同,则对所述初始DS模型运动轨迹进行障碍物避障修正,所述避障修正,包括:
当所述障碍物为凹形障碍物时,将所述凹形障碍物划分成至少两个两两相交的凸形障碍物,其中,两两相交的凸形障碍物相交的位置为相交线;
当所述初始DS模型运动轨迹到达所述凹形障碍物的交点未位于所述相交线上时,计算所述凸形障碍物组合形成的组合模态矩阵,利用所述组合模态矩阵对所述初始DS模型运动轨迹进行修正。
2.根据权利要求1所述的方法,其特征在于,所述根据所述任务指令、所述环境数据及预设的示教运动动态系统DS模型库,确定所述机械臂的初始DS模型运动轨迹,包括:
对所述任务指令进行解析,确定所述任务指令指示的目标任务名称及目标任务物体,所述目标任务物体是指所述机械臂执行所述任务指令指向的被操作物体;
对所述环境数据进行物体识别,确定所述环境数据包含的第一物体;
根据所述目标任务名称、所述目标任务物体,所述第一物体及所述示教运动动态系统DS模型库确定所述机械臂的初始DS模型运动轨迹。
3.根据权利要求2所述的方法,其特征在于,所述示教运动动态系统DS模型库包含任务名称、任务物体及DS模型运动轨迹之间的对应关系;
则所述根据所述目标任务名称、所述目标任务物体,所述第一物体及所述示教运动动态系统DS模型库确定所述机械臂的初始DS模型运动轨迹,包括:
判断所述第一物体是否包含所述目标任务物体;
当所述第一物体包含所述目标任务物体时,利用所述目标任务名称、所述目标任务物体查找所述示教运动动态系统DS模型库,确定与所述目标任务名称及所述目标任务物体具有对应关系的所述初始DS模型运动轨迹。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第一判断结果及所述第二判断结果对所述初始DS模型运动轨迹进行修正,得到所述目标运动轨迹,还包括:
若存在所述障碍物,且所述第一位姿与所述第二位姿不同,则对所述初始DS模型运动轨迹进行障碍物避障修正,并基于所述第一位姿对障碍物避障修正后的初始DS模型运动轨迹进行所述目标物体的位姿的修正,得到所述目标运动轨迹;
若不存在所述障碍物,且所述第一位姿与所述第二位姿相同,则确定所述初始DS模型运动轨迹为所述目标运动轨迹;
若不存在所述障碍物,且所述第一位姿与所述第二位姿不同,则基于所述第一位姿对所述初始DS模型运动轨迹进行所述目标物体的位姿的修正,得到所述目标运动轨迹。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述初始DS模型运动轨迹到达所述凹形障碍物的交点位于所述相交线上时,确定形成所述相交线的第一凸形障碍物的第一法向量及第二凸形障碍物的第二法向量;
利用所述第一法向量及所述第二法向量构建所述交点对应的模态矩阵;
利用所述交点对应的模态矩阵对所述初始DS模型运动轨迹进行修正。
6.一种机械臂的运动轨迹规划装置,其特征在于,所述装置包括:
获取模块,用于若机械臂接收到任务指令,则获取所述机械臂的视觉检测系统采集到的环境数据;
确定模块,用于根据所述任务指令、所述环境数据及预设的示教运动动态系统DS模型库,确定所述机械臂的初始DS模型运动轨迹,所述示教运动动态系统DS模型库至少包含基于人类示教活动生成的DS模型运动轨迹;
修正模块,用于对所述初始DS模型运动轨迹进行修正,得到所述机械臂的目标运动轨迹;
其中,所述修正模块,具体用于:判断所述环境数据包含的第一物体中是否存在位姿位于所述初始DS模型运动轨迹上的障碍物,得到第一判断结果;及判断所述任务指令中的目标任务物体的第一位姿是否与所述初始DS模型运动轨迹中的目标物体的第二位姿相同,得到第二判断结果;根据所述第一判断结果及所述第二判断结果对所述初始DS模型运动轨迹进行修正,包括:若存在所述障碍物,且所述第一位姿与所述第二位姿相同,则对所述初始DS模型运动轨迹进行障碍物避障修正,所述避障修正,包括:当所述障碍物为凹形障碍物时,将所述凹形障碍物划分成至少两个两两相交的凸形障碍物,其中,两两相交的凸形障碍物相交的位置为相交线;当所述初始DS模型运动轨迹到达所述凹形障碍物的交点未位于所述相交线上时,计算所述凸形障碍物组合形成的组合模态矩阵,利用所述组合模态矩阵对所述初始DS模型运动轨迹进行修正。
7.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至5中任一项所述方法的步骤。
8.一种机械臂,包括存储器和处理器,其特征在于,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至5中任一项所述方法的步骤。
CN202011435841.7A 2020-12-10 2020-12-10 机械臂的运动轨迹规划方法及装置、机械臂及存储介质 Active CN112518756B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011435841.7A CN112518756B (zh) 2020-12-10 2020-12-10 机械臂的运动轨迹规划方法及装置、机械臂及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011435841.7A CN112518756B (zh) 2020-12-10 2020-12-10 机械臂的运动轨迹规划方法及装置、机械臂及存储介质

Publications (2)

Publication Number Publication Date
CN112518756A CN112518756A (zh) 2021-03-19
CN112518756B true CN112518756B (zh) 2022-08-05

Family

ID=74999662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011435841.7A Active CN112518756B (zh) 2020-12-10 2020-12-10 机械臂的运动轨迹规划方法及装置、机械臂及存储介质

Country Status (1)

Country Link
CN (1) CN112518756B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022126352A1 (zh) * 2020-12-15 2022-06-23 深圳市优必选科技股份有限公司 机器人避障方法及装置、机器人及存储介质
CN113246139B (zh) * 2021-06-15 2021-09-28 电子科技大学中山学院 一种机械臂运动规划方法、装置及机械臂
CN114888804B (zh) * 2022-05-18 2024-03-12 深圳鹏行智能研究有限公司 基于工作链的机器人控制装置及方法、介质、机器人
CN115179282A (zh) * 2022-07-07 2022-10-14 珠海格力电器股份有限公司 机器人运动轨迹的确定方法、装置及机器人

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102091879A (zh) * 2011-01-04 2011-06-15 长沙红点自动化科技有限公司 一种焊接机器人过渡轨迹规划方法
CN107150347A (zh) * 2017-06-08 2017-09-12 华南理工大学 基于人机协作的机器人感知与理解方法
CN108406767A (zh) * 2018-02-13 2018-08-17 华南理工大学 面向人机协作的机器人自主学习方法
CN110238831A (zh) * 2019-07-23 2019-09-17 青岛理工大学 基于rgb-d图像及示教器的机器人示教系统及方法
CN111958584A (zh) * 2019-06-28 2020-11-20 鲁班嫡系机器人(深圳)有限公司 轨迹规划方法、装置及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9381643B2 (en) * 2014-07-03 2016-07-05 GM Global Technology Operations LLC Dynamical system-based robot velocity control

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102091879A (zh) * 2011-01-04 2011-06-15 长沙红点自动化科技有限公司 一种焊接机器人过渡轨迹规划方法
CN107150347A (zh) * 2017-06-08 2017-09-12 华南理工大学 基于人机协作的机器人感知与理解方法
CN108406767A (zh) * 2018-02-13 2018-08-17 华南理工大学 面向人机协作的机器人自主学习方法
CN111958584A (zh) * 2019-06-28 2020-11-20 鲁班嫡系机器人(深圳)有限公司 轨迹规划方法、装置及系统
CN110238831A (zh) * 2019-07-23 2019-09-17 青岛理工大学 基于rgb-d图像及示教器的机器人示教系统及方法

Also Published As

Publication number Publication date
CN112518756A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN112518756B (zh) 机械臂的运动轨迹规划方法及装置、机械臂及存储介质
Sadeghi et al. Sim2real viewpoint invariant visual servoing by recurrent control
Pérez-D'Arpino et al. C-learn: Learning geometric constraints from demonstrations for multi-step manipulation in shared autonomy
CN110125930B (zh) 一种基于机器视觉和深度学习的机械臂抓取控制方法
CN109960880B (zh) 一种基于机器学习的工业机器人避障路径规划方法
CN109397285B (zh) 一种装配方法、装配装置及装配设备
WO2022120670A1 (zh) 机械臂的运动轨迹规划方法及装置、机械臂及存储介质
CN112775967A (zh) 基于机器视觉的机械臂抓取方法、装置及设备
Shafii et al. Learning to grasp familiar objects using object view recognition and template matching
Hak et al. Reverse control for humanoid robot task recognition
Tarbouriech et al. Bi-objective motion planning approach for safe motions: Application to a collaborative robot
WO2022126352A1 (zh) 机器人避障方法及装置、机器人及存储介质
CN111496794B (zh) 一种基于仿真工业机器人的运动学自抓取学习方法和系统
US11383386B2 (en) Robotic drawing
CN113551661A (zh) 位姿识别、轨迹规划方法、装置、系统、存储介质及设备
Jiang et al. Learning humanoid reaching tasks in dynamic environments
CN112917470A (zh) 一种机械手的示教方法、装置、系统、存储介质及设备
Fu et al. Robotic arm intelligent grasping system for garbage recycling
CN112578795A (zh) 机器人避障方法及装置、机器人及存储介质
CN112287728A (zh) 智能体轨迹规划方法、装置、系统、存储介质及设备
Cintas et al. Robust behavior and perception using hierarchical state machines: A pallet manipulation experiment
Wu et al. Human-inspired robot task learning from human teaching
Hippolitus et al. Simulation of Grasp Localization Inferences for a Dual-Arm Collaborative Robot
Oguz et al. Learning hand movement interaction control using RNNs: From HHI to HRI
Erkent et al. Visual task outcome verification using deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant