CN112917516B - 用于自主装配机器人的知识学习与推理执行系统 - Google Patents

用于自主装配机器人的知识学习与推理执行系统 Download PDF

Info

Publication number
CN112917516B
CN112917516B CN202110133643.3A CN202110133643A CN112917516B CN 112917516 B CN112917516 B CN 112917516B CN 202110133643 A CN202110133643 A CN 202110133643A CN 112917516 B CN112917516 B CN 112917516B
Authority
CN
China
Prior art keywords
assembly
unit
module
reasoning
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110133643.3A
Other languages
English (en)
Other versions
CN112917516A (zh
Inventor
楚中毅
康增信
孙富春
闵海波
刘沛
高正阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aibingo Technology Co ltd
Tsinghua University
Beihang University
Original Assignee
Beijing Aibingo Technology Co ltd
Tsinghua University
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aibingo Technology Co ltd, Tsinghua University, Beihang University filed Critical Beijing Aibingo Technology Co ltd
Priority to CN202110133643.3A priority Critical patent/CN112917516B/zh
Publication of CN112917516A publication Critical patent/CN112917516A/zh
Application granted granted Critical
Publication of CN112917516B publication Critical patent/CN112917516B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/007Means or methods for designing or fabricating manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1687Assembly, peg and hole, palletising, straight line, weaving pattern movement

Abstract

本发明涉及一种用于自主装配机器人的知识学习与推理执行系统,包括:学习模块、第一视觉相机、任务推理模块、任务规划模块、协调控制模块和机器人基元动作库;学习模块、任务推理模块、任务规划模块和协调控制模块依次连接,第一视觉相机与所述任务推理模块和任务规划模块连接;机器人基元动作库与所述任务规划模块连接,本发明能够实现机器人自主任务推理和操作。

Description

用于自主装配机器人的知识学习与推理执行系统
技术领域
本发明涉及机器人操作技能学习与机器人知识推理领域,特别是涉及一种用于自主装配机器人的知识学习与推理执行系统。
背景技术
近年来我国装配制造业规模不断扩大,该行业具有产品迭代快、操作任务复杂、非标程度高等特点,且其生产和精密装配环境存在明显的不确定性,使得依靠专业人员编程的传统装配制造生产方式难以适应这种庞大复杂的快节奏装配任务,严重限制了行业生产效率。因此为了克服传统装配方式存在的开发周期长,维护成本高等缺陷,国内外学者纷纷开始关注机器人自主智能装配技术。
为了解决上述问题,行业内专家已经做出了积极探索,但主要集中在人手操作动作识别、零件识别、零件位姿估计、实例分割、路径规划和协调控制,鲜有学者研究装配知识解析与学习、任务推理和任务规划,并提出一套自主装配机器人的知识学习与推理执行系统,实现机器人自主任务推理和操作。
发明内容
本发明的目的是提供一种用于自主装配机器人的知识学习与推理执行系统,能够实现机器人自主任务推理和操作。
为实现上述目的,本发明提供了如下方案:
一种用于自主装配机器人的知识学习与推理执行系统,包括:学习模块、第一视觉相机、任务推理模块、任务规划模块、协调控制模块和机器人基元动作库;
所述学习模块、任务推理模块、任务规划模块和协调控制模块依次连接,所述第一视觉相机与所述任务推理模块和任务规划模块连接;所述机器人基元动作库与所述任务规划模块连接;
机器人基元动作库用于存储机器人的基元动作;
所述学习模块用于获取并解析装配演示图像,并将解析得到的装配知识进行存储;
所述第一视觉相机用于获取操作台上的视觉场景;
所述任务推理模块用于根据所述操作台上的视觉场景和所述装配知识得到操作台上的装配需求;
所述任务规划模块用于根据所述装配需求、所述操作台上的视觉场景和所述机器人的基元动作生成动作序列执行路径;
所述协调控制模块用于根据所述动作序列执行路径控制机器人进行装配。
可选的,所述任务规划模块包括任务规划单元和路径规划单元;
所述任务规划单元和路径规划单元连接;
所述任务规划单元用于根据所述装配需求和所述机器人的基元动作生成可执行的基元动作序列;
所述路径规划单元用于根据所述可执行的基元动作序列和所述操作台上的视觉场景生成动作序列执行路径。
可选的,所述任务推理模块包括YOLO单元、点云生成单元、模板匹配单元、装配关系估计单元和知识推理单元;
所述YOLO单元、点云生成单元、模板匹配单元、装配关系估计单元和知识推理单元依次连接;
所述YOLO单元用于根据所述操作台上的视觉场景识别图像中待装配零件2D边界框;
所述点云生成单元用于根据所述2D边界框生成待装配零件的3D点云;
所述模板匹配单元用于将所述3D点云与零件模板进行匹配估计,得到各个零件的位姿;
所述装配关系估计单元用于根据所述各个零件的位姿得到各个零件的当前装配状态;
所述知识推理单元用于根据所述当前装配状态与零件装配关系得到操作台上的装配需求。
可选的,所述学习模块包括第二视觉相机、知识解析单元和知识库单元;
所述第二视觉相机、知识解析单元和知识库单元依次连接;
所述第二视觉相机用于获取人手的装配演示图像;
所述知识解析单元用于根据所述装配演示图像得到零件装配关系;
所述知识库单元用于存储所述装配关系。
可选的,所述知识解析单元包括YOLO子单元、点云生成子单元、模板匹配子单元和装配关系估计子单元;
所述YOLO子单元、点云生成子单元、模板匹配子单元和装配关系估计子单元依次连接;
所述YOLO子单元用于根据所述装配演示图像识别装配零件2D边界框;
所述点云生成子单元用于根据所述2D边界框生成待装配零件的3D点云;
所述模板匹配子单元用于根据所述3D点云与零件模板进行匹配,得到各个零件的位姿;
所述装配关系估计子单元用于根据所述各个零件的位姿得到零件装配关系。
可选的,所述路径规划单元包括实例分割子单元和路径规划器;
所述实例分割子单元和路径规划器连接;
所述实例分割子单元用于根据所述操作台上的视觉场景得到无零件或无障碍物的路径参考空间;
所述路径规划器用于根据所述路径参考空间和所述可执行的基元动作序列生成动作序列执行路径。
可选的,还包括机械臂,所述机械臂与所述协调控制模块连接,所述机械臂用于机器人装配。
可选的,所述机械臂包括力传感器和传动机构。
可选的,所述协调控制模块包括动力学解算单元和控制器;
所述动力学解算单元用于将所述动作序列执行路径转化为力控制信号;
所述控制器用于根据所述力控制信号和所述力传感器的反馈信号控制所述传动机构进行机器人装配。
可选的,还包括判断模块,所述判断模块与所述任务推理模块和协调控制模块连接;
所述判断模块用于判断操作台上是否存在装配需求,若否,则协调控制模块停止工作,完成装配任务。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明通过研究装配知识解析与学习、任务推理和任务规划,提出一套自主装配机器人的知识学习与推理执行系统,能够实现机器人自主任务推理和操作。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为自主装配机器人的知识学习与推理执行系统示意图;
图2为零件的面和轴的示意图;
图3为系统知识解析单元数据流程图;
图4为系统任务推理单元数据流程图;
图5为系统任务规划单元数据流程图;
图6为系统路径规划单元数据流程图;
图7为系统协调控制单元数据流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明的目的是提供一种用于自主装配机器人的知识学习与推理执行系统,能够实现机器人自主任务推理和操作。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
第一、关于本发明的软件架构方面
图1为本发明自主装配机器人的知识学习与推理执行系统示意图,如图1所述,自主装配机器人的知识学习与推理执行系统中包含学习模块和推理执行模块,其中学习模块包含视觉第二相机单元、知识解析单元、知识库单元,推理执行模块包含第一视觉相机单元、任务推理模块、任务规划单元、路径规划单元、机器人基元动作库、协调控制模块和机械臂。
学习模块的功能为采集并解析多个任务的人手装配演示图像,并将解析得到的装配知识存储到知识库。第二视觉相机单元的功能为采集人手装配演示的RGB-D图像。知识解析单元的功能为将人手装配演示RGB-D图像解析为零件装配关系,包含YOLO模型、点云生成模型、模板匹配模型和装配关系估计模型。其中YOLO模型的功能为识别RGB图像中的装配零件的2D边界框;点云生成模型的功能为根据YOLO模型生成的2D边界框和视觉相机采集的深度图像,生成装配零件的3D点云;模板匹配模型的功能为将3D点云与模型库中的零件模板匹配进行匹配估计各个零件的姿态;装配关系估计模型的功能为根据装配过程中各个零件的姿态变化估计各个零件的最终装配关系。
模板匹配模型的原理为如下公式:
Figure BDA0002926293260000061
其中i表示识别到的零件类型,Ci表示识别到的零件i的点云,Mi表示先验的模板点云,两种点云都为200个点。x,y,z分别表示零件的中心在规定的操作台坐标系中的位置参数。α,β,γ分别表示规定的零件模板方向与操作台规定的空间直角坐标系X轴、Y轴、Z轴的夹角。
零件用如下公式表示:
Figure BDA0002926293260000062
其中num为装配任务中涉及到的零件个数,i表示零件的编号,Ωi表示第i个零件,每个零件Ωi由轴集合Ai和面集合Pi组成,轴集合由n个不同的轴ai组成,面集合由m个不同的面pi组成。零件的轴和面都为其中心位置和姿态的函数表示为ai(x,y,z,α,β,γ)和pi(x,y,z,α,β,γ)。零件的轴和面的示意图如图2所示。
零件Ωi与零件Ωj的装配关系Assemble(Ωij)描述如下:
Figure BDA0002926293260000063
Assemble(Ωij)由轴装配集合Aij与面装配集合Pij组成,ai表示零件Ωi的轴集合Ai中的某个轴,aj表示零件Ωj的轴集合Aj中的某个轴,||ai-aj||<da表示两个轴之间的距离小于阈值da,<ai-aj><θ表示两个轴的夹角小于阈值θ,
Figure BDA0002926293260000065
表示两个轴装配时为对齐关系。pi表示零件Ωi的面集合Pi中的某个面,pj表示零件Ωj的面集合Pj中的某个面,pi//pj表示两个面平行,||pi-pj||<dp表示两个面之间的距离小于dp
Figure BDA0002926293260000066
表示两个面装配时为贴合关系。
当零件Ωi与零件Ωj完成装配后,形成一个组合体用Ωij表示,即
Ωij=Assemble(Ωij) (4)
因此某包含5个零件的装配任务T可用如下形式描述:
Figure BDA0002926293260000071
式子中用()的形式表示装配的优先级,表示零件Ω1与零件Ω2装配形成零件Ω12,零件Ω12再与零件Ω3装配形成零件Ω123,零件Ω123再与零件Ω45装配形成零件Ω12345
知识库单元的功能为存储知识解析单元解析出的装配关系,并记录在多种任务学习时各种装配关系出现的次数。其原理如下:
Figure BDA0002926293260000072
其中KnowledgeBase表示数据库,存储了知识解析单元解析出的所有装配关系。同时数据库中记录了所有的任务学习过程中每个零件每种装配关系出现的次数。
Figure BDA0002926293260000073
表示零件Ωi中的轴ai和零件Ωj中的轴aj,出现对齐装配关系的次数为k。
Figure BDA0002926293260000074
表示零件Ωi中的面pi和零件Ωj中的面pj,出现面贴合装配关系的次数为l。
第二视觉相机输出RGB-D图像到知识解析单元,知识解析单元输出装配关系到知识库单元。知识解析单元内部结构与输入输出关系连接图如图3所示。
推理执行模块的功能为自主装配机器人主动推理操作台上需求的装配任务,并控制机械臂完成该装配任务。第一视觉相机的功能为采集操作台上的视觉场景。任务推理模块的功能为根据第一视觉相机采集的图像和知识库单元的先验知识信息,推理出操作台上需求的装配任务。任务推理模块的原理为使用YOLO模型识别视觉传感器单元采集的图像中的零件的种类和个数,并记录到零件集合Parts中,同时YOLO模型输出装配零件的2D边界框;点云生成模型的功能为根据YOLO模型生成的2D边界框和视觉相机采集的深度图像,生成装配零件的3D点云;模板匹配模型的功能为将3D点云与模型库中的零件模板匹配进行匹配估计各个零件的位姿;装配关系估计模型的功能为根据各个零件的位姿估计各个零件的当前装配状态Tdone。知识推理机根据Parts与KnowlegeBase中记录的零件装配关系推理出需求的任务描述。知识推理机推理原理描述如下:
Tgoal=argmax[KnowlegeBase(Assembel(Parts))] (9)
Task=Tgoal-Tdone (10)
其中集合Tgoal表示操作台上所有零件完成装配任务时的装配关系描述,集合Tdone表示操作台上已经实现的装配关系描述,Tdone可通过知识解析单元中的方法获取,集合Task表示当前操作台上需求的装配任务,若装配任务已完成则Task为空集。任务推理单元及周边单元的输入输出关系如图4所示。
任务规划单元的功能为根据任务描述和基元动作库中的基元动作为机器人生成一个可执行的基元动作序列。其中基元动作描述采用规划领域定义语言(Planning DomainDefinition Language,简称PDDL),基元动作用基元动作函数的形式描述,函数结构如下:
Figure BDA0002926293260000081
其中:action后跟动作名称,:parameters后跟动作的输入参数,包括动作涉及到的零件和参数等,:precondition后跟该动作执行条件(用谓词短语的形式描述),:effect后跟动作执行后的作用效果(用谓词短语的形式描述)。机器人操作涉及到的所有可执行基元动作的描述均由程序员编写并存储在机器人基元动作库PrimitiveActionsBase中。任务规划器把当前操作台上需求的装配任务Task转化为PDDL中的初始状态描述init,把操作台上所有零件完成装配任务时的装配关系描述Tgoal转化为目标状态描述goal,根据基元动作库单元中定义的基元动作的执行条件和执行效果,规划出动作序列S,公式描述如下:
Sinit→goal=(action1,action2,...,actionN) (11)
action1,action2,...,actionN∈PrimitiveActionsBase (12)
任务推理模块输出任务描述以及到第一视觉相机单元采集的RGB-D图像到任务规划单元,机器人基元动作库输出基元动作到任务规划单元,任务规划单元输出基元动作序列到路径规划单元。任务规划单元内部结构及其周边单元输入输出关系如图5所示。
路径规划单元的功能为根据基元动作序列和视觉相机单元采集的操作台RGB-D图像生成动作序列执行路径。路径规划单元的实例分割模型对第一视觉相机提供的RGB-D图像做实例分割,分割出无零件或无障碍物的空间区域作为路径参考空间输出给路径规划器。路径规划器根据基元动作序列和路径参考空间生成执行路径L输出给协调控制单元。执行路径L为空间中一系列路径点的集合。路径规划单元内部结构及其周边单元输入输出关系如图6所示。
协调控制模块的功能为将执行路径转化为机械臂的控制信号,控制机械臂的操作动作。动力学解算模型将执行路径的位置信息转化为力信息,输出给控制器。控制器根据力控制信号和机械臂单元的力传感器反馈控制机械臂单元传动机构的协调操作。协调控制单模块和机械臂内部结构和信号输入输出关系如图7所示。
第二、关于动态方法方面:
本发明提供的用于自主装配机器人的知识学习与推理执行系统的运行步骤如下:
步骤1:知识学习模块中的视觉相机单元采集人手演示的装配任务的m帧RGB-D视频数据Im
步骤2:知识学习模块中的知识解析单元将步骤1中采集到的RGB-D视频数据Im的每一帧用YOLO模型进行识别,得到num1个零件在m帧中的2D边界框{Boundingboxi|i∈[1,num1]}m
步骤3:知识学习模块中的知识解析单元利用步骤2中得到的{Boundingboxi|i∈[1,num1]}m与步骤1中得到的RGB-D视频数据Im,生成num1个零件在m帧中的3D点云数据{Ci|i∈[1,num1]}m
步骤4:知识学习模块中的知识解析单元将步骤3中得到的num1个零件在m帧中的3D点云数据{Ci|i∈[1,num1]}m与已知的点云数据模板Mi进行比较,
Figure BDA0002926293260000101
得到各个零件的位置和姿态{[x,y,z,α,β,γ]i|i∈[1,num1]}m
步骤5:知识学习模块中的知识解析单元根据num1个零件在m帧中的位置和姿态{[x,y,z,α,β,γ]i|i∈[1,num1]}m计算得到num1个零件在m帧中的轴描述ai(x,y,z,α,β,γ)和面描述pi(x,y,z,α,β,γ),并由如下公式判断零件间的轴装配关系和面装配关系:
Assemble(Ωij)={Aij,Pij},
Figure BDA0002926293260000102
Figure BDA0002926293260000103
得到装配知识{Assemble(Ωij)i,j∈[1,num1]}。
步骤6:知识学习模块中的知识库单元,将步骤5中解析到的装配关系存储到知识库KnowlegeBase中
Figure BDA0002926293260000104
步骤7:推理执行模块中的视觉相机单元采集操作台上的RGB-D图像M。
步骤8:推理执行模块中的任务推理单元采用YOLO模型处理步骤7中采集得到的RGB-D图像M,获取操作台上的零件种类、数量num2生成零件集合Parts,获取num2个零件的2D边界框{Boundingboxi|i∈[1,num2]}。
步骤9:推理执行模块中的任务推理单元利用步骤8中得到的{Boundingboxi|i∈[1,num2]}与步骤7中得到的RGB-D图像M,生成num2个零件的3D点云数据{Ci|i∈[1,num2]}。
步骤10:推理执行模块中的任务推理单元将步骤9中得到的num2个零件的3D点云数据{Ci|i∈[1,num2]}与已知的点云数据模板Mi进行比较,
Figure BDA0002926293260000105
得到各个零件的位置和姿态{[x,y,z,α,β,γ]i|i∈[1,num2]}。
步骤11:推理执行模块中的任务推理单元根据步骤10中计算得到的num2个零件的位置和姿态计算得到操作台上num2个零件之间的装配关系Tdone={Assemble(Ωij)|i,j∈[1,num2]}。
步骤12:推理执行模块中的任务推理单元使用推理机根据步骤8中识别到的零件集合Parts和步骤6中得到的知识库KnowlegeBase推理得到操作台上所有零件完成装配任务时的装配关系描述
Tgoal=argmax[Knowlege(Assembel(Parts))]
若无法推理出Tgoal,则返回步骤1重新学习。
步骤13:推理执行模块中的任务推理单元使用推理机再根据步骤11中得到的操作台上零件的装配关系Tdone和步骤12中推理得到的完成装配任务时的装配关系描述Tgoal,推理出操作台上需求的装配任务描述Task
Task=Tgoal-Tdone
步骤14:判断操作台上需求的装配任务描述Task是否为空集。若为是,则完成装配任务;若为否则执行步骤15。
步骤15:推理执行模块中的任务规划单元把当前操作台上需求的装配任务Task转化为PDDL中的初始状态描述init,把操作台上所有零件完成装配任务时的装配关系描述Tgoal转化为目标状态描述goal。
步骤16:推理执行模块中的任务规划单元根据步骤15中得到的初始状态描述init、目标状态描述goal和基元动作库PrimitiveActionsBase中的基元动作为机器人生成基元动作序列Sinit→goal
Sinit→goal=(action1,action2,...,actionN)
action1,action2,...,actionN∈PrimitiveActionsBase
步骤17:推理执行模块中的路径规划单元对步骤7中采集得到的RGB-D图像M做实例分割,分割出无零件或无障碍物的空间区域作为路径参考空间Γ。
步骤18:推理执行模块中的路径规划单元根据步骤17中得到的路径参考空间Γ为步骤16中得到的基元动作序列Sinit→goal规划对应的动作执行路径序列
R={raction1,raction2,...,ractionN}
步骤19:推理执行模块中的协调控制单元将步骤18中的执行路径R解算为机械臂关节力矩信息,控制机械臂单元操作零件。
步骤20:在机械臂操作过程中,模块中的机械臂单元实时反馈机械臂与零件的接触力信息给协调控制单元,使协调控制单元实现协调闭环控制。
步骤21:在操作执行过程中,可能会发生不确定的干扰(例如人手改变了某些零件的位置或由于其他原因导致的场景变化),视觉相机须实时检测操作环境变化。间隔固定时间t,返回步骤7。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种用于自主装配机器人的知识学习与推理执行系统,其特征在于,包括:学习模块、第一视觉相机、任务推理模块、任务规划模块、协调控制模块和机器人基元动作库;
所述学习模块、任务推理模块、任务规划模块和协调控制模块依次连接,所述第一视觉相机与所述任务推理模块和任务规划模块连接;所述机器人基元动作库与所述任务规划模块连接;
机器人基元动作库用于存储机器人的基元动作;
所述学习模块用于获取并解析装配演示图像,并将解析得到的装配知识进行存储;
所述第一视觉相机用于获取操作台上的视觉场景;
所述任务推理模块用于根据所述操作台上的视觉场景和所述装配知识得到操作台上的装配需求;
所述任务规划模块用于根据所述装配需求、所述操作台上的视觉场景和所述机器人的基元动作生成动作序列执行路径;
所述协调控制模块用于根据所述动作序列执行路径控制机器人进行装配;
其中,所述任务规划模块包括任务规划单元和路径规划单元;
所述任务规划单元和路径规划单元连接;
所述任务规划单元用于根据所述装配需求和所述机器人的基元动作生成可执行的基元动作序列;
所述路径规划单元用于根据所述可执行的基元动作序列和所述操作台上的视觉场景生成动作序列执行路径;
所述任务推理模块包括YOLO单元、点云生成单元、模板匹配单元、装配关系估计单元和知识推理单元;
所述YOLO单元、点云生成单元、模板匹配单元、装配关系估计单元和知识推理单元依次连接;
所述YOLO单元用于根据所述操作台上的视觉场景识别图像中待装配零件2D边界框;
所述点云生成单元用于根据所述2D边界框生成待装配零件的3D点云;
所述模板匹配单元用于将所述3D点云与零件模板进行匹配估计,得到各个零件的位姿;
所述装配关系估计单元用于根据所述各个零件的位姿得到各个零件的当前装配状态;
所述知识推理单元用于根据所述当前装配状态与零件装配关系得到操作台上的装配需求;
所述学习模块包括第二视觉相机、知识解析单元和知识库单元;
所述第二视觉相机、知识解析单元和知识库单元依次连接;
所述第二视觉相机用于获取人手的装配演示图像;
所述知识解析单元用于根据所述装配演示图像得到零件装配关系;
所述知识库单元用于存储所述装配关系;
所述知识解析单元包括YOLO子单元、点云生成子单元、模板匹配子单元和装配关系估计子单元;
所述YOLO子单元、点云生成子单元、模板匹配子单元和装配关系估计子单元依次连接;
所述YOLO子单元用于根据所述装配演示图像识别装配零件2D边界框;
所述点云生成子单元用于根据所述2D边界框生成待装配零件的3D点云;
所述模板匹配子单元用于根据所述3D点云与零件模板进行匹配,得到各个零件的位姿;
所述装配关系估计子单元用于根据所述各个零件的位姿得到零件装配关系。
2.根据权利要求1所述的用于自主装配机器人的知识学习与推理执行系统,其特征在于,所述路径规划单元包括实例分割子单元和路径规划器;
所述实例分割子单元和路径规划器连接;
所述实例分割子单元用于根据所述操作台上的视觉场景得到无零件或无障碍物的路径参考空间;
所述路径规划器用于根据所述路径参考空间和所述可执行的基元动作序列生成动作序列执行路径。
3.根据权利要求1所述的用于自主装配机器人的知识学习与推理执行系统,其特征在于,还包括机械臂,所述机械臂与所述协调控制模块连接,所述机械臂用于机器人装配。
4.根据权利要求3所述的用于自主装配机器人的知识学习与推理执行系统,其特征在于,所述机械臂包括力传感器和传动机构。
5.根据权利要求4所述的用于自主装配机器人的知识学习与推理执行系统,其特征在于,所述协调控制模块包括动力学解算单元和控制器;
所述动力学解算单元用于将所述动作序列执行路径转化为力控制信号;
所述控制器用于根据所述力控制信号和所述力传感器的反馈信号控制所述传动机构进行机器人装配。
6.根据权利要求1所述的用于自主装配机器人的知识学习与推理执行系统,其特征在于,还包括判断模块,所述判断模块与所述任务推理模块和协调控制模块连接;
所述判断模块用于判断操作台上是否存在装配需求,若否,则协调控制模块停止工作,完成装配任务。
CN202110133643.3A 2021-02-01 2021-02-01 用于自主装配机器人的知识学习与推理执行系统 Active CN112917516B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110133643.3A CN112917516B (zh) 2021-02-01 2021-02-01 用于自主装配机器人的知识学习与推理执行系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110133643.3A CN112917516B (zh) 2021-02-01 2021-02-01 用于自主装配机器人的知识学习与推理执行系统

Publications (2)

Publication Number Publication Date
CN112917516A CN112917516A (zh) 2021-06-08
CN112917516B true CN112917516B (zh) 2022-04-01

Family

ID=76169059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110133643.3A Active CN112917516B (zh) 2021-02-01 2021-02-01 用于自主装配机器人的知识学习与推理执行系统

Country Status (1)

Country Link
CN (1) CN112917516B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114043478B (zh) * 2021-11-24 2023-07-07 深圳大学 机器人复杂操作技能表示方法、装置、智能终端和介质
CN114131598B (zh) * 2021-11-24 2024-02-02 深圳大学 层次化机器人技能表达方法、终端及计算机可读存储介质
CN114310883A (zh) * 2021-12-24 2022-04-12 深圳巨隆基科技有限公司 一种基于多知识库的机械臂自主装配方法
CN116117826B (zh) * 2023-04-12 2023-07-25 佛山科学技术学院 基于仿射变换与行为树的机器人任务规划方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107256009B (zh) * 2017-06-30 2019-08-02 武汉理工大学 一种基于深度学习的产品数字模型智能装配系统
CN109940605B (zh) * 2019-01-29 2021-04-20 中国工程物理研究院激光聚变研究中心 融合三维视觉与接触力分析的柔顺装配系统及方法
CN110065068B (zh) * 2019-04-08 2021-04-16 浙江大学 一种基于逆向工程的机器人装配作业演示编程方法及装置
KR20200134060A (ko) * 2019-05-21 2020-12-01 한국로봇융합연구원 서술형 행동수행 단계 기반 로봇계획 자동생성시스템 및 자동생성방법
CN110561430B (zh) * 2019-08-30 2021-08-10 哈尔滨工业大学(深圳) 用于离线示例学习的机器人装配轨迹优化方法及装置
CN111633657B (zh) * 2020-06-12 2021-12-03 山东大学 一种基于装配状态认知的机器人柔性装配方法及系统
CN111993423A (zh) * 2020-08-17 2020-11-27 北京理工大学 一种模块化智能装配系统

Also Published As

Publication number Publication date
CN112917516A (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
CN112917516B (zh) 用于自主装配机器人的知识学习与推理执行系统
Tang et al. A framework for manipulating deformable linear objects by coherent point drift
Wang et al. Collision-free trajectory planning in human-robot interaction through hand movement prediction from vision
CN109807887B (zh) 基于深度神经网络的柔性臂智能感知与控制方法和系统
Liu et al. Robot cooking with stir-fry: Bimanual non-prehensile manipulation of semi-fluid objects
CN109591013B (zh) 一种柔性装配仿真系统及其实现方法
CN110744541A (zh) 一种视觉引导的水下机械臂控制方法
Fu et al. Active learning-based grasp for accurate industrial manipulation
US20230086122A1 (en) Human-Robot Collaborative Flexible Manufacturing System and Method
Hak et al. Reverse control for humanoid robot task recognition
Zein et al. Deep learning and mixed reality to autocomplete teleoperation
Sidiropoulos et al. A human inspired handover policy using gaussian mixture models and haptic cues
Zhou et al. Imitating tool-based garment folding from a single visual observation using hand-object graph dynamics
Higgins et al. Head pose for object deixis in vr-based human-robot interaction
Liu et al. $\alpha $-MDF: An Attention-based Multimodal Differentiable Filter for Robot State Estimation
Lu et al. Visual-tactile robot grasping based on human skill learning from demonstrations using a wearable parallel hand exoskeleton
Yanaokura et al. A multimodal learning-from-observation towards all-at-once robot teaching using task cohesion
Su et al. A ROS based open source simulation environment for robotics beginners
Infantino et al. A cognitive architecture for robotic hand posture learning
Lopez et al. Taichi algorithm: human-like arm data generation applied on non-anthropomorphic robotic manipulators for demonstration
Lagamtzis et al. CoAx: Collaborative Action Dataset for Human Motion Forecasting in an Industrial Workspace.
Zhu Robot Learning Assembly Tasks from Human Demonstrations
Panchetti et al. Team: a parameter-free algorithm to teach collaborative robots motions from user demonstrations
Ramadoss State estimation for human motion and humanoid locomotion
Zhou et al. Learning cloth folding tasks with refined flow based spatio-temporal graphs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant