CN113780560A - 一种基于虚拟演示的机器人任务知识自生成系统 - Google Patents

一种基于虚拟演示的机器人任务知识自生成系统 Download PDF

Info

Publication number
CN113780560A
CN113780560A CN202111009277.7A CN202111009277A CN113780560A CN 113780560 A CN113780560 A CN 113780560A CN 202111009277 A CN202111009277 A CN 202111009277A CN 113780560 A CN113780560 A CN 113780560A
Authority
CN
China
Prior art keywords
action
task
unit
semantic
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111009277.7A
Other languages
English (en)
Other versions
CN113780560B (zh
Inventor
周艳敏
贺睿远
蒋荣
何斌
王志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202111009277.7A priority Critical patent/CN113780560B/zh
Publication of CN113780560A publication Critical patent/CN113780560A/zh
Application granted granted Critical
Publication of CN113780560B publication Critical patent/CN113780560B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Abstract

本发明涉及一种基于虚拟演示的机器人任务知识自生成系统，包括抽象语义规则生成模块和在线动作分割识别模块。抽象语义规则生成模块包括虚拟演示单元、抽象语义提取单元和人类活动语义规则生成单元，将人类在虚拟空间中的动作转换为任务数据，根据任务数据提取语义信息，根据语义信息结合动作类型生成任务语义规则模型，在线动作分割识别模块包括知识库单元、有向概率任务图单元和动作处理单元，根据任务语义规则模型将动作进行分割及识别，根据识别结果生成任务图。与现有技术相比，本发明具有解释性强、通用性广和信息全面等优点。

Description

一种基于虚拟演示的机器人任务知识自生成系统
技术领域
本发明涉及机器人知识构建与技能学习领域，尤其是涉及一种基于虚拟演示的机器人任务知识自生成系统。
背景技术
随着计算机、自动化等技术的日趋成熟，机器人技术得到迅速发展。工业机器人的应用领域随着制造业的转型升级大大扩展，对工业机器人部署编程的智能性提出了极高的要求。因此，针对机器人的任务知识构建与任务技能学习显得尤为重要。
事实上，人类在日常工作方面已经积累大量的知识与经验，机器人的知识构建与技能学习往往与此有关。近年来，机器人的知识构建主要有示教编程，其将示教信息转化为机器人的程序和运动操作参数，使机器人完成相应操作，缺点是所谓知识不具有可解释性，且无法进行迁移。对于人类作业演示信息的理解主要的问题是行为的分割与识别，现有算法主要基于笛卡尔空间的运动轨迹数据，使用时间序列方法进行检测，如滑动窗口、动态时间规划、隐马尔可夫模型等，缺点一是轨迹是针对特定型号与特定场景的，不具有通用性；二是忽视了人与物体交互过程的语义信息。因此，上述机器人知识构建方法都有局限性，无法自主智能生成可解释性强的、涵盖人-物信息的、易于表达与推广的机器人任务知识。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于虚拟演示的机器人任务知识自生成系统，以解决目前机器人任务知识构建中不具备通用性和解释性的问题。
本发明的目的可以通过以下技术方案来实现：
一种基于虚拟演示的机器人任务知识自生成系统，包括抽象语义规则生成模块和在线动作分割识别模块：
所述抽象语义规则生成模块包括虚拟演示单元、抽象语义提取单元和人类活动语义规则生成单元，所述虚拟演示单元以帧为单位将人类在虚拟空间中的动作转换为任务数据，所述抽象语义提取单元根据所述任务数据提取语义信息，所述人类活动语义规则生成单元根据所述语义信息结合动作类型生成任务语义规则模型。
所述在线动作分割识别模块包括动作处理单元、知识库单元和有向概率任务图单元，所述动作处理单元根据所述任务语义规则模型将动作进行分割及识别，所述知识库单元识别所述动作处理单元无法识别的动作，所述有向概率任务图单元根据识别结果生成任务图。
进一步地，所述任务数据具体包括：
场景物体数据：物体在所述虚拟空间中的名称、编号、位置信息和类别属性；
人类活动数据：人体左手、右手和腰部的位置信息、姿态信息、线速度和角速度，人体左手和右手的交互属性。
进一步地，所述人类活动数据来源于人类在虚拟空间活动时所使用的左右手柄和追踪器。
进一步地，所述抽象语义提取单元根据所述虚拟演示单元中的任务数据，确定每个时间单位的语义信息；所述人类活动语义规则生成单元执行下述步骤：
SA1、定义训练样本D，所述样本D包括所述语义信息和动作类型，使用决策树算法训练样本D，生成基础动作语义规则模型,所述基础动作语义规则模型描述了语义信息和动作类型的映射关系；
SA2、将步骤SA1中得到的动作类型为复杂动作类型的语义信息和对应的任务数据设为特征，将所述特征和对应的动作类型输入网络模型进行训练，生成复杂动作神经网络判别模型；
SA3、根据所述基础动作语义规则模型和所述复杂动作神经网络判别模型，生成任务语义规则模型。
进一步地，步骤SA2中所述网络模型为LSTM网络模型。
进一步地，所述语义信息包括根关节状态语义、人与物交互语义和手部状态语义。
进一步地，所述动作处理单元将完整的动作通过任务语义规则模型分割为可描述的动作片段，并进行识别，得到动作信息。
进一步地，知识库单元存储了场景物体数据和人类活动数据对应的具体实例，当所述动作处理单元无法识别动作时，使用知识库单元来查询并识别。
进一步地，所述任务图带有运动参数、交互目标、时序和转移关系。
进一步地，所述任务图建立过程具体步骤如下：
SB1、判断当前任务图中是否存在所述动作处理单元识别出的动作信息，若否，则将动作信息添加到任务图中，若是，则处理下一个动作信息，直至将动作处理单元中所有动作信息添加至任务图中，将当前任务图设为初始任务图；
SB2、判断所述初始任务图中每一个动作信息与它的下一个动作信息在所述初始任务图中是否已存在关联，若否，则添加关联；若是，则增加关联的权重；
直至任务图中所有动作信息都存在关联，且权重增加完成，则生成最终任务图。
与现有技术相比，本发明具有以下优点：
1、本发明设计了虚拟演示单元、抽象语义提取单元、人类活动语义规则生成单元和在线动作分割识别模块。虚拟演示单元将人类在虚拟空间的活动转化为任务数据，在数据类型上涵盖了多种场景及动作信息，提高了系统的通用性。抽象语义提取单元将任务数据转化为语义信息，并通过人类活动语义规则生成单元划分动作类型，使动作信息的解释性更强，易于移植。在线动作分割识别模块对完整的动作进行分割并识别，将识别结果导入任务图中，以在线分割识别的方式处理演示状态下的动作，系统灵活性更强。
2、本发明在动作识别上关联了知识库单元，可识别动作处理单元无法识别的动作，增强了对于新场景和新动作的鲁棒性和适应性。
3、人类活动语义规则生成单元根据动作类型融合了基础和复杂的神经网络判别模型，实现了多层次的信息提取，使得最终生成的任务语义规则模型精确性更强。
附图说明
图1为本发明的模块结构示意图。
图2为本发明抽象语义提取单元提取语义信息的方法流程示意图。
图3为人类活动语义规则生成单元中决策树模型示意图。
图4为人类活动语义规则生成单元中复杂动作神经网络判别模型示意图。
图5为本发明的总流程示意图。
附图标记：1-抽象语义规则生成模块，11-虚拟演示单元，12-抽象语义提取单元，13-人类活动语义规则生成单元，2-在线动作分割识别模块，21-动作处理单元，22-知识库单元，23-有向概率任务图单元。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
本实施例基于Unity 3D游戏仿真平台，通过HTC VIVE PRO设备提供了一种基于虚拟演示的机器人任务知识自生成系统，具体结构功能示意图如图1所示，包括抽象语义规则生成模块1和在线动作分割识别模块2：
抽象语义规则生成模块1包括虚拟演示单元11、抽象语义提取单元12和人类活动语义规则生成单元13。虚拟演示单元11以帧为单位将人类在虚拟空间中的动作转换为任务数据，任务数据具体包括：
场景物体数据：物体在虚拟空间中的名称、编号、位置信息和类别属性，以属性集合O进行描述：
O＝(label,id,P,C)
其中，label表示标签名称；id表示索引编号；P表示位置信息，P＝(xo,yo,zo)，xo,yo,zo分别是物体在室内直角坐标系中x轴、y轴和z轴坐标，下标o表示物体实例；C表示物体实例在本体知识库中对应的推理类别。
人类活动数据：人体关键节点即左手、右手、腰部的位置信息与姿态信息，线速度与角速度，以及进行虚拟现实交互时产生的交互信息。数据来源分别对应虚拟现实设备的左右手柄与追踪器，以属性集合T进行描述：
T＝(hl,hr,w)
对于左手hl和右手hr属性集，又分别有位置lh＝(xh,yh,zh)、姿态
Figure BDA0003238285040000041
Figure BDA0003238285040000042
线速度
Figure BDA0003238285040000043
角速度
Figure BDA0003238285040000044
交互属性OA与OH。其中，下标h表示手部，xh,yh,zh分别是室内坐标系下的x,y,z轴坐标，
Figure BDA0003238285040000045
分别是x,y,z轴方向运动速度，
Figure BDA0003238285040000046
分别表示俯仰角、侧倾角和偏转角，
Figure BDA0003238285040000047
分别是俯仰角、侧倾角和偏转角的旋转角速度；OH,OA分别是手部交互物体时的手持物体和操作物体。对于腰部w属性集，没有交互属性，位置、姿态、线速度、角速度属性的下标以w表示，其余表达方式与手部相同。
将上述任务数据以日志文件输出，其中上述场景物体数据与人类活动数据共同形成演示数据集Data：
Data＝{(O1,T1),(O2，T2),…,(Ot,Tt)}
其中，下标t表示演示过程的时刻，Ot表示t时刻的场景物体数据，Tt表示t时刻的人类活动数据。
抽象语义提取单元12根据任务数据提取语义信息，如图2所示，为了基于原始演示数据集Data提取更高层次的抽象特征，本实施例提出通过根关节状态语义，人与物交互语义，以及手部状态语义对每一时刻的状态进行描述：
St＝{Bt,OHt,OAt,motiont}
其中，Bt表示腰部根关节状态语义,OHt表示交互时的手持物体语义，OAt表示交互时的操作物体语义，motiont表示手部状态语义，下标t表示演示时刻。
首先确定根关节状态语义，基于腰部节点w的线速度对人体状态B进行语义提取：
Figure BDA0003238285040000051
其中，threshold_vw代表人体移动阈值，B＝1代表室内移动，即人一段间隔内的平均运动速度远大于0；B＝0代表原地作业，包含原地静止和原地小范围运动，即人一段间隔内的平均运动速度约等于0；
然后确定人与物交互语义，基于场景物体数据与手部数据，对手部交互物体时的手持物体和操作物体OH,OA进行语义提取。基于场景物体数量，创建一个距离数组distance[n]用于存储手部分别与n个场景物体的距离，遵循物体id大小顺序；创建一个键值对数据结构obj_id_label用于存储场景物体索引编号id与标签名称label的对应关系。同时设定手持阈值和操作阈值threshold_OH和threshold_OA，值得注意的是，手持阈值小于操作阈值。其次，遍历距离数组distance[n]进行判断。若distance[id]小于threshold_OH，则将此id加入OH_vector数组中，否则继续；若distance[id]小于threshold_OA，则将此id加入OA_vector数组中；不满足上述任何一种情况，继续循环。循环结束后，寻找OH_vector和OA_vector中id对应距离数组中的最小值，即OH与OA的结果分别是OH_vector和OA_vector中距离最小值id，于obj_id_label中对应的标签名称label。
最后确定手部状态语义，基于左手节点hl或右手节点hr的线速度与人-物交互语义信息OH,OA对手部状态motion进行语义提取：
Figure BDA0003238285040000061
其中，tooluse代表人使用工具进行复杂活动，对应条件是手部交互物体时的手持物体和操作物体OH,OA均不为空；move代表手部处于运动状态下，对应条件是手部节点线速度vh大于手部移动阈值threshold_vh；notmove代表手部静止和微小运动，对应条件是手部节点线速度vh小于手部移动阈值threshold_vh，且趋近于0。
人类活动语义规则生成单元13根据语义信息结合动作类型生成任务语义规则模型，具体执行以下步骤：
步骤SB1、生成基础动作语义规则：
定义一组训练样本D，其包括一组实例S与动作类型L，可以表示为时间序列的形式：
D＝{(s1,l1),(s2,l2),…,(st,lt)}
其中，每个实例(s∈S)描述当前时刻作业的特定状态，并由它的属性A表示，具体为上述语义信息；每个动作类型(l∈L)描述当前时刻的动作类型，具体可以表示为集合：
L＝{Reach,Take,Release,PutSthSw,Idle,Cut,Pour,Spread,Flip,…}
特别的，Reach,Take,Rekease,PutSthSw,Idle为基础动作类型，其余均为复杂动作类型，SB1中将Cut,Pour,Spread,Flip,…等复杂动作类型记为Granular。如图3所示，本步骤采用C4.5决策树模型对训练样本D进行训练，其核心是使用信息增益度量对大量样本进行分类，选择最有用的属性生成从根节点到每个叶节点的判定测试序列，生成基础动作语义规则，其中信息增益度量表达式如下：
Figure BDA0003238285040000062
式中，Values(A)包括属性A的所有可能值，Sv是节点实例基于某个属性A＝v划分后的集合，节点信息熵Entropy(S)表达式如下：
Figure BDA0003238285040000063
其中，pi是实例s属于某个基础动作类型i的概率。
可以求解映射关系f1：
f1＝arg max Gain(S,A)
步骤SB2、生成复杂动作神经网络判别模型：
首先，构建复杂动作训练集，其将步骤SB1中得到动作类型为Granular的时刻对应的任务数据和语义信息作为特征M，具体复杂动作类型记为P，表示为：
M＝{M1,M2,…Mn}
P＝{P1,P2,…Pn}
其中，下标n为训练集中序列及其对应的类型的个数。更具体的，上式满足以下条件：
Mi＝(Ti,Ti+1，…Ti+k),i＝1，2，…n
Pi∈{Cut，Pour，Spread，Flip，…}，i＝1，2，…n
f1(si)＝f1(si+1)…＝f1(si+k)＝Granular，i＝1，2，…n
其中，Ti为时刻i对应的人类活动数据，包括人体关键节点即左手、右手、腰部的位置信息与姿态信息，线速度与角速度，及虚拟现实交互时产生的交互语义，与上文一致，在此不再赘述。下标k为当前序列长度，由于长度因为每个动作的帧数不同而不同，在输入网络之前，统一进行等长处理。
其次，将特征M与复杂动作类型P输入LSTM网络进行训练，各帧特征通过LSTM层的计算，将中间值送入输出层，输出层使用Softmax函数对该动作进行判断，输出属于每个动作标签的概率，对应概率值最高的即为网络最终的输出类别，表示为：
Figure BDA0003238285040000071
其中，ξi为动作类型i的概率，Zi为动作类型i的中间值，J是所有人体动作类别的个数，e为自然常数。
LSTM网络的训练过程主要由前向计算、反向计算以及梯度更新组成，实现网络内部参数更新。如图4所示，得到复杂动作神经网络判别模型，即特征M到复杂动作类型P的映射关系，记为f2,表示为：
f2(M)→P
融合基础动作语义规则模型f1与复杂动作神经网络判别模型f2，可以得到任务语义规则模型，即语义信息到动作类型的映射关系，记为f。
在线动作分割识别模块2包括动作处理单元21、知识库单元22和有向概率任务图单元23，动作处理单元21根据任务语义规则模型将动作进行分割及识别，具体步骤如下：
基于语义信息提取，先将人类在虚拟空间中的完整动作作为一个动作序列进行分割，分割为可解释具体行为的动作片段，首先，动作序列表示为：
Q＝{si，si+1，…，si+n，si+n+1，…}
定义分割后的动作片段为q＝{si，si+1，…，si+n}，满足以下条件：
si＝si+1＝…＝si+n
si+n≠si+n+1
其中，下标i为这个动作片段的起始时刻，下标i+n为这个动作片段的结束时刻。
动作识别基于任务语义规则模型f，对于任意s∈q,满足以下关系：
Act＝f(q)＝f(s)
Act即为动作片段识别结果。
为了保证系统的鲁棒性以及对新场景的复用性，对于映射关系f训练过程中不曾存在的新场景、新物体、新动作等，可以通过知识库单元22进行查询与推理。知识库单元22可描述为物体与动作的知识图谱，虚拟现实场景下的物体和动作作为本体类的具体实例，本体类通过预定义词汇进行描述和约束。识别动作处理单元21无法识别的动作，获得增强映射关系，表示为：
Act＝c(senhanced)
其中,Act为知识库单元22的识别结果，senhanced为父类推理级别下的语义信息，c为senhanced到Act的查询推理关系。由于上述两种识别方法在某个时刻下只执行其中一个，因此动作片段识别结果具有唯一性。
有向概率任务图单元23根据识别结果生成任务图，具体步骤如下：
步骤SB1、判断当前任务图中是否存在识别出的动作信息，若否，则将动作信息作为一个节点添加到任务图中，节点描述了子动作的运动参数与交互目标；若是，则处理下一个动作信息，直至将动作处理单元中所有动作信息添加至任务图中，将当前任务图设为初始任务图。
步骤SB2、判断初始任务图中每一个动作信息与它的下一个动作信息在初始任务图中是否已存在关联，若否，则添加关联，关联描述了子动作间的先后顺序与转移关系；若是，则增加关联的权重。
直至任务图中所有动作信息都存在关联，且权重增加完成，则生成最终任务图。
至此，本实施例的总体流程图如图5所示。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于虚拟演示的机器人任务知识自生成系统，其特征在于，包括抽象语义规则生成模块(1)和在线动作分割识别模块(2)：
所述抽象语义规则生成模块(1)包括虚拟演示单元(11)、抽象语义提取单元(12)和人类活动语义规则生成单元(13)，所述虚拟演示单元(11)以帧为单位将人类在虚拟空间中的动作转换为任务数据，所述抽象语义提取单元(12)根据所述任务数据提取语义信息，所述人类活动语义规则生成单元(13)根据所述语义信息结合动作类型生成任务语义规则模型；
所述在线动作分割识别模块(2)包括动作处理单元(21)、知识库单元(22)和有向概率任务图单元(23)，所述动作处理单元(21)根据所述任务语义规则模型将动作进行分割及识别，所述知识库单元(22)识别所述动作处理单元(21)无法识别的动作，所述有向概率任务图单元(23)根据识别结果生成任务图。
2.根据权利要求1所述的一种基于虚拟演示的机器人任务知识自生成系统，其特征在于，所述任务数据具体包括：
场景物体数据：物体在所述虚拟空间中的名称、编号、位置信息和类别属性；
人类活动数据：人体左手、右手和腰部的位置信息、姿态信息、线速度和角速度，人体左手和右手的交互属性。
3.根据权利要求2所述的一种基于虚拟演示的机器人任务知识自生成系统，其特征在于，所述人类活动数据来源于人类在虚拟空间活动时所使用的左右手柄和追踪器。
4.根据权利要求1所述的一种基于虚拟演示的机器人任务知识自生成系统，其特征在于，所述抽象语义提取单元(12)根据所述虚拟演示单元(11)中的任务数据，确定每个时间单位的语义信息；所述人类活动语义规则生成单元(13)执行下述步骤：
SA1、定义训练样本D，所述样本D包括所述语义信息和动作类型，使用决策树算法训练样本D，生成基础动作语义规则模型,所述基础动作语义规则模型描述了语义信息和动作类型的映射关系；
SA2、将步骤SA1中得到的动作类型为复杂动作类型的语义信息和对应的任务数据设为特征，将所述特征和对应的动作类型输入网络模型进行训练，生成复杂动作神经网络判别模型；
SA3、根据所述基础动作语义规则模型和所述复杂动作神经网络判别模型，生成任务语义规则模型。
5.根据权利要求4所述的一种基于虚拟演示的机器人任务知识自生成系统，其特征在于，步骤SA2中所述网络模型为LSTM网络模型。
6.根据权利要求1所述的一种基于虚拟演示的机器人任务知识自生成系统，其特征在于，所述语义信息包括根关节状态语义、人与物交互语义和手部状态语义。
7.根据权利要求1所述的一种基于虚拟演示的机器人任务知识自生成系统，其特征在于，所述动作处理单元(21)将完整的动作通过任务语义规则模型分割为可描述的动作片段，并进行识别，得到动作信息。
8.根据权利要求1所述的一种基于虚拟演示的机器人任务知识自生成系统，其特征在于，知识库单元(22)存储了场景物体数据和人类活动数据对应的具体实例，当所述动作处理单元(21)无法识别动作时，使用知识库单元(22)来查询并识别。
9.根据权利要求1所述的一种基于虚拟演示的机器人任务知识自生成系统，其特征在于，所述任务图带有运动参数、交互目标、时序和转移关系。
10.根据权利要求7所述的一种基于虚拟演示的机器人任务知识自生成系统，其特征在于，所述任务图建立过程具体步骤如下：
SB1、判断当前任务图中是否存在所述动作处理单元(21)识别出的动作信息，若否，则将动作信息添加到任务图中，若是，则处理下一个动作信息，直至将动作处理单元中所有动作信息添加至任务图中，将当前任务图设为初始任务图；
SB2、判断所述初始任务图中每一个动作信息与它的下一个动作信息在所述初始任务图中是否已存在关联，若否，则添加关联；若是，则增加关联的权重；
直至任务图中所有动作信息都存在关联，且权重增加完成，则生成最终任务图。
CN202111009277.7A 2021-08-31 2021-08-31 一种基于虚拟演示的机器人任务知识自生成系统 Active CN113780560B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111009277.7A CN113780560B (zh) 2021-08-31 2021-08-31 一种基于虚拟演示的机器人任务知识自生成系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111009277.7A CN113780560B (zh) 2021-08-31 2021-08-31 一种基于虚拟演示的机器人任务知识自生成系统

Publications (2)

Publication Number Publication Date
CN113780560A true CN113780560A (zh) 2021-12-10
CN113780560B CN113780560B (zh) 2024-02-27

Family

ID=78840111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111009277.7A Active CN113780560B (zh) 2021-08-31 2021-08-31 一种基于虚拟演示的机器人任务知识自生成系统

Country Status (1)

Country Link
CN (1) CN113780560B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019051645A1 (zh) * 2017-09-12 2019-03-21 深圳前海达闼云端智能科技有限公司 一种机器人动态学习方法、系统、机器人以及云端服务器
US20200097333A1 (en) * 2018-09-26 2020-03-26 Ciena Corporation Scalable task scheduling systems and methods for cyclic interdependent tasks using semantic analysis
CN112365580A (zh) * 2020-11-16 2021-02-12 同济大学 一种面向人机技能传授的虚拟作业演示系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019051645A1 (zh) * 2017-09-12 2019-03-21 深圳前海达闼云端智能科技有限公司 一种机器人动态学习方法、系统、机器人以及云端服务器
US20200097333A1 (en) * 2018-09-26 2020-03-26 Ciena Corporation Scalable task scheduling systems and methods for cyclic interdependent tasks using semantic analysis
CN112365580A (zh) * 2020-11-16 2021-02-12 同济大学 一种面向人机技能传授的虚拟作业演示系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
田国会;王晓静;张营;: "一种家庭服务机器人的环境语义认知机制", 华中科技大学学报(自然科学版), no. 12 *

Also Published As

Publication number Publication date
CN113780560B (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
CN104616028B (zh) 基于空间分割学习的人体肢体姿势动作识别方法
CN108986801A (zh) 一种人机交互方法、装置及人机交互终端
CN105787471A (zh) 一种应用于助老助残移动服务机器人控制的手势识别方法
CN109960880A (zh) 一种基于机器学习的工业机器人避障路径规划方法
Zhu et al. Toward human-like grasp: Dexterous grasping via semantic representation of object-hand
CN112365580B (zh) 一种面向人机技能传授的虚拟作业演示系统
CN111753696B (zh) 一种感知场景信息的方法、仿真装置、机器人
Mao et al. Learning hand movements from markerless demonstrations for humanoid tasks
CN111309035B (zh) 多机器人协同移动与动态避障方法、装置、设备及介质
Canal et al. Gesture based human multi-robot interaction
Manitsaris et al. Human movement representation on multivariate time series for recognition of professional gestures and forecasting their trajectories
CN105844672A (zh) 一种多关节模型的快速连续碰撞检测的方法
CN112684709B (zh) 一种集群跟踪运动学建模方法、设备及存储介质
Palm et al. Recognition of human grasps by time-clustering and fuzzy modeling
Zheng et al. An Object Recognition Grasping Approach Using Proximal Policy Optimization With YOLOv5
CN113780560B (zh) 一种基于虚拟演示的机器人任务知识自生成系统
Munguia-Galeano et al. Affordance-based human–robot interaction with reinforcement learning
Shukla et al. UBOL: User-Behavior-aware one-shot learning for safe autonomous driving
Chen et al. Dynamic gesture design and recognition for human-robot collaboration with convolutional neural networks
JP6623366B1 (ja) 経路認識方法、経路認識装置、経路認識プログラム、及び経路認識プログラム記録媒体
Liu et al. Evolving hidden Markov model based human intention learning and inference
Zhou et al. Intelligent grasping with natural human-robot interaction
Weiming et al. Real-time virtual UR5 robot imitation of human motion based on 3D camera
Avilés-Arriaga et al. Dynamic Bayesian networks for visual recognition of dynamic gestures
Jayasurya et al. Gesture controlled AI-robot using Kinect

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant