CN114781652A - 一种基于多模态强化学习的人机协同框架 - Google Patents

一种基于多模态强化学习的人机协同框架 Download PDF

Info

Publication number
CN114781652A
CN114781652A CN202210700832.9A CN202210700832A CN114781652A CN 114781652 A CN114781652 A CN 114781652A CN 202210700832 A CN202210700832 A CN 202210700832A CN 114781652 A CN114781652 A CN 114781652A
Authority
CN
China
Prior art keywords
user
intention
reinforcement learning
modal
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210700832.9A
Other languages
English (en)
Other versions
CN114781652B (zh
Inventor
冯志全
蔡泽源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Jinan
Original Assignee
University of Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Jinan filed Critical University of Jinan
Priority to CN202210700832.9A priority Critical patent/CN114781652B/zh
Publication of CN114781652A publication Critical patent/CN114781652A/zh
Application granted granted Critical
Publication of CN114781652B publication Critical patent/CN114781652B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Robotics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于多模态强化学习的人机协同框架，涉及人机协同技术领域，包括多模态强化学习意图理解模块和任务分配模块，所述的多模态强化学习意图理解模块中机器人通过收集用户的三种模态的特征通过强化学习在反复的迭代中学习用户的行为习惯，进而消除由于不同用户的行为习惯差异而产生的误差，实现对用户的更加鲁棒的意图理解，所述的任务分配模块根据用户的行为获取用户的意图之后指定机器人的动作序列。本发明消除了用户个体之间习惯的差异性而导致的协作效果偏差的问题，具有用户感知实时性好、适应性强的有益效果。

Description

一种基于多模态强化学习的人机协同框架
技术领域
本发明涉及人机协同技术领域，具体是指一种基于多模态强化学习的人机协同框架。
背景技术
协作型机器人作为一种新型的工业机器人，扫除了人机协作的障碍，让机器人彻底摆脱护栏或围笼的束缚，其开创性的产品性能和广泛的应用领域，为工业机器人的发展开启了新时代。
协作机器人应用场景比较广并且在各行各业都能够发挥出其相应的优势，因此想要选择这种具有良好优势的协作机器人还应该现场实地考察其感知能力和人机协作能力。
作机器人的感知能力是指感知周边环境并且能够根据周边的环境准确做出相应的动作行为，而现有的人机协作框架主要使用一个统一的范式观察用户特征实现意图理解进而人机协同，这种范式使用了固定的范式需要用户去适应机器人，很明显这种范式对用户不友好，如果能有一种协作框架能够去适应每一位用户的行为习惯，将使得机器人在面对不用习惯的用户时仍然可以保持高效的协同。
发明内容
本发明针对现有技术的不足，提供了一种旨在消除用户个体之间习惯的差异性而导致的协作效果偏差的基于多模态强化学习的人机协同框架。
本发明是通过如下技术方案实现的，提供一种基于多模态强化学习的人机协同框架，包括多模态强化学习意图理解模块和任务分配模块，所述的多模态强化学习意图理解模块中机器人通过收集用户的三种模态的特征通过强化学习在反复的迭代中学习用户的行为习惯，进而消除由于不同用户的行为习惯差异而产生的误差，实现对用户的更加鲁棒的意图理解，包括以下三个阶段：
（一）用户多模态特征的提取，传感器得到的数据会先经过三个子分类器得到分类结果m1、m2、m3，最终的用户特征s=[m1,m2,m3]；
（二）将提取到的用户特征s分类结果作为状态输入拟合出每一种意图结果下的得分v；
（三）根据优化目标通过公式（1）计算用户意图I所对应的最优操作，再使用NLP技术分析用户的语言反馈，得到用户满意度Sa，将Sa作为奖励的一部分进行迭代学习；
Figure DEST_PATH_IMAGE001
（1）
st为t时刻用户的特征，
Figure DEST_PATH_IMAGE002
为t时刻最佳意图，
Figure DEST_PATH_IMAGE003
为q_eval神经网络的参数；
所述的任务分配模块根据用户的行为获取用户的意图之后指定机器人的动作序列。
作为优选，所述第1阶段中用户多模态特征的提取采用三种传感器来实现用户包括语音、体势和手势三种模态的输入。
作为优选，所述第3阶段中，使用snownlp模块对麦克风收集到的语音反馈进行语音情感分析，NLP的结果在0到1之间，设置公式（2）作为奖励函数得出奖励值
Figure DEST_PATH_IMAGE004
，
Figure DEST_PATH_IMAGE005
（2）
其中，1表示语音反馈是正面的或未做反馈，0表示语音反馈是负面的。
作为优选，所述第2阶段和第3阶段中多模态强化学习意图理解算法为两个具有相同结构的神经网络Q_eval和Q_target，所述神经网络Q_eval和Q_target均有两层全连接层l1和l2组成，其中l1由50个神经元组成，并设有一个用来存储之前学习结果的记忆库用于实现离线学习的特性。
作为优选，所述神经网络Q_eval的输入为用户特征即三个子分类器的结果，Q_eval首先使用随机权重对用户特征s进行拟合，得出每一种意图结果下的得分，选取得分最高的意图作为最佳结果进行输出，待用户给出反馈后，根据奖励函数（2）得出奖励值
Figure 857987DEST_PATH_IMAGE004
，再根据公式（3）计算结果I的当前奖励及预期未来奖励之和
Figure DEST_PATH_IMAGE006
Figure DEST_PATH_IMAGE007
（3）
表达式（3）中，γ为未来奖励的衰减因子，
Figure 38171DEST_PATH_IMAGE003
为Q_eval的参数，
Figure DEST_PATH_IMAGE008
为Q_target的参数，
Figure 697953DEST_PATH_IMAGE004
为当前奖励，s’为下一次意图理解时的多模态输入，I代表意图空间。
由于Q_target和Q_eval的更新频率不同，利用时间差分的原理根据损失函数公式（4）使得Q_target和Q_eval两个网络的参数在拟合结果上越来越接近真实值，
Figure DEST_PATH_IMAGE009
（4）
在表达式（4）中s本次意图理解的多模态输入，i为本次意图理解的结果。
作为优选，所述的任务分配模块采用自顶向下、逐步细化的动态任务分配方法构建了意图与子任务数据库M1和子任务与动作数据库M2，M1中包含了用户意图I与子任务subtask的对应关系，M2中存储每一个子任务subtask与对应细分动作Motion的对应关系，M1、M2实现了从最终任务逐步细化到所有待完成的动作序列的过程。
采用本发明所提供的基于多模态强化学习的人机协同框架后，当一个新用户首次在我们搭建的人机协作场景中尝试与机器人协作时，本发明设置的多模态强化学习意图理解算法首先感知用户的三种模态信息并以此作为输入来预测用户的意图，进行任务分配，依靠用户给出的反馈，调整算法的参数，解决了如何让机器人学习用户习惯的问题。随着学习次数的上升，多模态强化学习意图理解算法逐渐收敛，意图理解的效果越来越好，这表明MRLC框架学习到了该用户的习惯。同时，为了保证人机协作的实时性人机协同框架通过高效的子分类器实现了不同模态数据的感知，而不是将收集到的原始的模态信息直接输入到深度强化学习神经网络中。多模态强化学习意图理解算法只需对一个表示多模态信息的三维矩阵处理即可，大大降低了时间复杂度，保证了算法的实时性。
综上所述，本发明消除了用户个体之间习惯的差异性而导致的协作效果偏差的问题，具有用户感知实时性好、适应性强的有益效果。
附图说明
图1为本发明基于多模态强化学习的人机协同框架的结构示意图；
图2为本发明中多模态强化学习意图理解算法架构示意图；
图3为本发明四种用户肢体动作示意图，其中（a）表示双手交叉，（b）表示指向未摆放的积木堆，（c）表示指向搭建好的Jenga积木塔，（d）表示小幅抬手；
图4为本发明五种用户手势示意图，其中（a）表示手心略微向上弯，（b）表示手心略微向下弯起，（c）表示五指张开，（d）表示食指竖起，（e）表示手心向上拿起一块积木；
图5为本发明中动态任务分配方法示意图。
具体实施方式
为能清楚说明本发明方案的技术特点，下面结合附图，并通过具体实施方式，对本方案进一步阐述。
如图1和图2中所示，提供一种基于多模态强化学习的人机协同框架，包括多模态强化学习意图理解模块和任务分配模块，所述的多模态强化学习意图理解模块中机器人通过收集用户的三种模态的特征通过强化学习在反复的迭代中学习用户的行为习惯，进而消除由于不同用户的行为习惯差异而产生的误差，实现对用户的更加鲁棒的意图理解，包括以下三个阶段：
（一）用户多模态特征的提取，传感器得到的数据会先经过三个子分类器得到分类结果m1、m2、m3，最终的用户特征s=[m1,m2,m3]；
（二）将提取到的用户特征s分类结果作为状态输入拟合出每一种意图结果下的得分v；
（三）根据优化目标通过公式（1）计算用户意图I所对应的最优操作，再使用NLP技术分析用户的语言反馈，得到用户满意度Sa，将Sa作为奖励的一部分进行迭代学习；
Figure 95437DEST_PATH_IMAGE001
（1）
st为t时刻用户的特征，
Figure 929751DEST_PATH_IMAGE002
为t时刻最佳意图，
Figure 477407DEST_PATH_IMAGE003
为q_eval神经网络的参数；
所述的任务分配模块根据用户的行为获取用户的意图之后指定机器人的动作序列。
在本实施例中，以人机协同搭建jenga积木塔为例进行说明，所述第1阶段中用户多模态特征的提取采用三种传感器来实现用户包括语音、体势和手势三种模态的输入，对语音模态本实施例中将用户的语言转化为文字，结合关键字识别技术将用户的语音进行分成7类，如表1中展示了语音关键字对应的类别编号；
对于动作模态，我们使用KinectV2中的KinectGesture实现对用户4类静态动作的识别，如图3和图4中展示的所有能够检测的肢体动作和手势。
在本实施例中，所述第3阶段中，使用snownlp模块对麦克风收集到的语音反馈进行语音情感分析，NLP的结果在0到1之间，当结果大于0.5时表明用户的为正面反馈，当用户的评价为正面性评价（如：做的好）时则视为该次意图理解结果正确，需要指出的是如果用户不做任何反馈，我们认为用户默许了这种行为，并将其视为一种正面的反馈，设置公式（2）作为奖励函数得出奖励值
Figure 568860DEST_PATH_IMAGE004
，
Figure 809348DEST_PATH_IMAGE005
（2）
其中，1表示语音反馈是正面的或未做反馈，0表示语音反馈是负面的。
所述第2阶段和第3阶段中多模态强化学习意图理解算法为两个具有相同结构的神经网络Q_eval和Q_target，所述神经网络Q_eval和Q_target均有两层全连接层l1和l2组成，其中l1由50个神经元组成，并设有一个用来存储之前学习结果的记忆库用于实现离线学习的特性。所述神经网络Q_eval的输入为用户特征即三个子分类器的结果，Q_eval首先使用随机权重对用户特征s进行拟合，得出每一种意图结果下的得分，选取得分最高的意图作为最佳结果进行输出，待用户给出反馈后，根据奖励函数（2）得出奖励值
Figure DEST_PATH_IMAGE010
，再根据公式（3）计算结果I的当前奖励及预期未来奖励之和
Figure 900932DEST_PATH_IMAGE006
Figure 517858DEST_PATH_IMAGE007
（3）
表达式（3）中，γ为未来奖励的衰减因子，
Figure 713085DEST_PATH_IMAGE003
为Q_eval的参数，
Figure 124475DEST_PATH_IMAGE008
为Q_target的参数，
Figure 359147DEST_PATH_IMAGE004
为当前奖励，s’为下一次意图理解时的多模态输入，I代表意图空间。
由于Q_target和Q_eval的更新频率不同，利用时间差分的原理根据损失函数公式（4）使得Q_target和Q_eval两个网络的参数在拟合结果上越来越接近真实值，
Figure 123972DEST_PATH_IMAGE009
（4）
在表达式（4）中s本次意图理解的多模态输入，i为本次意图理解的结果。
在本实施例中，所述的任务分配模块采用自顶向下、逐步细化的动态任务分配方法构建了意图与子任务数据库M1和子任务与动作数据库M2，M1中包含了用户意图I与子任务subtask的对应关系，M2中存储每一个子任务subtask与对应细分动作Motion的对应关系，M1、M2实现了从最终任务逐步细化到所有待完成的动作序列的过程。
如图5中所示，Motionuser为{“用户拿起一块积木”}，Motion为{“用户拿起一块积木”，“机器人向用户手部移动”，“机器人抓起用户手中积木”}，则Motionrobot={“机器人向用户手部移动”，“机器人抓起用户手中积木”}。
根据上述思路以及图1中基于多模态强化学习的人机协同框架架构图，给出基于多模态强化学习架构算法的具体描述：
算法描述:
Algorithm MRLC
Multimodal Reinforcement Learning Cooperation.
Input:User_speeches,User_body,gestures,User_handgestures,final_task,M(I,subtask),M(subtask,motion)
Initialize:NLP,sub_classifier,memory M,episo←0,load
θ,Sub_classifier(User_speeches,User_body gestures,User_handgestures),replace_iter
Output:Motionrobot.
While not finish final_task do：
s←Sub_classifiers
With probability εto select a random intention i
Otherwise use equation(1) to calculate i
subtask←M(i,subtask)
Motion←M(subtask,motion)
Motionrobot←Motion-Motionuser
r←NLP(feedback_speech)
//s’isthe next behavior feature of User after robot executesMotionrobot
s’←Sub_classifiers after Robote executes(Motionrobot)
Calculate Reward rt according to equation（2）
M←(s,i,r,s’)
batch_memory←random choice(M)
if s means the end of collaboration:
y’←r
else:
use equation(3) to calculate y’
use equation(4) to calculate loss
minimize loss
if(episode>replace_iter):
Figure DEST_PATH_IMAGE011
End
一个合理的任务分配模块可以根据用户的行为动态的分配机器人的任务，而不是死板地规定机器人需要负责的任务，在本实施例中，使用数学中集合的概念，将全部的任务看作一个全集Motion，用户已经完成的任务看作其中一个子集Motionuser，则机器人需要负责的任务为Motionuser的补集，即Motionrobot=Motion–Motionuser。通过这种方法MRLC框架可以实现动态的任务分配，协作的灵活性进一步增加。此外，通过这种方法可以很方便的通过修改两个数据库将多模态强化学习的人机协同框架套用在其他的协作场景中。
最后，还应说明，上述举例和说明也并不仅限于上述实施例，本发明未经描述的技术特征可以通过或采用现有技术实现，在此不再赘述；以上实施例及附图仅用于说明本发明的技术方案并非是对本发明的限制，参照优选的实施方式对本发明进行了详细说明，本领域的普通技术人员应当理解，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换都不脱离本发明的宗旨，也应属于本发明的权利要求保护范围。

Claims (6)

1.一种基于多模态强化学习的人机协同框架，其特征在于，包括多模态强化学习意图理解模块和任务分配模块，所述的多模态强化学习意图理解模块中机器人通过收集用户的三种模态的特征通过强化学习在反复的迭代中学习用户的行为习惯，进而消除由于不同用户的行为习惯差异而产生的误差，实现对用户的更加鲁棒的意图理解，包括以下三个阶段：
（一）用户多模态特征的提取，传感器得到的数据会先经过三个子分类器得到分类结果m1、m2、m3，最终的用户特征s=[m1,m2,m3]；
（二）将提取到的用户特征s分类结果作为状态输入拟合出每一种意图结果下的得分v；
（三）根据优化目标通过公式（1）计算用户意图I所对应的最优操作，再使用NLP技术分析用户的语言反馈，得到用户满意度Sa，将Sa作为奖励的一部分进行迭代学习；
Figure 253805DEST_PATH_IMAGE001
（1）
st为t时刻用户的特征，
Figure 757336DEST_PATH_IMAGE002
为t时刻最佳意图，
Figure 368446DEST_PATH_IMAGE003
为q_eval神经网络的参数；
所述的任务分配模块根据用户的行为获取用户的意图之后指定机器人的动作序列。
2.根据权利要求1所述的一种基于多模态强化学习的人机协同框架，其特征在于，所述第1阶段中用户多模态特征的提取采用三种传感器来实现用户包括语音、体势和手势三种模态的输入。
3.根据权利要求1所述的一种基于多模态强化学习的人机协同框架，其特征在于，所述第3阶段中，使用snownlp模块对麦克风收集到的语音反馈进行语音情感分析，NLP的结果在0到1之间，设置公式（2）作为奖励函数得出奖励值
Figure 659750DEST_PATH_IMAGE004
，
Figure 536570DEST_PATH_IMAGE005
（2）
其中，1表示语音反馈是正面的或未做反馈，0表示语音反馈是负面的。
4.根据权利要求3所述的一种基于多模态强化学习的人机协同框架，其特征在于，所述第2阶段和第3阶段中多模态强化学习意图理解算法为两个具有相同结构的神经网络Q_eval和Q_target，所述神经网络Q_eval和Q_target均有两层全连接层l1和l2组成，其中l1由50个神经元组成，并设有一个用来存储之前学习结果的记忆库用于实现离线学习的特性。
5.根据权利要求4所述的一种基于多模态强化学习的人机协同框架，其特征在于，所述神经网络Q_eval的输入为用户特征即三个子分类器的结果，Q_eval首先使用随机权重对用户特征s进行拟合，得出每一种意图结果下的得分，选取得分最高的用户意图I作为最佳结果进行输出，待用户给出反馈后，根据奖励函数（2）得出奖励值
Figure 204312DEST_PATH_IMAGE004
，再根据公式（3）计算结果I的当前奖励及预期未来奖励之和
Figure 466666DEST_PATH_IMAGE006
,
Figure 503105DEST_PATH_IMAGE007
（3）
表达式（3）中，γ为未来奖励的衰减因子，
Figure 991855DEST_PATH_IMAGE003
为Q_eval的参数，
Figure 322343DEST_PATH_IMAGE008
为Q_target的参数，
Figure 314569DEST_PATH_IMAGE009
为当前奖励，s’为下一次意图理解时的多模态输入，I代表意图空间；
由于Q_target和Q_eval的更新频率不同，利用时间差分的原理根据损失函数公式（4）使得Q_target和Q_eval两个网络的参数在拟合结果上越来越接近真实值，
Figure 88621DEST_PATH_IMAGE010
（4）
在表达式（4）中s本次意图理解的多模态输入，i为本次意图理解的结果。
6.根据权利要求1所述的一种基于多模态强化学习的人机协同框架，其特征在于，所述的任务分配模块采用自顶向下、逐步细化的动态任务分配方法构建了意图与子任务数据库M1和子任务与动作数据库M2，M1中包含了用户意图I与子任务subtask的对应关系，M2中存储每一个子任务subtask与对应细分动作Motion的对应关系，M1、M2实现了从最终任务逐步细化到所有待完成的动作序列的过程。
CN202210700832.9A 2022-06-21 2022-06-21 一种基于多模态强化学习的人机协同框架 Expired - Fee Related CN114781652B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210700832.9A CN114781652B (zh) 2022-06-21 2022-06-21 一种基于多模态强化学习的人机协同框架

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210700832.9A CN114781652B (zh) 2022-06-21 2022-06-21 一种基于多模态强化学习的人机协同框架

Publications (2)

Publication Number Publication Date
CN114781652A true CN114781652A (zh) 2022-07-22
CN114781652B CN114781652B (zh) 2022-10-14

Family

ID=82420383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210700832.9A Expired - Fee Related CN114781652B (zh) 2022-06-21 2022-06-21 一种基于多模态强化学习的人机协同框架

Country Status (1)

Country Link
CN (1) CN114781652B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110692066A (zh) * 2017-06-05 2020-01-14 渊慧科技有限公司 使用多模态输入选择动作
US20200226463A1 (en) * 2017-12-27 2020-07-16 Intel Coprporation Reinforcement learning for human robot interaction
CN111444954A (zh) * 2020-03-24 2020-07-24 广东省智能制造研究所 一种基于多模态感知与学习的机器人自主装配方法
CN114093028A (zh) * 2021-11-19 2022-02-25 济南大学 一种基于意图分析的人机协同方法、系统及机器人
CN114093025A (zh) * 2021-10-29 2022-02-25 济南大学 一种多模态意图逆向主动融合的人机协同方法和系统
CN114120439A (zh) * 2021-10-12 2022-03-01 江苏大学 一种智能汽车自车视角下的行人意图多任务识别及轨迹预测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110692066A (zh) * 2017-06-05 2020-01-14 渊慧科技有限公司 使用多模态输入选择动作
US20200226463A1 (en) * 2017-12-27 2020-07-16 Intel Coprporation Reinforcement learning for human robot interaction
CN111444954A (zh) * 2020-03-24 2020-07-24 广东省智能制造研究所 一种基于多模态感知与学习的机器人自主装配方法
CN114120439A (zh) * 2021-10-12 2022-03-01 江苏大学 一种智能汽车自车视角下的行人意图多任务识别及轨迹预测方法
CN114093025A (zh) * 2021-10-29 2022-02-25 济南大学 一种多模态意图逆向主动融合的人机协同方法和系统
CN114093028A (zh) * 2021-11-19 2022-02-25 济南大学 一种基于意图分析的人机协同方法、系统及机器人

Also Published As

Publication number Publication date
CN114781652B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
Krishnan et al. Ddco: Discovery of deep continuous options for robot learning from demonstrations
Wang et al. Noniterative deep learning: Incorporating restricted Boltzmann machine into multilayer random weight neural networks
CN107102727B (zh) 基于elm神经网络的动态手势学习与识别方法
CN106919251A (zh) 一种基于多模态情感识别的虚拟学习环境自然交互方法
Cruz et al. Multi-modal integration of dynamic audiovisual patterns for an interactive reinforcement learning scenario
CN109522945A (zh) 一种群体情感识别方法、装置、智能设备及存储介质
Sudo et al. Associative memory for online learning in noisy environments using self-organizing incremental neural network
CN110473195B (zh) 一种可自动定制的医学病灶检测架构及方法
CN111401261B (zh) 基于gan-cnn框架的机器人手势识别方法
Lopes et al. How many words can my robot learn?: An approach and experiments with one-class learning
CN109308316A (zh) 一种基于主题聚类的自适应对话生成系统
US11673263B2 (en) Self-learning intelligent driving device
CN114781652B (zh) 一种基于多模态强化学习的人机协同框架
Xu et al. Turn-Taking Prediction for Human–Robot Collaborative Assembly Considering Human Uncertainty
CN116955618A (zh) 一种基于大语言模型的对话系统意图识别方法及工具
CN111241982A (zh) 一种基于cae-svm的机器人手势识别方法
Shi et al. Efficient hierarchical policy network with fuzzy rules
Memmesheimer et al. Gesture recognition on human pose features of single images
CN111950690A (zh) 一种具有自适应能力的高效强化学习策略模型
CN114211490B (zh) 一种基于Transformer模型的机械臂抓手位姿预测方法
Zhang et al. Dcnngrasp: Towards accurate grasp pattern recognition with adaptive regularizer learning
CN104460991A (zh) 一种基于数字家庭设备的手势互动控制系统
CN111259860B (zh) 基于数据自驱动的多阶特征动态融合手语翻译方法
CN115091467A (zh) 一种基于模糊Petri网的意图预测与消歧方法及系统
Campbell et al. A stochastic graph grammar algorithm for interactive search

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20221014

CF01 Termination of patent right due to non-payment of annual fee