CN108803874A - 一种基于机器视觉的人机行为交互方法 - Google Patents

一种基于机器视觉的人机行为交互方法 Download PDF

Info

Publication number
CN108803874A
CN108803874A CN201810539299.6A CN201810539299A CN108803874A CN 108803874 A CN108803874 A CN 108803874A CN 201810539299 A CN201810539299 A CN 201810539299A CN 108803874 A CN108803874 A CN 108803874A
Authority
CN
China
Prior art keywords
human body
behavior
robot
posture
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810539299.6A
Other languages
English (en)
Inventor
程韬波
马敬奇
周志刚
雷欢
钟震宇
吴宝健
何峰
吴亮生
王楠
卢杏坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Institute of Intelligent Manufacturing
Original Assignee
Guangdong Institute of Intelligent Manufacturing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Institute of Intelligent Manufacturing filed Critical Guangdong Institute of Intelligent Manufacturing
Priority to CN201810539299.6A priority Critical patent/CN108803874A/zh
Publication of CN108803874A publication Critical patent/CN108803874A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

一种基于机器视觉的人机行为交互方法,包括步骤:S1,由机器人的摄像头获取场景中的人物的至少一帧人体图像,S2,利用深度卷积神经网络提取人体图像中的预设关节点数据,输出人体行为姿态序列,S3,对于静态行为姿态序列由softmax分类器进行分类,对于动态行为姿态序列利用循环神经网络模型进行识别分类,从而得到静态与动态的行为分类结果,S4,构建“人体行为—机器人姿态指令”的映射关系,形成机器人的姿态指令集,进而构建“姿态指令—关节运动控制指令”的映射关系,形成机器人的关节运动控制指令集,从而形成“人体行为—机器人姿态指令—关节运动控制指令—反馈动作”的完整映射关系。本发明实现较为精确的人机交互操作。

Description

一种基于机器视觉的人机行为交互方法
技术领域
本发明涉及智能机器人、机器视觉、深度学习与人际交互领域,特别涉及一种基于机器视觉的人机行为交互方法。
背景技术
人机交互(Human-Computer Interaction,简写HCI):是指人与计算机之间使用某种对话语言,以一定的交互方式,为完成确定任务的人与计算机之间的信息交换过程。目前,人体姿态动作估计是人机交互领域的一项非常关键的技术。人体姿态动作估计的交互方式可以使得使用者摆脱各种设备的束缚,其具有直观、便于理解、操作简单灵活等特点,符合大众的日常生活习惯,所以基于人机行为交互的应用市场前景非常广阔。
卷积神经网络是一个多层次结构的有监督的深度学习算法。深度卷积神经网络是直接以原始数据作为输入,从大量的训练数据中自动学习特征的表示,可以有效降低网络的复杂程度,训练参数的数目,是模型对于平移、扭曲、缩放都有一定程度的不变性。目前深度卷积神经网络已经被广泛的应用于图像分类、目标检测、人脸识别、行人检测等多个计算机视觉领域,并取得巨大的成功。而研究表明,人类很多的姿态动作完全可以从主要关节点中识别出来。
发明内容
本发明要解决的技术问题是提供一种基于机器视觉的人机行为交互方法,实现更加精确的人机交互操作。
为了解决上述技术问题,本发明采取以下技术方案:
一种基于机器视觉的人机行为交互方法,包括以下步骤:
S1,由机器人的摄像头获取场景中的人物的至少一帧人体图像;
S2,利用深度卷积神经网络提取人体图像中的预设关节点数据,输出人体行为姿态序列,该人体行为姿态序列分为静态行为姿态序列和动态行为姿态序列;
S3,对于静态行为姿态序列由softmax分类器进行分类,对于动态行为姿态序列利用循环神经网络模型进行识别分类,从而得到静态与动态的行为分类结果;
S4,构建“人体行为—机器人姿态指令”的映射关系,形成机器人的姿态指令集,进而构建“姿态指令—关节运动控制指令”的映射关系,形成机器人的关节运动控制指令集,从而形成“人体行为—机器人姿态指令—关节运动控制指令—反馈动作”的完整映射关系;
通过“人体行为—机器人姿态指令—关节运动控制指令—反馈动作”的完整映射关系建立完整的人机行为交互决策数据库,由人体行为姿态得到行为分类结果映射出对应的姿态指令,进而得到多关节机器人的关节运动控制指令,而关节运动控制指令操作多关节机器人作出相应的反馈姿态,实现在线人机行为交互目的。
所述步骤S4中的“人体行为—机器人姿态指令—关节运动控制指令—反馈动作”的完整映射关系,具体构建步骤如下:
S4.1,选取MPII人体姿态数据库和MSCOCO人体姿态数据库中的N张图像对深度卷积神经网络进行训练,并将网络收敛后得到的人体行为姿态序列用来训练softmax分类器,得到softmax分类器收敛后的静态的行为分类结果;
S4.2,构建“静态的人体行为姿态与机器人的静态姿态指令”的映射关系,从而形成机器人的静态姿态指令集,并将静态姿态指令集保存在人机行为交互决策数据库中;
机器人的静态姿态指令与关节运动控制指令构建映射关系,形成了机器人的关节运动控制指令集,并保存于人机行为交互决策数据库中;
S4.3,对于动态的人体行为姿态,首先收集好已经公开的相关人体行为姿态数据集,训练后得到动态的人体行为姿态序列,利用循环神经网络模型处理得到行为分类结果,由行为分类结果与机器人的动态姿态指令构建“动态的人体行为姿态—机器人的动态姿态指令”的映射关系,从而形成机器人的动态姿态指令集,并将动态姿态指令集保存在人机行为交互决策数据库中;
机器人的动态姿态指令与关节运动控制指令构建映射关系,形成了机器人的关节运动控制指令集,并保存于人机行为交互决策数据库中;
S4.4,机器人获取人体运动姿态,确认姿态类型,形成相应的姿态指令,转换成对应的关节运动控制指令,使机器人作出相应的反馈动作,姿态类型为静态的人体行为姿态和动态的人体行为姿态。
所述步骤S2具体包括:
S2.1,利用VGG-Net网络对机器人摄像头覆盖场景中的至少一帧人体图像进行特征提取,再结合深度卷积神经网络提取人体图像中的预设关节点数据,形成人体行为姿态序列;
S2.2,对于静态的人体行为姿态序列,进入静态模式,利用softmax分类器对人体行为姿态序列分类,获取人体行为姿态静态的分类结果;
S2.3,对于动态的人体行为姿态序列,进入动态模式,利用循环神经网络模型进行进行识别分类,从而得到人体姿态动作的分类结果。
所述人体的预设关节点包括左眼、右眼、左耳、右耳、左肩、右肩、嘴巴、胸颈处、左肘、右肘、左手、右手、左髋、右髋、左膝、右膝、左脚和右脚。
本发明能够快速、精准识别出在多关节机器人的摄像头区域场景中的人物姿态,从而有效、快速的做出相对应的仿人的姿态动作。本发明可有效地实现了人机互动的效果。
附图说明
附图1为本发明流程示意图;
附图2为本发明中人体运动姿态序列示意图;
附图3为本发明中多关节机器人示意图;
附图4为本发明中静态模式下分类示意图;
附图5为本发明中动态模式下分类示意图;
附图6为本发明中人体和机器人“举手”姿态示意图;
附图7为本发明中人体和机器人“挥手”姿态示意图;
附图8为本发明中人体和机器人“画圈”姿态示意图;
附图9为本发明中人体“双手交叉”及机器人“原地站立”姿态示意图;
附图10为本发明中人机行为交互决策数据库示意图。
具体实施方式
为能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能,下面结合附图与具体实施方式对本发明作进一步详细描述。
如附图1-10所示,本发明揭示了一种基于机器视觉的人机行为交互方法,包括以下步骤:
S1,由机器人的摄像头获取场景中的人物的至少一帧人体图像。机器人为多关节机器人。
S2,利用深度卷积神经网络提取人体图像中的预设关节点数据,输出人体行为姿态序列,该人体行为姿态序列分为静态行为姿态序列和动态行为姿态序列。该预设关节点包括左眼、右眼、左耳、右耳、左肩、右肩、嘴巴、胸颈处、左肘、右肘、左手、右手、左髋、右髋、左膝、右膝、左脚和右脚,以上关节点为人体的主要关节点,能够最直接地体现人体运动姿态。当然,除了以上各个关节点,在不同场景的需求下,还可以设定其他的关节点。
S3,对于静态行为姿态序列由softmax分类器进行分类,对于动态行为姿态序列利用循环神经网络模型进行识别分类,从而得到静态与动态的行为分类结果。静态的行为姿态是指举手、抬脚等单一性动作,动态的行为姿态是指画圈类的整套动作。
S4,构建“人体行为—机器人姿态指令”的映射关系,形成机器人的姿态指令集,进而构建“姿态指令—关节运动控制指令”的映射关系,形成机器人的关节运动控制指令集,从而形成“人体行为—机器人姿态指令—关节运动控制指令—反馈动作”的完整映射关系。
通过“人体行为—机器人姿态指令—关节运动控制指令—反馈动作”的完整映射关系建立完整的人机行为交互决策数据库,由人体行为姿态得到行为分类结果映射出对应的姿态指令,进而得到多关节机器人的关节运动控制指令,而关节运动控制指令操作多关节机器人作出相应的反馈姿态,实现在线人机行为交互目的。
所述步骤S4中的“人体行为—机器人姿态指令—关节运动控制指令—反馈动作”的完整映射关系,即人机行为交互决策数据库,具体构建步骤如下:
S4.1,选取MPII人体姿态数据库和MSCOCO人体姿态数据库中的N张图像对深度卷积神经网络进行训练,并将网络收敛后得到的人体行为姿态序列用来训练softmax分类器,得到softmax分类器收敛后的静态的行为分类结果。优选情况下,选择N为20000,能够充分的进行训练。
S4.2,构建“静态的人体行为姿态与机器人的静态姿态指令”的映射关系,从而形成机器人的静态姿态指令集,并将静态姿态指令集保存在人机行为交互决策数据库中。
静态的人体行为姿态与机器人姿态指令的映射关系,比如“举手—姿态指令1、坐着—姿态指令2、握手—姿态指令3”等,即当机器人摄像头检测出场景中的人体图像为“举手”的静态行为姿态时,多关节机器人会立即调用“姿态指令1”,对于“坐着”和“握手”的行为姿态,多关节机器人也同样调用相应姿态指令。
机器人的静态姿态指令与关节运动控制指令构建映射关系,形成了机器人的关节运动控制指令集,,比如“姿态指令1—运动指令1、姿态指令2—运动指令2、姿态指令n—运动指令d”等,并保存于人机行为交互决策数据库中。当机器人接收到相应的静态姿态指令后,就转换成相应的关节运动控制指令,使机器运动控制系统控制机器人作出相应的动作。
S4.3,对于动态的人体行为姿态,首先收集好已经公开的相关人体行为姿态数据集,训练后得到动态的人体行为姿态序列,利用循环神经网络模型处理得到行为分类结果,由行为分类结果与机器人的动态姿态指令构建“动态的人体行为姿态—机器人的动态姿态指令”的映射关系,从而形成机器人的动态姿态指令集,并将动态姿态指令集保存在人机行为交互决策数据库中。
动态的人体行为姿态与机器人姿态指令的映射关系如“画圈—姿态指令b+1、挥手—姿态指令b+2、走路—姿态指令b+3”等,即当机器人摄像头检测出场景中的多帧人体图像为“画圈”的行为姿态时,多关节机器人会立即调用“姿态指令b+1”,对于“挥手”和“走路”的行为姿态,多关节机器人也同样调用相应姿态指令。
机器人的动态姿态指令与关节运动控制指令构建映射关系,形成了机器人的关节运动控制指令集,如“姿态指令b+1—运动指令c、姿态指令b+2—运动指令c+1、姿态指令n—运动指令d”等,并保存于人机行为交互决策数据库中。
S4.4,机器人获取人体运动姿态,确认姿态类型,形成相应的姿态指令,转换成对应的关节运动控制指令,使机器人作出相应的反馈动作,姿态类型为静态的人体行为姿态和动态的人体行为姿态。
具体,如附图10所示,为多关节机器人的人机行为交互决策数据库示意图,即人体运动姿态、姿态指令、关节运动控制指令、动作反馈这4者之间的映射关系如“姿态1—姿态指令1—运动指令1—动作1,姿态2—姿态指令2—运动指令2—动作2,姿态a+1—姿态指令b+1—运动指令c—动作e,姿态a+2—姿态指令b+2—运动指令c+1—动作e+1,姿态m—姿态指令n—运动指令d—动作f”等,如当机器人摄像头检测出场景中的人体图像为“举手”的行为姿态时,多关节机器人立即调用“姿态指令1”,而“姿态指令1”获取“关节运动控制指令1”从而使得多关节机器人执行“动作1”的反馈动作。
下面从静态和动态模式分别阐述。
静态模式下的具体操作如下:
以人体行为姿态“右举手”为例,多关节机器人摄像头获取静态的人体行为姿态“右举手”后,利用深度卷积圣经网络获取主要关节点数据信息,得到了“右举手”的行为姿态序列;进入静态模式,由softmax分类器对“右举手”的行为姿态序列进行分类识别,获取了“右举手”行为姿态序列的显著特征,如图6中的a部分所示,即“6右肩,7右肘,8右手”保持向上的姿态。
“右举手”的行为分类结果映射到姿态指令集的“姿态指令1”,“姿态指令1”则映射到关节运动控制指令集的“运动指令1”,多关节机器人利用运动控制系统执行“运动指令1”做出类似于人体图像的“举手”姿态,如图6中的b部分所示,实现在线人机行为交互。
同理多关节机器人在场景中采集到“双手交叉”的人体行为姿态时,通过人机行为交互决策数据库的映射关系“双手交叉—姿态指令h
—运动指令j—动作k”,多关节机器人停止当前所有动作,恢复“站立”姿势,如图9所示,以实现在线人机行为交互。
动态模式下的具体操作如下:
以人体姿态动作“左挥手”为例,多关节机器人通过摄像头获取静态的人体姿态动作“左挥手”后,利用深度卷积圣经网络获取主要关节点数据信息,得到了“左挥手”的行为姿态序列;进入动态模式,由循环神经网络模型对“左挥手”的行为姿态序列进行识别分类,获取“左挥手”行为姿态序列的显著特征,如图7中的a部分所示,即“10左肩,11左肘,12左手”保持向上的姿态。
“左挥手”的行为分类结果映射到姿态指令集的“姿态指令b+2”,“姿态指令b+2”则映射到关节运动控制指令集的“运动指令c+1”,多关节机器人通过运动控制系统执行“运动指令c+1”做出类似于人体图像的“左挥手”的姿态,如图7中的b部分所示,以实现在线人机行为交互。
同理多关节机器人在场景中采集到“左画圈”的人体行为姿态时,通过人机行为交互决策数据库的映射——“画圈—姿态指令b+1—运动指令c—动作e”,多关节机器人则做出原地逆时针转圈,如图8所示,实现在线人机行为交互。
另外,所述步骤S2中对人体序列行为姿态序列的获取具体包括:
S2.1,利用VGG-Net网络对机器人摄像头覆盖场景中的至少一帧人体图像进行特征提取,再结合深度卷积神经网络提取人体图像中的预设关节点数据,形成人体行为姿态序列。
S2.2,对于静态的人体行为姿态序列,进入静态模式,利用softmax分类器对人体行为姿态序列分类,获取人体行为姿态静态的分类结果。
S2.3,对于动态的人体行为姿态序列,进入动态模式,利用循环神经网络模型进行进行识别分类,从而得到人体姿态动作的分类结果。
在双流深度卷积神经网络中的每个阶段输出处分别定义一个损失函数,解决网络在训练时梯度消失的问题。网络在t阶段的损失函数分别为:
其中为关节j的标定值,两关节间的标定值。每个阶段通过损失函数补充梯度来解决训练时梯度消失的问题。
通过以上设定和定义,能够实现更加精确的人机交互。
需要说明的是,以上仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,但是凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于机器视觉的人机行为交互方法,包括以下步骤:
S1,由机器人的摄像头获取场景中的人物的至少一帧人体图像;
S2,利用深度卷积神经网络提取人体图像中的预设关节点数据,输出人体行为姿态序列,该人体行为姿态序列分为静态行为姿态序列和动态行为姿态序列;
S3,对于静态行为姿态序列由softmax分类器进行分类,对于动态行为姿态序列利用循环神经网络模型进行识别分类,从而得到静态与动态的行为分类结果;
S4,构建“人体行为—机器人姿态指令”的映射关系,形成机器人的姿态指令集,进而构建“姿态指令—关节运动控制指令”的映射关系,形成机器人的关节运动控制指令集,从而形成“人体行为—机器人姿态指令—关节运动控制指令—反馈动作”的完整映射关系;
通过“人体行为—机器人姿态指令—关节运动控制指令—反馈动作”的完整映射关系建立完整的人机行为交互决策数据库,由人体行为姿态得到行为分类结果映射出对应的姿态指令,进而得到多关节机器人的关节运动控制指令,而关节运动控制指令操作多关节机器人作出相应的反馈姿态,实现在线人机行为交互目的。
2.根据权利要求1所述的基于机器视觉的人机行为交互方法,其特征在于,所述步骤S4中的“人体行为—机器人姿态指令—关节运动控制指令—反馈动作”的完整映射关系,具体构建步骤如下:
S4.1,选取MPII人体姿态数据库和MSCOCO人体姿态数据库中的N张图像对深度卷积神经网络进行训练,并将网络收敛后得到的人体行为姿态序列用来训练softmax分类器,得到softmax分类器收敛后的静态的行为分类结果;
S4.2,构建“静态的人体行为姿态与机器人的静态姿态指令”的映射关系,从而形成机器人的静态姿态指令集,并将静态姿态指令集保存在人机行为交互决策数据库中;
机器人的静态姿态指令与关节运动控制指令构建映射关系,形成了机器人的关节运动控制指令集,并保存于人机行为交互决策数据库中;
S4.3,对于动态的人体行为姿态,首先收集好已经公开的相关人体行为姿态数据集,训练后得到动态的人体行为姿态序列,利用循环神经网络模型处理得到行为分类结果,由行为分类结果与机器人的动态姿态指令构建“动态的人体行为姿态—机器人的动态姿态指令”的映射关系,从而形成机器人的动态姿态指令集,并将动态姿态指令集保存在人机行为交互决策数据库中;
机器人的动态姿态指令与关节运动控制指令构建映射关系,形成了机器人的关节运动控制指令集,并保存于人机行为交互决策数据库中;
S4.4,机器人获取人体运动姿态,确认姿态类型,形成相应的姿态指令,转换成对应的关节运动控制指令,使机器人作出相应的反馈动作,姿态类型为静态的人体行为姿态和动态的人体行为姿态。
3.根据权利要求2所述的基于机器视觉的人机行为交互方法,其特征在于,所述步骤S2具体包括:
S2.1,利用VGG-Net网络对机器人摄像头覆盖场景中的至少一帧人体图像进行特征提取,再结合深度卷积神经网络提取人体图像中的预设关节点数据,形成人体行为姿态序列;
S2.2,对于静态的人体行为姿态序列,进入静态模式,利用softmax分类器对人体行为姿态序列分类,获取人体行为姿态静态的分类结果;
S2.3,对于动态的人体行为姿态序列,进入动态模式,利用循环神经网络模型进行进行识别分类,从而得到人体姿态动作的分类结果。
4.根据权利要求3所述的基于机器视觉的人机行为交互方法,其特征在于,所述人体的预设关节点包括左眼、右眼、左耳、右耳、左肩、右肩、嘴巴、胸颈处、左肘、右肘、左手、右手、左髋、右髋、左膝、右膝、左脚和右脚。
CN201810539299.6A 2018-05-30 2018-05-30 一种基于机器视觉的人机行为交互方法 Pending CN108803874A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810539299.6A CN108803874A (zh) 2018-05-30 2018-05-30 一种基于机器视觉的人机行为交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810539299.6A CN108803874A (zh) 2018-05-30 2018-05-30 一种基于机器视觉的人机行为交互方法

Publications (1)

Publication Number Publication Date
CN108803874A true CN108803874A (zh) 2018-11-13

Family

ID=64089500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810539299.6A Pending CN108803874A (zh) 2018-05-30 2018-05-30 一种基于机器视觉的人机行为交互方法

Country Status (1)

Country Link
CN (1) CN108803874A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753150A (zh) * 2018-12-11 2019-05-14 北京字节跳动网络技术有限公司 人物动作控制方法、装置、存储介质和电子设备
CN110555404A (zh) * 2019-08-29 2019-12-10 西北工业大学 基于人体姿态识别的飞翼无人机地面站交互装置及方法
CN110807391A (zh) * 2019-10-25 2020-02-18 中国人民解放军国防科技大学 基于视觉的人-无人机交互用人体姿态指令识别方法
CN110815188A (zh) * 2019-11-19 2020-02-21 福州大学 基于肢体运动进行工业机器人示教的系统及方法
CN111026277A (zh) * 2019-12-26 2020-04-17 深圳市商汤科技有限公司 一种交互控制方法及装置、电子设备和存储介质
CN111241940A (zh) * 2019-12-31 2020-06-05 浙江大学 一种机器人的远程控制方法、人体边界框确定方法及系统
CN111479118A (zh) * 2019-10-09 2020-07-31 王东 一种电子设备的控制方法、装置及电子设备
CN112446240A (zh) * 2019-08-29 2021-03-05 杭州海康威视数字技术股份有限公司 一种动作识别方法及装置
CN113849065A (zh) * 2021-09-17 2021-12-28 支付宝(杭州)信息技术有限公司 一种利用健身动作触发客户端操作指令的方法及装置
CN114660947A (zh) * 2022-05-19 2022-06-24 季华实验室 机器人步态自主学习方法、装置、电子设备及存储介质
CN116758908A (zh) * 2023-08-18 2023-09-15 中国工业互联网研究院 基于人工智能的交互方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107443396A (zh) * 2017-08-25 2017-12-08 魔咖智能科技(常州)有限公司 一种实时模仿人体动作的智能陪伴机器人
CN107688391A (zh) * 2017-09-01 2018-02-13 广州大学 一种基于单目视觉的手势识别方法和装置
CN108052896A (zh) * 2017-12-12 2018-05-18 广东省智能制造研究所 基于卷积神经网络与支持向量机的人体行为识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107443396A (zh) * 2017-08-25 2017-12-08 魔咖智能科技(常州)有限公司 一种实时模仿人体动作的智能陪伴机器人
CN107688391A (zh) * 2017-09-01 2018-02-13 广州大学 一种基于单目视觉的手势识别方法和装置
CN108052896A (zh) * 2017-12-12 2018-05-18 广东省智能制造研究所 基于卷积神经网络与支持向量机的人体行为识别方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753150A (zh) * 2018-12-11 2019-05-14 北京字节跳动网络技术有限公司 人物动作控制方法、装置、存储介质和电子设备
CN110555404A (zh) * 2019-08-29 2019-12-10 西北工业大学 基于人体姿态识别的飞翼无人机地面站交互装置及方法
CN112446240A (zh) * 2019-08-29 2021-03-05 杭州海康威视数字技术股份有限公司 一种动作识别方法及装置
CN111479118A (zh) * 2019-10-09 2020-07-31 王东 一种电子设备的控制方法、装置及电子设备
CN110807391A (zh) * 2019-10-25 2020-02-18 中国人民解放军国防科技大学 基于视觉的人-无人机交互用人体姿态指令识别方法
CN110815188A (zh) * 2019-11-19 2020-02-21 福州大学 基于肢体运动进行工业机器人示教的系统及方法
CN111026277A (zh) * 2019-12-26 2020-04-17 深圳市商汤科技有限公司 一种交互控制方法及装置、电子设备和存储介质
CN111241940A (zh) * 2019-12-31 2020-06-05 浙江大学 一种机器人的远程控制方法、人体边界框确定方法及系统
CN111241940B (zh) * 2019-12-31 2022-07-26 浙江大学 一种机器人的远程控制方法、人体边界框确定方法及系统
CN113849065A (zh) * 2021-09-17 2021-12-28 支付宝(杭州)信息技术有限公司 一种利用健身动作触发客户端操作指令的方法及装置
CN114660947A (zh) * 2022-05-19 2022-06-24 季华实验室 机器人步态自主学习方法、装置、电子设备及存储介质
CN114660947B (zh) * 2022-05-19 2022-07-29 季华实验室 机器人步态自主学习方法、装置、电子设备及存储介质
CN116758908A (zh) * 2023-08-18 2023-09-15 中国工业互联网研究院 基于人工智能的交互方法、装置、设备及存储介质
CN116758908B (zh) * 2023-08-18 2023-11-07 中国工业互联网研究院 基于人工智能的交互方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108803874A (zh) 一种基于机器视觉的人机行为交互方法
CN110135375B (zh) 基于全局信息整合的多人姿态估计方法
CN109815826B (zh) 人脸属性模型的生成方法及装置
WO2021184933A1 (zh) 一种人体三维模型重建方法
JP6788264B2 (ja) 表情認識方法、表情認識装置、コンピュータプログラム及び広告管理システム
CN109635727A (zh) 一种人脸表情识别方法及装置
CN107909060A (zh) 基于深度学习的健身房健身动作识别方法及装置
CN107765852A (zh) 基于虚拟人的多模态交互处理方法及系统
CN108363973A (zh) 一种无约束的3d表情迁移方法
CN107894833A (zh) 基于虚拟人的多模态交互处理方法及系统
CN110738161A (zh) 一种基于改进生成式对抗网络的人脸图像矫正方法
CN106919906A (zh) 一种图像互动方法及互动装置
CN103473801A (zh) 一种基于单摄像头与运动捕捉数据的人脸表情编辑方法
CN108052884A (zh) 一种基于改进残差神经网络的手势识别方法
CN107018330A (zh) 一种实时拍照指导方法及装置
CN109905593A (zh) 一种图像处理方法和装置
CN110008839A (zh) 一种自适应手势识别的智能手语交互系统及方法
CN111680550B (zh) 情感信息识别方法、装置、存储介质及计算机设备
CN109410119A (zh) 面具图像变形方法及其系统
CN105069745A (zh) 基于普通图像传感器及增强现实技术的带表情变脸系统及方法
CN107748798A (zh) 一种基于多层视觉表达和深度网络的手绘图像检索方法
CN113297944A (zh) 用于服装虚拟试穿的人体姿势变换方法及系统
Krishnaraj et al. A Glove based approach to recognize Indian Sign Languages
KR20230110787A (ko) 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들
CN115272579A (zh) 一种基于多特征融合的单张图像三维服装重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181113