CN110347246A - 人机交互方法、装置、存储介质及电子设备 - Google Patents

人机交互方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN110347246A
CN110347246A CN201910532868.9A CN201910532868A CN110347246A CN 110347246 A CN110347246 A CN 110347246A CN 201910532868 A CN201910532868 A CN 201910532868A CN 110347246 A CN110347246 A CN 110347246A
Authority
CN
China
Prior art keywords
human body
model
body image
limbs
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910532868.9A
Other languages
English (en)
Other versions
CN110347246B (zh
Inventor
陈泽洲
刘兆祥
廉士国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Robotics Co Ltd
Original Assignee
Cloudminds Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Inc filed Critical Cloudminds Inc
Priority to CN201910532868.9A priority Critical patent/CN110347246B/zh
Publication of CN110347246A publication Critical patent/CN110347246A/zh
Application granted granted Critical
Publication of CN110347246B publication Critical patent/CN110347246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种人机交互方法、装置、存储介质及电子设备，所述方法包括：获取摄像头在第一时刻拍摄的第一人体图像；将存储的N张第二人体图像对应的人体特征和第一人体图像输入至动作模型网络，获得动作模型网络输出的动作数据，其中，N为正整数，N张第二人体图像为摄像头分别在第一时刻的前N个时刻拍摄的人体图像，前N个时刻与第一时刻为连续的；动作模型网络包括人脸特征提取模型、肢体特征提取模型、特征序列生成模型以及动作识别模型，特征序列生成模型的输入分别与人脸特征提取模型的输出及肢体特征提取模型的输出耦合，动作识别模型的输入与特征序列生成模型的输出耦合；在机器人上展现动作数据。由此可以有效提高人机交互的多样性。

Description

人机交互方法、装置、存储介质及电子设备
技术领域
本公开涉及人机交互领域，具体地，涉及一种人机交互方法、装置、存储介质及电子设备。
背景技术
计算机技术迅速发展，人工智能也在日益精进，人机交互在人们的生活中也越来越重要，如增强现实应用，混合现实应用和教育应用等等。现有技术中，人机交互通常是根据用户操作生成对应的回答。而在上述交互过程中,一般是对用户的操作进行模式匹配或语音分析，获得对应的回答，交互方式比较固定、单一，难以满足用户需求。
发明内容
本公开的目的是提供一种交互多样化的人机交互方法、装置、存储介质及电子设备。
为了实现上述目的，根据本公开的第一方面，提供一种人机交互方法，
获取摄像头在第一时刻拍摄的第一人体图像；
将存储的N张第二人体图像对应的人体特征和所述第一人体图像输入至动作模型网络，获得所述动作模型网络输出的动作数据，其中，N为正整数，所述N张第二人体图像为所述摄像头分别在所述第一时刻的前N个时刻拍摄的人体图像，所述前N个时刻与所述第一时刻为连续的；所述人体特征包括人脸特征和肢体特征；以及，所述动作模型网络包括人脸特征提取模型、肢体特征提取模型、特征序列生成模型以及动作识别模型，所述特征序列生成模型的输入分别与所述人脸特征提取模型的输出及肢体特征提取模型的输出耦合，所述动作识别模型的输入与所述特征序列生成模型的输出耦合；所述人脸特征提取模型用于提取所述第一人体图像对应的人脸特征；所述肢体特征提取模型用于提取所述第一人体图像对应的肢体特征；所述特征序列生成模型用于根据所述第一人体图像对应的所述人脸特征、所述肢体特征以及所述N张第二人体图像对应的人体特征，生成人体特征序列；所述动作识别模型用于根据所述人体特征序列，识别出所述动作数据；
在机器人上展现所述动作数据。
可选地，所述动作模型网络是根据多组历史人体图像、以及与每组历史人体图像一一对应的历史动作数据训练得到的，其中，每组历史人体图像包括连续的N+1个历史时刻中每一历史时刻对应的人体图像。
可选地，所述人脸特征提取模型包括人脸区域提取模型和人脸特征识别模型，所述人脸区域提取模型用于提取所述第一人体图像中的人脸区域图像；所述人脸特征识别模型的输入与所述人脸区域提取模型的输出耦合，用于根据所述人脸区域图像，识别出所述第一人体图像对应的所述人脸特征；
所述肢体特征提取模型包括肢体区域提取模型和肢体特征识别模型，所述肢体区域提取模型用于提取所述第一人体图像中的肢体区域图像；所述肢体特征识别模型的输入与所述肢体区域提取模型的输出耦合，用于根据所述肢体区域图像，识别出所述第一人体图像对应的所述肢体特征。
可选地，所述特征序列生成模型包括第一生成子模型和第二生成子模块；
所述第一生成子模型用于根据所述第一人体图像对应的所述人脸特征、以及所述N张第二人体图像对应的人脸特征，生成人脸特征序列；
所述第二生成子模块用于根据所述第一人体图像对应的所述肢体特征、以及所述N张第二人体图像对应的肢体特征，生成肢体特征序列，其中，所述人体特征序列包括人脸特征序列和肢体特征序列。
可选地，在所述人脸特征提取模型提取所述第一人体图像对应的人脸特征之后，所述方法还包括：
存储所述人脸特征提取模型提取的所述第一人体图像对应的人脸特征；
在所述肢体特征提取模型提取所述第一人体图像对应的肢体特征之后，所述方法还包括：
存储所述肢体特征提取模型提取的所述第一人体图像对应的肢体特征。
可选地，所述动作数据包括面部动作数据和肢体动作数据，所述在机器人上展现所述动作数据，包括：
根据所述面部动作数据，控制所述机器人的面部表情；
根据所述肢体动作数据，控制所述机器人的肢体动作。
根据本公开的第二方面，提供一种人机交互装置，所述装置包括：
第一获取模块，用于获取摄像头在第一时刻拍摄的第一人体图像；
第二获取模块，用于将存储的N张第二人体图像对应的人体特征和所述第一人体图像输入至动作模型网络，获得所述动作模型网络输出的动作数据，其中，N为正整数，所述N张第二人体图像为所述摄像头分别在所述第一时刻的前N个时刻拍摄的人体图像，所述前N个时刻与所述第一时刻为连续的；所述人体特征包括人脸特征和肢体特征；以及，所述动作模型网络包括人脸特征提取模型、肢体特征提取模型、特征序列生成模型以及动作识别模型，所述特征序列生成模型的输入分别与所述人脸特征提取模型的输出及肢体特征提取模型的输出耦合，所述动作识别模型的输入与所述特征序列生成模型的输出耦合；所述人脸特征提取模型用于提取所述第一人体图像对应的人脸特征；所述肢体特征提取模型用于提取所述第一人体图像对应的肢体特征；所述特征序列生成模型用于根据所述第一人体图像对应的所述人脸特征、所述肢体特征以及所述N张第二人体图像对应的人体特征，生成人体特征序列；所述动作识别模型用于根据所述人体特征序列，识别出所述动作数据；
展示模块，用于在机器人上展现所述动作数据。
可选地，所述动作模型网络是根据多组历史人体图像、以及与每组历史人体图像一一对应的历史动作数据训练得到的，其中，每组历史人体图像包括连续的N+1个历史时刻中每一历史时刻对应的人体图像。
可选地，所述人脸特征提取模型包括人脸区域提取模型和人脸特征识别模型，所述人脸区域提取模型用于提取所述第一人体图像中的人脸区域图像；所述人脸特征识别模型的输入与所述人脸区域提取模型的输出耦合，用于根据所述人脸区域图像，识别出所述第一人体图像对应的所述人脸特征；
所述肢体特征提取模型包括肢体区域提取模型和肢体特征识别模型，所述肢体区域提取模型用于提取所述第一人体图像中的肢体区域图像；所述肢体特征识别模型的输入与所述肢体区域提取模型的输出耦合，用于根据所述肢体区域图像，识别出所述第一人体图像对应的所述肢体特征。
可选地，所述特征序列生成模型包括第一生成子模型和第二生成子模块；
所述第一生成子模型用于根据所述第一人体图像对应的所述人脸特征、以及所述N张第二人体图像对应的人脸特征，生成人脸特征序列；
所述第二生成子模块用于根据所述第一人体图像对应的所述肢体特征、以及所述N张第二人体图像对应的肢体特征，生成肢体特征序列，其中，所述人体特征序列包括人脸特征序列和肢体特征序列。
可选地，所述装置还包括：
第一存储模块，用于在所述人脸特征提取模型提取所述第一人体图像对应的人脸特征之后，存储所述人脸特征提取模型提取的所述第一人体图像对应的人脸特征；
第二存储模块，用于在所述肢体特征提取模型提取所述第一人体图像对应的肢体特征之后，存储所述肢体特征提取模型提取的所述第一人体图像对应的肢体特征。
可选地，所述动作数据包括面部动作数据和肢体动作数据，所述展示模块包括：
第一控制子模块，用于根据所述面部动作数据，控制所述机器人的面部表情；
第二控制子模块，用于根据所述肢体动作数据，控制所述机器人的肢体动作。
根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面任一所述方法的步骤。
根据本公开的第四方面，提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以上述第一方面任一所述方法的步骤。
在上述技术方案中，获取拍摄的人体图像，并从该人体图像中提取人脸特征和肢体特征，从而可以对人体图像进行全面的特征提取；将该人脸特征、肢体特征和历史的人体特征形成特征序列，进而可以根据该特征序列确定对应的动作数据，以由机器人进行展示。通过上述技术方案，一方面可以基于多帧图像之间的关联性，并综合考虑人脸特征和肢体特征形成特征序列，从而为后续的动作识别提供准确的数据支持。另一方面，通过生成特征序列的方式，也可以使得本公开提供的人机交互方法的使用范围更广。另外，也可以有效提高人机交互的多样性，提升人机交互的舒适度和用户使用体验。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据本公开的一种实施方式提供的人机交互方法的流程图。
图2是动作模型网络的示意图。
图3是根据本公开的一种实施方式提供的人机交互装置的框图。
图4是根据一示例性实施例示出的一种电子设备的框图。
图5是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
图1所示，为根据本公开的一种实施方式提供的人机交互方法的流程图。如图1所示，所述方法包括：
在S11中，获取摄像头在第一时刻拍摄的第一人体图像。
其中，人体图像为获得的包含用户人体区域的图像。在一实施例中，该方法可以应用于机器人设备，则该摄像头可以是安装在该机器人设备上的，在其拍摄到人体图像时，可以将该人体图像发送至机器人的处理器进行处理。在另一实施例中，该方法可以应用于虚拟机器人终端，如显示屏上的虚拟机器人，则摄像头可以是安装在终端上的。在另一实施例中，该方法可以应用于服务器，则在摄像头拍摄到人体图像时，将该人体图像发送至服务器进行后续处理。
在S12中，将存储的N张第二人体图像对应的人体特征和第一人体图像输入至动作模型网络，获得动作模型网络输出的动作数据，其中，所述人体特征包括人脸特征和肢体特征，N为正整数，所述N张第二人体图像为所述摄像头分别在所述第一时刻的前N个时刻拍摄的人体图像，所述前N个时刻与所述第一时刻为连续的。示例地，N为4，第一时刻为16，则前N个时刻即分别为12-15时刻。
示例地，如图2所示，所述动作模型网络10包括人脸特征提取模型101、肢体特征提取模型102、特征序列生成模型103以及动作识别模型104，所述特征序列生成模型103的输入分别与所述人脸特征提取模型101的输出及肢体特征提取模型102的输出耦合，所述动作识别模型104的输入与所述特征序列生成模型103的输出耦合。所述人脸特征提取模型101用于提取所述第一人体图像对应的人脸特征；所述肢体特征提取模型102用于提取所述第一人体图像对应的肢体特征；所述特征序列生成模型103用于根据所述第一人体图像对应的所述人脸特征、所述肢体特征以及所述N张第二人体图像对应的人体特征，生成人体特征序列；所述动作识别模型104用于根据所述人体特征序列，识别出所述动作数据。
可选地，所述动作模型网络是根据多组历史人体图像、以及与每组历史人体图像一一对应的历史动作数据训练得到的，其中，每组历史人体图像包括连续的N+1个历史时刻中每一历史时刻对应的人体图像。
示例地，N为3，则通过上述可知，1、2、3、4时刻对应的人体图像可以为一组历史人体图像，以保证历史人体图像之间的连续性。示例地，该动作模型网络包含的多个模型可以同时进行训练，该动作模型网络的训练方式如下：
将其中一组历史人体图像输入该动作模型网络，通过人脸特征提取模型提取出该组中各个历史人体图像对应的人脸特征，并通过肢体特征提取模型提取出该组中各个历史人体图像对应的肢体特征；从而特征序列生成模型可以根据各个历史人体图像对应的人脸特征和肢体特征生成人体特征序列。在训练该动作网络模型时，将动作识别模型的输入替换为与该组历史人体图像对应的历史动作数据，并通过动作模型网络的损失值更新该动作模型网络，从而实现对人脸特征提取模型、肢体特征提取模型以及特征序列生成模型和动作识别模型的参数更新。示例地，该动作模型网络的损失值可以是该动作识别模型的输出与该组历史人体图像对应的历史动作数据之间的损失值。之后通过重新输入多组的历史人体图像及其对应的历史动作数据对该动作模型网络进行迭代更新，直至该动作模型网络的损失值小于预设阈值或迭代次数达到预设次数，完成该动作模型网络的训练。
因此，通过上述多组历史人体图像、以及与每组历史人体图像一一对应的历史动作数据等训练数据，可以对动作模型网络进行训练。并且，通过动作模型网络的损失值更新人脸特征提取模型、肢体特征提取模型和特征序列生成模型的参数，也可以进一步保证特征提取和特征序列生成的准确度，提升动作网络模型输出结果的准确度，保证用户使用体验。
在确定出动作数据之后，在S13中，在机器人上展现动作数据。
在上述技术方案中，获取拍摄的人体图像，并从该人体图像中提取人脸特征和肢体特征，从而可以对人体图像进行全面的特征提取；将该人脸特征、肢体特征和历史的人体特征形成特征序列，进而可以根据该特征序列确定对应的动作数据，以由机器人进行展示。通过上述技术方案，一方面可以基于多帧图像之间的关联性，并综合考虑人脸特征和肢体特征形成特征序列，从而为后续的动作识别提供准确的数据支持。另一方面，通过生成特征序列的方式，也可以使得本公开提供的人机交互方法的使用范围更广。另外，也可以有效提高人机交互的多样性，提升人机交互的舒适度和用户使用体验。
可选地，所述人脸特征提取模型包括人脸区域提取模型和人脸特征识别模型，所述人脸区域提取模型用于提取所述第一人体图像中的人脸区域图像；所述人脸特征识别模型的输入与所述人脸区域提取模型的输出耦合，用于根据所述人脸区域图像，识别出所述第一人体图像对应的所述人脸特征；
所述肢体特征提取模型包括肢体区域提取模型和肢体特征识别模型，所述肢体区域提取模型用于提取所述第一人体图像中的肢体区域图像；所述肢体特征识别模型的输入与所述肢体区域提取模型的输出耦合，用于根据所述肢体区域图像，识别出所述第一人体图像对应的所述肢体特征。
在该实施例中，通过先提取人脸区域图像及肢体区域图像，可以有效避免其他区域对特征提取的干扰。并通过将人脸区域图像和肢体区域图像分别提取，也可以有效保证人体特征提取的全面性和准确性。之后，再从人脸区域图像中识别出所述第一人体图像对应的所述人脸特征，从肢体区域图像中识别出所述第一人体图像对应的所述肢体特征，一方面可以有效减少提取人脸特征和肢体特征时所需要的数据计算量，另一方面也可以有效保证特征提取的准确性，进而可以提高动作模型网络的准确性。
可选地，在一实施例中，所述特征序列生成模型用于根据所述第一人体图像对应的所述人脸特征、所述肢体特征以及所述N张第二人体图像对应的人体特征，生成人体特征序列，可以包括：
将第一人体图像对应的人脸特征和肢体特征进行拼接，形成人体特征，并根据第一人体图像对应的人体特征与N张第二人体图像对应的人体特征，生成人体特征序列。
可选地，在另一实施例中，所述特征序列生成模型包括第一生成子模型和第二生成子模块；
所述第一生成子模型用于根据所述第一人体图像对应的所述人脸特征、以及所述N张第二人体图像对应的人脸特征，生成人脸特征序列；
所述第二生成子模块用于根据所述第一人体图像对应的所述肢体特征、以及所述N张第二人体图像对应的肢体特征，生成肢体特征序列，其中，所述人体特征序列包括人脸特征序列和肢体特征序列。
在该实施例中，特征序列生成模型分别生成人脸特征序列和肢体特征序列。其中，人脸特征序列可以更准确地表征用户的面部动作情况，肢体特征序列可以更准确地表征用户的肢体动作情况，从而可以通过对用户进行人机交互时的面部表情和肢体动作进行解析，更加准确地分析用户意图，为后续动作识别模型提供数据支持，保证动作识别模型输出的动作数据与用户进行人机交互的意图更加贴合，提高人机交互的现实性和多样性。
可选地，在所述人脸特征提取模型提取所述第一人体图像对应的人脸特征之后，所述方法还包括：
存储所述人脸特征提取模型提取的所述第一人体图像对应的人脸特征；
在所述肢体特征提取模型提取所述第一人体图像对应的肢体特征之后，所述方法还包括：
存储所述肢体特征提取模型提取的所述第一人体图像对应的肢体特征。
以下以人脸特征为例进行详细说明。示例地，可以根据N的取值确定人脸特征的存储。示例地，可以直接将该第一图像对应的人脸特征进行存储，并定期更新存储的人脸特征，更新的方式可以是只保留距离当前时刻的最近N个时刻对应的人脸特征，从而可以降低数据存储量。在另一实施例中，若当前已存储的人脸特征不足N个，则可以直接存储该第一人体图像对应的人脸特征。若当前存储的人脸特征为N个，则存储该第一人体图像对应的人脸特征，并删除对应最早时刻的人脸特征，从而保证存储的均为距离当前时刻最近的N个时刻对应的人脸特征，既可以保证人脸特征的连续性，也可以有效降低数据存储量。需要进行说明的是，存储肢体特征的方式与存储人脸特征的方式类似，在此不再赘述。
通过上述技术方案，存储人脸特征提取模型提取的第一人体图像对应的人脸特征，以及肢体特征提取模型提取的第一人体图像对应的肢体特征，可以为生成特征序列提供准确的数据支持，并且可以保证数据的处理效率。
可选地，所述动作数据包括面部动作数据和肢体动作数据，所述在机器人上展现所述动作数据，包括：
根据所述面部动作数据，控制所述机器人的面部表情；
根据所述肢体动作数据，控制所述机器人的肢体动作。
作为示例，根据面部动作数据控制机器人的面部表情的一种示例性实现方式如下，如面部动作数据对应笑脸，肢体动作数据对应左手左右摇摆，则可以控制机器人的面部区域通过显示灯的方式组成显示笑脸，或者是根据面部动作数据对应控制面部的关键点以控制机器人展示该面部表情，并通过控制机器人的肢体关键点以控制机器人左手进行左右摇摆。
作为另一示例，也可以根据面部动作数据，控制机器人输出对应的表情。在该实施例中，可以根据面部数据，控制机器人输出一个笑脸的表情包或者表情符号。
在另一实施例中，该方法应用于服务器，则服务器可以将动作数据发送至机器人进而控制机器人展现动作数据。其具体实施方式与上文类似，在此不再赘述。
通过上述实施方式，在进行人机交互的时候，机器人可以根据捕捉到的用户人体图像，在与用户进行交互时展示对应的动作数据，使得与用户的交互的应用场景更加现实化和多样化，增强人机交互的舒适度，提升用户使用体验。
本公开还提供一种人机交互装置，如图3所示，所述装置20包括：
第一获取模块201，用于获取摄像头在第一时刻拍摄的第一人体图像；
第二获取模块202，用于将存储的N张第二人体图像对应的人体特征和所述第一人体图像输入至动作模型网络，获得所述动作模型网络输出的动作数据，其中，N为正整数，所述N张第二人体图像为所述摄像头分别在所述第一时刻的前N个时刻拍摄的人体图像，所述前N个时刻与所述第一时刻为连续的；所述人体特征包括人脸特征和肢体特征；以及，所述动作模型网络包括人脸特征提取模型、肢体特征提取模型、特征序列生成模型以及动作识别模型，所述特征序列生成模型的输入分别与所述人脸特征提取模型的输出及肢体特征提取模型的输出耦合，所述动作识别模型的输入与所述特征序列生成模型的输出耦合；所述人脸特征提取模型用于提取所述第一人体图像对应的人脸特征；所述肢体特征提取模型用于提取所述第一人体图像对应的肢体特征；所述特征序列生成模型用于根据所述第一人体图像对应的所述人脸特征、所述肢体特征以及所述N张第二人体图像对应的人体特征，生成人体特征序列；所述动作识别模型用于根据所述人体特征序列，识别出所述动作数据；
展示模块203，用于在机器人上展现所述动作数据。
可选地，所述动作模型网络是根据多组历史人体图像、以及与每组历史人体图像一一对应的历史动作数据训练得到的，其中，每组历史人体图像包括连续的N+1个历史时刻中每一历史时刻对应的人体图像。
可选地，所述人脸特征提取模型包括人脸区域提取模型和人脸特征识别模型，所述人脸区域提取模型用于提取所述第一人体图像中的人脸区域图像；所述人脸特征识别模型的输入与所述人脸区域提取模型的输出耦合，用于根据所述人脸区域图像，识别出所述第一人体图像对应的所述人脸特征；
所述肢体特征提取模型包括肢体区域提取模型和肢体特征识别模型，所述肢体区域提取模型用于提取所述第一人体图像中的肢体区域图像；所述肢体特征识别模型的输入与所述肢体区域提取模型的输出耦合，用于根据所述肢体区域图像，识别出所述第一人体图像对应的所述肢体特征。
可选地，所述特征序列生成模型包括第一生成子模型和第二生成子模块；
所述第一生成子模型用于根据所述第一人体图像对应的所述人脸特征、以及所述N张第二人体图像对应的人脸特征，生成人脸特征序列；
所述第二生成子模块用于根据所述第一人体图像对应的所述肢体特征、以及所述N张第二人体图像对应的肢体特征，生成肢体特征序列，其中，所述人体特征序列包括人脸特征序列和肢体特征序列。
可选地，所述装置还包括：
第一存储模块，用于在所述人脸特征提取模型提取所述第一人体图像对应的人脸特征之后，存储所述人脸特征提取模型提取的所述第一人体图像对应的人脸特征；
第二存储模块，用于在所述肢体特征提取模型提取所述第一人体图像对应的肢体特征之后，存储所述肢体特征提取模型提取的所述第一人体图像对应的肢体特征。
可选地，所述动作数据包括面部动作数据和肢体动作数据，所述展示模块包括：
第一控制子模块，用于根据所述面部动作数据，控制所述机器人的面部表情；
第二控制子模块，用于根据所述肢体动作数据，控制所述机器人的肢体动作。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图4是根据一示例性实施例示出的一种电子设备700的框图。如图4所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705中的一者或多者。
其中，处理器701用于控制该电子设备700的整体操作，以完成上述的人机交互方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的人机交互方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的人机交互方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的人机交互方法。
图5是根据一示例性实施例示出的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。参照图5，电子设备1900包括处理器1922，其数量可以为一个或多个，以及存储器1932，用于存储可由处理器1922执行的计算机程序。存储器1932中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器1922可以被配置为执行该计算机程序，以执行上述的人机交互方法。
另外，电子设备1900还可以包括电源组件1926和通信组件1950，该电源组件1926可以被配置为执行电子设备1900的电源管理，该通信组件1950可以被配置为实现电子设备1900的通信，例如，有线或无线通信。此外，该电子设备1900还可以包括输入/输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如WindowsServerTM，Mac OS XTM，UnixTM，LinuxTM等等。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的人机交互方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器1932，上述程序指令可由电子设备1900的处理器1922执行以完成上述的人机交互方法。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的人机交互方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种人机交互方法，其特征在于，所述方法包括：
获取摄像头在第一时刻拍摄的第一人体图像；
将存储的N张第二人体图像对应的人体特征和所述第一人体图像输入至动作模型网络，获得所述动作模型网络输出的动作数据，其中，N为正整数，所述N张第二人体图像为所述摄像头分别在所述第一时刻的前N个时刻拍摄的人体图像，所述前N个时刻与所述第一时刻为连续的；所述人体特征包括人脸特征和肢体特征；以及，所述动作模型网络包括人脸特征提取模型、肢体特征提取模型、特征序列生成模型以及动作识别模型，所述特征序列生成模型的输入分别与所述人脸特征提取模型的输出及肢体特征提取模型的输出耦合，所述动作识别模型的输入与所述特征序列生成模型的输出耦合；所述人脸特征提取模型用于提取所述第一人体图像对应的人脸特征；所述肢体特征提取模型用于提取所述第一人体图像对应的肢体特征；所述特征序列生成模型用于根据所述第一人体图像对应的所述人脸特征、所述肢体特征以及所述N张第二人体图像对应的人体特征，生成人体特征序列；所述动作识别模型用于根据所述人体特征序列，识别出所述动作数据；
在机器人上展现所述动作数据。
2.根据权利要求1所述的方法，其特征在于，所述动作模型网络是根据多组历史人体图像、以及与每组历史人体图像一一对应的历史动作数据训练得到的，其中，每组历史人体图像包括连续的N+1个历史时刻中每一历史时刻对应的人体图像。
3.根据权利要求1所述的方法，其特征在于，所述人脸特征提取模型包括人脸区域提取模型和人脸特征识别模型，所述人脸区域提取模型用于提取所述第一人体图像中的人脸区域图像；所述人脸特征识别模型的输入与所述人脸区域提取模型的输出耦合，用于根据所述人脸区域图像，识别出所述第一人体图像对应的所述人脸特征；
所述肢体特征提取模型包括肢体区域提取模型和肢体特征识别模型，所述肢体区域提取模型用于提取所述第一人体图像中的肢体区域图像；所述肢体特征识别模型的输入与所述肢体区域提取模型的输出耦合，用于根据所述肢体区域图像，识别出所述第一人体图像对应的所述肢体特征。
4.根据权利要求1所述的方法，其特征在于，所述特征序列生成模型包括第一生成子模型和第二生成子模块；
所述第一生成子模型用于根据所述第一人体图像对应的所述人脸特征、以及所述N张第二人体图像对应的人脸特征，生成人脸特征序列；
所述第二生成子模块用于根据所述第一人体图像对应的所述肢体特征、以及所述N张第二人体图像对应的肢体特征，生成肢体特征序列，其中，所述人体特征序列包括人脸特征序列和肢体特征序列。
5.根据权利要求1所述的方法，其特征在于，在所述人脸特征提取模型提取所述第一人体图像对应的人脸特征之后，所述方法还包括：
存储所述人脸特征提取模型提取的所述第一人体图像对应的人脸特征；
在所述肢体特征提取模型提取所述第一人体图像对应的肢体特征之后，所述方法还包括：
存储所述肢体特征提取模型提取的所述第一人体图像对应的肢体特征。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述动作数据包括面部动作数据和肢体动作数据，所述在机器人上展现所述动作数据，包括：
根据所述面部动作数据，控制所述机器人的面部表情；
根据所述肢体动作数据，控制所述机器人的肢体动作。
7.一种人机交互装置，其特征在于，所述装置包括：
第一获取模块，用于获取摄像头在第一时刻拍摄的第一人体图像；
第二获取模块，用于将存储的N张第二人体图像对应的人体特征和所述第一人体图像输入至动作模型网络，获得所述动作模型网络输出的动作数据，其中，N为正整数，所述N张第二人体图像为所述摄像头分别在所述第一时刻的前N个时刻拍摄的人体图像，所述前N个时刻与所述第一时刻为连续的；所述人体特征包括人脸特征和肢体特征；以及，所述动作模型网络包括人脸特征提取模型、肢体特征提取模型、特征序列生成模型以及动作识别模型，所述特征序列生成模型的输入分别与所述人脸特征提取模型的输出及肢体特征提取模型的输出耦合，所述动作识别模型的输入与所述特征序列生成模型的输出耦合；所述人脸特征提取模型用于提取所述第一人体图像对应的人脸特征；所述肢体特征提取模型用于提取所述第一人体图像对应的肢体特征；所述特征序列生成模型用于根据所述第一人体图像对应的所述人脸特征、所述肢体特征以及所述N张第二人体图像对应的人体特征，生成人体特征序列；所述动作识别模型用于根据所述人体特征序列，识别出所述动作数据；
展示模块，用于在机器人上展现所述动作数据。
8.根据权利要求7所述的装置，其特征在于，所述动作模型网络是根据多组历史人体图像、以及与每组历史人体图像一一对应的历史动作数据训练得到的，其中，每组历史人体图像包括连续的N+1个历史时刻中每一历史时刻对应的人体图像。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-6中任一项所述方法的步骤。
CN201910532868.9A 2019-06-19 2019-06-19 人机交互方法、装置、存储介质及电子设备 Active CN110347246B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910532868.9A CN110347246B (zh) 2019-06-19 2019-06-19 人机交互方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910532868.9A CN110347246B (zh) 2019-06-19 2019-06-19 人机交互方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN110347246A true CN110347246A (zh) 2019-10-18
CN110347246B CN110347246B (zh) 2023-07-18

Family

ID=68182470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910532868.9A Active CN110347246B (zh) 2019-06-19 2019-06-19 人机交互方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN110347246B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021185317A1 (zh) * 2020-03-19 2021-09-23 北京市商汤科技开发有限公司 动作识别方法及装置、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877056A (zh) * 2009-12-21 2010-11-03 北京中星微电子有限公司 人脸表情识别方法及系统、表情分类器的训练方法及系统
EP2654299A2 (en) * 2012-04-18 2013-10-23 ViXS Systems Inc. Video processing system with pattern detection and methods for use therewith
CN107707839A (zh) * 2017-09-11 2018-02-16 广东欧珀移动通信有限公司 图像处理方法及装置
CN109325450A (zh) * 2018-09-25 2019-02-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN109886190A (zh) * 2019-02-20 2019-06-14 哈尔滨工程大学 一种基于深度学习的人脸表情和姿态双模态融合表情识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877056A (zh) * 2009-12-21 2010-11-03 北京中星微电子有限公司 人脸表情识别方法及系统、表情分类器的训练方法及系统
EP2654299A2 (en) * 2012-04-18 2013-10-23 ViXS Systems Inc. Video processing system with pattern detection and methods for use therewith
CN107707839A (zh) * 2017-09-11 2018-02-16 广东欧珀移动通信有限公司 图像处理方法及装置
CN109325450A (zh) * 2018-09-25 2019-02-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN109886190A (zh) * 2019-02-20 2019-06-14 哈尔滨工程大学 一种基于深度学习的人脸表情和姿态双模态融合表情识别方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021185317A1 (zh) * 2020-03-19 2021-09-23 北京市商汤科技开发有限公司 动作识别方法及装置、存储介质

Also Published As

Publication number Publication date
CN110347246B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN109919888B (zh) 一种图像融合的方法、模型训练的方法以及相关装置
CN110531860B (zh) 一种基于人工智能的动画形象驱动方法和装置
CN108076224A (zh) 应用程序控制方法、装置及存储介质和移动终端
CN109091869A (zh) 虚拟对象的动作控制方法、装置、计算机设备及存储介质
CN105979035B (zh) 一种增强现实ar图像处理方法、装置及智能终端
CN110349232B (zh) 图像的生成方法、装置、存储介质和电子设备
JP2021514497A (ja) 顔部認識方法及び装置、電子機器並びに記憶媒体
CN108702480A (zh) 电子设备和用于驱动其显示器的方法
CN110909815B (zh) 神经网络训练、图像处理方法、装置及电子设备
CN110224901A (zh) 智能设备交互方法、装置和存储介质
CN108525305A (zh) 图像处理方法、装置、存储介质及电子设备
CN102938815A (zh) 手机情景模式切换方法及系统
CN107330418B (zh) 一种机器人系统
CN105429969A (zh) 一种用户身份验证方法与设备
CN111368796A (zh) 人脸图像的处理方法、装置、电子设备及存储介质
CN108460324A (zh) 一种用于识别幼儿情绪的方法
CN109145809A (zh) 一种记谱处理方法和装置以及计算机可读存储介质
CN109753910A (zh) 关键点提取方法、模型的训练方法、装置、介质及设备
EP4287068A1 (en) Model training method, scene recognition method, and related device
CN107231476A (zh) 移动终端及其情景模式设置方法、装置
JP2023508062A (ja) 対話モデルの訓練方法、装置、コンピュータ機器及びプログラム
CN109657539A (zh) 人脸颜值评价方法、装置、可读存储介质及电子设备
CN110349577A (zh) 人机交互方法、装置、存储介质及电子设备
CN105933689A (zh) 图像处理方法和支持该方法的电子设备
CN110347246A (zh) 人机交互方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210302

Address after: 201111 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant after: Dalu Robot Co.,Ltd.

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant before: CLOUDMINDS (SHENZHEN) ROBOTICS SYSTEMS Co.,Ltd.

TA01 Transfer of patent application right
CB02 Change of applicant information

Address after: 201111 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Applicant after: Dayu robot Co.,Ltd.

Address before: 201111 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant before: Dalu Robot Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant