CN106462384A - 基于多模态的智能机器人交互方法和智能机器人 - Google Patents

基于多模态的智能机器人交互方法和智能机器人 Download PDF

Info

Publication number
CN106462384A
CN106462384A CN201680001734.9A CN201680001734A CN106462384A CN 106462384 A CN106462384 A CN 106462384A CN 201680001734 A CN201680001734 A CN 201680001734A CN 106462384 A CN106462384 A CN 106462384A
Authority
CN
China
Prior art keywords
user
robot
illustrative plates
expression
described user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680001734.9A
Other languages
English (en)
Other versions
CN106462384B (zh
Inventor
杨新宇
王昊奋
邱楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Dogweed Intelligent Technology Co Ltd
Original Assignee
Shenzhen Green Bristlegrass Intelligence Science And Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Green Bristlegrass Intelligence Science And Technology Ltd filed Critical Shenzhen Green Bristlegrass Intelligence Science And Technology Ltd
Publication of CN106462384A publication Critical patent/CN106462384A/zh
Application granted granted Critical
Publication of CN106462384B publication Critical patent/CN106462384B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/04—Training, enrolment or model building

Abstract

本发明公开了一种基于多模态的智能机器人交互方法，包括：启动人脸识别和/或声纹识别，调取与用户对应的用户知识图谱；获取所述用户的用户参数，根据所述用户参数来实时更新所述用户知识图谱；根据更新后的所述用户知识图谱，修改机器人的参数设置；所述机器人根据修改后的所述参数设置与所述用户进行人机交互。本发明能够大大促进人机交互过程中的趣味性，机器人的用户知识图谱不单是制造商提前设定的，而是能够在与用户的交流过程中，有意识地去记录并体现在反馈中，而在交互过程中，使得机器人的反馈更加贴近用户的实时状态。

Description

基于多模态的智能机器人交互方法和智能机器人
技术领域
本发明涉及智能机器人技术领域，尤其涉及一种基于多模态的智能机器人交互方法和智能机器人。
背景技术
随着社会的进步，机器人不仅在工业、医学、农业或者军事上应用广泛，更是在生活上开始慢慢地融入人类的社交。常见社交上的机器人应用于活动现场或者家庭，特别是在活动现场，机器人的交互往往能吸引群众的关注和兴趣。
目前，市面上的机器人多数都只是提供简单的人机交互，并未存储有与用户相关的用户知识图谱，因而无法根据用户的信息输入来修改用户知识图谱中的用户信息，因此无法表现出多样性的反馈。
发明内容
本发明的目的在于提供一种基于多模态的智能机器人交互方法和智能机器人以使得机器人能够通过图像识别和语音识别捕获大量用户信息，从而在交互过程中，使得机器人的反馈更加贴近用户的实时状态。
本发明为了解决上述技术问题，采用的技术方案是：一种基于多模态的智能机器人交互方法，包括：
步骤S1：启动人脸识别和/或声纹识别，调取与用户对应的用户知识图谱；
步骤S2：获取所述用户的用户参数，根据所述用户参数来实时更新所述用户知识图谱；
步骤S3：根据更新后的所述用户知识图谱，修改机器人的参数设置；以及
步骤S4：所述机器人根据修改后的所述参数设置与所述用户进行人机交互。
优选地，还包括：
步骤S5：在所述人机交互过程中，所述机器人根据实时捕获的所述用户的用户当前状态信息进行反馈。
优选地，所述步骤S1包括：
启动人脸识别和/或声纹识别，获取用户照片和/或声纹；
将所述用户照片和/或声纹与用户信息库进行匹配；以及
根据匹配结果，调取所述用户的所述用户知识图谱。
优选地，所述用户参数包括所述用户的用户表情，在所述步骤S2中根据所述用户表情来实时更新所述用户知识图谱中的心情值，所述步骤S3中，利用所述心情值来修正所述机器人的说话语气算法。
优选地，通过表情识别单元识别用户照片来获取所述用户表情。
优选地，通过多模态转换单元和表情推测单元将所述用户的多模态输入信息转换为文字信息来推测所述用户表情。
优选地，所述用户参数包括所述用户的当前场景，所述步骤S2中根据所述当前场景来实时更新所述用户知识图谱中的用户状态，所述步骤S3中，利用所述用户状态来修正所述机器人的问候算法。
本发明还提供一种智能机器人，包括：
识别模块，用于启动人脸识别和/或声纹识别，调取与用户对应的用户知识图谱；
用户参数获取模块，用于获取所述用户的用户参数；
更新模块，用于根据所述用户参数来实时更新所述用户知识图谱；
修正模块，用于根据更新后的所述用户知识图谱，修改机器人的参数设置；以及
交互模块，用于所述机器人根据修改后的所述参数设置与所述用户进行人机交互。
优选地，在所述人机交互过程中，所述交互模块还根据实时捕获的所述用户的用户当前状态信息进行反馈。
优选地，所述识别模块包括：
摄像头，用于获取用户照片；
声纹识别单元，用于获取用户的声纹；
用户信息库，用于存储所述用户的所述用户知识图谱；以及
匹配单元，用于将所述用户照片与实时用户信息库进行匹配，并根据匹配结果，调取所述用户的所述用户知识图谱。
优选地，所述用户参数包括所述用户的用户表情，所述更新模块根据所述用户表情来实时更新所述用户知识图谱的心情值，所述修正模块利用所述心情值来修正所述机器人的说话语气算法。
优选地，所述用户参数获取模块包括表情识别单元，通过所述表情识别单元识别用户照片来获取所述用户表情。
优选地，所述用户参数获取模块包括多模态转换单元和表情推测单元，通过所述多模态转换单元将所述用户的多模态输入信息转换为文字信息，通过所述表情推测单元来根据所述文字信息来推测所述用户表情。
优选地，所述用户参数包括所述用户的当前场景，所述用户参数获取模块包括用于识别所述当前场景的场景识别单元，所述更新模块根据所述当前场景来实时更新所述用户知识图谱的用户状态，所述修正模块利用所述用户状态来修正所述机器人的问候算法。
实施本发明实施例，具有如下有益效果：本发明提供的基于多模态的智能机器人交互方法，通过人脸识别和/或声纹识别调取与用户对应的用户知识图谱，再通过表情识别、场景识别和语音识别来获取用户参数，根据用户参数来实时更新用户知识图谱，进而修改机器人的参数设置，使得机器人根据修改后的参数设置于用户进行人机交互；在之后的人机交互中，机器人还可以根据用户的用户当前状态信息进行推理和反馈，由此，能够大大促进人机交互过程中的趣味性，机器人的用户知识图谱不单是制造商提前设定的，而是能够在与用户的交流过程中，有意识地去记录并体现在反馈中，而在交互过程中，使得机器人的反馈更加贴近用户的实时状态。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的基于多模态的智能机器人交互方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明一实施例提供的基于多模态的智能机器人交互方法的流程图。如图1所示，基于多模态的智能机器人交互方法包括以下步骤：
步骤S1：启动人脸识别和/或声纹识别，调取与用户对应的用户知识图谱。
具体地，在本发明一实施例中，机器人首先使用自带的摄像头或语音识别单元，捕获当前使用用户的照片或声音，根据用户的照片或声音，从用户信息库调取与用户相匹配的用户知识图谱，该用户知识图谱存储有与该用户对应的参数设置，例如，用户偏好的音乐、喜欢的语调等。
具体地，在本发明一实施例中，步骤S1包括以下步骤：
步骤S11：启动人脸识别和/或声纹识别，获取用户照片和/或声纹；
步骤S12：将所述用户照片和/或声纹与用户信息库进行匹配；
步骤S13：根据匹配结果，调取所述用户的所述用户知识图谱。
步骤S2：获取所述用户的用户参数，根据所述用户参数来实时更新所述用户知识图谱。
具体地，在本发明一实施例中，在调取了与用户对应的用户知识图谱后，进一步来获取与用户当前信息相关的用户参数，例如，用户是何种表情、说话的语气如何、处于什么样的环境中等，根据获取的用户参数来实时更新用户知识图谱中的相关信息。
步骤S3：根据更新后的所述用户知识图谱，修改机器人的参数设置。
具体地，在本发明一实施例中，在用户知识图谱被更新后，利用更新后的用户知识图谱去修改机器人的参数设置，这样机器人就可以利用与用户当前信息相关的内容来提供更具有针对性的反馈，而不是根据制造商提前设置后的参数进行千篇一律的反馈。由此，大大提高了人机交互的趣味性。
进一步地，所述用户参数包括所述用户的用户表情，在所述步骤S2中根据所述用户表情来实时更新所述用户知识图谱中的心情值，所述步骤S3中，利用所述心情值来修正所述机器人的说话语气算法。其中，可以通过表情识别单元识别用户照片来推测所述用户表情；还可以通过多模态转换单元和表情推测单元将所述用户的多模态输入信息转换为文字信息来推测所述用户表情，多模态输入包括但不限于，视频、人脸、表情、场景、声纹、指纹、虹膜瞳孔、光感等信息。具体地，在捕获用户照片的同时，机器人还能识别到用户的表情，实时更新用户知识图谱中的心情值，并通过对心情值的读取，作为用户参数，加入到机器人说话语气的算法中；同时，通过对心情的推理，在交互中过程体现出多样性，比如主人表情为难过，机器人的反馈会更加偏向安慰，随机播放的音乐，会偏向轻柔的风格。在人际交互的过程中，用户的多模态输入信息也能实时影响用户知识图谱，比如，用户说，我好高兴啊，知识图谱就会实时更新当前是的心情值；而知识图谱的实时更新，也会实时影响到接下来的人机交互。
进一步地，所述用户参数包括所述用户的当前场景，所述步骤S2中根据所述当前场景来实时更新所述用户知识图谱中的用户状态，所述步骤S3中，利用所述用户状态来修正所述机器人的问候算法。在捕获用户照片的同时，机器人还能识别到用户当前的场景，比如室内，户外，餐厅等，实时更新用户知识图谱中的状态，并通过对状态的读取，作为用户参数，加入到机器人问候的输出算法中；比如在工作场景，机器人会对主人主动提出关怀。
步骤S4：所述机器人根据修改后的所述参数设置与所述用户进行人机交互。
步骤S5：在所述人机交互过程中，所述机器人根据实时捕获的所述用户的用户当前状态信息进行反馈。
具体地，用户当前状态信息包括但不限于语言信息、表情、语气、穿着、姿态等。在与用户的交互过程中，机器人实时捕获用户包括姓名，爱好，天气等的信息，存储在私有的用户知识图谱中，并形成一些推理，体现在反馈中。比如，用户先说“我最喜欢打篮球”，后面又说“我最喜欢踢足球”，机器人就会反馈“不是最喜欢打篮球吗？”。也就是说，并不是只能在最初摄像头开启的时候捕获用户参数，在交互的过程中，也是能够实时捕获一些语言信息的，根据这些用户当前状态信息，结合用户知识图谱中的相关信息，机器人可以呈现多样性的反馈。
本发明提供的基于多模态的智能机器人交互方法，通过人脸识别或声纹识别调取与用户对应的用户知识图谱，再通过表情识别、场景识别和语音识别来获取用户参数，根据用户参数来实时更新用户知识图谱，进而修改机器人的参数设置，使得机器人根据修改后的参数设置于用户进行人机交互；由此，能够大大促进人机交互过程中的趣味性，机器人的用户知识图谱不单是制造商提前设定的，而是能够在与用户的交流过程中，有意识地去记录并体现在反馈中，而在交互过程中，使得机器人的反馈更加贴近用户的实时状态。
本发明一实施例还提供的一种智能机器人。本发明提供的智能机器人包括：
识别模块，用于启动人脸识别和/或声纹识别，调取与用户对应的用户知识图谱；
用户参数获取模块，用于获取所述用户的用户参数；
更新模块，用于根据所述用户参数来实时更新所述用户知识图谱；
修正模块，用于根据更新后的所述用户知识图谱，修改机器人的参数设置；以及
交互模块，用于所述机器人根据修改后的所述参数设置与所述用户进行人机交互。在所述人机交互过程中，所述交互模块还根据实时捕获的所述用户的用户当前状态信息进行反馈。
进一步地，所述识别模块包括：
摄像头，用于获取用户照片；
声纹识别单元，用于获取用户的声纹；
用户信息库，用于存储所述用户的所述用户知识图谱；以及
匹配单元，用于将所述用户照片与实时用户信息库进行匹配，并根据匹配结果，调取所述用户的所述用户知识图谱。
进一步地，所述用户参数包括所述用户的用户表情，所述更新模块根据所述用户表情来实时更新所述用户知识图谱的心情值，所述修正模块利用所述心情值来修正所述机器人的说话语气算法。其中，所述用户参数获取模块包括表情识别单元，通过所述表情识别单元识别用户照片来获取所述用户表情；所述用户参数获取模块还包括多模态转换单元和表情推测单元，通过所述多模态转换单元将所述用户的多模态输入信息转换为文字信息，通过所述表情推测单元来根据所述文字信息来推测所述用户表情。
进一步地，所述用户参数包括所述用户的当前场景，所述用户参数获取模块包括用于识别所述当前场景的场景识别单元，所述更新模块根据所述当前场景来实时更新所述用户知识图谱的用户状态，所述修正模块利用所述用户状态来修正所述机器人的问候算法。
有利地，本发明提供的智能机器人，通过人脸识别或声纹识别调取与用户对应的用户知识图谱，再通过表情识别、场景识别和语音识别来获取用户参数，根据用户参数来实时更新用户知识图谱，进而修改机器人的参数设置，使得机器人根据修改后的参数设置于用户进行人机交互；由此，能够大大促进人机交互过程中的趣味性，机器人的用户知识图谱不单是制造商提前设定的，而是能够在与用户的交流过程中，有意识地去记录并体现在反馈中，而在交互过程中，使得机器人的反馈更加贴近用户的实时状态。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (14)

1.一种基于多模态的智能机器人交互方法，其特征在于，包括：
步骤S1：启动人脸识别和/或声纹识别，调取与用户对应的用户知识图谱；
步骤S2：获取所述用户的用户参数，根据所述用户参数来实时更新所述用户知识图谱；
步骤S3：根据更新后的所述用户知识图谱，修改机器人的参数设置；以及
步骤S4：所述机器人根据修改后的所述参数设置与所述用户进行人机交互。
2.根据权利要求1所述的基于多模态的智能机器人交互方法，其特征在于，还包括：
步骤S5：在所述人机交互过程中，所述机器人根据实时捕获的所述用户的用户当前状态信息进行反馈。
3.根据权利要求1所述的基于多模态的智能机器人交互方法，其特征在于，所述步骤S1包括：
启动人脸识别和/或声纹识别，获取用户照片和/或声纹；
将所述用户照片和/或声纹与用户信息库进行匹配；以及
根据匹配结果，调取所述用户的所述用户知识图谱。
4.根据权利要求1所述的基于多模态的智能机器人交互方法，其特征在于，所述用户参数包括所述用户的用户表情，在所述步骤S2中根据所述用户表情来实时更新所述用户知识图谱中的心情值，所述步骤S3中，利用所述心情值来修正所述机器人的说话语气算法。
5.根据权利要求4所述的基于多模态的智能机器人交互方法，其特征在于，通过表情识别单元识别用户照片来获取所述用户表情。
6.根据权利要求4所述的基于多模态的智能机器人交互方法，其特征在于，通过多模态转换单元和表情推测单元将所述用户的多模态输入信息转换为文字信息来推测所述用户表情。
7.根据权利要求1所述的基于多模态的智能机器人交互方法，其特征在于，所述用户参数包括所述用户的当前场景，所述步骤S2中根据所述当前场景来实时更新所述用户知识图谱中的用户状态，所述步骤S3中，利用所述用户状态来修正所述机器人的问候算法。
8.一种智能机器人，其特征在于，包括：
识别模块，用于启动人脸识别和/或声纹识别，调取与用户对应的用户知识图谱；
用户参数获取模块，用于获取所述用户的用户参数；
更新模块，用于根据所述用户参数来实时更新所述用户知识图谱；
修正模块，用于根据更新后的所述用户知识图谱，修改机器人的参数设置；以及
交互模块，用于所述机器人根据修改后的所述参数设置与所述用户进行人机交互。
9.根据权利要求8所述的智能机器人，其特征在于，在所述人机交互过程中，所述交互模块还根据实时捕获的所述用户的用户当前状态信息进行反馈。
10.根据权利要求8所述的智能机器人，其特征在于，所述识别模块包括：
摄像头，用于获取用户照片；
声纹识别单元，用于获取用户的声纹；
用户信息库，用于存储所述用户的所述用户知识图谱；以及
匹配单元，用于将所述用户照片与实时用户信息库进行匹配，并根据匹配结果，调取所述用户的所述用户知识图谱。
11.根据权利要求8所述的智能机器人，其特征在于，所述用户参数包括所述用户的用户表情，所述更新模块根据所述用户表情来实时更新所述用户知识图谱的心情值，所述修正模块利用所述心情值来修正所述机器人的说话语气算法。
12.根据权利要求11所述的智能机器人，其特征在于，所述用户参数获取模块包括表情识别单元，通过所述表情识别单元识别用户照片来获取所述用户表情。
13.根据权利要求11所述的智能机器人，其特征在于，所述用户参数获取模块包括多模态转换单元和表情推测单元，通过所述多模态转换单元将所述用户的多模态输入信息转换为文字信息，通过所述表情推测单元来根据所述文字信息推测所述用户表情。
14.根据权利要求6所述的智能机器人，其特征在于，所述用户参数包括所述用户的当前场景，所述用户参数获取模块包括用于识别所述当前场景的场景识别单元，所述更新模块根据所述当前场景来实时更新所述用户知识图谱的用户状态，所述修正模块利用所述用户状态来修正所述机器人的问候算法。
CN201680001734.9A 2016-06-29 2016-06-29 基于多模态的智能机器人交互方法和智能机器人 Expired - Fee Related CN106462384B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/087772 WO2018000280A1 (zh) 2016-06-29 2016-06-29 基于多模态的智能机器人交互方法和智能机器人

Publications (2)

Publication Number Publication Date
CN106462384A true CN106462384A (zh) 2017-02-22
CN106462384B CN106462384B (zh) 2019-05-31

Family

ID=58215744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680001734.9A Expired - Fee Related CN106462384B (zh) 2016-06-29 2016-06-29 基于多模态的智能机器人交互方法和智能机器人

Country Status (2)

Country Link
CN (1) CN106462384B (zh)
WO (1) WO2018000280A1 (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106959839A (zh) * 2017-03-22 2017-07-18 北京光年无限科技有限公司 一种人机交互装置及方法
CN107243905A (zh) * 2017-06-28 2017-10-13 重庆柚瓣科技有限公司 基于养老机器人的情绪自适应系统
CN107808145A (zh) * 2017-11-13 2018-03-16 河南大学 基于多模态智能机器人的交互身份鉴别与跟踪方法及系统
CN108320021A (zh) * 2018-01-23 2018-07-24 深圳狗尾草智能科技有限公司 机器人动作与表情确定方法、展示合成方法、装置
CN108345692A (zh) * 2018-03-16 2018-07-31 北京京东尚科信息技术有限公司 一种自动问答方法和系统
CN108537321A (zh) * 2018-03-20 2018-09-14 北京智能管家科技有限公司 一种机器人教学方法、装置、服务器和存储介质
CN108877336A (zh) * 2018-03-26 2018-11-23 深圳市波心幻海科技有限公司 基于增强现实技术的教学方法、云服务平台和教学系统
CN109034364A (zh) * 2018-08-07 2018-12-18 穆天机器人（杭州）有限公司 一种机器人拟人模糊情绪生成方法
CN109033179A (zh) * 2018-02-27 2018-12-18 深圳狗尾草智能科技有限公司 基于机器人情绪状态的回复信息生成方法、装置
CN109048920A (zh) * 2018-09-30 2018-12-21 中国船舶重工集团公司第七0七研究所 一种基于可穿戴助力机器人的用户交互系统
CN109129509A (zh) * 2018-09-17 2019-01-04 金碧地智能科技（珠海）有限公司 一种基于屏幕智能交互的养老陪护机器人
CN109284811A (zh) * 2018-08-31 2019-01-29 北京光年无限科技有限公司 一种面向智能机器人的人机交互方法及装置
CN109902825A (zh) * 2019-03-07 2019-06-18 大国创新智能科技(东莞)有限公司 意识方法、装置、系统、机器人和计算模型
CN110019824A (zh) * 2017-07-20 2019-07-16 苏州狗尾草智能科技有限公司 基于知识图谱的人机交互方法、装置及系统
CN110489513A (zh) * 2019-06-24 2019-11-22 覃立万 一种智能机器人社交信息处理方法及与人的社交系统
CN110553657A (zh) * 2018-06-01 2019-12-10 深圳狗尾草智能科技有限公司 一种基于聊天机器人的导航方法及系统
CN110580516A (zh) * 2019-08-21 2019-12-17 厦门无常师教育科技有限公司 一种基于智能机器人的交互方法及装置
CN110871447A (zh) * 2018-08-31 2020-03-10 比亚迪股份有限公司 车载机器人及其人机交互方法
CN111667840A (zh) * 2020-06-11 2020-09-15 刘娴 基于声纹识别的机器人知识图谱节点更新方法
CN111680589A (zh) * 2020-05-26 2020-09-18 天津市微卡科技有限公司 一种机器人基于声纹认证完成人脸识别认知方法
CN113408690A (zh) * 2021-07-01 2021-09-17 之江实验室 基于多模态知识图谱的机器人个性化情感互动装置及方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158707A (zh) * 2020-01-22 2021-07-23 青岛海尔电冰箱有限公司 冰箱交互控制方法、冰箱、计算机可读存储介质
CN112288091B (zh) * 2020-10-30 2023-03-21 西南电子技术研究所（中国电子科技集团公司第十研究所） 基于多模态知识图谱的知识推理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005238422A (ja) * 2004-02-27 2005-09-08 Sony Corp ロボット装置、並びにその状態遷移モデル構築方法及び行動制御方法
CN101604204A (zh) * 2009-07-09 2009-12-16 北京科技大学 智能情感机器人分布式认知技术
CN103488293A (zh) * 2013-09-12 2014-01-01 北京航空航天大学 一种基于表情识别的人机情感交互系统及方法
CN104290097A (zh) * 2014-08-19 2015-01-21 白劲实 一种学习型智能家庭社交机器人系统和方法
CN105425970A (zh) * 2015-12-29 2016-03-23 深圳羚羊微服机器人科技有限公司 一种人机互动的方法、装置及机器人
CN105512228A (zh) * 2015-11-30 2016-04-20 北京光年无限科技有限公司 一种基于智能机器人的双向问答数据处理方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005238422A (ja) * 2004-02-27 2005-09-08 Sony Corp ロボット装置、並びにその状態遷移モデル構築方法及び行動制御方法
CN101604204A (zh) * 2009-07-09 2009-12-16 北京科技大学 智能情感机器人分布式认知技术
CN103488293A (zh) * 2013-09-12 2014-01-01 北京航空航天大学 一种基于表情识别的人机情感交互系统及方法
CN104290097A (zh) * 2014-08-19 2015-01-21 白劲实 一种学习型智能家庭社交机器人系统和方法
CN105512228A (zh) * 2015-11-30 2016-04-20 北京光年无限科技有限公司 一种基于智能机器人的双向问答数据处理方法和系统
CN105425970A (zh) * 2015-12-29 2016-03-23 深圳羚羊微服机器人科技有限公司 一种人机互动的方法、装置及机器人

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106959839A (zh) * 2017-03-22 2017-07-18 北京光年无限科技有限公司 一种人机交互装置及方法
CN107243905A (zh) * 2017-06-28 2017-10-13 重庆柚瓣科技有限公司 基于养老机器人的情绪自适应系统
CN110019824A (zh) * 2017-07-20 2019-07-16 苏州狗尾草智能科技有限公司 基于知识图谱的人机交互方法、装置及系统
CN107808145B (zh) * 2017-11-13 2021-03-30 河南大学 基于多模态智能机器人的交互身份鉴别与跟踪方法及系统
CN107808145A (zh) * 2017-11-13 2018-03-16 河南大学 基于多模态智能机器人的交互身份鉴别与跟踪方法及系统
CN108320021A (zh) * 2018-01-23 2018-07-24 深圳狗尾草智能科技有限公司 机器人动作与表情确定方法、展示合成方法、装置
CN109033179A (zh) * 2018-02-27 2018-12-18 深圳狗尾草智能科技有限公司 基于机器人情绪状态的回复信息生成方法、装置
CN109033179B (zh) * 2018-02-27 2022-07-29 深圳狗尾草智能科技有限公司 基于机器人情绪状态的回复信息生成方法、装置
CN108345692A (zh) * 2018-03-16 2018-07-31 北京京东尚科信息技术有限公司 一种自动问答方法和系统
CN108537321A (zh) * 2018-03-20 2018-09-14 北京智能管家科技有限公司 一种机器人教学方法、装置、服务器和存储介质
CN108877336A (zh) * 2018-03-26 2018-11-23 深圳市波心幻海科技有限公司 基于增强现实技术的教学方法、云服务平台和教学系统
CN110553657B (zh) * 2018-06-01 2023-10-27 江苏瑞焕激光科技有限公司 一种基于聊天机器人的导航方法及系统
CN110553657A (zh) * 2018-06-01 2019-12-10 深圳狗尾草智能科技有限公司 一种基于聊天机器人的导航方法及系统
CN109034364A (zh) * 2018-08-07 2018-12-18 穆天机器人（杭州）有限公司 一种机器人拟人模糊情绪生成方法
CN109284811A (zh) * 2018-08-31 2019-01-29 北京光年无限科技有限公司 一种面向智能机器人的人机交互方法及装置
CN110871447A (zh) * 2018-08-31 2020-03-10 比亚迪股份有限公司 车载机器人及其人机交互方法
CN109129509A (zh) * 2018-09-17 2019-01-04 金碧地智能科技（珠海）有限公司 一种基于屏幕智能交互的养老陪护机器人
CN109048920A (zh) * 2018-09-30 2018-12-21 中国船舶重工集团公司第七0七研究所 一种基于可穿戴助力机器人的用户交互系统
CN109902825A (zh) * 2019-03-07 2019-06-18 大国创新智能科技(东莞)有限公司 意识方法、装置、系统、机器人和计算模型
CN109902825B (zh) * 2019-03-07 2023-07-07 大国创新智能科技(东莞)有限公司 意识生成方法、装置、系统、机器人和计算模型
CN110489513A (zh) * 2019-06-24 2019-11-22 覃立万 一种智能机器人社交信息处理方法及与人的社交系统
CN110580516B (zh) * 2019-08-21 2021-11-09 厦门无常师教育科技有限公司 一种基于智能机器人的交互方法及装置
CN110580516A (zh) * 2019-08-21 2019-12-17 厦门无常师教育科技有限公司 一种基于智能机器人的交互方法及装置
CN111680589A (zh) * 2020-05-26 2020-09-18 天津市微卡科技有限公司 一种机器人基于声纹认证完成人脸识别认知方法
CN111667840A (zh) * 2020-06-11 2020-09-15 刘娴 基于声纹识别的机器人知识图谱节点更新方法
CN113408690A (zh) * 2021-07-01 2021-09-17 之江实验室 基于多模态知识图谱的机器人个性化情感互动装置及方法

Also Published As

Publication number Publication date
WO2018000280A1 (zh) 2018-01-04
CN106462384B (zh) 2019-05-31

Similar Documents

Publication Publication Date Title
CN106462384A (zh) 基于多模态的智能机器人交互方法和智能机器人
US11327556B2 (en) Information processing system, client terminal, information processing method, and recording medium
US9724824B1 (en) Sensor use and analysis for dynamic update of interaction in a social robot
CN105345818B (zh) 带有情绪及表情模块的3d视频互动机器人
Gotthelf Teleology, first principles, and scientific method in Aristotle's biology
AU2014331209B2 (en) Method for dialogue between a machine, such as a humanoid robot, and a human interlocutor; computer program product; and humanoid robot for implementing such a method
CN108804698A (zh) 基于人物ip的人机交互方法、系统、介质及设备
WO2016080553A1 (ja) 学習型ロボット、学習型ロボットシステム、及び学習型ロボット用プログラム
US11646026B2 (en) Information processing system, and information processing method
CN107480766B (zh) 多模态虚拟机器人的内容生成的方法和系统
CN107092664A (zh) 一种内容解释方法及装置
JP7010000B2 (ja) 情報処理装置及びプログラム
CN107330418B (zh) 一种机器人系统
CN110569352B (zh) 一种可定制外观和性格的虚拟助手的设计系统及方法
CN112379780B (zh) 多模态情感交互方法、智能设备、系统、电子设备及介质
CN108885768A (zh) 信息处理系统、信息处理设备、信息处理方法以及记录介质
CN106774845A (zh) 一种智能交互方法、装置及终端设备
CN106503786A (zh) 用于智能机器人的多模态交互方法和装置
CN108647229B (zh) 基于人工智能的虚拟人模型构建方法
CN105945949A (zh) 面向智能机器人的信息处理方法及系统
JP2023055910A (ja) ロボット、対話システム、情報処理方法及びプログラム
CN113593013A (zh) 基于vr逝者仿真的交互方法、系统、终端及vr设备
KR102101311B1 (ko) 동물구현체를 포함하는 가상현실 플랫폼 제공 방법 및 장치
CN107336246B (zh) 养老机器人的拟人化系统
CN108089842A (zh) 一种使用人工智能构建ui的方法及其系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 301, Building 39, 239 Renmin Road, Gusu District, Suzhou City, Jiangsu Province, 215000

Patentee after: Suzhou Dogweed Intelligent Technology Co., Ltd.

Address before: 518000 Dongfang Science and Technology Building 1307-09, 16 Keyuan Road, Yuehai Street, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: Shenzhen green bristlegrass intelligence Science and Technology Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190531

Termination date: 20210629