CN106663127A - 一种虚拟机器人的交互方法、系统及机器人 - Google Patents

一种虚拟机器人的交互方法、系统及机器人 Download PDF

Info

Publication number
CN106663127A
CN106663127A CN201680001715.6A CN201680001715A CN106663127A CN 106663127 A CN106663127 A CN 106663127A CN 201680001715 A CN201680001715 A CN 201680001715A CN 106663127 A CN106663127 A CN 106663127A
Authority
CN
China
Prior art keywords
content
information
interaction content
user
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680001715.6A
Other languages
English (en)
Inventor
杨新宇
王昊奋
邱楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Green Bristlegrass Intelligence Science And Technology Ltd
Original Assignee
Shenzhen Green Bristlegrass Intelligence Science And Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Green Bristlegrass Intelligence Science And Technology Ltd filed Critical Shenzhen Green Bristlegrass Intelligence Science And Technology Ltd
Publication of CN106663127A publication Critical patent/CN106663127A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24564—Applying rules; Deductive queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种虚拟机器人的交互方法，包括：获取用户的多模态信息；对所述多模态信息进行预处理，识别用户意图；根据所述多模态信息和用户意图生成内容信息和选择生成模板；将所述内容信息与生成模板通过预设规则进行组合后生成交互内容；将交互内容发送到成像系统，成像系统根据交互内容生成虚拟3D影像；机器人根据所述交互内容生成评价信息。这样就可以使机器人与人交互时更加拟人化，该方法能够提升机器人交互内容生成的拟人性，提升人机交互体验，提高智能性，并且机器人还可以对生成的交互内容进行评价，例如评分等，以增加娱乐性和用户体验感。

Description

一种虚拟机器人的交互方法、系统及机器人
技术领域
本发明涉及机器人交互技术领域，尤其涉及一种虚拟机器人的交互方法、系统及机器人。
背景技术
机器人作为与人类的交互工具，使用的场合越来越多，例如一些老人、小孩较孤独时，就可以与机器人交互，包括对话、娱乐等。为了让用户使用机器人的体验感更好，就需要将机器人设计的更加智能，而不仅仅是对话这种简单的功能，为了增加机器人的智能交互体验，需要加入到更多的功能，例如作画、作诗、作曲等，让机器人可以根据用户的意思进行对应的交互，增加机器人的功能。然而，如何实现这些功能成为本技术领域亟需解决的技术问题。
发明内容
本发明的目的是提供一种虚拟机器人的交互方法、系统及机器人，使机器人能够提供更多、更拟人化的交互，提升用户的使用体验。
本发明的目的是通过以下技术方案来实现的：
一种虚拟机器人的交互方法，包括：
获取用户的多模态信息；
对所述多模态信息进行预处理，识别用户意图；
根据所述多模态信息和用户意图生成内容信息和选择生成模板；
将所述内容信息与生成模板通过预设规则进行组合后生成交互内容；
将交互内容发送到成像系统，成像系统根据交互内容生成虚拟3D影像；
机器人根据所述交互内容生成评价信息。
本发明公开一种虚拟机器人的交互系统，包括：
获取模块，用于获取用户的多模态信息；
意图识别模块，用于对所述多模态信息进行预处理，识别用户意图；
处理模块，用于根据所述多模态信息和用户意图生成内容信息和选择生成模板；
生成模块，用于将所述内容信息与生成模板通过预设规则进行组合后生成交互内容；
发送模块，用于将交互内容发送到成像系统，成像系统根据交互内容生成虚拟3D影像；
评价模块，机器人根据所述交互内容生成评价信息。
本发明公开一种机器人，其特征在于，包括如上述任一所述的一种虚拟机器人的交互系统。
相比现有技术，本发明具有以下优点：本发明的虚拟机器人的交互方法包括：获取用户的多模态信息；对所述多模态信息进行预处理，识别用户意图；根据所述多模态信息和用户意图生成内容信息和选择生成模板；将所述内容信息与生成模板通过预设规则进行组合后生成交互内容；将交互内容发送到成像系统，成像系统根据交互内容生成虚拟3D影像；机器人根据所述交互内容生成评价信息。这样就可以根据用户的多模态信息确定用户的意图，用户想要得到什么样的回复，然后根据多模态信息和用户的意图查询回复内容的中的细节，包括内容信息和生成模板，在收集完毕后，将内容信息和生成模板组合生成交互内容，然后发送到成像系统，成像系统根据交互内容生成虚拟3D影像，从而进行展示，向用户回应，这样就可以使机器人与人交互时更加拟人化，该方法能够提升机器人交互内容生成的拟人性，提升人机交互体验，提高智能性，并且机器人还可以对生成的交互内容进行评价，例如评分等，以增加娱乐性和用户体验感。
附图说明
图1是本发明实施例一的一种虚拟机器人的交互方法的流程图；
图2是本发明实施例二的一种虚拟机器人的交互系统的示意图。
具体实施方式
虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。各项操作的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
计算机设备包括用户设备与网络设备。其中，用户设备或客户端包括但不限于电脑、智能手机、PDA等；网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算的由大量计算机或网络服务器构成的云。计算机设备可单独运行来实现本发明，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本发明。计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。
在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制，使用这些术语仅仅是为了将一个单元与另一个单元进行区分。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。当一个单元被称为“连接”或“耦合”到另一单元时，其可以直接连接或耦合到所述另一单元，或者可以存在中间单元。
这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。
下面结合附图和较佳的实施例对本发明作进一步说明。
实施例一
如图1所示，本实施例中公开一种虚拟机器人的交互方法，包括：
S101、获取用户的多模态信息；
S102、对所述多模态信息进行预处理，识别用户意图；
S103、根据所述多模态信息和用户意图生成内容信息和选择生成模板；
S104、将所述内容信息与生成模板通过预设规则进行组合后生成交互内容；
S105、将交互内容发送到成像系统，成像系统根据交互内容生成虚拟3D影像；
S106、机器人根据所述交互内容生成评价信息。
这样就可以根据用户的多模态信息(例如图像、语音、文字、手机端等)确定用户的意图，用户想要得到什么样的回复，然后根据多模态信息和用户的意图查询回复内容的中的细节，包括内容信息和生成模板，在收集完毕后，将内容信息和生成模板组合生成交互内容，然后发送到成像系统，成像系统根据交互内容生成虚拟3D影像，从而进行展示，向用户回应，这样就可以使机器人与人交互时更加拟人化，该方法能够提升机器人交互内容生成的拟人性，提升人机交互体验，提高智能性，并且机器人还可以对生成的交互内容进行评价，例如评分等，以增加娱乐性和用户体验感。
本实施例中的多模态信息可以是用户表情、语音信息、手势信息、场景信息、图像信息、视频信息、人脸信息、瞳孔虹膜信息、光感信息和指纹信息等其中的其中一种或几种。
本实施例中方法可以应用在不同的功能上，例如作画，作曲，作诗，朗读故事，朗读小说等等。
根据其中一个示例，在生成交互内容的步骤之后还包括：将交互内容发送到移动终端，所述移动终端根据交互内容生成图像、声音、文字中的一种或几种，并显示。
这样就让用户在移动终端上也可以查看到交互内容，让用户可以以更多方式接收到机器人的反馈和回复。
根据其中一个示例，在将交互内容发送到成像系统和移动终端的步骤之后还包括：获取用户对交互内容的评价，并将用户的评价存储在相应的交互内容的目录中。
这样就可以方便用户查看对该功能的评价例如使用感受，评分等，从而方便用户去选取适合自己的功能进行使用。
本实施例中，为了更加详细的说明机器人的交互，对所述多模态信息进行预处理，识别用户意图的步骤具体包括：对多模态信息进行预处理，识别用户控制机器人作画的意图；
所述根据所述多模态信息和用户意图生成内容信息和选择生成模板的步骤包括：根据多模态信息和用户意图生成图像信息和选择图像风格模板；
所述将所述内容信息与生成模板通过预设规则进行组合后生成交互内容的步骤包括：根据选择的图像风格模板与图像信息进行组合后生成交互内容；
所述成像系统根据交互内容生成虚拟3D影像的步骤包括：成像系统根据交互内容生成作画动作的3D影像，并配上对应的语音。
这样就可以机器人进行作画，并展示出来动作和图像，增加用户的使用体验。
其中，所述图像信息通过机器人数据库或用户图库获取。这样用户就可以将自己拍照的图片或者自拍的图片发送给机器人，让机器人按照图片进行作图。
本实施例中，进一步详细的说明机器人的交互方式中，对所述多模态信息进行预处理，识别用户意图的步骤包括：对多模态信息进行预处理，识别用户控制机器人作曲的意图；
所述根据所述多模态信息和用户意图生成内容信息和选择生成模板的步骤包括：根据多模态信息和用户意图选择作曲风格模板和作曲内容；
所述将所述内容信息与生成模板通过预设规则进行组合后生成交互内容的步骤包括：根据作曲风格模板和作曲内容生成交互内容；
所述成像系统根据交互内容生成虚拟3D影像的步骤包括：成像系统根据交互内容生成作曲动作的3D影像，并配上对应的语音。
这样就可以让机器人进行作曲，例如，用户哼了一段小曲，然后机器人就可以根据这段小曲和作曲风格的模板，进行组合匹配等，从而生成一段新的小曲，来接上用户哼的一段小曲。
本实施例中，进一步详细的说明机器人的交互方式中，对所述多模态信息进行预处理，识别用户意图的步骤包括：对多模态信息进行预处理，识别用户控制机器人作诗的意图；
所述根据所述多模态信息和用户意图生成内容信息和选择生成模板的步骤包括：根据多模态信息和用户意图选择作诗风格模板和作诗内容；
所述将所述内容信息与生成模板通过预设规则进行组合后生成交互内容的步骤包括：根据作诗风格模板和作诗内容生成交互内容；
所述成像系统根据交互内容生成虚拟3D影像的步骤包括：成像系统根据交互内容生成作诗语音，并配上作诗动作的3D影像。
这样就可以让机器人作诗，例如用户读出一句诗，机器人就可以根据这句诗，结合作诗的模板，对出另一句诗，回复用户，而且还可以配上读出诗句时的动作，更加拟人化和形象。
本实施例中，进一步详细的说明机器人的交互方式中，所述对所述多模态信息进行预处理，识别用户意图的步骤包括：对多模态信息进行预处理，识别用户控制机器人朗读的意图；
所述根据所述多模态信息和用户意图生成内容信息和选择生成模板的步骤包括：根据多模态信息和用户意图选择朗读内容和朗读背景；
所述将所述内容信息与生成模板通过预设规则进行组合后生成交互内容的步骤包括：根据朗读内容和朗读背景生成交互内容；
所述成像系统根据交互内容生成虚拟3D影像的步骤包括：成像系统根据交互内容生成朗读语音，并配上朗读动作的3D影像。
这样就可以让机器人根据用户的意图选择一本小说或故事或杂志进行朗读，从而让机器人与用户交互时更加智能化，提高用户使用的体验度。
实施例二
如图2所示，本实施中公开一种虚拟机器人的交互系统，包括：
获取模块201，用于获取用户的多模态信息；
意图识别模块202，用于对所述多模态信息进行预处理，识别用户意图；
处理模块203，用于根据所述多模态信息和用户意图生成内容信息和选择生成模板；
生成模块204，用于将所述内容信息与生成模板通过预设规则进行组合后生成交互内容；
发送模块205，用于将交互内容发送到成像系统，成像系统根据交互内容生成虚拟3D影像；
评价模块206，机器人根据所述交互内容生成评价信息。
这样就可以根据用户的多模态信息确定用户的意图，用户想要得到什么样的回复，然后根据多模态信息和用户的意图查询回复内容的中的细节，包括内容信息和生成模板，在收集完毕后，将内容信息和生成模板组合生成交互内容，然后发送到成像系统，成像系统根据交互内容生成虚拟3D影像，从而进行展示，向用户回应，这样就可以使机器人与人交互时更加拟人化，该方法能够提升机器人交互内容生成的拟人性，提升人机交互体验，提高智能性，并且机器人还可以对生成的交互内容进行评价，例如评分等，以增加娱乐性和用户体验感。
本实施例中的多模态信息可以是用户表情、语音信息、手势信息、场景信息、图像信息、视频信息、人脸信息、瞳孔虹膜信息、光感信息和指纹信息等其中的其中一种或几种。
本实施例中方法可以应用在不同的功能上，例如作画，作曲，作诗，朗读故事，朗读小说等等。
根据其中一个示例，所述发送模块还用于：将交互内容发送到移动终端，所述移动终端根据交互内容生成图像、声音、文字中的一种或几种，并显示。
这样就让用户在移动终端上也可以查看到交互内容，让用户可以以更多方式接收到机器人的反馈和回复。
根据其中一个示例，所述评价模块还用于：获取用户对交互内容的评价，并将用户的评价存储在相应的交互内容的目录中。
这样就可以方便用户查看对该功能的评价例如使用感受，评分等，从而方便用户去选取适合自己的功能进行使用。
本实施例中，为了更加详细的说明机器人的交互，意图识别模块用于：对多模态信息进行预处理，识别用户控制机器人作画的意图；
所述处理模块用于：根据多模态信息和用户意图生成图像信息和选择图像风格模板；
所述生成模块用于：根据选择的图像风格模板与图像信息进行组合后生成交互内容；
所述发送模块用于：成像系统根据交互内容生成作画动作的3D影像，并配上对应的语音。
这样就可以机器人进行作画，并展示出来动作和图像，增加用户的使用体验。
其中，所述图像信息通过机器人数据库或用户图库获取。这样用户就可以将自己拍照的图片或者自拍的图片发送给机器人，让机器人按照图片进行作图。
本实施例中，进一步详细的说明机器人的交互方式中，意图识别模块用于：对多模态信息进行预处理，识别用户控制机器人作曲的意图；
所述处理模块用于：根据多模态信息和用户意图选择作曲风格模板和作曲内容；
所述生成模块用于：根据作曲风格模板和作曲内容生成交互内容；
所述发送模块用于：成像系统根据交互内容生成作曲动作的3D影像，并配上对应的语音。
这样就可以让机器人进行作曲，例如，用户哼了一段小曲，然后机器人就可以根据这段小曲和作曲风格的模板，进行组合匹配等，从而生成一段新的小曲，来接上用户哼的一段小曲。
本实施例中，进一步详细的说明机器人的交互方式中，意图识别模块用于：对多模态信息进行预处理，识别用户控制机器人作诗的意图；
所述处理模块用于：根据多模态信息和用户意图选择作诗风格模板和作诗内容；
所述生成模块用于：根据作诗风格模板和作诗内容生成交互内容；
所述发送模块用于：成像系统根据交互内容生成作诗语音，并配上作诗动作的3D影像。
这样就可以让机器人作诗，例如用户读出一句诗，机器人就可以根据这句诗，结合作诗的模板，对出另一句诗，回复用户，而且还可以配上读出诗句时的动作，更加拟人化和形象。
本实施例中，进一步详细的说明机器人的交互方式中，所述意图识别模块用于：对多模态信息进行预处理，识别用户控制机器人朗读的意图；
所述处理模块用于：根据多模态信息和用户意图选择朗读内容和朗读背景；
所述生成模块用于：根据朗读内容和朗读背景生成交互内容；
所述发送模块用于：成像系统根据交互内容生成朗读语音，并配上朗读动作的3D影像。
这样就可以让机器人根据用户的意图选择一本小说或故事或杂志进行朗读，从而让机器人与用户交互时更加智能化，提高用户使用的体验度。
本实施例中公开一种机器人，包括如上述任一所述的一种虚拟机器人的交互系统。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (17)

1.一种虚拟机器人的交互方法，其特征在于，包括：
获取用户的多模态信息；
对所述多模态信息进行预处理，识别用户意图；
根据所述多模态信息和用户意图生成内容信息和选择生成模板；
将所述内容信息与生成模板通过预设规则进行组合后生成交互内容；
将交互内容发送到成像系统，成像系统根据交互内容生成虚拟3D影像；
机器人根据所述交互内容生成评价信息。
2.根据权利要求1所述的交互方法，其特征在于，在生成交互内容的步骤之后还包括：将交互内容发送到移动终端，所述移动终端根据交互内容生成图像、声音、文字中的一种或几种，并显示。
3.根据权利要求2所述的交互方法，其特征在于，在将交互内容发送到成像系统和移动终端的步骤之后还包括：获取用户对交互内容的评价，并将用户的评价存储在相应的交互内容的目录中。
4.根据权利要求1所述的交互方法，其特征在于，对所述多模态信息进行预处理，识别用户意图的步骤具体包括：对多模态信息进行预处理，识别用户控制机器人作画的意图；
所述根据所述多模态信息和用户意图生成内容信息和选择生成模板的步骤包括：根据多模态信息和用户意图生成图像信息和选择图像风格模板；
所述将所述内容信息与生成模板通过预设规则进行组合后生成交互内容的步骤包括：根据选择的图像风格模板与图像信息进行组合后生成交互内容；
所述成像系统根据交互内容生成虚拟3D影像的步骤包括：成像系统根据交互内容生成作画动作的3D影像，并配上对应的语音。
5.根据权利要求4所述的交互方法，其特征在于，所述图像信息通过机器人数据库或用户图库获取。
6.根据权利要求1所述的交互方法，其特征在于，对所述多模态信息进行预处理，识别用户意图的步骤包括：对多模态信息进行预处理，识别用户控制机器人作曲的意图；
所述根据所述多模态信息和用户意图生成内容信息和选择生成模板的步骤包括：根据多模态信息和用户意图选择作曲风格模板和作曲内容；
所述将所述内容信息与生成模板通过预设规则进行组合后生成交互内容的步骤包括：根据作曲风格模板和作曲内容生成交互内容；
所述成像系统根据交互内容生成虚拟3D影像的步骤包括：成像系统根据交互内容生成作曲动作的3D影像，并配上对应的语音。
7.根据权利要求1所述的交互方法，其特征在于，对所述多模态信息进行预处理，识别用户意图的步骤包括：对多模态信息进行预处理，识别用户控制机器人作诗的意图；
所述根据所述多模态信息和用户意图生成内容信息和选择生成模板的步骤包括：根据多模态信息和用户意图选择作诗风格模板和作诗内容；
所述将所述内容信息与生成模板通过预设规则进行组合后生成交互内容的步骤包括：根据作诗风格模板和作诗内容生成交互内容；
所述成像系统根据交互内容生成虚拟3D影像的步骤包括：成像系统根据交互内容生成作诗语音，并配上作诗动作的3D影像。
8.根据权利要求1所述的交互方法，其特征在于，对所述多模态信息进行预处理，识别用户意图的步骤包括：对多模态信息进行预处理，识别用户控制机器人朗读的意图；
所述根据所述多模态信息和用户意图生成内容信息和选择生成模板的步骤包括：根据多模态信息和用户意图选择朗读内容和朗读背景；
所述将所述内容信息与生成模板通过预设规则进行组合后生成交互内容的步骤包括：根据朗读内容和朗读背景生成交互内容；
所述成像系统根据交互内容生成虚拟3D影像的步骤包括：成像系统根据交互内容生成朗读语音，并配上朗读动作的3D影像。
9.一种虚拟机器人的交互系统，其特征在于，包括：
获取模块，用于获取用户的多模态信息；
意图识别模块，用于对所述多模态信息进行预处理，识别用户意图；
处理模块，用于根据所述多模态信息和用户意图生成内容信息和选择生成模板；
生成模块，用于将所述内容信息与生成模板通过预设规则进行组合后生成交互内容；
发送模块，用于将交互内容发送到成像系统，成像系统根据交互内容生成虚拟3D影像；
评价模块，机器人根据所述交互内容生成评价信息。
10.根据权利要求9所述的交互系统，其特征在于，所述发送模块还用于：将交互内容发送到移动终端，所述移动终端根据交互内容生成图像、声音、文字中的一种或几种，并显示。
11.根据权利要求11所述的交互系统，其特征在于，所述评价模块还用于：获取用户对交互内容的评价，并将用户的评价存储在相应的交互内容的目录中。
12.根据权利要求9所述的交互系统，其特征在于，所述意图识别模块用于：对多模态信息进行预处理，识别用户控制机器人作画的意图；
所述处理模块用于：根据多模态信息和用户意图生成图像信息和选择图像风格模板；
所述生成模块用于：根据选择的图像风格模板与图像信息进行组合后生成交互内容；
所述发送模块用于：成像系统根据交互内容生成作画动作的3D影像，并配上对应的语音。
13.根据权利要求12所述的交互系统，其特征在于，所述图像信息通过机器人数据库或用户图库获取。
14.根据权利要求9所述的交互系统，其特征在于，所述意图识别模块用于：对多模态信息进行预处理，识别用户控制机器人作曲的意图；
所述处理模块用于：根据多模态信息和用户意图选择作曲风格模板和作曲内容；
所述生成模块用于：根据作曲风格模板和作曲内容生成交互内容；
所述发送模块用于：成像系统根据交互内容生成作曲动作的3D影像，并配上对应的语音。
15.根据权利要求9所述的交互系统，其特征在于，所述意图识别模块用于：对多模态信息进行预处理，识别用户控制机器人作诗的意图；
所述处理模块用于：根据多模态信息和用户意图选择作诗风格模板和作诗内容；
所述生成模块用于：根据作诗风格模板和作诗内容生成交互内容；
所述发送模块用于：成像系统根据交互内容生成作诗语音，并配上作诗动作的3D影像。
16.根据权利要求9所述的交互系统，其特征在于，所述意图识别模块用于：对多模态信息进行预处理，识别用户控制机器人朗读的意图；
所述处理模块用于：根据多模态信息和用户意图选择朗读内容和朗读背景；
所述生成模块用于：根据朗读内容和朗读背景生成交互内容；
所述发送模块用于：成像系统根据交互内容生成朗读语音，并配上朗读动作的3D影像。
17.一种机器人，其特征在于，包括如权利要求9至16任一所述的一种虚拟机器人的交互系统。
CN201680001715.6A 2016-07-07 2016-07-07 一种虚拟机器人的交互方法、系统及机器人 Pending CN106663127A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/089219 WO2018006375A1 (zh) 2016-07-07 2016-07-07 一种虚拟机器人的交互方法、系统及机器人

Publications (1)

Publication Number Publication Date
CN106663127A true CN106663127A (zh) 2017-05-10

Family

ID=58838971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680001715.6A Pending CN106663127A (zh) 2016-07-07 2016-07-07 一种虚拟机器人的交互方法、系统及机器人

Country Status (3)

Country Link
JP (1) JP2018014094A (zh)
CN (1) CN106663127A (zh)
WO (1) WO2018006375A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107678617A (zh) * 2017-09-14 2018-02-09 北京光年无限科技有限公司 面向虚拟机器人的数据交互方法和系统
CN107728780A (zh) * 2017-09-18 2018-02-23 北京光年无限科技有限公司 一种基于虚拟机器人的人机交互方法及装置
CN107748621A (zh) * 2017-11-06 2018-03-02 潘柏霖 一种智能交互机器人
CN108043025A (zh) * 2017-12-29 2018-05-18 江苏名通信息科技有限公司 一种用于网络游戏的人机交互方法
CN108133259A (zh) * 2017-12-14 2018-06-08 深圳狗尾草智能科技有限公司 人工虚拟生命与外界交互的系统及方法
CN108356832A (zh) * 2018-03-07 2018-08-03 佛山融芯智感科技有限公司 一种室内机器人人机互动系统
CN108958050A (zh) * 2018-07-12 2018-12-07 李星仪 用于智能生活应用的展示平台系统
CN109379350A (zh) * 2018-09-30 2019-02-22 北京猎户星空科技有限公司 日程表生成方法、装置、设备及计算机可读存储介质
CN110576433A (zh) * 2018-06-08 2019-12-17 香港商女娲创造股份有限公司 机器人动作生成方法
CN110868635A (zh) * 2019-12-04 2020-03-06 深圳追一科技有限公司 视频处理方法、装置、电子设备及存储介质
CN111327772A (zh) * 2020-02-25 2020-06-23 广州腾讯科技有限公司 进行自动语音应答处理的方法、装置、设备及存储介质
CN112529992A (zh) * 2019-08-30 2021-03-19 阿里巴巴集团控股有限公司 虚拟形象的对话处理方法、装置、设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL282683B2 (en) 2018-11-16 2024-06-01 Liveperson Inc Automatic bot creation based on scripts
JP7469211B2 (ja) 2020-10-21 2024-04-16 東京瓦斯株式会社 対話型コミュニケーション装置、コミュニケーションシステム及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11219195A (ja) * 1998-02-04 1999-08-10 Atr Chino Eizo Tsushin Kenkyusho:Kk 対話型詩朗読システム
CN104951077A (zh) * 2015-06-24 2015-09-30 百度在线网络技术（北京）有限公司 基于人工智能的人机交互方法、装置和终端设备
CN104965592A (zh) * 2015-07-08 2015-10-07 苏州思必驰信息科技有限公司 基于语音和手势识别的多模态非触摸人机交互方法及系统
CN105144027A (zh) * 2013-01-09 2015-12-09 微软技术许可有限责任公司 在确定动作中使用非言语通信
EP3001286A1 (en) * 2014-09-24 2016-03-30 Sony Computer Entertainment Europe Ltd. Apparatus and method for automated adaptation of a user interface

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296604A (ja) * 2002-04-03 2003-10-17 Yozo Watanabe 曲提供装置、方法及びコンピュータプログラム
JP2006123136A (ja) * 2004-11-01 2006-05-18 Advanced Telecommunication Research Institute International コミュニケーションロボット
JP4738203B2 (ja) * 2006-02-20 2011-08-03 学校法人同志社 画像から音楽を生成する音楽生成装置
JP2007241764A (ja) * 2006-03-09 2007-09-20 Fujitsu Ltd 構文解析プログラム、構文解析方法、構文解析装置、及び構文解析プログラムが記録されたコンピュータ読み取り可能な記録媒体
JP2015138147A (ja) * 2014-01-22 2015-07-30 シャープ株式会社 サーバ、対話装置、対話システム、対話方法および対話プログラム
JP2015206878A (ja) * 2014-04-18 2015-11-19 ソニー株式会社 情報処理装置および情報処理方法
JP6438674B2 (ja) * 2014-04-28 2018-12-19 エヌ・ティ・ティ・コミュニケーションズ株式会社 応答システム、応答方法及びコンピュータプログラム
JP6160598B2 (ja) * 2014-11-20 2017-07-12 カシオ計算機株式会社 自動作曲装置、方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11219195A (ja) * 1998-02-04 1999-08-10 Atr Chino Eizo Tsushin Kenkyusho:Kk 対話型詩朗読システム
CN105144027A (zh) * 2013-01-09 2015-12-09 微软技术许可有限责任公司 在确定动作中使用非言语通信
EP3001286A1 (en) * 2014-09-24 2016-03-30 Sony Computer Entertainment Europe Ltd. Apparatus and method for automated adaptation of a user interface
CN104951077A (zh) * 2015-06-24 2015-09-30 百度在线网络技术（北京）有限公司 基于人工智能的人机交互方法、装置和终端设备
CN104965592A (zh) * 2015-07-08 2015-10-07 苏州思必驰信息科技有限公司 基于语音和手势识别的多模态非触摸人机交互方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
山本大介 等: "可单独操作的智能手机的语音对话3D代理[玛特芽衣酱]的开发", 《交互2013信息处理学会-研讨会系列》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107678617A (zh) * 2017-09-14 2018-02-09 北京光年无限科技有限公司 面向虚拟机器人的数据交互方法和系统
CN107728780A (zh) * 2017-09-18 2018-02-23 北京光年无限科技有限公司 一种基于虚拟机器人的人机交互方法及装置
CN107728780B (zh) * 2017-09-18 2021-04-27 北京光年无限科技有限公司 一种基于虚拟机器人的人机交互方法及装置
CN107748621A (zh) * 2017-11-06 2018-03-02 潘柏霖 一种智能交互机器人
CN108133259A (zh) * 2017-12-14 2018-06-08 深圳狗尾草智能科技有限公司 人工虚拟生命与外界交互的系统及方法
CN108043025A (zh) * 2017-12-29 2018-05-18 江苏名通信息科技有限公司 一种用于网络游戏的人机交互方法
CN108356832A (zh) * 2018-03-07 2018-08-03 佛山融芯智感科技有限公司 一种室内机器人人机互动系统
CN110576433A (zh) * 2018-06-08 2019-12-17 香港商女娲创造股份有限公司 机器人动作生成方法
CN110576433B (zh) * 2018-06-08 2021-05-18 香港商女娲创造股份有限公司 机器人动作生成方法
CN108958050A (zh) * 2018-07-12 2018-12-07 李星仪 用于智能生活应用的展示平台系统
CN109379350A (zh) * 2018-09-30 2019-02-22 北京猎户星空科技有限公司 日程表生成方法、装置、设备及计算机可读存储介质
CN112529992A (zh) * 2019-08-30 2021-03-19 阿里巴巴集团控股有限公司 虚拟形象的对话处理方法、装置、设备及存储介质
CN112529992B (zh) * 2019-08-30 2022-08-19 阿里巴巴集团控股有限公司 虚拟形象的对话处理方法、装置、设备及存储介质
CN110868635A (zh) * 2019-12-04 2020-03-06 深圳追一科技有限公司 视频处理方法、装置、电子设备及存储介质
CN111327772A (zh) * 2020-02-25 2020-06-23 广州腾讯科技有限公司 进行自动语音应答处理的方法、装置、设备及存储介质
CN111327772B (zh) * 2020-02-25 2021-09-17 广州腾讯科技有限公司 进行自动语音应答处理的方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2018006375A1 (zh) 2018-01-11
JP2018014094A (ja) 2018-01-25

Similar Documents

Publication Publication Date Title
CN106663127A (zh) 一种虚拟机器人的交互方法、系统及机器人
US11452941B2 (en) Emoji-based communications derived from facial features during game play
KR101851356B1 (ko) 3d 디지털액터에 의한 지능형 사용자 인터페이스 제공방법
CN106331178B (zh) 一种信息共享方法及移动终端
CN103631768A (zh) 协作数据编辑和处理系统
US20100053187A1 (en) Method, Apparatus, and Computer Readable Medium for Editing an Avatar and Performing Authentication
CN102236890A (zh) 从多个图像生成组合图像
CN108108012A (zh) 信息交互方法和装置
CN106355551A (zh) 拼图处理方法、装置、电子设备及服务器
CN106471444A (zh) 一种虚拟3d机器人的交互方法、系统及机器人
CN112330533A (zh) 混血人脸图像生成方法、模型训练方法、装置和设备
CN115857704A (zh) 一种基于元宇宙的展览系统、交互方法以及电子设备
CN105929980A (zh) 用于信息输入的方法和装置
KR101977893B1 (ko) 영상컨텐츠 적용 디지털액터의 운용방법
CN108733429A (zh) 系统资源配置的调整方法、装置、存储介质及移动终端
CN111291151A (zh) 交互方法、装置及计算机设备
CN106028172A (zh) 音/视频处理方法及装置
CN115937033A (zh) 图像生成方法、装置及电子设备
CN102819751A (zh) 一种基于动作识别的人机互动方法及装置
CN109550256A (zh) 虚拟角色调整方法、装置和存储介质
CN103631225B (zh) 一种场景设备远程控制方法和装置
CN117010413A (zh) 社区问答方法、装置、存储介质及计算机设备
CN111274489B (zh) 信息处理方法、装置、设备及存储介质
CN105022480A (zh) 一种输入方法及终端
CN106267820A (zh) 控制虚拟现实游戏的方法、装置及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170510

WD01 Invention patent application deemed withdrawn after publication