CN106462254A - 一种机器人交互内容的生成方法、系统及机器人 - Google Patents

一种机器人交互内容的生成方法、系统及机器人 Download PDF

Info

Publication number
CN106462254A
CN106462254A CN201680001744.2A CN201680001744A CN106462254A CN 106462254 A CN106462254 A CN 106462254A CN 201680001744 A CN201680001744 A CN 201680001744A CN 106462254 A CN106462254 A CN 106462254A
Authority
CN
China
Prior art keywords
robot
life
signal
time axle
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680001744.2A
Other languages
English (en)
Inventor
邱楠
杨新宇
王昊奋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Green Bristlegrass Intelligence Science And Technology Ltd
Original Assignee
Shenzhen Green Bristlegrass Intelligence Science And Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Green Bristlegrass Intelligence Science And Technology Ltd filed Critical Shenzhen Green Bristlegrass Intelligence Science And Technology Ltd
Publication of CN106462254A publication Critical patent/CN106462254A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Mathematics (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Abstract

本发明提供一种机器人交互内容的生成方法，包括：获取多模态信号；根据所述多模态信号确定用户意图；根据所述多模态信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。本发明将机器人所在的生活时间轴加入到机器人的交互内容生成中去，使机器人与人交互时更加拟人化，使得机器人在生活时间轴内具有人类的生活方式，该方法能够提升机器人交互内容生成的拟人性，提升人机交互体验，提高智能性。

Description

一种机器人交互内容的生成方法、系统及机器人
技术领域
本发明涉及机器人交互技术领域，尤其涉及一种机器人交互内容的生成方法、系统及机器人。
背景技术
通常人类再交互过程中做出一个表情，一般是在眼睛看到或者耳朵听到声音之后，经过大脑分析过后进行合理的表情反馈，人来在某一天的时间轴上的生活场景，比如吃饭，睡觉，运动等，各种场景值的变化会影响人类表情的反馈。而对于机器人而言，目前想让机器人做出表情上的反馈，主要通过预先设计好的方式与深度学习训练语料得来，这种通过预先设计好的程序与语料训练的表情反馈存在以下缺点：表情的输出依赖于人类的文本表示，即与一个问答的机器相似，用户不同的话语触发不同的表情，这种情况下机器人实际还是按照人类预先设计好的交互方式进行表情的输出，这导致机器人不能更加拟人化，不能像人类一样，在不同的时间点的生活场景，表现出不同的表情，即机器人交互内容的生成方式完全是被动的，因此表情的生成需要大量的人机交互，导致机器人的智能性很差。
因此，如何使得机器人本身在生活时间轴内具有人类的生活方式，提升机器人交互内容生成的拟人性，是本技术领域亟需解决的技术问题。
发明内容
本发明的目的是提供一种机器人交互内容的生成方法、系统及机器人，使得机器人本身在主动交互可变参数内具有人类的生活方式，提升机器人交互内容生成的拟人性，提升人机交互体验，提高智能性。
本发明的目的是通过以下技术方案来实现的：
一种机器人交互内容的生成方法，包括：
获取多模态信号；
根据所述多模态信号确定用户意图；
根据所述多模态信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。
优选的，所述机器人生活时间轴的参数的生成方法包括：
将机器人的自我认知进行扩展；
获取生活时间轴的参数；
对机器人的自我认知的参数与生活时间轴中的参数进行拟合，生成机器人生活时间轴。
优选的，所述将机器人的自我认知进行扩展的步骤具体包括：将生活场景与机器人的自我认识相结合形成基于生活时间轴的自我认知曲线。
优选的，所述对机器人的自我认知的参数与生活时间轴中的参数进行拟合的步骤具体包括：使用概率算法，计算生活时间轴上的机器人在时间轴场景参数改变后的每个参数改变的概率，形成拟合曲线。
优选的，其中，所述生活时间轴指包含一天24小时的时间轴，所述生活时间轴中的参数至少包括用户在所述生活时间轴上进行的日常生活行为以及代表该行为的参数值。
优选的，所述多模态信号至少包括图像信号，所述根据所述多模态信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容的步骤具体包括：
根据所述图像信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。
优选的，所述多模态信号至少包括语音信号，所述根据所述多模态信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容的步骤具体包括：
根据所述语音信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。
优选的，所述多模态信号至少包括手势信号，所述根据所述多模态信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容的步骤具体包括：
根据所述手势信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。
本发明公开一种机器人交互内容的生成系统，包括：
获取模块，用于获取多模态信号；
意图识别模块，用于根据所述多模态信号确定用户意图；
内容生成模块，用于根据所述多模态信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。
优选的，所述系统包括基于时间轴与人工智能云处理模块，用于：
将机器人的自我认知进行扩展；
获取生活时间轴的参数；
对机器人的自我认知的参数与生活时间轴中的参数进行拟合，生成机器人生活时间轴。
优选的，所述基于时间轴与人工智能云处理模块进一步用于：将生活场景与机器人的自我认识相结合形成基于生活时间轴的自我认知曲线。
优选的，所述基于时间轴与人工智能云处理模块进一步用于：使用概率算法，计算生活时间轴上的机器人在时间轴场景参数改变后的每个参数改变的概率，形成拟合曲线。
优选的，其中，所述生活时间轴指包含一天24小时的时间轴，所述生活时间轴中的参数至少包括用户在所述生活时间轴上进行的日常生活行为以及代表该行为的参数值。
优选的，所述多模态信号至少包括图像信号，所述内容生成模块具体用于：根据所述图像信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。
优选的，所述多模态信号至少包括语音信号，所述内容生成模块具体用于：根据所述语音信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。
优选的，所述多模态信号至少包括手势信号，所述内容生成模块具体用于：根据所述手势信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。
本发明公开一种机器人，包括如上述任一所述的一种机器人交互内容的生成系统。
相比现有技术，本发明具有以下优点：现有机器人对于应用场景来说，一般是基于固的场景中的问答交互机器人交互内容的生成方法，无法基于当前的场景来更加准确的生成机器人的表情。本发明一种机器人交互内容的生成方法，包括：获取多模态信号；根据所述多模态信号确定用户意图；根据所述多模态信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。这样就可以根据多模态信号例如图像信号、语音信号，结合机器人可变参数来更加准确地生成机器人交互内容，从而更加准确、拟人化的与人进行交互和沟通。对于人来讲每天的生活都具有一定的规律性，为了让机器人与人沟通时更加拟人化，在一天24小时中，让机器人也会有睡觉，运动，吃饭，跳舞，看书，吃饭，化妆，睡觉等动作。因此本发明将机器人所在的生活时间轴加入到机器人的交互内容生成中去，使机器人与人交互时更加拟人化，使得机器人在生活时间轴内具有人类的生活方式，该方法能够提升机器人交互内容生成的拟人性，提升人机交互体验，提高智能性。
附图说明
图1是本发明实施例一的一种机器人交互内容的生成方法的流程图；
图2是本发明实施例二的一种机器人交互内容的生成系统的示意图。
具体实施方式
虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。各项操作的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
计算机设备包括用户设备与网络设备。其中，用户设备或客户端包括但不限于电脑、智能手机、PDA等；网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算的由大量计算机或网络服务器构成的云。计算机设备可单独运行来实现本发明，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本发明。计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。
在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制，使用这些术语仅仅是为了将一个单元与另一个单元进行区分。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。当一个单元被称为“连接”或“耦合”到另一单元时，其可以直接连接或耦合到所述另一单元，或者可以存在中间单元。
这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。
下面结合附图和较佳的实施例对本发明作进一步说明。
实施例一
如图1所示，本实施例中公开一种机器人交互内容的生成方法，包括：
S101、获取多模态信号；
S102、根据所述多模态信号确定用户意图；
S103、根据所述多模态信号和所述用户意图，结合当前的机器人生活时间轴300生成机器人交互内容。
现有机器人对于应用场景来说，一般是基于固的场景中的问答交互机器人交互内容的生成方法，无法基于当前的场景来更加准确的生成机器人的表情。本发明一种机器人交互内容的生成方法，包括：获取多模态信号；根据所述多模态信号确定用户意图；根据所述多模态信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。这样就可以根据多模态信号例如图像信号、语音信号，结合机器人可变参数来更加准确地生成机器人交互内容，从而更加准确、拟人化的与人进行交互和沟通。对于人来讲每天的生活都具有一定的规律性，为了让机器人与人沟通时更加拟人化，在一天24小时中，让机器人也会有睡觉，运动，吃饭，跳舞，看书，吃饭，化妆，睡觉等动作。因此本发明将机器人所在的生活时间轴加入到机器人的交互内容生成中去，使机器人与人交互时更加拟人化，使得机器人在生活时间轴内具有人类的生活方式，该方法能够提升机器人交互内容生成的拟人性，提升人机交互体验，提高智能性。交互内容可以是表情或文字或语音等。机器人生活时间轴300是提前进行拟合和设置完成的，具体来讲，机器人生活时间轴300是一系列的参数合集，将这个参数传输给系统进行生成交互内容。
本实施例中的多模态信息可以是用户表情、语音信息、手势信息、场景信息、图像信息、视频信息、人脸信息、瞳孔虹膜信息、光感信息和指纹信息等其中的其中一种或几种。本实施例中优选为图片信号加语音信号再加手势信号，这样识别的准确并且识别的效率高。
本实施例中，基于生活时间轴具体是：根据人类日常生活的时间轴，将机器人与人类日常生活的时间轴做拟合，机器人的行为按照这个拟合行动，也就是得到一天中机器人自己的行为，从而让机器人基于生活时间轴去进行自己的行为，例如生成交互内容与人类沟通等。假如机器人一直唤醒的话，就会按照这个时间轴上的行为行动，机器人的自我认知也会根据这个时间轴进行相应的更改。生活时间轴与可变参数可以对自我认知中的属性，例如心情值，疲劳值等等的更改，也可以自动加入新的自我认知信息，比如之前没有愤怒值，基于生活时间轴和可变因素的场景就会自动根据之前模拟人类自我认知的场景，从而对机器人的自我认知进行添加。
例如，多模态信号为用户通过用语音，向机器人说话：“好困啊”，多模态信号可以加上图片信号，机器人根据多模态信号如上述的语音信号加上图片信号综合判断，识别用户的意图为用户很困，以及机器人生活时间轴，例如当前的时间为上午9点，那么机器人就知道主人是刚刚起床，那么就应该向主人问早，例如回答“早上好”作为回复，也可以配上表情、图片等，本发明中的交互内容可以理解为机器人的回复。而如果多模态信号为用户通过用语音，向机器人说话：“好困啊”，多模态信号可以加上图片信号，机器人根据多模态信号如上述的语音信号加上图片信号综合判断，识别用户的意图为用户很困，以及机器人生活时间轴，例如当前的时间为晚上9点，那么机器人就知道主人需要睡觉了，那么就会回复“主人晚安，睡个好觉”等类似用语，也可以配上表情、图片等。这种方式要比单纯的靠场景识别生成回复和表情更加贴近人的生活，更加拟人化。其中多模态信号一般为多种信号的组合，例如图片信号加上语音信号，或者图片信号加语音信号再加手势信号等。
根据其中一个示例，所述机器人生活时间轴的参数的生成方法包括：
将机器人的自我认知进行扩展；
获取生活时间轴的参数；
对机器人的自我认知的参数与生活时间轴中的参数进行拟合，生成机器人生活时间轴。
这样将生活时间轴加入到机器人本身的自我认知中去，使机器人具有拟人化的生活。例如将中午吃饭的认知加入到机器人中去。
根据其中另一个示例，所述将机器人的自我认知进行扩展的步骤具体包括：将生活场景与机器人的自我认识相结合形成基于生活时间轴的自我认知曲线。这样就可以具体的将生活时间轴加入到机器人本身的参数中去。
根据其中另一个示例，所述对机器人的自我认知的参数与生活时间轴中的参数进行拟合的步骤具体包括：使用概率算法，计算生活时间轴上的机器人在时间轴场景参数改变后的每个参数改变的概率，形成拟合曲线。这样就可以具体的将机器人的自我认知的参数与生活时间轴中的参数进行拟合。其中概率算法可以是贝叶斯概率算法。
例如，在一天24小时中，使机器人会有睡觉，运动，吃饭，跳舞，看书，吃饭，化妆，睡觉等动作。每个动作会影响机器人本身的自我认知，将生活时间轴上的参数与机器人本身的自我认知进行结合，拟合后，即让机器人的自我认知包括了，心情，疲劳值，亲密度，好感度，交互次数，机器人的三维的认知，年龄，身高，体重，亲密度，游戏场景值，游戏对象值，地点场景值，地点对象值等。为机器人可以自己识别所在的地点场景，比如咖啡厅，卧室等。
机器一天的时间轴内会进行不同的动作，比如夜里睡觉，中午吃饭，白天运动等等，这些所有的生活时间轴中的场景，对于自我认知都会有影响。这些数值的变化采用的概率模型的动态拟合方式，将这些所有动作在时间轴上发生的几率拟合出来。
根据其中另一个示例，所述多模态信号至少包括图像信号，所述根据所述多模态信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容的步骤具体包括：
根据所述图像信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。多模态信号至少包括图像信号，这样可以让机器人掌握用户的意图，而为了更好的了解到用户的意图，一般会加入其它信号，例如语音信号、手势信号等，这样可以更加准确的了解到用户到底是真实的表达的意思，还是开玩笑试探的意思。
根据其中另一个示例，所述多模态信号至少包括语音信号，所述根据所述多模态信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容的步骤具体包括：
根据所述语音信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。
根据其中另一个示例，所述多模态信号至少包括手势信号，所述根据所述多模态信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容的步骤具体包括：
根据所述手势信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。
例如，多模态信号为用户通过用语音，向机器人说话：“饿了”，多模态信号可以加上图片信号，机器人根据多模态信号如上述的语音信号加上图片信号综合判断，识别用户的意图为用户很饿，以及机器人生活时间轴，例如当前的时间为上午9点，那么机器人就会回复，让用户去吃早饭，并配上可爱的表情。而如果多模态信号为用户通过用语音，向机器人说话：“饿了”，多模态信号可以加上图片信号，机器人根据多模态信号如上述的语音信号加上图片信号综合判断，识别用户的意图为用户很饿，以及机器人生活时间轴，例如当前的时间为晚上9点，那么机器人就会回复，太晚了少吃点，并配上可爱的表情。
本实施例中一般通过语音信号和图片信号就可以较为准确地了解到用户的意思，从而更加准确的回复用户。当然加上其他信号更加准确，例如手势信号，视频信号等。
实施例二
如图2所示，本实施例中公开一种机器人交互内容的生成系统，包括：
获取模块201，用于获取多模态信号；
意图识别模块202，用于根据所述多模态信号确定用户意图；
内容生成模块203，用于根据所述多模态信号和所述用户意图，结合机器人生活时间轴模块301发送的当前的机器人生活时间轴生成机器人交互内容。
这样就可以根据多模态信号例如图像信号、语音信号，结合机器人可变参数来更加准确地生成机器人交互内容，从而更加准确、拟人化的与人进行交互和沟通。对于人来讲每天的生活都具有一定的规律性，为了让机器人与人沟通时更加拟人化，在一天24小时中，让机器人也会有睡觉，运动，吃饭，跳舞，看书，吃饭，化妆，睡觉等动作。因此本发明将机器人所在的生活时间轴加入到机器人的交互内容生成中去，使机器人与人交互时更加拟人化，使得机器人在生活时间轴内具有人类的生活方式，该方法能够提升机器人交互内容生成的拟人性，提升人机交互体验，提高智能性。交互内容可以是表情或文字或语音等。
例如，多模态信号为用户通过用语音，向机器人说话：“好困啊”，多模态信号可以加上图片信号，机器人根据多模态信号如上述的语音信号加上图片信号综合判断，识别用户的意图为用户很困，以及机器人生活时间轴，例如当前的时间为上午9点，那么机器人就知道主人是刚刚起床，那么就应该向主人问早，例如回答“早上好”作为回复，也可以配上表情、图片等，本发明中的交互内容可以理解为机器人的回复。而如果多模态信号为用户通过用语音，向机器人说话：“好困啊”，多模态信号可以加上图片信号，机器人根据多模态信号如上述的语音信号加上图片信号综合判断，识别用户的意图为用户很困，以及机器人生活时间轴，例如当前的时间为晚上9点，那么机器人就知道主人需要睡觉了，那么就会回复“主人晚安，睡个好觉”等类似用语，也可以配上表情、图片等。这种方式要比单纯的靠场景识别生成回复和表情更加贴近人的生活，更加拟人化。其中多模态信号一般为多种信号的组合，例如图片信号加上语音信号，或者图片信号加语音信号再加手势信号等。
根据其中一个示例，所述系统包括基于时间轴与人工智能云处理模块，用于：
将机器人的自我认知进行扩展；
获取生活时间轴的参数；
对机器人的自我认知的参数与生活时间轴中的参数进行拟合，生成机器人生活时间轴。
这样将生活时间轴加入到机器人本身的自我认知中去，使机器人具有拟人化的生活。例如将中午吃饭的认知加入到机器人中去。
根据其中另一个示例，所述基于时间轴与人工智能云处理模块进一步用于：将生活场景与机器人的自我认识相结合形成基于生活时间轴的自我认知曲线。这样就可以具体的将生活时间轴加入到机器人本身的参数中去。
根据其中另一个示例，所述基于时间轴与人工智能云处理模块进一步用于：使用概率算法，计算生活时间轴上的机器人在时间轴场景参数改变后的每个参数改变的概率，形成拟合曲线。这样就可以具体的将机器人的自我认知的参数与生活时间轴中的参数进行拟合。其中概率算法可以是贝叶斯概率算法。
例如，在一天24小时中，使机器人会有睡觉，运动，吃饭，跳舞，看书，吃饭，化妆，睡觉等动作。每个动作会影响机器人本身的自我认知，将生活时间轴上的参数与机器人本身的自我认知进行结合，拟合后，即让机器人的自我认知包括了，心情，疲劳值，亲密度，好感度，交互次数，机器人的三维的认知，年龄，身高，体重，亲密度，游戏场景值，游戏对象值，地点场景值，地点对象值等。为机器人可以自己识别所在的地点场景，比如咖啡厅，卧室等。
机器一天的时间轴内会进行不同的动作，比如夜里睡觉，中午吃饭，白天运动等等，这些所有的生活时间轴中的场景，对于自我认知都会有影响。这些数值的变化采用的概率模型的动态拟合方式，将这些所有动作在时间轴上发生的几率拟合出来。
根据其中另一个示例，所述多模态信号至少包括图像信号，所述内容生成模块具体用于：根据所述图像信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。
多模态信号至少包括图像信号，这样可以让机器人掌握用户的意图，而为了更好的了解到用户的意图，一般会加入其它信号，例如语音信号、手势信号等，这样可以更加准确的了解到用户到底是真实的表达的意思，还是开玩笑试探的意思。
根据其中另一个示例，所述多模态信号至少包括语音信号，所述内容生成模块具体用于：根据所述语音信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。
根据其中另一个示例，所述多模态信号至少包括手势信号，所述内容生成模块具体用于：根据所述手势信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。
例如，多模态信号为用户通过用语音，向机器人说话：“饿了”，多模态信号可以加上图片信号，机器人根据多模态信号如上述的语音信号加上图片信号综合判断，识别用户的意图为用户很饿，以及机器人生活时间轴，例如当前的时间为上午9点，那么机器人就会回复，让用户去吃早饭，并配上可爱的表情。而如果多模态信号为用户通过用语音，向机器人说话：“饿了”，多模态信号可以加上图片信号，机器人根据多模态信号如上述的语音信号加上图片信号综合判断，识别用户的意图为用户很饿，以及机器人生活时间轴，例如当前的时间为晚上9点，那么机器人就会回复，太晚了少吃点，并配上可爱的表情。
本实施例中一般通过语音信号和图片信号就可以较为准确地了解到用户的意思，从而更加准确的回复用户。当然加上其他信号更加准确，例如手势信号，视频信号等。
本发明公开一种机器人，包括如上述任一所述的一种机器人交互内容的生成系统。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (17)

1.一种机器人交互内容的生成方法，其特征在于，包括：
获取多模态信号；
根据所述多模态信号确定用户意图；
根据所述多模态信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。
2.根据权利要求1所述的生成方法，其特征在于，所述机器人生活时间轴的参数的生成方法包括：
将机器人的自我认知进行扩展；
获取生活时间轴的参数；
对机器人的自我认知的参数与生活时间轴中的参数进行拟合，生成机器人生活时间轴。
3.根据权利要求2所述的生成方法，其特征在于，所述将机器人的自我认知进行扩展的步骤具体包括：将生活场景与机器人的自我认识相结合形成基于生活时间轴的自我认知曲线。
4.根据权利要求2所述的生成方法，其特征在于，所述对机器人的自我认知的参数与生活时间轴中的参数进行拟合的步骤具体包括：使用概率算法，计算生活时间轴上的机器人在时间轴场景参数改变后的每个参数改变的概率，形成拟合曲线。
5.根据权利要求2所述的生成方法，其特征在于，其中，所述生活时间轴指包含一天24小时的时间轴，所述生活时间轴中的参数至少包括用户在所述生活时间轴上进行的日常生活行为以及代表该行为的参数值。
6.根据权利要求1所述的生成方法，其特征在于，所述多模态信号至少包括图像信号，所述根据所述多模态信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容的步骤具体包括：
根据所述图像信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。
7.根据权利要求1所述的生成方法，其特征在于，所述多模态信号至少包括语音信号，所述根据所述多模态信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容的步骤具体包括：
根据所述语音信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。
8.根据权利要求1所述的生成方法，其特征在于，所述多模态信号至少包括手势信号，所述根据所述多模态信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容的步骤具体包括：
根据所述手势信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。
9.一种机器人交互内容的生成系统，其特征在于，包括：
获取模块，用于获取多模态信号；
意图识别模块，用于根据所述多模态信号确定用户意图；
内容生成模块，用于根据所述多模态信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。
10.根据权利要求8所述的生成系统，其特征在于，所述系统包括基于时间轴与人工智能云处理模块，用于：
将机器人的自我认知进行扩展；
获取生活时间轴的参数；
对机器人的自我认知的参数与生活时间轴中的参数进行拟合，生成机器人生活时间轴。
11.根据权利要求10所述的生成系统，其特征在于，所述基于时间轴与人工智能云处理模块进一步用于：将生活场景与机器人的自我认识相结合形成基于生活时间轴的自我认知曲线。
12.根据权利要求10所述的生成系统，其特征在于，所述基于时间轴与人工智能云处理模块进一步用于：使用概率算法，计算生活时间轴上的机器人在时间轴场景参数改变后的每个参数改变的概率，形成拟合曲线。
13.根据权利要求10所述的生成系统，其特征在于，其中，所述生活时间轴指包含一天24小时的时间轴，所述生活时间轴中的参数至少包括用户在所述生活时间轴上进行的日常生活行为以及代表该行为的参数值。
14.根据权利要求9所述的生成系统，其特征在于，所述多模态信号至少包括图像信号，所述内容生成模块具体用于：根据所述图像信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。
15.根据权利要求9所述的生成系统，其特征在于，所述多模态信号至少包括语音信号，所述内容生成模块具体用于：根据所述语音信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。
16.根据权利要求9所述的生成系统，其特征在于，所述多模态信号至少包括手势信号，所述内容生成模块具体用于：根据所述手势信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。
17.一种机器人，其特征在于，包括如权利要求9至16任一所述的一种机器人交互内容的生成系统。
CN201680001744.2A 2016-06-29 2016-06-29 一种机器人交互内容的生成方法、系统及机器人 Pending CN106462254A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/087753 WO2018000268A1 (zh) 2016-06-29 2016-06-29 一种机器人交互内容的生成方法、系统及机器人

Publications (1)

Publication Number Publication Date
CN106462254A true CN106462254A (zh) 2017-02-22

Family

ID=58215746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680001744.2A Pending CN106462254A (zh) 2016-06-29 2016-06-29 一种机器人交互内容的生成方法、系统及机器人

Country Status (2)

Country Link
CN (1) CN106462254A (zh)
WO (1) WO2018000268A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491511A (zh) * 2017-08-03 2017-12-19 深圳狗尾草智能科技有限公司 机器人的自我认知方法及装置
CN107563517A (zh) * 2017-08-25 2018-01-09 深圳狗尾草智能科技有限公司 机器人自我认知实时更新方法及系统
CN107992935A (zh) * 2017-12-14 2018-05-04 深圳狗尾草智能科技有限公司 为机器人设置生活周期的方法、设备及介质
CN108297098A (zh) * 2018-01-23 2018-07-20 上海大学 人工智能驱动的机器人控制系统及方法
CN108363492A (zh) * 2018-03-09 2018-08-03 南京阿凡达机器人科技有限公司 一种人机交互方法及交互机器人
CN109202921A (zh) * 2017-07-03 2019-01-15 北京光年无限科技有限公司 用于机器人的基于遗忘机制的人机交互方法及装置
CN109376282A (zh) * 2018-09-26 2019-02-22 北京子歌人工智能科技有限公司 一种基于人工智能的人机智能聊天的方法和装置
CN109976338A (zh) * 2019-03-14 2019-07-05 山东大学 一种多模态四足机器人人机交互系统及方法
CN110603122A (zh) * 2017-04-28 2019-12-20 苏希自主工作有限责任公司 用于交互式学习应用的自动个性化反馈

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111970536B (zh) * 2020-07-24 2021-07-23 北京航空航天大学 一种基于音频生成视频的方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1392826A (zh) * 2000-10-05 2003-01-22 索尼公司 机器人设备及其控制方法
US7685518B2 (en) * 1998-01-23 2010-03-23 Sony Corporation Information processing apparatus, method and medium using a virtual reality space
CN104951077A (zh) * 2015-06-24 2015-09-30 百度在线网络技术（北京）有限公司 基于人工智能的人机交互方法、装置和终端设备
CN105093986A (zh) * 2015-07-23 2015-11-25 百度在线网络技术（北京）有限公司 基于人工智能的拟人机器人控制方法、系统及拟人机器人

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105058389A (zh) * 2015-07-15 2015-11-18 深圳乐行天下科技有限公司 一种机器人系统、机器人控制方法及机器人
CN105082150B (zh) * 2015-08-25 2017-04-05 国家康复辅具研究中心 一种基于用户情绪及意图识别的机器人人机交互方法
CN105490918A (zh) * 2015-11-20 2016-04-13 深圳狗尾草智能科技有限公司 一种机器人主动与主人交互的系统及方法
CN105701211A (zh) * 2016-01-13 2016-06-22 北京光年无限科技有限公司 面向问答系统的主动交互数据处理方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7685518B2 (en) * 1998-01-23 2010-03-23 Sony Corporation Information processing apparatus, method and medium using a virtual reality space
CN1392826A (zh) * 2000-10-05 2003-01-22 索尼公司 机器人设备及其控制方法
CN104951077A (zh) * 2015-06-24 2015-09-30 百度在线网络技术（北京）有限公司 基于人工智能的人机交互方法、装置和终端设备
CN105093986A (zh) * 2015-07-23 2015-11-25 百度在线网络技术（北京）有限公司 基于人工智能的拟人机器人控制方法、系统及拟人机器人

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110603122A (zh) * 2017-04-28 2019-12-20 苏希自主工作有限责任公司 用于交互式学习应用的自动个性化反馈
CN109202921A (zh) * 2017-07-03 2019-01-15 北京光年无限科技有限公司 用于机器人的基于遗忘机制的人机交互方法及装置
CN107491511A (zh) * 2017-08-03 2017-12-19 深圳狗尾草智能科技有限公司 机器人的自我认知方法及装置
CN107563517A (zh) * 2017-08-25 2018-01-09 深圳狗尾草智能科技有限公司 机器人自我认知实时更新方法及系统
CN107992935A (zh) * 2017-12-14 2018-05-04 深圳狗尾草智能科技有限公司 为机器人设置生活周期的方法、设备及介质
CN108297098A (zh) * 2018-01-23 2018-07-20 上海大学 人工智能驱动的机器人控制系统及方法
CN108363492A (zh) * 2018-03-09 2018-08-03 南京阿凡达机器人科技有限公司 一种人机交互方法及交互机器人
CN108363492B (zh) * 2018-03-09 2021-06-25 南京阿凡达机器人科技有限公司 一种人机交互方法及交互机器人
CN109376282A (zh) * 2018-09-26 2019-02-22 北京子歌人工智能科技有限公司 一种基于人工智能的人机智能聊天的方法和装置
CN109976338A (zh) * 2019-03-14 2019-07-05 山东大学 一种多模态四足机器人人机交互系统及方法

Also Published As

Publication number Publication date
WO2018000268A1 (zh) 2018-01-04

Similar Documents

Publication Publication Date Title
CN106462254A (zh) 一种机器人交互内容的生成方法、系统及机器人
CN106537294A (zh) 一种机器人交互内容的生成方法、系统及机器人
Tong et al. An efficient deep model for day-ahead electricity load forecasting with stacked denoising auto-encoders
CN106462255A (zh) 一种机器人交互内容的生成方法、系统及机器人
CN107870994A (zh) 用于智能机器人的人机交互方法及系统
CN107797663A (zh) 基于虚拟人的多模态交互处理方法及系统
CN107301168A (zh) 智能机器人及其情绪交互方法、系统
CN106463118B (zh) 一种同步语音及虚拟动作的方法、系统及机器人
Rázuri et al. Automatic emotion recognition through facial expression analysis in merged images based on an artificial neural network
CN106662932A (zh) 一种基于意图识别控制家电的方法、系统及机器人
CN105843382A (zh) 一种人机交互方法及装置
CN105912530A (zh) 面向智能机器人的信息处理方法及系统
CN102073713A (zh) 一种基于优化BoW模型的三维模型检索方法
Acampora et al. Interoperable neuro-fuzzy services for emotion-aware ambient intelligence
CN114492831A (zh) 联邦学习模型的生成方法及其装置
CN106489114A (zh) 一种机器人交互内容的生成方法、系统及机器人
Chen et al. Cp-robot: Cloud-assisted pillow robot for emotion sensing and interaction
CN116244473B (zh) 一种基于特征解耦和图知识蒸馏的多模态情感识别方法
CN106537293A (zh) 一种机器人交互内容的生成方法、系统及机器人
Wang et al. Research progress of artificial psychology and artificial emotion in China
Liao et al. A systematic review of global research on natural user interface for smart home system
CN106537425A (zh) 一种机器人交互内容的生成方法、系统及机器人
Han Residual learning based CNN for gesture recognition in robot interaction
Hao et al. Proposal of initiative service model for service robot
CN205665729U (zh) 细胞/卷积神经网络智能视觉支付加速器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170222