CN106959839A - 一种人机交互装置及方法 - Google Patents

一种人机交互装置及方法 Download PDF

Info

Publication number
CN106959839A
CN106959839A CN201710174393.1A CN201710174393A CN106959839A CN 106959839 A CN106959839 A CN 106959839A CN 201710174393 A CN201710174393 A CN 201710174393A CN 106959839 A CN106959839 A CN 106959839A
Authority
CN
China
Prior art keywords
information
robot
voice
projection data
interactive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710174393.1A
Other languages
English (en)
Inventor
赖昱竹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Guangnian Wuxian Technology Co Ltd
Original Assignee
Beijing Guangnian Wuxian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Guangnian Wuxian Technology Co Ltd filed Critical Beijing Guangnian Wuxian Technology Co Ltd
Priority to CN201710174393.1A priority Critical patent/CN106959839A/zh
Publication of CN106959839A publication Critical patent/CN106959839A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Abstract

一种人机交互装置及方法，其中，该装置包括：语音交互信息采集设备；图像交互信息采集设备；云处理器，其与语音交互信息采集设备和图像交互信息采集设备通信，用于接收语音交互信息和图像交互信息并根据语音交互信息和图像交互信息生成语音反馈信息和机器人动作信息，根据语音反馈信息和机器人动作信息生成全息投影数据；全息投影设备，其与云处理器通信，用于根据云处理器传输来的全息投影数据进行全息投影显示机器人全息图像，以通过机器人全息图像与用户进行交互。本方法使得全息投影出的智能机器人同时具有语音交互、视觉交互以及环境交互的能力，其能够结合多个维度的信息与用户进行交互，从而使得用户能够得到更好的交互体验。

Description

一种人机交互装置及方法
技术领域
本发明涉及机器人技术领域，具体地说，涉及一种人机交互装置及方法。
背景技术
随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人，人机交互也就成为决定智能机器人发展的重要因素。
发明内容
为解决上述问题，本发明提供了一种人机交互装置，其包括：
语音交互信息采集设备，其用于采集用户输入的语音交互信息；
图像交互信息采集设备，其用于采集关于用户的图像交互信息；
云处理器，其与所述语音交互信息采集设备和图像交互信息采集设备通信，用于接收所述语音交互信息和图像交互信息并根据所述语音交互信息和图像交互信息生成语音反馈信息和机器人动作信息，根据所述语音反馈信息和机器人动作信息生成全息投影数据；
全息投影设备，其与所述云处理器通信，用于根据所述云处理器传输来的全息投影数据进行全息投影显示机器人全息图像，以通过所述机器人全息图像与用户进行交互。
根据本发明的一个实施例，所述全息投影设备包括：
语音信息输出模块，其用于根据所述全息投影数据输出相应的语音信息；
机器人投影模块，其用于根据所述全息投影数据生成相应的机器人投影。
根据本发明的一个实施例，所述云处理器根据所述图像交互信息生成与交互环境相适应的推荐音乐信息，并根据所述推荐音乐信息生成所述语音反馈信息。
根据本发明的一个实施例，所述云处理器根据所述语音交互信息和/或图像交互信息生成用户情绪信息，并根据所述用户情绪信息生成对应的机器人动作信息，根据所述机器人动作信息生成包含机器人动作的全息投影数据。
根据本发明的一个实施例，所述云处理器还根据所述用户情绪信息生成相应的音频或视频推荐信息，并根据所述音频或视频推荐信息生成所述全息投影数据。
本发明还提供了一种人机交互方法，其包括：
交互信息采集步骤，采集用户输入的语音交互信息和关于用户的图像交互信息；
全息投影数据生成步骤，根据所述语音交互信息和图像交互信息生成语音反馈信息和机器人动作，根据所述语音反馈信息和机器人动作生成全息投影数据；
全息投影步骤，根据所述全息投影数据进行全息投影显示机器人全息图像，以通过所述机器人全息图像与用户进行交互。
根据本发明的一个实施例，在所述全息投影数据生成步骤中，根据所述图像交互信息生成与交互环境相适应的推荐音乐信息，并根据所述推荐音乐信息生成所述语音反馈信息。
根据本发明的一个实施例，在所述全息投影数据生成步骤中，根据所述语音交互信息和/或图像交互信息生成用户情绪信息，并根据所述用户情绪信息生成对应的机器人动作信息，根据所述机器人动作信息生成包含机器人动作的全息投影数据。
根据本发明的一个实施例，在所述全息投影数据生成步骤中，还根据所述用户情绪信息生成相应的音频或视频推荐信息，并根据所述音频或视频推荐信息生成所述全息投影数据。
本发明所提供的人机交互装置以及方法使得全息投影出的智能机器人同时具有语音交互、视觉交互以及环境交互的能力，其能够结合多个维度的信息与用户进行交互，从而使得用户能够得到更好的交互体验。
同时，该人机交互装置通过全息投影来以全息投影的方式向用户呈现出机器人影像，这样使得虚拟机器人3D化，并使得虚拟机器人能够具有比实体机器人更加丰富、生动、灵活的表情和动作，有助于进一步提高用户的交互体验。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图做简单的介绍：
图1是根据本发明一个实施例的人机交互装置的结构示意图；
图2是根据本发明一个实施例的人机交互方法的实现流程示意图；
图3是根据本发明一个实施例的生成语音反馈信息的流程图；
图4是根据本发明一个实施例的人机交互方法的实现流程示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
同时，在以下说明中，出于解释的目的而阐述了许多具体细节，以提供对本发明实施例的彻底理解。然而，对本领域的技术人员来说显而易见的是，本发明可以不用这里的具体细节或者所描述的特定方式来实施。
另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
针对现有技术中所存在的问题，本发明提供了一种人机交互装置，该装置采用全息投影的方式来显示出机器人全息图像，通过机器人全息图像来与用户进行更加生动、灵活的交互。
图1示出了本实施例所提供的人机交互装置的结构示意图。
如图1所示，本实施例中，该人机交互装置优选地包括：语音交互信息采集设备101、图像交互信息采集设备102、云处理器103以及全息投影设备104。其中，语音交互信息采集设备101用于采集用户输入的语音交互信息，图像交互信息采集设备102用于采集关于用户的图像交互信息。
需要指出的是，在本发明的不同实施例中，语音交互信息采集设备101和图像交互信息采集设备102既可以采用同一设备来实现(即该设备同时具有语音交互信息采集和图像交互信息采集两种功能)，也可以采用不同的设备来实现，本发明不限于此。
本实施例中，语音交互信息采集设备101和图像交互信息采集设备102均与云处理器103连接。云处理器103在接收到语音交互信息采集设备101所传输来的语音交互信息和图像交互信息采集设备102所传输来的图像交互信息后，会根据上述语音交互信息和图像交互信息来生成语音反馈信息和表情信息，并根据上述语音交互信息和表情信息生成全景投影数据。
具体地，本实施例中，云处理器103在接收到语音交互信息采集设备101所传输来的语音交互信息后，会对上述语音交互信息进行语音识别处理，从而将上述语音交互信息由声音信息转换为文本信息。在得到对应于上述语音交互信息的文本信息后，云处理器103优选地对上述文本信息进行自然语言处理，具体地，本实施例中，云处理器103优选地对文本信息进行分词处理，从而得到分词处理结果。
在得到分词处理结果后，云处理器103会根据上述分词处理结果来判断各个分词的词性并得到语义解析结果。根据分词词性以及语义解析结果，云处理器103能够生成对应的语音反馈信息。同时，根据所接收到的语音交互信息和图像交互信息，云处理器103还会生成相应的机器人动作信息。随后，云处理器103可以根据上述机器人动作信息和语音反馈信息生成全息投影数据。
具体地，本实施例中，云处理器103能够对图像交互信息采集设备102所传输来的图像交互信息中所包含的人脸图像进行人脸识别，从而得到人脸表情信息。根据人脸表情信息，云处理器103能够确定出相应的用户情绪信息。例如，如果云处理器103通过对人脸图像进行人脸识别所识别出的人脸表情信息为“哭泣”表情，那么其所确定出的用户情绪信息则可以为“悲伤”等。
在得到用户情绪信息后，云处理器103还会根据用户情绪信息确定出该用户情绪信息所对应的情绪编号。本实施例中，云处理器103优选地通过查询预先设定的情绪编号对应表的方式来确定出用户情绪信息所对应的情绪编号。当然，在本发明的其他实施例中，云处理器103还可以采用其他合理方式来确定出用户情绪信息所对应的情绪编号，本发明不限于此。
在得到用户情绪信息所对应的情绪编号后，云处理器103会根据用户情绪所对应的编号确定出机器人情绪所对应的编号，并根据机器人情绪所对应的编号来确定出该编号所对应的机器人情绪信息和机器人动作信息。在得到机器人情绪信息后，云处理器103会根据上述语义解析结果以及机器人情绪信息生成机器人动作信息。
需要指出的是，在本发明的其他实施例中，云处理器103在根据图像交互信息生成用户情绪信息的过程中，还可以结合语音交互信息101所传输来的语音交互信息来生成用户情绪信息。一般来说，语音中的情感特征往往通过语音韵律的变化表现出来，语音情感的变化通常可以体现为语音特征参数的变化。因此云处理器103也就可以根据相关语音特征参数的变化来根据语音交互信息辅助确定用户情绪信息，从而使得最终确定出的用户情绪信息更加准确、可靠。
本实施例中，云处理器103优选地根据上述语音反馈信息、机器人情绪信息以及机器人动作信息来生成全息投影数据。如图1所示，本实施例中，云处理器103与全息投影设备104连接，其能够将自身生成的全息投影数据传输至全息投影设备104。而全息投影设备104接收到上述全息投影数据后，会根据上述全息投影数据来进行全息投影，从而显示出相应的机器人全息图像。本实施例中，由于云处理器103所生成的全息投影数据中包含机器人动作信息，这样全息投影设备104所生成的机器人全息图像中的机器人将呈现处相应的表情以及动作。
需要指出的是，在本发明的其他实施例中，根据实际需要，云处理器103还能够上述用户情绪信息来生成相应的音频和/或视频推荐信息，并根据该音频和/或视频推荐信息来生成包含机器人表情的全息投影数据，本发明不限于此。
本实施例中，全息投影设备104优选地包括语音信息输出模块和机器人投影模块。其中，语音信息输出模块用于根据全息投影数据输出相应的语音信息，而机器人投影模块则用户根据全息投影数据来生成相应的机器人全息图像从而使得虚拟出的3D机器人能够呈现相应的表情以及动作。本实施例中，根据实际需要，云处理器103还能够根据图像交互信息采集设备102所传输来的图像交互信息生成与交互环境相适应的推荐音乐信息，并根据该推荐音乐信息生成语音反馈信息。云处理器103会将上述语音反馈信息传输至全息投影设备104所包含的语音信息输出模块，以由语音信息输出模块进行语音输出。
例如，云处理器103通过图像交互信息采集设备102所获取到的图像交互信息确定出当前男女主人正在进行烛光晚餐，那么此时云处理器103则会根据生成与当前交互环境相应的较为舒缓、轻柔的音乐信息，这样语音信息输出模块所输出的语音将能够提高男女主人的用餐氛围。
本发明还提供了一种人机交互方法，与上述人机交互装置类似地，该方法同样采用全息投影的方式来显示出机器人全息图像，通过机器人全息图像来与用户进行更加生动、灵活的交互。
为了更加清楚地阐述本发明所提供的人机交互方法的实现原理、实现过程以及优点，以下分别结合不同的实施例来对该人机交互方法作进一步地说明。
实施例一：
图2示出了本实施例所提供的人机交互方法的实现流程示意图。
如图2所示，本实施例所提供的人机交互方法首先在步骤S201中采集用户输入的语音交互信息和关于用户的图像交互信息。具体地，本实施例中，该方法在步骤S201中优选地通过麦克风等语音采集设备来采集用户输入的语音交互信息，并通过摄像头等图像采集设备来采集关于用户的图像交互信息。
在得到语音交互信息和图像交互信息后，该方法会在步骤S202中根据上述语音交互信息和图像交互信息来生成语音反馈信息和机器人动作信息。本实施例中，根据实际需要，上述机器人动作信息既可以包含机器人所需要表现的相关肢体动作信息，也可以包含机器人所需要表现的相关表情信息，抑或是其他合理的动作信息。
图3示出了本实施例中该方法生成语音反馈信息的具体实现流程示意图。如图3所示，该方法在步骤S301中首先会对所获取到的语音交互信息进行语音识别处理，从而将上述语音交互信息由声音信息转换为文本信息。在得到对应于上述语音信息的文本信息后，该方法会在步骤S302中进一步地对该文本信息进行自然语言处理，从而得到自然语言处理结果。本实施例中，该方法优选地对文本信息进行分词处理，从而得到该文本信息的分词处理结果。
在得到分词处理结果后，该方法会在步骤S303中根据上述分词处理结果判断各个分词的词性并得到语义解析结果，并在步骤S304中根据上述语义解析结果来生成多个候选语音反馈信息。对于这些候选语音反馈信息，该方法会分别计算各个语音反馈信息的评分(例如计算各个语音反馈信息与所获取到的语义交互信息的匹配度等)，并将评分最高的候选语音反馈信息作为所需要的语音反馈信息。
需要说明的是，在本发明的其他实施例中，该方法还可以根据步骤S201中所获取到的图像交互信息还可以包含用于表征当前交互环境的信息，因此该方法还可以根据上述图像交互信息来生成与交互环境相适应的推荐音乐信息，并根据该推荐音乐信息来生成语音反馈信息。
在此如图2所示，本实施例中，该方法会在步骤S202中根据语音交互信息来地生成用户情绪信息。一般来说，语音中的情感特征往往通过语音韵律的变化表现出来，语音情感的变化通常可以体现为语音特征参数的变化。例如，当用户处于高兴状态时，其通常表现为语速较快、音量较大；当用户处于悲伤状态时，其通常表现为语速缓慢、音量较小。基音是最常用的判定情感的语音特征，它能够反应超音段的信息。本实施例中，根据实际需要，该方法可以采用基频、能量、语速、共振峰频率、单个音节的持续时长、音节之间的停顿时间、线性预测系数、Mel倒谱系数等以及它们的变化形式(例如最大值、最小值、均值、范围以及变化量等)中的某一种或某几种来作为情感识别的特征参数。
需要指出的是，在本发明的其他实施例中，该方法还可以采用其他合理方式来根据所获取到的语音交互信息确定用户情绪信息，本发明不限于此。
本实施例中，在步骤S202中，该方法还会通过图像交互信息中所包含的人脸图像进行人脸识别，从而得到人脸表情信息。根据人脸表情信息，该方法能够确定出相应的用户情绪信息。例如，如果通过对人脸图像进行人脸识别所识别出的人脸表情信息为“哭泣”表情，那么该方法所确定出的用户情绪信息则可以为“悲伤”等。
结合基于语音交互信息所得到用户情绪信息和基于图像交互信息所得到的用户情绪信息，该方法可以得到更加准确的用户情绪信息。需要指出的是，在本发明的其他实施例中，该方法还可以仅根据语音交互信息或图像交互信息来确定用户情绪信息，本发明不限于此。
在得到用户情绪信息后，该方法会根据用户情绪信息确定出该用户情绪信息所对应的情绪编号。本实施例中，该方法优选地通过查询预先设定的情绪编号对应表的方式来确定出用户情绪信息所对应的情绪编号。当然，在本发明的其他实施例中，该方法还可以采用其他合理方式来确定出用户情绪信息所对应的情绪编号，本发明不限于此。
在得到用户情绪信息所对应的情绪编号后，该方法会根据用户情绪所对应的编号确定出机器人情绪所对应的编号，并根据机器人情绪所对应的编号来确定出该编号所对应的机器人情绪信息。在得到机器人情绪信息后，该方法会根据上述语义解析结果以及机器人情绪信息生成机器人动作信息。
再次如图2所示，在得到语音反馈信息和机器人动作信息后，该方法会在步骤S203中根据上述语音反馈信息和机器人动作信息生成全息投影数据，并在步骤S204中根据步骤S203中所生层的全息投影数据来进行全息投影从而生成机器人全息图像。其中，该方法所生成的机器人全息图像既能够根据全息投影数据中的相关机器人动作信息来呈现出相应的肢体动作和/或表情，也可以根据全息投影数据中的相关语音反馈信息来输出相应的语音。这样也就使得虚拟机器人3D化，并使得虚拟机器人能够具有比实体机器人更加丰富、生动、灵活的表情和动作，有助于提高用户的交互体验。
实施例二：
图4示出了本实施例所提供的人机交互方法的实现流程示意图。
如图4所示，本实施例所提供的人机交互方法首先在步骤S401中采集用户输入的语音交互信息和关于用户的图像交互信息。在得到语音交互信息和图像交互信息后，该方法会在步骤S401中根据上述步骤S401中所得到的语音交互信息和图像交互信息生成用户情绪信息。
需要指出的是，本实施例中，上述步骤S401以及步骤S402的具体实现原理以及过程与上述实施例一中步骤S201以及步骤S202所阐述的相关内容类似，故在此不再对步骤S401以及步骤S402的相关内容进行赘述。
在得到用户情绪信息后，如图4所示，本实施例中，该方法会在步骤S403中根据步骤S402中所得到的用户情绪信息生成相应的音频推荐信息和/或视频推荐信息。
具体地，本实施例中，该方法在得到用户情绪信息后，会根据用户情绪信息来确定出推荐音频类别和/或推荐视频类别，随后在上述推荐音频类别和/或推荐视频类别中选取音频推荐信息和/或视频推荐信息。
例如，如果该方法在步骤S402中所确定出的用户情绪信息为焦急情绪，那么该方法在步骤S403中可以从舒缓类别的音频中选取出推荐音频信息，以通过所选取的较为舒缓的音频来安抚用户的焦躁情绪。
需要指出的是，在本发明的其他实施例中，该方法还可以采用其他合理的方式来生成推荐音频信息和/或推荐视频信息，本发明不限于此。
在得到推荐音频信息和/或推荐视频信息后，本实施例中，该方法会在步骤S404中根据上述推荐音频信息和/或推荐视频信息生成全息投影数据。在步骤S405中，该方法会根据步骤S404中所生成的全息投影数据来进行全息投影，从而生成并输出相应的全息视频图像或音频。
本发明所提供的人机交互方法使得全息投影出的智能机器人同时具有语音交互、视觉交互以及环境交互的能力，其能够结合多个维度的信息与用户进行交互，从而使得用户能够得到更好的交互体验。
应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构或处理步骤，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。
说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。
虽然上述示例用于说明本发明在一个或多个应用中的原理，但对于本领域的技术人员来说，在不背离本发明的原理和思想的情况下，明显可以在形式上、用法及实施的细节上作各种修改而不用付出创造性劳动。因此，本发明由所附的权利要求书来限定。

Claims (9)

1.一种人机交互装置，其特征在于，包括：
语音交互信息采集设备，其用于采集用户输入的语音交互信息；
图像交互信息采集设备，其用于采集关于用户的图像交互信息；
云处理器，其与所述语音交互信息采集设备和图像交互信息采集设备通信，用于接收所述语音交互信息和图像交互信息并根据所述语音交互信息和图像交互信息生成语音反馈信息和机器人动作信息，根据所述语音反馈信息和机器人动作信息生成全息投影数据；
全息投影设备，其与所述云处理器通信，用于根据所述云处理器传输来的全息投影数据进行全息投影显示机器人全息图像，以通过所述机器人全息图像与用户进行交互。
2.如权利要求1所述的装置，其特征在于，所述全息投影设备包括：
语音信息输出模块，其用于根据所述全息投影数据输出相应的语音信息；
机器人投影模块，其用于根据所述全息投影数据生成相应的机器人投影。
3.如权利要求1或2所述的装置，其特征在于，所述云处理器根据所述图像交互信息生成与交互环境相适应的推荐音乐信息，并根据所述推荐音乐信息生成所述语音反馈信息。
4.如权利要求1～3中任一项所述的装置，其特征在于，所述云处理器根据所述语音交互信息和/或图像交互信息生成用户情绪信息，并根据所述用户情绪信息生成对应的机器人动作信息，根据所述机器人动作信息生成包含机器人动作的全息投影数据。
5.如权利要求4所述的装置，其特征在于，所述云处理器还根据所述用户情绪信息生成相应的音频或视频推荐信息，并根据所述音频或视频推荐信息生成所述全息投影数据。
6.一种人机交互方法，其特征在于，包括：
交互信息采集步骤，采集用户输入的语音交互信息和关于用户的图像交互信息；
全息投影数据生成步骤，根据所述语音交互信息和图像交互信息生成语音反馈信息和机器人动作，根据所述语音反馈信息和机器人动作生成全息投影数据；
全息投影步骤，根据所述全息投影数据进行全息投影显示机器人全息图像，以通过所述机器人全息图像与用户进行交互。
7.如权利要求6所述的方法，其特征在于，在所述全息投影数据生成步骤中，根据所述图像交互信息生成与交互环境相适应的推荐音乐信息，并根据所述推荐音乐信息生成所述语音反馈信息。
8.如权利要求6或7所述的方法，其特征在于，在所述全息投影数据生成步骤中，根据所述语音交互信息和/或图像交互信息生成用户情绪信息，并根据所述用户情绪信息生成对应的机器人动作信息，根据所述机器人动作信息生成包含机器人动作的全息投影数据。
9.如权利要求8所述的方法，其特征在于，在所述全息投影数据生成步骤中，还根据所述用户情绪信息生成相应的音频或视频推荐信息，并根据所述音频或视频推荐信息生成所述全息投影数据。
CN201710174393.1A 2017-03-22 2017-03-22 一种人机交互装置及方法 Pending CN106959839A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710174393.1A CN106959839A (zh) 2017-03-22 2017-03-22 一种人机交互装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710174393.1A CN106959839A (zh) 2017-03-22 2017-03-22 一种人机交互装置及方法

Publications (1)

Publication Number Publication Date
CN106959839A true CN106959839A (zh) 2017-07-18

Family

ID=59470365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710174393.1A Pending CN106959839A (zh) 2017-03-22 2017-03-22 一种人机交互装置及方法

Country Status (1)

Country Link
CN (1) CN106959839A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679519A (zh) * 2017-10-27 2018-02-09 北京光年无限科技有限公司 一种基于虚拟人的多模态交互处理方法及系统
CN108326855A (zh) * 2018-01-26 2018-07-27 上海器魂智能科技有限公司 一种机器人的交互方法、装置、设备以及存储介质
CN108762512A (zh) * 2018-08-17 2018-11-06 浙江核聚智能技术有限公司 人机交互装置、方法及系统
CN108877336A (zh) * 2018-03-26 2018-11-23 深圳市波心幻海科技有限公司 基于增强现实技术的教学方法、云服务平台和教学系统
CN108877347A (zh) * 2018-08-02 2018-11-23 安徽硕威智能科技有限公司 基于机器人投影功能的课堂实景再现交互式教学系统
CN109034011A (zh) * 2018-07-06 2018-12-18 成都小时代科技有限公司 一种将情感化设计应用在车主识别标签中的方法及系统
CN109040875A (zh) * 2018-08-27 2018-12-18 深圳普罗米修斯视觉技术有限公司 一种带智能音箱的全息通信系统
CN109101663A (zh) * 2018-09-18 2018-12-28 宁波众鑫网络科技股份有限公司 一种基于互联网的机器人对话系统
CN109241924A (zh) * 2018-09-18 2019-01-18 宁波众鑫网络科技股份有限公司 基于互联网的多平台信息交互系统
CN109256149A (zh) * 2018-08-09 2019-01-22 上海常仁信息科技有限公司 一种机器人的情感交流系统和方法
CN109531601A (zh) * 2019-01-21 2019-03-29 合肥市云联鸿达信息技术有限公司 一种儿童教育机器人
CN109857352A (zh) * 2017-11-30 2019-06-07 富泰华工业（深圳）有限公司 动画显示方法及人机交互装置
CN110309470A (zh) * 2019-05-14 2019-10-08 广东康云科技有限公司 一种基于空气成像的虚拟新闻主播系统及其实现方法
CN110309254A (zh) * 2018-03-01 2019-10-08 富泰华工业（深圳）有限公司 智能机器人与人机交互方法
CN111124198A (zh) * 2018-11-01 2020-05-08 广州汽车集团股份有限公司 动画播放、交互方法、装置、系统、计算机设备
CN111210577A (zh) * 2020-01-03 2020-05-29 深圳香蕉设计有限公司 一种节日主题虚拟化全息影像交互系统
CN115438212A (zh) * 2022-08-22 2022-12-06 蒋耘晨 一种影像投射系统、方法及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9044863B2 (en) * 2013-02-06 2015-06-02 Steelcase Inc. Polarized enhanced confidentiality in mobile camera applications
CN105427865A (zh) * 2015-11-04 2016-03-23 百度在线网络技术（北京）有限公司 基于人工智能的智能机器人的语音控制系统以及方法
CN105843118A (zh) * 2016-03-25 2016-08-10 北京光年无限科技有限公司 一种机器人交互方法及机器人系统
CN105988591A (zh) * 2016-04-26 2016-10-05 北京光年无限科技有限公司 一种面向智能机器人的动作控制方法及装置
CN205809530U (zh) * 2016-06-15 2016-12-14 钱志升 一种人机交互式全息投影系统
CN106462384A (zh) * 2016-06-29 2017-02-22 深圳狗尾草智能科技有限公司 基于多模态的智能机器人交互方法和智能机器人

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9044863B2 (en) * 2013-02-06 2015-06-02 Steelcase Inc. Polarized enhanced confidentiality in mobile camera applications
CN105427865A (zh) * 2015-11-04 2016-03-23 百度在线网络技术（北京）有限公司 基于人工智能的智能机器人的语音控制系统以及方法
CN105843118A (zh) * 2016-03-25 2016-08-10 北京光年无限科技有限公司 一种机器人交互方法及机器人系统
CN105988591A (zh) * 2016-04-26 2016-10-05 北京光年无限科技有限公司 一种面向智能机器人的动作控制方法及装置
CN205809530U (zh) * 2016-06-15 2016-12-14 钱志升 一种人机交互式全息投影系统
CN106462384A (zh) * 2016-06-29 2017-02-22 深圳狗尾草智能科技有限公司 基于多模态的智能机器人交互方法和智能机器人

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈宗海: "《系统仿真技术及其应用 第16卷》", 31 August 2015, 中国科学技术大学出版社 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679519A (zh) * 2017-10-27 2018-02-09 北京光年无限科技有限公司 一种基于虚拟人的多模态交互处理方法及系统
CN109857352A (zh) * 2017-11-30 2019-06-07 富泰华工业（深圳）有限公司 动画显示方法及人机交互装置
CN108326855A (zh) * 2018-01-26 2018-07-27 上海器魂智能科技有限公司 一种机器人的交互方法、装置、设备以及存储介质
CN110309254A (zh) * 2018-03-01 2019-10-08 富泰华工业（深圳）有限公司 智能机器人与人机交互方法
CN108877336A (zh) * 2018-03-26 2018-11-23 深圳市波心幻海科技有限公司 基于增强现实技术的教学方法、云服务平台和教学系统
CN109034011A (zh) * 2018-07-06 2018-12-18 成都小时代科技有限公司 一种将情感化设计应用在车主识别标签中的方法及系统
CN108877347A (zh) * 2018-08-02 2018-11-23 安徽硕威智能科技有限公司 基于机器人投影功能的课堂实景再现交互式教学系统
CN109256149A (zh) * 2018-08-09 2019-01-22 上海常仁信息科技有限公司 一种机器人的情感交流系统和方法
CN108762512A (zh) * 2018-08-17 2018-11-06 浙江核聚智能技术有限公司 人机交互装置、方法及系统
CN109040875A (zh) * 2018-08-27 2018-12-18 深圳普罗米修斯视觉技术有限公司 一种带智能音箱的全息通信系统
CN109241924A (zh) * 2018-09-18 2019-01-18 宁波众鑫网络科技股份有限公司 基于互联网的多平台信息交互系统
CN109101663A (zh) * 2018-09-18 2018-12-28 宁波众鑫网络科技股份有限公司 一种基于互联网的机器人对话系统
CN111124198A (zh) * 2018-11-01 2020-05-08 广州汽车集团股份有限公司 动画播放、交互方法、装置、系统、计算机设备
CN109531601A (zh) * 2019-01-21 2019-03-29 合肥市云联鸿达信息技术有限公司 一种儿童教育机器人
CN110309470A (zh) * 2019-05-14 2019-10-08 广东康云科技有限公司 一种基于空气成像的虚拟新闻主播系统及其实现方法
CN111210577A (zh) * 2020-01-03 2020-05-29 深圳香蕉设计有限公司 一种节日主题虚拟化全息影像交互系统
CN115438212A (zh) * 2022-08-22 2022-12-06 蒋耘晨 一种影像投射系统、方法及设备
CN115438212B (zh) * 2022-08-22 2023-03-31 蒋耘晨 一种影像投射系统、方法及设备

Similar Documents

Publication Publication Date Title
CN106959839A (zh) 一种人机交互装置及方法
Wu et al. Multimodal large language models: A survey
Hossain et al. An audio-visual emotion recognition system using deep learning fusion for a cognitive wireless framework
CN105843381B (zh) 用于实现多模态交互的数据处理方法及多模态交互系统
US20200035240A1 (en) Artificial Intelligence for Mitigating Effects of Long-Term Cognitive Conditions on Patient Interactions
CN109102809A (zh) 一种用于智能机器人的对话方法及系统
EP1083769B1 (en) Speech converting device and method
CN108000526A (zh) 用于智能机器人的对话交互方法及系统
CN106997243B (zh) 基于智能机器人的演讲场景监控方法及装置
CN105760362B (zh) 一种面向智能机器人的问答评价方法及装置
CN107728780A (zh) 一种基于虚拟机器人的人机交互方法及装置
CN106844587B (zh) 一种用于对话交互系统的数据处理方法及装置
CN108108340A (zh) 用于智能机器人的对话交互方法及系统
CN110299152A (zh) 人机对话的输出控制方法、装置、电子设备及存储介质
JP3670180B2 (ja) 補聴器
CN107038241A (zh) 具有情景分析功能的智能对话装置及方法
CN112214591A (zh) 一种对话预测的方法及装置
JP2022046731A (ja) 音声生成方法、装置、電子機器及び記憶媒体
CN111414506B (zh) 基于人工智能情绪处理方法、装置、电子设备及存储介质
CN109461435A (zh) 一种面向智能机器人的语音合成方法及装置
JP2019211754A (ja) ヒューマンマシンインタラクションに使用される方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体
Katayama et al. Situation-aware emotion regulation of conversational agents with kinetic earables
CN109885277A (zh) 人机交互设备、方法、系统和装置
CN109409255A (zh) 一种手语场景生成方法及装置
CN110825164A (zh) 基于儿童专用穿戴智能设备的交互方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170718

RJ01 Rejection of invention patent application after publication