CN104951077A - 基于人工智能的人机交互方法、装置和终端设备 - Google Patents

基于人工智能的人机交互方法、装置和终端设备 Download PDF

Info

Publication number
CN104951077A
CN104951077A CN201510355757.7A CN201510355757A CN104951077A CN 104951077 A CN104951077 A CN 104951077A CN 201510355757 A CN201510355757 A CN 201510355757A CN 104951077 A CN104951077 A CN 104951077A
Authority
CN
China
Prior art keywords
user
described user
information
intention
mentioned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510355757.7A
Other languages
English (en)
Inventor
李佳霖
景鲲
葛行飞
吴华
徐倩
王海峰
孙雯玉
吴甜
关岱松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201510355757.7A priority Critical patent/CN104951077A/zh
Publication of CN104951077A publication Critical patent/CN104951077A/zh
Priority to JP2015238074A priority patent/JP6625418B2/ja
Priority to EP15199221.1A priority patent/EP3109800A1/en
Priority to US14/965,936 priority patent/US20160379107A1/en
Priority to KR1020150180869A priority patent/KR20170000752A/ko
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Abstract

本发明提出一种基于人工智能的人机交互方法、装置和终端设备，该基于人工智能的人机交互方法包括：接收多模态的输入信号，所述多模态的输入信号包括用户输入的语音信号、图像信号和/或环境传感器信号；根据所述多模态的输入信号，确定所述用户的意图；对所述用户的意图进行处理，并将处理结果反馈给所述用户。本发明可以实现良好的人机交互功能，可以实现高功能高陪伴型的智能人机交互。

Description

基于人工智能的人机交互方法、装置和终端设备
技术领域
本发明涉及智能终端技术领域，尤其涉及一种基于人工智能的人机交互方法、装置和终端设备。
背景技术
随着中国社会呈现日趋老龄化、少子化和城市化的趋势，催生出以下问题：
1、年轻人工作压力日益增大，分身乏术，无法有充足的时间陪伴家里的老人和孩子；
2、父母与子女异地的情况日益普遍，家庭成员、亲人分居于不同的地点，家庭内的沟通成本大大增加，缺少亲密、有效和便捷的沟通方式；
3、年老的老人和年幼的孩子需要更多的情感关爱、沟通交流、教育、信息获取协助，而这些在孩子或父母不在家的情况下都很难获得；
4、年轻一代在外工作的时候，需要能够随时随地与自己的“家”(包括各种家电控制)、“家人”(包括上一辈的父母，下一代的孩子)进行联络，这种联络方式由于服务于家人之间，需要更低的使用门槛和更高的亲密度；
5、分居异地的家庭之间，需要一种更加紧密、便捷的联系手段，中国传统的家庭观念，让所有人都渴望能够在身不由己与家人分隔各地的同时，可以通过某种方式随时“团聚一堂”；
6、年老的老人和年幼的孩子都是重点需要日常看护、情感陪伴以及各种帮助的人群，而对于担负着“看护、陪伴、帮助、教育”职责的年轻一代却有着繁重的工作任务，无法陪伴在老人和孩子的身旁。
但是，现有技术中却没有提供针对上述问题的解决方案，无法进行高功能高陪伴型的智能人机交互，用户的需求无法得到满足，用户体验较差。
发明内容
本发明的目的旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种基于人工智能的人机交互方法。该方法可以实现良好的人机交互功能，可以实现高功能高陪伴型的智能人机交互。
本发明的第二个目的在于提出一种基于人工智能的人机交互装置。
本发明的第三个目的在于提出一种终端设备。
为了实现上述目的，本发明第一方面实施例的基于人工智能的人机交互方法，包括：接收多模态的输入信号，所述多模态的输入信号包括用户输入的语音信号、图像信号和/或环境传感器信号；根据所述多模态的输入信号，确定所述用户的意图；对所述用户的意图进行处理，并将处理结果反馈给所述用户。
本发明实施例的基于人工智能的人机交互方法，接收多模态的输入信号之后，根据上述多模态的输入信号，确定上述用户的意图，然后对上述用户的意图进行处理，并将处理结果反馈给上述用户，从而可以实现良好的人机交互功能，可以实现高功能高陪伴型的智能人机交互，进而可以提高用户体验。
为了实现上述目的，本发明第二方面实施例的基于人工智能的人机交互装置，包括：接收模块，用于接收多模态的输入信号，所述多模态的输入信号包括用户输入的语音信号、图像信号和/或环境传感器信号；意图判定模块，用于根据所述接收模块接收的多模态的输入信号，确定所述用户的意图；处理模块，用于对所述意图判定模块确定的所述用户的意图进行处理，并将处理结果反馈给所述用户。
本发明实施例的基于人工智能的人机交互装置，接收模块接收多模态的输入信号之后，意图判定模块根据上述多模态的输入信号，确定上述用户的意图，然后处理模块对上述用户的意图进行处理，并将处理结果反馈给上述用户，从而可以实现良好的人机交互功能，可以实现高功能高陪伴型的智能人机交互，进而可以提高用户体验。
为了实现上述目的，本发明第三方面实施例的终端设备，包括：接收器、处理器、存储器、电路板和电源电路，其中，所述电路板安置在壳体围成的空间内部，所述处理器和所述存储器设置在电路板上；所述电源电路，用于为所述终端设备的各个电路或器件供电；所述存储器用于存储可执行程序代码；所述接收器，用于接收多模态的输入信号，所述多模态的输入信号包括用户输入的语音信号、图像信号和/或环境传感器信号；所述处理器通过读取所述存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行以下步骤：根据所述多模态的输入信号，确定所述用户的意图；对所述用户的意图进行处理，并将处理结果反馈给所述用户。
本发明实施例的终端设备，接收器接收多模态的输入信号之后，处理器根据上述多模态的输入信号，确定上述用户的意图，然后对上述用户的意图进行处理，并将处理结果反馈给上述用户，从而可以实现良好的人机交互功能，可以实现高功能高陪伴型的智能人机交互，进而可以提高用户体验。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明基于人工智能的人机交互方法一个实施例的流程图；
图2为本发明基于人工智能的人机交互装置一个实施例的结构示意图；
图3为本发明基于人工智能的人机交互装置另一个实施例的结构示意图；
图4为本发明终端设备一个实施例的结构示意图；
图5为本发明智能机器人一个实施例的示意图；
图6为本发明智能机器人屏幕交互一个实施例的示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
为了解决现有技术中存在的无法进行高功能高陪伴型的智能人机交互的问题，本发明基于人工智能实现了高功能高陪伴型的智能人机交互，人工智能(ArtificialIntelligence，简称：AI)，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
人工智能是对人的意识、思维的信息过程的模拟。人工智能不是人的智能，但能像人那样思考，也可能超过人的智能。人工智能是包括十分广泛的科学，由不同的领域组成，如机器学习，计算机视觉等等，总的说来，人工智能研究的一个主要目标是使机器能够胜任一些通常需要人类智能才能完成的复杂工作。
图1为本发明基于人工智能的人机交互方法一个实施例的流程图，如图1所示，该基于人工智能的人机交互方法可以包括：
步骤101，接收多模态的输入信号，上述多模态的输入信号包括用户输入的语音信号、图像信号和/或环境传感器信号。
具体地，用户输入的语音信号可以是用户通过麦克风输入的；上述图像信号可以是通过摄像头输入的；上述环境传感器信号包括通过光传感器、温湿度传感器、有毒气体传感器、污染颗粒物传感器、触摸模块、地理位置定位模块和重力传感器中的一个或多个传感器输入的信号。
步骤102，根据上述多模态的输入信号，确定上述用户的意图。
步骤103，对上述用户的意图进行处理，并将处理结果反馈给上述用户。
具体地，将处理结果反馈给上述用户可以包括：将处理结果以图像、文本到声音、机器人肢体动作和/或机器人灯光反馈等方式反馈给用户，本实施例对处理结果的反馈方式不作限定。
本实施例的一种实现方式中，根据上述多模态的输入信号，确定上述用户的意图可以为：对上述用户输入的语音信号进行语音识别，根据语音识别的结果，结合图像信号和/或传感器信号确定上述用户的意图。
或者，根据上述多模态的输入信号，确定上述用户的意图可以为：对上述用户输入的语音信号进行语音识别，以及通过声源定位将显示屏转向上述用户所在的方向，通过摄像头辅助人脸识别功能识别上述用户的个人信息；根据语音识别的结果、上述用户的个人信息和保存的上述用户的偏好信息确定上述用户的意图。其中，上述用户的个人信息包括用户的姓名、年龄和性别等信息；上述用户的偏好信息包括用户日常的行为喜好等信息。
本实现方式中，对用户的意图进行处理，并将处理结果反馈给用户可以为：根据上述用户的意图在云端数据库中进行个性化数据匹配，获得适合上述用户的推荐信息，并将适合上述用户的推荐信息输出给上述用户。其中，将适合上述用户的推荐信息输出给上述用户可以为将适合上述用户的推荐信息语音播报给上述用户，或者，将适合上述用户的推荐信息以文本的形式显示在显示屏上，本实施例对将适合上述用户的推荐信息输出给上述用户的方式不作限定。
进一步地，上述推荐信息可以包括地址信息，则对上述用户的意图进行处理，并将处理结果反馈给用户可以为：获得从上述用户所在地至所述地址信息所指示的地点的交通路径，并根据上述用户的出行习惯，获得适合上述用户的出行方式，将上述出行方式推荐给上述用户。其中，将上述出行方式推荐给上述用户可以为将上述出行方式语音播报给上述用户，或者，将上述出行方式以文本的形式显示在显示屏上，本实施例对将上述出行方式推荐给上述用户的方式不作限定。
也就是说，本实施例可以实现与人进行多轮对话交流的功能，能够以自然语言、表情与人进行交流。具备有个性化学习的能力，能够通过连接智能云端服务器获得相关知识并有针对性地向用户提供。
场景举例：当家里的老人想要出去参加活动，而又不知道附近有什么好玩的活动的时候，如果没有本实施例提供的方法，按照寻常的解决方案，老人只能给孩子打电话咨询，或者出门去向邻居或居委会咨询。
但如果有了本实施例提供的方法，老人可以对能够实现本实施例提供的方法的终端设备，例如智能机器人说：“小度机器人，你知道附近有什么适合我的活动吗？”
智能机器人会通过声源定位将智能机器人的显示屏(例如：智能机器人的面部)转向老人所在的方向，通过高清摄像头辅助人脸识别功能准确识别说话者的个人信息，例如说话者的姓名、年龄和性别等，并根据说话者日常的行为喜好、年龄和性别等信息，确定说话者输入的语音的意图，然后根据输入的语音的意图在云端数据库中进行个性化数据匹配，筛选出最适合说话者的推荐信息，并将该推荐信息语音播报给上述说话者：“小度为您找到了一项您可能喜欢的活动：在距您800米的南湖公园今天下午2点将举办一场老年交谊舞会，您觉得怎么样？”，其中，该推荐信息中包括地址信息“南湖公园”。
如果用户回复：“太好了，我喜欢这个活动，我该怎么过去呢？”，接收到用户输入的语音之后，智能机器人可以对上述用户输入的语音进行语音识别，根据语音识别的结果确定用户的意图是想去“南湖公园”；则智能机器人会根据地理位置定位模块输入的信号确定用户所在的位置，并自动检索从用户所在的位置到南湖公园的交通路径，并根据上述用户日常的出行习惯，智能获得适合上述用户的出行方式，并将出行方式推荐给用户：“从这里到南湖公园，距离800米，预计步行时间15分钟，已经为您规划好步行地图路径。”
本实施例的另一种实现方式中，上述用户的意图包括时间信息，对上述用户的意图进行处理，并将处理结果反馈给上述用户可以为：根据用户的意图中的时间信息设置闹钟提醒信息，并将设置结果反馈给上述用户。其中，将设置结果反馈给用户可以为将设置结果语音播报给用户，或者将设置结果以文字的形式显示给用户，当然也可以采用其他反馈方式，本发明对此不作限定。
进一步地，将设置结果反馈给用户之后，还可以对用户进行提示，记录上述用户的留言信息，并在到达上述闹钟提醒信息的时刻时，进行闹钟提醒，播放上述用户的留言信息。
场景举例：早上7点，妈妈需要早起出差，家里的小朋友豆豆还在熟睡。在离开家的时候，妈妈对智能机器人说：“小度机器人，8点请帮我叫醒豆豆好吗？”接收到语音之后，智能机器人根据语音识别结果确定用户的意图中包括时间信息，于是智能机器人根据用户的意图中的时间信息设置闹钟提醒信息，并将设置结果反馈给上述用户，将设置结果反馈给用户之后，还可以对用户进行提示，于是智能机器人回答：“没问题，已经帮您设置好闹钟提醒，1个小时后，8点整将叫醒豆豆。请问豆豆起床后有什么留言需要转达吗？”
妈妈说：“谢谢小度，请转达豆豆，早餐已经给他做好了，放在微波炉里，今天是他的生日，祝他生日快乐！”这时，智能机器人记录用户的留言，并在到达上述闹钟提醒信息的时刻时，进行闹钟提醒，播放上述用户的留言信息。
本实施例的再一种实现方式中，接收多模态的输入信号之前，还可以接收用户关联的另一用户发送的多媒体信息，并提示用户是否播放多媒体信息。这里，提示用户是否播放多媒体信息，可以为语音提示，也可以为文字提示，或者也可以为其他提示方式，只要可以实现提示用户是否播放多媒体信息的功能即可。
如果上述用户的意图为同意播放上述多媒体信息，则对用户的意图进行处理可以为：播放用户关联的另一用户发送的多媒体信息。
进一步地，播放上述用户关联的另一用户发送的多媒体信息之后，还可以接收用户发送的语音，将上述语音发送给用户关联的另一用户。其中，将上述语音发送给用户关联的另一用户可以为：直接将语音发送给用户关联的另一用户所使用的智能终端安装的应用(Application；以下简称：App)中，或者将语音转化为文字发送到用户关联的另一用户所使用的智能终端安装的App中。
场景举例：中午12点，豆豆正在家里吃午饭。
智能机器人接收到了用户(豆豆)关联的另一用户(豆豆的妈妈)发送的多媒体信息(例如：视频信息)，这时智能机器人提示用户是否播放多媒体信息，于是智能机器人播报：“Hi，豆豆，小度收到了一条来自妈妈的视频信息，是否现在观看？”
豆豆回答：“请马上播放”。接收到豆豆输入的语音之后，智能机器人进行语音识别，根据语音识别结果确定用户的意图为同意播放上述视频信息。于是，智能机器人脸上的屏幕自动播放妈妈在出差的城市录制的生日祝福视频。
播放完妈妈发送的视频信息之后，还可以接收豆豆发送的语音：“小度，请回复妈妈，谢谢她的祝福，我爱她，祝她旅途顺利，早日回家！”
这时智能机器人会自动将豆豆的回复语音转化为文字，回复到妈妈的手机安装的App中。
本实施例的再一种实现方式中，用户的意图可以为请求播放多媒体信息；则对上述用户的意图进行处理，并将处理结果反馈给上述用户可以为：通过无线网络从云端服务器获取上述用户请求播放的多媒体信息，并播放获取的多媒体信息。
进一步地，接收多模态的输入信号之前，还可以接收上述用户关联的另一用户发送的通话请求，并提示上述用户是否接听通话。如果上述用户的意图为接听通话，则对用户的意图进行处理，并将处理结果反馈给上述用户可以为：将用户与上述用户关联的另一用户进行通话连接，在通话过程中，控制摄像头辨别上述用户中说话者的方位，并使摄像头转向说话者；在用户关联的另一用户通过上述另一用户使用的智能终端中安装的应用，点击上述另一用户关注的人脸之后，启动视频人脸追踪功能，使摄像头追踪上述另一用户关注的人脸。
场景举例：晚上9点，豆豆正在家里和小伙伴们举行生日晚会。
豆豆对智能机器人说：“小度，今天是我的生日，你给我们播放一首生日快乐歌吧！”智能机器人接收到上述语音之后，根据语音识别结果确定豆豆输入的语音的意图为请求播放多媒体信息(例如：音频信息“生日快乐歌”)。
于是智能机器人通过无线网络(Wireless Fidelity；以下简称：WiFi)智能从云端服务器搜索到生日快乐歌曲，并自动下载到本地进行播放，并向用户反馈处理结果：“没问题，马上开始播放”。
播放完成后，智能机器人接收到豆豆的妈妈发送的视频通话请求，于是智能机器人提醒豆豆：“收到一条视频通话请求，妈妈请求与豆豆进行视频通话，是否接听？”
豆豆：“请马上接听。”接收到豆豆输入的这条语音之后，智能机器人可以确定豆豆输入的这条语音的意图为接听通话，于是智能机器人连接远在他乡出差的妈妈使用的智能终端安装的App与智能机器人的高清视频摄像头，将妈妈与豆豆、小朋友们进行视频通话，在视频通话的过程中，智能机器人可以控制自身的摄像头自动辨别说话者的方位，并使摄像头转向说话者。在摄像头转动的过程中，智能的双摄像头镜头切换的算法能够保证摄像头画面稳定，不会出现晃动。妈妈还能够通过使用的智能终端中安装的App点击视频当中的人脸，启动视频人脸追踪的功能，使智能机器人的摄像头一直追踪妈妈想要关注的人脸。
也就是说，本实施例提供的基于人工智能的人机交互方法可以实现随时联系家人，具备全新的智能交互方式，实现上述方法的终端设备能够成为家人之间沟通、帮助、提醒的桥梁。
本实施例的再一种实现方式中，上述环境传感器信号用于指示所处环境的环境信息，则在接收多模态的输入信号之后，当上述环境信息包含的各项指标中存在超过预警阈值的指标时，进行危险报警，并输出处理危险的方式，以及打开摄像头进行摄像。其中，上述预警阈值可以针对上述环境信息的各项指标分别设置，本实施例对预警阈值的大小不作限定。
也就是说，上述基于人工智能的人机交互方法还可以保护家人免受伤害。
场景举例：实现本实施例提供的方法的终端设备，例如智能机器人搭载的PM2.5颗粒物传感器、有毒气体传感器和/或温湿度传感器等传感器能够获取智能机器人所处环境的环境信息，从而可以随时监控家居环境健康度。当上述环境信息包含的各项指标中存在超过预警阈值的指标时，例如：当家里发生有毒气体泄漏，如煤气泄漏时，会马上发出危险报警，通过语音进行危险警告，并告知危险处理方式，还将自动将危险情况发送到家人的手机，自动进入警戒状态，打开摄像头进行全屋摄像记录。
进一步地，还可以当上述环境信息包含的各项指标中存在达到状态转换阈值的指标时，通过智能家居控制平台控制上述达到状态转换阈值的指标所对应的家居电器的状态，从而可以实现对家居电器的管理。其中，上述状态转换阈值同样可以针对上述环境信息的各项指标分别设置，本实施例对预警阈值的大小不作限定。
场景举例：实现本实施例提供的方法的终端设备，例如智能机器人搭载的PM2.5颗粒物传感器、有毒气体传感器和/或温湿度传感器等传感器能够获取智能机器人所处环境的环境信息，例如：家里的空气质量情况和温湿度情况等。当空气质量变差，达到空气质量的状态转换阈值时，智能机器人将自动通过蓝牙智能家居控制平台打开空气净化器；当房间里温度过高，或者过低，达到温度的状态转换阈值时，将自动启动空调；当家里人没人而又忘记关灯，达到电灯的状态转换阈值时，会自动关闭电灯。
本实施例的再一种实现方式中，上述用户的意图为获得问题的答案；则对上述用户的意图进行处理，并将处理结果反馈给上述用户可以为：对用户输入的语音所包含的问题进行搜索，获得上述问题对应的答案，并将上述答案输出给用户。其中，将上述答案输出给用户可以为将上述答案语音播报给用户，也可以为将上述答案以文本的形式显示给用户。
进一步地，将上述答案输出给用户之后，还可以获得用户输入的语音所包含的问题关联的推荐信息，将上述推荐信息输出给用户。其中，将上述推荐信息输出给用户可以为将上述推荐信息语音播报给用户，也可以为将上述推荐信息以文本的形式显示给用户。
场景举例：在学习成长阶段的小朋友对整个世界总是充满探索的好奇心，小朋友经常会问家里的爸爸妈妈：“这个是什么？”或者“这个为什么？”的问题。在没有实现本实施例提供的基于人工智能的人机交互方法的终端设备，例如智能机器人的情况下，家长们由于自己的知识面原因，经常回答不上来，要么会抓耳挠腮无法回答，要么只能打开电脑进行相关搜索，又慢又不方便。而如果有智能机器人的陪伴，小朋友能够直接将自己各种各样的问题随时问智能机器人：“小度，为什么叶子都是绿色的呢？”接收到小朋友输入的上述语音之后，智能机器人会对上述语音进行语音识别，根据语音识别的结果确定小朋友输入上述语音的意图为获得问题的答案，于是智能机器人会立即对小朋友输入的语音中所包含的问题进行云端的智能搜索，从海量的互联网信息当中筛选出最优结果，并将答案语音播报给小朋友：“叶子是绿色的，是因为叶绿素的存在。叶绿素，是存在于植物细胞叶绿体中的一种重要的绿色色素，它能够利用水、空气以及阳光来制造植物所需要的养分。而叶绿素是绿色的，所以植物的叶子也就是绿色的了。”
在回答了小朋友的问题之后，智能机器人还可以获得小朋友输入的语音所包含的问题关联的推荐信息，将上述推荐信息输出给小朋友，具体地，智能机器人还会自动根据小朋友所提的上述问题进行发散性的教育和启发：“了解了叶绿素之后，豆豆你知道为什么叶子到了秋天会枯萎吗？”……
其他的教育场景还有各种例如帮助小朋友认字、认英语单词、给小朋友讲故事等等。
在小朋友3-5岁语言快速发展不停需要与人对话的成长过程中，智能机器人还能够一整天不间断地陪小朋友聊天，帮助小朋友语言系统的成长。有了智能机器人的陪伴，儿童教育将会进入一个全新的时代。
上述基于人工智能的人机交互方法中，接收多模态的输入信号之后，根据上述多模态的输入信号，确定上述用户的意图，然后对上述用户的意图进行处理，并将处理结果反馈给上述用户，从而可以实现良好的人机交互功能，可以实现高功能高陪伴型的智能人机交互，进而可以提高用户体验。
图2为本发明基于人工智能的人机交互装置一个实施例的结构示意图，本实施例中的基于人工智能的人机交互装置可以作为终端设备，或终端设备的一部分实现本发明图1所示实施例的流程，如图2所示，上述基于人工智能的人机交互装置可以包括：接收模块21、意图判定模块22和处理模块23；
其中，接收模块21，用于接收多模态的输入信号，上述多模态的输入信号包括用户输入的语音信号、图像信号和/或环境传感器信号。
具体地，用户输入的语音信号可以是用户通过麦克风输入的；上述图像信号可以是通过摄像头输入的；上述环境传感器信号包括通过光传感器、温湿度传感器、有毒气体传感器、污染颗粒物传感器、触摸模块、地理位置定位模块和重力传感器中的一个或多个传感器输入的信号。
意图判定模块22，用于根据接收模块21接收的多模态的输入信号，确定所述用户的意图。
处理模块23，用于对意图判定模块22确定的上述用户的意图进行处理，并将处理结果反馈给所述用户。
具体地，处理模块23将处理结果反馈给上述用户可以包括：处理模块23将处理结果以图像、文本到声音、机器人肢体动作和/或机器人灯光反馈等方式反馈给用户，本实施例对处理结果的反馈方式不作限定。
本实施例的一种实现方式中，意图判定模块22，具体用于对上述用户输入的语音信号进行语音识别，根据语音识别的结果结合图像信号和/或传感器信号确定上述用户的意图。
或者，意图判定模块22，具体用于对上述用户输入的语音信号进行语音识别，以及通过声源定位将显示屏转向用户所在的方向，通过摄像头辅助人脸识别功能识别上述用户的个人信息；根据语音识别的结果、上述用户的个人信息和保存的上述用户的偏好信息确定上述用户的意图。其中，上述用户的个人信息包括用户的姓名、年龄和性别等信息；上述用户的偏好信息包括用户日常的行为喜好等信息。
本实现方式中，处理模块23，具体用于根据上述用户的意图在云端数据库中进行个性化数据匹配，获得适合上述用户的推荐信息，并将适合上述用户的推荐信息输出给上述用户。其中，将适合上述用户的推荐信息输出给上述用户可以为处理模块23将适合上述用户的推荐信息语音播报给上述用户，或者，将适合上述用户的推荐信息以文本的形式显示在显示屏上，本实施例对处理模块23将适合上述用户的推荐信息输出给上述用户的方式不作限定。
进一步地，上述推荐信息可以包括地址信息，则处理模块23，具体用于获得从上述用户所在地至上述地址信息所指示的地点的交通路径，并根据上述用户的出行习惯，获得适合上述用户的出行方式，将上述出行方式推荐给上述用户。其中，处理模块23将上述出行方式推荐给上述用户可以为处理模块23将上述出行方式语音播报给上述用户，或者，将上述出行方式以文本的形式显示在显示屏上，本实施例对处理模块23将上述出行方式推荐给上述用户的方式不作限定。
也就是说，本实施例的人机交互装置可以实现与人进行多轮对话交流的功能，能够以自然语言、表情与人进行交流。具备有个性化学习的能力，能够通过连接智能云端服务器获得相关知识并有针对性地向用户提供。
场景举例：当家里的老人想要出去参加活动，而又不知道附近有什么好玩的活动的时候，如果没有本实施例提供的装置，按照寻常的解决方案，老人只能给孩子打电话咨询，或者出门去向邻居或居委会咨询。
但如果有了本实施例提供的人机交互装置，老人可以对本实施例提出的人机交互装置说：“小度机器人，你知道附近有什么适合我的活动吗？”
接收模块21接收到上述语音之后，意图判定模块22会通过声源定位将显示屏(例如：智能机器人的面部)转向老人所在的方向，通过高清摄像头辅助人脸识别功能准确识别说话者的个人信息，例如说话者的姓名、年龄和性别等，并根据说话者日常的行为喜好、年龄和性别等信息，确定说话者输入的语音的意图，然后处理模块23根据输入的语音的意图在云端数据库中进行个性化数据匹配，筛选出最适合说话者的推荐信息，并将该推荐信息语音播报给上述说话者：“小度为您找到了一项您可能喜欢的活动：在距您800米的南湖公园今天下午2点将举办一场老年交谊舞会，您觉得怎么样？”，其中，该推荐信息中包括地址信息“南湖公园”。
如果用户回复：“太好了，我喜欢这个活动，我该怎么过去呢？”，接收到用户输入的语音之后，意图判定模块22可以对上述用户输入的语音进行语音识别，根据语音识别的结果确定用户的意图是想去“南湖公园”；则处理模块23会根据地理位置定位模块输入的信号确定用户所在的位置，并自动检索从用户所在的位置到南湖公园的交通路径，并根据上述用户日常的出行习惯，智能获得适合上述用户的出行方式，并将出行方式推荐给用户：“从这里到南湖公园，距离800米，预计步行时间15分钟，已经为您规划好步行地图路径。”
图3为本发明人机交互装置另一个实施例的结构示意图，与图2所示的人机交互装置相比，不同之处在于，图3所示的人机交互装置还可以包括：提示模块24和记录模块25；
本实施例的一种实现方式中，上述用户的意图包括时间信息，处理模块23，具体用于根据上述用户的意图中的时间信息设置闹钟提醒信息，并将设置结果反馈给上述用户。其中，处理模块23将设置结果反馈给用户可以为处理模块23将设置结果语音播报给用户，或者处理模块23将设置结果以文字的形式显示给用户，当然也可以采用其他反馈方式，本发明对此不作限定。
提示模块24，用于在处理模块23将设置结果反馈给所述用户之后，对所述用户进行提示；
记录模块25，用于记录上述用户的留言信息；
提示模块24，还用于在到达上述闹钟提醒信息的时刻时，进行闹钟提醒；
处理模块23，还用于播放记录模块25记录的用户的留言信息。
场景举例：早上7点，妈妈需要早起出差，家里的小朋友豆豆还在熟睡。在离开家的时候，妈妈对人机交互装置说：“小度机器人，8点请帮我叫醒豆豆好吗？”接收模块21接收到语音之后，意图判定模块22根据语音识别结果确定用户的意图中包括时间信息，于是处理模块23根据用户的意图中的时间信息设置闹钟提醒信息，并将设置结果反馈给上述用户，将设置结果反馈给用户之后，提示模块24还可以对用户进行提示，于是回答：“没问题，已经帮您设置好闹钟提醒，1个小时后，8点整将叫醒豆豆。请问豆豆起床后有什么留言需要转达吗？”
妈妈说：“谢谢小度，请转达豆豆，早餐已经给他做好了，放在微波炉里，今天是他的生日，祝他生日快乐！”这时，记录模块25记录用户的留言，并由提示模块24在到达上述闹钟提醒信息的时刻时，进行闹钟提醒，由处理模块23播放上述用户的留言信息。
本实施例的另一种实现方式中，接收模块21，还用于在接收多模态的输入信号之前，接收上述用户关联的另一用户发送的多媒体信息；
提示模块24，用于提示上述用户是否播放上述多媒体信息。这里，提示模块24提示用户是否播放多媒体信息，可以为语音提示，也可以为文字提示，或者也可以为其他提示方式，只要可以实现提示用户是否播放多媒体信息的功能即可。
如果上述用户的意图为同意播放上述多媒体信息；则处理模块23，具体用于播放上述用户关联的另一用户发送的多媒体信息。
进一步地，上述人机交互装置还可以包括：发送模块26；
接收模块21，还用于在处理模块23播放上述用户关联的另一用户发送的多媒体信息之后，接收上述用户发送的语音；
发送模块26，用于将接收模块21接收的语音发送给上述用户关联的另一用户。其中，发送模块26将上述语音发送给用户关联的另一用户可以为：发送模块26直接将语音发送给用户关联的另一用户所使用的智能终端安装的App中，或者将语音转化为文字发送到用户关联的另一用户所使用的智能终端安装的App中。
场景举例：中午12点，豆豆正在家里吃午饭。
接收模块21接收到了用户(豆豆)关联的另一用户(豆豆的妈妈)发送的多媒体信息(例如：视频信息)，这时提示模块24提示用户是否播放多媒体信息，于是播报：“Hi，豆豆，小度收到了一条来自妈妈的视频信息，是否现在观看？”
豆豆回答：“请马上播放”。接收模块21接收到豆豆输入的语音之后，意图判定模块22进行语音识别，根据语音识别结果确定用户的意图为同意播放上述视频信息。于是，处理模块23在显示屏上自动播放妈妈在出差的城市录制的生日祝福视频。
播放完妈妈发送的视频信息之后，接收模块21还可以接收豆豆发送的语音：“小度，请回复妈妈，谢谢她的祝福，我爱她，祝她旅途顺利，早日回家！”
这时发送模块26会自动将豆豆的回复语音转化为文字，回复到妈妈的手机安装的App中。
本实施例的再一种实现方式中，用户的意图可以为请求播放多媒体信息；则处理模块23，具体用于通过无线网络从云端服务器获取上述用户请求播放的多媒体信息，并播放获取的多媒体信息。
进一步地，接收模块21，还用于在接收多模态的输入信号之前，接收上述用户关联的另一用户发送的通话请求；
提示模块24，用于提示上述用户是否接听通话。
如果上述用户的意图为接听通话，则处理模块23，具体用于将上述用户与上述用户关联的另一用户进行通话连接，在通话过程中，控制摄像头辨别上述用户中说话者的方位，并使上述摄像头转向说话者；在上述用户关联的另一用户通过上述另一用户使用的智能终端中安装的应用，点击上述另一用户关注的人脸之后，启动视频人脸追踪功能，使上述摄像头追踪上述另一用户关注的人脸。
场景举例：晚上9点，豆豆正在家里和小伙伴们举行生日晚会。
豆豆对智能机器人说：“小度，今天是我的生日，你给我们播放一首生日快乐歌吧！”接收模块21接收到上述语音之后，意图判定模块22根据语音识别结果确定豆豆输入的语音的意图为请求播放多媒体信息(例如：音频信息“生日快乐歌”)。
于是处理模块23通过WiFi智能从云端服务器搜索到生日快乐歌曲，并自动下载到本地进行播放，并向用户反馈处理结果：“没问题，马上开始播放”。
播放完成后，接收模块21接收到豆豆的妈妈发送的视频通话请求，于是提示模块24提醒豆豆：“收到一条视频通话请求，妈妈请求与豆豆进行视频通话，是否接听？”
豆豆：“请马上接听。”接收模块21接收到豆豆输入的这条语音之后，意图判定模块22可以确定豆豆输入的这条语音的意图为接听通话，于是处理模块23连接远在他乡出差的妈妈使用的智能终端安装的App与智能机器人的高清视频摄像头，将妈妈与豆豆、小朋友们进行视频通话，在视频通话的过程中，处理模块23可以控制自身的摄像头自动辨别说话者的方位，并使摄像头转向说话者。在摄像头转动的过程中，智能的双摄像头镜头切换的算法能够保证摄像头画面稳定，不会出现晃动。妈妈还能够通过使用的智能终端中安装的App点击视频当中的人脸，启动视频人脸追踪的功能，使智能机器人的摄像头一直追踪妈妈想要关注的人脸。
也就是说，本实施例提供的人机交互装置可以实现随时联系家人，具备全新的智能交互方式，实现上述方法的终端设备能够成为家人之间沟通、帮助、提醒的桥梁。
本实施例的再一种实现方式中，上述环境传感器信号用户指示所处环境的环境信息；
处理模块23，还用于当上述环境信息包含的各项指标中存在超过预警阈值的指标时，进行危险报警，并输出处理危险的方式，以及打开摄像头进行摄像。其中，上述预警阈值可以针对上述环境信息的各项指标分别设置，本实施例对预警阈值的大小不作限定。
也就是说，上述人机交互装置还可以保护家人免受伤害。
场景举例：人机交互装置中的传感器可以包括PM2.5颗粒物传感器、有毒气体传感器和/或温湿度传感器等传感器，上述传感器的信号用于指示智能机器人所处环境的环境信息，从而可以随时监控家居环境健康度。当上述环境信息包含的各项指标中存在超过预警阈值的指标时，例如：当家里发生有毒气体泄漏，如煤气泄漏时，处理模块23会马上发出危险报警，通过语音进行危险警告，并告知危险处理方式，还将自动将危险情况发送到家人的手机，自动进入警戒状态，打开摄像头进行全屋摄像记录。
进一步地，处理模块23，还用于当上述环境信息包含的各项指标中存在达到状态转换阈值的指标时，通过智能家居控制平台控制上述达到状态转换阈值的指标所对应的家居电器的状态，从而可以实现对家居电器的管理。其中，上述状态转换阈值同样可以针对上述环境信息的各项指标分别设置，本实施例对预警阈值的大小不作限定。
场景举例：上述人机交互装置中的传感器可以包括PM2.5颗粒物传感器、有毒气体传感器和/或温湿度传感器等传感器，上述传感器的信号用于指示所处环境的环境信息，例如：家里的空气质量情况和温湿度情况等。当空气质量变差，达到空气质量的状态转换阈值时，处理模块23将自动通过蓝牙智能家居控制平台打开空气净化器；当房间里温度过高，或者过低，达到温度的状态转换阈值时，处理模块23将自动启动空调；当家里人没人而又忘记关灯，达到电灯的状态转换阈值时，处理模块23会自动关闭电灯。
本实施例的再一种实现方式中，上述用户的意图为获得问题的答案；则处理模块23，具体用于对上述用户输入的语音所包含的问题进行搜索，获得上述问题对应的答案，并将上述答案输出给用户。其中，处理模块23将上述答案输出给用户可以为将上述答案语音播报给用户，也可以为将上述答案以文本的形式显示给用户。
进一步地，处理模块23，还用于将上述答案输出给上述用户之后，获得上述用户输入的语音所包含的问题关联的推荐信息，将上述推荐信息输出给用户。其中，处理模块23将上述推荐信息输出给用户可以为将上述推荐信息语音播报给用户，也可以为将上述推荐信息以文本的形式显示给用户。
场景举例：在学习成长阶段的小朋友对整个世界总是充满探索的好奇心，小朋友经常会问家里的爸爸妈妈：“这个是什么？”或者“这个为什么？”的问题。在没有本实施例提供的人机交互装置的情况下，家长们由于自己的知识面原因，经常回答不上来，要么会抓耳挠腮无法回答，要么只能打开电脑进行相关搜索，又慢又不方便。而如果有本实施例提供的人机交互装置，小朋友能够直接将自己各种各样的问题随时问人机交互装置：“小度，为什么叶子都是绿色的呢？”接收模块21接收到小朋友输入的上述语音之后，意图判定模块22会对上述语音进行语音识别，根据语音识别的结果确定小朋友输入上述语音的意图为获得问题的答案，于是处理模块23会立即对小朋友输入的语音中所包含的问题进行云端的智能搜索，从海量的互联网信息当中筛选出最优结果，并将答案语音播报给小朋友：“叶子是绿色的，是因为叶绿素的存在。叶绿素，是存在于植物细胞叶绿体中的一种重要的绿色色素，它能够利用水、空气以及阳光来制造植物所需要的养分。而叶绿素是绿色的，所以植物的叶子也就是绿色的了。”
在回答了小朋友的问题之后，处理模块23还可以获得小朋友输入的语音所包含的问题关联的推荐信息，将上述推荐信息输出给小朋友，具体地，处理模块23还会自动根据小朋友所提的上述问题进行发散性的教育和启发：“了解了叶绿素之后，豆豆你知道为什么叶子到了秋天会枯萎吗？”……
其他的教育场景还有各种例如帮助小朋友认字、认英语单词、给小朋友讲故事等等。
在小朋友3-5岁语言快速发展不停需要与人对话的成长过程中，智能机器人还能够一整天不间断地陪小朋友聊天，帮助小朋友语言系统的成长。有了智能机器人的陪伴，儿童教育将会进入一个全新的时代。
上述基于人工智能的人机交互装置中，接收模块21接收多模态的输入信号之后，根据上述多模态的输入信号，意图判定模块22确定上述用户的意图，然后处理模块23对上述用户的意图进行处理，并将处理结果反馈给上述用户，从而可以实现良好的人机交互功能，可以实现高功能高陪伴型的智能人机交互，进而可以提高用户体验。
图4为本发明终端设备一个实施例的结构示意图，本实施例中的终端设备可以实现本发明图1所示实施例的流程，如图4所示，该终端设备可以包括：接收器41、处理器42、存储器43、电路板44和电源电路45，其中，电路板44安置在壳体围成的空间内部，处理器42和存储器43设置在电路板44上；电源电路45，用于为上述终端设备的各个电路或器件供电；存储器43用于存储可执行程序代码；
接收器41，用于接收多模态的输入信号，上述多模态的输入信号包括用户输入的语音信号、图像信号和/或环境传感器信号。
具体地，用户输入的语音信号可以是用户通过麦克风输入的；上述图像信号可以是通过摄像头输入的；上述环境传感器信号包括通过光传感器、温湿度传感器、有毒气体传感器、污染颗粒物传感器、触摸模块、地理位置定位模块和重力传感器中的一个或多个传感器输入的信号。
处理器42通过读取存储器43中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行以下步骤：根据上述多模态的输入信号，确定上述用户的意图；对上述用户的意图进行处理，并将处理结果反馈给上述用户。
具体地，处理器42将处理结果反馈给上述用户可以包括：处理器42将处理结果以图像、文本到声音、机器人肢体动作和/或机器人灯光反馈等方式反馈给用户，本实施例对处理结果的反馈方式不作限定。
本实施例的一种实现方式中，处理器42，具体用于对上述用户输入的语音进行语音识别，根据语音识别的结果，结合图像信号和/或传感器信号确定上述用户的意图。
或者，上述终端设备还可以包括摄像头46；处理器42，具体用于对上述用户输入的语音进行语音识别，以及通过声源定位将显示屏转向上述用户所在的方向，通过摄像头46辅助人脸识别功能识别上述用户的个人信息；根据语音识别的结果、上述用户的个人信息和保存的上述用户的偏好信息确定上述用户的意图。其中，上述用户的个人信息包括用户的姓名、年龄和性别等信息；上述用户的偏好信息包括用户日常的行为喜好等信息。
本实现方式中，处理器42，具体用于根据上述用户的意图在云端数据库中进行个性化数据匹配，获得适合上述用户的推荐信息，并将适合上述用户的推荐信息输出给上述用户。其中，处理器42将适合上述用户的推荐信息输出给上述用户可以为将适合上述用户的推荐信息语音播报给上述用户，或者，将适合上述用户的推荐信息以文本的形式显示在显示屏上，本实施例对将适合上述用户的推荐信息输出给上述用户的方式不作限定。
进一步地，上述推荐信息可以包括地址信息，处理器42，具体用于获得从上述用户所在地至上述地址信息所指示的地点的交通路径，并根据上述用户的出行习惯，获得适合上述用户的出行方式，将上述出行方式推荐给上述用户。其中，处理器42将上述出行方式推荐给上述用户可以为将上述出行方式语音播报给上述用户，或者，将上述出行方式以文本的形式显示在显示屏上，本实施例对将上述出行方式推荐给上述用户的方式不作限定。
也就是说，本实施例中的终端设备可以实现与人进行多轮对话交流的功能，能够以自然语言、表情与人进行交流。具备有个性化学习的能力，能够通过连接智能云端服务器获得相关知识并有针对性地向用户提供。
场景举例：当家里的老人想要出去参加活动，而又不知道附近有什么好玩的活动的时候，如果没有本实施例提供的终端设备，按照寻常的解决方案，老人只能给孩子打电话咨询，或者出门去向邻居或居委会咨询。
但如果有了本实施例提供的终端设备，老人可以对终端设备说：“小度机器人，你知道附近有什么适合我的活动吗？”
接收器41接收到上述语音之后，处理器42会通过声源定位将终端设备的显示屏(例如：智能机器人的面部)转向老人所在的方向，通过高清摄像头46辅助人脸识别功能准确识别说话者的个人信息，例如说话者的姓名、年龄和性别等，并根据说话者日常的行为喜好、年龄和性别等信息，确定说话者输入的语音的意图，然后根据输入的语音的意图在云端数据库中进行个性化数据匹配，筛选出最适合说话者的推荐信息，并将该推荐信息语音播报给上述说话者：“小度为您找到了一项您可能喜欢的活动：在距您800米的南湖公园今天下午2点将举办一场老年交谊舞会，您觉得怎么样？”，其中，该推荐信息中包括地址信息“南湖公园”。
如果用户回复：“太好了，我喜欢这个活动，我该怎么过去呢？”，接收器41接收到用户输入的语音之后，处理器42可以对上述用户输入的语音进行语音识别，根据语音识别的结果确定用户的意图是想去“南湖公园”；则处理器42会根据地理位置定位模块输入的信号确定用户所在的位置，并自动检索从用户所在的位置到南湖公园的交通路径，并根据上述用户日常的出行习惯，智能获得适合上述用户的出行方式，并将出行方式推荐给用户：“从这里到南湖公园，距离800米，预计步行时间15分钟，已经为您规划好步行地图路径。”
本实施例的另一种实现方式中，上述用户的意图可以包括时间信息，处理器42，具体用于根据上述用户的意图中的时间信息设置闹钟提醒信息，并将设置结果反馈给上述用户。其中，处理器42将设置结果反馈给用户可以为处理器42将设置结果语音播报给用户，或者将设置结果以文字的形式显示给用户，当然也可以采用其他反馈方式，本发明对此不作限定。
进一步地，处理器42，还用于在将设置结果反馈给用户之后，对上述用户进行提示，记录上述用户的留言信息，并在到达上述闹钟提醒信息的时刻时，进行闹钟提醒，播放上述用户的留言信息。
场景举例：早上7点，妈妈需要早起出差，家里的小朋友豆豆还在熟睡。在离开家的时候，妈妈对终端设备说：“小度机器人，8点请帮我叫醒豆豆好吗？”接收器41接收到语音之后，处理器42可以根据语音识别结果确定用户的意图中包括时间信息，于是处理器42根据用户的意图中的时间信息设置闹钟提醒信息，并将设置结果反馈给上述用户，将设置结果反馈给用户之后，还可以对用户进行提示，于是回答：“没问题，已经帮您设置好闹钟提醒，1个小时后，8点整将叫醒豆豆。请问豆豆起床后有什么留言需要转达吗？”
妈妈说：“谢谢小度，请转达豆豆，早餐已经给他做好了，放在微波炉里，今天是他的生日，祝他生日快乐！”这时，处理器42记录用户的留言，并在到达上述闹钟提醒信息的时刻时，进行闹钟提醒，播放上述用户的留言信息。
本实施例的再一种实现方式中，接收器41，还用于在接收多模态的输入信号之前，接收上述用户关联的另一用户发送的多媒体信息；
处理器42，还用于提示上述用户是否播放上述多媒体信息。这里，处理器42提示用户是否播放多媒体信息，可以为语音提示，也可以为文字提示，或者也可以为其他提示方式，只要可以实现提示用户是否播放多媒体信息的功能即可。
如果上述用户的意图为同意播放所述多媒体信息，则处理器42，具体用于播放上述用户关联的另一用户发送的多媒体信息。
进一步地，上述终端设备还可以包括：发送器47；
接收器41，还用于在处理器42播放上述用户关联的另一用户发送的多媒体信息之后，接收上述用户发送的语音；
发送器47，用于将上述语音发送给上述用户关联的另一用户。其中，发送器47将上述语音发送给用户关联的另一用户可以为：发送器47直接将语音发送给用户关联的另一用户所使用的智能终端安装的App中，或者将语音转化为文字发送到用户关联的另一用户所使用的智能终端安装的App中。
场景举例：中午12点，豆豆正在家里吃午饭。
接收器41接收到了用户(豆豆)关联的另一用户(豆豆的妈妈)发送的多媒体信息(例如：视频信息)，这时处理器42提示用户是否播放多媒体信息，于是播报：“Hi，豆豆，小度收到了一条来自妈妈的视频信息，是否现在观看？”
豆豆回答：“请马上播放”。接收器41接收到豆豆输入的语音之后，处理器42进行语音识别，根据语音识别结果确定用户的意图为同意播放上述视频信息。于是，处理器42通过显示屏自动播放妈妈在出差的城市录制的生日祝福视频。
播放完妈妈发送的视频信息之后，接收器41还可以接收豆豆发送的语音：“小度，请回复妈妈，谢谢她的祝福，我爱她，祝她旅途顺利，早日回家！”
这时发送器47会自动将豆豆的回复语音转化为文字，回复到妈妈的手机安装的App中。
本实施例的再一种实现方式中，用户的意图可以为请求播放多媒体信息；这时，处理器42，具体用于通过无线网络从云端服务器获取上述用户请求播放的多媒体信息，并播放获取的多媒体信息。
进一步地，接收器41，还用于在接收多模态的输入信号之前，接收上述用户关联的另一用户发送的通话请求；
处理器42，还用于提示上述用户是否接听通话。
如果上述用户的意图为接听通话，则处理器42，具体用于将用户与上述用户关联的另一用户进行通话连接，在通话过程中，控制摄像头辨别上述用户中说话者的方位，并使摄像头46转向说话者；在上述用户关联的另一用户通过上述另一用户使用的智能终端中安装的应用，点击该另一用户关注的人脸之后，启动视频人脸追踪功能，使摄像头46追踪上述另一用户关注的人脸。
场景举例：晚上9点，豆豆正在家里和小伙伴们举行生日晚会。
豆豆对终端设备说：“小度，今天是我的生日，你给我们播放一首生日快乐歌吧！”接收器41接收到上述语音之后，处理器42根据语音识别结果确定豆豆输入的语音的意图为请求播放多媒体信息(例如：音频信息“生日快乐歌”)。
于是处理器42通过WiFi智能从云端服务器搜索到生日快乐歌曲，并自动下载到本地进行播放，并向用户反馈处理结果：“没问题，马上开始播放”。
播放完成后，接收器41接收到豆豆的妈妈发送的视频通话请求，于是处理器42提醒豆豆：“收到一条视频通话请求，妈妈请求与豆豆进行视频通话，是否接听？”
豆豆：“请马上接听。”接收器41接收到豆豆输入的这条语音之后，处理器42可以确定豆豆输入的这条语音的意图为接听通话，于是处理器42连接远在他乡出差的妈妈使用的智能终端安装的App与智能机器人的高清视频摄像头，将妈妈与豆豆、小朋友们进行视频通话，在视频通话的过程中，处理器42可以控制自身的摄像头46自动辨别说话者的方位，并使摄像头46转向说话者。在摄像头46转动的过程中，智能的双摄像头镜头切换的算法能够保证摄像头画面稳定，不会出现晃动。妈妈还能够通过使用的智能终端中安装的App点击视频当中的人脸，启动视频人脸追踪的功能，使摄像头46一直追踪妈妈想要关注的人脸。
也就是说，本实施例提供的终端设备可以实现随时联系家人，具备全新的智能交互方式，上述终端设备能够成为家人之间沟通、帮助、提醒的桥梁。
本实施例的再一种实现方式中，上述终端设备还可以包括：传感器48；传感器48获取的环境传感器信号用于指示所处环境的环境信息；
处理器42，还用于当上述环境信息包含的各项指标中存在超过预警阈值的指标时，进行危险报警，并输出处理危险的方式，以及打开摄像头进行摄像。其中，上述预警阈值可以针对上述环境信息的各项指标分别设置，本实施例对预警阈值的大小不作限定。
也就是说，上述基于人工智能的人机交互方法还可以保护家人免受伤害。
场景举例：传感器48可以包括PM2.5颗粒物传感器、有毒气体传感器和/或温湿度传感器等传感器，传感器48获取的环境传感器信号用于指示所处环境的环境信息，从而可以随时监控家居环境健康度。当上述环境信息包含的各项指标中存在超过预警阈值的指标时，例如：当家里发生有毒气体泄漏，如煤气泄漏时，处理器42会马上发出危险报警，通过语音进行危险警告，并告知危险处理方式，还将自动将危险情况发送到家人的手机，自动进入警戒状态，打开摄像头进行全屋摄像记录。
进一步地，处理器42还可以当上述环境信息包含的各项指标中存在达到状态转换阈值的指标时，通过智能家居控制平台控制上述达到状态转换阈值的指标所对应的家居电器的状态，从而可以实现对家居电器的管理。其中，上述状态转换阈值同样可以针对上述环境信息的各项指标分别设置，本实施例对预警阈值的大小不作限定。
场景举例：传感器48可以包括PM2.5颗粒物传感器、有毒气体传感器和/或温湿度传感器等传感器，传感器48获取的环境传感器信号用于指示所处环境的环境信息，例如：家里的空气质量情况和温湿度情况等。当空气质量变差，达到空气质量的状态转换阈值时，处理器42将自动通过蓝牙智能家居控制平台打开空气净化器；当房间里温度过高，或者过低，达到温度的状态转换阈值时，处理器42将自动启动空调；当家里人没人而又忘记关灯，达到电灯的状态转换阈值时，处理器42会自动关闭电灯。
本实施例的再一种实现方式中，上述用户的意图为获得问题的答案；处理器42，具体用于对上述用户输入的语音所包含的问题进行搜索，获得上述问题对应的答案，并将上述答案输出给上述用户。其中，处理器42将上述答案输出给用户可以为将上述答案语音播报给用户，也可以为将上述答案以文本的形式显示给用户。
进一步地，处理器42，还用于在将上述答案输出给用户之后，获得上述用户输入的语音所包含的问题关联的推荐信息，将上述推荐信息输出给用户。其中，处理器42将上述推荐信息输出给用户可以为处理器42将上述推荐信息语音播报给用户，也可以为将上述推荐信息以文本的形式显示给用户。
场景举例：在学习成长阶段的小朋友对整个世界总是充满探索的好奇心，小朋友经常会问家里的爸爸妈妈：“这个是什么？”或者“这个为什么？”的问题。在没有本实施例提供的终端设备的情况下，家长们由于自己的知识面原因，经常回答不上来，要么会抓耳挠腮无法回答，要么只能打开电脑进行相关搜索，又慢又不方便。而如果有上述终端设备的陪伴，小朋友能够直接将自己各种各样的问题随时问终端设备：“小度，为什么叶子都是绿色的呢？”接收器41接收到小朋友输入的上述语音之后，处理器42会对上述语音进行语音识别，根据语音识别的结果确定小朋友输入上述语音的意图为获得问题的答案，于是处理器42会立即对小朋友输入的语音中所包含的问题进行云端的智能搜索，从海量的互联网信息当中筛选出最优结果，并将答案语音播报给小朋友：“叶子是绿色的，是因为叶绿素的存在。叶绿素，是存在于植物细胞叶绿体中的一种重要的绿色色素，它能够利用水、空气以及阳光来制造植物所需要的养分。而叶绿素是绿色的，所以植物的叶子也就是绿色的了。”
在回答了小朋友的问题之后，处理器42还可以获得小朋友输入的语音所包含的问题关联的推荐信息，将上述推荐信息输出给小朋友，具体地，处理器42还会自动根据小朋友所提的上述问题进行发散性的教育和启发：“了解了叶绿素之后，豆豆你知道为什么叶子到了秋天会枯萎吗？”……
其他的教育场景还有各种例如帮助小朋友认字、认英语单词、给小朋友讲故事等等。
在小朋友3-5岁语言快速发展不停需要与人对话的成长过程中，智能机器人还能够一整天不间断地陪小朋友聊天，帮助小朋友语言系统的成长。有了智能机器人的陪伴，儿童教育将会进入一个全新的时代。
上述终端设备中，接收器41接收多模态的输入信号之后，处理器42根据上述多模态的输入信号，确定上述用户的意图，然后对上述用户的意图进行处理，并将处理结果反馈给上述用户，从而可以实现良好的人机交互功能，可以实现高功能高陪伴型的智能人机交互，进而可以提高用户体验。
图4所示的终端设备的具体形态可以为一个智能机器人，图5为本发明智能机器人一个实施例的示意图，该智能机器人可以是一个具有头身3自由度的桌面机器人产品(身体可以360度水平旋转，头部能够180度水平旋转，同时头部能够正负60度之内俯仰，可以具备或不具备行走能力)，如图5所示，智能机器人配备有高品质立体声音箱、摄像头(具有高分辨率、能够实现人脸识别和自动对焦等功能)、高分辨率显示屏、高速中央处理单元(Central Processing Unit；以下简称：CPU)和接触式充电插座，以及丰富的传感器、网络模块集成。其中，智能机器人搭载的传感器可以包括：湿度传感器、温度传感器、污染颗粒物(PM2.5)传感器和有毒气体传感器(例如：煤气传感器)等，网络模块可以包括红外线、WiFi和蓝牙等模块。
另外，上述智能机器人具备全新的多模信息交互方式(视觉、听觉、触觉、嗅觉和/或自然语言交流反馈)。服务于家庭场景，成为连接家庭用户、智能设备、信息与服务的智能桥梁，主要功能能够满足家庭内的沟通联系、情感陪伴、监护、信息提供帮助和教育等需求，具备全新的多模信息交互方式，图6为本发明智能机器人屏幕交互一个实施例的示意图，如图6所示，智能机器人可以进行视频通话、情感交流、信息传递和/或多媒体播放(例如：音乐播放)等多模信息的交互。
并且，智能机器人有配套的App，能够进行离开家之后的远程沟通和视频联系。
本实施例中的智能机器人具有开放的系统平台，可以持续不断的自我升级。智能机器人配套有一个开放的操作系统平台。通过开放的接口协议，各个内容提供商能够为智能机器人开发各种各样的内容和应用。在软件功能方面，通过WiFi自动连接网络，智能机器人将会不断地进行自我软件更新升级，云端系统也会不间断24小时地获取互联网当中的海量新资讯，用户再也不需要进行繁琐的软件升级操作，这一切的更新和升级都会在智能机器人的后台静默完成。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(Programmable Gate Array；以下简称：PGA)，现场可编程门阵列(Field ProgrammableGate Array；以下简称：FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (51)

1.一种基于人工智能的人机交互方法，其特征在于，包括：
接收多模态的输入信号，所述多模态的输入信号包括用户输入的语音信号、图像信号和/或环境传感器信号；
根据所述多模态的输入信号，确定所述用户的意图；
对所述用户的意图进行处理，并将处理结果反馈给所述用户。
2.根据权利要求1所述的方法，其特征在于，所述根据所述多模态的输入信号，确定所述用户的意图包括：
对所述用户输入的语音信号进行语音识别，根据语音识别的结果结合图像信号和/或传感器信号确定所述用户的意图。
3.根据权利要求1所述的方法，其特征在于，所述根据所述多模态的输入信号，确定所述用户的意图包括：
对所述用户输入的语音信号进行语音识别，以及通过声源定位将显示屏转向所述用户所在的方向，通过摄像头辅助人脸识别功能识别所述用户的个人信息；
根据语音识别的结果、所述用户的个人信息和保存的所述用户的偏好信息确定所述用户的意图。
4.根据权利要求2或3所述的方法，其特征在于，所述对所述用户的意图进行处理，并将处理结果反馈给所述用户包括：
根据所述用户的意图在云端数据库中进行个性化数据匹配，获得适合所述用户的推荐信息，并将适合所述用户的推荐信息输出给所述用户。
5.根据权利要求4所述的方法，其特征在于，所述推荐信息包括地址信息，所述对所述用户的意图进行处理，并将处理结果反馈给所述用户包括：
获得从所述用户所在地至所述地址信息所指示的地点的交通路径，并根据所述用户的出行习惯，获得适合所述用户的出行方式，将所述出行方式推荐给所述用户。
6.根据权利要求2或3所述的方法，其特征在于，所述用户的意图包括时间信息，所述对所述用户的意图进行处理，并将处理结果反馈给所述用户包括：
根据所述用户的意图中的时间信息设置闹钟提醒信息，并将设置结果反馈给所述用户。
7.根据权利要求6所述的方法，其特征在于，所述将设置结果反馈给所述用户之后，还包括：
对所述用户进行提示，记录所述用户的留言信息，并在到达所述闹钟提醒信息的时刻时，进行闹钟提醒，播放所述用户的留言信息。
8.根据权利要求2或3所述的方法，其特征在于，所述接收多模态的输入信号之前，还包括：
接收所述用户关联的另一用户发送的多媒体信息，并提示所述用户是否播放所述多媒体信息。
9.根据权利要求8所述的方法，其特征在于，所述用户的意图为同意播放所述多媒体信息；
所述对所述用户的意图进行处理包括：播放所述用户关联的另一用户发送的多媒体信息。
10.根据权利要求9所述的方法，其特征在于，所述播放所述用户关联的另一用户发送的多媒体信息之后，还包括：
接收所述用户发送的语音，将所述语音发送给所述用户关联的另一用户。
11.根据权利要求2或3所述的方法，其特征在于，所述用户的意图为请求播放多媒体信息；
所述对所述用户的意图进行处理，并将处理结果反馈给所述用户包括：
通过无线网络从云端服务器获取所述用户请求播放的多媒体信息，并播放获取的多媒体信息。
12.根据权利要求2或3所述的方法，其特征在于，所述接收多模态的输入信号之前，还包括：
接收所述用户关联的另一用户发送的通话请求，并提示所述用户是否接听通话。
13.根据权利要求12所述的方法，其特征在于，所述用户的意图为接听通话；
所述对所述用户的意图进行处理，并将处理结果反馈给所述用户包括：
将所述用户与所述用户关联的另一用户进行通话连接，在通话过程中，控制摄像头辨别所述用户中说话者的方位，并使所述摄像头转向说话者；
在所述用户关联的另一用户通过所述另一用户使用的智能终端中安装的应用，点击所述另一用户关注的人脸之后，启动视频人脸追踪功能，使所述摄像头追踪所述另一用户关注的人脸。
14.根据权利要求1所述的方法，其特征在于，所述环境传感器信号用于指示所处环境的环境信息；
所述接收多模态的输入信号之后，还包括：
当所述环境信息包含的各项指标中存在超过预警阈值的指标时，进行危险报警，并输出处理危险的方式，以及打开摄像头进行摄像。
15.根据权利要求14所述的方法，其特征在于，所述接收多模态的输入信号之后，还包括：
当所述环境信息包含的各项指标中存在达到状态转换阈值的指标时，通过智能家居控制平台控制所述达到状态转换阈值的指标所对应的家居电器的状态。
16.根据权利要求2或3所述的方法，其特征在于，所述用户的意图为获得问题的答案；
所述对所述用户的意图进行处理，并将处理结果反馈给所述用户包括：
对所述用户输入的语音所包含的问题进行搜索，获得所述问题对应的答案，并将所述答案输出给所述用户。
17.根据权利要求16所述的方法，其特征在于，所述将所述答案输出给所述用户之后，还包括：
获得所述用户输入的语音所包含的问题关联的推荐信息，将所述推荐信息输出给所述用户。
18.一种基于人工智能的人机交互装置，其特征在于，包括：
接收模块，用于接收多模态的输入信号，所述多模态的输入信号包括用户输入的语音信号、图像信号和/或环境传感器信号；
意图判定模块，用于根据所述接收模块接收的多模态的输入信号，确定所述用户的意图；
处理模块，用于对所述意图判定模块确定的所述用户的意图进行处理，并将处理结果反馈给所述用户。
19.根据权利要求18所述的装置，其特征在于，
所述意图判定模块，具体用于对所述用户输入的语音信号进行语音识别，根据语音识别的结果结合图像信号和/或传感器信号确定所述用户的意图。
20.根据权利要求18所述的装置，其特征在于，
所述意图判定模块，具体用于对所述用户输入的语音信号进行语音识别，以及通过声源定位将显示屏转向所述用户所在的方向，通过摄像头辅助人脸识别功能识别所述用户的个人信息；根据语音识别的结果、所述用户的个人信息和保存的所述用户的偏好信息确定所述用户的意图。
21.根据权利要求19或20所述的装置，其特征在于，
所述处理模块，具体用于根据所述用户的意图在云端数据库中进行个性化数据匹配，获得适合所述用户的推荐信息，并将适合所述用户的推荐信息输出给所述用户。
22.根据权利要求21所述的装置，其特征在于，所述推荐信息包括地址信息，所述处理模块，具体用于获得从所述用户所在地至所述地址信息所指示的地点的交通路径，并根据所述用户的出行习惯，获得适合所述用户的出行方式，将所述出行方式推荐给所述用户。
23.根据权利要求19或20所述的装置，其特征在于，所述用户的意图包括时间信息，所述处理模块，具体用于根据所述用户的意图中的时间信息设置闹钟提醒信息，并将设置结果反馈给所述用户。
24.根据权利要求23所述的装置，其特征在于，还包括：提示模块和记录模块；
所述提示模块，用于在所述处理模块将设置结果反馈给所述用户之后，对所述用户进行提示；
所述记录模块，用于记录所述用户的留言信息；
所述提示模块，还用于在到达所述闹钟提醒信息的时刻时，进行闹钟提醒；
所述处理模块，还用于播放所述记录模块记录的用户的留言信息。
25.根据权利要求19或20所述的装置，其特征在于，还包括：提示模块；
所述接收模块，还用于在接收多模态的输入信号之前，接收所述用户关联的另一用户发送的多媒体信息；
所述提示模块，用于提示所述用户是否播放所述多媒体信息。
26.根据权利要求25所述的装置，其特征在于，所述用户的意图为同意播放所述多媒体信息；
所述处理模块，具体用于播放所述用户关联的另一用户发送的多媒体信息。
27.根据权利要求26所述的装置，其特征在于，还包括：发送模块；
所述接收模块，还用于在所述处理模块播放所述用户关联的另一用户发送的多媒体信息之后，接收所述用户发送的语音；
所述发送模块，用于将所述接收模块接收的语音发送给所述用户关联的另一用户。
28.根据权利要求19或20所述的装置，其特征在于，所述用户的意图为请求播放多媒体信息；
所述处理模块，具体用于通过无线网络从云端服务器获取所述用户请求播放的多媒体信息，并播放获取的多媒体信息。
29.根据权利要求19或20所述的装置，其特征在于，还包括：提示模块；
所述接收模块，还用于在接收多模态的输入信号之前，接收所述用户关联的另一用户发送的通话请求；
所述提示模块，用于提示所述用户是否接听通话。
30.根据权利要求29所述的装置，其特征在于，所述用户的意图为接听通话；
所述处理模块，具体用于将所述用户与所述用户关联的另一用户进行通话连接，在通话过程中，控制摄像头辨别所述用户中说话者的方位，并使所述摄像头转向说话者；在所述用户关联的另一用户通过所述另一用户使用的智能终端中安装的应用，点击所述另一用户关注的人脸之后，启动视频人脸追踪功能，使所述摄像头追踪所述另一用户关注的人脸。
31.根据权利要求18所述的装置，其特征在于，所述环境传感器信号用于指示所处环境的环境信息；
所述处理模块，还用于当所述环境信息包含的各项指标中存在超过预警阈值的指标时，进行危险报警，并输出处理危险的方式，以及打开摄像头进行摄像。
32.根据权利要求31所述的装置，其特征在于，
所述处理模块，还用于在当所述环境信息包含的各项指标中存在达到状态转换阈值的指标时，通过智能家居控制平台控制所述达到状态转换阈值的指标所对应的家居电器的状态。
33.根据权利要求19或20所述的装置，其特征在于，所述用户的意图为获得问题的答案；
所述处理模块，具体用于对所述用户输入的语音所包含的问题进行搜索，获得所述问题对应的答案，并将所述答案输出给所述用户。
34.根据权利要求33所述的装置，其特征在于，
所述处理模块，还用于将所述答案输出给所述用户之后，获得所述用户输入的语音所包含的问题关联的推荐信息，将所述推荐信息输出给所述用户。
35.一种终端设备，其特征在于，包括：接收器、处理器、存储器、电路板和电源电路，其中，所述电路板安置在壳体围成的空间内部，所述处理器和所述存储器设置在电路板上；所述电源电路，用于为所述终端设备的各个电路或器件供电；所述存储器用于存储可执行程序代码；
所述接收器，用于接收多模态的输入信号，所述多模态的输入信号包括用户输入的语音信号、图像信号和/或环境传感器信号；
所述处理器通过读取所述存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行以下步骤：根据所述多模态的输入信号，确定所述用户的意图；对所述用户的意图进行处理，并将处理结果反馈给所述用户。
36.根据权利要求35所述的终端设备，其特征在于，
所述处理器，具体用于对所述用户输入的语音信号进行语音识别，根据语音识别的结果结合图像信号和/或传感器信号确定所述用户的意图。
37.根据权利要求35所述的终端设备，其特征在于，还包括：摄像头；
所述处理器，具体用于对所述用户输入的语音信号进行语音识别，以及通过声源定位将显示屏转向所述用户所在的方向，通过所述摄像头辅助人脸识别功能识别所述用户的个人信息；根据语音识别的结果、所述用户的个人信息和保存的所述用户的偏好信息确定所述用户的意图。
38.根据权利要求36或37所述的终端设备，其特征在于，
所述处理器，具体用于根据所述用户的意图在云端数据库中进行个性化数据匹配，获得适合所述用户的推荐信息，并将适合所述用户的推荐信息输出给所述用户。
39.根据权利要求38所述的终端设备，其特征在于，所述推荐信息包括地址信息，所述处理器，具体用于获得从所述用户所在地至所述地址信息所指示的地点的交通路径，并根据所述用户的出行习惯，获得适合所述用户的出行方式，将所述出行方式推荐给所述用户。
40.根据权利要求36或37所述的终端设备，其特征在于，所述用户的意图包括时间信息，所述处理器，具体用于根据所述用户的意图中的时间信息设置闹钟提醒信息，并将设置结果反馈给所述用户。
41.根据权利要求40所述的终端设备，其特征在于，
所述处理器，还用于在将设置结果反馈给所述用户之后，对所述用户进行提示，记录所述用户的留言信息，并在到达所述闹钟提醒信息的时刻时，进行闹钟提醒，播放所述用户的留言信息。
42.根据权利要求36或37所述的终端设备，其特征在于，
所述接收器，还用于在接收多模态的输入信号之前，接收所述用户关联的另一用户发送的多媒体信息；
所述处理器，还用于提示所述用户是否播放所述多媒体信息。
43.根据权利要求42所述的终端设备，其特征在于，所述用户的意图为同意播放所述多媒体信息；
所述处理器，具体用于播放所述用户关联的另一用户发送的多媒体信息。
44.根据权利要求43所述的终端设备，其特征在于，还包括：发送器；
所述接收器，还用于在所述处理器播放所述用户关联的另一用户发送的多媒体信息之后，接收所述用户发送的语音；
所述发送器，用于将所述语音发送给所述用户关联的另一用户。
45.根据权利要求36或37所述的终端设备，其特征在于，所述用户的意图为请求播放多媒体信息；
所述处理器，具体用于通过无线网络从云端服务器获取所述用户请求播放的多媒体信息，并播放获取的多媒体信息。
46.根据权利要求36或37所述的终端设备，其特征在于，
所述接收器，还用于在接收多模态的输入信号之前，接收所述用户关联的另一用户发送的通话请求；
所述处理器，还用于提示所述用户是否接听通话。
47.根据权利要求46所述的终端设备，其特征在于，还包括：摄像头；所述用户的意图为接听通话；
所述处理器，具体用于将所述用户与所述用户关联的另一用户进行通话连接，在通话过程中，控制摄像头辨别所述用户中说话者的方位，并使所述摄像头转向说话者；在所述用户关联的另一用户通过所述另一用户使用的智能终端中安装的应用，点击所述另一用户关注的人脸之后，启动视频人脸追踪功能，使所述摄像头追踪所述另一用户关注的人脸。
48.根据权利要求35所述的终端设备，其特征在于，还包括：传感器；所述环境传感器信号用于指示所处环境的环境信息；
所述处理器，还用于当所述环境信息包含的各项指标中存在超过预警阈值的指标时，进行危险报警，并输出处理危险的方式，以及打开摄像头进行摄像。
49.根据权利要求48所述的终端设备，其特征在于，
所述处理器，还用于当所述环境信息包含的各项指标中存在达到状态转换阈值的指标时，通过智能家居控制平台控制所述达到状态转换阈值的指标所对应的家居电器的状态。
50.根据权利要求36或37所述的终端设备，其特征在于，所述用户的意图为获得问题的答案；
所述处理器，具体用于对所述用户输入的语音所包含的问题进行搜索，获得所述问题对应的答案，并将所述答案输出给所述用户。
51.根据权利要求50所述的终端设备，其特征在于，
所述处理器，还用于在将所述答案输出给所述用户之后，获得所述用户输入的语音所包含的问题关联的推荐信息，将所述推荐信息输出给所述用户。
CN201510355757.7A 2015-06-24 2015-06-24 基于人工智能的人机交互方法、装置和终端设备 Pending CN104951077A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201510355757.7A CN104951077A (zh) 2015-06-24 2015-06-24 基于人工智能的人机交互方法、装置和终端设备
JP2015238074A JP6625418B2 (ja) 2015-06-24 2015-12-04 人工知能に基づくヒューマンコンピュータインターアクションの方法、装置及び端末機器
EP15199221.1A EP3109800A1 (en) 2015-06-24 2015-12-10 Human-computer interactive method based on artificial intelligence and terminal device
US14/965,936 US20160379107A1 (en) 2015-06-24 2015-12-11 Human-computer interactive method based on artificial intelligence and terminal device
KR1020150180869A KR20170000752A (ko) 2015-06-24 2015-12-17 인공 지능에 기초한 휴먼 컴퓨터 인터랙션 방법, 장치 및 단말 설비

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510355757.7A CN104951077A (zh) 2015-06-24 2015-06-24 基于人工智能的人机交互方法、装置和终端设备

Publications (1)

Publication Number Publication Date
CN104951077A true CN104951077A (zh) 2015-09-30

Family

ID=54165774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510355757.7A Pending CN104951077A (zh) 2015-06-24 2015-06-24 基于人工智能的人机交互方法、装置和终端设备

Country Status (5)

Country Link
US (1) US20160379107A1 (zh)
EP (1) EP3109800A1 (zh)
JP (1) JP6625418B2 (zh)
KR (1) KR20170000752A (zh)
CN (1) CN104951077A (zh)

Cited By (190)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426436A (zh) * 2015-11-05 2016-03-23 百度在线网络技术（北京）有限公司 基于人工智能机器人的信息提供方法和装置
CN105425970A (zh) * 2015-12-29 2016-03-23 深圳羚羊微服机器人科技有限公司 一种人机互动的方法、装置及机器人
CN105446156A (zh) * 2015-12-30 2016-03-30 百度在线网络技术（北京）有限公司 基于人工智能的家用电器的控制方法、装置和系统
CN105487663A (zh) * 2015-11-30 2016-04-13 北京光年无限科技有限公司 一种面向智能机器人的意图识别方法和系统
CN105739688A (zh) * 2016-01-21 2016-07-06 北京光年无限科技有限公司 一种基于情感体系的人机交互方法、装置和交互系统
CN105740948A (zh) * 2016-02-04 2016-07-06 北京光年无限科技有限公司 一种面向智能机器人的交互方法及装置
CN105843382A (zh) * 2016-03-18 2016-08-10 北京光年无限科技有限公司 一种人机交互方法及装置
CN105844329A (zh) * 2016-03-18 2016-08-10 北京光年无限科技有限公司 面向智能机器人的思维数据处理方法及系统
CN105868827A (zh) * 2016-03-25 2016-08-17 北京光年无限科技有限公司 一种智能机器人多模态交互方法和智能机器人
CN105893771A (zh) * 2016-04-15 2016-08-24 北京搜狗科技发展有限公司 一种信息服务方法和装置、一种用于信息服务的装置
CN105894405A (zh) * 2016-04-25 2016-08-24 百度在线网络技术（北京）有限公司 基于人工智能的点餐交互系统和方法
CN105898487A (zh) * 2016-04-28 2016-08-24 北京光年无限科技有限公司 一种面向智能机器人的交互方法和装置
CN105912128A (zh) * 2016-04-29 2016-08-31 北京光年无限科技有限公司 面向智能机器人的多模态交互数据处理方法及装置
CN105957525A (zh) * 2016-04-26 2016-09-21 珠海市魅族科技有限公司 一种语音助手的交互方法以及用户设备
CN106003047A (zh) * 2016-06-28 2016-10-12 北京光年无限科技有限公司 一种面向智能机器人的危险预警方法和装置
CN106078743A (zh) * 2016-07-05 2016-11-09 北京光年无限科技有限公司 智能机器人，应用于智能机器人的操作系统及应用商店
CN106157949A (zh) * 2016-06-14 2016-11-23 上海师范大学 一种模块化机器人语音识别算法及其语音识别模块
CN106203050A (zh) * 2016-07-22 2016-12-07 北京百度网讯科技有限公司 智能机器人的交互方法及装置
CN106250533A (zh) * 2016-08-05 2016-12-21 北京光年无限科技有限公司 一种面向智能机器人的富媒体播放数据处理方法和装置
CN106239506A (zh) * 2016-08-11 2016-12-21 北京光年无限科技有限公司 智能机器人的多模态输入数据处理方法及机器人操作系统
CN106331841A (zh) * 2016-09-19 2017-01-11 海信集团有限公司 网速信息指示方法及装置
CN106411834A (zh) * 2016-04-18 2017-02-15 乐视控股（北京）有限公司 基于陪伴设备的会话方法、设备及系统
CN106426203A (zh) * 2016-11-02 2017-02-22 旗瀚科技有限公司 一种主动触发机器人交流的系统及方法
CN106462254A (zh) * 2016-06-29 2017-02-22 深圳狗尾草智能科技有限公司 一种机器人交互内容的生成方法、系统及机器人
CN106462255A (zh) * 2016-06-29 2017-02-22 深圳狗尾草智能科技有限公司 一种机器人交互内容的生成方法、系统及机器人
CN106471444A (zh) * 2016-07-07 2017-03-01 深圳狗尾草智能科技有限公司 一种虚拟3d机器人的交互方法、系统及机器人
WO2017059815A1 (zh) * 2015-10-09 2017-04-13 芋头科技（杭州）有限公司 一种快速识别方法及家庭智能机器人
CN106598241A (zh) * 2016-12-06 2017-04-26 北京光年无限科技有限公司 一种用于智能机器人的交互数据处理方法及装置
CN106663127A (zh) * 2016-07-07 2017-05-10 深圳狗尾草智能科技有限公司 一种虚拟机器人的交互方法、系统及机器人
CN106663160A (zh) * 2016-06-28 2017-05-10 深圳狗尾草智能科技有限公司 一种技能包的搜索与定位方法、系统及机器人
WO2017084185A1 (zh) * 2015-11-19 2017-05-26 深圳创想未来机器人有限公司 基于语义分析的智能终端控制方法、系统及智能终端
CN106774837A (zh) * 2016-11-23 2017-05-31 河池学院 一种智能机器人的人机交互方法
CN106737750A (zh) * 2017-01-13 2017-05-31 合肥优智领英智能科技有限公司 一种人机交互式智能机器人
CN106972990A (zh) * 2016-01-14 2017-07-21 芋头科技（杭州）有限公司 基于声纹识别的智能家居设备
CN106990782A (zh) * 2017-04-13 2017-07-28 合肥工业大学 一种移动式智能家居控制中心
CN107015781A (zh) * 2017-03-28 2017-08-04 联想(北京)有限公司 语音识别方法和系统
CN107038220A (zh) * 2017-03-20 2017-08-11 北京光年无限科技有限公司 用于生成备忘录的方法、智能机器人及系统
CN107065815A (zh) * 2017-06-16 2017-08-18 深圳市新太阳数码有限公司 一种老年人情感智能控制系统
KR20170110919A (ko) * 2016-03-24 2017-10-12 삼성전자주식회사 지능형 전자 장치 및 그 동작 방법
CN107331390A (zh) * 2017-05-27 2017-11-07 芜湖星途机器人科技有限公司 机器人语音识别召唤者的主动跟随系统
CN107423950A (zh) * 2017-07-07 2017-12-01 北京小米移动软件有限公司 闹钟设置方法和装置
CN107490971A (zh) * 2016-06-09 2017-12-19 苹果公司 家庭环境中的智能自动化助理
WO2018000260A1 (zh) * 2016-06-29 2018-01-04 深圳狗尾草智能科技有限公司 一种机器人交互内容的生成方法、系统及机器人
WO2018000266A1 (zh) * 2016-06-29 2018-01-04 深圳狗尾草智能科技有限公司 一种机器人交互内容的生成方法、系统及机器人
WO2018006372A1 (zh) * 2016-07-07 2018-01-11 深圳狗尾草智能科技有限公司 一种基于意图识别控制家电的方法、系统及机器人
CN107734213A (zh) * 2016-08-11 2018-02-23 漳州立达信光电子科技有限公司 智能家用电子装置与系统
CN107770380A (zh) * 2017-10-25 2018-03-06 百度在线网络技术（北京）有限公司 信息处理方法和装置
CN107918653A (zh) * 2017-11-16 2018-04-17 百度在线网络技术（北京）有限公司 一种基于喜好反馈的智能播放方法和装置
CN107943820A (zh) * 2016-10-12 2018-04-20 阿里巴巴集团控股有限公司 搜索方法、装置、终端设备和操作系统
WO2018051134A3 (en) * 2016-09-16 2018-04-26 Emotech Ltd. Robots, methods, computer programs and computer-readable media
CN108040264A (zh) * 2017-11-07 2018-05-15 苏宁云商集团股份有限公司 一种用于电视节目选台的音箱语音控制方法及设备
EP3336687A1 (en) * 2016-12-16 2018-06-20 Chiun Mai Communication Systems, Inc. Voice control device and method thereof
CN108304434A (zh) * 2017-09-04 2018-07-20 腾讯科技（深圳）有限公司 信息反馈方法和终端设备
CN108393898A (zh) * 2018-02-28 2018-08-14 上海乐愚智能科技有限公司 一种智能陪伴方法、装置、机器人及存储介质
CN108429997A (zh) * 2018-03-28 2018-08-21 上海与德科技有限公司 一种信息播报方法、装置、存储介质及智能音箱
CN108475404A (zh) * 2016-01-25 2018-08-31 索尼公司 通信系统和通信控制方法
KR101904453B1 (ko) * 2016-05-25 2018-10-04 김선필 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이
WO2018176413A1 (en) * 2017-03-31 2018-10-04 Microsoft Technology Licensing, Llc Providing news recommendation in automated chatting
CN108698231A (zh) * 2016-02-25 2018-10-23 夏普株式会社 姿势控制装置、机器人及姿势控制方法
CN108762512A (zh) * 2018-08-17 2018-11-06 浙江核聚智能技术有限公司 人机交互装置、方法及系统
CN109040324A (zh) * 2018-10-30 2018-12-18 上海碧虎网络科技有限公司 车载数据服务推广方法、装置及计算机可读存储介质
CN109036565A (zh) * 2018-08-29 2018-12-18 上海常仁信息科技有限公司 一种基于机器人的智慧家庭生活管理系统
CN109117856A (zh) * 2018-08-23 2019-01-01 中国联合网络通信集团有限公司 基于智能边缘云的人及物追踪方法、装置及系统
CN109144458A (zh) * 2017-06-27 2019-01-04 三星电子株式会社 用于执行与语音输入相对应的操作的电子设备
CN109202922A (zh) * 2017-07-03 2019-01-15 北京光年无限科技有限公司 用于机器人的基于情感的人机交互方法及装置
CN109283851A (zh) * 2018-09-28 2019-01-29 广州智伴人工智能科技有限公司 一种基于机器人的智能家居系统
CN109376228A (zh) * 2018-11-30 2019-02-22 北京猎户星空科技有限公司 一种信息推荐方法、装置、设备及介质
CN109445288A (zh) * 2018-09-28 2019-03-08 深圳慧安康科技有限公司 一种智慧家庭普及应用的实现方法
CN109686365A (zh) * 2018-12-26 2019-04-26 深圳供电局有限公司 一种语音识别方法和语音识别系统
CN109726330A (zh) * 2018-12-29 2019-05-07 北京金山安全软件有限公司 一种信息推荐方法及相关设备
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
CN109889643A (zh) * 2019-03-29 2019-06-14 广东小天才科技有限公司 一种语音留言播报方法和装置，及存储介质
CN109933272A (zh) * 2019-01-31 2019-06-25 西南电子技术研究所（中国电子科技集团公司第十研究所） 多模态深度融合机载座舱人机交互方法
CN109949723A (zh) * 2019-03-27 2019-06-28 浪潮金融信息技术有限公司 一种通过智能语音对话进行产品推荐的装置及方法
CN109948153A (zh) * 2019-03-07 2019-06-28 张博缘 一种涉及视频和音频多媒体信息处理的人机交流系统
CN109979462A (zh) * 2019-03-21 2019-07-05 广东小天才科技有限公司 一种结合上下文语境获取意图的方法和系统
CN110000791A (zh) * 2019-04-24 2019-07-12 深圳市三宝创新智能有限公司 一种桌面机器人的运动控制装置及方法
US10354011B2 (en) 2016-06-09 2019-07-16 Apple Inc. Intelligent automated assistant in a home environment
CN110059250A (zh) * 2019-04-18 2019-07-26 广东小天才科技有限公司 信息推荐方法、装置、设备和存储介质
US10390213B2 (en) 2014-09-30 2019-08-20 Apple Inc. Social reminders
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10403283B1 (en) 2018-06-01 2019-09-03 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10417405B2 (en) 2011-03-21 2019-09-17 Apple Inc. Device access using voice authentication
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10417344B2 (en) 2014-05-30 2019-09-17 Apple Inc. Exemplar-based natural language processing
CN110267774A (zh) * 2017-02-06 2019-09-20 川崎重工业株式会社 机器人系统及机器人对话方法
US10438595B2 (en) 2014-09-30 2019-10-08 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10453443B2 (en) 2014-09-30 2019-10-22 Apple Inc. Providing an indication of the suitability of speech recognition
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
CN110569806A (zh) * 2019-09-11 2019-12-13 上海软中信息系统咨询有限公司 一种人机交互系统
CN110599127A (zh) * 2019-09-12 2019-12-20 花豹科技有限公司 智能提醒方法及计算机设备
CN110609943A (zh) * 2018-05-28 2019-12-24 九阳股份有限公司 一种智能设备的主动交互方法及服务机器人
US10529332B2 (en) 2015-03-08 2020-01-07 Apple Inc. Virtual assistant activation
US10580409B2 (en) 2016-06-11 2020-03-03 Apple Inc. Application integration with a digital assistant
CN110865705A (zh) * 2019-10-24 2020-03-06 中国人民解放军军事科学院国防科技创新研究院 多模态融合的通讯方法、装置、头戴设备及存储介质
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
CN110909036A (zh) * 2019-11-28 2020-03-24 珠海格力电器股份有限公司 功能模块的推荐方法及装置
US10657966B2 (en) 2014-05-30 2020-05-19 Apple Inc. Better resolution when referencing to concepts
US10681212B2 (en) 2015-06-05 2020-06-09 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10692504B2 (en) 2010-02-25 2020-06-23 Apple Inc. User profiling for voice input processing
US10699717B2 (en) 2014-05-30 2020-06-30 Apple Inc. Intelligent assistant for home automation
US10714117B2 (en) 2013-02-07 2020-07-14 Apple Inc. Voice trigger for a digital assistant
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
US10741181B2 (en) 2017-05-09 2020-08-11 Apple Inc. User interface for correcting recognition errors
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
US10769385B2 (en) 2013-06-09 2020-09-08 Apple Inc. System and method for inferring user intent from speech inputs
CN111835923A (zh) * 2020-07-13 2020-10-27 南京硅基智能科技有限公司 一种基于人工智能的移动式语音交互对话系统
CN111931036A (zh) * 2020-05-21 2020-11-13 广州极天信息技术股份有限公司 一种多模态融合交互系统、方法、智能机器人及存储介质
CN111949773A (zh) * 2019-05-17 2020-11-17 华为技术有限公司 一种阅读设备、服务器以及数据处理的方法
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US10878809B2 (en) 2014-05-30 2020-12-29 Apple Inc. Multi-command single utterance input method
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10909171B2 (en) 2017-05-16 2021-02-02 Apple Inc. Intelligent automated assistant for media exploration
CN112308530A (zh) * 2020-11-09 2021-02-02 珠海格力电器股份有限公司 提示信息的生成方法和装置、存储介质、电子装置
US10930282B2 (en) 2015-03-08 2021-02-23 Apple Inc. Competing devices responding to voice triggers
US10942703B2 (en) 2015-12-23 2021-03-09 Apple Inc. Proactive assistance based on dialog communication between devices
US10942702B2 (en) 2016-06-11 2021-03-09 Apple Inc. Intelligent device arbitration and control
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11010127B2 (en) 2015-06-29 2021-05-18 Apple Inc. Virtual assistant for media playback
CN112966193A (zh) * 2021-03-05 2021-06-15 北京百度网讯科技有限公司 出行意图推断方法、模型训练方法、相关装置及电子设备
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11048473B2 (en) 2013-06-09 2021-06-29 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11127397B2 (en) 2015-05-27 2021-09-21 Apple Inc. Device voice control
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
CN113556649A (zh) * 2020-04-23 2021-10-26 百度在线网络技术（北京）有限公司 智能音箱的播报控制方法和装置
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
CN113645346A (zh) * 2021-08-11 2021-11-12 中国联合网络通信集团有限公司 功能触发方法、装置、服务器及计算机可读存储介质
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11231904B2 (en) 2015-03-06 2022-01-25 Apple Inc. Reducing response latency of intelligent automated assistants
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11269678B2 (en) 2012-05-15 2022-03-08 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11290834B2 (en) 2020-03-04 2022-03-29 Apple Inc. Determining head pose based on room reverberation
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11314370B2 (en) 2013-12-06 2022-04-26 Apple Inc. Method for extracting salient dialog usage from live data
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
TWI769383B (zh) * 2019-06-28 2022-07-01 國立臺北商業大學 具擬真回覆之通話系統及方法
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
CN114762981A (zh) * 2020-12-30 2022-07-19 广州富港生活智能科技有限公司 交互方法及相关装置
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11495218B2 (en) 2018-06-01 2022-11-08 Apple Inc. Virtual assistant operation in multi-device environments
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
CN115545960A (zh) * 2022-12-01 2022-12-30 江苏联弘信科技发展有限公司 一种电子信息数据交互系统及方法
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11620995B2 (en) 2018-10-29 2023-04-04 Huawei Technologies Co., Ltd. Voice interaction processing method and apparatus
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
WO2023103699A1 (zh) * 2021-12-10 2023-06-15 杭州逗酷软件科技有限公司 交互方法、装置、电子设备以及存储介质
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11928604B2 (en) 2005-09-08 2024-03-12 Apple Inc. Method and apparatus for building an intelligent automated assistant

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10460383B2 (en) 2016-10-07 2019-10-29 Bank Of America Corporation System for transmission and use of aggregated metrics indicative of future customer circumstances
US10614517B2 (en) 2016-10-07 2020-04-07 Bank Of America Corporation System for generating user experience for improving efficiencies in computing network functionality by specializing and minimizing icon and alert usage
US10510088B2 (en) 2016-10-07 2019-12-17 Bank Of America Corporation Leveraging an artificial intelligence engine to generate customer-specific user experiences based on real-time analysis of customer responses to recommendations
US10476974B2 (en) 2016-10-07 2019-11-12 Bank Of America Corporation System for automatically establishing operative communication channel with third party computing systems for subscription regulation
US10621558B2 (en) 2016-10-07 2020-04-14 Bank Of America Corporation System for automatically establishing an operative communication channel to transmit instructions for canceling duplicate interactions with third party systems
US10650055B2 (en) * 2016-10-13 2020-05-12 Viesoft, Inc. Data processing for continuous monitoring of sound data and advanced life arc presentation analysis
KR101961376B1 (ko) * 2017-01-02 2019-03-22 엘지전자 주식회사 커뮤니케이션 로봇
KR101962151B1 (ko) * 2017-01-02 2019-03-27 엘지전자 주식회사 커뮤니케이션 로봇
KR20180096078A (ko) * 2017-02-20 2018-08-29 엘지전자 주식회사 모듈형 가정용 로봇
JP6751536B2 (ja) * 2017-03-08 2020-09-09 パナソニック株式会社 装置、ロボット、方法、及びプログラム
CN107122040A (zh) * 2017-03-16 2017-09-01 杭州德宝威智能科技有限公司 一种人工智能机器人与智能显示终端间的交互系统
KR102025391B1 (ko) * 2017-05-15 2019-09-25 네이버 주식회사 사용자의 발화 위치에 따른 디바이스 제어
KR102281530B1 (ko) 2017-06-21 2021-07-26 주식회사 고퀄 사용자와의 인터랙션이 가능한 기기를 위한 중계 장치 및 이를 이용한 중계 방법
CN107562850A (zh) * 2017-08-28 2018-01-09 百度在线网络技术（北京）有限公司 音乐推荐方法、装置、设备及存储介质
KR102390685B1 (ko) * 2017-08-31 2022-04-26 엘지전자 주식회사 전자 장치 및 그 제어 방법
CN107553505A (zh) * 2017-10-13 2018-01-09 刘杜 自主移动讲解系统平台机器人及讲解方法
US11113608B2 (en) 2017-10-30 2021-09-07 Accenture Global Solutions Limited Hybrid bot framework for enterprises
CN107992543B (zh) * 2017-11-27 2020-11-17 上海智臻智能网络科技股份有限公司 问答交互方法和装置、计算机设备及计算机可读存储介质
CN108115691A (zh) * 2018-01-31 2018-06-05 塔米智能科技（北京）有限公司 一种机器人交互系统及方法
KR102635811B1 (ko) * 2018-03-19 2024-02-13 삼성전자 주식회사 사운드 데이터를 처리하는 시스템 및 시스템의 제어 방법
KR102396255B1 (ko) * 2018-05-03 2022-05-10 손영욱 클라우드 기반 인공지능 음성인식을 이용한 맞춤형 스마트팩토리 생산관리 통합 서비스 제공 방법
US11188810B2 (en) 2018-06-26 2021-11-30 At&T Intellectual Property I, L.P. Integrated assistance platform
CN108920639B (zh) * 2018-07-02 2022-01-18 北京百度网讯科技有限公司 基于语音交互的上下文获取方法及设备
KR101992380B1 (ko) * 2018-09-12 2019-06-24 엘지전자 주식회사 커뮤니케이션 로봇
KR102090636B1 (ko) * 2018-09-14 2020-03-18 엘지전자 주식회사 로봇, 로봇 시스템 및 그 동작 방법
US10832676B2 (en) 2018-09-17 2020-11-10 International Business Machines Corporation Detecting and correcting user confusion by a voice response system
TWI725340B (zh) * 2018-09-28 2021-04-21 威鋒電子股份有限公司 可攜式通訊裝置的座體及其操作方法
KR20210099564A (ko) * 2018-12-31 2021-08-12 인텔 코포레이션 인공 지능을 이용한 보안 시스템
CN110009943A (zh) * 2019-04-02 2019-07-12 徐顺球 一种便于多种模式调节的教育机器人
DE102019205205B3 (de) * 2019-04-11 2020-09-03 BSH Hausgeräte GmbH Interaktionseinrichtung
CN111805550A (zh) * 2019-04-11 2020-10-23 广东鼎义互联科技股份有限公司 用于行政服务大厅办事咨询、排队取号的机器人系统
CN110091336A (zh) * 2019-04-19 2019-08-06 阳光学院 一种智能语音机器人
KR20210024861A (ko) 2019-08-26 2021-03-08 삼성전자주식회사 대화 서비스를 제공하는 방법 및 전자 디바이스
US10860059B1 (en) * 2020-01-02 2020-12-08 Dell Products, L.P. Systems and methods for training a robotic dock for video conferencing
KR102355713B1 (ko) * 2020-01-20 2022-01-28 주식회사 원더풀플랫폼 인공지능형 멀티미디어장치 제어 방법 및 시스템
CN110928521A (zh) * 2020-02-17 2020-03-27 恒信东方文化股份有限公司 一种智能语音交流方法及其交流系统
US11593678B2 (en) 2020-05-26 2023-02-28 Bank Of America Corporation Green artificial intelligence implementation
CN111767371B (zh) * 2020-06-28 2024-03-12 微医云(杭州)控股有限公司 一种智能问答方法、装置、设备及介质
CN111918133A (zh) * 2020-07-27 2020-11-10 深圳创维－Rgb电子有限公司 辅导和监督学生写作业的方法、电视机和存储介质
CN112099630B (zh) * 2020-09-11 2024-04-05 济南大学 一种多模态意图逆向主动融合的人机交互方法
CN114760331A (zh) * 2020-12-28 2022-07-15 深圳Tcl新技术有限公司 一种基于物联网的事件处理方法、系统、终端及存储介质
US20230032760A1 (en) * 2021-08-02 2023-02-02 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a serving robot
WO2023017732A1 (ja) * 2021-08-10 2023-02-16 本田技研工業株式会社 読み聞かせ情報作成装置、読み聞かせロボット、読み聞かせ情報作成方法、プログラム
CN113746833B (zh) * 2021-09-02 2023-06-16 上海商汤智能科技有限公司 通信方法及装置、电子设备和存储介质
WO2023238150A1 (en) * 2022-06-07 2023-12-14 Krishna Kodey Bhavani An ai based device configured to electronically create and display desired realistic character
CN116208712A (zh) * 2023-05-04 2023-06-02 北京智齿众服技术咨询有限公司 一种提升用户意向的智能外呼方法、系统、设备及介质
CN117029863B (zh) * 2023-10-10 2023-12-22 中汽信息科技(天津)有限公司 一种反馈式交通路径规划方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004214895A (ja) * 2002-12-27 2004-07-29 Toshiba Corp 通信補助装置
US20080235031A1 (en) * 2007-03-19 2008-09-25 Kabushiki Kaisha Toshiba Interface apparatus, interface processing method, and interface processing program
JP4600736B2 (ja) * 2004-07-22 2010-12-15 ソニー株式会社 ロボット制御装置および方法、記録媒体、並びにプログラム
CN102081403A (zh) * 2009-12-01 2011-06-01 张越峰 具有智能多媒体播放功能的自动引导车
CN103119644A (zh) * 2010-07-23 2013-05-22 奥尔德巴伦机器人公司 装备自然对话接口的类人机器人、用于控制机器人的方法和对应程序
US20140277735A1 (en) * 2013-03-15 2014-09-18 JIBO, Inc. Apparatus and methods for providing a persistent companion device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1122038A4 (en) * 1998-06-23 2009-06-17 Sony Corp ROBOT AND INFORMATION PROCESSING SYSTEM
JP2002000574A (ja) * 2000-06-22 2002-01-08 Matsushita Electric Ind Co Ltd 介護支援用ロボットおよび介護支援システム
JP2004357915A (ja) * 2003-06-04 2004-12-24 Matsushita Electric Ind Co Ltd センシング玩具
US8532921B1 (en) * 2012-02-27 2013-09-10 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for determining available providers

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004214895A (ja) * 2002-12-27 2004-07-29 Toshiba Corp 通信補助装置
JP4600736B2 (ja) * 2004-07-22 2010-12-15 ソニー株式会社 ロボット制御装置および方法、記録媒体、並びにプログラム
US20080235031A1 (en) * 2007-03-19 2008-09-25 Kabushiki Kaisha Toshiba Interface apparatus, interface processing method, and interface processing program
CN102081403A (zh) * 2009-12-01 2011-06-01 张越峰 具有智能多媒体播放功能的自动引导车
CN103119644A (zh) * 2010-07-23 2013-05-22 奥尔德巴伦机器人公司 装备自然对话接口的类人机器人、用于控制机器人的方法和对应程序
US20140277735A1 (en) * 2013-03-15 2014-09-18 JIBO, Inc. Apparatus and methods for providing a persistent companion device

Cited By (286)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11928604B2 (en) 2005-09-08 2024-03-12 Apple Inc. Method and apparatus for building an intelligent automated assistant
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11900936B2 (en) 2008-10-02 2024-02-13 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US10692504B2 (en) 2010-02-25 2020-06-23 Apple Inc. User profiling for voice input processing
US10417405B2 (en) 2011-03-21 2019-09-17 Apple Inc. Device access using voice authentication
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11269678B2 (en) 2012-05-15 2022-03-08 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11557310B2 (en) 2013-02-07 2023-01-17 Apple Inc. Voice trigger for a digital assistant
US10714117B2 (en) 2013-02-07 2020-07-14 Apple Inc. Voice trigger for a digital assistant
US11862186B2 (en) 2013-02-07 2024-01-02 Apple Inc. Voice trigger for a digital assistant
US11636869B2 (en) 2013-02-07 2023-04-25 Apple Inc. Voice trigger for a digital assistant
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10769385B2 (en) 2013-06-09 2020-09-08 Apple Inc. System and method for inferring user intent from speech inputs
US11048473B2 (en) 2013-06-09 2021-06-29 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US11314370B2 (en) 2013-12-06 2022-04-26 Apple Inc. Method for extracting salient dialog usage from live data
US10714095B2 (en) 2014-05-30 2020-07-14 Apple Inc. Intelligent assistant for home automation
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US10417344B2 (en) 2014-05-30 2019-09-17 Apple Inc. Exemplar-based natural language processing
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US10657966B2 (en) 2014-05-30 2020-05-19 Apple Inc. Better resolution when referencing to concepts
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10878809B2 (en) 2014-05-30 2020-12-29 Apple Inc. Multi-command single utterance input method
US10699717B2 (en) 2014-05-30 2020-06-30 Apple Inc. Intelligent assistant for home automation
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11838579B2 (en) 2014-06-30 2023-12-05 Apple Inc. Intelligent automated assistant for TV user interactions
US10453443B2 (en) 2014-09-30 2019-10-22 Apple Inc. Providing an indication of the suitability of speech recognition
US10438595B2 (en) 2014-09-30 2019-10-08 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10390213B2 (en) 2014-09-30 2019-08-20 Apple Inc. Social reminders
US11231904B2 (en) 2015-03-06 2022-01-25 Apple Inc. Reducing response latency of intelligent automated assistants
US10930282B2 (en) 2015-03-08 2021-02-23 Apple Inc. Competing devices responding to voice triggers
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US10529332B2 (en) 2015-03-08 2020-01-07 Apple Inc. Virtual assistant activation
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11127397B2 (en) 2015-05-27 2021-09-21 Apple Inc. Device voice control
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US10681212B2 (en) 2015-06-05 2020-06-09 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11010127B2 (en) 2015-06-29 2021-05-18 Apple Inc. Virtual assistant for media playback
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US11954405B2 (en) 2015-09-08 2024-04-09 Apple Inc. Zero latency digital assistant
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
JP2018533064A (ja) * 2015-10-09 2018-11-08 ユウトウ・テクノロジー（ハンジョウ）・カンパニー・リミテッド 迅速な識別方法及び家庭用の知能ロボット
WO2017059815A1 (zh) * 2015-10-09 2017-04-13 芋头科技（杭州）有限公司 一种快速识别方法及家庭智能机器人
CN106570443A (zh) * 2015-10-09 2017-04-19 芋头科技（杭州）有限公司 一种快速识别方法及家庭智能机器人
US10664511B2 (en) 2015-10-09 2020-05-26 Yutou Technology (Hangzhou) Co., Ltd. Fast identification method and household intelligent robot
EP3361410A4 (en) * 2015-10-09 2019-03-27 Yutou Technology (Hangzhou) Co., Ltd. FAST IDENTIFICATION PROCESS AND INTELLIGENT BUDGET ROBOT
CN105426436B (zh) * 2015-11-05 2019-10-15 百度在线网络技术（北京）有限公司 基于人工智能机器人的信息提供方法和装置
CN105426436A (zh) * 2015-11-05 2016-03-23 百度在线网络技术（北京）有限公司 基于人工智能机器人的信息提供方法和装置
US11809886B2 (en) 2015-11-06 2023-11-07 Apple Inc. Intelligent automated assistant in a messaging environment
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
WO2017084185A1 (zh) * 2015-11-19 2017-05-26 深圳创想未来机器人有限公司 基于语义分析的智能终端控制方法、系统及智能终端
CN105487663A (zh) * 2015-11-30 2016-04-13 北京光年无限科技有限公司 一种面向智能机器人的意图识别方法和系统
CN105487663B (zh) * 2015-11-30 2018-09-11 北京光年无限科技有限公司 一种面向智能机器人的意图识别方法和系统
US10942703B2 (en) 2015-12-23 2021-03-09 Apple Inc. Proactive assistance based on dialog communication between devices
CN105425970A (zh) * 2015-12-29 2016-03-23 深圳羚羊微服机器人科技有限公司 一种人机互动的方法、装置及机器人
CN105425970B (zh) * 2015-12-29 2019-02-26 深圳微服机器人科技有限公司 一种人机互动的方法、装置及机器人
CN105446156A (zh) * 2015-12-30 2016-03-30 百度在线网络技术（北京）有限公司 基于人工智能的家用电器的控制方法、装置和系统
CN105446156B (zh) * 2015-12-30 2018-09-07 百度在线网络技术（北京）有限公司 基于人工智能的家用电器的控制方法、装置和系统
CN106972990A (zh) * 2016-01-14 2017-07-21 芋头科技（杭州）有限公司 基于声纹识别的智能家居设备
CN106972990B (zh) * 2016-01-14 2020-06-02 芋头科技（杭州）有限公司 基于声纹识别的智能家居设备
CN105739688A (zh) * 2016-01-21 2016-07-06 北京光年无限科技有限公司 一种基于情感体系的人机交互方法、装置和交互系统
CN108475404A (zh) * 2016-01-25 2018-08-31 索尼公司 通信系统和通信控制方法
US11295736B2 (en) 2016-01-25 2022-04-05 Sony Corporation Communication system and communication control method
CN105740948B (zh) * 2016-02-04 2019-05-21 北京光年无限科技有限公司 一种面向智能机器人的交互方法及装置
CN105740948A (zh) * 2016-02-04 2016-07-06 北京光年无限科技有限公司 一种面向智能机器人的交互方法及装置
CN108698231A (zh) * 2016-02-25 2018-10-23 夏普株式会社 姿势控制装置、机器人及姿势控制方法
CN105844329A (zh) * 2016-03-18 2016-08-10 北京光年无限科技有限公司 面向智能机器人的思维数据处理方法及系统
CN105843382B (zh) * 2016-03-18 2018-10-26 北京光年无限科技有限公司 一种人机交互方法及装置
CN105843382A (zh) * 2016-03-18 2016-08-10 北京光年无限科技有限公司 一种人机交互方法及装置
CN109154858A (zh) * 2016-03-24 2019-01-04 三星电子株式会社 智能电子设备及其操作方法
CN109154858B (zh) * 2016-03-24 2021-11-09 三星电子株式会社 智能电子设备及其操作方法
US10402625B2 (en) 2016-03-24 2019-09-03 Samsung Electronics Co., Ltd. Intelligent electronic device and method of operating the same
EP3411780A4 (en) * 2016-03-24 2019-02-06 Samsung Electronics Co., Ltd. INTELLIGENT ELECTRONIC DEVICE AND METHOD OF OPERATION
KR102537543B1 (ko) 2016-03-24 2023-05-26 삼성전자주식회사 지능형 전자 장치 및 그 동작 방법
KR20170110919A (ko) * 2016-03-24 2017-10-12 삼성전자주식회사 지능형 전자 장치 및 그 동작 방법
CN105868827A (zh) * 2016-03-25 2016-08-17 北京光年无限科技有限公司 一种智能机器人多模态交互方法和智能机器人
CN105868827B (zh) * 2016-03-25 2019-01-22 北京光年无限科技有限公司 一种智能机器人多模态交互方法和智能机器人
CN105893771A (zh) * 2016-04-15 2016-08-24 北京搜狗科技发展有限公司 一种信息服务方法和装置、一种用于信息服务的装置
CN106411834A (zh) * 2016-04-18 2017-02-15 乐视控股（北京）有限公司 基于陪伴设备的会话方法、设备及系统
CN105894405A (zh) * 2016-04-25 2016-08-24 百度在线网络技术（北京）有限公司 基于人工智能的点餐交互系统和方法
CN105957525A (zh) * 2016-04-26 2016-09-21 珠海市魅族科技有限公司 一种语音助手的交互方法以及用户设备
CN105898487A (zh) * 2016-04-28 2016-08-24 北京光年无限科技有限公司 一种面向智能机器人的交互方法和装置
CN105898487B (zh) * 2016-04-28 2019-02-19 北京光年无限科技有限公司 一种面向智能机器人的交互方法和装置
CN105912128B (zh) * 2016-04-29 2019-05-24 北京光年无限科技有限公司 面向智能机器人的多模态交互数据处理方法及装置
CN105912128A (zh) * 2016-04-29 2016-08-31 北京光年无限科技有限公司 面向智能机器人的多模态交互数据处理方法及装置
KR101904453B1 (ko) * 2016-05-25 2018-10-04 김선필 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
CN107490971B (zh) * 2016-06-09 2019-06-11 苹果公司 家庭环境中的智能自动化助理
CN107490971A (zh) * 2016-06-09 2017-12-19 苹果公司 家庭环境中的智能自动化助理
US10354011B2 (en) 2016-06-09 2019-07-16 Apple Inc. Intelligent automated assistant in a home environment
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11657820B2 (en) 2016-06-10 2023-05-23 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10942702B2 (en) 2016-06-11 2021-03-09 Apple Inc. Intelligent device arbitration and control
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US10580409B2 (en) 2016-06-11 2020-03-03 Apple Inc. Application integration with a digital assistant
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
CN106157949A (zh) * 2016-06-14 2016-11-23 上海师范大学 一种模块化机器人语音识别算法及其语音识别模块
CN106157949B (zh) * 2016-06-14 2019-11-15 上海师范大学 一种模块化机器人语音识别算法及其语音识别模块
CN106663160B (zh) * 2016-06-28 2019-10-29 苏州狗尾草智能科技有限公司 一种技能包的搜索与定位方法、系统及机器人
CN106003047A (zh) * 2016-06-28 2016-10-12 北京光年无限科技有限公司 一种面向智能机器人的危险预警方法和装置
WO2018000208A1 (zh) * 2016-06-28 2018-01-04 深圳狗尾草智能科技有限公司 一种技能包的搜索与定位方法、系统及机器人
CN106663160A (zh) * 2016-06-28 2017-05-10 深圳狗尾草智能科技有限公司 一种技能包的搜索与定位方法、系统及机器人
WO2018000260A1 (zh) * 2016-06-29 2018-01-04 深圳狗尾草智能科技有限公司 一种机器人交互内容的生成方法、系统及机器人
WO2018000268A1 (zh) * 2016-06-29 2018-01-04 深圳狗尾草智能科技有限公司 一种机器人交互内容的生成方法、系统及机器人
WO2018000266A1 (zh) * 2016-06-29 2018-01-04 深圳狗尾草智能科技有限公司 一种机器人交互内容的生成方法、系统及机器人
CN106462255A (zh) * 2016-06-29 2017-02-22 深圳狗尾草智能科技有限公司 一种机器人交互内容的生成方法、系统及机器人
CN106462254A (zh) * 2016-06-29 2017-02-22 深圳狗尾草智能科技有限公司 一种机器人交互内容的生成方法、系统及机器人
CN106078743A (zh) * 2016-07-05 2016-11-09 北京光年无限科技有限公司 智能机器人，应用于智能机器人的操作系统及应用商店
CN106471444A (zh) * 2016-07-07 2017-03-01 深圳狗尾草智能科技有限公司 一种虚拟3d机器人的交互方法、系统及机器人
CN106663127A (zh) * 2016-07-07 2017-05-10 深圳狗尾草智能科技有限公司 一种虚拟机器人的交互方法、系统及机器人
WO2018006372A1 (zh) * 2016-07-07 2018-01-11 深圳狗尾草智能科技有限公司 一种基于意图识别控制家电的方法、系统及机器人
WO2018006375A1 (zh) * 2016-07-07 2018-01-11 深圳狗尾草智能科技有限公司 一种虚拟机器人的交互方法、系统及机器人
CN106203050A (zh) * 2016-07-22 2016-12-07 北京百度网讯科技有限公司 智能机器人的交互方法及装置
CN106250533B (zh) * 2016-08-05 2020-06-02 北京光年无限科技有限公司 一种面向智能机器人的富媒体播放数据处理方法和装置
CN106250533A (zh) * 2016-08-05 2016-12-21 北京光年无限科技有限公司 一种面向智能机器人的富媒体播放数据处理方法和装置
CN106239506A (zh) * 2016-08-11 2016-12-21 北京光年无限科技有限公司 智能机器人的多模态输入数据处理方法及机器人操作系统
CN107734213A (zh) * 2016-08-11 2018-02-23 漳州立达信光电子科技有限公司 智能家用电子装置与系统
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US11396102B2 (en) 2016-09-16 2022-07-26 Emotech Ltd. Robots, methods, computer programs and computer-readable media
GB2553840B (en) * 2016-09-16 2022-02-16 Emotech Ltd Robots, methods, computer programs and computer-readable media
WO2018051134A3 (en) * 2016-09-16 2018-04-26 Emotech Ltd. Robots, methods, computer programs and computer-readable media
CN110225807A (zh) * 2016-09-16 2019-09-10 伊默科技有限公司 机器人，方法，计算机程序和计算机可读介质
CN106331841A (zh) * 2016-09-19 2017-01-11 海信集团有限公司 网速信息指示方法及装置
CN107943820A (zh) * 2016-10-12 2018-04-20 阿里巴巴集团控股有限公司 搜索方法、装置、终端设备和操作系统
CN106426203A (zh) * 2016-11-02 2017-02-22 旗瀚科技有限公司 一种主动触发机器人交流的系统及方法
CN106774837A (zh) * 2016-11-23 2017-05-31 河池学院 一种智能机器人的人机交互方法
CN106598241A (zh) * 2016-12-06 2017-04-26 北京光年无限科技有限公司 一种用于智能机器人的交互数据处理方法及装置
US10504515B2 (en) 2016-12-16 2019-12-10 Chiun Mai Communication Systems, Inc. Rotation and tilting of a display using voice information
EP3336687A1 (en) * 2016-12-16 2018-06-20 Chiun Mai Communication Systems, Inc. Voice control device and method thereof
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
CN106737750A (zh) * 2017-01-13 2017-05-31 合肥优智领英智能科技有限公司 一种人机交互式智能机器人
CN110267774A (zh) * 2017-02-06 2019-09-20 川崎重工业株式会社 机器人系统及机器人对话方法
CN107038220A (zh) * 2017-03-20 2017-08-11 北京光年无限科技有限公司 用于生成备忘录的方法、智能机器人及系统
CN107038220B (zh) * 2017-03-20 2020-12-18 北京光年无限科技有限公司 用于生成备忘录的方法、智能机器人及系统
CN107015781A (zh) * 2017-03-28 2017-08-04 联想(北京)有限公司 语音识别方法和系统
US11153234B2 (en) 2017-03-31 2021-10-19 Microsoft Technology Licensing, Llc Providing new recommendation in automated chatting
CN109314660A (zh) * 2017-03-31 2019-02-05 微软技术许可有限责任公司 在自动聊天中提供新闻推荐
WO2018176413A1 (en) * 2017-03-31 2018-10-04 Microsoft Technology Licensing, Llc Providing news recommendation in automated chatting
CN106990782A (zh) * 2017-04-13 2017-07-28 合肥工业大学 一种移动式智能家居控制中心
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10741181B2 (en) 2017-05-09 2020-08-11 Apple Inc. User interface for correcting recognition errors
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US11538469B2 (en) 2017-05-12 2022-12-27 Apple Inc. Low-latency intelligent automated assistant
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
US11862151B2 (en) 2017-05-12 2024-01-02 Apple Inc. Low-latency intelligent automated assistant
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US10909171B2 (en) 2017-05-16 2021-02-02 Apple Inc. Intelligent automated assistant for media exploration
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
CN107331390A (zh) * 2017-05-27 2017-11-07 芜湖星途机器人科技有限公司 机器人语音识别召唤者的主动跟随系统
CN107065815A (zh) * 2017-06-16 2017-08-18 深圳市新太阳数码有限公司 一种老年人情感智能控制系统
CN109144458A (zh) * 2017-06-27 2019-01-04 三星电子株式会社 用于执行与语音输入相对应的操作的电子设备
CN109202922B (zh) * 2017-07-03 2021-01-22 北京光年无限科技有限公司 用于机器人的基于情感的人机交互方法及装置
CN109202922A (zh) * 2017-07-03 2019-01-15 北京光年无限科技有限公司 用于机器人的基于情感的人机交互方法及装置
CN107423950B (zh) * 2017-07-07 2021-07-23 北京小米移动软件有限公司 闹钟设置方法和装置
CN107423950A (zh) * 2017-07-07 2017-12-01 北京小米移动软件有限公司 闹钟设置方法和装置
CN108304434A (zh) * 2017-09-04 2018-07-20 腾讯科技（深圳）有限公司 信息反馈方法和终端设备
CN107770380A (zh) * 2017-10-25 2018-03-06 百度在线网络技术（北京）有限公司 信息处理方法和装置
CN107770380B (zh) * 2017-10-25 2020-12-08 百度在线网络技术（北京）有限公司 信息处理方法和装置
CN108040264B (zh) * 2017-11-07 2021-08-17 苏宁易购集团股份有限公司 一种用于电视节目选台的音箱语音控制方法及设备
CN108040264A (zh) * 2017-11-07 2018-05-15 苏宁云商集团股份有限公司 一种用于电视节目选台的音箱语音控制方法及设备
CN107918653B (zh) * 2017-11-16 2022-02-22 百度在线网络技术（北京）有限公司 一种基于喜好反馈的智能播放方法和装置
CN107918653A (zh) * 2017-11-16 2018-04-17 百度在线网络技术（北京）有限公司 一种基于喜好反馈的智能播放方法和装置
CN108393898A (zh) * 2018-02-28 2018-08-14 上海乐愚智能科技有限公司 一种智能陪伴方法、装置、机器人及存储介质
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
CN108429997A (zh) * 2018-03-28 2018-08-21 上海与德科技有限公司 一种信息播报方法、装置、存储介质及智能音箱
US11907436B2 (en) 2018-05-07 2024-02-20 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
CN110609943A (zh) * 2018-05-28 2019-12-24 九阳股份有限公司 一种智能设备的主动交互方法及服务机器人
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10403283B1 (en) 2018-06-01 2019-09-03 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10720160B2 (en) 2018-06-01 2020-07-21 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11495218B2 (en) 2018-06-01 2022-11-08 Apple Inc. Virtual assistant operation in multi-device environments
US11360577B2 (en) 2018-06-01 2022-06-14 Apple Inc. Attention aware virtual assistant dismissal
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US11630525B2 (en) 2018-06-01 2023-04-18 Apple Inc. Attention aware virtual assistant dismissal
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US10504518B1 (en) 2018-06-03 2019-12-10 Apple Inc. Accelerated task performance
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US10944859B2 (en) 2018-06-03 2021-03-09 Apple Inc. Accelerated task performance
CN108762512A (zh) * 2018-08-17 2018-11-06 浙江核聚智能技术有限公司 人机交互装置、方法及系统
CN109117856A (zh) * 2018-08-23 2019-01-01 中国联合网络通信集团有限公司 基于智能边缘云的人及物追踪方法、装置及系统
CN109117856B (zh) * 2018-08-23 2021-01-29 中国联合网络通信集团有限公司 基于智能边缘云的人及物追踪方法、装置及系统
CN109036565A (zh) * 2018-08-29 2018-12-18 上海常仁信息科技有限公司 一种基于机器人的智慧家庭生活管理系统
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
CN109283851A (zh) * 2018-09-28 2019-01-29 广州智伴人工智能科技有限公司 一种基于机器人的智能家居系统
CN109445288A (zh) * 2018-09-28 2019-03-08 深圳慧安康科技有限公司 一种智慧家庭普及应用的实现方法
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11620995B2 (en) 2018-10-29 2023-04-04 Huawei Technologies Co., Ltd. Voice interaction processing method and apparatus
CN109040324A (zh) * 2018-10-30 2018-12-18 上海碧虎网络科技有限公司 车载数据服务推广方法、装置及计算机可读存储介质
CN109376228B (zh) * 2018-11-30 2021-04-16 北京猎户星空科技有限公司 一种信息推荐方法、装置、设备及介质
CN109376228A (zh) * 2018-11-30 2019-02-22 北京猎户星空科技有限公司 一种信息推荐方法、装置、设备及介质
CN109686365B (zh) * 2018-12-26 2021-07-13 深圳供电局有限公司 一种语音识别方法和语音识别系统
CN109686365A (zh) * 2018-12-26 2019-04-26 深圳供电局有限公司 一种语音识别方法和语音识别系统
CN109726330A (zh) * 2018-12-29 2019-05-07 北京金山安全软件有限公司 一种信息推荐方法及相关设备
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
CN109933272A (zh) * 2019-01-31 2019-06-25 西南电子技术研究所（中国电子科技集团公司第十研究所） 多模态深度融合机载座舱人机交互方法
CN109948153A (zh) * 2019-03-07 2019-06-28 张博缘 一种涉及视频和音频多媒体信息处理的人机交流系统
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
CN109979462A (zh) * 2019-03-21 2019-07-05 广东小天才科技有限公司 一种结合上下文语境获取意图的方法和系统
CN109949723A (zh) * 2019-03-27 2019-06-28 浪潮金融信息技术有限公司 一种通过智能语音对话进行产品推荐的装置及方法
CN109889643A (zh) * 2019-03-29 2019-06-14 广东小天才科技有限公司 一种语音留言播报方法和装置，及存储介质
CN110059250A (zh) * 2019-04-18 2019-07-26 广东小天才科技有限公司 信息推荐方法、装置、设备和存储介质
CN110000791A (zh) * 2019-04-24 2019-07-12 深圳市三宝创新智能有限公司 一种桌面机器人的运动控制装置及方法
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
CN111949773A (zh) * 2019-05-17 2020-11-17 华为技术有限公司 一种阅读设备、服务器以及数据处理的方法
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11360739B2 (en) 2019-05-31 2022-06-14 Apple Inc. User activity shortcut suggestions
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
TWI769383B (zh) * 2019-06-28 2022-07-01 國立臺北商業大學 具擬真回覆之通話系統及方法
CN110569806A (zh) * 2019-09-11 2019-12-13 上海软中信息系统咨询有限公司 一种人机交互系统
CN110599127A (zh) * 2019-09-12 2019-12-20 花豹科技有限公司 智能提醒方法及计算机设备
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
CN110865705A (zh) * 2019-10-24 2020-03-06 中国人民解放军军事科学院国防科技创新研究院 多模态融合的通讯方法、装置、头戴设备及存储介质
CN110865705B (zh) * 2019-10-24 2023-09-19 中国人民解放军军事科学院国防科技创新研究院 多模态融合的通讯方法、装置、头戴设备及存储介质
CN110909036A (zh) * 2019-11-28 2020-03-24 珠海格力电器股份有限公司 功能模块的推荐方法及装置
US11290834B2 (en) 2020-03-04 2022-03-29 Apple Inc. Determining head pose based on room reverberation
CN113556649A (zh) * 2020-04-23 2021-10-26 百度在线网络技术（北京）有限公司 智能音箱的播报控制方法和装置
CN113556649B (zh) * 2020-04-23 2023-08-04 百度在线网络技术（北京）有限公司 智能音箱的播报控制方法和装置
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11924254B2 (en) 2020-05-11 2024-03-05 Apple Inc. Digital assistant hardware abstraction
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
CN111931036A (zh) * 2020-05-21 2020-11-13 广州极天信息技术股份有限公司 一种多模态融合交互系统、方法、智能机器人及存储介质
CN111835923A (zh) * 2020-07-13 2020-10-27 南京硅基智能科技有限公司 一种基于人工智能的移动式语音交互对话系统
CN111835923B (zh) * 2020-07-13 2021-10-19 南京硅基智能科技有限公司 一种基于人工智能的移动式语音交互对话系统
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11750962B2 (en) 2020-07-21 2023-09-05 Apple Inc. User identification using headphones
CN112308530A (zh) * 2020-11-09 2021-02-02 珠海格力电器股份有限公司 提示信息的生成方法和装置、存储介质、电子装置
CN114762981A (zh) * 2020-12-30 2022-07-19 广州富港生活智能科技有限公司 交互方法及相关装置
CN114762981B (zh) * 2020-12-30 2024-03-15 广州富港生活智能科技有限公司 交互方法及相关装置
CN112966193A (zh) * 2021-03-05 2021-06-15 北京百度网讯科技有限公司 出行意图推断方法、模型训练方法、相关装置及电子设备
CN112966193B (zh) * 2021-03-05 2023-07-25 北京百度网讯科技有限公司 出行意图推断方法、模型训练方法、相关装置及电子设备
CN113645346B (zh) * 2021-08-11 2022-09-13 中国联合网络通信集团有限公司 功能触发方法、装置、服务器及计算机可读存储介质
CN113645346A (zh) * 2021-08-11 2021-11-12 中国联合网络通信集团有限公司 功能触发方法、装置、服务器及计算机可读存储介质
WO2023103699A1 (zh) * 2021-12-10 2023-06-15 杭州逗酷软件科技有限公司 交互方法、装置、电子设备以及存储介质
CN115545960A (zh) * 2022-12-01 2022-12-30 江苏联弘信科技发展有限公司 一种电子信息数据交互系统及方法

Also Published As

Publication number Publication date
JP6625418B2 (ja) 2019-12-25
JP2017010516A (ja) 2017-01-12
KR20170000752A (ko) 2017-01-03
EP3109800A1 (en) 2016-12-28
US20160379107A1 (en) 2016-12-29

Similar Documents

Publication Publication Date Title
CN104951077A (zh) 基于人工智能的人机交互方法、装置和终端设备
AU2020200103B2 (en) Intelligent assistant for home automation
CN106782540B (zh) 语音设备及包括所述语音设备的语音交互系统
WO2018188587A1 (zh) 一种语音响应方法、装置及智能设备
CN105093986A (zh) 基于人工智能的拟人机器人控制方法、系统及拟人机器人
CN105683847A (zh) 通过物联网集成平台的物理环境配置
CN105446146A (zh) 基于语义分析的智能终端控制方法、系统及智能终端
CN109147782A (zh) 空调的控制方法、装置和空调
US11030994B2 (en) Selective activation of smaller resource footprint automatic speech recognition engines by predicting a domain topic based on a time since a previous communication
CN112735418B (zh) 一种语音交互的处理方法、装置、终端及存储介质
CN108614851A (zh) 教学系统中的注释内容显示方法以及装置
CN111009245A (zh) 一种指令执行方法、系统及存储介质
CN207780562U (zh) 室内安防陪护机器人
CN107249082B (zh) 音量控制方法、装置、存储介质及电子设备
CN107786714B (zh) 基于车载多媒体设备的语音控制方法、装置及系统
Dargie Adaptive audio-based context recognition
US11164575B2 (en) Methods and systems for managing voice response systems to optimize responses
CN103577234A (zh) 一种用于点读笔的pc端下载管理方法、装置及系统
CN111339881A (zh) 基于情绪识别的宝宝成长监护方法及系统
CN103179157A (zh) 一种智能网络机器人及控制方法
CN208207541U (zh) 一种文具盒的控制装置
CN105282714A (zh) 生命关怀及救援系统
CN116415061A (zh) 一种服务推荐方法及相关装置
JP6944920B2 (ja) スマートインタラクティブの処理方法、装置、設備及びコンピュータ記憶媒体
Orlov The Future of Voice First Technology and Older Adults

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150930

RJ01 Rejection of invention patent application after publication