CN105690385A - 基于智能机器人的应用调用方法与装置 - Google Patents

基于智能机器人的应用调用方法与装置 Download PDF

Info

Publication number
CN105690385A
CN105690385A CN201610158084.0A CN201610158084A CN105690385A CN 105690385 A CN105690385 A CN 105690385A CN 201610158084 A CN201610158084 A CN 201610158084A CN 105690385 A CN105690385 A CN 105690385A
Authority
CN
China
Prior art keywords
application
input information
instruction
closing
opening
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610158084.0A
Other languages
English (en)
Other versions
CN105690385B (zh
Inventor
王合心
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Guangnian Wuxian Technology Co Ltd
Original Assignee
Beijing Guangnian Wuxian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Guangnian Wuxian Technology Co Ltd filed Critical Beijing Guangnian Wuxian Technology Co Ltd
Priority to CN201610158084.0A priority Critical patent/CN105690385B/zh
Publication of CN105690385A publication Critical patent/CN105690385A/zh
Application granted granted Critical
Publication of CN105690385B publication Critical patent/CN105690385B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于智能机器人的应用中功能调用方法与装置，该方法包括接收并识别多模态输入信息；解析并确定所述多模态信息中携带的应用触发指令，其中，所述应用触发指令用于指示与机器人应用中功能相关的开闭及中断；基于所述应用触发指令对智能机器人的应用列表进行搜索，若应用列表中存在与所述应用触发指令相匹配的应用标识，则根据所述应用标识触发应用和/或应用功能的开闭及中断；若应用列表中不存在与所述应用触发指令相匹配的应用标识，则将所述应用触发指令输出至服务器，并在服务器下发的输出指令的指示下，进行应用中功能的开闭及中断。该方法使得用户对于应用的调用的操作更为简洁，使用交互过程更为人性化。

Description

基于智能机器人的应用调用方法与装置
技术领域
本发明涉及智能机器人领域，尤其涉及一种基于智能机器人的应用调用方法与装置。
背景技术
随着机器人技术的发展，智能机器人产品已经越来越多地深入到人们生活的各个方面，机器人不只用来帮助用户高效地完成指定的工作，更被设计为能够为用户提供亲切自然交互体验的伙伴。
目前，多模态人机交互主要体现在智能机器人与用户之间的声音交互、动作交互、表情交互等。机器人可以通过语言与用户进行交流，也可以根据用户的指令完成相应的动作，做出相应的表情。
然而，现有技术中开启及关闭机器人应用的操作一般十分繁琐，需要用户发出固定的语音指令或进行按钮操作才能对机器人的相关应用实现开启/关闭/中断，对于应用的调用存在着操作繁琐，使用不便的技术问题。
发明内容
本发明所要解决的技术问题之一是需要提供一种新的调用机器人应用的方法。
为了解决上述技术问题，本申请的实施例首先提供了一种基于智能机器人的应用调用方法，包括接收并识别多模态输入信息；解析并确定所述多模态信息中携带的应用触发指令，其中，所述应用触发指令用于指示与机器人应用和/或应用功能相关的开闭及中断；基于所述应用触发指令对智能机器人的应用列表进行搜索，若应用列表中存在与所述应用触发指令相匹配的应用标识，则根据所述应用标识触发应用和/或应用功能的开闭及中断；若应用列表中不存在与所述应用触发指令相匹配的应用标识，则将所述应用触发指令输出至服务器，并在服务器下发的输出指令的指示下，进行应用和/或应用功能的开闭及中断。
优选地，接收并识别多模态输入信息包括，接收交互过程中的多模态输入信息；所述多模态输入信息包括声音输入信息、视觉输入信息与触觉输入信息，其中，所述声音输入信息被识别为文本数据集合，所述视觉输入信息被识别为可执行指令集合和/或人脸属性集合，所述触觉输入信息被识别为触摸参数集合。
优选地，接收并识别多模态输入信息包括，获取机器人的思维状态信息。
优选地，在根据所述应用标识触发应用和/或应用功能的开闭及中断之前还包括：获取机器人的情感状态信息；基于所述应用标识及所述情感状态信息触发应用和/或应用功能的开闭及中断。
优选地，在根据所述应用标识触发应用和/或应用功能的开闭及中断之前还包括，输出与是否开闭及中断应用和/或应用功能相关的多模态交互指令，确定用户是否开闭及中断应用和/或应用功能。
优选地，在根据所述应用标识触发应用和/或应用功能的开闭及中断的同时还输出与所述多模态输入信息相对应的多模态输出。
本申请的实施例还提供了一种基于智能机器人的应用中功能调用装置，包括：指令接收模块，其接收并识别多模态输入信息；指令确定模块，其解析并确定所述多模态信息中携带的应用触发指令，其中，所述应用触发指令用于指示与机器人应用和/或应用功能相关的开闭及中断；指令执行模块，其基于所述应用触发指令对智能机器人的应用列表进行搜索，若应用列表中存在与所述应用触发指令相匹配的应用标识，则根据所述应用标识触发应用和/或应用功能的开闭及中断；指令转移模块，若应用列表中不存在与所述应用触发指令相匹配的应用标识，其将所述应用触发指令输出至服务器，并在服务器下发的输出指令的指示下，进行应用和/或应用功能的开闭及中断。
优选地，所述指令接收模块接收交互过程中的多模态输入信息；所述多模态输入信息包括声音输入信息、视觉输入信息与触觉输入信息，其中，所述声音输入信息被识别为文本数据集合，所述视觉输入信息被识别为可执行指令集合和/或人脸属性集合，所述触觉输入信息被识别为触摸参数集合。
优选地，所述指令执行模块在根据所述应用标识触发应用和/或应用功能的开闭及中断之前，输出与是否开闭及中断应用和/或应用功能相关的多模态交互指令，确定用户是否开闭及中断应用和/或应用功能。
优选地，所述指令执行模块在根据所述应用标识触发应用和/或应用功能的开闭及中断的同时还输出与所述多模态输入信息相对应的多模态输出。
与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：
智能机器人通过接收及解析用户的多模态信息，获取对于相关应用的操作指令，若应用列表中存在与所述应用触发指令相匹配的应用标识，则根据所述应用标识触发应用和/或应用功能的开闭及中断；若应用列表中不存在与所述应用触发指令相匹配的应用标识，则将所述应用触发指令输出至服务器，并在服务器下发的输出指令的指示下，进行应用中功能的开闭及中断，改善了用户发出固定的语音指令或进行按钮操作才能对机器人的相关应用实现开启/关闭/中断，使得用户对于应用的调用的操作更为简洁，使用交互过程更为人性化。
本发明的其他优点、目标，和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书，权利要求书，以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。
图1为根据本发明实施例的基于智能机器人的应用调用方法的流程示意图；
图2为根据本发明一实施例的利用应用列表触发系统应用中功能的具体的流程示意图；
图3为根据本发明另一实施例的利用应用列表触发系统应用中功能的具体的流程示意图；
图4为根据本发明又一实施例的利用应用列表触发系统应用中功能的具体的流程示意图；
图5为根据本发明再一实施例的利用应用列表触发系统应用中功能的具体的流程示意图；
图6为根据本发明实施例的基于智能机器人的应用调用装置的结构示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。
实施例一：
图1为根据本发明实施例的基于智能机器人的应用调用方法的流程示意图，如图所示，该方法包括：
步骤S110、接收并识别多模态输入信息。
步骤S120、解析并确定多模态信息中携带的应用触发指令，其中，应用触发指令用于指示与机器人应用和/或应用功能相关的开闭及中断。
步骤S130、基于应用触发指令对智能机器人的应用列表进行搜索，若应用列表中存在与应用触发指令相匹配的应用标识，则根据应用标识触发应用和/或应用功能的开闭及中断。
步骤S140、若应用列表中不存在与应用触发指令相匹配的应用标识，则将应用触发指令输出至服务器，并在服务器下发的输出指令的指示下，进行应用和/或应用功能的开闭及中断。
用户发出的输入信息中会包含有用户的意图。用户想要机器人为其播放音乐，智能机器人能够接收来自用户的多模态输入信息多模态输入信息可以包括声音输入信息、视觉输入信息、触觉输入信息等。
上述多模态输入信息也能够从不同程度上表现出用户的意图的一种倾向性。举例而言，用户发出的多模态输入信息是声音输入信息“我要拍照”，则基本能够确定用户是想让机器人调用相机应用来为其拍照。又如，智能机器人通过视觉采集设备获取用户的动作输入为“用手做出V字手势”以及“面露笑容”，这两个多模态输入信息表示的倾向性虽然不及声音输入所表示的倾向性明显，但也在一定程度上都包含有想让机器人调用相机应用来为其拍照的倾向性。因此，在本申请中认为，在多模态输入信息中携带有应用触发指令，且这种倾向性可以用于触发对应的应用。
在本实施例中，应用触发指令指的是根据多模态输入信息中所携带的用于指示机器人开启、关闭及中断机器人应用中功能的信息获取的指令，应用触发指令能够表达出发出该多模态输入信息的用户是否具有开启、关闭及中断机器人应用中功能的倾向性。
在本实施例中，首先对机器人系统接收到的多模态输入信息进行识别，将多模态输入信息分别识别为机器人系统能够使用的数据形式。
具体的，机器人系统通过音频采集设备、视觉采集设备、触觉传感器分别接收声音输入信息、视觉输入信息以及触觉输入信息。其中，声音输入信息被机器人系统的语音识别引擎识别为文本数据。视觉输入信息可以用于获取用户的动作输入指令以及获取用户的人脸信息，因此视觉输入信息可以分别由机器人系统的动作识别引擎和人脸识别引擎识别为可执行指令的集合以及人脸属性的集合。至于触觉输入信息，机器人系统可以根据触觉传感器发出的电信号识别得到触压的位置、触压力的大小等特征参数，并生成触摸参数的集合。机器人系统对多模态输入信息的识别过程如图2中步骤S220所示。
进一步地，解析并确定多模态输入信息中携带的应用触发指令，即用于指示机器人开启、关闭及中断机器人应用中功能的信息，如图2中步骤S230所示。
在步骤S230中，系统可能会从多模态输入信息中获取多条应用触发指令，则接下来基于获取的多条应用触发指令对智能机器人系统的应用列表进行搜索，如图2中步骤S240所示。
机器人端操作系统的应用列表是用于机器人操作系统的正常运行的必要元素，应用列表能够保证机器人操作系统在正常运行过程中，通过对应用列表的处理，使机器人操作系统能够有序地工作。应用列表中涉及到的相关应用将由机器人操作系统直接调用。
在机器人系统的应用列表中存储有应用标识，应用标识与应用触发指令相对应，机器人系统能够根据应用标识的指示触发应用和/或应用功能的开闭及中断。
因此，在本实施例中，如果事先在应用列表中存储了与应用触发指令相对应的应用标识，那么当根据多模态输入信息识别出对应的应用触发指令，并与应用列表中的应用标识相匹配后，便可以由系统直接对对应的系统应用中功能进行调用。
举例而言，智能机器人通过声音采集设备获取用户的语音输入为“我要拍照”，机器人系统在将上述多模态输入信息识别为系统能够使用的文本数据后，解析并确定多模态输入信息中携带的应用触发指令。假如解析得到的应用触发指令均为“相机”，则基于“相机”对系统的应用列表进行搜索。进一步地，在应用列表中存储有对应的应用标识“相机”，则机器人系统根据该应用标识“相机”触发相应的操作。
当通过获取的应用触发指令搜索到的匹配的应用标识涉及多个机器人系统的应用中功能的操作时，则系统会根据情况依次触发各应用中功能的开闭及中断或采取其他的操作以确定对哪一个应用中功能进行开闭及中断，例如采用与用户交互的形式，具体参见实施例四。当通过获取的多条应用触发指令搜索到多条匹配的应用标识时，由系统通过预先设置的算法确定上述匹配的应用标识中的一条或多条进行执行。
在本实施例中，当应用列表中不存在与应用触发指令相匹配的应用标识时，则系统将按照常规的执行方式，将经过识别和预处理后得到的多模态输入信息发送至远程服务器，由远程服务器的分析系统对多模态输入信息进行分析，在服务器下发的多模态输出指令的指示下，由机器人操作系统执行特定的应用调用程序对应用中功能进行开闭及中断。
本实施例中的应用调用方法基于智能机器人系统的多模态信息识别及解析，改善了用户发出固定的语音指令或进行按钮操作才能对机器人的相关应用实现开启/关闭/中断，使得用户对于应用的调用的操作更为简洁，使用交互过程更为人性化。
实施例二：
智能机器人系统不仅能够通过与用户的交互对其多模态输入信息进行反应，还可以生成并表达自身的思维。与实施例一中机器人对用户的多模态输入信息进行响应的被动的交互模式不同，机器人根据自身所处的不同状态或场景主动地表现出一定的多模态行为是一种主动的交互模式。
当机器人主动发出交互行为时，也有对系统应用中功能的调用要求，当机器人处于主动的交互模式下，其调用系统应用中功能的任务也可以通过操作系统的应用列表来实现，下面结合图3详细说明。
机器人系统会将其内部自发产生的状态输入均处理为输入系统的思维状态信息，如图3中步骤S310所示。
举例而言，当机器人处于待机过程中时，即此时没有用户与其交互，机器人可能由于其内部的具有一定模拟周期的时间单元的定时触发或随机触发，而在机器人内部产生一触发信号。又或者，机器人根据之前与用户的交互推断，用户在当前时间段内会要求机器人为其播放音乐，那么根据机器人内部的日志记录以及时间单元的定时触发，机器人可能会主动产生一条思维状态输入信息“下午3点，需要为主人播放音乐”。
同样的，思维状态输入信息中也会携带有表示机器人自身意图的应用触发指令，机器人系统对接收到的思维状态输入信息进行解析并确定该信息中所携带的应用触发指令，如图3中步骤S320所示。在确定了应用触发指令后，根据该应用触发指令对智能机器人的应用列表进行搜索，如图3中步骤S330所示。
若应用列表中存在与该应用触发指令相匹配的应用标识，则根据该应用标识触发应用和/或应用功能的开闭及中断，如图3中步骤S340所示。
若应用列表中不存在与该应用触发指令相匹配的应用标识，则机器人主动输出交互指令信息，通过与用户的交互来确定用户是否需要机器人为其调用相应的应用提供服务，如图3中步骤S350所示，步骤S350将在后面的实施例四中进一步详细说明。
步骤S320、S330以及S340与实施例一中的步骤S230、S240以及S250的功能对应相同，此处均不再赘述。
在本实施例中，基于利用系统的应用列表对机器人应用中功能的调用，实现了对机器人系统思维状态输入信息的响应的同时简化了调用系统应用中功能的流程。
实施例三：
在本实施例中，进一步考虑机器人情感状态对触发应用和/或应用功能的开闭及中断的作用情况，如图4所示，下面仅针对与实施例一中不同的步骤进行说明。
在本实施例中，当机器人系统在应用列表中搜索到匹配的应用标识后，不立即根据应用标识的指示来触发应用和/或应用功能的开闭及中断，而是先获取机器人系统的情感状态信息，如图4中步骤S400所示。
在得到机器人的情感状态信息后，基于搜索得到的应用标识及获取的情感状态信息触发应用和/或应用功能的开闭及中断，如图4中步骤S450所示。
举例而言，当根据获取的情感状态信息获知机器人当前处于情绪非常低落的状态时，那么即使系统此刻搜索得到了有效的能够用于开启相机应用中功能的应用标识，机器人也可能无法执行开启相机的操作。
在本实施例中，进一步考虑了机器人所处的情感状态对触发应用和/或应用功能的开闭及中断的影响。
实施例四：
在智能机器人与用户的交互过程中还存在如下情形，通过多条应用触发指令搜索到多条匹配的应用标识，且其中有若干条应用标识指示出对机器人应用中功能的相反的操作，例如同时指示机器人开启和关闭某应用中功能。或者，通过多条应用触发指令搜索到多条匹配的应用标识，且各指令信息均涉及不同的机器人应用中功能。
在上述情况中，机器人很难确定应该对应用中功能实施哪种操作(开启还是关闭)，以及是将应用标识涉及到的所有应用中功能均开启，还是仅选择部分应用中功能开启。在本发明实施例中，提供了一种交互机制解决上述问题，下面结合图5详细说明。
如图5a所示，在机器人通过搜索系统的应用列表得到多条匹配的应用标识后，会继续基于得到的多条匹配的应用标识输出多模态交互指令，该交互指令用于询问用户是否开闭及中断应用中功能，或者向其提供备选方案以确定对哪些应用中功能实施操作。在引导用户完成交互的过程中，机器人可能会接收新的多模态输入信息，并利用前述实施例的方法对该多模态输入信息进行处理以确定用户是否开闭及中断相关的应用中功能。
举例而言，机器人在同时搜索到触发相机与播放器的应用标识后，向用户发出交互指令“同时开启相机和播放器？YorN”，优选地，该交互指令可以以语音输出或利用显示屏幕输出。用户通过语音回答或点选屏幕与机器人进行交互。当用户选择“N”后，机器人还会继续发出交互指令“开启相机还是播放器？A相机B播放器C均不开启”，引导用户做出最终的选择。
同样的，在实施例二中的步骤S350中，机器人也通过交互对用户进行引导，来确定用户是否需要其开启相应的应用中功能来提供服务。另外，可以理解的是，在本实施例中也包含系统获取机器人的情感状态信息输入的情况，如图5b所示，此处不再赘述。
还需要说明的是，上述各实施例中的机器人系统在根据应用标识触发应用和/或应用功能的开闭及中断的同时还输出与多模态输入信息相对应的多模态输出。也就是说，本发明的调用系统应用中功能的方法不对机器人系统的正常响应行为造成影响。
实施例五：
图6为根据本发明实施例的基于智能机器人的应用中功能调用装置的结构示意图，该装置包括：
指令接收模块61，其接收并识别多模态输入信息。
指令确定模块62，其解析并确定多模态信息中携带的应用触发指令，其中，应用触发指令用于指示与机器人应用中功能相关的开闭及中断。
指令执行模块63，其基于应用触发指令对智能机器人的应用列表进行搜索，若应用列表中存在与应用触发指令相匹配的应用标识，则根据应用标识触发应用和/或应用功能的开闭及中断。
指令转移模块64，若应用列表中不存在与应用触发指令相匹配的应用标识，其将应用触发指令输出至服务器，并在服务器下发的输出指令的指示下，进行应用中功能的开闭及中断。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
综上所述：
智能机器人通过接收及解析用户的多模态信息，获取对于相关应用的操作指令，若应用列表中存在与所述应用触发指令相匹配的应用标识，则根据所述应用标识触发应用和/或应用功能的开闭及中断；若应用列表中不存在与所述应用触发指令相匹配的应用标识，则将所述应用触发指令输出至服务器，并在服务器下发的输出指令的指示下，进行应用中功能的开闭及中断，改善了用户发出固定的语音指令或进行按钮操作才能对机器人的相关应用实现开启/关闭/中断，使得用户对于应用的调用的操作更为简洁，使用交互过程更为人性化。
上述各功能模块按照前述各实施例的方法执行相应的功能，不再赘述。
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种基于智能机器人的应用调用方法，包括：
接收并识别多模态输入信息；
解析并确定所述多模态信息中携带的应用触发指令，其中，所述应用触发指令用于指示与机器人应用和/或应用功能相关的开闭及中断；
基于所述应用触发指令对智能机器人的应用列表进行搜索，若应用列表中存在与所述应用触发指令相匹配的应用标识，则根据所述应用标识触发应用和/或应用功能的开闭及中断；
若应用列表中不存在与所述应用触发指令相匹配的应用标识，则将所述应用触发指令输出至服务器，并在服务器下发的输出指令的指示下，进行应用和/或应用功能的开闭及中断。
2.根据权利要求1所述的方法，其特征在于，接收并识别多模态输入信息包括，接收交互过程中的多模态输入信息；
所述多模态输入信息包括声音输入信息、视觉输入信息与触觉输入信息，其中，所述声音输入信息被识别为文本数据集合，所述视觉输入信息被识别为可执行指令集合和/或人脸属性集合，所述触觉输入信息被识别为触摸参数集合。
3.根据权利要求1所述的方法，其特征在于，接收并识别多模态输入信息包括，获取机器人的思维状态信息。
4.根据权利要求1至3中任一项所述的方法，其特征在于，在根据所述应用标识触发应用和/或应用功能的开闭及中断之前还包括：
获取机器人的情感状态信息；
基于所述应用标识及所述情感状态信息触发应用和/或应用功能的开闭及中断。
5.根据权利要求4所述的方法，其特征在于，在根据所述应用标识触发应用和/或应用功能的开闭及中断之前还包括，输出与是否开闭及中断应用和/或应用功能相关的多模态交互指令，确定用户是否开闭及中断应用和/或应用功能。
6.根据权利要求1所述的方法，其特征在于，在根据所述应用标识触发应用和/或应用功能的开闭及中断的同时还输出与所述多模态输入信息相对应的多模态输出。
7.一种基于智能机器人的应用调用装置，包括：
指令接收模块，其接收并识别多模态输入信息；
指令确定模块，其解析并确定所述多模态信息中携带的应用触发指令，其中，所述应用触发指令用于指示与机器人应用和/或应用功能相关的开闭及中断；
指令执行模块，其基于所述应用触发指令对智能机器人的应用列表进行搜索，若应用列表中存在与所述应用触发指令相匹配的应用标识，则根据所述应用标识触发应用和/或应用功能的开闭及中断；
指令转移模块，若应用列表中不存在与所述应用触发指令相匹配的应用标识，其将所述应用触发指令输出至服务器，并在服务器下发的输出指令的指示下，进行应用和/或应用功能的开闭及中断。
8.根据权利要求7所述的装置，其特征在于，所述指令接收模块接收交互过程中的多模态输入信息；
所述多模态输入信息包括声音输入信息、视觉输入信息与触觉输入信息，其中，所述声音输入信息被识别为文本数据集合，所述视觉输入信息被识别为可执行指令集合和/或人脸属性集合，所述触觉输入信息被识别为触摸参数集合。
9.根据权利要求7所述的装置，其特征在于，所述指令执行模块在根据所述应用标识触发应用和/或应用功能的开闭及中断之前，输出与是否开闭及中断应用和/或应用功能相关的多模态交互指令，确定用户是否开闭及中断应用和/或应用功能。
10.根据权利要求7所述的装置，其特征在于，所述指令执行模块在根据所述应用标识触发应用和/或应用功能的开闭及中断的同时还输出与所述多模态输入信息相对应的多模态输出。
CN201610158084.0A 2016-03-18 2016-03-18 基于智能机器人的应用调用方法与装置 Active CN105690385B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610158084.0A CN105690385B (zh) 2016-03-18 2016-03-18 基于智能机器人的应用调用方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610158084.0A CN105690385B (zh) 2016-03-18 2016-03-18 基于智能机器人的应用调用方法与装置

Publications (2)

Publication Number Publication Date
CN105690385A true CN105690385A (zh) 2016-06-22
CN105690385B CN105690385B (zh) 2019-04-26

Family

ID=56232172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610158084.0A Active CN105690385B (zh) 2016-03-18 2016-03-18 基于智能机器人的应用调用方法与装置

Country Status (1)

Country Link
CN (1) CN105690385B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106020850A (zh) * 2016-06-23 2016-10-12 北京光年无限科技有限公司 在机器人操作系统中关闭应用的方法及装置
CN106127296A (zh) * 2016-06-23 2016-11-16 北京光年无限科技有限公司 一种应用于智能机器人的开机启动方法及智能机器人
CN106154876A (zh) * 2016-07-15 2016-11-23 北京光年无限科技有限公司 一种智能机器人及机器人操作系统
CN106201699A (zh) * 2016-07-15 2016-12-07 北京光年无限科技有限公司 在机器人操作系统中启动应用的方法及装置
CN106506465A (zh) * 2016-10-21 2017-03-15 北京光年无限科技有限公司 一种用于机器人的数据传输处理方法
CN106541402A (zh) * 2016-10-14 2017-03-29 广州励丰文化科技股份有限公司 一种基于多轨道和幕场模式的机械臂控制台及方法
CN106681805A (zh) * 2016-11-21 2017-05-17 北京智能管家科技有限公司 一种智能设备中应用服务运行控制方法及装置
CN106951274A (zh) * 2016-11-15 2017-07-14 北京光年无限科技有限公司 应用启动方法、操作系统及智能机器人
CN107015490A (zh) * 2017-02-28 2017-08-04 北京光年无限科技有限公司 一种智能机器人及智能机器人操作系统
CN107066288A (zh) * 2017-01-17 2017-08-18 北京光年无限科技有限公司 一种用于智能机器人的多模态交互方法及装置
CN107433591A (zh) * 2017-08-01 2017-12-05 上海未来伙伴机器人有限公司 多维度交互机器人应用控制系统及方法
CN107632706A (zh) * 2017-09-08 2018-01-26 北京光年无限科技有限公司 多模态虚拟人的应用数据处理方法和系统
CN108595012A (zh) * 2018-05-10 2018-09-28 北京光年无限科技有限公司 基于虚拟人的视觉交互方法及系统
CN108681398A (zh) * 2018-05-10 2018-10-19 北京光年无限科技有限公司 基于虚拟人的视觉交互方法及系统
WO2020043038A1 (zh) * 2018-08-29 2020-03-05 阿里巴巴集团控股有限公司 交互方法、设备、存储介质和操作系统
CN111383346A (zh) * 2020-03-03 2020-07-07 深圳创维－Rgb电子有限公司 基于智能语音的交互方法、系统、智能终端和存储介质
CN112380334A (zh) * 2020-12-04 2021-02-19 三星电子（中国）研发中心 一种智能交互方法、装置和智能设备
CN112416474A (zh) * 2020-11-19 2021-02-26 腾讯科技（深圳）有限公司 客户端的功能调用方法和装置、存储介质及电子设备
WO2023202444A1 (zh) * 2022-04-21 2023-10-26 华为技术有限公司 一种输入方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101272418A (zh) * 2008-03-25 2008-09-24 宇龙计算机通信科技(深圳)有限公司 一种远程控制通信终端的方法和通信终端
CN102446428A (zh) * 2010-09-27 2012-05-09 北京紫光优蓝机器人技术有限公司 基于机器人的交互式学习系统及其交互方法
CN202753155U (zh) * 2012-07-18 2013-02-27 深圳市中科睿成智能科技有限公司 一种用于互联网的机器人装置
US20130166621A1 (en) * 2010-08-24 2013-06-27 Dingju Zhu Cloud robot system and method of integrating the same
CN103279189A (zh) * 2013-06-05 2013-09-04 合肥华恒电子科技有限责任公司 一种便携式电子设备的交互装置及其交互方法
CN104834691A (zh) * 2015-04-22 2015-08-12 中国建设银行股份有限公司 一种语音机器人
CN105204743A (zh) * 2015-09-28 2015-12-30 百度在线网络技术（北京）有限公司 用于语音和视频通讯的交互控制方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101272418A (zh) * 2008-03-25 2008-09-24 宇龙计算机通信科技(深圳)有限公司 一种远程控制通信终端的方法和通信终端
US20130166621A1 (en) * 2010-08-24 2013-06-27 Dingju Zhu Cloud robot system and method of integrating the same
CN102446428A (zh) * 2010-09-27 2012-05-09 北京紫光优蓝机器人技术有限公司 基于机器人的交互式学习系统及其交互方法
CN202753155U (zh) * 2012-07-18 2013-02-27 深圳市中科睿成智能科技有限公司 一种用于互联网的机器人装置
CN103279189A (zh) * 2013-06-05 2013-09-04 合肥华恒电子科技有限责任公司 一种便携式电子设备的交互装置及其交互方法
CN104834691A (zh) * 2015-04-22 2015-08-12 中国建设银行股份有限公司 一种语音机器人
CN105204743A (zh) * 2015-09-28 2015-12-30 百度在线网络技术（北京）有限公司 用于语音和视频通讯的交互控制方法及装置

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127296A (zh) * 2016-06-23 2016-11-16 北京光年无限科技有限公司 一种应用于智能机器人的开机启动方法及智能机器人
CN106020850A (zh) * 2016-06-23 2016-10-12 北京光年无限科技有限公司 在机器人操作系统中关闭应用的方法及装置
CN106127296B (zh) * 2016-06-23 2019-08-02 北京光年无限科技有限公司 一种应用于智能机器人的开机启动方法及智能机器人
CN106154876A (zh) * 2016-07-15 2016-11-23 北京光年无限科技有限公司 一种智能机器人及机器人操作系统
CN106201699A (zh) * 2016-07-15 2016-12-07 北京光年无限科技有限公司 在机器人操作系统中启动应用的方法及装置
CN106541402B (zh) * 2016-10-14 2018-10-09 广州励丰文化科技股份有限公司 一种基于多轨道和幕场模式的机械臂控制台及方法
CN106541402A (zh) * 2016-10-14 2017-03-29 广州励丰文化科技股份有限公司 一种基于多轨道和幕场模式的机械臂控制台及方法
CN106506465A (zh) * 2016-10-21 2017-03-15 北京光年无限科技有限公司 一种用于机器人的数据传输处理方法
CN106951274A (zh) * 2016-11-15 2017-07-14 北京光年无限科技有限公司 应用启动方法、操作系统及智能机器人
CN106681805A (zh) * 2016-11-21 2017-05-17 北京智能管家科技有限公司 一种智能设备中应用服务运行控制方法及装置
CN106681805B (zh) * 2016-11-21 2019-12-03 北京儒博科技有限公司 一种智能设备中应用服务运行控制方法及装置
CN107066288B (zh) * 2017-01-17 2020-06-26 北京光年无限科技有限公司 一种用于智能机器人的多模态交互方法及装置
CN107066288A (zh) * 2017-01-17 2017-08-18 北京光年无限科技有限公司 一种用于智能机器人的多模态交互方法及装置
CN107015490A (zh) * 2017-02-28 2017-08-04 北京光年无限科技有限公司 一种智能机器人及智能机器人操作系统
CN107433591A (zh) * 2017-08-01 2017-12-05 上海未来伙伴机器人有限公司 多维度交互机器人应用控制系统及方法
CN107632706A (zh) * 2017-09-08 2018-01-26 北京光年无限科技有限公司 多模态虚拟人的应用数据处理方法和系统
CN108595012A (zh) * 2018-05-10 2018-09-28 北京光年无限科技有限公司 基于虚拟人的视觉交互方法及系统
CN108681398A (zh) * 2018-05-10 2018-10-19 北京光年无限科技有限公司 基于虚拟人的视觉交互方法及系统
WO2020043038A1 (zh) * 2018-08-29 2020-03-05 阿里巴巴集团控股有限公司 交互方法、设备、存储介质和操作系统
CN111383346A (zh) * 2020-03-03 2020-07-07 深圳创维－Rgb电子有限公司 基于智能语音的交互方法、系统、智能终端和存储介质
CN111383346B (zh) * 2020-03-03 2024-03-12 深圳创维－Rgb电子有限公司 基于智能语音的交互方法、系统、智能终端和存储介质
CN112416474A (zh) * 2020-11-19 2021-02-26 腾讯科技（深圳）有限公司 客户端的功能调用方法和装置、存储介质及电子设备
CN112380334A (zh) * 2020-12-04 2021-02-19 三星电子（中国）研发中心 一种智能交互方法、装置和智能设备
CN112380334B (zh) * 2020-12-04 2023-03-24 三星电子（中国）研发中心 一种智能交互方法、装置和智能设备
WO2023202444A1 (zh) * 2022-04-21 2023-10-26 华为技术有限公司 一种输入方法及装置

Also Published As

Publication number Publication date
CN105690385B (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
CN105690385A (zh) 基于智能机器人的应用调用方法与装置
US20190027147A1 (en) Automatic integration of image capture and recognition in a voice-based query to understand intent
KR102001293B1 (ko) 로봇 상의 소프트웨어 애플리케이션 실행하기
US20160225372A1 (en) Smart home connected device contextual learning using audio commands
Rossi et al. An extensible architecture for robust multimodal human-robot communication
CN107111725A (zh) 在输入理解系统中保护私有信息
CN106202165B (zh) 人机交互的智能学习方法及装置
JP2006146881A (ja) 会話用合理的エージェント、このエージェントを用いるインテリジェント会話システム、インテリジェント会話を制御する方法、及びそれを用いるプログラム
CN105122353A (zh) 用于虚拟个人助理系统的自然人-计算机交互
US11468881B2 (en) Method and system for semantic intelligent task learning and adaptive execution
CN104090652A (zh) 一种语音输入方法和装置
CN107430616A (zh) 语音查询的交互式再形成
CN109716714A (zh) 使用有作用域的搜索和对话接口的控制系统
CN110517685A (zh) 语音识别方法、装置、电子设备及存储介质
CN112286485B (zh) 通过语音控制应用的方法、装置、电子设备与存储介质
CN106239506A (zh) 智能机器人的多模态输入数据处理方法及机器人操作系统
CN110047484A (zh) 一种语音识别交互方法、系统、设备和存储介质
JP7247442B2 (ja) ユーザ対話における情報処理方法、装置、電子デバイス及び記憶媒体
CN112527962A (zh) 基于多模态融合的智能应答方法、装置、机器可读介质及设备
EP3465392B1 (en) Time-correlated touch and speech command input
CN110992955A (zh) 一种智能设备的语音操作方法、装置、设备及存储介质
CN105069013A (zh) 在搜索界面中提供输入接口的控制方法和装置
CN111968631A (zh) 智能设备的交互方法、装置、设备及存储介质
US20190205383A1 (en) Method for intelligent assistance
CN110503954A (zh) 语音技能启动方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant