CN111061370A - 用于智能设备的人机交互装置及方法 - Google Patents

用于智能设备的人机交互装置及方法 Download PDF

Info

Publication number
CN111061370A
CN111061370A CN201911291953.7A CN201911291953A CN111061370A CN 111061370 A CN111061370 A CN 111061370A CN 201911291953 A CN201911291953 A CN 201911291953A CN 111061370 A CN111061370 A CN 111061370A
Authority
CN
China
Prior art keywords
control
identification
request
channel
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911291953.7A
Other languages
English (en)
Other versions
CN111061370B (zh
Inventor
马青龙
孙健
张炳康
夏繁
丁健文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen yunwangwandian e-commerce Co.,Ltd.
Original Assignee
Suning Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suning Cloud Computing Co Ltd filed Critical Suning Cloud Computing Co Ltd
Priority to CN201911291953.7A priority Critical patent/CN111061370B/zh
Publication of CN111061370A publication Critical patent/CN111061370A/zh
Priority to PCT/CN2020/111939 priority patent/WO2021120684A1/zh
Priority to CA3164768A priority patent/CA3164768A1/en
Application granted granted Critical
Publication of CN111061370B publication Critical patent/CN111061370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开一种用于智能设备的人机交互装置及方法，能够提高用户的人机交互体验。该装置包括识别接口、交互模型单元、意图识别单元和控制接口；识别接口用于向识别通道发起识别请求；交互模型单元包括通道控制器、焦点控制器和策略管理器，焦点控制器用于根据识别请求的识别策略优先级获取对识别请求的控制逻辑，通道控制器用于根据控制逻辑对识别通道中的识别请求执行控制动作得到任务数据；意图识别单元用于识别任务数据的意图指令生成控制请求，再由焦点控制器根据控制请求的控制策略优先级获取对控制请求的控制逻辑，通道控制器还用于根据控制逻辑对控制通道中控制请求动作得到行为动作；控制接口将行为动作控制输出。

Description

用于智能设备的人机交互装置及方法
技术领域
本发明涉及人机交互技术领域，尤其涉及一种用于智能设备的人机交互装置及方法。
背景技术
人机交互、人机互动(Human–ComputerInteraction或Human–MachineInteraction，简称HCI或HMI)，是一门研究系统与用户之间的交互关系的学问。系统可以是各种各样的机器，也可以是计算机软件。以智能机器人为例，该智能机器人通过内置的语音系统与用户进行人机对话，在现有的人机交互方案中，智能机器人通过同一通道对任务能力和行为能力进行识别或控制时，其中，任务能力包括听能力(ListenCapability)和看能力(Watch Capability)，行为能力包括说能力(Speak Capability)和动能力(Action Capability)，时常会因同时处理任务能力和行为能力出现逻辑混乱，进而导致交互平滑性差的现象发生，影响用户的人机交互体验。
发明内容
本发明的目的在于提供一种用于智能设备的人机交互装置及方法，能够提高用户的人机交互体验。
为了实现上述目的，本发明的一方面提供一种用于智能设备的人机交互装置，包括识别接口、交互模型单元、意图识别单元和控制接口；
所述识别接口用于向识别通道发起识别请求，所述识别请求包括听能力数据和/或看能力数据；
所述交互模型单元包括通道控制器、焦点控制器和用于预设识别通道中识别请求的识别策略优先级和控制通道中控制请求的控制策略优先级的策略管理器，所述焦点控制器用于根据识别请求的识别策略优先级获取对识别请求的控制逻辑，所述通道控制器用于根据所述控制逻辑对识别通道中的识别请求执行控制动作得到任务数据；
所述意图识别单元用于识别所述任务数据的意图指令并生成控制请求，再由所述焦点控制器根据控制请求的控制策略优先级获取对控制请求的控制逻辑，所述通道控制器还用于根据所述控制逻辑对控制通道中的控制请求动作得到行为动作；
所述控制接口用于将行为动作控制输出，所述行为动作包括说能力数据和/或动能力数据。
优选地，所述通道控制器包括识别控制器和动作控制器；
所述识别控制器用于根据当前的识别通道中识别请求活动状态以及控制通道中控制请求的活动状态，结合焦点控制器输出的识别请求控制逻辑，对识别通道中的识别请求执行控制动作后得到任务数据；
所述动作控制器用于根据当前的识别通道中识别请求活动状态以及控制通道中控制请求的活动状态，结合焦点控制器输出的控制请求控制逻辑，对控制通道中的控制请求动作后得到行为动作。
较佳地，所述意图识别单元包括意图引擎、数据识别接口和意图执行接口；
所述数据识别接口用于接收任务数据，并上传至意图引擎；
所述意图引擎用于识别任务数据，得到意图指令并下发至意图执行接口；
所述意图执行接口用于将意图指令传送至动作控制器请求交互，使得动作控制器基于意图指令生成控制请求发送至控制通道。
示例性地，识别策略包括停止识别请求的执行、将识别请求置入前景执行、将识别请求置入后景执行、将识别请求暂时阻塞、继续执行识别请求中的一种或多种，控制策略包括停止控制请求的执行、将控制请求置入前景执行、将控制请求置入后景执行、将控制请求暂时阻塞、继续执行控制请求中的一种或多种。
优选地，所述识别请求包括对话类识别请求和上下文类识别请求，且对话类识别请求的识别策略优先级高于上下文类识别请求的识别策略优先级。
优选地，还包括：
在识别控制器对识别通道中的识别请求执行完控制动作生成任务数据后，自动将该识别请求由焦点状态切换为失活焦点状态；
在动作控制器对控制通道中的控制请求执行完控制动作生成行为动作后，自动将该行为动作由焦点状态切换为失活焦点状态。
与现有技术相比，本发明提供的智能设备人机交互装置具有以下有益效果：
本发明提供的智能设备人机交互装置，由识别接口、交互模型单元、意图识别单元和控制接口组成，识别接口接收用户发起的识别请求，并将该识别请求传输至识别通道，实现对听能力数据和/或看能力数据的人机交互输入，此时焦点控制器需从策略管理器中读取识别通道的识别策略优先级并生成对识别请求的控制逻辑，使得通道控制器根据该控制逻辑对识别通道中的识别请求进行动作控制获取任务数据，接下来通过意图识别单元识别任务数据的意图指令生成控制请求，由通道控制器将控制请求输入控制通道，此时焦点控制器从策略管理器中需读取控制通道的识别策略优先级并生成对控制请求的控制逻辑，最后再通过通道控制器根据该控制逻辑对控制通道中的控制请求进行动作控制输出行为动作，以使控制接口将行为动作输出，实现对说能力数据和/或动能力数据的人机交互控制。
可见，本发明采用识别通道和控制通道双通道控制方案，可对识别请求和控制请求进行分离管控，实现对用户发起的识别请求以及基于识别请求输出的行为动作的合理控制，提升仿生能力动作控制的平滑性，使人机交互更友好。此外，通过通道控制器、焦点控制器、策略管理器的交互设计，利用控制策略优先级对识别请求和行为动作的实施逻辑进行灵活控制，能够增加人机交互的仿生体验。
本发明的另一方面提供一种智能设备人机交互方法，应用于上述技术方案提到的智能设备人机交互装置，该方法包括:
向识别通道发起识别请求，所述识别请求包括听能力数据和/或看能力数据；
根据识别请求的识别策略优先级获取对识别请求的控制逻辑，以及根据所述控制逻辑对识别通道中的识别请求执行控制动作得到任务数据；
识别所述任务数据的意图指令并生成控制请求，再根据控制请求的控制策略优先级获取对控制请求的控制逻辑，以及根据所述控制逻辑对控制通道中的控制请求动作得到行为动作；
将行为动作控制输出，所述行为动作包括说能力数据和/或动能力数据。
可选地，识别策略包括停止识别请求的执行、将识别请求置入前景执行、将识别请求置入后景执行、将识别请求暂时阻塞、继续执行识别请求中的一种或多种，控制策略包括停止控制请求的执行、将控制请求置入前景执行、将控制请求置入后景执行、将控制请求暂时阻塞、继续执行控制请求中的一种或多种。
优选地，所述识别请求包括对话类识别请求和上下文类识别请求，且对话类识别请求的识别策略优先级高于上下文类识别请求的识别策略优先级。
与现有技术相比，本发明提供的智能设备人机交互方法的有益效果与上述技术方案提供的智能设备人机交互装置的有益效果相同，在此不做赘述。
本发明的第三方面提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述智能设备人机交互方法的步骤。
与现有技术相比，本发明提供的计算机可读存储介质的有益效果与上述技术方案提供的智能设备人机交互方法的有益效果相同，在此不做赘述。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为实施例一中智能设备人机交互方法的流程示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本发明保护的范围。
实施例一
请参阅图1，本实施例提供一种智能设备人机交互装置，包括识别接口、交互模型单元、意图识别单元和控制接口；识别接口用于向识别通道发起识别请求，识别请求包括听能力数据和/或看能力数据；交互模型单元包括通道控制器、焦点控制器和用于预设识别通道中识别请求的识别策略优先级和控制通道中控制请求的控制策略优先级的策略管理器，焦点控制器用于根据识别请求的识别策略优先级获取对识别请求的控制逻辑，通道控制器用于根据控制逻辑对识别通道中的识别请求执行控制动作得到任务数据；意图识别单元用于识别任务数据的意图指令并生成控制请求，再由焦点控制器根据控制请求的控制策略优先级获取对控制请求的控制逻辑，通道控制器还用于根据控制逻辑对控制通道中的控制请求动作得到行为动作；控制接口用于将行为动作控制输出，行为动作包括说能力数据和/或动能力数据。
本实施例提供的智能设备人机交互装置，由识别接口、交互模型单元、意图识别单元和控制接口组成，识别接口接收用户发起的识别请求，并将该识别请求传输至识别通道，实现对听能力数据和/或看能力数据的人机交互输入，此时焦点控制器需从策略管理器中读取识别通道的识别策略优先级并生成对识别请求的控制逻辑，使得通道控制器根据该控制逻辑对识别通道中的识别请求进行动作控制获取任务数据，接下来通过意图识别单元识别任务数据的意图指令生成控制请求，由通道控制器将控制请求输入控制通道，此时焦点控制器从策略管理器中需读取控制通道的识别策略优先级并生成对控制请求的控制逻辑，最后再通过通道控制器根据该控制逻辑对控制通道中的控制请求进行动作控制输出行为动作，以使控制接口将行为动作输出，实现对说能力数据和/或动能力数据的人机交互控制。
可见，本实施例采用识别通道和控制通道双通道控制方案，可对识别请求和控制请求进行分离管控，实现对用户发起的识别请求以及基于识别请求输出的行为动作的合理控制，提升仿生能力动作控制的平滑性，使人机交互更友好。此外，通过通道控制器、焦点控制器、策略管理器的交互设计，利用控制策略优先级对识别请求和行为动作的实施逻辑进行灵活控制，能够增加人机交互的仿生体验。
请继续参阅图1，上述实施例中的通道控制器包括识别控制器和动作控制器；识别控制器用于根据当前的识别通道中识别请求活动状态以及控制通道中控制请求的活动状态，结合焦点控制器输出的识别请求控制逻辑，对识别通道中的识别请求执行控制动作后得到任务数据；动作控制器用于根据当前的识别通道中识别请求活动状态以及控制通道中控制请求的活动状态，结合焦点控制器输出的控制请求控制逻辑，对控制通道中的控制请求动作后得到行为动作。
上述实施例中的意图识别单元包括意图引擎、数据识别接口和意图执行接口；数据识别接口用于接收任务数据，并上传至意图引擎；意图引擎用于识别任务数据，得到意图指令并下发至意图执行接口；意图执行接口用于将意图指令传送至动作控制器请求交互，使动作控制器基于意图指令生成控制请求发送至控制通道。其中，意图引擎为现有的意图识别引擎，本实施例对此不做赘述。
其中，识别策略包括停止识别请求的执行、将识别请求置入前景执行、将识别请求置入后景执行、将识别请求暂时阻塞、继续执行识别请求中的一种或多种，控制策略包括停止控制请求的执行、将控制请求置入前景执行、将控制请求置入后景执行、将控制请求暂时阻塞、继续执行控制请求中的一种或多种。
通常来讲，识别请求包括对话类识别请求和上下文类识别请求，且对话类识别请求的识别策略优先级高于上下文类识别请求的识别策略优先级。
为了实现本实施例中的技术方案，现参照附图1做示例性说明：
第一步骤：首先建立识别接口(Input Interface)和控制接口(OutputInterface)，该识别接口为通用的数据采集接口，负责提供具备输入能力的外部仿生能力接入，如听能力数据和/或看能力数据，当搭载该人机交互装置的智能设备开始工作时，通过对该识别接口的调用，即可获取到外部仿生能力所提供的识别请求，该识别请求可通过意图引擎识别意图指令；同样的，控制接口为通用的输出控制接口，该控制接口负责提供具备输出能力的外部仿生能力接入，当搭载该人机交互装置的智能设备开始工作后，将识别后的意图指令对应的控制请求输出，以控制外部仿生能力的动作。
第二步骤：建立交互模型单元，包括通道控制器、焦点控制器和策略管理器，其中通道控制器至少包括识别控制器(channel 1)和动作控制器(channel 2)，当识别接口提供的识别请求经过识别通道时，焦点控制器根据预设的控制策略优先级对识别通道中的每一个识别请求执行策略控制并对应得到任务数据，然后传输至意图识别单元识别出意图指令生成控制请求，由控制模块将该控制请求输送至控制通道，焦点控制器再根据预设的控制策略优先级对控制通道中的每一个控制请求执行策略控制对应得到行为动作，最终通过控制接口间接控制外部仿生能力的行为动作。
策略管理器是对通道控制器中的通道策略和优先级进行定义的缓存工具，例如，当识别控制器内的识别请求正处于焦点状态时(Activity)，动作控制器可根据策略优先执行识别通道内的识别请求动作，反之，当动作控制器内的控制请求正处于焦点状态时(Activity)，识别控制器也可以根据策略优先执行控制通道内的控制请求动作。
焦点控制器用于根据策略管理器对依附在识别通道和控制通道上的通道控制器产生具体的控制逻辑。示例性，控制逻辑包括如下：
当仅有识别通道或控制通道内的控制器处于活动状态时，使该控制器处于焦点状态，并置入前景。
当识别控制器或动作控制器需置为活动状态时，并且本通道及其他通道均有控制器已经处于活动状态时，焦点控制器首先检查各控制器的优先级策略，根据优先级顺序执行对应的控制器。
为了便于理解，通过结合应用场景对上述实施例中的方案做进一步说明，具体如下：
对于搭载有实施例中人机交互装置的智能机器人，听能力可通过麦克风阵列采集声音数据实现，看能力可通过摄像机采集图像信息实现，说能力可通过扬声器发出声音实现，动能力可通过机器人的活动机构来实现，其中，听能力和看能力需接入识别接口，说能力和动能力需接入控制接口。
用户在与智能机器人对话时，首先请求识别通道进行交互性控制，当识别通道通过策略管理器获取本通道中识别请求的控制策略优先级为最高优先级，则焦点控制器将上述识别请求置为前景，同时，将其他通道请求，如控制通道中的控制请求置为后景，示例性地，置为前景的控制行为有以下几种情况：
智能机器人正在听，优先处理正在听的识别请求；
智能机器人正在看，优先处理正在看的识别请求；
智能机器人同时在看和听，优先处理正在看和听的识别请求。
而置为后景的控制行为有以下几种情况：
智能机器人同时在说和动，此时说和动要停止或暂停或执行阻塞；
智能机器人机器人只在说，此时说要停止或暂停或执行阻塞；
智能机器人机器人只在动，此时动要停止或暂停或执行阻塞。
当识别通道通过策略管理器获取本通道中识别请求的控制策略优先级不是最高优先级，则焦点控制器将上述识别请求置为后景，同时，将其他通道请求，如控制通道中的控制请求置为前景，示例性地，置为后景的控制行为有以下几种情况：
智能机器人正在听，停止或暂停或阻塞处理正在听的识别请求；
智能机器人正在看，停止或暂停或阻塞处理在看的识别请求；
智能机器人同时在看和听，停止或暂停或阻塞处理正在看和听的识别请求。
此时，置为前景的控制行为有以下几种情况：
智能机器人同时在说和动，此时继续执行说和动；
智能机器人机器人只在说，此时继续执行说；
智能机器人机器人只在动，此时继续执行动。
上述执行过程之后还包括：通过数据识别接口将识别请求上传至意图引擎进行意图识别，识别完毕后将意图指令下发至意图执行接口，该接口通过动作控制器请求交互控制。例如：
当控制通道通过策略管理器获取本通道中控制请求的控制策略优先级是最高优先级，则焦点控制器将上述控制请求置为前景，同时，将其他通道请求，如识别通道中的识别请求置为后景，示例性地，置为前景的控制行为有以下几种情况：
智能机器人正在说或动，当控制通道接收到本次控制请求后，将本次控制请求优先执行，且将正在说和动的控制请求降低为次优先级，待本次控制请求执行完成后，才恢复执行上次置为次优先级的控制请求；
智能机器人上次的说或动已经处于被停止或暂停或阻塞的状态，当控制通道接收到本次控制请求后，将本次控制请求优先执行，上次的说或动的控制请求继续保持被停止或暂停或阻塞的状态。
此时，置为后景的控制行为有以下几种情况：
智能机器人正在听，停止或暂停或阻塞处理正在听的识别请求；
智能机器人正在看，停止或暂停或阻塞处理正在看的识别请求；
智能机器人正在看和听，停止或暂停或阻塞处理正在听和看的识别请求。
当控制通道通过策略管理器获取本通道中控制请求的控制策略优先级不是最高优先级，则焦点控制器将上述控制请求置为后景，同时，将其他通道请求，如识别通道中的识别请求置为前景，示例性地，置为后景的控制行为有以下几种情况：
控制通道接收到本次说或动的控制请求后，将上次的控制请求优先执行，待上次的控制请求执行完毕后，再执行本次说或动的控制请求。
此时，置为前景的控制行为有以下几种情况：
智能机器人正在听或看，在被暂停或停止或阻塞后重新恢复执行；
智能机器人正在听或看，不干预等待其执行完毕。
实施例二
本实施例提供一种智能设备人机交互方法，包括：
向识别通道发起识别请求，所述识别请求包括听能力数据和/或看能力数据；
根据识别请求的识别策略优先级获取对识别请求的控制逻辑，以及根据所述控制逻辑对识别通道中的识别请求执行控制动作得到任务数据；
识别所述任务数据的意图指令并生成控制请求，再根据控制请求的控制策略优先级获取对控制请求的控制逻辑，以及根据所述控制逻辑对控制通道中的控制请求动作得到行为动作；
将行为动作控制输出，所述行为动作包括说能力数据和/或动能力数据。
优选地，识别策略包括停止识别请求的执行、将识别请求置入前景执行、将识别请求置入后景执行、将识别请求暂时阻塞、继续执行识别请求中的一种或多种，控制策略包括停止控制请求的执行、将控制请求置入前景执行、将控制请求置入后景执行、将控制请求暂时阻塞、继续执行控制请求中的一种或多种。
示例性地，所述识别请求包括对话类识别请求和上下文类识别请求，且对话类识别请求的识别策略优先级高于上下文类识别请求的识别策略优先级。
与现有技术相比，本实施例提供的智能设备人机交互方法的有益效果与上述实施例提供的智能设备人机交互装置的有益效果相同，在此不做赘述。
实施例三
本实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述智能设备人机交互方法的步骤。
与现有技术相比，本实施例提供的计算机可读存储介质的有益效果与上述技术方案提供的智能设备人机交互方法的有益效果相同，在此不做赘述。
本领域普通技术人员可以理解，实现上述发明方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，上述程序可以存储于计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，上述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种智能设备人机交互装置，其特征在于，包括识别接口、交互模型单元、意图识别单元和控制接口；
所述识别接口用于向识别通道发起识别请求，所述识别请求包括听能力数据和/或看能力数据；
所述交互模型单元包括通道控制器、焦点控制器和用于预设识别通道中识别请求的识别策略优先级和控制通道中控制请求的控制策略优先级的策略管理器，所述焦点控制器用于根据识别请求的识别策略优先级获取对识别请求的控制逻辑，所述通道控制器用于根据所述控制逻辑对识别通道中的识别请求执行控制动作得到任务数据；
所述意图识别单元用于识别所述任务数据的意图指令并生成控制请求，再由所述焦点控制器根据控制请求的控制策略优先级获取对控制请求的控制逻辑，所述通道控制器还用于根据所述控制逻辑对控制通道中的控制请求动作得到行为动作；
所述控制接口用于将行为动作控制输出，所述行为动作包括说能力数据和/或动能力数据。
2.根据权利要求1所述的装置，其特征在于，所述通道控制器包括识别控制器和动作控制器；
所述识别控制器用于根据当前的识别通道中识别请求活动状态以及控制通道中控制请求的活动状态，结合焦点控制器输出的识别请求控制逻辑，对识别通道中的识别请求执行控制动作后得到任务数据；
所述动作控制器用于根据当前的识别通道中识别请求活动状态以及控制通道中控制请求的活动状态，结合焦点控制器输出的控制请求控制逻辑，对控制通道中的控制请求动作后得到行为动作。
3.根据权利要求2所述的装置，其特征在于，所述意图识别单元包括意图引擎、数据识别接口和意图执行接口；
所述数据识别接口用于接收任务数据，并上传至意图引擎；
所述意图引擎用于识别任务数据，得到意图指令并下发至意图执行接口；
所述意图执行接口用于将意图指令传送至动作控制器请求交互，使动作控制器基于意图指令生成控制请求发送至控制通道。
4.根据权利要求1所述的装置，其特征在于，识别策略包括停止识别请求的执行、将识别请求置入前景执行、将识别请求置入后景执行、将识别请求暂时阻塞、继续执行识别请求中的一种或多种，控制策略包括停止控制请求的执行、将控制请求置入前景执行、将控制请求置入后景执行、将控制请求暂时阻塞、继续执行控制请求中的一种或多种。
5.根据权利要求1-4任一项所述的装置，其特征在于，所述识别请求包括对话类识别请求和上下文类识别请求，且对话类识别请求的识别策略优先级高于上下文类识别请求的识别策略优先级。
6.根据权利要求2所述的装置，其特征在于，还包括：
在识别控制器对识别通道中的识别请求执行完控制动作生成任务数据后，自动将该识别请求由焦点状态切换为失活焦点状态；
在动作控制器对控制通道中的控制请求执行完控制动作生成行为动作后，自动将该行为动作由焦点状态切换为失活焦点状态。
7.一种智能设备人机交互方法，其特征在于，包括：
向识别通道发起识别请求，所述识别请求包括听能力数据和/或看能力数据；
根据识别请求的识别策略优先级获取对识别请求的控制逻辑，以及根据所述控制逻辑对识别通道中的识别请求执行控制动作得到任务数据；
识别所述任务数据的意图指令并生成控制请求，再根据控制请求的控制策略优先级获取对控制请求的控制逻辑，以及根据所述控制逻辑对控制通道中的控制请求动作得到行为动作；
将行为动作控制输出，所述行为动作包括说能力数据和/或动能力数据。
8.根据权利要求7所述的方法，其特征在于，识别策略包括停止识别请求的执行、将识别请求置入前景执行、将识别请求置入后景执行、将识别请求暂时阻塞、继续执行识别请求中的一种或多种，控制策略包括停止控制请求的执行、将控制请求置入前景执行、将控制请求置入后景执行、将控制请求暂时阻塞、继续执行控制请求中的一种或多种。
9.根据权利要求7所述的方法，其特征在于，所述识别请求包括对话类识别请求和上下文类识别请求，且对话类识别请求的识别策略优先级高于上下文类识别请求的识别策略优先级。
10.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，计算机程序被处理器运行时执行上述权利要求7至9任一项所述方法的步骤。
CN201911291953.7A 2019-12-16 2019-12-16 用于智能设备的人机交互装置及方法 Active CN111061370B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911291953.7A CN111061370B (zh) 2019-12-16 2019-12-16 用于智能设备的人机交互装置及方法
PCT/CN2020/111939 WO2021120684A1 (zh) 2019-12-16 2020-08-28 用于智能设备的人机交互装置及方法
CA3164768A CA3164768A1 (en) 2019-12-16 2020-08-28 Smart-device-orientated human-computer interaction apparatus and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911291953.7A CN111061370B (zh) 2019-12-16 2019-12-16 用于智能设备的人机交互装置及方法

Publications (2)

Publication Number Publication Date
CN111061370A true CN111061370A (zh) 2020-04-24
CN111061370B CN111061370B (zh) 2021-07-16

Family

ID=70301921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911291953.7A Active CN111061370B (zh) 2019-12-16 2019-12-16 用于智能设备的人机交互装置及方法

Country Status (3)

Country Link
CN (1) CN111061370B (zh)
CA (1) CA3164768A1 (zh)
WO (1) WO2021120684A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021120684A1 (zh) * 2019-12-16 2021-06-24 苏宁云计算有限公司 用于智能设备的人机交互装置及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120177039A1 (en) * 2011-01-07 2012-07-12 Berman Stuart B Methods, systems and apparatus for converged network adapters
CN102592343A (zh) * 2012-03-12 2012-07-18 段立娟 一种基于动态人像视频的通道闸机控制方法及系统
CN103119644A (zh) * 2010-07-23 2013-05-22 奥尔德巴伦机器人公司 装备自然对话接口的类人机器人、用于控制机器人的方法和对应程序
CN109807903A (zh) * 2019-04-10 2019-05-28 博众精工科技股份有限公司 一种机器人控制方法、装置、设备和介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101710667B1 (ko) * 2012-12-17 2017-02-27 한국전자통신연구원 로봇을 이용한 서비스 어플리케이션 제공 장치 및 그 방법
CN106325113B (zh) * 2015-06-26 2019-03-19 北京贝虎机器人技术有限公司 机器人控制引擎及系统
CN104965592A (zh) * 2015-07-08 2015-10-07 苏州思必驰信息科技有限公司 基于语音和手势识别的多模态非触摸人机交互方法及系统
CN108732943A (zh) * 2017-04-18 2018-11-02 深圳市丰巨泰科电子有限公司 表情机器人人机交互方法
CN111061370B (zh) * 2019-12-16 2021-07-16 深圳市云网万店电子商务有限公司 用于智能设备的人机交互装置及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103119644A (zh) * 2010-07-23 2013-05-22 奥尔德巴伦机器人公司 装备自然对话接口的类人机器人、用于控制机器人的方法和对应程序
US20120177039A1 (en) * 2011-01-07 2012-07-12 Berman Stuart B Methods, systems and apparatus for converged network adapters
CN102592343A (zh) * 2012-03-12 2012-07-18 段立娟 一种基于动态人像视频的通道闸机控制方法及系统
CN109807903A (zh) * 2019-04-10 2019-05-28 博众精工科技股份有限公司 一种机器人控制方法、装置、设备和介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021120684A1 (zh) * 2019-12-16 2021-06-24 苏宁云计算有限公司 用于智能设备的人机交互装置及方法

Also Published As

Publication number Publication date
CN111061370B (zh) 2021-07-16
CA3164768A1 (en) 2021-06-24
WO2021120684A1 (zh) 2021-06-24

Similar Documents

Publication Publication Date Title
US11630636B2 (en) Changing companion communication device behavior based on status of wearable device
US11609631B2 (en) Natural human-computer interaction for virtual personal assistant systems
JP7348288B2 (ja) 音声対話の方法、装置、及びシステム
JP7038210B2 (ja) 対話セッション管理用のシステム及び方法
US11107472B2 (en) Management of human-machine dialogue involving multiple parties
JP2019159305A (ja) ファーフィールド音声機能の実現方法、設備、システム及び記憶媒体
JP2017010176A (ja) 機器特定方法、機器特定装置及びプログラム
WO2016132729A1 (ja) ロボット制御装置、ロボット、ロボット制御方法およびプログラム記録媒体
CN112201222B (zh) 基于语音通话的语音交互方法、装置、设备和存储介质
EP3714355B1 (en) Expanding physical motion gesture lexicon for an automated assistant
US20240086147A1 (en) Providing audio information with a digital assistant
CN111061370B (zh) 用于智能设备的人机交互装置及方法
US20210183388A1 (en) Voice recognition method and device, photographing system, and computer-readable storage medium
CN103713876A (zh) 数据处理方法及电子设备
CN106531168B (zh) 一种语音识别方法及装置
JP2004234631A (ja) ユーザと対話型実体エージェントとの間の対話を管理するシステムおよび対話型実体エージェントによるユーザとの対話を管理する方法
JP2018021987A (ja) 会話処理装置、及びプログラム
CN113810814B (zh) 耳机模式切换的控制方法及装置、电子设备和存储介质
JP7053693B2 (ja) 音声スキルの終了方法、装置、デバイスおよび記憶媒体
CN112365888B (zh) 意图识别方法、装置、计算机设备和存储介质
JP2019072787A (ja) 制御装置、ロボット、制御方法、および制御プログラム
CN118092656A (zh) 电子设备的操作方法、装置、电子设备和存储介质
CN114171039A (zh) 信号处理方法、装置及电子设备
WO2022134758A1 (zh) 一种智能家居的控制方法、系统、存储介质及服务器
CN117221372A (zh) 多模态远程交互方法、装置、电子设备和可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210621

Address after: 518020 unit 3510-131, Luohu business center, 2028 Shennan East Road, Chengdong community, Dongmen street, Luohu District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen yunwangwandian e-commerce Co.,Ltd.

Address before: No.1-1 Suning Avenue, Xuzhuang Software Park, Xuanwu District, Nanjing, Jiangsu Province, 210000

Applicant before: Suning Cloud Computing Co.,Ltd.

GR01 Patent grant
GR01 Patent grant