CN111273833B - 人机交互的控制方法、装置和系统、电子设备 - Google Patents

人机交互的控制方法、装置和系统、电子设备 Download PDF

Info

Publication number
CN111273833B
CN111273833B CN202010220639.6A CN202010220639A CN111273833B CN 111273833 B CN111273833 B CN 111273833B CN 202010220639 A CN202010220639 A CN 202010220639A CN 111273833 B CN111273833 B CN 111273833B
Authority
CN
China
Prior art keywords
mode
human
environment
digital
working mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010220639.6A
Other languages
English (en)
Other versions
CN111273833A (zh
Inventor
吴准
邬诗雨
李士岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010220639.6A priority Critical patent/CN111273833B/zh
Publication of CN111273833A publication Critical patent/CN111273833A/zh
Priority to KR1020227000737A priority patent/KR20220010580A/ko
Priority to JP2021543462A priority patent/JP7345551B2/ja
Priority to EP20913063.2A priority patent/EP3913473A4/en
Priority to PCT/CN2020/135719 priority patent/WO2021189967A1/zh
Priority to US17/382,891 priority patent/US20210349526A1/en
Application granted granted Critical
Publication of CN111273833B publication Critical patent/CN111273833B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G06F1/1605—Multimedia displays, e.g. with integrated or attached speakers, cameras, microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/4401—Bootstrapping
    • G06F9/4418—Suspend and resume; Hibernate and awake
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了机交互的控制方法、装置和系统、电子设备以及存储介质，涉及人机交互技术领域。具体实现方案为：获取对人机交互界面周围的环境识别结果，根据环境识别结果，确定人机交互界面上显示的数字人的工作模式，工作模式包括以下至少一种：自展示模式、主动交互的模式和唤醒交互的模式，控制数字人通过人机交互界面，输出工作模式对应的操作，通过根据环境识别结果，确定数字人的工作模式，避免了现有技术中简单的通过唤醒词对数字人进行唤醒时，造成交互方式单一的问题，由于可以采用不同的工作模式与用户进行交互，因此，可以实现交互方式的多样性和灵活性，且可以实现提高用户的交互体验。

Description

人机交互的控制方法、装置和系统、电子设备
技术领域
本申请涉及人工智能技术领域，尤其涉及人机交互技术领域，具体涉及一种人机交互的控制方法、装置和系统、电子设备以及存储介质。
背景技术
随着人工智能技术的发展，人机交互的相关技术也有了新的突破。
在现有技术中，人机交互主要通过唤醒词实现。例如，预先为数字人设置一个或多个唤醒词，当用户发出的语音指令中包括唤醒词时，则数字人进入与用户的交互状态。
然而发明人在实现本申请的过程中，发现至少存在如下问题：触发数字人与用户进行交互的方式单一，缺乏灵活性。
发明内容
提供了一种用于提高交互的灵活性的人机交互的控制方法、装置和系统、电子设备以及存储介质。
根据第一方面，提供了一种人机交互的控制方法，所述方法包括：
获取对人机交互界面周围的环境识别结果；
根据所述环境识别结果，确定所述人机交互界面上显示的数字人的工作模式，所述工作模式包括以下至少一种：自展示模式、主动交互的模式和唤醒交互的模式；
控制所述数字人通过所述人机交互界面，输出所述工作模式对应的操作。
在本申请实施例中，通过根据环境识别结果，确定数字人的工作模式，避免了现有技术中简单的通过唤醒词对数字人进行唤醒时，造成交互方式单一的问题，由于可以采用不同的工作模式与用户进行交互，因此，可以实现交互方式的多样性和灵活性，且可以实现提高用户的交互体验。
根据第二方面，本申请实施例提供了一种人机交互的控制装置，所述装置包括：
获取模块，用于获取对人机交互界面周围的环境识别结果；
确定模块，用于根据所述环境识别结果，确定所述人机交互界面上显示的数字人的工作模式，所述工作模式包括以下至少一种：自展示模式、主动交互的模式和唤醒交互的模式；
输出模块，用于控制所述数字人通过所述人机交互界面，输出所述工作模式对应的操作。
根据第三方面，本申请实施例提供了一种人机交互的控制系统，所述系统包括：采集装置、处理装置、显示装置和数字人，其中，
所述采集装置用于，对显示装置周围的环境进行采集，得到环境采集信息；
所述处理装置用于，对所述环境采集信息进行识别，生成环境识别结果，并根据所述环境识别结果，确定所述数字人的工作模式，所述工作模式包括以下至少一种：自展示模式、主动交互的模式和唤醒交互的模式；
所述处理装置还用于，控制所述数字人通过所述显示装置，显示所述工作模式对应的操作。
根据第四方面，本申请实施例提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上实施例所述的方法。
根据第五方面，本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上实施例所述的方法。
根据第六方面，本申请实施例提供了一种人机交互的控制方法，所述方法包括：
根据采集到的人机交互界面周围的环境对应的环境识别结果，控制人机交互界面显示数字人的工作模式，所述工作模式为自展示模式、主动交互的模式和唤醒交互的模式中的一种。
根据本申请的技术解决了人机交互单一，缺乏灵活性的问题，实现了交互方式的多样性和灵活性，且提高了用户的交互体验。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请第一实施例的应用场景示意图；
图2为本申请第二实施例的应用场景示意图；
图3为本申请一个实施例的人机交互的控制方法的流程示意图；
图4为本申请另一实施例的人机交互的控制方法的流程示意图；
图5为本申请一个实施例的界面示意图；
图6为本申请另一实施例的界面示意图；
图7为本申请又一实施例的界面示意图；
图8为本申请另一实施例的人机交互的控制方法的流程示意图；
图9为本申请又一实施例的人机交互的控制方法的流程示意图；
图10为本申请实施例的人机交互的控制装置的示意图；
图11为本申请实施例的交互系统的示意图；
图12为本申请实施例的电子设备的框图。
具体实施方式
以下结合附图对本申请实施例的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请实施例的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在一些实施例中，本申请实施例的人机交互的控制方法可以应用于如图1所示的应用场景。
在如图1所示的应用场景中，人机交互的控制装置可以为包括人机交互界面的显示屏，可通过人机交互界面对数字人进行显示，且该显示屏可以应用于商场、银行和医院等场所，且人机交互的控制装置的高度可基于用户的身高进行设定。
值得说明地是，在一些实施例中，显示屏可采用发光二极管LED(light emittingdiode，LED)显示屏，如图1中的1-1所示。
当然，在另一些实施例中，显示屏也可采用有机发光二极管OLED显示屏，如图1中的1-2所示。
在另一些实施例中，本申请实施例的人机交互的控制方法还可以应用于如图2所示的应用场景。
在如图2所示的应用场景中，人机交互的控制装置可以为包括人机交互界面的显示屏，可通过人机交互界面对数字人进行显示，且该显示屏尤其适用于柜台办理业务时场景，如商场的会员办理柜台和银行的业务办理柜台等场景，且人机交互的控制装置在柜台中的高度可基于用户站立时的高度进行设定，也可以基于柜台前的座椅的高度进行设定。
在相关技术中，人机交互主要通过唤醒词实现，例如，预先为数字人设置一个或多个唤醒词，当用户发出的语音指令中包括唤醒词时，则数字人进入与用户的交互状态。
由于只有当数字人接收到用户发起的唤醒词之后，数字人才会进入至交互状态，与用户进行交互，因此可能造成人机交互方式单一，缺乏灵活性的问题。
为了解决上述问题，本申请的发明人在经过创造性的劳动之后，得到了本申请的发明构思：设置数字人的多种工作模式，并根据对周围环境进行识别的识别结果，控制数字人执行与识别结果对应的工作模式。
在本申请中，由于存在多种工作模式，且可以基于不同的识别结果选取与识别结果相对应的工作模式，即可以对工作模式进行灵活性的选择，且无需依赖于唤醒词，因此，可以实现交互的多样性和灵活性，并提高用户的交互体验。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
根据本申请实施例的一个方面，本申请实施例提供了一种人机交互的控制方法。
请参阅图3，图3为本申请一个实施例的人机交互的控制方法的流程示意图。
如图3所示，该方法包括：
S101：获取对人机交互界面周围的环境识别结果。
其中，本申请实施例的执行主体可以为人机交互的控制装置，且人机交互的控制装置具体可以服务器、计算机和处理器等。
例如，当本申请实施例的方法应用于如图1和图2所示的应用场景中，本申请实施例的执行主体可以为设置于显示屏中的处理器；或者，可以为与显示屏通信连接的计算机和服务器。
其中，环境识别结果用于表征，对人机交互界面的周围的环境中的人和物进行识别，得到的识别结果，环境识别结果可以包括环境中的用户的信息(如用户的图像信息和/或音频信息等)，也可以包括物体的信息(如商品、植物和动物等)，且具体识别的方法可以参见相关技术，此处不再赘述。
具体地，周围的环境可以以预设距离为基准。如，环境识别结果用于表征，对与人机交互界面的距离为2米的环境进行识别，得到的识别结果。
例如，若图1所示的显示屏设置于某商场，则环境识别结果用于表征显示屏周围2米内的环境的识别结果。
又如，若图1所示的显示屏设置于某银行，则环境识别结果用于表征显示屏周围2米内的环境的识别结果。
又如，若图1所示的显示屏设置于某医院，则环境识别结果用于表征显示屏周围2米内的环境的识别结果。
其中，人机交互界面，又称用户界面或使用者界面，用于表征机器和用户之间进行交互和信息交换的媒介。
例如，在如图1和图2所示的应用场景中，人机交互界面即为显示屏的显示界面，用户可以通过语音或者触屏等方式与显示屏进行交流和沟通。在本申请实施例中，交流和沟通主要是指，用户可以与人机交互界面上显示的数字人进行交流和沟通。
S102：根据环境识别结果，确定人机交互界面上显示的数字人的工作模式，工作模式包括以下至少一种：自展示模式、主动交互的模式和唤醒交互的模式。
其中，工作模式可以为启动人机交互的控制装置的时候，根据环境识别结果确定的；也可以为在人机交互的控制装置启动之后，仍然保持对人机交互界面周围的环境进行识别，并当环境识别结果没有发生改变时，继续保持环境识别结果对应的工作模式，而当环境识别结果发生改变时，则根据变化后的环境识别结果对工作模式进行确定并调整。
也就是说，工作模式可以随着环境识别结果的变化而变化。即，工作模式之间可以相互切换，如由自展示模式切换至主动交互的模式，或者，由主动交互的模式切换至唤醒交互的模式，等等。
其中，自展示模式用于表征，数字人自发的展示某些动作或表情，或者自发的表达某些信息的模式。
其中，主动交互的模式用于表征，数字人主动与用户进行交互的模式。
其中，唤醒交互的模式用于表征，在用户唤醒的情况下，数字人与用户进行交互的模式。
也就是说，在本申请实施例中，可以根据环境识别结果，从多种工作模式中确定与环境识别结果对应工作模式，以确定数字人的工作模式，避免了现有技术中简单的通过唤醒词对数字人进行唤醒时，造成交互方式单一的问题，由于可以在多种工作模式中选取，因此，可以实现人机交互的多样性和灵活性，且可以实现提高用户的交互体验。
S103：控制数字人通过人机交互界面，输出工作模式对应的操作。
例如，若工作模式为自展示模式，则在人机交互界面上输出数字人执行自展式模式对应的操作；若工作模式为主动交互的模式，则在人机交互界面上输出数字人执行主动交互的模式对应的操作；若工作模式为唤醒交互的模式，则在人机交互界面上输出数字人执行唤醒交互的模式对应的操作。
在本申请实施例中，通过人机交互界面对数字人执行相应的工作模式的操作进行显示，可以增强用户的直观体验，从而提高人机交互的活跃性，进而提高人机交互的有效性。
基于上述分析可知，本申请实施例提供了一种人机交互的控制方法，该方法包括：获取对人机交互界面周围的环境识别结果，根据环境识别结果，确定人机交互界面上显示的数字人的工作模式，工作模式包括以下至少一种：自展示模式、主动交互的模式和唤醒交互的模式，控制数字人通过人机交互界面，输出工作模式对应的操作，在本申请实施例中，通过根据环境识别结果，确定数字人的工作模式，避免了现有技术中简单的通过唤醒词对数字人进行唤醒时，造成交互方式单一的问题，由于可以采用不同的工作模式与用户进行交互，因此，可以实现交互方式的多样性和灵活性，且可以实现提高用户的交互体验。
为使读者更加清楚地理解环境识别结果与工作模式之间的关联关系，现结合图4对本申请实施例进行详细地阐述。其中，图4为本申请另一实施例的人机交互的控制方法的流程示意图。
如图4所示，该方法包括：
S201：获取对人机交互界面周围的环境识别结果。
其中，关于S201的描述可参见S101，此处不再赘述。
S202：根据环境识别结果确定环境中的用户的数量。
基于上述示例可知，环境识别结果中包括用户的信息，因此，基于环境识别结果，可以确定出环境中的用户的数量。
S203：判断用户的数量与数量阈值的大小，如果用户的数量小于数量阈值，则执行S204至S205；如果用户的数量大于或等于数量阈值，则执行S206至S207。
其中，数量阈值可以基于需求、经验和试验进行设定。
S204：将工作模式确定为自展式模式。
也就是说，当用户的数量相对较少时，可以将数字人的工作模式确定为自展式模式。
S205：控制数字人在人机交互界面上显示独处状态的肢体动作；或者，控制数字人在人机交互界面上输出问候信息、展示信息、操作引导信息中的至少一种。
也就是说，自展式模式至少可以从两个方面进行体现，一个方面为肢体动作上的体现，即数字人在人机交互界面上显示独处状态的肢体动作；另一个方面为数字人在人机交互界面上输出问候信息、展示信息、操作引导信息中的至少一种。
具体地，关于肢体动作上的体现的描述如下：
其中，肢体动作包括但不限于四周张望、思考、卖萌、踱步、发呆、打哈欠、打盹和伸懒腰。
在一些实施例中，可通过预设的时间间隔，控制数字人在人机交互界面上依次展示上述肢体动作，如每隔0.1秒切换一个肢体动作，且每个肢体动作的时长可以基于肢体动作的不同设置成不同的时长。
例如，数字人在四周张望5秒后，间隔0.1秒执行思考的动作，并在执行思考的动作5秒后，间隔0.1秒执行卖萌的动作。
例如，若显示屏设置于商场，且识别到环境中的用户的数量较少，则可将数字人的工作模式确定为自展式模式，并控制数字人在人机交互界面上显示上述动作。
可以理解的是，至少部分用户在看到上述动作后，会走入环境中，并与数字人进行交互。
也就是说，当用户的数量较少时，控制数字人在人机交互界面上显示独处状态的肢体动作，可以吸引更多的用户的注意，以便将更多的用户引入至环境中，从而提高人机交互的可能性。
具体地，关于问候信息、展示信息、操作引导信息的描述如下：
其中，问候信息用于表征对用户进行问候的相关信息。
具体可参阅图5，图5为问候信息对应的界面示意图。
其中，展示信息用于表征对数字人的信息、商品的信息、通知的信息等进行展示的信息。
例如，数字人的信息包括数字人的自我介绍的相关信息等；商品的信息可包括商品的质量和性能的相关信息，也可包括商品的价格的相关信息，还可包括商品的使用方法的相关信息，等等；通知的信息可以包括与商品相关的最新动态的相关信息等。
具体可参阅图6，图6为展示商品的相关信息对应的界面示意图。
其中，操作引导信息用于表征引导用户对人机交互界面进行操作，或者对人机交互界面上的商品进行操作的信息。且对人机交互界面上的商品进行操作的信息包括指引用户对商品进行了解并购买的相关信息，指引用户对对银行的理财产品进行了解并购买的相关信息。
具体可参阅图7，图7为与商品进行操作的信息对应的界面示意图。
同理，当用户的数量较少时，控制数字人在人机交互界面上输出问候信息、展示信息、操作引导信息中的至少一种，可以吸引更多的用户的注意，以便将更多的用户引入至环境中，从而提高人机交互的可能性。
在一些实施例中，在自展式模式可以基于上述两个方面进行体现的基础上，对数字人在人机交互界面上的显示进行进一步地细化。
例如，根据用户的数量对两个方面进行区分，即在数量阈值的范围内，再次对用户的数量进行区间的划分，如果用户的数量为第一区间，则控制数字人在人机交互界面上显示独处的肢体动作；如果用户的数量为第二区间，则控制数字人在人机交互界面上输出问候信息、展示信息、操作引导信息中的至少一种。
其中，第一区间中的任一数量，小于第二区间中的任一数量，且第二区间的最大值为数量阈值。
S206：将工作模式确定为主动交互的模式。
S207：控制数字人在人机交互界面上显示主动交互的模式的操作。
基于上述示例可知，主动交互的模式可以为数字人主动地与用户进行交互，因此，主动交互的模式的操作可以表现为数字人主动的问候用户的问候信息，或者主动的对商品等进行介绍的介绍信息，或者主动的询问用户的需求，以便基于用户的需求提供相应地服务的服务信息，等等。
也就是说，在本申请实施例中，当环境中存在一定数量的用户时，可控制数字人在人机交互界面上显示与主动交互的模式相应的上述操作，以实现通过主动交互的方式提高交互的灵活性，且通过主动交互的方式可以吸引用户的关注，从而提高与用户进行交互的可能性。
值得说明地是，在一些实施例中，在执行S203之后，可执行确定用户的数量小于数量阈值的时间，并当用户的数量小于数量阈值的时间超过设定时间时，执行S204；或者，执行确定用户的数量大于或等于数量阈值的时间，并当用户的数量大于或等于数量阈值的时间超过设定时间时，执行S206。
可以理解地是，用户的数量的变化频率可能较高，如在当前时刻的用户的数量相对较多，大于数量阈值，而前一时刻的用户的数量相对较少，小于数量阈值，而再前一时刻的用户的数量相对较多，大于数量阈值，则需要在短时间内对工作模式进行两次切换。
而在本申请实施例中，通过设定时间对工作模式的启动或切换进行控制，可以避免频繁的切换工作模式，从而实现节约处理资源的技术效果。
为使读者更加清楚地理解环境识别结果与工作模式之间的关联关系，现结合图8对本申请实施例进行详细地阐述。其中，图8为本申请另一实施例的人机交互的控制方法的流程示意图。
如图8所示，该方法包括：
S301：获取对人机交互界面周围的环境识别结果。
其中，关于S301的描述可参见S101，此处不再赘述。
S302：根据环境识别结果判断环境中是否包括至少一个用户，若是，则执行S303，若否，则执行S307至S308。
S303：获取各用户的停留时间。
其中，停留时间用于可以表征用户在环境中的停留的时间，停留时间还可以用于表征用户的眼睛在人机交互界面上的停留的时间。
S304：判断各停留时间中是否有大于预设的时间阈值的停留时间，若是，则执行S305，若否，则执行S307至S308。
S305：将工作模式确定为主动交互的模式。
在本申请实施例中，如有一个或多个停留时间大于时间阈值，则说明可能有用户(停留时间大于时间阈值对应的用户)在关注显示屏，则将数字人的工作模式确定为主动交互的模式，以便控制数字人主动的与用户进行交互，从而实现交互的灵活性，进而增强用户的交互体验。
S306：控制数字人在人机交互界面上显示主动交互的模式的操作。
其中，关于S306的描述可参见S207，此处不再赘述。
S307：将工作模式确定为自展式模式。
S308：控制数字人在人机交互界面上显示独处状态的肢体动作；或者，控制数字人在人机交互界面上输出问候信息、展示信息、操作引导信息中的至少一种。
其中，关于S307至S308的描述可参见S204至S205，此处不再赘述。
为使读者更加清楚地理解环境识别结果与工作模式之间的关联关系，现结合图9对本申请实施例进行详细地阐述。其中，图9为本申请又一实施例的人机交互的控制方法的流程示意图。
如图9所示，该方法包括：
S401：获取对人机交互界面周围的环境识别结果。
其中，关于S401的描述可参见S101，此处不再赘述。
S402：根据环境识别结果确定环境中各用户对应的用户的语义。
其中，语义用于表征用户发起的音频信息，或者动作信息。
S403：判断各用户的语义中是否有一个用户的语义与唤醒语义相同，若是，则执行S404至S405，若否，则执行S406至S407，或者，执行S408至S412(图中未示出)。
其中，唤醒语义用于表征对数字人进行唤醒，以便数字人与用户进行交互的音频信息或动作信息。
S404：将工作模式确定为唤醒交互的模式。
S405：控制数字人在人机交互界面上显示唤醒交互的模式对应的操作。
具体地，数字人根据用户的交互内容进行回应。
例如，用户询问某商品的性能，数字人详细地为用户介绍该商品。
S406：将工作模式确定为自展式模式。
S407：控制数字人在人机交互界面上显示独处状态的肢体动作；或者，控制数字人在人机交互界面上输出问候信息、展示信息、操作引导信息中的至少一种。
其中，关于S406至S407的描述可参见S204至S205，此处不再赘述。
S408：根据环境识别结果判断环境中是否包括至少一个用户，若是，则执行S409，若否，则执行S406至S407。
S409：获取各用户的停留时间。
S410：判断各停留时间中是否有大于预设的时间阈值的停留时间，若是，则执行S411，若否，则执行S406至S407。
S411：将工作模式确定为主动交互的模式。
S412：控制数字人在人机交互界面上显示主动交互的模式的操作。
其中，关于S408至S412的描述可参见S302至S308，此处不再赘述。
根据本申请实施例的另一个方面，本申请实施例还提供了一种人机交互的控制装置，用于执行上述实施例所述的人机交互的控制方法。
请参阅图10，图10为本申请实施例的人机交互的控制装置的示意图。
如图10所示，该装置包括：
获取模块11，用于获取对人机交互界面周围的环境识别结果；
确定模块12，用于根据所述环境识别结果，确定所述人机交互界面上显示的数字人的工作模式，所述工作模式包括以下至少一种：自展示模式、主动交互的模式和唤醒交互的模式；
输出模块13，用于控制所述数字人通过所述人机交互界面，输出所述工作模式对应的操作。
在一些实施例中，若所述环境识别结果为所述环境中的用户的数量小于预设的数量阈值，则所确定的工作模式为自展示模式。
在一些实施例中，所述确定模块12用于，确定所述用户的数量小于预设的数量阈值超过设定时间。
在一些实施例中，若所述工作模式为自展示模式；则所述输出模块13用于，控制所述数字人在所述人机交互界面上显示独处状态的肢体动作。
在一些实施例中，若所述工作模式为自展示模式；则所述输出模块13用于，控制所述数字人在所述人机交互界面上输出问候信息、展示信息、操作引导信息中的至少一种。
在一些实施例中，若所述环境识别结果为环境中的用户的数量大于或等于预设的数量阈值，则所确定的工作模式为主动交互的模式。
在一些实施例中，若所述环境识别结果为环境中的至少一个用户的停留时间大于预设的时间阈值，则所确定的工作模式为主动交互的模式。
在一些实施例中，若所述环境识别结果为解析得到的环境中的至少一个用户的语义与预设的唤醒语义相匹配，则所确定的工作模式为唤醒交互的模式。
根据本申请实施例的另一个方面，本申请实施例还提供了一种交互系统。
请参阅图11，图11为本申请实施例的交互系统的示意图。
如图11所示，该系统包括：采集装置21、处理装置(图中未示出)、显示装置22和数字人23，其中，
采集装置21用于，对显示装置周围的环境进行采集，得到环境采集信息。
如图11所示，采集装置21包括摄像头211和麦克风212。
值得说明地是，摄像头211和麦克风212的位置和数量并不受图11限定。
例如，在一些实施例中，摄像头211的设置位置可以如图11中所示，居中设置，也可以将摄像头211设置在其他位置，如将摄像头211设置在显示装置22的左上角或者右上角等；且摄像头211的数量可以如图11中所示，为一个，也可以为多个。
在另一些实施例中，麦克风212的设置位置也可以如图11中所示，居中设置，也麦克风212设置在其他位置，如将麦克风211设置在显示装置22的左右两侧等；且麦克风212的数量可以如图11中所示，为四个，也可以为一个或者两个等。
其中，环境采集信息包括图像信息和/或音频信息，如环境中的用户的图像和/或语音。
处理装置用于，对环境采集信息进行识别，生成环境识别结果，并根据环境识别结果，确定数字人23的工作模式，工作模式包括以下至少一种：自展示模式、主动交互的模式和唤醒交互的模式。
处理装置还用于，控制数字人23通过所述显示装置22，显示工作模式对应的操作。
其中，关于各种工作模式的介绍可参见上述示例，此处不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
请参阅图12，图12为本申请实施例的电子设备的框图。
其中，电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请实施例的实现。
如图12所示，该电子设备包括：一个或多个处理器101、存储器102，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图12中以一个处理器101为例。
存储器102即为本申请实施例所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请实施例所提供的人机交互的控制方法。本申请实施例的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请实施例所提供的人机交互的控制方法。
存储器102作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的程序指令/模块。处理器101通过运行存储在存储器102中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的人机交互的控制方法。
存储器102可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器102可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器102可选包括相对于处理器101远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、区块链服务网络(Block-chain-based Service Network，BSN)、移动通信网及其组合。
电子设备还可以包括：输入装置103和输出装置104。处理器101、存储器102、输入装置103和输出装置104可以通过总线或者其他方式连接，图12中以通过总线连接为例。
输入装置103可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置104可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、区块链服务网络(Block-chain-based Service Network，BSN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的另一个方面，本申请实施例还提供了一种人机交互的控制方法，所述方法包括：
根据采集到的人机交互界面周围的环境对应的环境识别结果，控制人机交互界面显示数字人的工作模式，工作模式为自展示模式、主动交互的模式和唤醒交互的模式中的一种。
也就是说，在本申请实施例中，可根据环境识别结果控制数字人在人机交互界面展示相应的工作模式，即数字人可根据不同的环境识别结果展示不同的工作模式，从而实现人机交互的多样性和灵活性，提高用户的交互体验。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (18)

1.一种人机交互的控制方法，其特征在于，所述方法包括：
获取对人机交互界面周围的环境识别结果；
根据所述环境识别结果，确定所述人机交互界面上显示的数字人的工作模式，所述数字人的工作模式包括以下至少一种：自展示模式、主动交互的模式和唤醒交互的模式；其中，若所述环境识别结果为所述环境中的用户的数量小于预设的数量阈值，则所确定的数字人的工作模式为自展示模式；
控制所述数字人通过所述人机交互界面，输出所述工作模式对应的操作。
2.根据权利要求1所述的方法，其特征在于，确定所述人机交互界面上显示的数字人的工作模式之前，还包括：
所述用户的数量小于预设的数量阈值超过设定时间。
3.根据权利要求1或2所述的方法，其特征在于，若所述数字人的工作模式为自展示模式；则控制所述数字人通过所述人机交互界面，输出所述工作模式对应的操作包括：
控制所述数字人在所述人机交互界面上显示独处状态的肢体动作。
4.根据权利要求1或2所述的方法，其特征在于，若所述数字人的工作模式为自展示模式；则控制所述数字人通过所述人机交互界面，输出所述工作模式对应的操作包括：
控制所述数字人在所述人机交互界面上输出问候信息、展示信息、操作引导信息中的至少一种。
5.根据权利要求1或2所述的方法，其特征在于，若所述环境识别结果为环境中的用户的数量大于或等于预设的数量阈值，则所确定的数字人的工作模式为主动交互的模式。
6.根据权利要求1或2所述的方法，其特征在于，若所述环境识别结果为环境中的至少一个用户的停留时间大于预设的时间阈值，则所确定的数字人的工作模式为主动交互的模式。
7.根据权利要求1或2所述的方法，其特征在于，若所述环境识别结果为解析得到的环境中的至少一个用户的语义与预设的唤醒语义相匹配，则所确定的数字人的工作模式为唤醒交互的模式。
8.一种人机交互的控制装置，其特征在于，所述装置包括：
获取模块，用于获取对人机交互界面周围的环境识别结果；
确定模块，用于根据所述环境识别结果，确定所述人机交互界面上显示的数字人的工作模式，所述数字人的工作模式包括以下至少一种：自展示模式、主动交互的模式和唤醒交互的模式；若所述环境识别结果为所述环境中的用户的数量小于预设的数量阈值，则所确定的数字人的工作模式为自展示模式；
输出模块，用于控制所述数字人通过所述人机交互界面，输出所述工作模式对应的操作。
9.根据权利要求8所述的装置，其特征在于，所述确定模块用于，确定所述用户的数量小于预设的数量阈值超过设定时间。
10.根据权利要求8或9所述的装置，其特征在于，若所述数字人的工作模式为自展示模式；则所述输出模块用于，控制所述数字人在所述人机交互界面上显示独处状态的肢体动作。
11.根据权利要求8或9所述的装置，其特征在于，若所述数字人的工作模式为自展示模式；则所述输出模块用于，控制所述数字人在所述人机交互界面上输出问候信息、展示信息、操作引导信息中的至少一种。
12.根据权利要求8或9所述的装置，其特征在于，若所述环境识别结果为环境中的用户的数量大于或等于预设的数量阈值，则所确定的数字人的工作模式为主动交互的模式。
13.根据权利要求8或9所述的装置，其特征在于，若所述环境识别结果为环境中的至少一个用户的停留时间大于预设的时间阈值，则所确定的数字人的工作模式为主动交互的模式。
14.根据权利要求8或9所述的装置，其特征在于，若所述环境识别结果为解析得到的环境中的至少一个用户的语义与预设的唤醒语义相匹配，则所确定的数字人的工作模式为唤醒交互的模式。
15.一种人机交互的控制系统，其特征在于，所述系统包括：采集装置、处理装置、显示装置和数字人，其中，
所述采集装置用于，对显示装置周围的环境进行采集，得到环境采集信息；
所述处理装置用于，对所述环境采集信息进行识别，生成环境识别结果，并根据所述环境识别结果，确定所述数字人的工作模式，所述数字人的工作模式包括以下至少一种：自展示模式、主动交互的模式和唤醒交互的模式；若所述环境识别结果为所述环境中的用户的数量小于预设的数量阈值，则所确定的数字人的工作模式为自展示模式；
所述处理装置还用于，控制所述数字人通过所述显示装置，显示所述工作模式对应的操作。
16.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
17.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。
18.一种人机交互的控制方法，其特征在于，所述方法包括：
根据采集到的人机交互界面周围的环境对应的环境识别结果，控制人机交互界面显示数字人的工作模式，所述工作模式为自展示模式、主动交互的模式和唤醒交互的模式中的一种；若所述环境识别结果为所述环境中的用户的数量小于预设的数量阈值，则所确定的数字人的工作模式为自展示模式。
CN202010220639.6A 2020-03-25 2020-03-25 人机交互的控制方法、装置和系统、电子设备 Active CN111273833B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202010220639.6A CN111273833B (zh) 2020-03-25 2020-03-25 人机交互的控制方法、装置和系统、电子设备
KR1020227000737A KR20220010580A (ko) 2020-03-25 2020-12-11 휴먼 머신 인터랙션 제어 방법, 장치와 시스템, 전자기기
JP2021543462A JP7345551B2 (ja) 2020-03-25 2020-12-11 ヒューマンコンピュータインタラクションの制御方法、装置、システム、及び電子機器
EP20913063.2A EP3913473A4 (en) 2020-03-25 2020-12-11 METHOD, DEVICE AND SYSTEM FOR CONTROLLING HUMAN-MACHINE INTERACTION AND ELECTRONIC DEVICE
PCT/CN2020/135719 WO2021189967A1 (zh) 2020-03-25 2020-12-11 人机交互的控制方法、装置和系统、电子设备
US17/382,891 US20210349526A1 (en) 2020-03-25 2021-07-22 Human-computer interaction controlling method, apparatus and system, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010220639.6A CN111273833B (zh) 2020-03-25 2020-03-25 人机交互的控制方法、装置和系统、电子设备

Publications (2)

Publication Number Publication Date
CN111273833A CN111273833A (zh) 2020-06-12
CN111273833B true CN111273833B (zh) 2022-02-01

Family

ID=70999656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010220639.6A Active CN111273833B (zh) 2020-03-25 2020-03-25 人机交互的控制方法、装置和系统、电子设备

Country Status (6)

Country Link
US (1) US20210349526A1 (zh)
EP (1) EP3913473A4 (zh)
JP (1) JP7345551B2 (zh)
KR (1) KR20220010580A (zh)
CN (1) CN111273833B (zh)
WO (1) WO2021189967A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111273833B (zh) * 2020-03-25 2022-02-01 北京百度网讯科技有限公司 人机交互的控制方法、装置和系统、电子设备
CN111309153B (zh) * 2020-03-25 2024-04-09 北京百度网讯科技有限公司 人机交互的控制方法和装置、电子设备和存储介质
CN111918106A (zh) * 2020-07-07 2020-11-10 胡飞青 应用场景识别的多媒体播放系统及方法
CN111538456A (zh) * 2020-07-10 2020-08-14 深圳追一科技有限公司 基于虚拟形象的人机交互方法、装置、终端以及存储介质
CN114090166A (zh) * 2021-11-29 2022-02-25 云知声智能科技股份有限公司 一种交互的方法和装置
CN114356092B (zh) * 2022-01-05 2022-09-09 花脸数字技术(杭州)有限公司 一种基于多模态的数字人信息处理用人机交互系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105892829A (zh) * 2016-04-02 2016-08-24 上海大学 一种基于身份识别的人-机器人交互装置和方法
CN107825438A (zh) * 2017-12-06 2018-03-23 山东依鲁光电科技有限公司 城市智能综合服务机器人及其运行方法
WO2019004744A1 (ko) * 2017-06-30 2019-01-03 엘지전자 주식회사 이동 로봇
CN109940638A (zh) * 2019-04-26 2019-06-28 北京猎户星空科技有限公司 机器人、机器人控制方法、装置、存储介质和控制器
CN110096191A (zh) * 2019-04-24 2019-08-06 北京百度网讯科技有限公司 一种人机对话方法、装置及电子设备
CN110427154A (zh) * 2019-08-14 2019-11-08 京东方科技集团股份有限公司 信息显示交互方法及装置、计算机设备及介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4822319B2 (ja) * 2005-10-27 2011-11-24 株式会社国際電気通信基礎技術研究所 コミュニケーションロボットおよびそれを用いた注意制御システム
JP4923876B2 (ja) * 2006-09-01 2012-04-25 富士通株式会社 情報提供ロボットおよびロボットを用いた情報提供方法
CN103927091B (zh) * 2013-01-15 2018-04-27 华为终端有限公司 一种人机交互的方法、装置及系统
US20170139471A1 (en) * 2015-11-12 2017-05-18 Microsoft Technology Licensing, Llc Adaptive user presence awareness for smart devices
US20170289766A1 (en) * 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Digital Assistant Experience based on Presence Detection
JP6447578B2 (ja) * 2016-05-27 2019-01-09 トヨタ自動車株式会社 音声対話装置および音声対話方法
US10168767B2 (en) * 2016-09-30 2019-01-01 Intel Corporation Interaction mode selection based on detected distance between user and machine interface
CN107765852A (zh) * 2017-10-11 2018-03-06 北京光年无限科技有限公司 基于虚拟人的多模态交互处理方法及系统
CN109753264A (zh) * 2017-11-08 2019-05-14 阿里巴巴集团控股有限公司 一种任务处理方法和设备
CN107861626A (zh) * 2017-12-06 2018-03-30 北京光年无限科技有限公司 一种虚拟形象被唤醒的方法及系统
JP6991051B2 (ja) * 2017-12-11 2022-01-12 株式会社日立ビルシステム 案内システム
JP7130201B2 (ja) * 2018-01-18 2022-09-05 株式会社ユピテル 装置及びプログラム等
JP7081045B2 (ja) * 2018-05-04 2022-06-06 グーグル エルエルシー ユーザと自動化されたアシスタントインターフェースとの間の距離に応じて自動化されたアシスタントのコンテンツを生成するおよび／または適応させること
CN108833941A (zh) * 2018-06-29 2018-11-16 北京百度网讯科技有限公司 人机交互处理方法、装置、用户终端、处理服务器及系统
CN110874137B (zh) * 2018-08-31 2023-06-13 阿里巴巴集团控股有限公司 一种交互方法以及装置
CN111273833B (zh) * 2020-03-25 2022-02-01 北京百度网讯科技有限公司 人机交互的控制方法、装置和系统、电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105892829A (zh) * 2016-04-02 2016-08-24 上海大学 一种基于身份识别的人-机器人交互装置和方法
WO2019004744A1 (ko) * 2017-06-30 2019-01-03 엘지전자 주식회사 이동 로봇
CN107825438A (zh) * 2017-12-06 2018-03-23 山东依鲁光电科技有限公司 城市智能综合服务机器人及其运行方法
CN110096191A (zh) * 2019-04-24 2019-08-06 北京百度网讯科技有限公司 一种人机对话方法、装置及电子设备
CN109940638A (zh) * 2019-04-26 2019-06-28 北京猎户星空科技有限公司 机器人、机器人控制方法、装置、存储介质和控制器
CN110427154A (zh) * 2019-08-14 2019-11-08 京东方科技集团股份有限公司 信息显示交互方法及装置、计算机设备及介质

Also Published As

Publication number Publication date
KR20220010580A (ko) 2022-01-25
EP3913473A1 (en) 2021-11-24
WO2021189967A1 (zh) 2021-09-30
CN111273833A (zh) 2020-06-12
EP3913473A4 (en) 2022-12-07
JP7345551B2 (ja) 2023-09-15
JP2022529869A (ja) 2022-06-27
US20210349526A1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
CN111273833B (zh) 人机交互的控制方法、装置和系统、电子设备
JP6957632B2 (ja) コンピューティング装置の通知のための通知チャネル
CN109791431B (zh) 视点渲染
EP3133481B1 (en) Terminal device display method and terminal device
US10372310B2 (en) Suppression of input images
CN109032732B (zh) 通知显示方法、装置、存储介质及电子设备
JP7440625B2 (ja) コンテンツの表示を制御する方法およびコンピュータプログラム
US20230107213A1 (en) Method of generating virtual character, electronic device, and storage medium
CN111156855A (zh) 一种电子战装备虚拟训练人机交互系统
CN112416207A (zh) 信息内容显示方法、装置、设备及介质
US11520473B2 (en) Switch control for animations
CN112561059B (zh) 用于模型蒸馏的方法和装置
US20230245643A1 (en) Data processing method
CN112382292A (zh) 基于语音的控制方法和装置
CN111309153B (zh) 人机交互的控制方法和装置、电子设备和存储介质
CN116474234A (zh) 一种基于视觉辅助的孤独症干预系统及方法
CN111986682A (zh) 语音交互方法、装置、设备以及存储介质
CN112102447A (zh) 图像处理方法、装置、设备及存储介质
CN111738325A (zh) 图像识别方法、装置、设备以及存储介质
CN110704595B (zh) 对话的处理方法、装置、电子设备及可读存储介质
CN114187429B (zh) 虚拟形象切换方法、装置、电子设备及存储介质
Barakat et al. Integrating machine learning with augmented reality for accessible assistive technologies
US20220100455A1 (en) Dual display systems and methods
CN113590924A (zh) 智能屏设备的内容推荐方法、装置、电子设备及可读存储介质
Slavuljica et al. NeighboAR: Efficient Object Retrieval using Proximity-and Gaze-based Object Grouping with an AR System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant