CN111488090A - 交互方法、装置、交互系统、电子设备及存储介质 - Google Patents

交互方法、装置、交互系统、电子设备及存储介质 Download PDF

Info

Publication number
CN111488090A
CN111488090A CN202010285478.9A CN202010285478A CN111488090A CN 111488090 A CN111488090 A CN 111488090A CN 202010285478 A CN202010285478 A CN 202010285478A CN 111488090 A CN111488090 A CN 111488090A
Authority
CN
China
Prior art keywords
action
interactive object
display
trigger operation
identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010285478.9A
Other languages
English (en)
Inventor
张子隆
许亲亲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202010285478.9A priority Critical patent/CN111488090A/zh
Publication of CN111488090A publication Critical patent/CN111488090A/zh
Priority to JP2021556975A priority patent/JP2022532696A/ja
Priority to SG11202109187WA priority patent/SG11202109187WA/en
Priority to PCT/CN2020/130092 priority patent/WO2021208432A1/zh
Priority to KR1020217026797A priority patent/KR20210129067A/ko
Priority to TW109145339A priority patent/TW202138971A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种交互方法、装置、交互系统、电子设备及存储介质,其中,该方法包括:接收对显示设备的第一触发操作;获取用于响应所述第一触发操作的交互对象的动作标识;基于所述动作标识,控制所述显示设备展示的交互对象进行响应,所述响应中包括与所述交互对象的动作标识对应的动作。

Description

交互方法、装置、交互系统、电子设备及存储介质
技术领域
本公开涉及计算机技术领域,具体涉及一种交互方法、装置、交互系统、电子设备及存储介质。
背景技术
人机交互的方式大多基于按键、触摸、语音进行输入,通过在显示屏上呈现图像、文本或虚拟人物进行响应。目前虚拟人物多是在语音助理的基础上改进得到的,用户与虚拟人物的交互还停留表面上。
发明内容
本公开实施例至少提供一种交互方法、装置、交互系统、电子设备及存储介质。
第一方面,本公开实施例提供了一种交互方法,所述方法包括:
接收对显示设备的第一触发操作;
获取用于响应所述第一触发操作的交互对象的动作标识;
基于所述动作标识,控制所述显示设备展示的交互对象进行响应,所述响应中包括与所述交互对象的动作标识对应的动作。
本公开实施例中提出一种能够由交互对象来响应用户的触发操作的方案,可以利用第一触发操作对应的动作标识,控制交互对象通过拟人化的动作对用户做出响应,且响应中包括与动作标识对应的动作,由此可使得交互流程更为逼真及流畅,能够有效提升交互体验。示例性的,本公开实施例提供的交互方案,也可以应用在由交互对象对显示设备提供的功能进行介绍的场景下,可以便于一些对文字理解能力较弱或者没有时间查看文字引导信息的用户群体快速获取所需信息。
在一种可能的实施方式中,所述获取用于响应所述第一触发操作的交互对象的动作标识,包括:
基于对所述显示设备的触发操作与所述交互对象的动作标识之间的预设映射关系,获取与所述第一触发操作对应的所述动作标识。
在一种可能的实施方式中,所述获取用于响应所述第一触发操作的交互对象的动作标识,包括:
获取用于响应所述第一触发操作的响应数据;
基于对所述显示设备的触发操作的响应数据与所述交互对象的动作标识之间的预设映射关系,获取用于响应所述第一触发操作的响应数据对应的所述动作标识。
在一种可能的实施方式中,所述响应数据包括文本数据,所述预设映射关系包括所述文本数据中的关键文本数据与动作标识之间的预设映射关系。
以上实施方式中,通过配置触发操作或触发操作的响应数据与动作标识之间的预设映射关系,可以在接收到第一触发操作后,快速精准地查找的用于响应第一触发操作的动作标识,以便控制交互对象做出与动作标识对应的动作,以响应第一触发操作。
在一种可能的实施方式中,所述动作标识包括所述交互对象的肢体动作标识,和/或,所述交互对象在做出动作时的展示位置标识。
该实施例中,既可以通过肢体动作标识,标识交互对象在进行响应过程中所做出的具体肢体动作,还可以通过展示位置标识,标识交互对象在进行响应过程中展示在显示设备的显示区域中的位置,通过以上两种标识中的至少一种,可以提升交互对象在展示过程中的展示效果。
在一种可能的实施方式中,所述接收对所述显示设备的第一触发操作,包括:
接收对所述显示设备的目标应用程序的第一触发操作;或者,
接收对所述显示设备的目标应用程序的目标功能选项的第一触发操作,所述目标功能选项位于所述目标应用程序的显示界面中的预设展示区域。
在一种可能的实施方式中,在所述动作标识包括所述交互对象的肢体动作标识的情况下,所述动作标识对应的动作包括所述交互对象指向所述显示设备的目标展示区域的肢体动作;
在所述动作标识包括所述交互对象在做出动作时的展示位置标识的情况下,所述动作标识对应的动作包括所述交互对象在目标展示位置上做出的动作;
在所述动作标识包括所述肢体位置标识和所述展示位置标识的情况下,所述动作标识对应的动作包括所述交互对象在目标展示位置上做出指向所述目标展示区域的肢体动作。
上述实施方式中,交互对象的肢体动作标识可以是指向性的动作标识,例如指向某个具体的区域,这样,可以便于在交互过程中使用户能够快速获知交互对象当前所响应的具体内容,使得交互过程更为逼真流程,和/或,交互对象的展示位置标识可以是标识交互对象在目标展示位置上做出的指向性动作或其它动作,这样,可以便于用户观看响应内容,避免可能存在的遮挡等问题,能够达到更好的交互效果。
在一种可能的实施方式中,基于所述动作标识,控制所述显示设备展示的交互对象进行响应,所述响应中包括与所述交互对象的动作标识对应的动作,包括:
获取与所述动作标识对应的驱动数据;
利用所述驱动数据,渲染所述交互对象的显示画面,所述显示画面中包括以下画面内容中的任一种:所述交互对象做出与肢体动作标识对应的肢体动作的画面内容;所述交互对象在展示位置标识对应的目标展示位置上做出与所述肢体动作标识对应的肢体动作的画面内容;
控制所述显示设备显示所述交互对象的显示画面。
在一种可能的实施方式中,所述方法还包括:
获取所述第一触发操作对应的响应数据;
控制所述显示设备播放所述响应数据中的语音数据,和/或,在所述显示设备的界面上展示所述响应数据的提示框。
上述实施方式中,并不限定于进行与交互对象的动作标识相关的响应,还可以通过播放语音或者展示提示框等方式来实现响应,使得响应数据的呈现方式多样化,提升交互体验。
在一种可能的实施方式中,所述控制所述显示设备显示所述交互对象的显示画面,包括:
控制所述显示设备在目标应用程序的显示界面的背景层上显示所述交互对象的显示画面,所述显示界面位于所述背景层之上。
上述实施方式中,通过目标应用程序和交互对象的显示画面分层次的处理,两者可以分别进行响应,可以避免交互对象的响应过程与目标应用程序的运行可能出现的冲突。
第二方面,本公开实施例提供了一种交互系统,包括:显示设备和服务器;
所述显示设备,用于获取对显示设备的第一触发操作并发送给所述服务器,基于所述服务器的指示控制所述显示设备展示的交互对象进行响应;
所述服务器,用于接收所述第一触发操作,获取用于响应所述第一触发操作的交互对象的动作标识;基于所述动作标识,指示所述显示设备控制所述交互对象进行响应;所述响应中包括与所述交互对象的动作标识对应的动作。
第三方面,本公开实施例提供了一种交互装置,所述装置包括:
接收模块,用于接收对显示设备的第一触发操作;
获取模块,用于获取用于响应所述第一触发操作的交互对象的动作标识;
控制模块,用于基于所述动作标识,控制所述显示设备展示的交互对象进行响应,所述响应中包括与所述交互对象的动作标识对应的动作。
在一种可能的实施方式中,所述获取模块在用于获取用于响应所述第一触发操作的交互对象的动作标识时,包括:
基于对所述显示设备的触发操作与所述交互对象的动作标识之间的预设映射关系,获取与所述第一触发操作对应的所述动作标识。
在一种可能的实施方式中,所述获取模块在用于获取用于响应所述第一触发操作的交互对象的动作标识时,包括:
获取用于响应所述第一触发操作的响应数据;
基于对所述显示设备的触发操作的响应数据与所述交互对象的动作标识之间的预设映射关系,获取用于响应所述第一触发操作的响应数据对应的所述动作标识。
在一种可能的实施方式中,所述响应数据包括文本数据,所述预设映射关系包括所述文本数据中的关键文本数据与动作标识之间的预设映射关系。
在一种可能的实施方式中,所述动作标识包括所述交互对象的肢体动作标识,和/或,所述交互对象在做出动作时的展示位置标识。
在一种可能的实施方式中,所述接收模块在用于接收对所述显示设备的第一触发操作时,包括:
接收对所述显示设备的目标应用程序的第一触发操作;或者,
接收对所述显示设备的目标应用程序的目标功能选项的第一触发操作,所述目标功能选项位于所述目标应用程序的显示界面中的预设展示区域。
在一种可能的实施方式中,在所述动作标识包括所述交互对象的肢体动作标识的情况下,所述动作标识对应的动作包括所述交互对象指向所述显示设备的目标展示区域的肢体动作;
在所述动作标识包括所述交互对象在做出动作时的展示位置标识的情况下,所述动作标识对应的动作包括所述交互对象在目标展示位置上做出的动作;
在所述动作标识包括所述肢体位置标识和所述展示位置标识的情况下,所述动作标识对应的动作包括所述交互对象在目标展示位置上做出指向所述目标展示区域的肢体动作;
其中,所述目标展示区域为所述预设展示区域或者为与所述预设展示区域关联的展示区域。
在一种可能的实施方式中,所述控制模块在用于基于所述动作标识,控制所述显示设备展示的交互对象进行响应时,包括:
获取与所述动作标识对应的驱动数据;
利用所述驱动数据,渲染所述交互对象的显示画面,所述显示画面中包括以下画面内容中的任一种:所述交互对象做出与肢体动作标识对应的肢体动作的画面内容;所述交互对象在展示位置标识对应的目标展示位置上做出与所述肢体动作标识对应的肢体动作的画面内容;
控制所述显示设备显示所述交互对象的显示画面。
在一种可能的实施方式中,所述控制模块还用于:
获取所述第一触发操作对应的响应数据;
控制所述显示设备播放所述响应数据中的语音数据,和/或,在所述显示设备的界面上展示所述响应数据的提示框。
在一种可能的实施方式中,所述控制模块在用于控制所述显示设备显示所述交互对象的显示画面时,包括:
控制所述显示设备在目标应用程序的显示界面的背景层上显示所述交互对象的显示画面,所述显示界面位于所述背景层之上。
第四方面,本公开实施例提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如第一方面所述的交互方法的步骤。
第五方面,本公开实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如第一方面所述的交互方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种显示设备示意图;
图2示出了本公开实施例所提供的一种交互方法的流程图;
图3示出了本公开实施例所提供的一种基于第一触发操作的响应过程的流程示意图;
图4示出了本公开实施例所提供的另一种基于第一触发操作的响应过程的流程示意图;
图5示出了本公开实施例所提供的一种展示有交互对象的响应内容的显示界面示意图;
图6示出了本公开实施例所提供的第二种展示有交互对象的响应内容的显示界面示意图;
图7示出了本公开实施例所提供的第三种展示有交互对象的响应内容的显示界面;
图8示出了本公开实施例所提供的一种显示界面的九宫格示意图;
图9示出了本公开实施例所提供的一种交互对象的界面示意图;
图10示出了本公开实施例所提供的另一种交互对象的界面示意图;
图11示出了本公开实施例所提供的一种控制显示设备展示的交互对象进行响应的具体处理流程示意图;
图12示出了本公开实施例所提供的一种交互对象的显示画面示意图;
图13示出了本公开实施例所提供的一种交互系统的结构示意图;
图14示出了本公开实施例所提供的一种交互装置的结构示意图;
图15示出了本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
本公开至少一个实施例提供了一种交互方法,交互方法可以由显示设备或服务器等电子设备执行,显示设备例如为终端设备,终端设备可以是固定终端或移动终端,例如手机、平板电脑、游戏机、台式机、广告机、车载终端、虚拟现实(Virtual Reality,VR)设备、增强现实(Augmented Reality,AR)设备等。服务器包括本地服务器或云端服务器等。本公开并不限定显示设备和服务器的具体形式。
在本公开实施例中,在显示设备上可以显示交互对象,交互对象可以是任意一种能够与目标对象进行交互的交互对象,其可以是虚拟人物,还可以是虚拟动物、虚拟物品、卡通形象等等任何能够实现交互功能的虚拟形象,虚拟形象的展现形式即可以是2D形式也可以是3D形式,本公开对此并不限定。目标对象可以是自然人,也可以是机器人,还可以是其他智能设备。交互对象和目标对象之间的交互方式可以是主动交互方式,也可以是被动交互方式。一示例中,目标对象可以通过做出手势或者肢体动作来发出需求,通过主动交互的方式来触发交互对象与其交互。另一示例中,交互对象可以通过主动打招呼、提示目标对象做出动作等方式,使得目标对象采用被动方式与交互对象进行交互。
在一些实施例中,图1示出本公开至少一个实施例提出的显示设备。该显示设备为具有透明显示屏的显示设备,其可以在透明显示屏上显示立体画面,以呈现出具有立体效果的交互对象。例如图1中透明显示屏显示的交互对象有虚拟卡通人物。
在一些实施例中,显示设备也可以为手机或者平板电脑等移动终端,在移动终端上可以安装有能够展示交互对象的应用程序(Application,APP),比如为实现交互对象与用户之间的交互的专属应用程序,或者,也可以为配置有实现交互对象的交互能力的软件开发工具包(Software Development Kit,SDK)的通用应用程序。比如,在一些银行APP上,可以嵌入实现交互对象的交互能力的SDK,进而在运行银行APP的情况下,可以根据需求调取交互对象来实现与用户之间的交互。
示例性的,上述显示设备中可以配置有存储器和处理器,存储器用于存储可在处理器上运行的计算机指令,处理器用于在执行计算机指令时实现本公开提供的交互方法,以使透明显示屏中显示的交互对象对目标对象进行响应。
本公开实施例中提出一种能够由交互对象来响应用户的触发操作的方案,交互对象可通过拟人化的动作对用户做出响应,使得交互流程更为流畅,能够有效提升交互体验。示例性的,本公开实施例提供的交互方案,也可以应用在由交互对象对显示设备提供的功能进行介绍的场景下,可以便于一些对文字理解能力较弱或者没有时间查看文字引导信息的用户群体快速获取所需信息。
下面,结合具体实施例对本公开提供的技术方案进行详细说明。
参照图2所示,为本公开实施例提供的交互方法的流程图,方法包括步骤201~步骤203,其中:
步骤201,接收对显示设备的第一触发操作。
步骤202,获取用于响应第一触发操作的交互对象的动作标识。
步骤203,基于动作标识,控制显示设备展示的交互对象进行响应,响应中包括与交互对象的动作标识对应的动作。
在一些实施例中,上述交互方法可以由显示设备执行,即在本地完成对第一触发操作的响应;上述交互方法也可以由服务器执行,即由服务器完成用于响应第一触发操作的数据的获取,并指示显示设备的交互对象进行响应。
在由显示设备来执行的情况下,步骤201中接收对显示设备的第一触发操作,可以由显示设备检测是否存在第一触发操作。比如,可以通过检测在显示设备的显示屏上是否有触摸操作,来确定是否存在第一触发操作;或者,通过检测显示设备采集的图像中是否有设定的用户面部表情或用户肢体动作,来确定是否存在第一触发操作;或者,通过检测显示设备采集的语音指示,来确定是否存在第一触发操作等。具体检测方式可以通过显示设备配置的传感器等支持的检测能力来配置,本公开对此并不限定。
在由服务器来执行的情况下,显示设备可以将检测到的第一触发操作上报给服务器,以便服务器来获取用于响应第一触发操作的各类数据,进而将显示设备所需的数据发送给显示设备,由显示设备展示交互对象的响应。
在一些实施例中,第一触发操作可以用于请求显示设备提供某种功能或某种数据。示例性的,第一触发操作可以为对显示设备的目标应用程序的触发操作,比如,点击目标应用程序的图标的触发操作,以请求显示设备开启目标应用程序,以提供某种服务。或者,第一触发操作还可以为对显示设备的目标应用程序的目标功能选项的触发操作,比如,点击目标应用程序中的目标功能选项的触发操作,以请求目标应用程序启动目标功能选项对应的功能等。具体触发操作的方式如上述说明,既可以是对显示设备的接触式操作,也可以是无接触式的操作,比如通过做出某种手势等动作或者输入语音的方式等。
本公开实施例中,既可以直接对第一触发操作进行响应,也可以先获取第一触发操作对应的响应数据进而做出响应,下面以两个具体的实施流程为例来说明基于第一触发操作的响应过程。
图3所示,为本公开实施例提供的一种基于第一触发操作的响应过程的流程示意图,包括如下步骤:
步骤301,接收对显示设备的第一触发操作。
步骤302,基于对显示设备的触发操作与交互对象的动作标识之间的预设映射关系,获取与第一触发操作对应的动作标识。
步骤303,基于动作标识,控制显示设备展示的交互对象进行响应,响应中包括与交互对象的动作标识对应的动作。
图4所示,为本公开实施例提供的另一种基于第一触发操作的响应过程的流程示意图,包括如下步骤:
步骤401,接收对显示设备的第一触发操作。
步骤402,获取用于响应第一触发操作的响应数据。
步骤403,基于对显示设备的触发操作的响应数据与交互对象的动作标识之间的预设映射关系,获取用于响应第一触发操作的响应数据对应的动作标识。
步骤404,基于动作标识,控制显示设备展示的交互对象进行响应,响应中包括与交互对象的动作标识对应的动作。
以上实施例中,通过配置触发操作或触发操作的响应数据与动作标识之间的预设映射关系,可以在接收到第一触发操作后,快速精准地查找的用于响应第一触发操作的动作标识,以便控制交互对象做出与动作标识对应的动作,以响应第一触发操作。
对于步骤301和步骤401的有关描述可以参见上文相关部分,这里不再重复赘述。
考虑到不同的交互场景下,用户通过第一触发操作所请求的内容各式各样,响应第一触发操作的内容也存在多样性,故针对一些较为简单的交互场景下,本公开实施例可以配置第一触发操作与交互对象的动作标识之间的预设映射关系,列举一个简单的例子,第一触发操作可以为用户做出的打招呼的手势动作,那么可以直接将第一触发操作中打招呼的手势动作与交互对象响应的打招呼的手势动作之间建立映射关系,无需额外的响应数据。
在一些较为复杂的交互场景下,也可以配置第一触发操作的响应数据与交互对象的动作标识之间的预设映射关系。在一些实施方式中,可以通过第一触发操作识别用户的交互意图,然后根据交互意图,查找到符合该交互意图的响应数据。其中,响应数据可以是预先存储好的,也可以是通过网络向其它内容服务器请求获取到的,本公开对此并不限定。
当然,具体实施中,用于响应第一触发操作的数据除了动作标识,还可以包括响应数据,响应数据包括但不限于交互对象针对该第一触发操作的响应数据,还可以包括显示设备上目标应用程序针对该第一触发操作的响应数据等。其中,预设映射关系具体是建立在第一触发操作与交互对象的动作标识之间,还是建立在第一触发操作的响应数据与交互对象的动作标识之间,可以视实际交互场景的需求来配置,并且对于同一交互场景下可支持上述两种预设映射关系的配置。
响应数据的形式有很多种,一种可能的实施方式中,响应数据可以包括文本数据,那么预设映射关系可以包括文本数据中的关键文本数据与动作标识之间的预设映射关系。列举一个简单的例子,第一触发操作为用户请求开启目标应用程序的触发操作,尤其是用户首次开启目标应用程序的交互场景下,可以由交互设备来介绍目标应用程序的使用说明,那么响应数据可以为目标应用程序中各个功能选项的使用说明,功能选项可作为关键文本数据,功能选项可与交互对象的动作标识建立预设映射关系,在该交互场景下,交互对象的动作标识例如为指向该功能选项的肢体动作的标识,这样,在展示交互对象的响应内容的过程中,可以在显示设备的界面中呈现出交互对象指向所介绍的各个功能选项的展示效果。
其中,预设映射关系可以是后台预先配置好的,用于记录不同触发操作对应的交互对象的特定响应方式,其中,特定响应方式可以通过特定的动作标识来标记。比如,第一触发操作为请求开启目标应用程序的触发操作,则特定的动作标识可以标识开启目标应用程序后,交互对象打招呼的动作,或者,交互对象介绍目标应用程序的使用说明过程中指向使用说明涉及的各个功能选项的动作。当然,具体实施中,预设映射关系也可以是基于深度学习算法进行反复学习后得到的,这样,在接收到第一触发操作或第一触发操作的响应数据之后,可以通过深度学习模型来预测相映射的交互对象的动作标识。
在一些实施例中,预设映射关系中第一触发操作或第一触发操作的响应数据,所对应的动作标识可以是至少一个,也就是说,一个第一触发操作可映射一个动作标识,也可以映射至少两个动作标识,这样,交互对象在进行响应时可以做出与一个动作标识对应的特定动作,也可以做出与至少两个动作标识对应的一系列的特定动作。其中,在映射有至少两个动作标识的情况下,至少两个动作标识可以具备排列关系,比如按照执行先后顺序来配置至少两个动作标识的排列关系,如添加执行的时间戳等方式。
其中,交互对象的动作标识,用于标识交互对象做出的特定动作,以便在交互对象进行响应的过程中,能够做出与动作标识对应的动作。在一些实施例中,动作标识包括交互对象的肢体动作标识,和/或,交互对象在做出动作时的展示位置标识。既可以通过肢体动作标识,标识交互对象在进行响应过程中所做出的具体肢体动作,还可以通过展示位置标识,标识交互对象在进行响应过程中展示在显示设备的显示区域中的位置,通过以上两种标识中的至少一种,可以提升交互对象在展示过程中的展示效果。
肢体动作标识用于标识交互对象的特定肢体动作,特定肢体动作可以是交互对象的头部的动作,也可以是交互对象的身体躯干的动作,头部的动作也可以包括面部表情动作。展示位置标识用于标识交互对象在做出动作时的特定展示位置,特定展示位置为显示设备的界面上的特定展示位置,在该特定展示位置上能够便于用户观看响应内容,避免可能存在的遮挡等问题,能够达到更好的交互效果。
在一些实施例中,在动作标识包括交互对象的肢体动作标识的情况下,动作标识对应的动作包括但不限于交互对象指向显示设备的目标展示区域的肢体动作。对于交互对象的指向性的肢体动作,可以应用于对显示设备的界面上的有关功能进行说明的场景下,示例性的,可以是对于目标应用程序上的某些功能进行介绍的场景下。在该场景下,接收的第一触发操作,可以是对显示设备的目标应用程序的触发操作,也可以是对显示设备的目标应用程序的目标功能选项的触发操作。通过指向性的动作标识可以便于在交互过程中使用户能够快速获知交互对象当前所响应的具体内容,使得交互过程更为逼真流程,和/或,通过交互对象的展示位置标识来标识做出指向性或其它动作时的位置,这样,可以便于用户观看响应内容,避免可能存在的遮挡等问题,能够达到更好的交互效果。
下面列举几种在配置了不同动作标识的情况下的可能的交互过程:
示例一,在动作标识包括交互对象的肢体动作标识的情况下,动作标识对应的动作包括交互对象指向显示设备的目标展示区域的肢体动作。有一种可能的交互过程为:
接收到显示设备的目标应用程序的第一触发操作之后,可以获取该第一触发操作对应的响应数据,响应数据包括目标应用程序上的功能介绍的文本数据,进一步地,基于响应数据与交互对象的动作标识之间的预设映射关系,可以获取到与文本数据中的关键文本数据对应的交互对象的动作标识。其中,关键文本数据例如为描述目标应用程序上的特定功能的文本数据。比如,描述目标应用程序上第一功能的文本数据,第一功能的功能选项可以在目标应用程序的显示界面的预设展示区域。为了便于用户快速找到该第一功能的位置并熟悉该第一功能的操作说明,可以将交互对象的动作标识配置为指向该第一功能所在的预设展示区域的动作的标识。这样,可以基于交互对象的动作标识,控制显示设备展示交互对象进行响应的内容,响应的内容可以包括指向第一功能所在的预设展示区域的动作。当然,响应的内容还可以包括其它形式的内容,比如回复一段语音或者展示一些提示内容等,本公开对此并不限定。其中,参照图5所示,为列举的一种展示有交互对象的响应内容的显示界面,交互对象的响应内容中包括指向“麦克风”功能的动作,且还展示有对应的麦克风的操作说明。
示例二,在动作标识包括交互对象在做出动作时的展示位置标识的情况下,动作标识对应的动作包括交互对象在目标展示位置上做出的动作。有一种可能的交互过程为:
接收到对目标应用程序的目标功能选项的第一触发操作之后,可以获取第一触发操作对应的响应数据,响应数据包括目标功能选项提供的功能相关数据,进一步地,基于触发操作与交互对象的动作标识之间的映射关系,可以获取到与第一触发操作对应的交互对象的动作标识。为了便于用户快速了解目标功能选项提供的功能,可以使交互对象在目标展示位置上做出介绍该目标功能选项提供的功能的动作。这样,可以基于交互对象的动作标识,控制显示设备展示交互对象进行响应的内容,响应的内容可以包括交互对象在目标展示位置上做出的动作。其中,参照图6所示,为列举的一种展示有交互对象的响应内容的显示界面,目标功能选项例如为目标应用程序中转账选项提供的转账功能,在目标应用程序跳转到转账显示界面之后,可以展示交互对象的响应内容,为了便于用户观看交互对象的响应内容,交互对象的动作标识中可配置有展示位置标识,以便交互对象在转账操作区域的左下方的目标展示位置上介绍有关转账的功能。
示例三,在动作标识包括肢体位置标识和展示位置标识的情况下,动作标识对应的动作包括交互对象在目标展示位置上做出指向目标展示区域的肢体动作。有一种可能的交互过程为:
可以在示例一所描述的交互流程的基础上,增加交互对象的展示位置标识与响应数据的预设映射关系的配置。这样,可以基于交互对象的肢体动作标识和展示位置标识,控制显示设备展示交互对象进行响应的内容,响应的内容可以包括交互对象在展示位置标识对应的目标展示位置上做出与肢体动作标识对应的肢体动作。其中,可继续参照图5和图7所示,为列举的一种展示有交互对象的响应内容的显示界面,交互对象的响应内容中包括在展示位置标识对应的目标展示位置“B”上指向“麦克风”功能的动作,且还展示有对应的麦克风的操作说明。其中,显示界面中的“A”、“B”、“C”的位置标记仅为示例性说明,且是出于便于理解的目的标记在显示界面中,实际应用过程中“A”、“B”“C”可无需显示。
以上提供的示例一至示例三中,交互对象指向的目标展示区域可以是被触发的目标功能选项所在的预设展示区域,也可以是与被触发的目标应用程序关联的展示区域,还可以是与被触发的目标功能选项关联的展示区域同理,目标展示位置,也可以是基于被触发的目标功能选项和被触发的目标应用程序来确定。
需要说明的是,实际应用中,可基于具体交互需求来配置预设映射关系中的肢体动作标识和展示位置标识,本公开对此并不限定。
为便于理解,下面结合图5和图7给出的上述示例一和示例三的交互场景,举例说明一种预设映射关系的具体配置方式。
参照图8所示,可以将目标应用程序的显示界面分成九宫格形式,包括“左上”、“上”、“右上”、“左”、“中”、“右”、“左下”、“下”、“右下”这9个展示区域。每个展示区域中可包括目标应用程序的不同功能选项。
为了使交互对象做出响应时能够指向对应的功能选项,可以将交互对象的肢体动作标识可包括6组肢体动作,包括图9和图10所示的“左上”,“左”,“左下”,“右上”,“右”,“右下”,交互对象的展示位置标识可包括3个展示位置“A”,“B”,“C”。
在配置预设映射关系时,如第一触发操作所触发的目标应用程序的目标功能选项分别在“左上”,“左”,“左下”,“右上”,“右”,“右下”这6个展示区域的其中之一,那么,与第一触发操作或第一触发操作的回应数据存在映射关系的展示位置标识可以是“B”,存在映射关系的肢体动作标识可以为“左上”,“左”,“左下”,“右上”,“右”,“右下”中的其中之一,具体选择哪个肢体动作标识由被触发的目标功能选项所在展示区域来确定。比如,若被触发的目标功能选项所在展示区域在“左上”,则可选择肢体动作标识为“左上”。
如第一触发操作所触发的目标应用程序的目标功能选项分别在“上”,“中”,“下”这3个展示区域的其中之一,那么,与第一触发操作或第一触发操作的回应数据存在映射关系的展示位置标识可以是“A”或者“C”,存在映射关系的肢体动作标识可以为“左上”,“左”,“左下”,“右上”,“右”,“右下”中的其中之一,具体选择哪个肢体动作标识由被触发的目标功能选项所在展示区域来确定。比如,若被触发的目标功能选项所在展示区域在“上”,展示位置标识为“A”,则可选择肢体动作标识为“左上”,或者,若被触发的目标功能选项所在展示区域在“上”,展示位置标识为“C”,则可选择肢体动作标识为“右上”。
其中,在响应数据为文本数据,预设映射关系为关键文本与交互对象的动作标识之间的映射关系时,关键文本例如可以是用于描述上述目标功能选项所在的展示区域的文本,可以直接用“上方的”、“右上方的”、“下方的”这种具备明确方位信息的文本来作为关键文本,当然,也可以用目标功能选项的名称作为关键文本,其中,目标功能选项的名称已预先记录有所在的展示区域。
以上仅为本公开实施例的可行性方式的举例说明,实际应用中,可根据实际交互需求来合理配置预设映射关系,本公开对此并不限定。
继续参照图2至图4所示的交互方法的实施流程,针对步骤203、步骤303以及步骤404中所示的,基于动作标识,控制显示设备展示的交互对象进行响应的具体处理流程,可参见图11所示,包括如下步骤:
步骤4041,获取与动作标识对应的驱动数据。
在一些实施例中,驱动数据用于调整交互对象的显示状态,交互对象作为虚拟形象,其后台记录的是交互对象的3D模型或2D模型,通过驱动数据调整3D模型或2D模型中相关部位的参数,进而可以改变交互对象的显示状态。其中,相关部位包括但不限于头部、肢体各个关节部位、面部表情等。在获取到动作标识之后,动作标识可以反映出交互对象待呈现的显示状态,故可以获取与动作标识对应的驱动数据。在本公开实施例应用在显示设备的情况下,驱动数据既可以在本地数据库中存储,也可以在云端数据库中存储,应用在服务器的情况下,驱动数据既可以在服务器本身存储单元上存储,也可以在其它业务相关服务器上存储,本公开对此并不限定。
步骤4042,利用驱动数据,渲染交互对象的显示画面。
在一些实施例中,利用驱动数据之后可以利用内置的渲染工具渲染出交互对象的显示画面,具体使用的渲染工具,本公开并不限定。
其中,结合以上实施例中的描述,显示画面中可以包括以下画面内容中的任一种:交互对象做出与肢体动作标识对应的肢体动作的画面内容;交互对象在展示位置标识对应的目标展示位置上做出与肢体动作标识对应的肢体动作的画面内容。有关画面内容的示例,可以参照图5至图7所示。
步骤4043,控制显示设备显示交互对象的显示画面。
在本公开实施例应用在显示设备的情况下,显示画面可以在本地渲染成功后直接呈现在显示设备上,应用在服务器的情况下,服务器可以将渲染成功的显示画面发送给显示设备,然后由显示设备来进行呈现。
此外,在以上实施例中,响应数据包括但不限于交互对象针对该第一触发操作的响应数据,还可以包括显示设备上目标应用程序针对该第一触发操作的响应数据等。
示例性的,还可以获取第一触发操作对应的响应数据,进而可以控制显示设备播放响应数据中的语音数据,和/或,在显示设备的界面上展示响应数据的提示框等,本公开对此并不限定。上述实施方式并不限定于进行与交互对象的动作标识相关的响应,还可以通过播放语音或者展示提示框等方式来实现响应,使得响应数据的呈现方式多样化,提升交互体验。
其中,在显示设备显示交互对象的显示画面的情况下,若显示在目标应用程序的显示界面上,可以将目标应用程序的响应内容的层级处于交互对象的响应内容的层级之上。通过目标应用程序和交互对象的显示画面分层次的处理,两者可以分别进行响应,可以避免交互对象的响应过程与目标应用程序的运行可能出现的冲突。示例性的,可以将交互对象的响应内容设置为目标应用程序的背景层上,这样,控制显示设备在目标应用程序的显示界面的背景层上显示交互对象的显示画面,显示界面位于背景层之上,其显示效果可参见图12所示,交互对象的显示画面在背景层,在背景层之上可以显示目标应用程序的响应内容。
在一些实施例中,在利用交互对象的驱动数据,渲染交互对象的显示画面的过程中,为了使交互对象呈现出来的效果更为逼真,本公开实施例可以识别驱动数据的驱动模式,响应于驱动模式,根据驱动数据获取交互对象的控制参数,根据控制参数控制交互对象的姿态。
示例性的,根据驱动数据的类型,获取驱动数据对应的语音数据序列,语音数据序列包括多个语音数据单元;若检测到所述语音数据单元中包括目标数据,则确定所述驱动数据的驱动模式为第一驱动模式,目标数据与交互对象的预设控制参数相对应;进而,可以响应于第一驱动模式,将目标数据对应的预设控制参数,作为所述交互对象的控制参数。其中,目标数据包括关键词或关键字,关键词或关键字与交互对象的设定动作的预设控制参数相对应。
若未检测到语音数据单元中包括目标数据,则确定驱动数据的驱动模式为第二驱动模式;进而可以响应于第二驱动模式,获取语音数据序列中的至少一个语音数据单元的特征信息;获取与特征信息对应的交互对象的控制参数。
其中,上述语音数据序列包括音素序列,在获取所述语音数据序列中的至少一个语音数据单元的特征信息时,可以对所述音素序列进行特征编码,获得所述音素序列对应的第一编码序列;根据第一编码序列,获取至少一个音素对应的特征编码;根据特征编码,获得至少一个音素的特征信息。
上述语音数据序列还可以包括语音帧序列,在获取所述语音数据序列中的至少一个语音数据单元的特征信息时,还可以获取所述语音帧序列对应的第一声学特征序列,所述第一声学特征序列包括与所述语音帧序列中的每个语音帧对应的声学特征向量;根据所述第一声学特征序列,获取至少一个语音帧对应的声学特征向量;根据所述声学特征向量,获得所述至少一个语音帧对应的特征信息。
其中,上述交互对象的控制参数包括所述交互对象的至少一个局部区域的控制向量。示例性的,可以将上述特征信息输入至循环神经网络,获得与特征信息对应的交互对象的控制参数。上述根据所述驱动数据获取所述交互对象的控制参数,可以包括:根据所述驱动数据获取交互对象的至少一个局部区域的控制向量;根据控制参数控制交互对象的姿态,可以包括:根据所获取的所述至少一个局部区域的控制向量,控制所述交互对象的面部动作和/或肢体动作。
当然,具体实施中也可以包括其它驱动方式,本公开对此并不限定。
参照图13所示,为本公开实施例提供的一种交互系统,包括显示设备1301和服务器1302。
其中,显示设备1301,用于获取对显示设备1301的第一触发操作并发送给服务器,基于服务器1302的指示控制显示设备展示的交互对象进行响应;
服务器1302,用于接收第一触发操作,获取用于响应第一触发操作的交互对象的动作标识;基于动作标识,指示显示设备1301控制交互对象进行响应;响应中包括与交互对象的动作标识对应的动作。
示例性的,该交互系统中,显示设备1301可以检测到第一触发操作,进而可以向服务器1302请求响应数据,相应地,服务器可以从预先存储有预设映射关系的数据库中获取用于响应第一触发操作的交互对象的动作标识,进而基于该动作标识,获取到对应的交互对象的驱动数据。
在一些实施例中,服务器1302可以通过渲染工具将驱动数据,渲染成交互对象的动画,然后直接将渲染后的结果下发至显示设备1301,以便显示设备1301展示渲染后的结果,呈现出交互对象对第一触发操作进行响应的拟人化效果。
在另一些实施例中,服务器1302也可以将驱动数据下发给显示设备1301,由显示设备1301通过内置的渲染工具对驱动数据进行渲染,进而展示渲染后的结果,呈现出交互对象对第一触发操作进行响应的拟人化效果。
该交互系统中服务器1302可以提供主要的计算能力,这样显示设备1301可以无需本地配置过多的处理数据,减轻显示设备1301的处理压力。
通过该交互系统中显示设备1301和服务器1302之间的数据处理流程,能够实现由交互对象来响应用户的触发操作,交互对象可通过拟人化的动作对用户做出响应,使得交互流程更为流畅,能够有效提升交互体验。
参见图14所示,本公开实施例提供了一种交互装置1400,该交互装置1400包括接收模块1401、获取模块1402和控制模块1403。
接收模块1401,用于接收对显示设备的第一触发操作;
获取模块1402,用于获取用于响应第一触发操作的交互对象的动作标识;
控制模块1403,用于基于动作标识,控制显示设备展示的交互对象进行响应,响应中包括与交互对象的动作标识对应的动作。
在一种可能的实施方式中,获取模块1402在用于获取用于响应第一触发操作的交互对象的动作标识时,包括:
基于对显示设备的触发操作与交互对象的动作标识之间的预设映射关系,获取与第一触发操作对应的动作标识。
在一种可能的实施方式中,获取模块1402在用于获取用于响应第一触发操作的交互对象的动作标识时,包括:
获取用于响应第一触发操作的响应数据;
基于对显示设备的触发操作的响应数据与交互对象的动作标识之间的预设映射关系,获取用于响应第一触发操作的响应数据对应的动作标识。
在一种可能的实施方式中,响应数据包括文本数据,预设映射关系包括文本数据中的关键文本数据与动作标识之间的预设映射关系。
在一种可能的实施方式中,动作标识包括交互对象的肢体动作标识,和/或,交互对象在做出动作时的展示位置标识。
在一种可能的实施方式中,接收模块1401在用于接收对显示设备的第一触发操作时,包括:
接收对显示设备的目标应用程序的第一触发操作;或者,
接收对显示设备的目标应用程序的目标功能选项的第一触发操作,目标功能选项位于目标应用程序的显示界面中的预设展示区域。
在一种可能的实施方式中,在动作标识包括交互对象的肢体动作标识的情况下,动作标识对应的动作包括交互对象指向显示设备的目标展示区域的肢体动作;
在动作标识包括交互对象在做出动作时的展示位置标识的情况下,动作标识对应的动作包括交互对象在目标展示位置上做出的动作;
在动作标识包括肢体位置标识和展示位置标识的情况下,动作标识对应的动作包括交互对象在目标展示位置上做出指向目标展示区域的肢体动作;
其中,目标展示区域为预设展示区域或者为与预设展示区域关联的展示区域。
在一种可能的实施方式中,控制模块1403在用于基于动作标识,控制显示设备展示的交互对象进行响应时,包括:
获取与动作标识对应的驱动数据;
利用驱动数据,渲染交互对象的显示画面,显示画面中包括以下画面内容中的任一种:交互对象做出与肢体动作标识对应的肢体动作的画面内容;交互对象在展示位置标识对应的目标展示位置上做出与肢体动作标识对应的肢体动作的画面内容;
控制显示设备显示交互对象的显示画面。
在一种可能的实施方式中,控制模块1403还用于:
获取第一触发操作对应的响应数据;
控制显示设备播放响应数据中的语音数据,和/或,在显示设备的界面上展示响应数据的提示框。
在一种可能的实施方式中,控制模块1403在用于控制显示设备显示交互对象的显示画面时,包括:
控制显示设备在目标应用程序的显示界面的背景层上显示交互对象的显示画面,显示界面位于背景层之上。
参见图2提供的交互方法流程,本公开实施例还提供了一种电子设备1500,如图15所示,为本公开实施例提供的电子设备1500结构示意图,包括:处理器1501、存储器1502、和总线1503。存储器1502存储有处理器1501可执行的机器可读指令(比如,图14中的装置中接收模块1401、获取模块1402、控制模块1403对应的执行指令等),当电子设备1500运行时,处理器1501与存储器1502之间通过总线1503通信,机器可读指令被处理器1501执行时执行如下处理:接收对显示设备的第一触发操作;获取用于响应第一触发操作的交互对象的动作标识;基于动作标识,控制显示设备展示的交互对象进行响应,响应中包括与交互对象的动作标识对应的动作。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的交互方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的交互方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的交互方法的步骤,具体可参见上述方法实施例,在此不再赘述。
本公开实施例还提供一种计算机程序,该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software DevelopmentKit,SDK)等等。
本公开实施例中提出的交互方法、交互系统、装置、设备及计算机程序,提出一种能够由交互对象来响应用户的触发操作的交互方案,可以利用第一触发操作对应的动作标识,控制交互对象通过拟人化的动作对用户做出响应,且响应中包括与动作标识对应的动作,由此可使得交互流程更为逼真及流畅,能够有效提升交互体验。示例性的,本公开实施例提供的交互方案,也可以应用在由交互对象对显示设备提供的功能进行介绍的场景下,可以便于一些对文字理解能力较弱或者没有时间查看文字引导信息的用户群体快速获取所需信息。当然也可以应用在其它具备交互需求的应用场景下,本公开对此并不具体限定。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

Claims (20)

1.一种交互方法,其特征在于,所述方法包括:
接收对显示设备的第一触发操作;
获取用于响应所述第一触发操作的交互对象的动作标识;
基于所述动作标识,控制所述显示设备展示的交互对象进行响应,所述响应中包括与所述交互对象的动作标识对应的动作。
2.根据权利要求1所述的方法,其特征在于,所述获取用于响应所述第一触发操作的交互对象的动作标识,包括:
基于对所述显示设备的触发操作与所述交互对象的动作标识之间的预设映射关系,获取与所述第一触发操作对应的所述动作标识。
3.根据权利要求1所述的方法,其特征在于,所述获取用于响应所述第一触发操作的交互对象的动作标识,包括:
获取用于响应所述第一触发操作的响应数据;
基于对所述显示设备的触发操作的响应数据与所述交互对象的动作标识之间的预设映射关系,获取用于响应所述第一触发操作的响应数据对应的所述动作标识。
4.根据权利要求3所述的方法,其特征在于,所述响应数据包括文本数据,所述预设映射关系包括所述文本数据中的关键文本数据与动作标识之间的预设映射关系。
5.根据权利要求1至4任一所述的方法,其特征在于,所述动作标识包括所述交互对象的肢体动作标识,和/或,所述交互对象在做出动作时的展示位置标识。
6.根据权利要求1至5任一所述的方法,其特征在于,所述接收对所述显示设备的第一触发操作,包括:
接收对所述显示设备的目标应用程序的第一触发操作;或者,
接收对所述显示设备的目标应用程序的目标功能选项的第一触发操作,所述目标功能选项位于所述目标应用程序的显示界面中的预设展示区域。
7.根据权利要求6所述的方法,其特征在于,
在所述动作标识包括所述交互对象的肢体动作标识的情况下,所述动作标识对应的动作包括所述交互对象指向所述显示设备的目标展示区域的肢体动作;
在所述动作标识包括所述交互对象在做出动作时的展示位置标识的情况下,所述动作标识对应的动作包括所述交互对象在目标展示位置上做出的动作;
在所述动作标识包括所述肢体位置标识和所述展示位置标识的情况下,所述动作标识对应的动作包括所述交互对象在目标展示位置上做出指向所述目标展示区域的肢体动作。
8.根据权利要求1至7任一所述的方法,其特征在于,基于所述动作标识,控制所述显示设备展示的交互对象进行响应,所述响应中包括与所述交互对象的动作标识对应的动作,包括:
获取与所述动作标识对应的驱动数据;
利用所述驱动数据,渲染所述交互对象的显示画面,所述显示画面中包括以下画面内容中的任一种:所述交互对象做出与肢体动作标识对应的肢体动作的画面内容;所述交互对象在展示位置标识对应的目标展示位置上做出与所述肢体动作标识对应的肢体动作的画面内容;
控制所述显示设备显示所述交互对象的显示画面。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
获取所述第一触发操作对应的响应数据;
控制所述显示设备播放所述响应数据中的语音数据,和/或,在所述显示设备的界面上展示所述响应数据的提示框。
10.根据权利要求8或9所述的方法,其特征在于,所述控制所述显示设备显示所述交互对象的显示画面,包括:
控制所述显示设备在目标应用程序的显示界面的背景层上显示所述交互对象的显示画面,所述显示界面位于所述背景层之上。
11.一种交互系统,其特征在于,包括:显示设备和服务器;
所述显示设备,用于获取对显示设备的第一触发操作并发送给所述服务器,基于所述服务器的指示控制所述显示设备展示的交互对象进行响应;
所述服务器,用于接收所述第一触发操作,获取用于响应所述第一触发操作的交互对象的动作标识;基于所述动作标识,指示所述显示设备控制所述交互对象进行响应;所述响应中包括与所述交互对象的动作标识对应的动作。
12.一种交互装置,其特征在于,所述装置包括:
接收模块,用于接收对显示设备的第一触发操作;
获取模块,用于获取用于响应所述第一触发操作的交互对象的动作标识;
控制模块,用于基于所述动作标识,控制所述显示设备展示的交互对象进行响应,所述响应中包括与所述交互对象的动作标识对应的动作。
13.根据权利要求12所述的装置,其特征在于,所述获取模块在用于获取用于响应所述第一触发操作的交互对象的动作标识时,包括:
基于对所述显示设备的触发操作与所述交互对象的动作标识之间的预设映射关系,获取与所述第一触发操作对应的所述动作标识。
14.根据权利要求12所述的装置,其特征在于,所述获取模块在用于获取用于响应所述第一触发操作的交互对象的动作标识时,包括:
获取用于响应所述第一触发操作的响应数据;
基于对所述显示设备的触发操作的响应数据与所述交互对象的动作标识之间的预设映射关系,获取用于响应所述第一触发操作的响应数据对应的所述动作标识。
15.根据权利要求14所述的装置,其特征在于,所述响应数据包括文本数据,所述预设映射关系包括所述文本数据中的关键文本数据与动作标识之间的预设映射关系。
16.根据权利要求12至15任一所述的装置,其特征在于,所述动作标识包括所述交互对象的肢体动作标识,和/或,所述交互对象在做出动作时的展示位置标识。
17.根据权利要求12至16任一所述的装置,其特征在于,所述接收模块在用于接收对所述显示设备的第一触发操作时,包括:
接收对所述显示设备的目标应用程序的第一触发操作;或者,
接收对所述显示设备的目标应用程序的目标功能选项的第一触发操作,所述目标功能选项位于所述目标应用程序的显示界面中的预设展示区域。
18.根据权利要求16所述的装置,其特征在于,
在所述动作标识包括所述交互对象的肢体动作标识的情况下,所述动作标识对应的动作包括所述交互对象指向所述显示设备的目标展示区域的肢体动作;
在所述动作标识包括所述交互对象在做出动作时的展示位置标识的情况下,所述动作标识对应的动作包括所述交互对象在目标展示位置上做出的动作;
在所述动作标识包括所述肢体位置标识和所述展示位置标识的情况下,所述动作标识对应的动作包括所述交互对象在目标展示位置上做出指向所述目标展示区域的肢体动作。
19.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至10任一所述的交互方法的步骤。
20.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至10任一所述的交互方法的步骤。
CN202010285478.9A 2020-04-13 2020-04-13 交互方法、装置、交互系统、电子设备及存储介质 Pending CN111488090A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202010285478.9A CN111488090A (zh) 2020-04-13 2020-04-13 交互方法、装置、交互系统、电子设备及存储介质
JP2021556975A JP2022532696A (ja) 2020-04-13 2020-11-19 インタラクション方法、装置、システム、電子デバイス及び記憶媒体
SG11202109187WA SG11202109187WA (en) 2020-04-13 2020-11-19 Interaction methods and apparatuses, interaction systems, electronic devices and storage media
PCT/CN2020/130092 WO2021208432A1 (zh) 2020-04-13 2020-11-19 交互方法、装置、交互系统、电子设备及存储介质
KR1020217026797A KR20210129067A (ko) 2020-04-13 2020-11-19 상호작용 방법, 장치, 상호작용 장치, 전자 장치 및 저장 매체
TW109145339A TW202138971A (zh) 2020-04-13 2020-12-21 互動方法、裝置、互動系統、電子設備及存儲介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010285478.9A CN111488090A (zh) 2020-04-13 2020-04-13 交互方法、装置、交互系统、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111488090A true CN111488090A (zh) 2020-08-04

Family

ID=71791805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010285478.9A Pending CN111488090A (zh) 2020-04-13 2020-04-13 交互方法、装置、交互系统、电子设备及存储介质

Country Status (6)

Country Link
JP (1) JP2022532696A (zh)
KR (1) KR20210129067A (zh)
CN (1) CN111488090A (zh)
SG (1) SG11202109187WA (zh)
TW (1) TW202138971A (zh)
WO (1) WO2021208432A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113138765A (zh) * 2021-05-19 2021-07-20 北京市商汤科技开发有限公司 交互方法、装置、设备以及存储介质
WO2021208432A1 (zh) * 2020-04-13 2021-10-21 北京市商汤科技开发有限公司 交互方法、装置、交互系统、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718133A (zh) * 2014-12-05 2016-06-29 珠海金山办公软件有限公司 一种引导用户操作的方法及装置
US20180061418A1 (en) * 2016-08-31 2018-03-01 Bose Corporation Accessing multiple virtual personal assistants (vpa) from a single device
CN107894833A (zh) * 2017-10-26 2018-04-10 北京光年无限科技有限公司 基于虚拟人的多模态交互处理方法及系统
CN110125932A (zh) * 2019-05-06 2019-08-16 达闼科技(北京)有限公司 一种机器人的对话交互方法、机器人及可读存储介质
CN110868635A (zh) * 2019-12-04 2020-03-06 深圳追一科技有限公司 视频处理方法、装置、电子设备及存储介质
CN110874137A (zh) * 2018-08-31 2020-03-10 阿里巴巴集团控股有限公司 一种交互方法以及装置
CN110968194A (zh) * 2019-11-28 2020-04-07 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质
CN110989900A (zh) * 2019-11-28 2020-04-10 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006235671A (ja) * 2005-02-22 2006-09-07 Norinaga Tsukiji 会話装置及びコンピュータ読み取り可能な記録媒体。
JP2009163631A (ja) * 2008-01-09 2009-07-23 Nippon Telegr & Teleph Corp <Ntt> バーチャルエージェント制御装置及びそのプログラム
CN103116463A (zh) * 2013-01-31 2013-05-22 广东欧珀移动通信有限公司 个人数字助理应用的界面控制方法及移动终端
JP2017143992A (ja) * 2016-02-16 2017-08-24 株式会社トプコン 眼科検査システム及び眼科検査装置
CN107085495B (zh) * 2017-05-23 2020-02-07 厦门黑镜科技有限公司 一种信息展示方法、电子设备及存储介质
CN107294838B (zh) * 2017-05-24 2021-02-09 腾讯科技(深圳)有限公司 社交应用的动画生成方法、装置、系统以及终端
CN108491147A (zh) * 2018-04-16 2018-09-04 青岛海信移动通信技术股份有限公司 一种基于虚拟人物的人机交互方法及移动终端
CN111488090A (zh) * 2020-04-13 2020-08-04 北京市商汤科技开发有限公司 交互方法、装置、交互系统、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718133A (zh) * 2014-12-05 2016-06-29 珠海金山办公软件有限公司 一种引导用户操作的方法及装置
US20180061418A1 (en) * 2016-08-31 2018-03-01 Bose Corporation Accessing multiple virtual personal assistants (vpa) from a single device
CN107894833A (zh) * 2017-10-26 2018-04-10 北京光年无限科技有限公司 基于虚拟人的多模态交互处理方法及系统
CN110874137A (zh) * 2018-08-31 2020-03-10 阿里巴巴集团控股有限公司 一种交互方法以及装置
CN110125932A (zh) * 2019-05-06 2019-08-16 达闼科技(北京)有限公司 一种机器人的对话交互方法、机器人及可读存储介质
CN110968194A (zh) * 2019-11-28 2020-04-07 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质
CN110989900A (zh) * 2019-11-28 2020-04-10 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质
CN110868635A (zh) * 2019-12-04 2020-03-06 深圳追一科技有限公司 视频处理方法、装置、电子设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021208432A1 (zh) * 2020-04-13 2021-10-21 北京市商汤科技开发有限公司 交互方法、装置、交互系统、电子设备及存储介质
CN113138765A (zh) * 2021-05-19 2021-07-20 北京市商汤科技开发有限公司 交互方法、装置、设备以及存储介质
WO2022242380A1 (zh) * 2021-05-19 2022-11-24 上海商汤智能科技有限公司 用于交互的方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
TW202138971A (zh) 2021-10-16
JP2022532696A (ja) 2022-07-19
KR20210129067A (ko) 2021-10-27
SG11202109187WA (en) 2021-11-29
WO2021208432A1 (zh) 2021-10-21

Similar Documents

Publication Publication Date Title
US11366512B2 (en) Systems and methods for operating an input device in an augmented/virtual reality environment
CN108273265A (zh) 虚拟对象的显示方法及装置
JP5844288B2 (ja) 機能拡張装置、機能拡張方法、機能拡張プログラム、及び集積回路
KR101851356B1 (ko) 3d 디지털액터에 의한 지능형 사용자 인터페이스 제공방법
EP4238091A1 (en) Side-by-side character animation from realtime 3d body motion capture
CN110908504B (zh) 一种增强现实博物馆协作交互方法与系统
CN109725724B (zh) 有屏设备的手势控制方法和装置
CN105027175A (zh) 基于各设备之间的距离修改功能
CN111344663B (zh) 渲染装置及渲染方法
CN108563327B (zh) 增强现实方法、装置、存储介质及电子设备
CN113867531A (zh) 交互方法、装置、设备及计算机可读存储介质
CN103677597A (zh) 一种终端设备、同屏显示方法和系统
JP5925347B1 (ja) 情報処理システム及びプログラム、サーバ、端末、並びに媒体
CN111488090A (zh) 交互方法、装置、交互系统、电子设备及存储介质
CN103752010B (zh) 用于控制设备的增强现实覆盖
CN113126875A (zh) 虚拟礼物的交互方法、装置、计算机设备及存储介质
EP3582080A1 (en) Systems and methods for integrating haptics overlay in augmented reality
CN108292193A (zh) 动画数字墨水
CN110604918B (zh) 界面元素调整方法与装置、存储介质、电子设备
CN111973984A (zh) 虚拟场景的坐标控制方法、装置、电子设备及存储介质
CN112965773B (zh) 用于信息显示的方法、装置、设备和存储介质
US11948237B2 (en) System and method for mimicking user handwriting or other user input using an avatar
CN117010955A (zh) 内容项的展示方法、装置、设备以及存储介质
CN115317907A (zh) Ar应用中多用户虚拟交互方法、装置及ar设备
CN114904279A (zh) 数据预处理方法、装置、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40030519

Country of ref document: HK

RJ01 Rejection of invention patent application after publication

Application publication date: 20200804

RJ01 Rejection of invention patent application after publication