CN115086693A - 虚拟对象交互方法、装置、电子设备和存储介质 - Google Patents

虚拟对象交互方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN115086693A
CN115086693A CN202210494566.9A CN202210494566A CN115086693A CN 115086693 A CN115086693 A CN 115086693A CN 202210494566 A CN202210494566 A CN 202210494566A CN 115086693 A CN115086693 A CN 115086693A
Authority
CN
China
Prior art keywords
information
virtual object
target
live broadcast
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210494566.9A
Other languages
English (en)
Inventor
刘朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202210494566.9A priority Critical patent/CN115086693A/zh
Publication of CN115086693A publication Critical patent/CN115086693A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开关于一种虚拟对象交互方法、装置、电子设备和存储介质,该方法包括:响应于直播启动指令,展示直播界面,直播界面的第一图层展示有目标直播对象的展示信息,直播界面的第二图层展示有目标虚拟对象的展示信息,在直播过程中,目标虚拟对象可以和目标直播对象进行交互。为对目标直播对象的展示信息进行信息识别,可以得到目标直播对象的第一操作数据。响应于基于第一操作数据触发的交互指令,生成目标虚拟对象对应的第一直播反馈信息,基于第一直播反馈信息,更新目标虚拟对象的展示信息。该方法提高了目标直播对象与目标虚拟对象间交互的真实性,并提高了直播间观众的观看体验。

Description

虚拟对象交互方法、装置、电子设备和存储介质
技术领域
本公开涉及直播技术领域,尤其涉及虚拟对象交互方法、装置、电子设备和存储介质。
背景技术
随着虚拟数字人技术的成熟,针对直播行业内主播的人才缺口,可以采用虚拟数字人代替真人主播来进行直播。
在相关技术中,虚拟主播与直播间观众的交互,以及虚拟主播与真人主播或者直播间工作人员的交互,往往是基于预设的交互信息,并通过循环播放画面的方式进行互动的,使得虚拟对象与直播对象间的交互不够真实,影响了直播间观众的观看体验。
发明内容
本公开提供虚拟对象交互方法、装置、电子设备和存储介质,以至少解决相关技术中虚拟对象与直播对象间的交互不够真实的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种虚拟对象交互方法,该方法包括;
展示直播界面,所述直播界面的第一图层展示有目标直播对象的展示信息,所述直播界面的第二图层展示有目标虚拟对象的展示信息;
响应于基于所述目标直播对象的第一操作数据触发的第一交互指令,生成所述目标虚拟对象对应的第一直播反馈信息,所述第一操作数据为对所述目标直播对象的展示信息进行信息识别得到的;
基于所述第一直播反馈信息,更新所述目标虚拟对象的展示信息。
作为一个可选的实施例,所述第一直播反馈信息包括移动反馈信息,所述基于所述第一直播反馈信息,更新所述目标虚拟对象的展示信息包括:
确定与所述移动反馈信息对应的目标移动轨迹;
基于所述目标移动轨迹,生成所述目标虚拟对象的移动展示信息;所述移动展示信息用于表征所述目标虚拟对象的展示信息在移动过程中的动态变化信息;
将所述第二图层的目标区域中展示的目标虚拟对象的展示信息,更新为所述移动展示信息,所述目标区域为与所述目标移动轨迹对应的区域。
作为一个可选的实施例,所述第一直播反馈信息包括语音反馈信息,所述目标虚拟对象的展示信息包括面部动态展示信息,所述基于所述第一直播反馈信息,更新所述第二图层中展示的目标虚拟对象的展示信息包括:
基于所述语音反馈信息,对所述目标虚拟对象的待播放语音信息进行语音处理,得到目标语音信息;
在播放所述目标语音信息的过程中,生成与所述目标语音信息匹配的目标虚拟对象的面部动态展示信息;
将所述第二图层中展示的目标虚拟对象的展示信息,更新为所述面部动态展示信息。
作为一个可选的实施例,所述第一直播反馈信息包括动作反馈信息,所述基于所述第一直播反馈信息,更新所述第二图层中展示的目标虚拟对象的展示信息包括:
确定与所述动作反馈信息对应的目标动作;
生成与所述目标动作匹配的目标虚拟对象的对象展示信息;
将所述第二图层中展示的目标虚拟对象的展示信息,更新为所述对象展示信息。
作为一个可选的实施例,所述直播界面的第二图层中设置有虚拟对象生成组件,所述虚拟对象生成组件用于进行动态渲染生成所述目标虚拟对象的展示信息。
作为一个可选的实施例,所述目标虚拟对象包括第一虚拟对象,在显示直播界面之前,所述方法还包括:
响应于虚拟对象设置指令,显示虚拟对象设置界面,所述虚拟对象设置界面展示有直播业务对应的业务关联信息;
响应于基于所述业务关联信息触发的设置信息生成指令,生成与所述直播业务对应的虚拟对象设置信息,所述虚拟对象设置信息包括图像设置信息和语音设置信息;
在所述虚拟对象设置界面展示所述图像设置信息对应的第一虚拟对象的图像展示信息;
响应于语音播放指令,播放所述语音设置信息对应的第一虚拟对象的语音信息。
作为一个可选的实施例,所述目标虚拟对象包括第二虚拟对象,所述响应于语音播放指令,播放所述语音设置信息对应的第一虚拟对象的语音信息之后,所述方法包括:
响应于基于所述虚拟对象设置信息触发的设置更新指令,对所述虚拟对象设置信息进行更新,得到对象设置更新信息,所述对象设置更新信息包括图像设置更新信息和语音设置更新信息;
响应于图像更新指令,展示所述图像设置更新信息对应的第二虚拟对象的图像展示信息;
响应于语音更新指令,播放所述语音设置更新信息对应的第二虚拟对象的语音信息。
作为一个可选的实施例,所述方法还包括:
响应于基于目标交互对象的第二操作数据触发的第二交互指令,生成所述目标虚拟对象对应的第二直播反馈信息,所述目标交互对象为进入所述直播界面对应的直播间的对象;
基于所述第二直播反馈信息,更新所述目标虚拟对象的展示信息。
根据本公开实施例的第二方面,提供一种虚拟对象交互装置,所述装置包括;
直播界面展示模块,被配置为执行展示直播界面,所述直播界面的第一图层展示有目标直播对象的展示信息,所述直播界面的第二图层展示有目标虚拟对象的展示信息;
第一反馈信息生成模块,被配置为执行响应于基于所述目标直播对象的第一操作数据触发的第一交互指令,生成所述目标虚拟对象对应的第一直播反馈信息,所述第一操作数据为对所述目标直播对象的展示信息进行信息识别得到的;
展示信息更新模块,被配置为执行基于所述第一直播反馈信息,更新所述目标虚拟对象的展示信息。
作为一个可选的实施例,所述第一直播反馈信息包括移动反馈信息,所述展示信息更新模块包括:
目标移动轨迹确定单元,被配置为执行确定与所述移动反馈信息对应的目标移动轨迹;
移动展示信息生成单元,被配置为执行基于所述目标移动轨迹,生成所述目标虚拟对象的移动展示信息;所述移动展示信息用于表征所述目标虚拟对象的展示信息在移动过程中的动态变化信息;
第一展示信息更新单元,被配置为执行将所述第二图层的目标区域中展示的目标虚拟对象的展示信息,更新为所述移动展示信息,所述目标区域为与所述目标移动轨迹对应的区域。
作为一个可选的实施例,所述第一直播反馈信息包括语音反馈信息,所述展示信息更新模块包括:
目标语音确定单元,被配置为执行基于所述语音反馈信息,对所述目标虚拟对象的待播放语音信息进行语音处理,得到目标语音信息;
面部动态展示信息生成单元,被配置为执行在播放所述目标语音信息的过程中,生成与所述目标语音信息匹配的目标虚拟对象的面部动态展示信息;
第二展示信息更新单元,被配置为执行将所述第二图层中展示的目标虚拟对象的展示信息,更新为所述面部动态展示信息。
作为一个可选的实施例,所述第一直播反馈信息包括动作反馈信息,所述展示信息更新模块包括:
目标动作确定单元,被配置为执行确定与所述动作反馈信息对应的目标动作;
对象展示信息生成单元,被配置为执行生成与所述目标动作匹配的目标虚拟对象的对象展示信息;
第三展示信息更新单元,被配置为执行将所述第二图层中展示的目标虚拟对象的展示信息,更新为所述对象展示信息。
作为一个可选的实施例,所述直播界面的第二图层中设置有虚拟对象生成组件,所述虚拟对象生成组件用于进行动态渲染生成所述目标虚拟对象的展示信息。
作为一个可选的实施例,所述目标虚拟对象包括第一虚拟对象,所述装置还包括:
设置界面显示模块,被配置为执行响应于虚拟对象设置指令,显示虚拟对象设置界面,所述虚拟对象设置界面展示有直播业务对应的业务关联信息;
设置信息生成模块,被配置为执行响应于基于所述业务关联信息触发的设置信息生成指令,生成与所述直播业务对应的虚拟对象设置信息,所述虚拟对象设置信息包括图像设置信息和语音设置信息;
第一图像展示模块,被配置为执行在所述虚拟对象设置界面展示所述图像设置信息对应的第一虚拟对象的图像展示信息;
第一语音播放模块,被配置为执行响应于语音播放指令,播放所述语音设置信息对应的第一虚拟对象的语音信息。
作为一个可选的实施例,所述目标虚拟对象包括第二虚拟对象,所述装置还包括:
设置信息更新模块,被配置为执行响应于基于所述虚拟对象设置信息触发的设置更新指令,对所述虚拟对象设置信息进行更新,得到对象设置更新信息,所述对象设置更新信息包括图像设置更新信息和语音设置更新信息;
第二图像展示模块,被配置为执行响应于图像更新指令,展示所述图像设置更新信息对应的第二虚拟对象的图像展示信息;
第二语音播放模块,被配置为执行响应于语音更新指令,播放所述语音设置更新信息对应的第二虚拟对象的语音信息。
作为一个可选的实施例,所述装置还包括:
第二反馈信息生成模块,被配置为执行响应于基于目标交互对象的第二操作数据触发的第二交互指令,生成所述目标虚拟对象对应的第二直播反馈信息,所述目标交互对象为进入所述直播界面对应的直播间的对象;
第二展示信息更新模块,被配置为执行基于所述第二直播反馈信息,更新所述目标虚拟对象的展示信息。
根据本公开实施例的一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如上述所述的虚拟对象交互方法。
根据本公开实施例的一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如上述所述的虚拟对象交互方法。
根据本公开实施例的一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述所述的虚拟对象交互方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
响应于直播启动指令,展示直播界面,直播界面的第一图层展示有目标直播对象的展示信息,直播界面的第二图层展示有目标虚拟对象的展示信息,在直播过程中,目标虚拟对象可以和目标直播对象进行交互。为对目标直播对象的展示信息进行信息识别,可以得到目标直播对象的第一操作数据。响应于基于第一操作数据触发的交互指令,生成目标虚拟对象对应的第一直播反馈信息,基于第一直播反馈信息,更新目标虚拟对象的展示信息。该方法可以通过实时识别目标直播对象的展示信息,并由此更新目标虚拟对象的展示信息,使得直播界面可以展示目标直播对象与目标虚拟对象间进行交互的情况,从而提高了目标直播对象与目标虚拟对象间交互的真实性,提高了直播间观众的观看体验。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种虚拟对象交互方法的流程图。
图2是根据一示例性实施例示出的一种虚拟对象交互方法中直播界面展示目标直播对象和目标虚拟对象的示意图。
图3是根据一示例性实施例示出的一种虚拟对象交互方法中展示目标虚拟对象的移动展示信息的流程图。
图4是根据一示例性实施例示出的一种虚拟对象交互方法中目标虚拟对象在直播界面上移动的动态画面示意图。
图5是根据一示例性实施例示出的一种虚拟对象交互方法中展示目标虚拟对象的面部动态展示信息的流程图。
图6是根据一示例性实施例示出的一种虚拟对象交互方法中目标虚拟对象说话的动态画面示意图。
图7是根据一示例性实施例示出的一种虚拟对象交互方法中展示目标虚拟对象的对象展示信息的流程图。
图8是根据一示例性实施例示出的一种虚拟对象交互方法中目标虚拟对象做出目标动作的动态画面示意图。
图9是根据一示例性实施例示出的一种虚拟对象交互方法中虚拟对象设置的流程图。
图10是根据一示例性实施例示出的一种虚拟对象交互方法中虚拟对象设置界面的界面示意图。
图11是根据一示例性实施例示出的一种虚拟对象交互方法中对第一虚拟对象进行更新的流程图。
图12是根据一示例性实施例示出的一种虚拟对象交互方法中获取对象设置更新信息后展示对应的第二虚拟对象的示意图。
图13是根据一示例性实施例示出的一种虚拟对象交互方法中目标交互对象与目标虚拟对象进行交互的示意图。
图14是根据一示例性实施例示出的一种虚拟对象交互方法中创建虚拟对象并基于虚拟对象进行直播的流程图。
图15是根据一示例性实施例示出的一种虚拟对象交互装置的框图。
图16是根据一示例性实施例示出的一种客户端电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是,本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
图1是根据一示例性实施例示出的一种虚拟对象交互方法的流程图,如图1所示,该方法用于客户端中,包括以下步骤。
S110.展示直播界面,直播界面的第一图层展示有目标直播对象的展示信息,直播界面的第二图层展示有目标虚拟对象的展示信息;
在一个可选的实施例中,响应于直播启动指令,展示直播界面。请参见图2,如图2所示为直播界面展示目标直播对象和目标虚拟对象的示意图。直播界面中包括两个图层,其中第二图层叠加在第一图层上,第一图层展示有目标直播对象的展示信息,第二图层展示有目标虚拟对象的展示信息。目标直播对象可以为真人主播,目标虚拟对象可以为基于3d模型或者live2d模型显示的虚拟主播,在直播界面中显示真人主播和虚拟主播时,真人主播和虚拟主播间可以进行互动,虚拟主播和直播间观众可以进行互动,真人主播和直播间观众可以进行互动。在直播界面中也可以只在第二图层展示虚拟主播,使得虚拟主播和直播间观众进行互动。
在一个可选的实施例中,直播界面的第二图层中设置有虚拟对象生成组件,虚拟对象生成组件用于进行动态渲染生成目标虚拟对象的展示信息。
在一个可选的实施例中,该虚拟对象生成组件为可移动组件,可以在第二图层中自由移动,第二图层可以以悬浮的方式叠加在第一图层上。该虚拟对象生成组件可以为视频引擎。
后台运行的机器学习算法可以实时地识别直播间中目标直播对象的直播语音信息和直播图像展示信息,并确定对应的第一直播反馈信息,虚拟对象生成组件可以与后台运行的机器学习算法进行实时的通信,从而生成与第一直播反馈信息对应的目标虚拟对象的展示信息。
虚拟对象生成组件可移动且能够与后台运行的机器学习算法进行实时的通信,从而可以实时生成目标虚拟对象的展示信息,提高目标直播对象和目标虚拟对象间交互的及时性。
S120.响应于基于目标直播对象的第一操作数据触发的交互指令,生成目标虚拟对象对应的第一直播反馈信息,第一操作数据为对目标直播对象的展示信息进行信息识别得到的;
在一个可选的实施例中,目标直播对象的展示信息包括直播图像展示信息和直播语音信息,对直播图像展示信息进行图像识别,可以得到直播图像识别结果,并对直播语音信息进行语音识别,可以得到直播语音识别结果。将直播图像识别结果和直播语音识别结果可以作为第一操作数据。可以通过图像识别模型进行图像识别,并通过语音识别模型进行语音识别。
响应于第一操作数据触发的第一交互指令,可以生成目标虚拟对象对应的第一直播反馈信息。第一交互指令可以包括至少一种指令信息和与指令信息关联的关联对象标识,或者只包括至少一种指令信息,指令信息可以包括动作指令信息、表情指令信息、语音指令信息等信息。第一操作数据和第一直播反馈信息间可以不存在预设的对应关系,而是通过交互指令中包括的指令信息和关联对象标识,或者只通过交互指令中包括的指令信息,确定第一操作数据和第一直播反馈信息间的对应关系。
第一交互指令则可以基于第一操作数据中的直播图像识别结果或直播语音识别结果触发。例如,目标直播对象的直播语音信息为“请往右靠一下”,则基于直播语音识别结果触发的交互指令为移动交互指令。移动交互指令中包括通过直播语音识别结果确定的移动指令“向右移动”和关联对象标识“目标虚拟对象”,从而可以响应于移动交互指令,得到“目标虚拟对象向右移动”的第一直播反馈信息。
第一交互指令可以基于第一操作数据中的直播图像识别结果和直播语音识别结果触发。例如目标直播对象的直播图像展示信息为“目标直播对象指了桌面上的物品A”,目标直播对象的直播语音信息为“来说明一下这个吧。”,则基于直播语音识别结果和直播图像识别结果的组合信息触发的交互指令为语音交互指令。语音交互指令中包括通过直播图像识别结果确定的目标物品标识“物品A”,以及通过直播语音识别结果确定的目标语音指令“说明物品A”,从而可以响应于语音交互指令,得到“播放物品A的说明语音”的第一直播反馈信息。
第一操作数据和第一直播反馈信息间也可以存在预设的对应关系,即基于第一操作数据中的预设关键信息,确定目标交互指令,得到目标交互指令对应的反馈信息。将目标交互指令对应的反馈信息作为第一直播反馈信息。例如将待说明的物品的名称和“说明”一词作为预设关键信息,在检测到目标直播对象的直播语音信息包括“物品名称”和“说明”时,可以直接触发目标交互指令对应的第一直播反馈信息“播放物品名称对应的物品的说明语音”。
S130.基于第一直播反馈信息,更新目标虚拟对象的展示信息。
在一个可选的实施例中,基于第一直播反馈信息,可以确定目标虚拟对象的第一更新展示信息,将第二图层中展示的目标虚拟对象的展示信息更新为目标虚拟对象的第一更新展示信息。
作为一个可选的实施例,请参见图3,第一直播反馈信息包括移动反馈信息,基于第一直播反馈信息,更新目标虚拟对象的展示信息包括:
S310.确定与移动反馈信息对应的目标移动轨迹;
S320.基于目标移动轨迹,生成目标虚拟对象的移动展示信息;移动展示信息用于表征目标虚拟对象的展示信息在移动过程中的动态变化信息;
S330.将第二图层的目标区域中展示的目标虚拟对象的展示信息,更新为移动展示信息,目标区域为与目标移动轨迹对应的区域。
作为一个可选的实施例,在交互指令为移动交互指令的情况下,移动交互指令包括移动指令信息和移动对象标识,移动对象标识为虚拟对象生成组件的标识,移动指令信息可以包括移动距离和移动方向等,基于移动指令信息和移动对象标识,得到为移动反馈信息的第一直播反馈信息。
基于移动反馈信息,可以确定目标移动轨迹,目标移动轨迹可以包括移动方向和移动距离。第二图层中的虚拟对象生成组件为可移动组件,因此,可以基于目标移动轨迹,对虚拟对象生成组件执行移动操作。并在对虚拟对象生成组件执行移动操作的过程中,基于虚拟对象生成组件,生成目标虚拟对象的移动展示信息。
如图4所示为目标虚拟对象在直播界面上移动的动态画面示意图。基于目标移动轨迹,可以将目标移动轨迹对应的区域作为目标区域,目标区域即为在移动过程中展示目标虚拟对象的移动展示信息的区域。将第二图层的目标区域中展示的目标虚拟对象的展示信息,更新为移动展示信息,即可以随着虚拟对象生成组件的移动,展示目标虚拟对象的移动展示信息,从而展示出目标虚拟对象在直播界面上移动的动态画面。
例如,移动反馈信息可以确定目标移动轨迹为向右移动X距离,则基于该目标移动轨迹,将虚拟对象生成组件向右移动X距离,并在移动虚拟对象生成组件的过程中,基于虚拟对象生成组件生成目标虚拟对象的移动展示信息,该移动展示信息可以为目标虚拟对象的行走姿态。随着虚拟对象生成组件的移动,展示目标虚拟对象的行走姿态,从而展示出目标虚拟对象在直播界面上向右走并移动了X距离的动态画面。
移动展示信息用于表征目标虚拟对象的展示信息在移动过程中的动态变化信息,例如目标虚拟对象的各种步行动态、跳跃动态等。该移动展示信息可以基于移动速度的变化而变化,若移动速度大于预设速度阈值,则移动展示信息可以显示为目标虚拟对象以大于预设速度阈值的速度移动,若移动速度小于预设速度阈值,则移动展示信息可以显示为目标虚拟对象以小于预设速度阈值的速度移动。
响应于移动交互指令,生成移动反馈信息,并展示基于移动反馈信息,移动虚拟对象生成组件,并在移动过程中展示目标虚拟对象的移动展示信息,使得目标虚拟对象可以做出在屏幕上移动的动态,提高了目标直播对象和目标虚拟对象间互动的真实性,从而提高直播间用户的观看体验。
作为一个可选的实施例,请参见图5,第一直播反馈信息包括语音反馈信息,目标虚拟对象的展示信息包括面部动态展示信息,基于第一直播反馈信息,更新第二图层中展示的目标虚拟对象的展示信息包括:
S510.基于语音反馈信息,对目标虚拟对象的待播放语音信息进行语音处理,得到目标语音信息;
S520.在播放目标语音信息的过程中,生成与目标语音信息匹配的目标虚拟对象的面部动态展示信息;
S530.将第二图层中展示的目标虚拟对象的展示信息,更新为面部动态展示信息。
作为一个可选的实施例,在交互指令为语音交互指令的情况下,语音交互指令包括语音指令信息和面部动态对象标识,面部动态对象标识为目标虚拟对象的嘴部,语音指令信息可以包括语音内容等,基于语音指令信息和面部动态对象标识,得到为语音反馈信息的第一直播反馈信息。
基于语音反馈信息,可以对目标虚拟对象的待播放语音信息进行确定,得到目标语音信息。在播放目标语音信息的过程中,基于虚拟对象生成组件,生成与目标语音信息匹配的目标虚拟对象的面部动态展示信息,该面部动态展示信息可以包括目标虚拟对象的表情信息、口型信息等信息。
如图6所示为目标虚拟对象说话的动态画面示意图。将第二图层中展示的目标虚拟对象的展示信息,更新为面部动态展示信息,即随着目标语音信息的播放,展示面部动态展示信息,使得目标语音信息对应的发音与面部动态展示信息中的口型信息匹配,且目标语音信息对应的语气与目标虚拟对象的表情信息匹配,从而得到目标虚拟对象说话的动态画面。
例如,语音反馈信息可以确定目标语音信息为“这是一个盒子”,则播放该目标语音信息,并在播放目标语音信息的过程中,基于虚拟对象生成组件生成与目标语音信息匹配的目标虚拟对象的面部动态展示信息,该面部动态展示信息可以为目标语音信息对应的口型信息。随着目标语音信息的播放,展示目标语音信息对应的口型信息,从而展示出目标虚拟对象说出“这是一个盒子”的动态画面。
响应于语音交互指令,生成语音反馈信息,并展示基于语音反馈信息确定的目标虚拟对象的面部动态展示信息,使得目标虚拟对象可以配合目标语音信息做出说话的动态,提高了目标直播对象和目标虚拟对象间互动的真实性,从而提高直播间用户的观看体验。
作为一个可选的实施例,请参见图7,第一直播反馈信息包括动作反馈信息,基于第一直播反馈信息,更新第二图层中展示的目标虚拟对象的展示信息包括:
S710.确定与动作反馈信息对应的目标动作;
S720.生成与目标动作匹配的目标虚拟对象的对象展示信息;
S730.将第二图层中展示的目标虚拟对象的展示信息,更新为对象展示信息。
作为一个可选的实施例,在交互指令为动作交互指令的情况下,动作交互指令包括动作指令信息和动作对象标识,动作对象标识为目标虚拟对象中执行动作的部位,动作指令信息可以包括动作信息等,基于动作指令信息和动作对象标识,得到为动作反馈信息的第一直播反馈信息,并确定与动作反馈信息对应的目标动作。
在动作交互指令为基于直播语音识别结果确定的动作交互指令的情况下,目标动作可以为语音识别结果对应的动作,例如,语音识别结果为“转个圈”,则目标动作可以为转圈动作。在动作交互指令为基于直播图像识别结果确定动作交互指令,或者直播图像识别结果与直播语音识别结果确定动作交互指令的情况下,目标动作可以为直播图像识别结果中的动作对应的反馈动作。例如,直播图像识别结果为目标直播对象做出了击掌动作,则目标动作可以为目标虚拟对象回应该击掌动作的动作。
如图8所示为目标虚拟对象做出目标动作的动态画面示意图。基于虚拟对象生成组件,生成与目标动作匹配的目标虚拟对象的对象展示信息。将第二图层中展示的目标虚拟对象的展示信息,更新为对象展示信息,从而展示出目标虚拟对象做出目标动作的动态画面。
在目标动作为直播图像识别结果中的动作对应的反馈动作的情况下,在展示对象展示信息时,可以配合直播图像展示信息中目标直播对象的动作,展示对象展示信息中目标虚拟对象的动作,从而使得目标直播对象和目标虚拟对象进行交互。
例如,动作反馈信息可以确定目标动作为“回应目标直播对象的击掌动作”,则基于虚拟对象生成组件生成与目标动作匹配的目标虚拟对象的对象展示信息,该对象展示信息可以为目标虚拟对象伸出手做出击掌动作。配合目标直播对象对应的直播画面信息中目标直播对象做出的击掌动作,展示对象展示信息中目标虚拟对象做出的击掌动作,从而展示出目标虚拟对象和目标直播对象击掌的动态画面。
响应于动作交互指令,生成动作反馈信息,并展示基于动作反馈信息确定的目标虚拟对象的对象展示信息,可以提高目标直播对象和目标虚拟对象间互动的真实性,从而提高直播间用户的观看体验。
作为一个可选的实施例,请参见图9,目标虚拟对象包括第一虚拟对象,在显示直播界面之前,该方法还包括:
S910.响应于虚拟对象设置指令,显示虚拟对象设置界面,虚拟对象设置界面展示有直播业务对应的业务关联信息;
S920.响应于基于业务关联信息触发的设置信息生成指令,生成与直播业务对应的虚拟对象设置信息,虚拟对象设置信息包括图像设置信息和语音设置信息;
S930.在虚拟对象设置界面展示图像设置信息对应的第一虚拟对象的图像展示信息;
S940.响应于语音播放指令,播放语音设置信息对应的第一虚拟对象的语音信息。
作为一个可选的实施例,在对虚拟对象进行设置时,响应于虚拟对象设置指令,显示虚拟对象设置界面,虚拟对象设置界面展示有直播业务对应的业务关联信息,请参见图10,如图10所示为虚拟对象设置界面的界面示意图,虚拟对象设置界面可以包括管理信息输入区域,图像展示区域,以及语音播放组件。业务关联信息可以包括直播业务信息和直播间关联信息,直播业务信息可以用于确定虚拟对象的交互操作,直播间关联信息可以用于确定虚拟对象的形象。业务关联信息可以为用户输入的知识库信息。在购物直播的场景中,知识库信息可以为店铺信息、商品信息、品牌信息和店铺文化等。
响应于基于业务关联信息触发的设置信息生成指令,可以将业务关联信息输入到直播平台设置的初始虚拟对象生成模型中,对初始虚拟对象生成模型进行训练,从而生成与直播业务对应的目标虚拟对象生成模型,基于目标虚拟对象生成模型,生成与直播业务对应的虚拟对象设置信息。初始虚拟对象生成模型为直播平台中通用的算法模型,基于初始虚拟对象生成模型可以生成通用虚拟对象,通用虚拟对象能够满足基本的智能回复等需求,通用虚拟对象的外貌可以基于初始虚拟对象生成模型中内置的外貌模板生成。在购物直播的场景中,第一虚拟对象可以相当于目标店铺的拟人化形象。初始虚拟对象生成模型可以为虚拟人图像引擎。在直播时可以直接使用第一虚拟对象作为目标虚拟对象。
虚拟对象设置信息包括图像设置信息和语音设置信息,图像设置信息为第一虚拟对象的外貌,图像设置信息可以为在外貌模板的基础上基于业务关联信息调整得到的,语音设置信息也可以为在语音模板的基础上基于业务关联信息调整得到的。例如,如果直播业务为服装购物业务,可以在外貌模板的基础上,基于服装购物业务的业务关联信息进行调整,比如生成一个颜值比较高,穿衣风格比较潮的虚拟对象的形象,作为第一虚拟对象的图像设置信息。如果直播业务面向青年人群,可以在语音模板的基础上调整语音音色和说话方式,生成更符合年轻人审美的语音设置信息。
基于不同的直播业务关联的业务关联信息,可以自动生成定制化的虚拟对象并展示,从而提高了虚拟对象的多样性以及与直播业务的匹配程度。
作为一个可选的实施例,请参见图11,目标虚拟对象包括第二虚拟对象,响应于语音播放指令,播放语音设置信息对应的第一虚拟对象的语音信息之后,该方法包括:
S1110.响应于基于虚拟对象设置信息触发的设置更新指令,对虚拟对象设置信息进行更新,得到对象设置更新信息,对象设置更新信息包括图像设置更新信息和语音设置更新信息;
S1120.响应于图像更新指令,展示图像设置更新信息对应的第二虚拟对象的图像展示信息;
S1130.响应于语音更新指令,播放语音设置更新信息对应的第二虚拟对象的语音信息。
作为一个可选的实施例,用户可以通过文字描述、参数调整、拖拽现有模板或上传预设信息等方式对虚拟对象设置信息进行更新,从而基于虚拟对象设置信息触发设置更新指令。响应于设置更新指令,对虚拟对象设置信息进行更新,可以得到对象设置更新信息,对象设置更新信息包括图像设置更新信息和语音设置更新信息。
在用户只对图像设置信息进行修改的情况下,可以基于图像设置信息触发图像设置更新指令,得到图像设置更新信息,并响应于图像更新指令,展示图像设置更新信息对应的第二虚拟对象的图像展示信息。在用户只对语音设置信息进行修改的情况下,可以基于语音设置信息触发语音设置更新指令,得到语音设置更新信息,并响应于语音更新指令,播放语音设置更新信息对应的第二虚拟对象的语音信息。在直播时可以对第一虚拟对象进行至少一次更新后,得到第二虚拟对象,将第二虚拟对象作为目标虚拟对象。
请参见图12,如图12所示为获取对象设置更新信息后展示对应的第二虚拟对象的示意图,在目标虚拟对象为人形对象的情况下,图像设置信息可以包括发型、发色、脸型、肤色、眼睛、鼻子、嘴巴等图像信息。语音设置信息可以包括音色、惯用语、说话方式等信息。用户可以调整上述信息的参数、上传预设图像或者预设语音、输入对图像更新或语音更新的文字描述信息等方式,调整上述设置信息,从而基于图像设置信息以及语音设置信息触发设置更新指令,得到图像设置更新信息和语音设置更新信息。
使用虚拟对象的用户可以对定制化的虚拟对象可以进行个性化设置,使得生成的虚拟对象与用户需求更加匹配,从而提高了使用虚拟对象的用户体验。
作为一个可选的实施例,该方法还包括:
响应于基于目标交互对象的第二操作数据触发的第二交互指令,生成目标虚拟对象对应的第二直播反馈信息,目标交互对象为进入直播界面对应的直播间的对象;
基于第二直播反馈信息,更新目标虚拟对象的展示信息。
作为一个可选的实施例,目标交互对象为进入直播界面对应的直播间的对象,也就是观看直播的观众或与直播界面对应的直播间进行互动的主播。第二操作数据可以为目标交互对象发送的文本信息,文本信息可以包括评论信息、弹幕信息等。请参见图13,如图13所示为目标交互对象与目标虚拟对象进行交互的示意图。在目标交互对象和目标虚拟对象进行交互时,对目标交互对象发送的文本信息进行文本识别,可以得到文本识别结果。基于文本识别结果可以确定对应的第二交互指令。响应于第二交互指令,可以生成目标虚拟对象对应的第二直播反馈信息。
可以预先建立关键文本信息和第二直播反馈信息间的对应关系,在文本识别结果中存在关键文本信息时,可以生成与识别到的关键文本信息对应的第二交互指令,从而得到第二交互指令对应的第二直播反馈信息。例如将“xx地区包邮吗?”作为关键文本信息,对应该关键文本信息的第二直播反馈信息为“不包邮”,若文本识别结果中存在“xx地区”“包邮吗”,则可以确定第二交互指令对应的第二直播反馈信息为“不包邮”。
基于第二直播反馈信息,可以确定目标虚拟对应的第二展示更新信息,在第二展示更新信息包括语音信息和图像展示信息的情况下,可以获取语音信息,并基于预设的虚拟对象生成组件,获取第二直播反馈信息对应的图像展示信息,配合第二直播反馈信息对应的语音信息的播放,展示第二直播反馈信息对应的图像展示信息,从而基于第二展示更新信息,更新目标虚拟对象的展示信息。
例如在确定第二直播反馈信息为“不包邮”的情况下,获取“不包邮”的语音信息,并获取该语音信息对应的口型图像展示信息,配合“不包邮”语音信息的播放,展示该语音信息对应的口型图像展示信息。
目标虚拟对象在与目标直播对象进行交互之外,还可以与目标交互对象进行交互,也就是与观看直播的观众进行交互,可以代替真人主播进行商品介绍和回答问题,从而降低人力成本,提高直播效率。
在一个可选的实施例中,请参见图14,如图14所示为创建虚拟对象并基于虚拟对象进行直播的流程图。对业务关联信息进行分类,得到业务类别信息,并分别建立与业务类别信息对应的知识库。知识库可以包括直播业务信息和直播间关联信息。例如业务类别信息包括服饰类别、美妆类别、食品类别和数码类别等,则对应建立服饰知识库、美妆知识库、食品知识库和数码知识库。
将不同业务类别信息对应的直播业务信息输入到初始交互生成模型中进行模型训练,得到目标交互生成模型,基于目标交互生成模型,可以在虚拟对象执行直播操作时,确定虚拟对象与目标直播对象间的交互设置信息,以及确定虚拟对象与目标交互对象间的交互设置信息。例如虚拟对象解答目标交互对象在弹幕中的提问,虚拟对象和目标直播对象在直播间中进行对话等。基于目标交互生成模型,可以预设第一直播反馈信息和第一操作数据间的对应关系,并预设第二直播反馈信息和第二操作数据间的对应关系。
在虚拟对象设置界面中,可以响应于基于用户输入的交互检测信息触发的交互操作指令,生成交互检测信息对应的直播反馈检测信息,展示直播反馈检测信息对应的目标虚拟对象的展示信息。
将不同的用户输入的业务关联信息中的直播间关联信息输入到初始虚拟对象生成模型中进行模型训练,可以得到目标虚拟对象生成模型。基于目标虚拟对象生成模型,可以得到与直播间关联信息对应的第一虚拟对象的虚拟对象设置信息。虚拟对象设置信息包括图像设置信息和语音设置信息,其中图像设置信息可以用于展示虚拟对象的外形,语音设置信息可以用于确定虚拟对象在执行语音交互操作时的音色、惯用语、说话方式等。
在虚拟对象设置界面展示图像设置信息对应的第一虚拟对象的图像展示信息,并响应于语音播放指令,播放语音设置信息对应的第一虚拟对象的语音信息。该语音信息可以为预设语音信息,可以基于播放的预设语音信息,展示语音设置信息中的音色。
对虚拟对象设置信息可以进行更新,得到图像设置更新信息和语音设置更新信息。在更新虚拟对象设置信息时,用户可以调整对应的图像设置参数和语音设置参数,基于调整后的图像设置参数和调整后的语音设置参数,得到图像设置更新信息和语音设置更新信息,例如将图像设置更新信息中的眼睛参数调大,发色参数调深等。
用户也可以上传预设图像和预设语音信息,对预设图像进行图像识别并对预设语音信息进行语音识别,得到图像设置更新信息和语音设置更新信息,例如上传几张真人图像或上传几段真人语音,对上传的真人图像和真人语音进行处理后,确定与真人图像对应的图像设置更新信息,以及与真人语音对应的语音设置更新信息。
用户也可以输入对目标图像对应的图像文本描述信息,和目标语音对应的语音文本描述信息,对图像文本描述信息和语音文本描述信息进行文本识别,得到图像设置更新信息和语音设置更新信息。文本描述信息可以包括形态定义信息或不包括形态定义信息。形态定义信息为描述图像中具体部位的形态的名词,或者描述语音中具体音色的名词。
在用户输入的文本描述信息包括示目标图像或目标语音的形态定义信息的情况下,基于文本识别确定的图像设置更新信息和语音设置更新信息可以直接参考对应的预设模板,例如输入“眼型为杏眼”的图像文本描述信息,在对该图像文本描述信息进行识别后,可以将预设模板中的杏眼模板作为图像设置更新信息。
在用户输入的文本描述信息未包括目标图像或目标语音的形态定义信息的情况下,基于文本识别确定的图像设置更新信息和语音设置更新信息可以基于图像设置信息和语音设置信息进行调整,例如输入“眼睛大一些”的图像文本描述信息,在对该图像文本描述信息进行识别后,可以对图像设置信息中眼部的设置信息进行调整,得到图像设置更新信息。
展示图像设置更新信息对应的第二虚拟对象的图像展示信息,并播放语音设置更新信息对应的第二虚拟对象的语音信息。上述对虚拟对象设置信息进行更新的过程可以循环多次执行,得到目标虚拟对象对应的虚拟对象设置信息。
在基于目标虚拟对象进行直播时可以选择自动模式或者人工模式,在人工模式的情况下,可以人工佩戴传感器,控制目标虚拟对象的动作,同时人工发音会转化为目标虚拟对的语音设置信息对应的声音。
在自动直播模式时,可以在第一图层展示目标直播对象的展示信息,并通过直播界面的第二图层中的虚拟对象生成组件,基于目标虚拟对象对应的虚拟对象设置信息中的图像设置信息,在第二图层中渲染出目标虚拟对象的展示信息,从而在第二图层展示目标虚拟对象的展示信息。
对目标直播对象的展示信息进行实时的信息识别,可以得到目标直播对象的第一操作数据。信息识别可以识别目标直播对象的直播图像展示信息和目标直播对象的直播语音信息。响应于基于目标直播对象的第一操作数据触发的第一交互指令,可以生成目标虚拟对象对应的第一直播反馈信息。第一交互指令可以为移动交互指令、语音交互指令、动作交互指令等多种交互指令,每种交互指令可以包括指令信息和与指令信息关联的关联对象标识。
基于第一直播反馈信息,可以确定目标虚拟对象与第一直播反馈信息对应的动态变化,从而基于该动态变化对应的第一更新展示信息,更新当前在第二图层中展示的目标虚拟对象的展示信息。
目标交互对象为进入直播界面对应的直播间的对象,目标交互对象可以为直播间观众。对目标交互对象发送的评论、弹幕等操作信息进行识别,得到第二操作数据。响应于基于目标交互对象的第二操作数据触发的第二交互指令,可以生成目标虚拟对象对应的第二直播反馈信息。基于第二直播反馈信息,可以确定目标虚拟对象与第一直播反馈信息对应的动态变化,从而基于该动态变化对应的第二更新展示信息,更新当前在第二图层中展示的目标虚拟对象的展示信息。
本实施例提供了一种虚拟对象交互方法,该方法包括:响应于直播启动指令,展示直播界面,直播界面的第一图层展示有目标直播对象的展示信息,直播界面的第二图层展示有目标虚拟对象的展示信息,在直播过程中,目标虚拟对象可以和目标直播对象进行交互。为对目标直播对象的展示信息进行信息识别,可以得到目标直播对象的第一操作数据。响应于基于第一操作数据触发的交互指令,生成目标虚拟对象对应的第一直播反馈信息,基于第一直播反馈信息,更新目标虚拟对象的展示信息。该方法可以通过实时识别目标直播对象的展示信息,并由此更新目标虚拟对象的展示信息,使得直播界面可以展示目标直播对象与目标虚拟对象间进行交互的情况,从而提高了目标直播对象与目标虚拟对象间交互的真实性,提高了直播间观众的观看体验。
图15是根据一示例性实施例示出的一种虚拟对象交互装置框图。参照图15,该装置包括:
直播界面展示模块1510,被配置为执行展示直播界面,直播界面的第一图层展示有目标直播对象的展示信息,直播界面的第二图层展示有目标虚拟对象的展示信息;
第一反馈信息生成模块1520,被配置为执行响应于基于目标直播对象的第一操作数据触发的第一交互指令,生成目标虚拟对象对应的第一直播反馈信息,第一操作数据为对目标直播对象的展示信息进行信息识别得到的;
展示信息更新模块1530,被配置为执行基于第一直播反馈信息,更新目标虚拟对象的展示信息。
作为一个可选的实施例,第一直播反馈信息包括移动反馈信息,展示信息更新模块包括:
目标移动轨迹确定单元,被配置为执行确定与移动反馈信息对应的目标移动轨迹;
移动展示信息生成单元,被配置为执行基于目标移动轨迹,生成目标虚拟对象的移动展示信息;移动展示信息用于表征目标虚拟对象的展示信息在移动过程中的动态变化信息;
第一展示信息更新单元,被配置为执行将第二图层的目标区域中展示的目标虚拟对象的展示信息,更新为移动展示信息,目标区域为与目标移动轨迹对应的区域。
作为一个可选的实施例,第一直播反馈信息包括语音反馈信息,展示信息更新模块包括:
目标语音确定单元,被配置为执行基于语音反馈信息,对目标虚拟对象的待播放语音信息进行语音处理,得到目标语音信息;
面部动态展示信息生成单元,被配置为执行在播放目标语音信息的过程中,生成与目标语音信息匹配的目标虚拟对象的面部动态展示信息;
第二展示信息更新单元,被配置为执行将第二图层中展示的目标虚拟对象的展示信息,更新为面部动态展示信息。
作为一个可选的实施例,第一直播反馈信息包括动作反馈信息,展示信息更新模块包括:
目标动作确定单元,被配置为执行确定与动作反馈信息对应的目标动作;
对象展示信息生成单元,被配置为执行生成与目标动作匹配的目标虚拟对象的对象展示信息;
第三展示信息更新单元,被配置为执行将第二图层中展示的目标虚拟对象的展示信息,更新为对象展示信息。
作为一个可选的实施例,直播界面的第二图层中设置有虚拟对象生成组件,虚拟对象生成组件用于进行动态渲染生成目标虚拟对象的展示信息。
作为一个可选的实施例,目标虚拟对象包括第一虚拟对象,装置还包括:
设置界面显示模块,被配置为执行响应于虚拟对象设置指令,显示虚拟对象设置界面,虚拟对象设置界面展示有直播业务对应的业务关联信息;
设置信息生成模块,被配置为执行响应于基于业务关联信息触发的设置信息生成指令,生成与直播业务对应的虚拟对象设置信息,虚拟对象设置信息包括图像设置信息和语音设置信息;
第一图像展示模块,被配置为执行在虚拟对象设置界面展示图像设置信息对应的第一虚拟对象的图像展示信息;
第一语音播放模块,被配置为执行响应于语音播放指令,播放语音设置信息对应的第一虚拟对象的语音信息。
作为一个可选的实施例,目标虚拟对象包括第二虚拟对象,装置还包括:
设置信息更新模块,被配置为执行响应于基于虚拟对象设置信息触发的设置更新指令,对虚拟对象设置信息进行更新,得到对象设置更新信息,对象设置更新信息包括图像设置更新信息和语音设置更新信息;
第二图像展示模块,被配置为执行响应于图像更新指令,展示图像设置更新信息对应的第二虚拟对象的图像展示信息;
第二语音播放模块,被配置为执行响应于语音更新指令,播放语音设置更新信息对应的第二虚拟对象的语音信息。
作为一个可选的实施例,装置还包括:
第二反馈信息生成模块,被配置为执行响应于基于目标交互对象的第二操作数据触发的第二交互指令,生成目标虚拟对象对应的第二直播反馈信息,目标交互对象为进入直播界面对应的直播间的对象;
第二展示信息更新模块,被配置为执行基于第二直播反馈信息,更新目标虚拟对象的展示信息。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图16是根据一示例性实施例示出的一种用于虚拟对象交互的电子设备的框图,该电子设备可以是终端,其内部结构图可以如图16所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种虚拟对象交互方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该电子设备的输入装置可以是显示屏上覆盖的触摸层,也可以是电子设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图16中示出的结构,仅仅是与本公开方案相关的部分结构的框图,并不构成对本公开方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在示例性实施例中,还提供了一种包括指令的计算机可读存储介质,例如包括指令的存储器1604,上述指令可由电子设备1600的处理器1620执行以完成上述方法。可选地,计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现上述所述的虚拟对象交互方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种虚拟对象交互方法,其特征在于,所述方法包括:
展示直播界面,所述直播界面的第一图层展示有目标直播对象的展示信息,所述直播界面的第二图层展示有目标虚拟对象的展示信息;
响应于基于所述目标直播对象的第一操作数据触发的第一交互指令,生成所述目标虚拟对象对应的第一直播反馈信息,所述第一操作数据为对所述目标直播对象的展示信息进行信息识别得到的;
基于所述第一直播反馈信息,更新所述目标虚拟对象的展示信息。
2.根据权利要求1所述虚拟对象交互方法,其特征在于,所述第一直播反馈信息包括移动反馈信息,所述基于所述第一直播反馈信息,更新所述目标虚拟对象的展示信息包括:
确定与所述移动反馈信息对应的目标移动轨迹;
基于所述目标移动轨迹,生成所述目标虚拟对象的移动展示信息;所述移动展示信息用于表征所述目标虚拟对象的展示信息在移动过程中的动态变化信息;
将所述第二图层的目标区域中展示的目标虚拟对象的展示信息,更新为所述移动展示信息,所述目标区域为与所述目标移动轨迹对应的区域。
3.根据权利要求1所述虚拟对象交互方法,其特征在于,所述第一直播反馈信息包括语音反馈信息,所述目标虚拟对象的展示信息包括面部动态展示信息,所述基于所述第一直播反馈信息,更新所述第二图层中展示的目标虚拟对象的展示信息包括:
基于所述语音反馈信息,对所述目标虚拟对象的待播放语音信息进行语音处理,得到目标语音信息;
在播放所述目标语音信息的过程中,生成与所述目标语音信息匹配的目标虚拟对象的面部动态展示信息;
将所述第二图层中展示的目标虚拟对象的展示信息,更新为所述面部动态展示信息。
4.根据权利要求1所述虚拟对象交互方法,其特征在于,所述第一直播反馈信息包括动作反馈信息,所述基于所述第一直播反馈信息,更新所述第二图层中展示的目标虚拟对象的展示信息包括:
确定与所述动作反馈信息对应的目标动作;
生成与所述目标动作匹配的目标虚拟对象的对象展示信息;
将所述第二图层中展示的目标虚拟对象的展示信息,更新为所述对象展示信息。
5.根据权利要求1到4任一项所述虚拟对象交互方法,其特征在于,所述直播界面的第二图层中设置有虚拟对象生成组件,所述虚拟对象生成组件用于进行动态渲染生成所述目标虚拟对象的展示信息。
6.根据权利要求1所述虚拟对象交互方法,其特征在于,所述目标虚拟对象包括第一虚拟对象,在显示直播界面之前,所述方法还包括:
响应于虚拟对象设置指令,显示虚拟对象设置界面,所述虚拟对象设置界面展示有直播业务对应的业务关联信息;
响应于基于所述业务关联信息触发的设置信息生成指令,生成与所述直播业务对应的虚拟对象设置信息,所述虚拟对象设置信息包括图像设置信息和语音设置信息;
在所述虚拟对象设置界面展示所述图像设置信息对应的第一虚拟对象的图像展示信息;
响应于语音播放指令,播放所述语音设置信息对应的第一虚拟对象的语音信息。
7.一种虚拟对象交互装置,其特征在于,所述装置包括:
直播界面展示模块,被配置为执行展示直播界面,所述直播界面的第一图层展示有目标直播对象的展示信息,所述直播界面的第二图层展示有目标虚拟对象的展示信息;
第一反馈信息生成模块,被配置为执行响应于基于所述目标直播对象的第一操作数据触发的第一交互指令,生成所述目标虚拟对象对应的第一直播反馈信息,所述第一操作数据为对所述目标直播对象的展示信息进行信息识别得到的;
展示信息更新模块,被配置为执行基于所述第一直播反馈信息,更新所述目标虚拟对象的展示信息。
8.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至6中任一项所述的虚拟对象交互方法。
9.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至6中任一项所述的虚拟对象交互方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6任一项所述的虚拟对象交互方法。
CN202210494566.9A 2022-05-07 2022-05-07 虚拟对象交互方法、装置、电子设备和存储介质 Pending CN115086693A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210494566.9A CN115086693A (zh) 2022-05-07 2022-05-07 虚拟对象交互方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210494566.9A CN115086693A (zh) 2022-05-07 2022-05-07 虚拟对象交互方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN115086693A true CN115086693A (zh) 2022-09-20

Family

ID=83247968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210494566.9A Pending CN115086693A (zh) 2022-05-07 2022-05-07 虚拟对象交互方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN115086693A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110850983A (zh) * 2019-11-13 2020-02-28 腾讯科技(深圳)有限公司 视频直播中的虚拟对象控制方法、装置和存储介质
CN111541908A (zh) * 2020-02-27 2020-08-14 北京市商汤科技开发有限公司 交互方法、装置、设备以及存储介质
CN112672175A (zh) * 2020-12-11 2021-04-16 北京字跳网络技术有限公司 直播交互方法、装置、电子设备和存储介质
WO2022062896A1 (zh) * 2020-09-22 2022-03-31 北京达佳互联信息技术有限公司 直播互动方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110850983A (zh) * 2019-11-13 2020-02-28 腾讯科技(深圳)有限公司 视频直播中的虚拟对象控制方法、装置和存储介质
CN111541908A (zh) * 2020-02-27 2020-08-14 北京市商汤科技开发有限公司 交互方法、装置、设备以及存储介质
WO2022062896A1 (zh) * 2020-09-22 2022-03-31 北京达佳互联信息技术有限公司 直播互动方法及装置
CN112672175A (zh) * 2020-12-11 2021-04-16 北京字跳网络技术有限公司 直播交互方法、装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
广州虚拟动力: "AI智能直播零门槛攻略:快速生成直播内容", Retrieved from the Internet <URL:https://www.bilibili.com/read/cv13630948/> *

Similar Documents

Publication Publication Date Title
CN111698523B (zh) 文字虚拟礼物的赠送方法、装置、设备及存储介质
CN106878820B (zh) 直播互动方法及装置
CN110850983B (zh) 视频直播中的虚拟对象控制方法、装置和存储介质
KR102053128B1 (ko) 라이브 스트리밍 영상 생성 방법 및 장치, 라이브 서비스 제공 방법 및 장치, 및 라이브 스트리밍 시스템
US20190196576A1 (en) Virtual reality device and a virtual reality server
Le et al. Live speech driven head-and-eye motion generators
KR20200028871A (ko) 실시간 cg 영상 방송 시스템과 연계된 실시간 인터랙티브 광고 시스템 및 그 방법
WO2020138107A1 (ja) 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム
CN110868635B (zh) 视频处理方法、装置、电子设备及存储介质
KR20210110620A (ko) 상호작용 방법, 장치, 전자 장치 및 저장 매체
KR101851356B1 (ko) 3d 디지털액터에 의한 지능형 사용자 인터페이스 제공방법
CN111654715B (zh) 直播的视频处理方法、装置、电子设备及存储介质
CN108833941A (zh) 人机交互处理方法、装置、用户终端、处理服务器及系统
CN107293236A (zh) 自适应不同用户的智能显示装置
Covaci et al. How do we experience crossmodal correspondent mulsemedia content?
CN116437137B (zh) 直播处理方法、装置、电子设备及存储介质
CN112287848A (zh) 基于直播的图像处理方法、装置、电子设备和存储介质
CN113468374A (zh) 目标展示方法、装置、电子设备及存储介质
CN112669422A (zh) 仿真3d数字人生成方法、装置、电子设备及存储介质
JP2023126237A (ja) キャラクタを使ったライブ通信システム
CN116430991A (zh) 基于混合现实的展厅数字人讲解方法、系统及电子设备
CN110958463A (zh) 虚拟礼物展示位置的检测、合成方法、装置和设备
KR20160134883A (ko) 영상컨텐츠 적용 디지털액터의 운용방법
US11430158B2 (en) Intelligent real-time multiple-user augmented reality content management and data analytics system
US20180160077A1 (en) System, Method and Software for Producing Virtual Three Dimensional Avatars that Actively Respond to Audio Signals While Appearing to Project Forward of or Above an Electronic Display

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination