CN116939275A - 直播虚拟资源展示方法、装置、电子设备、服务器及介质 - Google Patents
直播虚拟资源展示方法、装置、电子设备、服务器及介质 Download PDFInfo
- Publication number
- CN116939275A CN116939275A CN202310827365.0A CN202310827365A CN116939275A CN 116939275 A CN116939275 A CN 116939275A CN 202310827365 A CN202310827365 A CN 202310827365A CN 116939275 A CN116939275 A CN 116939275A
- Authority
- CN
- China
- Prior art keywords
- avatar
- account
- image
- animation
- virtual resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 45
- 230000004044 response Effects 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000006399 behavior Effects 0.000 claims description 20
- 239000000463 material Substances 0.000 claims description 19
- 230000001815 facial effect Effects 0.000 claims description 14
- 230000000694 effects Effects 0.000 claims description 12
- 230000001960 triggered effect Effects 0.000 claims description 11
- 230000011731 head segmentation Effects 0.000 claims description 7
- 238000012546 transfer Methods 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000013475 authorization Methods 0.000 description 3
- 230000001747 exhibiting effect Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25866—Management of end-user data
- H04N21/25891—Management of end-user data being end-user preferences
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Information Transfer Between Computers (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开关于一种直播虚拟资源展示方法、装置、电子设备、服务器及存储介质。所述方法包括:获取虚拟形象动画作为与直播间关联的虚拟资源;虚拟形象动画为通过人工智能生成式模型对基于直播间账户的账户图像信息进行处理得到的,直播间账户为直播间关联的账户;响应于虚拟资源被转移的触发条件,在直播间中展示虚拟形象动画。本公开通过在响应虚拟资源的转移操作时,可以将虚拟形象动画作为虚拟资源在直播间中展示,并且该虚拟形象动画可以是和直播间中关联的直播间账户的账户图像信息相匹配,从而可以使得直播间中的直播虚拟资源实现个性化的展示,提高展示的直播虚拟资源类型的多样性。
Description
技术领域
本公开涉及直播技术领域,尤其涉及一种直播虚拟资源展示方法、装置、电子设备、服务器及存储介质。
背景技术
随着直播技术的发展,出现了一种在直播间中转移直播虚拟资源的技术,这种直播虚拟资源可以是指某种直播间虚拟礼物。
然而,相关技术中的直播虚拟资源通常是由直播平台预先设置,直播虚拟资源的展示样式较为固定和单一,往往无法根据直播间的不同来实现个性化的展示。
因此,相关技术中的直播虚拟资源的展示类型较为单一。
发明内容
本公开提供一种直播虚拟资源展示方法、装置、电子设备、服务器及存储介质,以至少解决相关技术中展示的直播虚拟资源类型较为单一的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种直播虚拟资源展示方法,包括:
获取虚拟形象动画作为与直播间关联的虚拟资源;所述虚拟形象动画为通过人工智能生成式模型对直播间账户的账户图像信息进行处理得到的,所述直播间账户为所述直播间关联的账户;
响应于所述虚拟资源被转移的触发条件,在所述直播间中展示所述虚拟形象动画。
在一示例性实施例中,所述获取虚拟形象动画作为与直播间关联的虚拟资源之前,还可以包括:响应于在所述直播间中触发的虚拟形象创建操作,展示虚拟形象创建页面;接收在所述虚拟形象创建页面中上传的账户图像信息;所述上传的账户图像信息用于生成所述虚拟形象动画。
在一示例性实施例中,所述虚拟形象创建页面包括:账户图像上传区域;所述接收在所述虚拟形象创建页面中上传的账户图像信息,包括:响应于在所述账户图像上传区域中触发的账户图像上传操作,获取上传的账户图像,并在所述账户图像上传区域中展示;响应于将所述上传的账户图像应用于生成虚拟形象动画的确定操作,将所述上传的账户图像作为所述账户图像信息。
在一示例性实施例中,所述虚拟形象创建页面还包括:虚拟形象选择区域;所述将所述上传的账户图像作为所述账户图像信息之后,还包括:获取与所述账户图像信息相匹配的多个候选虚拟形象图像,并在所述虚拟形象选择区域中展示所述候选虚拟形象图像;响应于针对所述展示的候选虚拟形象图像的选择操作,获取选中的目标虚拟形象图像;所述目标虚拟形象图像用于生成所述账户图像信息相匹配的虚拟形象动画。
在一示例性实施例中,所述虚拟形象创建页面中还包括:默认形象选择控件;所述方法还包括:响应于所述默认形象选择控件的触发操作,展示预先设置的多个默认虚拟形象图像;响应于针对所述展示的默认虚拟形象图像的选择操作,获取选中的默认虚拟形象图像;所述选中的默认虚拟形象图像用于生成与所述选中的默认虚拟形象图像相匹配的虚拟形象动画,作为与所述直播间关联的虚拟资源;响应于所述虚拟资源被转移的触发条件,展示与所述选中的默认虚拟形象图像相匹配的虚拟形象动画。
在一示例性实施例中,所述获取虚拟形象动画作为与直播间关联的虚拟资源,包括:将所述账户图像信息发送至虚拟形象生成服务器;所述虚拟形象生成服务器用于通过人工智能生成式模型对所述账户图像信息进行处理,得到与所述账户图像信息相匹配的虚拟形象动画;接收所述虚拟形象生成服务器返回的所述虚拟形象动画,并将所述虚拟形象动画设置为虚拟资源锁定状态;所述响应于所述虚拟资源被转移的触发条件,在所述直播间中展示所述虚拟形象动画之前,还包括:在所述直播间满足预设虚拟资源解锁条件的情况下,解除所述虚拟形象动画的虚拟资源锁定状态。
在一示例性实施例中,所述在所述直播间满足预设虚拟资源解锁条件的情况下,解除所述虚拟形象动画的虚拟资源锁定状态,包括:在所述直播间的主播账户满足预设账户条件的情况下,解除所述虚拟资源锁定状态;和/或在所述直播间关联的直播间账户行为满足预设账户行为条件的情况下,解除所述虚拟资源锁定状态。
在一示例性实施例中,所述将所述账户图像信息发送至虚拟形象生成服务器,包括:将所述账户图像信息发送至虚拟形象生成服务器;所述虚拟形象生成服务器用于根据所述账户图像信息得到所述直播间账户的账户脸部图像,并将所述账户脸部图像与预先存储的身体动画中提取的身体图像进行拼接,通过所述人工智能生成式模型生成与拼接后的图像对应的风格化图像,作为虚拟形象图像;驱动所述虚拟形象动画,得到所述虚拟形象动画。
根据本公开实施例的第二方面,提供一种直播虚拟资源展示方法,包括:
获取与直播间关联的直播间账户的账户图像信息;
根据所述账户图像信息,通过人工智能生成式模型得到与所述账户图像信息相匹配的虚拟形象图像,并生成与所述虚拟形象图像对应的虚拟形象动画;所述虚拟形象动画用于作为与所述直播间关联的虚拟资源,并在接收到所述虚拟资源被转移的触发条件的情况下,在所述直播间中展示所述虚拟形象动画。
在一示例性实施例中,所述根据所述账户图像信息,通过人工智能生成式模型得到与所述账户图像信息相匹配的虚拟形象图像,包括:获取预先存储的身体动画,并从所述身体动画中提取身体图像;对所述账户图像信息进行头部分割,得到所述直播间账户的账户脸部图像;将所述身体图像与所述账户脸部图像进行拼接,并利用人工智能生成式模型生成与拼接后的图像对应的风格化图像,作为所述虚拟形象图像。
在一示例性实施例中,所述生成与所述虚拟形象图像对应的虚拟形象动画,包括:对所述虚拟形象图像中的脸部图像进行人脸驱动,生成所述虚拟形象图像对应的脸部动画;将所述脸部动画以及所述身体图像对应的身体动画进行组合,得到初始虚拟形象动画;将所述初始虚拟形象动画与预先设置的前景特效素材以及背景特效素材进行组合,得到所述虚拟形象图像对应的虚拟形象动画。
根据本公开实施例的第三方面,提供一种直播虚拟资源展示装置,包括:
虚拟资源获取单元,被配置为执行获取虚拟形象动画作为与直播间关联的虚拟资源;所述虚拟形象动画为通过人工智能生成式模型对直播间账户的账户图像信息进行处理得到的,所述直播间账户为所述直播间关联的账户;
虚拟资源展示单元,被配置为执行响应于所述虚拟资源被转移的触发条件,在所述直播间中展示所述虚拟形象动画。
在一示例性实施例中,直播虚拟资源展示装置,还包括:账户图像上传单元,被配置为执行响应于在所述直播间中触发的虚拟形象创建操作,展示虚拟形象创建页面;接收在所述虚拟形象创建页面中上传的账户图像信息;所述上传的账户图像信息用于生成所述虚拟形象动画。
在一示例性实施例中,所述虚拟形象创建页面包括:账户图像上传区域;账户图像上传单元,进一步被配置为执行响应于在所述账户图像上传区域中触发的账户图像上传操作,获取上传的账户图像,并在所述账户图像上传区域中展示;响应于将所述上传的账户图像应用于生成虚拟形象动画的确定操作,将所述上传的账户图像作为所述账户图像信息。
在一示例性实施例中,所述虚拟形象创建页面还包括:虚拟形象选择区域;账户图像上传单元,还被配置为执行获取与所述账户图像信息相匹配的多个候选虚拟形象图像,并在所述虚拟形象选择区域中展示所述候选虚拟形象图像;响应于针对所述展示的候选虚拟形象图像的选择操作,获取选中的目标虚拟形象图像;所述目标虚拟形象图像用于生成所述账户图像信息相匹配的虚拟形象动画。
在一示例性实施例中,所述虚拟形象创建页面中还包括:默认形象选择控件;直播虚拟资源展示装置,还包括:默认形象选择单元,被配置为执行响应于所述默认形象选择控件的触发操作,展示预先设置的多个默认虚拟形象图像;响应于针对所述展示的默认虚拟形象图像的选择操作,获取选中的默认虚拟形象图像;所述选中的默认虚拟形象图像用于生成与所述选中的默认虚拟形象图像相匹配的虚拟形象动画,作为与所述直播间关联的虚拟资源;响应于所述虚拟资源被转移的触发条件,展示与所述选中的默认虚拟形象图像相匹配的虚拟形象动画。
在一示例性实施例中,虚拟资源获取单元,进一步被配置为将所述账户图像信息发送至虚拟形象生成服务器;所述虚拟形象生成服务器用于通过人工智能生成式模型对所述账户图像信息进行处理,得到与所述账户图像信息相匹配的虚拟形象动画;接收所述虚拟形象生成服务器返回的所述虚拟形象动画,并将所述虚拟形象动画设置为虚拟资源锁定状态;虚拟资源展示单元,还被配置为执行在所述直播间满足预设虚拟资源解锁条件的情况下,解除所述虚拟形象动画的虚拟资源锁定状态。
在一示例性实施例中,虚拟资源展示单元,还被配置为执行在所述直播间的主播账户满足预设账户条件的情况下,解除所述虚拟资源锁定状态;以及被配置为执行在所述直播间关联的直播间账户行为满足预设账户行为条件的情况下,解除所述虚拟资源锁定状态。
在一示例性实施例中,虚拟资源展示单元,进一步被配置为执行将所述账户图像信息发送至虚拟形象生成服务器;所述虚拟形象生成服务器用于根据所述账户图像信息得到所述直播间账户的账户脸部图像,并将所述账户脸部图像与预先存储的身体动画中提取的身体图像进行拼接,通过所述人工智能生成式模型生成与拼接后的图像对应的风格化图像,作为虚拟形象图像;驱动所述虚拟形象动画,得到所述虚拟形象动画。
根据本公开实施例的第四方面,提供一种直播虚拟资源展示装置,包括:
账户图像获取单元,被配置为执行获取与直播间关联的直播间账户的账户图像信息;
虚拟动画生成单元,被配置为执行根据所述账户图像信息,通过人工智能生成式模型得到与所述账户图像信息相匹配的虚拟形象图像,并生成与所述虚拟形象图像对应的虚拟形象动画;所述虚拟形象动画用于作为与所述直播间关联的虚拟资源,并在接收到所述虚拟资源被转移的触发条件的情况下,在所述直播间中展示所述虚拟形象动画。
在一示例性实施例中,虚拟动画生成单元,进一步被配置为执行获取预先存储的身体动画,并从所述身体动画中提取身体图像;对所述账户图像信息进行头部分割,得到所述直播间账户的账户脸部图像;将所述身体图像与所述账户脸部图像进行拼接,并利用人工智能生成式模型生成与拼接后的图像对应的风格化图像,作为所述虚拟形象图像。
在一示例性实施例中,虚拟动画生成单元,进一步被配置为执行对所述虚拟形象图像中的脸部图像进行人脸驱动,生成所述虚拟形象图像对应的脸部动画;将所述脸部动画以及所述身体图像对应的身体动画进行组合,得到初始虚拟形象动画;将所述初始虚拟形象动画与预先设置的前景特效素材以及背景特效素材进行组合,得到所述虚拟形象图像对应的虚拟形象动画。
根据本公开实施例的第五方面,提供一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现如第一方面中任一项实施例所述的直播虚拟资源展示方法。
根据本公开实施例的第六方面,提供一种服务器,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现如第二方面中任一项实施例所述的直播虚拟资源展示方法。
根据本公开实施例的第七方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如第一方面中任一项所述的直播虚拟资源展示方法。
根据本公开实施例的第八方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由服务器的处理器执行时,使得所述服务器能够执行如第二方面中任一项实施例所述的直播虚拟资源展示方法。
根据本公开实施例的第九方面,提供一种计算机程序产品,所述计算机程序产品中包括指令,所述指令被电子设备的处理器执行时,使得所述电子设备能够执行如第一方面中任一项所述的直播虚拟资源展示方法。
根据本公开实施例的第十方面,提供一种计算机程序产品,所述计算机程序产品中包括指令,所述指令被服务器的处理器执行时,使得所述服务器能够执行如第二方面中任一项所述的直播虚拟资源展示方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
通过获取虚拟形象动画作为与直播间关联的虚拟资源;虚拟形象动画为通过人工智能生成式模型对直播间账户的账户图像信息进行处理得到的,直播间账户为直播间关联的账户;响应于虚拟资源被转移的触发条件,在直播间中展示虚拟形象动画。本公开通过在响应虚拟资源被转移的触发条件时,可以将虚拟形象动画作为虚拟资源在直播间中展示,并且该虚拟形象动画可以是和直播间中关联的直播间账户的账户图像信息相匹配,从而可以使得直播间中的直播虚拟资源实现个性化的展示,提高展示的直播虚拟资源类型的多样性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种直播虚拟资源展示方法的应用环境图。
图2是根据一示例性实施例示出的一种直播虚拟资源展示方法的流程图。
图3是根据一示例性实施例示出的获取账户图像信息的流程图。
图4是根据一示例性实施例示出的虚拟形象创建页面的页面图。
图5是根据另一示例性实施例示出的虚拟形象创建页面的页面图。
图6是根据一示例性实施例示出的展示默认虚拟形象的虚拟形象动画的流程图。
图7是根据另一示例性实施例示出的一种直播虚拟资源展示方法的流程图。
图8是根据一示例性实施例示出的生成虚拟形象图像的流程图。
图9是根据一示例性实施例示出的生成虚拟形象动画的流程图。
图10是根据又一示例性实施例示出的一种直播虚拟资源展示方法的流程图。
图11是根据一示例性实施例示出的一种直播虚拟资源展示装置的框图。
图12是根据另一示例性实施例示出的一种直播虚拟资源展示装置的框图。
图13是根据一示例性实施例示出的一种电子设备的框图。
图14是根据一示例性实施例示出的一种服务器的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
还需要说明的是,本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
本公开所提供的直播虚拟资源展示方法,可以应用于如图1所示的应用环境中。其中,终端101通过网络与虚拟形象生成服务器102进行交互。具体来说,终端101可以从虚拟形象生成服务器102中获取虚拟形象动画,作为直播间的虚拟资源,该虚拟形象动画是通过人工智能生成式模型对直播间中关联的直播间账户的账户图像信息进行处理得到,之后如果检测到对虚拟资源的转移操作,终端101则可以对转移操作进行响应,将上述虚拟形象动画作为虚拟资源在直播间中进行展示。其中,终端101可以是但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,虚拟形象生成服务器102可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
图2是根据一示例性实施例示出的一种直播虚拟资源展示方法的流程图,如图2所示,直播虚拟资源展示方法用于终端101中,包括以下步骤。
在步骤S201中,获取虚拟形象动画作为与直播间关联的虚拟资源;虚拟形象动画为通过人工智能生成式模型对直播间账户的账户图像信息进行处理得到的,直播间账户为直播间关联的账户。
其中,直播虚拟资源可以指的是用于在直播间中展示的虚拟资源对象,例如可以是某种直播间礼物,而虚拟形象动画则是由某个虚拟形象生成的动画,该虚拟形象动画可以作为虚拟资源对象,即作为直播间礼物进行展示。并且,该虚拟形象动画可以是某个卡通人物形象,也可以是某个科幻人物形象的动画,并且该动画可以基于与直播间关联的直播间账户的账户图像信息通过人工智能技术生成,例如可以是通过人工智能生成式模型生成。而直播间关联的直播间账户则可以指的是位于该直播间中的账户,可以包括该直播间的主播账户,或者直播间中的观众账户。
具体来说,终端101可以采集直播间中关联的直播间账户的账户图像信息,并得到与该账户图像信息相匹配的虚拟形象动画,该过程可以是终端101基于采集的账户图像信息,利用人工智能生成式模型来得到相应的虚拟形象动画。也可以是终端101将账户图像信息发送至虚拟形象生成服务器102,由虚拟形象生成服务器102根据终端101发送的账户图像信息,利用人工智能生成式模型来得到账户图像信息匹配的虚拟形象动画,并将该虚拟形象动画返回终端101,使得终端101可以得到该虚拟形象动画,并将其作为直播间的虚拟资源。
在步骤S202中,响应虚拟资源被转移的触发条件,在直播间中展示虚拟形象动画。
虚拟资源被转移的触发条件指的是因虚拟资源转移操作而触发的条件,该操作可以是直播间中的观众账户将虚拟资源转移至主播账户从而触发,也可以是观众账户将虚拟资源转移至主播账户关联的其他账户,例如可以是和主播账户进行连麦的其他账户。具体来说,如果检测到虚拟资源被转移的触发条件,终端101则可以将步骤S201中获取的虚拟形象动画进行展示,即在检测到直播间礼物的转移操作时,可以将作为直播间礼物的虚拟形象动画进行展示,通过上述方式,即可使直播间中的直播虚拟资源实现个性化的展示,从而提高展示的直播虚拟资源类型的多样性。
上述直播虚拟资源展示方法中,通过终端101获取虚拟形象动画作为与直播间关联的虚拟资源;虚拟形象动画为通过人工智能生成式模型对直播间账户的账户图像信息进行处理得到的,直播间账户为直播间关联的账户;响应于虚拟资源被转移的触发条件,在直播间中展示虚拟形象动画。本公开通过在响应虚拟资源被转移的触发条件时,可以将虚拟形象动画作为虚拟资源在直播间中展示,并且该虚拟形象动画可以是和直播间中关联的直播间账户的账户图像信息相匹配,从而可以使得直播间中的直播虚拟资源实现个性化的展示,提高展示的直播虚拟资源类型的多样性。
在一示例性实施例中,如图3所示,在步骤S201之前,还可以包括:
在步骤S301中,响应于在直播间中触发的虚拟形象创建操作,展示虚拟形象创建页面。
虚拟形象创建操作指的是用于创建虚拟形象动画的触发操作,该触发操作可以是由终端101所对应的账户,可以是该直播间的主播账户进行触发,而虚拟形象创建页面则是用于创建虚拟形象的展示页面。具体来说,主播账户在需要将虚拟形象动画作为虚拟资源在直播间中展示时,可以在直播间中触发虚拟形象创建操作,例如可以是通过点击直播间中展示的虚拟形象创建控件触发,之后终端101则可以对该触发操作进行响应,从而在直播间中展示虚拟形象创建页面。
步骤S302,接收在虚拟形象创建页面中上传的账户图像信息;上传的账户图像信息用于生成虚拟形象动画。
终端101展示虚拟形象创建页面之后,主播账户还可以在虚拟形象创建页面中,将账户图像信息进行上传,例如可以是将主播账户的脸部图像在虚拟形象创建页面中进行上传,使得终端101可以接收到该账户图像信息,以生成相应的虚拟形象动画,该过程可以是终端101接收到上传的账户图像信息后,生成相匹配的虚拟形象动画,也可以是终端101将上传的账户图像信息发送至虚拟形象生成服务器102,由虚拟形象生成服务器102生成相匹配的虚拟形象动画。
本实施例中,终端101可以将虚拟形象创建页面中上传的账户图像信息,作为最终用于生成虚拟形象动画的账户图像信息,可以使生成的虚拟形象动画可以更贴合账户需求,从而进一步提高虚拟形象动画生成的智能性。
进一步地,虚拟形象创建页面包括:账户图像上传区域;步骤S202可以进一步包括:响应于在账户图像上传区域中触发的账户图像上传操作,获取上传的账户图像,并在账户图像上传区域中展示;响应于将上传的账户图像应用于生成虚拟形象动画的确定操作,将上传的账户图像作为账户图像信息。
账户图像上传区域指的是虚拟形象创建页面汇总用于上传账户图像的页面区域,本实施例中虚拟形象创建页面中包含有专门用于上传账户图像的区域,终端101所对应的账户可以通过在该账户图像上传区域中触发上传账户图像的操作,例如可以是点击账户图像上传区域来进行账户图像上传操作的触发,此时终端101则可以对该上传操作进行响应,从而获取在账户图像上传区域中上传的账户图像,并且将该上传的账户图像进行展示。
之后,如果终端101对应的账户确定将上传的账户图像作为用于生成虚拟形象动画的账户图像,终端101的账户则可以在虚拟形象创建页面中触发将上传的账户图像应用于生成虚拟形象动画的确定操作,该确定操作的触发可以是账户通过点击确认控件进行触发,如图4所示,在展示的虚拟形象创建页面中,可以包含账户图像上传区域,终端101的账户可以通过点击账户图像上传区域,来触发账户图像上传操作,以将账户图像进行上传并在账户图像上传区域中展示,之后终端101的账户还可以通过点击账户图像上传区域中的“确认”按钮,来触发将上传的账户图像应用于生成虚拟形象动画的确定操作,从而终端101可以将账户上传的账户图像作为最终用于生成虚拟形象动画的账户图像信息。
本实施例中,终端101还可以提供账户图像上传区域,由账户在账户图像上传区域中上传账户图像,从而可以简化账户图像上传的步骤,提高账户图像上传的效率。
并且,虚拟形象创建页面还包括:虚拟形象选择区域;将上传的账户图像作为账户图像信息之后,还可以包括:获取与账户图像信息相匹配的多个候选虚拟形象图像,并在虚拟形象选择区域中展示候选虚拟形象图像;响应于针对展示的候选虚拟形象图像的选择操作,获取选中的目标虚拟形象图像;目标虚拟形象图像用于生成账户图像信息相匹配的虚拟形象动画。
而虚拟形象选择区域则是用于终端101的账户进行虚拟形象选择的区域,本实施例中账户图像信息相匹配虚拟形象可以是多个,例如可以是终端101根据账户上传的账户图像生成多个匹配的虚拟形象图像,即生成多个候选虚拟形象图像,也可以是终端101将账户上传的账户图像发送至虚拟形象生成服务器102,由虚拟形象生成服务器102根据上传的账户图像生成多个候选虚拟形象图像,返回至终端101。之后,终端101则可以将上述多个候选虚拟形象图像在虚拟形象创建页面中包含的虚拟形象选择区域中进行展示。
而目标虚拟形象图像则指的是最终用于生成虚拟形象动画所采用的虚拟形象图像,终端101将账户图像信息相匹配的多个候选虚拟形象图像在虚拟形象选择区域中展示之后,终端101对应的账户则可以从多个候选虚拟形象图像中选择一个作为目标虚拟形象图像,终端101则可以将账户选中的候选虚拟形象图像,作为最终用于生成虚拟形象动画的账户图像。如图5所示,虚拟形象创建页面中除了包含有账户图像上传区域以及位于账户图像上传区域下方的“确认”按钮以外,还可以包括有虚拟形象选择区域,在账户点击确认按钮完成账户图像信息的上传之后,终端101则可以在虚拟形象选择区域中将多个候选虚拟形象图像进行展示,由账户进行选择,同时虚拟形象选择区域下方也存在“确认使用”按钮,当账户点击“确认使用”按钮时,终端101则可以将账户最终选中的候选虚拟形象图像,作为用于生成虚拟形象动画的目标虚拟形象图像。
本实施例中,终端101还可以在虚拟形象选择区域中展示账户图像信息相匹配的多个候选虚拟形象图像,并且由账户从中选择用于生成虚拟形象动画的目标虚拟形象图像,从而可以提高选择虚拟形象图像的多样性,进一步提高虚拟形象动画的多样性。
另外,虚拟形象创建页面中还包括:默认形象选择控件;如图6所示,直播虚拟资源展示方法,还可以包括:
在步骤S601中,响应于默认形象选择控件的触发操作,展示预先设置的多个默认虚拟形象图像。
默认形象选择空间指的是用于选择默认虚拟形象的控件,而默认虚拟形象则指的是终端101预先设置的虚拟形象,本实施例中,如果终端101对应的账户不希望利用直播间账户的账户图像信息来生成虚拟形象动画,也可以通过预先设置的默认虚拟形象,来生成虚拟形象动画。具体来说,在虚拟形象创建页面中,还可以设置有默认形象选择控件,当账户点击默认形象选择控件时,则可以对默认形象选择控件进行触发操作,此时终端101可以对该触发操作进行响应,并且将预先设置的多个默认虚拟形象图像进行展示。
在步骤S602中,响应于针对展示的默认虚拟形象图像的选择操作,获取选中的默认虚拟形象图像;选中的默认虚拟形象图像用于生成与选中的默认虚拟形象图像相匹配的虚拟形象动画,作为与直播间关联的虚拟资源。
终端101展示上述默认虚拟形象图像之后,终端101的账户还可以对上述展示的默认虚拟形象图像执行选择操作,从中选择出某一个最终用于生成虚拟形象动画的默认虚拟形象图像,例如终端101可以展示有多个默认虚拟形象图像,分别为虚拟形象A、虚拟形象B以及虚拟形象C,如果账户选中虚拟形象C,那么虚拟形象C则可以用于生成虚拟形象动画。
在步骤S603中,响应于虚拟资源被转移的触发条件,展示与选中的默认虚拟形象图像相匹配的虚拟形象动画。
之后如果检测到虚拟资源被转移的触发条件,终端101则可以将选中的默认虚拟形象图像相匹配的虚拟形象动画,作为虚拟资源在直播间中展示,通过上述方式,可以保证账户在不希望利用直播间账户的账户图像信息来生成虚拟形象动画的情况下,也可以将默认虚拟形象图像相匹配的虚拟形象动画进行展示,从而为账户提供更多类型的直播虚拟资源展示方式。
本实施例中,终端101还可以在虚拟形象创建页面中提供默认形象选择控件,当账户不希望利用直播间账户的账户图像信息来生成虚拟形象动画时,可以通过默认形象选择控件,来选择默认虚拟形象图像用于生成默认虚拟形象图像匹配的虚拟形象动画,通过这种方式可以为账户提供更多类型的直播虚拟资源展示方式。
在一示例性实施例中,步骤S201可以进一步包括:将账户图像信息发送至虚拟形象生成服务器102;虚拟形象生成服务器102用于通过人工智能生成式模型对账户图像信息进行处理,得到与账户图像信息相匹配的虚拟形象动画;接收虚拟形象生成服务器102返回的虚拟形象动画,并将虚拟形象动画设置为虚拟资源锁定状态;步骤S202可以进一步包括:在直播间满足预设虚拟资源解锁条件的情况下,解除虚拟形象动画的虚拟资源锁定状态。
本实施例中,虚拟形象动画可以是由虚拟形象生成服务器102根据采集的账户图像信息通过人工智能生成式模型生成得到,具体来说,终端101可以将采集的账户图像信息发送至用于生成虚拟形成的服务器,即发送至虚拟形象生成服务器102,由虚拟形象生成服务器102基于接收到的账户图像信息,通过人工智能生成式模型生成相匹配的虚拟形象动画。之后虚拟形象生成服务器102还可以将生成的虚拟形象动画,返回至终端101。而终端101在接收到虚拟形象生成服务器102返回的虚拟形象动画后,则会先将虚拟形象动画设置为虚拟资源锁定状态。在虚拟资源锁定状态下的虚拟形象动画是无法被用于在直播间中进行展示,而只有在直播间满足预设虚拟资源解锁条件的情况下,终端101才会解除虚拟形象动画的锁定状态,此时才可以将虚拟形象动画作为虚拟资源在直播间中进行展示。
本实施例中,终端101可以将账户图像信息发送至虚拟形象生成服务器102,由虚拟形象生成服务器102生成虚拟形象动画,从而可以降低终端101用于生成虚拟形象动画的计算资源损耗,同时得到虚拟形象动画后还可以将虚拟形象动画设置为虚拟资源锁定状态,并且只在直播间满足预设虚拟资源解锁条件下,才会对虚拟形象动画的锁定状态进行解除,从而可以确保只在直播间满足预设虚拟资源解锁条件时,虚拟形象动画才可在直播间中作为虚拟资源展示。
进一步地,在直播间满足预设虚拟资源解锁条件的情况下,解除虚拟形象动画的锁定状态,包括:在直播间的主播账户满足预设账户条件的情况下,解除虚拟资源锁定状态;和/或在直播间关联的直播间账户行为满足预设账户行为条件的情况下,解除虚拟资源锁定状态。
本实施例中,评判直播间是否满足预设虚拟资源解锁条件的方式主要是基于以下两种类型的条件判断,可以是基于直播间的主播账户进行判断,或者是基于直播间关联的直播间账户行为进行判断。其中,基于直播间的主播账户判断可以是判断直播间的主播账户是否满足某种预先设定的账户条件,例如可以是直播间的主播账户的账户等级是否满足设定的账户等级,或者关注该主播账户的账户数量是否到达设定的账户数量等等,只有在直播间的主播账户满足设定的账户条件的情况下,终端101才会解除虚拟形象动画的锁定状态。另外,基于直播间关联的直播间账户行为进行判断可以是判断直播间的账户行为是否满足某种预先设定的账户行为条件,例如可以是直播间的评论数量是否达到设定的评论数量,或者直播间中的虚拟资源转移量是否达到设定的资源转移量等等,只有在直播间账户行为满足预设账户行为条件的情况下,终端101才会解除虚拟形象动画的锁定状态。
本实施例中,终端101可以通过判断直播间关联的主播账户是否满足预设账户条件,或者判断直播间关联的直播间账户行为是否满足预设账户行为条件,来确定是否解除虚拟形象动画的锁定状态,通过该方式,可以提高解除虚拟形象动画的锁定状态的方式多样性。
图7是根据另一示例性实施例示出的一种直播虚拟对象展示方法的流程图,如图7所示,直播虚拟对象展示方法用于虚拟形象生成服务器102中,包括以下步骤。
在步骤S701中,获取与直播间关联的直播间账户的账户图像信息。
虚拟形象生成服务器102可以是用于根据账户图像生成虚拟形象动画的服务器,本实施例中,虚拟形象生成服务器102可以接收终端101发送的,与直播间关联的直播间账户的账户图像信息,从而得到用于生成虚拟形象动画的账户图像信息。
在步骤S702中,根据账户图像信息,通过人工智能生成式模型得到与账户图像信息相匹配的虚拟形象图像,并生成与虚拟形象图像对应的虚拟形象动画;虚拟形象动画用于作为与直播间关联的虚拟资源,并在接收到虚拟资源被转移的触发条件的情况下,在直播间中展示虚拟形象动画。
而虚拟形象图像指的是虚拟形象的展示图像,虚拟形象动画则指的是虚拟形象被驱动后生成的动画。本实施例中,虚拟形象生成服务器102在接收到账户图像信息后,则可以先基于账户图像信息,通过人工智能生成式模型得到与账户图像信息相匹配的虚拟形象图像,之后则可以驱动虚拟形象图像进行运动,从而生成虚拟形象图像对应的虚拟形象动画。之后该虚拟形象动画可以由虚拟形象生成服务器102返回终端101,并且在终端101对应的直播间在接收到虚拟资源被转移的触发条件的情况下,终端101可以在直播间中将上述虚拟形象动画作为虚拟资源进行展示。
上述直播虚拟对象展示方法中,通过虚拟形象生成服务器102获取与直播间关联的直播间账户的账户图像信息;根据账户图像信息,通过人工智能生成式模型得到与账户图像信息相匹配的虚拟形象图像,并生成与虚拟形象图像对应的虚拟形象动画;虚拟形象动画用于作为与直播间关联的虚拟资源,并在接收到虚拟资源被转移的触发条件的情况下,在直播间中展示虚拟形象动画。本公开通过虚拟形象生成服务器102可以生成与直播间账户的账户图像信息相匹配的虚拟形象动画,并且在接收到虚拟资源被转移的触发条件的情况下,可以将虚拟形象动画作为虚拟资源在直播间中展示,从而可以使得直播间中的直播虚拟资源实现个性化的展示,从而提高展示的直播虚拟资源类型的多样性。
在一示例性实施例中,如图8所示,步骤S702可以进一步包括:
在步骤S801中,获取预先存储的身体动画,并从身体动画中提取身体图像。
身体动画指的是虚拟形象的身体动画,该身体动画可以预先存储于虚拟形象生成服务器102的数据库中,具体来说,虚拟形象生成服务器102的数据库中可以存储有多种身体动画,在进行虚拟形象图像生成过程中,虚拟形象生成服务器102可以从存储的身体动画中提取出用作虚拟形象身体的身体图像,例如可以是将身体动画的初始帧,作为身体图像。
在步骤S802中,对账户图像信息进行头部分割,得到直播间账户的账户脸部图像。
账户脸部图像则指的是账户图像中的脸部图像,终端101得到的账户图像信息中可以包含有该直播间账户的脸部图像,因此虚拟形象生成服务器102在得到账户图像信息,则可以对对账户图像信息进行头部分割,从而得到该直播间账户的账户脸部图像。
在步骤S803中,将身体图像与账户脸部图像进行拼接,并利用人工智能生成式模型生成与拼接后的图像对应的风格化图像,作为虚拟形象图像。
在步骤S801得到身体图像,并且在步骤S802得到账户脸部图像后,虚拟形象生成服务器102还可以将身体图像与账户脸部图像进行定位组合,来实现身体图像与账户脸部图像的拼接处理,来得到拼接后的图像。之后,虚拟形象生成服务器102还可以对上述拼接后的图像利用人工智能图像生成技术,即人工智能生成式模型对其进行风格化处理,从而生成拼接后的图像对应的风格化图像,例如可以是对拼接后的图像进行卡通风格化处理,从而得到的风格化图像即可作为账户图像信息相匹配的虚拟形象图像。
本实施例中,虚拟形象生成服务器102可以从预先存储的身体动画中提取出身体图像,并且从账户图像信息中分割出脸部图像,并且将身体图像与脸部图像进行拼接以及通过人工智能技术进行风格化处理,来生成虚拟形象图像,通过该方式可以提高虚拟形象图像的生成效率。
进一步地,如图9所示,步骤S702可以进一步包括:
在步骤S901中,对虚拟形象图像中的脸部图像进行人脸驱动,生成虚拟形象图像对应的脸部动画。
脸部动画指的是虚拟形象的脸部动画,虚拟形象生成服务器102得到虚拟形象图像后,则可以对虚拟形象图像中的脸部图像进行人脸驱动处理,例如可以是通过虚拟数字人制作工具,如SadTalker、DID等方式来驱动,使其生成段动态的人脸视频,该人脸视频中嘴部、眼睛等均可有一定幅度的变化,将该人脸视频作为虚拟形象图像对应的脸部动画。
在步骤S902中,将脸部动画以及身体图像对应的身体动画进行组合,得到初始虚拟形象动画;
在步骤S903中,将初始虚拟形象动画与预先设置的前景特效素材以及背景特效素材进行组合,得到虚拟形象图像对应的虚拟形象动画。
而初始虚拟形象动画则指的是未添加特效信息的虚拟形象动画,其中特效信息可以包含前景特效素材,以及背景特效素材,并且上述前景特效素材,以及背景特效素材也可以预先存储于虚拟形象生成服务器102的数据库中。具体来说,虚拟形象生成服务器102可以将步骤S901中得到的脸部动画,以及步骤S801中的身体动画重新进行组合,生成初始虚拟形象动画,并且将初始虚拟形象动画与预先设置的前景特效素材以及背景特效素材进行组合,从而得到虚拟形象图像对应的虚拟形象动画。
本实施例中,虚拟形象生成服务器102可以对虚拟形象图像中的脸部图像进行人脸驱动,得到脸部动画后,将脸部动画与身体动画进行组合,同时将组合后得到的初始虚拟形象动画与前景特效素材以及背景特效素材进行组合,来得到最终的虚拟形象动画,从而可以提高虚拟形象动画的真实性。
在一示例性实施例中,还提供了一种基于人工智能图像生成技术的直播虚拟对象展示方法,该方法可以丰富直播间虚拟对象的类型,提升直播间的个性化程度,如图10所示,该方法可以通过以下步骤实现:
1、获取主播人像的授权以及账户图像信息。其中,账户图像可以是主播授权的人像,也可以是默认的固定图像,主要是根据用户的授权行为来确定。这里的账户图像信息可以是主播的账户图像,也可以替换为其他直播间用户的账户图像。
2、生成人工智能图像的直播虚拟对象,其中该直播虚拟对象与主播ID绑定,可以包括以下过程:
2.1、对获取的账户图像进行头部分割(包括脸部,头发和帽子等区域),将头部分割结果与身体动画(记作a0)的初始帧进行定位和组合,使其构成一张带有真人脸部和身体动画的图像,记作x0。
2.2、通过人工智能生成式(AIGC)技术,该技术可以通过扩散模型、生成式对抗模型等对x0进行处理,生成一张2D的风格化头像图片,记作x1。在处理过程中,需要采取能够保持账户图像ID的风格化技术,可以是通过扩散模型Controlnet、人工智能图像绘画模型Dreambooth等方式实现,使得风格化后的x1仍然能够维持主播的账户图像特征。
2.3、对风格化后的人脸x1使用人脸驱动技术,例如SadTalker、DID等方式实现人脸驱动,使其生成一段动态的,例如嘴部、眼睛等均可有一定幅度的变化的人脸视频,记作v1。
2.4、将动态的人脸视频v1的头部(包括脸部,头发和帽子等区域)与身体动画a0重新进行组合,构成一段头部和身体均为动态的视频,记作v2。
2.5、将视频v2与前景、背景特效素材进行组合,输出一段完整的虚拟形象动画。
3、该虚拟形象动画在直播虚拟对象面板中为未解锁状态,当满足某个条件时,可以解锁虚拟形象动画,例如可以是用户完成特定的任务,或者当前主播等级满足设定等级等等。另外,上述条件可以是直播平台的预先设定的固定条件,也可以是根据直播间的行为数据进行个性化动态生成。
通过本实施例,可以实现利用直播间账户的账户图像生成对应的虚拟形象动画,作为直播虚拟对象进行展示,从而可以丰富直播间虚拟对象的类型,提升直播间的个性化程度。
应该理解的是,虽然本公开的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
可以理解的是,本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见,每个实施例重点说明的是与其他实施例的不同之处,相关之处参见其他方法实施例的说明即可。
图11是根据一示例性实施例示出的一种直播虚拟对象展示装置的框图。参照图11,该装置包括虚拟资源获取单元1101和虚拟资源展示单元1102。
虚拟资源获取单元1101,被配置为获取虚拟形象动画作为与直播间关联的虚拟资源;虚拟形象动画为通过人工智能生成式模型对直播间账户的账户图像信息进行处理得到的,直播间账户为直播间关联的账户;
虚拟资源展示单元1102,被配置为执行响应于虚拟资源被转移的触发条件,在直播间中展示虚拟形象动画。
在一示例性实施例中,直播虚拟对象展示装置,还包括:账户图像上传单元,被配置为执行响应于在直播间中触发的虚拟形象创建操作,展示虚拟形象创建页面;接收在虚拟形象创建页面中上传的账户图像信息;上传的账户图像信息用于生成虚拟形象动画。
在一示例性实施例中,直播虚拟资源展示装置,还包括:账户图像上传单元,被配置为执行响应于在直播间中触发的虚拟形象创建操作,展示虚拟形象创建页面;接收在虚拟形象创建页面中上传的账户图像信息;上传的账户图像信息用于生成虚拟形象动画。
在一示例性实施例中,虚拟形象创建页面包括:账户图像上传区域;账户图像上传单元,进一步被配置为执行响应于在账户图像上传区域中触发的账户图像上传操作,获取上传的账户图像,并在账户图像上传区域中展示;响应于将上传的账户图像应用于生成虚拟形象动画的确定操作,将上传的账户图像作为账户图像信息。
在一示例性实施例中,虚拟形象创建页面还包括:虚拟形象选择区域;账户图像上传单元,还被配置为执行获取与账户图像信息相匹配的多个候选虚拟形象图像,并在虚拟形象选择区域中展示候选虚拟形象图像;响应于针对展示的候选虚拟形象图像的选择操作,获取选中的目标虚拟形象图像;目标虚拟形象图像用于生成账户图像信息相匹配的虚拟形象动画。
在一示例性实施例中,虚拟形象创建页面中还包括:默认形象选择控件;直播虚拟资源展示装置,还包括:默认形象选择单元,被配置为执行响应于默认形象选择控件的触发操作,展示预先设置的多个默认虚拟形象图像;响应于针对展示的默认虚拟形象图像的选择操作,获取选中的默认虚拟形象图像;选中的默认虚拟形象图像用于生成与选中的默认虚拟形象图像相匹配的虚拟形象动画,作为与直播间关联的虚拟资源;响应于虚拟资源被转移的触发条件,展示与选中的默认虚拟形象图像相匹配的虚拟形象动画。
在一示例性实施例中,虚拟资源获取单元1101,进一步被配置为将账户图像信息发送至虚拟形象生成服务器;虚拟形象生成服务器用于通过人工智能生成式模型对账户图像信息进行处理,得到与账户图像信息相匹配的虚拟形象动画;接收虚拟形象生成服务器返回的虚拟形象动画,并将虚拟形象动画设置为虚拟资源锁定状态;虚拟资源展示单元1102,还被配置为执行在直播间满足预设虚拟资源解锁条件的情况下,解除虚拟形象动画的虚拟资源锁定状态。
在一示例性实施例中,虚拟资源展示单元1102,还被配置为执行在直播间的主播账户满足预设账户条件的情况下,解除虚拟资源锁定状态;以及被配置为执行在直播间关联的直播间账户行为满足预设账户行为条件的情况下,解除虚拟资源锁定状态。
在一示例性实施例中,虚拟资源展示单元1102,进一步被配置为执行将所述账户图像信息发送至虚拟形象生成服务器;所述虚拟形象生成服务器用于根据所述账户图像信息得到所述直播间账户的账户脸部图像,并将所述账户脸部图像与预先存储的身体动画中提取的身体图像进行拼接,通过所述人工智能生成式模型生成与拼接后的图像对应的风格化图像,作为虚拟形象图像;驱动所述虚拟形象动画,得到所述虚拟形象动画。
图12是根据另一示例性实施例示出的一种直播虚拟对象展示装置的框图。参照图12,该装置包括账户图像获取单元1201和虚拟动画生成单元1202。
账户图像获取单元1201,被配置为执行获取与直播间关联的直播间账户的账户图像信息;
虚拟动画生成单元1202,被配置为执行根据账户图像信息,,通过人工智能生成式模型得到与账户图像信息相匹配的虚拟形象图像,并生成与虚拟形象图像对应的虚拟形象动画;虚拟形象动画用于作为与直播间关联的虚拟资源,并在接收到虚拟资源被转移的触发条件的情况下,在直播间中展示虚拟形象动画。
在一示例性实施例中,虚拟动画生成单元1202,进一步被配置为执行获取预先存储的身体动画,并从身体动画中提取身体图像;对账户图像信息进行头部分割,得到直播间账户的账户脸部图像;将身体图像与账户脸部图像进行拼接,并利用人工智能生成式模型生成与拼接后的图像对应的风格化图像,作为虚拟形象图像。
在一示例性实施例中,虚拟动画生成单元1202,进一步被配置为执行对虚拟形象图像中的脸部图像进行人脸驱动,生成虚拟形象图像对应的脸部动画;将脸部动画以及身体图像对应的身体动画进行组合,得到初始虚拟形象动画;将初始虚拟形象动画与预先设置的前景特效素材以及背景特效素材进行组合,得到虚拟形象图像对应的虚拟形象动画。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图13是根据一示例性实施例示出的一种用于直播虚拟对象展示的电子设备1300的框图。例如,电子设备1300可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。
参照图13,电子设备1300可以包括以下一个或多个组件:处理组件1302、存储器1304、电源组件1306、多媒体组件1308、音频组件1310、输入/输出(I/O)的接口1312、传感器组件1314以及通信组件1316。
处理组件1302通常控制电子设备1300的整体操作,诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件1302可以包括一个或多个处理器1320来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件1302可以包括一个或多个模块,便于处理组件1302和其他组件之间的交互。例如,处理组件1302可以包括多媒体模块,以方便多媒体组件1308和处理组件1302之间的交互。
存储器1304被配置为存储各种类型的数据以支持在电子设备1300的操作。这些数据的示例包括用于在电子设备1300上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器1304可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘、光盘或石墨烯存储器。
电源组件1306为电子设备1300的各种组件提供电力。电源组件1306可以包括电源管理系统,一个或多个电源,及其他与为电子设备1300生成、管理和分配电力相关联的组件。
多媒体组件1308包括在所述电子设备1300和用户之间的提供输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1308包括前置摄像头和/或后置摄像头。当电子设备1300处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1310被配置为输出和/或输入音频信号。例如,音频组件1310包括麦克风(MIC),当电子设备1300处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1304或经由通信组件1316发送。在一些实施例中,音频组件1310还包括扬声器,用于输出音频信号。
I/O接口1312为处理组件1302和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1314包括一个或多个传感器,用于为电子设备1300提供各个方面的状态评估。例如,传感器组件1314可以检测到电子设备1300的打开/关闭状态,组件的相对定位,例如所述组件为电子设备1300的显示器和小键盘,传感器组件1314还可以检测电子设备1300或电子设备1300组件的位置改变,用户与电子设备1300接触的存在或不存在,设备1300方位或加速/减速和电子设备1300的温度变化。传感器组件1314可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1314还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1314还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
通信组件1316被配置为便于电子设备1300和其他设备之间有线或无线方式的通信。电子设备1300可以接入基于通信标准的无线网络,如WiFi,运营商网络(如2G、3G、4G或5G),或它们的组合。在一个示例性实施例中,通信组件1316经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件1316还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备1300可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的计算机可读存储介质,例如包括指令的存储器1304,上述指令可由电子设备1300的处理器1320执行以完成上述方法。例如,计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供一种计算机程序产品,所述计算机程序产品中包括指令,上述指令可由电子设备1300的处理器1320执行以完成上述方法。
图14是根据一示例性实施例示出的一种用于直播虚拟对象展示的电子设备1400的框图。例如,电子设备1400可以为服务器。参照图14,电子设备1400包括处理组件1420,其进一步包括一个或多个处理器,以及由存储器1422所代表的存储器资源,用于存储可由处理组件1420的执行的指令,例如应用程序。存储器1422中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1420被配置为执行指令,以执行上述方法。
电子设备1400还可以包括:电源组件1424被配置为执行电子设备1400的电源管理,有线或无线网络接口1426被配置为将电子设备1400连接到网络,和输入输出(I/O)接口1428。电子设备1400可以操作基于存储在存储器1422的操作系统,例如Windows Server,Mac OS X,Unix,Linux,FreeBSD或类似。
在示例性实施例中,还提供了一种包括指令的计算机可读存储介质,例如包括指令的存储器1422,上述指令可由电子设备1400的处理器执行以完成上述方法。存储介质可以是计算机可读存储介质,例如,所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供一种计算机程序产品,所述计算机程序产品中包括指令,上述指令可由电子设备1400的处理器执行以完成上述方法。
需要说明的,上述的装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式,具体的实现方式可以参照相关方法实施例的描述,在此不作一一赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (17)
1.一种直播虚拟资源展示方法,其特征在于,包括:
获取虚拟形象动画作为与直播间关联的虚拟资源;所述虚拟形象动画为通过人工智能生成式模型对直播间账户的账户图像信息进行处理得到的,所述直播间账户为所述直播间关联的账户;
响应于所述虚拟资源被转移的触发条件,在所述直播间中展示所述虚拟形象动画。
2.根据权利要求1所述的方法,其特征在于,所述获取虚拟形象动画作为与直播间关联的虚拟资源之前,还可以包括:
响应于在所述直播间中触发的虚拟形象创建操作,展示虚拟形象创建页面;
接收在所述虚拟形象创建页面中上传的账户图像信息;所述上传的账户图像信息用于生成所述虚拟形象动画。
3.根据权利要求2所述的方法,其特征在于,所述虚拟形象创建页面包括:账户图像上传区域;
所述接收在所述虚拟形象创建页面中上传的账户图像信息,包括:
响应于在所述账户图像上传区域中触发的账户图像上传操作,获取上传的账户图像,并在所述账户图像上传区域中展示;
响应于将所述上传的账户图像应用于生成虚拟形象动画的确定操作,将所述上传的账户图像作为所述账户图像信息。
4.根据权利要求3所述的方法,其特征在于,所述虚拟形象创建页面还包括:虚拟形象选择区域;
所述将所述上传的账户图像作为所述账户图像信息之后,还包括:
获取与所述账户图像信息相匹配的多个候选虚拟形象图像,并在所述虚拟形象选择区域中展示所述候选虚拟形象图像;
响应于针对所述展示的候选虚拟形象图像的选择操作,获取选中的目标虚拟形象图像;所述目标虚拟形象图像用于生成所述账户图像信息相匹配的虚拟形象动画。
5.根据权利要求2所述的方法,其特征在于,所述虚拟形象创建页面中还包括:默认形象选择控件;所述方法还包括:
响应于所述默认形象选择控件的触发操作,展示预先设置的多个默认虚拟形象图像;
响应于针对所述展示的默认虚拟形象图像的选择操作,获取选中的默认虚拟形象图像;所述选中的默认虚拟形象图像用于生成与所述选中的默认虚拟形象图像相匹配的虚拟形象动画,作为与所述直播间关联的虚拟资源;
响应于所述虚拟资源被转移的触发条件,展示与所述选中的默认虚拟形象图像相匹配的虚拟形象动画。
6.根据权利要求1所述的方法,其特征在于,所述获取虚拟形象动画作为与直播间关联的虚拟资源,包括:
将所述账户图像信息发送至虚拟形象生成服务器;所述虚拟形象生成服务器用于通过所述人工智能生成式模型对所述账户图像信息进行处理,得到与所述账户图像信息相匹配的虚拟形象动画;
接收所述虚拟形象生成服务器返回的所述虚拟形象动画,并将所述虚拟形象动画设置为虚拟资源锁定状态;
所述响应于所述虚拟资源被转移的触发条件,在所述直播间中展示所述虚拟形象动画之前,还包括:
在所述直播间满足预设虚拟资源解锁条件的情况下,解除所述虚拟形象动画的虚拟资源锁定状态。
7.根据权利要求6所述的方法,其特征在于,所述在所述直播间满足预设虚拟资源解锁条件的情况下,解除所述虚拟形象动画的虚拟资源锁定状态,包括:
在所述直播间的主播账户满足预设账户条件的情况下,解除所述虚拟资源锁定状态;
和/或
在所述直播间关联的直播间账户行为满足预设账户行为条件的情况下,解除所述虚拟资源锁定状态。
8.根据权利要求6所述的方法,其特征在于,所述将所述账户图像信息发送至虚拟形象生成服务器,包括:将所述账户图像信息发送至虚拟形象生成服务器;所述虚拟形象生成服务器用于根据所述账户图像信息得到所述直播间账户的账户脸部图像,并将所述账户脸部图像与预先存储的身体动画中提取的身体图像进行拼接,通过所述人工智能生成式模型生成与拼接后的图像对应的风格化图像,作为虚拟形象图像;驱动所述虚拟形象动画,得到所述虚拟形象动画。
9.一种直播虚拟资源展示方法,其特征在于,包括:
获取与直播间关联的直播间账户的账户图像信息;
根据所述账户图像信息,通过人工智能生成式模型得到与所述账户图像信息相匹配的虚拟形象图像,并生成与所述虚拟形象图像对应的虚拟形象动画;所述虚拟形象动画用于作为与所述直播间关联的虚拟资源,并在接收到所述虚拟资源被转移的触发条件的情况下,在所述直播间中展示所述虚拟形象动画。
10.根据权利要求9所述的方法,其特征在于,所述根据所述账户图像信息,通过人工智能生成式模型得到与所述账户图像信息相匹配的虚拟形象图像,包括:
获取预先存储的身体动画,并从所述身体动画中提取身体图像;
对所述账户图像信息进行头部分割,得到所述直播间账户的账户脸部图像;
将所述身体图像与所述账户脸部图像进行拼接,并利用人工智能生成式模型生成与拼接后的图像对应的风格化图像,作为所述虚拟形象图像。
11.根据权利要求10所述的方法,其特征在于,所述生成与所述虚拟形象图像对应的虚拟形象动画,包括:
对所述虚拟形象图像中的脸部图像进行人脸驱动,生成所述虚拟形象图像对应的脸部动画;
将所述脸部动画以及所述身体图像对应的身体动画进行组合,得到初始虚拟形象动画;
将所述初始虚拟形象动画与预先设置的前景特效素材以及背景特效素材进行组合,得到所述虚拟形象图像对应的虚拟形象动画。
12.一种直播虚拟资源展示装置,其特征在于,包括:
虚拟资源获取单元,被配置为执行获取虚拟形象动画作为与直播间关联的虚拟资源;所述虚拟形象动画为通过人工智能生成式模型对直播间账户的账户图像信息进行处理得到的,所述直播间账户为所述直播间关联的账户;
虚拟资源展示单元,被配置为执行响应于所述虚拟资源被转移的触发条件,在所述直播间中展示所述虚拟形象动画。
13.一种直播虚拟资源展示展示方法,其特征在于,包括:
账户图像获取单元,被配置为执行获取与直播间关联的直播间账户的账户图像信;
虚拟动画生成单元,被配置为执行根据所述账户图像信息,通过人工智能生成式模型得到与所述账户图像信息相匹配的虚拟形象图像,并生成与所述虚拟形象图像对应的虚拟形象动画;所述虚拟形象动画用于作为与所述直播间关联的虚拟资源,并在接收到所述虚拟资源被转移的触发条件的情况下,在所述直播间中展示所述虚拟形象动画。
14.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至8中任一项所述的直播虚拟资源展示方法。
15.一种服务器,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求9至11中任一项所述的直播虚拟资源展示方法。
16.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至8中任一项所述的直播虚拟资源展示方法。
17.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的指令由服务器的处理器执行时,使得所述服务器能够执行如权利要求9至11中任一项所述的直播虚拟资源展示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310827365.0A CN116939275A (zh) | 2023-07-06 | 2023-07-06 | 直播虚拟资源展示方法、装置、电子设备、服务器及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310827365.0A CN116939275A (zh) | 2023-07-06 | 2023-07-06 | 直播虚拟资源展示方法、装置、电子设备、服务器及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116939275A true CN116939275A (zh) | 2023-10-24 |
Family
ID=88391771
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310827365.0A Pending CN116939275A (zh) | 2023-07-06 | 2023-07-06 | 直播虚拟资源展示方法、装置、电子设备、服务器及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116939275A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117135380A (zh) * | 2023-10-26 | 2023-11-28 | 环球数科集团有限公司 | 一种基于aigc技术的文旅产品直播营销系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108510437A (zh) * | 2018-04-04 | 2018-09-07 | 科大讯飞股份有限公司 | 一种虚拟形象生成方法、装置、设备以及可读存储介质 |
CN114025189A (zh) * | 2021-11-02 | 2022-02-08 | 百果园技术(新加坡)有限公司 | 虚拟对象生成方法、装置、设备及存储介质 |
CN115314728A (zh) * | 2022-07-29 | 2022-11-08 | 北京达佳互联信息技术有限公司 | 信息展示方法、系统、装置、电子设备及存储介质 |
WO2023000652A1 (zh) * | 2021-07-20 | 2023-01-26 | 北京达佳互联信息技术有限公司 | 直播互动及虚拟资源配置方法 |
WO2023005189A1 (zh) * | 2021-07-29 | 2023-02-02 | 北京达佳互联信息技术有限公司 | 直播互动方法及虚拟资源投放方法 |
-
2023
- 2023-07-06 CN CN202310827365.0A patent/CN116939275A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108510437A (zh) * | 2018-04-04 | 2018-09-07 | 科大讯飞股份有限公司 | 一种虚拟形象生成方法、装置、设备以及可读存储介质 |
WO2023000652A1 (zh) * | 2021-07-20 | 2023-01-26 | 北京达佳互联信息技术有限公司 | 直播互动及虚拟资源配置方法 |
WO2023005189A1 (zh) * | 2021-07-29 | 2023-02-02 | 北京达佳互联信息技术有限公司 | 直播互动方法及虚拟资源投放方法 |
CN114025189A (zh) * | 2021-11-02 | 2022-02-08 | 百果园技术(新加坡)有限公司 | 虚拟对象生成方法、装置、设备及存储介质 |
CN115314728A (zh) * | 2022-07-29 | 2022-11-08 | 北京达佳互联信息技术有限公司 | 信息展示方法、系统、装置、电子设备及存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117135380A (zh) * | 2023-10-26 | 2023-11-28 | 环球数科集团有限公司 | 一种基于aigc技术的文旅产品直播营销系统 |
CN117135380B (zh) * | 2023-10-26 | 2023-12-26 | 环球数科集团有限公司 | 一种基于aigc技术的文旅产品直播营销系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110662083B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN112153400B (zh) | 直播互动方法、装置、电子设备及存储介质 | |
EP3511864A1 (en) | Method and apparatus for synthesizing virtual and real objects | |
CN106506448B (zh) | 直播显示方法、装置及终端 | |
CN110533585B (zh) | 一种图像换脸的方法、装置、系统、设备和存储介质 | |
CN113490010B (zh) | 基于直播视频的互动方法、装置、设备及存储介质 | |
WO2022188305A1 (zh) | 信息展示方法及装置、电子设备、存储介质及计算机程序 | |
CN112905074B (zh) | 交互界面展示方法、交互界面生成方法、装置及电子设备 | |
US20180035170A1 (en) | Method and device for controlling playing state | |
CN113065008A (zh) | 信息推荐方法、装置、电子设备及存储介质 | |
CN111479158B (zh) | 视频展示方法、装置、电子设备及存储介质 | |
CN114025105B (zh) | 视频处理方法、装置、电子设备、存储介质 | |
CN112261481B (zh) | 互动视频的创建方法、装置、设备及可读存储介质 | |
CN112788359B (zh) | 直播处理方法、装置、电子设备及存储介质 | |
CN111586296B (zh) | 图像拍摄方法、图像拍摄装置及存储介质 | |
CN116939275A (zh) | 直播虚拟资源展示方法、装置、电子设备、服务器及介质 | |
EP3869787A1 (en) | Annotation of captured images with scene environment information for augmented reality processing | |
CN106447747B (zh) | 图像处理方法及装置 | |
CN111612875A (zh) | 一种动态图像生成方法、装置、电子设备及存储介质 | |
CN114268802B (zh) | 虚拟空间展示方法、装置、电子设备及存储介质 | |
CN115914721A (zh) | 直播画面处理方法、装置、电子设备及存储介质 | |
WO2022151687A1 (zh) | 合影图像生成方法、装置、设备、存储介质、计算机程序及产品 | |
CN113989424A (zh) | 三维虚拟形象的生成方法、装置及电子设备 | |
CN115314728A (zh) | 信息展示方法、系统、装置、电子设备及存储介质 | |
WO2021237744A1 (zh) | 拍摄方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |