CN115334325A - 基于可编辑三维虚拟形象生成直播视频流的方法和系统 - Google Patents
基于可编辑三维虚拟形象生成直播视频流的方法和系统 Download PDFInfo
- Publication number
- CN115334325A CN115334325A CN202210726617.6A CN202210726617A CN115334325A CN 115334325 A CN115334325 A CN 115334325A CN 202210726617 A CN202210726617 A CN 202210726617A CN 115334325 A CN115334325 A CN 115334325A
- Authority
- CN
- China
- Prior art keywords
- image
- virtual image
- dimensional virtual
- dimensional
- live
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012545 processing Methods 0.000 claims description 62
- 230000008921 facial expression Effects 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 22
- 238000013135 deep learning Methods 0.000 claims description 11
- 230000014509 gene expression Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 6
- 210000003128 head Anatomy 0.000 description 15
- 230000008859 change Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 208000025174 PANDAS Diseases 0.000 description 3
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 3
- 240000004718 Panda Species 0.000 description 3
- 235000016496 Panda oleosa Nutrition 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- XXQCMVYBAALAJK-UHFFFAOYSA-N ethyl n-[4-[benzyl(2-phenylethyl)amino]-2-(2-phenylethyl)-1h-imidazo[4,5-c]pyridin-6-yl]carbamate Chemical compound N=1C=2C(N(CCC=3C=CC=CC=3)CC=3C=CC=CC=3)=NC(NC(=O)OCC)=CC=2NC=1CCC1=CC=CC=C1 XXQCMVYBAALAJK-UHFFFAOYSA-N 0.000 description 2
- MKZGVLPHKXXSSG-UHFFFAOYSA-N ethyl n-[4-[benzyl(2-phenylethyl)amino]-2-[4-(trifluoromethyl)phenyl]-1h-imidazo[4,5-c]pyridin-6-yl]carbamate Chemical compound N=1C(NC(=O)OCC)=CC=2NC(C=3C=CC(=CC=3)C(F)(F)F)=NC=2C=1N(CC=1C=CC=CC=1)CCC1=CC=CC=C1 MKZGVLPHKXXSSG-UHFFFAOYSA-N 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了一种基于可编辑三维虚拟形象生成直播视频流的方法和系统，涉及计算机的技术领域，旨在视频直播中虚拟对象的设置在吸引力、互动性、多样性和适应性方面所存在的技术问题。本发明建立有三维虚拟形象库，通过将三维虚拟形象拟合到直播终端所提供的直播视频图像中，生成以三维虚拟形象遮挡主播在直播视频图像中自身形象的直播视频流，同时根据用户类型的不同而相应地选择不同的三维虚拟形象。依照本发明方法所提供的直播视频流，可改善直播主播整体形象不足的问题，使主播能借助直播内容和拟合的虚拟形象相结合而提高对用户的吸引力，同时因为虚拟形象是参考用户特性而相应选择的，能适应用户的多样性。
Description
技术领域
本公开涉及计算机的技术领域，具体而言，涉及一种基于可编辑三维虚拟形象生成直播视频流的方法和系统。
背景技术
在目前主流的直播过程中，主要是由真实主播的身体、表情和言语，在结合具体的场景生成直播视频图像。然而，这种直播的流量非常依赖于主播的人气。在一些特殊的场景中，如销售、新闻、知识分享类的直播，往往能提供十分好的内容，但是因为主播的整体形象而导致无法获得更多流量。
现有技术中，为辅助主播提高直播过程的视觉效果，主播在直播终端可以进行预设的操作，使用户终端上展示预设的特效动画，服务器在直播视频图像上拟合出预设动画，再推送到用户终端。在直播视频流增设虚拟形象，在一定程度上可增加直播的视觉效果。
但是，由目前的技术也可知，拟合的预设虚拟形象较为固定，不能很好地吸引用户。同时，预设虚拟形象，难以在主播和用户之间建立互动上取得良好的效果。另一方面，用户的喜好复杂，某类预设虚拟形象即使能收到某类用户的偏好，也比较难达到引流的效果。再者，虚拟形象的设置，主要依赖于主播在直播过程中通过弹幕的方式了解用户而相应地操作，无法更为贴近于用户的偏好。
发明内容
有鉴于此，为解决现有技术中视频直播中虚拟对象的设置在吸引力、互动性、多样性和适应性方面所存在的技术问题，本发明提供一种基于可编辑三维虚拟形象生成直播视频流的方法和系统。
在第一方面，为解决上述技术问题，本发明采用以下技术方案：一种基于可编辑三维虚拟形象生成直播视频流的方法，应用于包含直播终端、处理平台和用户终端的系统架构中，其中，该方法包括：处理平台从直播终端中获取主播的直播视频图像，并检测直播视频图像中人物的身体姿态和/或脸部表情数据；在处理平台中建立三维虚拟形象库，处理平台从用户终端中获取决策信息，并根据决策信息从三维虚拟形象库中调用目标虚拟形象；处理平台根据身体姿态和/或脸部表情数据将目标虚拟形象处理为二维虚拟图像，并将二维虚拟图像与直播视频图像处理为拟合视频图像，并将由拟合视频图像构成的直播视频流提供给用户终端。
相比于现有直播领域的方案，本发明的方法建立有三维虚拟形象库，通过将三维虚拟形象拟合到直播终端所提供的直播视频图像中，生成以三维虚拟形象遮挡主播在直播视频图像中自身形象的直播视频流，同时根据用户类型的不同而相应地选择不同的三维虚拟形象。依照本发明方法所提供的直播视频流，可改善直播主播整体形象不足的问题，使主播能借助直播内容和拟合的虚拟形象相结合而提高对用户的吸引力，同时因为虚拟形象是参考用户特性而相应选择的，能适应用户的多样性。
上述方法的可选方案中，所述在处理平台中建立三维虚拟形象库包括：所述三维虚拟形象通过够件成套的形象部件、形象部件的组合模型和形象部件的变形模型；所述的检测直播视频图像中人物的身体姿态和/或脸部表情数据包括：检测人物的预设局部，检测各预设局部之间的坐标参数、检测预设局部的变形参数；所述处理平台根据预设局部的变形参数设置目标虚拟形象的形象部件的变形模型，根据各预设局部之间的坐标参数设置目标虚拟形象的形象部件的组合模型，以将目标虚拟形象处理为二维虚拟图像。
上述方法的可选方案中，所述形象部件的组合模型包括身体姿态组合模型和脸部表情组合模型，所述检测各预设局部之间的坐标参数包括：检测身体局部之间的姿态坐标参数，检测脸部局部之间的表情坐标参数。
上述方法的可选方案中，该方法还包括：处理平台建立有操作与控制指令集，处理平台从用户终端获取用户操作数据，并根据操作与控制指令集确定控制指令，根据控制指令修改目标虚拟形象的身体姿态和/或脸部表情。
上述方法的可选方案中，所述用户终端设置有操作指令，所述处理平台预设有三维虚拟形象的驱动指令，并建立有操作指令与驱动指令的映射集合，所述的根据控制指令修改目标虚拟形象的身体姿态和/或脸部表情包括：所述三维虚拟形象由若干形象部件组成，当未响应于所述驱动指令，所述形象部件按照人物的身体姿态和/或脸部表情相组合成目标虚拟形象，当响应于所述驱动指令，至少部分包含在驱动指令中的形象部件按照驱动指令独立设置身体姿态和/或脸部表情，并与其余根据直播视频图像设置的形象部件进行组合成目标虚拟形象。
相比于现有直播领域的方案，本发明的方法是基于三维虚拟形象对直播视频图像的拟合，还能够根据用户的操作相应地驱动目标虚拟形象的动作变化，展示出主播未曾作出的身体姿态或脸部表情变化，实现直播过程互动性的增强，降低主播关注众多弹幕和不同用户反馈的强度，使其更能专注于提供主要直播内容。
上述方法的可选方案中，所述的处理平台从用户终端中获取决策信息包括：建立用户信息和三维虚拟形象的深度学习系统，处理平台实时获取用户信息，并通过深度学习系统得出三维虚拟形象选择的决策信息。
上述方法的可选方案中，所述的在处理平台中建立三维虚拟形象库包括：根据用户终端的指令修改已建立的三维虚拟形象，并将已修改的三维虚拟形象保存三维虚拟形象库。
在第二方面，为解决上述技术问题，本发明采用以下技术方案：一种基于可编辑三维虚拟对象生成直播视频流的系统，其中，该系统包括：视频直播模块，用于获取主播的直播视频图像，并相用户发送拟合视频图像；三维虚拟形象库，用于以预设结构存储三维虚拟形象以供调用；虚拟对象设置模块，用于检测直播视频图像中人物的身体姿态和/或脸部表情数据，根据决策信息从三维虚拟形象库中调佣目标虚拟形象，根据身体姿态和/或脸部表情数据将目标虚拟形象处理为二维虚拟图像，将二维虚拟图像与直播视频图像处理为拟合视频图像。
相比于现有直播领域的方案，本发明的系统可设置在处理平台上，能够根据用于类型的差异相应从三维虚拟形象库中选取匹配的三维虚拟形象，并根据直播视频图像所检测的身体姿态或脸部表情数据将三维虚拟形象拟合为直播视频流，实现辅助主播提高直播的吸引力、互动性、多样性和适应性。
上述系统的可选方案中，该系统还包括：形象控制指令库，用于以预设映射关系存储操作指令和控制指令；直播管理模块，用于检测用户操作数据并检测是否具有所述操作指令，并根据操作指令在形象控制指令库调用控制指令；形象修改模块，用于控制指令修改已根据据身体姿态和/或脸部表情数据处理的目标虚拟形象。
上述系统的可选方案中，该系统还包括：决策模块，用于实时获取用户信息并通过深度学习系统得出三维虚拟形象选择的决策信息；用户形象设置模块，用于根据用户终端的指令修改已建立的三维虚拟形象，并将已修改的三维虚拟形象保存三维虚拟形象库。
在第三方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面中的实施方式中的步骤。
在第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面中的实施方式中的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
图1展示本发明实施例所提供的一种基于可编辑三维虚拟形象生成直播视频流的方法的实施系统架构图。
图2展示本发明实施例所提供的一种基于可编辑三维虚拟形象生成直播视频流的方法的第一流程图。
图3展示本发明实施例所提供的生成直播视频流第一变化过程示意图。
图4展示本发明实施例所提供的一种基于可编辑三维虚拟形象生成直播视频流的方法的第二流程图。
图5展示本发明实施例所提供的生成直播视频流第二变化过程示意图。
图6展示本发明实施例所提供的一种基于可编辑三维虚拟形象生成直播视频流的系统的功能结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。另外，本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
如图1和2所示，本申请的实施例提供了一种基于可编辑三维虚拟形象生成直播视频流的方法。图1展示了本实施例的方法所应用的系统架构。该系统架构包含直播终端20、处理平台10和用户终端30。其中，处理平台10配置在服务器中，至少可从一直播终端20种获取直播视频图像，将该直播视频图像处理为直播视频流后提供给至少两个用户终端30。示意性地，两用户终端30分别为A用户类型的用户终端30和B用户类型的终端。图2展示了本实施例的方法，该方法包括步骤：
步骤S101、处理平台10从直播终端20中获取主播的直播视频图像；
步骤S102、检测直播视频图像中人物的身体姿态和/或脸部表情数据；
步骤S103、在处理平台10中建立三维虚拟形象库；
步骤S104、处理平台10从用户终端30中获取用户数据，根据用户数据作出决策信息；
步骤S105、根据决策信息从三维虚拟形象库中调用目标虚拟形象；
步骤S106、处理平台10根据身体姿态和/或脸部表情数据将目标虚拟形象处理为二维虚拟图像，并将二维虚拟图像与直播视频图像处理为拟合视频图像；
步骤S107、将由拟合视频图像构成的直播视频流提供给用户终端30。
本实施例步骤S101详细来说，在所建立三维虚拟形象库中，每个三维虚拟形象是由若干成套的形象部件、形象部件的组合模型以及形象部件的变形模型。形象部件可以分别是头部形象、眼睛形象、嘴巴形象与头发形象。头部形象、眼睛形象、嘴巴形象与头发形象可组合的一套能形成完整头部的三维虚拟形象一。此外，形象部件还可以分别是头部形象、躯干形象、手部形象和躯干形象，以此组合形成三维虚拟形象二。以三维虚拟形象一为例，三维虚拟形象库除各个形象部件外，还包括组合模型，组合模型通过所构建的坐标和坐标函数可将头部形象、眼睛形象、嘴巴形象与头发形象构建出完整的头部虚拟形象。同时，三维虚拟形象库还包括变形模型，变形模型可根据触发函数改变如眼睛形象或嘴巴形象的形态，使得三维虚拟形状在时序上产生变化。
本实施例相应地，步骤S102详细来说，处理平台10在获取主播的直播视频图像后，将对主播按照预设的函数进行识别，并获得主播的预设局部。相应地，处理平台10还将根据预设局部可进一步检测各预设局部之间的坐标参数，可解析出主播的身体姿态特征或脸部表情特征。该坐标参数相对应于三维虚拟形象的组合模型，或者通过函数转换可适应于各形象部件的组合模型，使得三维虚拟形象能渲染出富有美感的形象。相应地，处理平台10还将检测预设局部的变形参数。具体是，检测连续两帧直播视频图像在预设局部处之间的函数关系是否满足特定条件。举例说明，比较两帧之间主播眼睛局部的数据差异，得出眼睛的变形参数。或者，一帧直播视频图像在进函数运算后的参数。举例说明，如主播手部局部的区域参数增加，可判断出手部的靠近动作。可以理解，检测身体局部之间的姿态坐标参数可实现主播整体姿态形象的改变，而检测脸部局部之间的表情坐标参数可实现主播脸部表型的改变。
本实施例相应地，经过步骤S102的检测，步骤S106具体可以是，将坐标参数和变形参数输入到组合模型和变形模型，使得处理平台10按照直播视频图像中的主播形象生成三维虚拟形象，继而将所生成的三维虚拟形象处理为二维虚拟图像，并与直播视频图像进行拟合处理，从而生成拟合视频图像。具体地，拟合的过程中，处理平台10以适合的分辨率将已经过数据调节的三维虚拟形象处理为二维虚拟图像，从而合适的方式遮挡直播视频图像的原主播形象。可以理解，处理平台10可对拟合视频图像进行进一步的处理，以使直播视频流满足用户的需要。本实施例的方法，一个优选的可能，还包括步骤：根据检测的身体姿态和/或脸部表型数据，对直播视频图像中的主播形象进行虚化处理。
为达到本申请技术目的，本实施例中步骤S104和步骤S105详细说来，处理平台10可根据决策信息而相应地确定目标虚拟形象，并将目标虚拟形象提供给步骤S106，而生成相应的直播视频流。举例说明，决策信息可将某个用户终端30，或者某类的用户终端30，与三维虚拟形象库中的虚拟形象进行匹配，并选出目标虚拟形象，继而将目标虚拟形象与直播视频图像进行处理，并将所获得的直播视频流提供给该用户终端30，或者该类用户终端30。例如，A类的用户终端30可获得第一虚拟形象作为目标虚拟形象的直播视频流，而B类的用户终端30可获得第二虚拟形象作为目标虚拟形象的直播视频流。步骤S104中，处理平台10可根据用户数据，按照用户分类模型，得出决策信息，从而相应地确定目标虚拟形象；处理平台10也可根据用户终端30所发送的决策信息，确定相应的目标虚拟形象。
如图3所示，直播终端20向处理平台10提供了图像101，图像101中有一女性主播正在以双手展开的姿态，以及微笑的表情，提供着直播的内容。处理平台10检测图像101并得到图像102，图像102中主播形象被划分为头部局部、躯体局部、左手部局部和右手局部，并相应检测身体姿态数据。同时，图像102中主播形象被划分为头部局部、左眼睛局部、右眼睛局部、嘴巴局部和耳朵局部，并相应检测脸部表情数据。图像103a为经过处理平台10处理，并由图像101获得的拟合视频图像。图像103a中，具有图像101的背景，以及熊猫虚拟形象。该熊猫虚拟形象是由头部形象、左手形象、右手形象和躯体形象按照图像101的各局部进行组合和变形，可做出与主播一致的身体姿态。同时，该熊猫虚拟形象是由左眼睛形象、右眼睛形象和嘴巴形象按照图像101的各局部进行组合和变形，可做出与主播一致的脸部表情。由图像103a所构成的直播视频流被推送到A类用户。熊虚拟形象是由处理平台10根据A类用户的年龄、性别、直播观看习惯等数据所做的决策而确定的。图像103b也经过处理平台10处理，并由图像101获得的拟合视频图像。图像103b中，具有图像101的背景，图像101的主播身体形象，以及少女头像虚拟形象。该少女头像虚拟形象是由左眼睛形象、右眼睛形象和嘴巴形象按照图像101的各局部进行组合和变形，可做出与主播一致的脸部表情。由图像103b所构成的直播视频流被推送到B类用户。少女头像虚拟形象由处理平台10根据B类用户的年龄、性别、直播观看习惯等数据所做的决策而确定的。
由此可见，本申请实施例中，主播可实现借助直播内容和拟合的虚拟形象相结合而提高对用户的吸引力，同时因为虚拟形象是参考用户特性而相应选择的，能适应用户的多样性。
本申请的一个实施例中，为优化目标虚拟形象与用户之间匹配机制，本申请还包括步骤：建立用户信息和三维虚拟形象的深度学习系统，处理平台10实时获取用户信息，并通过深度学习系统得出三维虚拟形象选择的决策信息。具体地，深度学习系统基于众多用户的数据和用户在三维虚拟形象库中各形象的喜好评价数据。已训练的深度学习系统，可实施的获取新的用户，并根据其数据相应地生成决策信息，即预测该新的用户所适合匹配的目标虚拟形象。
本申请的一个实施例中，为优化三维虚拟形象对用户的吸引力，本申请还包括步骤：根据用户终端30的指令修改已建立的三维虚拟形象，并将已修改的三维虚拟形象保存三维虚拟形象库。具体来说，用户终端30中构建三维虚拟形象的设置模块，用户可在设置模块中对其目标虚拟形象按照预设的框架内进行修改，修改后的目标虚拟形象将被保存到三维虚拟形象库当中。
如图4所示，本实施例的方法在上述基础上还包括步骤：
步骤S201，在处理平台10建立有操作与控制指令集；
步骤S202，用户终端30向处理平台10发送操作数据；
步骤S203，处理平台10根据操作与控制指令集确定控制指令，根据控制指令修改目标虚拟形象的身体姿态和/或脸部表情。
本实施例步骤S201至步骤S203详细来说，操作与控制指令集包括用户的操作数据和三维虚拟形象的驱动指令。其中，操作数据和驱动指令被构建为一一对应的映射关系。处理平台10在获得来自B类用户的客户终端的操作数据时，将查询驱动指令并相应地驱动B类用户的目标虚拟形象。具体地，每个用户终端30的直播界面预设有操作界面，部分操作将触发预设的操作数据，并将操作数据发送至处理平台10。驱动指令是预设于操作平台的，是基于三维虚拟形象的特点对形象局部进行变形，以设置身体姿态和/或脸部表情。
如图5所示，直播终端20向处理平台10提供了图像101，图像101中有一女性主播正在以双手展开的姿态，以及微笑且双眼睁大的表情，提供着直播的内容。处理平台10根据图像101，并针对B类用户，生成了图像104。当处理平台10接收到操作数据，如B类用户进行了打赏操作，处理平台10将打赏操作数据从指令集中查询获得眨眼的驱动指令。驱动指令控制右眼睛形象部件进行独立的变形设置，使得少女头像虚拟形象产生了眨眼的脸部表情。同时少女头像虚拟形象的头部形象部件、左眼睛形象部件、嘴巴形象部件将依然按照图像101的主播脸部表情而相应地设置。
由此可见，本申请实施例中，根据用户的操作相应地驱动目标虚拟形象的动作变化，展示出主播未曾作出的身体姿态或脸部表情变化，实现直播过程互动性的增强，降低主播关注众多弹幕和不同用户反馈的强度，使其更能专注于提供主要直播内容。
如图6所示，本申请实施例还提供一种基于可编辑三维虚拟对象生成直播视频流的系统，其中，该系统包括：视频直播模块11、三维虚拟形象库13、虚拟对象设置模块12、形象控制指令库15、直播管理模块14、形象修改模块16。
其中，视频直播模块11用于获取主播的直播视频图像，并相用户发送拟合视频图像；三维虚拟形象库13用于以预设结构存储三维虚拟形象以供调用；虚拟对象设置模块12用于检测直播视频图像中人物的身体姿态和/或脸部表情数据，根据决策信息从三维虚拟形象库中调佣目标虚拟形象，根据身体姿态和/或脸部表情数据将目标虚拟形象处理为二维虚拟图像，将二维虚拟图像与直播视频图像处理为拟合视频图像；形象控制指令库15用于以预设映射关系存储操作指令和控制指令；直播管理模块14用于检测用户操作数据并检测是否具有所述操作指令，并根据操作指令在形象控制指令库调用控制指令；形象修改模块16用于控制指令修改已根据据身体姿态和/或脸部表情数据处理的目标虚拟形象。决策模块17用于实时获取用户信息并通过深度学习系统得出三维虚拟形象选择的决策信息；用户形象设置模块用于根据用户终端30的指令修改已建立的三维虚拟形象，并将已修改的三维虚拟形象保存三维虚拟形象库。
本申请的上述各实施例，可借助一种计算机可读存储介质而存在。该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中的特效展示方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请的上述各实施例，可形成一种计算机程序产品，该计算机程序产品承载有程序代码，程序代码包括的指令可用于执行上述方法实施例中的特效展示方法的步骤。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
在本申请所提供的几个实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。
Claims (10)
1.一种基于可编辑三维虚拟形象生成直播视频流的方法，应用于包含直播终端、处理平台和用户终端的系统架构中，其特征在于，该方法包括：
处理平台从直播终端中获取主播的直播视频图像，并检测直播视频图像中人物的身体姿态和/或脸部表情数据；
在处理平台中建立三维虚拟形象库，处理平台从用户终端中获取决策信息，并根据决策信息从三维虚拟形象库中调用目标虚拟形象；
处理平台根据身体姿态和/或脸部表情数据将目标虚拟形象处理为二维虚拟图像，并将二维虚拟图像与直播视频图像处理为拟合视频图像，并将由拟合视频图像构成的直播视频流提供给用户终端。
2.如权利要求1所述的基于可编辑三维虚拟形象生成直播视频流的方法，其特征在于，所述在处理平台中建立三维虚拟形象库包括：所述三维虚拟形象通过够件成套的形象部件、形象部件的组合模型和形象部件的变形模型；
所述的检测直播视频图像中人物的身体姿态和/或脸部表情数据包括：检测人物的预设局部，检测各预设局部之间的坐标参数、检测预设局部的变形参数；
所述处理平台根据预设局部的变形参数设置目标虚拟形象的形象部件的变形模型，根据各预设局部之间的坐标参数设置目标虚拟形象的形象部件的组合模型，以将目标虚拟形象处理为二维虚拟图像。
3.如权利要求2所述的基于可编辑三维虚拟形象生成直播视频流的方法，其特征在于，所述形象部件的组合模型包括身体姿态组合模型和脸部表情组合模型，所述检测各预设局部之间的坐标参数包括：检测身体局部之间的姿态坐标参数，检测脸部局部之间的表情坐标参数。
4.如权利要求1所述的基于可编辑三维虚拟形象生成直播视频流的方法，其特征在于，该方法还包括：处理平台建立有操作与控制指令集，处理平台从用户终端获取用户操作数据，并根据操作与控制指令集确定控制指令，根据控制指令修改目标虚拟形象的身体姿态和/或脸部表情。
5.如权利要求4所述的基于可编辑三维虚拟形象生成直播视频流的方法，其特征在于，所述用户终端设置有操作指令，所述处理平台预设有三维虚拟形象的驱动指令，并建立有操作指令与驱动指令的映射集合，所述的根据控制指令修改目标虚拟形象的身体姿态和/或脸部表情包括：
所述三维虚拟形象由若干形象部件组成，当未响应于所述驱动指令，所述形象部件按照人物的身体姿态和/或脸部表情相组合成目标虚拟形象，当响应于所述驱动指令，至少部分包含在驱动指令中的形象部件按照驱动指令独立设置身体姿态和/或脸部表情，并与其余根据直播视频图像设置的形象部件进行组合成目标虚拟形象。
6.如权利要求1所述的基于可编辑三维虚拟形象生成直播视频流的方法，其特征在于，所述的处理平台从用户终端中获取决策信息包括：
建立用户信息和三维虚拟形象的深度学习系统，处理平台实时获取用户信息，并通过深度学习系统得出三维虚拟形象选择的决策信息。
7.如权利要求1所述的基于可编辑三维虚拟形象生成直播视频流的方法，其特征在于，所述的在处理平台中建立三维虚拟形象库包括：根据用户终端的指令修改已建立的三维虚拟形象，并将已修改的三维虚拟形象保存三维虚拟形象库。
8.一种基于可编辑三维虚拟对象生成直播视频流的系统，其特征在于，该系统包括：
视频直播模块，用于获取主播的直播视频图像，并相用户发送拟合视频图像；
三维虚拟形象库，用于以预设结构存储三维虚拟形象以供调用；
虚拟对象设置模块，用于检测直播视频图像中人物的身体姿态和/或脸部表情数据，根据决策信息从三维虚拟形象库中调佣目标虚拟形象，根据身体姿态和/或脸部表情数据将目标虚拟形象处理为二维虚拟图像，将二维虚拟图像与直播视频图像处理为拟合视频图像。
9.如权利要求8搜书的基于可编辑三维虚拟对象生成直播视频流的系统，其特征在于，该系统还包括：
形象控制指令库，用于以预设映射关系存储操作指令和控制指令；
直播管理模块，用于检测用户操作数据并检测是否具有所述操作指令，并根据操作指令在形象控制指令库调用控制指令；
形象修改模块，用于控制指令修改已根据据身体姿态和/或脸部表情数据处理的目标虚拟形象。
10.如权利要求8搜书的基于可编辑三维虚拟对象生成直播视频流的系统，其特征在于，该系统还包括：
决策模块，用于实时获取用户信息并通过深度学习系统得出三维虚拟形象选择的决策信息；
用户形象设置模块，用于根据用户终端的指令修改已建立的三维虚拟形象，并将已修改的三维虚拟形象保存三维虚拟形象库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210726617.6A CN115334325A (zh) | 2022-06-23 | 2022-06-23 | 基于可编辑三维虚拟形象生成直播视频流的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210726617.6A CN115334325A (zh) | 2022-06-23 | 2022-06-23 | 基于可编辑三维虚拟形象生成直播视频流的方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115334325A true CN115334325A (zh) | 2022-11-11 |
Family
ID=83916413
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210726617.6A Pending CN115334325A (zh) | 2022-06-23 | 2022-06-23 | 基于可编辑三维虚拟形象生成直播视频流的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115334325A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117150089A (zh) * | 2023-10-26 | 2023-12-01 | 环球数科集团有限公司 | 一种基于aigc技术的人物艺术形象更改系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090058765A (ko) * | 2007-12-05 | 2009-06-10 | 에스케이커뮤니케이션즈 주식회사 | 아바타 표현 장치와 방법 및 이를 구현할 수 있는 컴퓨터로읽을 수 있는 기록 매체 |
| KR20130032620A (ko) * | 2011-09-23 | 2013-04-02 | 김용국 | 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법 |
| CN108229239A (zh) * | 2016-12-09 | 2018-06-29 | 武汉斗鱼网络科技有限公司 | 一种图像处理的方法及装置 |
| CN109272566A (zh) * | 2018-08-15 | 2019-01-25 | 广州多益网络股份有限公司 | 虚拟角色的动作表情编辑方法、装置、设备、系统及介质 |
| CN110072116A (zh) * | 2019-05-06 | 2019-07-30 | 广州虎牙信息科技有限公司 | 虚拟主播推荐方法、装置及直播服务器 |
| CN110149332A (zh) * | 2019-05-22 | 2019-08-20 | 北京达佳互联信息技术有限公司 | 直播方法、装置、设备及存储介质 |
| CN110557625A (zh) * | 2019-09-17 | 2019-12-10 | 北京达佳互联信息技术有限公司 | 虚拟形象直播方法、终端、计算机设备及存储介质 |
| CN110662083A (zh) * | 2019-09-30 | 2020-01-07 | 北京达佳互联信息技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN114219878A (zh) * | 2021-12-14 | 2022-03-22 | 魔珐(上海)信息科技有限公司 | 虚拟角色的动画生成方法及装置、存储介质、终端 |
-
2022
- 2022-06-23 CN CN202210726617.6A patent/CN115334325A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090058765A (ko) * | 2007-12-05 | 2009-06-10 | 에스케이커뮤니케이션즈 주식회사 | 아바타 표현 장치와 방법 및 이를 구현할 수 있는 컴퓨터로읽을 수 있는 기록 매체 |
| KR20130032620A (ko) * | 2011-09-23 | 2013-04-02 | 김용국 | 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법 |
| CN108229239A (zh) * | 2016-12-09 | 2018-06-29 | 武汉斗鱼网络科技有限公司 | 一种图像处理的方法及装置 |
| CN109272566A (zh) * | 2018-08-15 | 2019-01-25 | 广州多益网络股份有限公司 | 虚拟角色的动作表情编辑方法、装置、设备、系统及介质 |
| CN110072116A (zh) * | 2019-05-06 | 2019-07-30 | 广州虎牙信息科技有限公司 | 虚拟主播推荐方法、装置及直播服务器 |
| CN110149332A (zh) * | 2019-05-22 | 2019-08-20 | 北京达佳互联信息技术有限公司 | 直播方法、装置、设备及存储介质 |
| CN110557625A (zh) * | 2019-09-17 | 2019-12-10 | 北京达佳互联信息技术有限公司 | 虚拟形象直播方法、终端、计算机设备及存储介质 |
| CN110662083A (zh) * | 2019-09-30 | 2020-01-07 | 北京达佳互联信息技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN114219878A (zh) * | 2021-12-14 | 2022-03-22 | 魔珐(上海)信息科技有限公司 | 虚拟角色的动画生成方法及装置、存储介质、终端 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117150089A (zh) * | 2023-10-26 | 2023-12-01 | 环球数科集团有限公司 | 一种基于aigc技术的人物艺术形象更改系统 |
| CN117150089B (zh) * | 2023-10-26 | 2023-12-22 | 环球数科集团有限公司 | 一种基于aigc技术的人物艺术形象更改系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021109652A1 (zh) | 文字虚拟礼物的赠送方法、装置、设备及存储介质 | |
| CN109729426B (zh) | 一种视频封面图像的生成方法及装置 | |
| CN113112580B (zh) | 一种虚拟形象的生成方法、装置、设备及介质 | |
| KR101851356B1 (ko) | 3d 디지털액터에 의한 지능형 사용자 인터페이스 제공방법 | |
| CN113099298B (zh) | 虚拟形象的改变方法、装置和终端设备 | |
| CN111432267B (zh) | 视频调整方法、装置、电子设备及存储介质 | |
| CN110555507B (zh) | 虚拟机器人的交互方法、装置、电子设备及存储介质 | |
| KR20130022434A (ko) | 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법 | |
| CN110942501B (zh) | 虚拟形象切换方法、装置、电子设备及存储介质 | |
| US11430158B2 (en) | Intelligent real-time multiple-user augmented reality content management and data analytics system | |
| CN112866577B (zh) | 图像的处理方法、装置、计算机可读介质及电子设备 | |
| KR20230021640A (ko) | 멀티미디어 메시징 애플리케이션의 수정 가능한 동영상에서의 사운드트랙 및 모발스타일 커스터마이징 | |
| CN113709549A (zh) | 特效数据包生成、图像处理方法、装置、设备及存储介质 | |
| CN113703585A (zh) | 交互方法、装置、电子设备及存储介质 | |
| CN115334325A (zh) | 基于可编辑三维虚拟形象生成直播视频流的方法和系统 | |
| WO2018163356A1 (ja) | 情報処理装置、プログラム | |
| CN117632109A (zh) | 虚拟数字助手构建方法、装置、电子设备以及存储介质 | |
| US20230298239A1 (en) | Data processing method based on augmented reality | |
| CN108600614B (zh) | 一种图像处理方法及装置 | |
| CN113581215B (zh) | 车辆的控制方法、装置及车辆 | |
| CN115086693A (zh) | 虚拟对象交互方法、装置、电子设备和存储介质 | |
| CN114140560A (zh) | 动画生成方法、装置、设备和存储介质 | |
| CN115426505B (zh) | 基于面部捕捉的预设表情特效触发方法及相关设备 | |
| JP7565122B1 (ja) | コンピュータプログラム、システム、サーバ装置、サーバ装置の制御方法 | |
| US11922553B1 (en) | System and method for controlling effects on live video stream and for controlling accessories via live video stream interface |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |