CN117579851A - 基于数字人的直播方法、装置、电子设备和可读存储介质 - Google Patents
基于数字人的直播方法、装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN117579851A CN117579851A CN202311522029.1A CN202311522029A CN117579851A CN 117579851 A CN117579851 A CN 117579851A CN 202311522029 A CN202311522029 A CN 202311522029A CN 117579851 A CN117579851 A CN 117579851A
- Authority
- CN
- China
- Prior art keywords
- live broadcast
- live
- digital person
- dance
- host
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000001960 triggered effect Effects 0.000 claims abstract description 15
- 239000000463 material Substances 0.000 claims description 21
- 230000004044 response Effects 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 6
- 101710170766 Fibulin-5 Proteins 0.000 claims 24
- 101001060252 Homo sapiens Fibulin-5 Proteins 0.000 claims 2
- 230000008569 process Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 15
- 230000008901 benefit Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本公开提供了一种基于数字人的直播方法、装置、电子设备和可读存储介质,方法包括:响应于主播触发的切换指令,在主播的直播画面中,生成遮挡所述主播的数字人,并录制包括所述数字人的所述直播画面形成录播视频,将直播内容从所述主播的直播切换成播放所述录播视频;以及当所述录播视频播放结束后,将直播内容切换为数字人直播。本公开实现通过在主播直播位置前方设置数字人直播位置以遮挡真实主播位置,在从真实直播切换到数字人直播的过程中,播放录制好的录播视频,来遮挡以供主播离开直播位置和回到直播位置,进而实现主播的真实直播和数字人直播的切换。
Description
技术领域
本公开涉及数字人技术领域、直播技术领域,尤其是涉及一种基于数字人的直播方法、装置、电子设备和可读存储介质。
背景技术
目前已有的数字人替身由用户编辑生成,数字人由用户的肢体、面部表情等动作驱动,数字人运动的骨骼动画基于动作捕捉技术获得,用户驱动数字人替身也要进行相应的运动。
然而,某些主播行动力较差,比如不擅长高难度跳舞,但主播想要直播输出跳舞内容,此时基于动作捕捉技术无法满足该主播的直播需求,直播效果差。
发明内容
鉴于上述问题而提出了本公开。本公开提供了一种基于数字人的直播方法、装置、电子设备和可读存储介质。
根据本公开一个方面,提供了一种基于数字人的直播方法,包括:获取主播的第一直播位置;
响应于主播触发的切换指令,在主播的直播画面中,生成遮挡所述主播的数字人,并录制包括所述数字人的所述直播画面形成录播视频;
将直播内容从所述主播的直播切换成播放所述录播视频;以及
当所述录播视频播放结束后,将直播内容切换为数字人直播。
此外,根据本公开的一个方面的基于数字人的直播方法,当所述录播视频播放结束后,将直播内容切换为数字人直播,包括:响应于所述主播选定的目标舞蹈,控制所述数字人基于对应于所述目标舞蹈的三维姿态信息跳舞。
此外,根据本公开的一个方面的基于数字人的直播方法,当至少一个直播间满足预设条件时,启动预录制机制,对所述至少一个直播间进行监控;响应于所述至少一个直播间的主播开始跳舞时,对所述至少一个直播间的直播内容进行录制,并将舞蹈视频存入素材库。
此外,根据本公开的一个方面的基于数字人的直播方法,所述响应于所述主播选定的目标舞蹈,控制所述数字人基于对应于所述目标舞蹈的三维姿态信息跳舞,包括:从所述素材库选择对应于所述目标舞蹈的多个舞蹈视频;以预定分割方式,将所述多个舞蹈视频的每一个分割为对应于多个时间段的多个舞蹈子视频;基于所述多个舞蹈子视频的推荐值,为所述多个时段的每一个时段选择最佳舞蹈子视频;基于所述每一个时段的所述最佳舞蹈子视频生成对应于所述目标舞蹈的三维姿态信息;以及基于所述三维姿态信息,控制数字人跳舞。
此外,根据本公开的一个方面的基于数字人的直播方法,所述预设条件包括:所述至少一个直播间的在线人数信息大于第一预设阈值。
此外,根据本公开的一个方面的基于数字人的直播方法,所述响应于主播触发的切换指令,在主播的直播画面中,生成遮挡所述主播的数字人,并录制包括所述数字人的所述直播画面形成录播视频包括:获取主播的第一直播位置;基于所述第一直播位置确定第二直播位置,响应于所述主播在所述第一直播位置触发的切换指令,在所述第二直播位置生成遮挡所述主播的数字人,并录制包括所述数字人的所述直播画面形成录播视频。
根据本公开的另一个方面的基于数字人的直播装置,包括:录播视频生成模块,被配置为响应于主播触发的切换指令,在主播的直播画面中,生成遮挡所述主播的数字人,并录制包括所述数字人的所述直播画面形成录播视频;切换控制模块,被配置为将直播内容从所述主播的直播切换成播放所述录播视频;以及当所述录播视频播放结束后,将直播内容切换为数字人直播。
根据本公开的另一个方面的基于数字人的直播装置,所述切换控制模块还被配置为:响应于所述主播选定的目标舞蹈,控制所述数字人基于三维姿态信息跳舞。
根据本公开的另一个方面的基于数字人的直播装置,所述切换控制模块还被配置为:当至少一个直播间满足预设条件时,启动预录制机制,对所述至少一个直播间进行监控;响应于所述至少一个直播间的主播开始跳舞时,对所述至少一个直播间的直播内容进行录制,并将舞蹈视频存入素材库。
根据本公开的另一个方面的基于数字人的直播装置,所述切换控制模块还被配置为:从所述素材库选择对应于所述目标舞蹈的多个舞蹈视频;以预定分割方式,将所述多个舞蹈视频的每一个分割为对应于多个时间段的多个舞蹈子视频;基于所述多个舞蹈子视频的推荐值,为所述多个时段的每一个时段选择最佳舞蹈子视频;基于所述每一个时段的所述最佳舞蹈子视频生成对应于所述目标舞蹈的三维姿态信息;以及基于所述三维姿态信息,控制数字人跳舞。
根据本公开的另一个方面的基于数字人的直播装置,所述录播视频生成模块还被配置为:获取主播的第一直播位置;基于所述第一直播位置确定第二直播位置,响应于所述主播在所述第一直播位置触发的切换指令,在所述第二直播位置生成遮挡所述主播的数字人,并录制包括所述数字人的所述直播画面形成录播视频。
根据本公开的又一个方面,提供了一种电子设备,包括:存储器,用于存储计算机可读指令;以及处理器,用于运行所述计算机可读指令,使得所述电子设备执行如上所述的基于数字人的直播方法。
根据本公开的再一个方面,提供了一种可读存储介质,用于存储计算机可读指令,其特征在于,当所述计算机可读指令由处理器执行时,使得所述处理器执行如上所述的基于数字人的直播方法。
如以下将详细描述的,根据本公开实施例的基于数字人的直播方法、装置、电子设备和可读存储介质,通过在主播直播位置前方设置数字人以遮挡真实主播,在从真实直播切换到数字人直播的过程中,播放录制好的录播视频,来遮挡主播以供主播离开直播位置,进而实现主播直播切换为数字人直播,而在数字人直播的最后一帧主播回到直播位置,将直播内容切换回真实直播,进而实现数字人直播切换成主播的真实直播;进一步地,在播放录播视频时,主播有充足的时间离开直播位置,同时,由于录播视频背景画面与主播直播时的直播场景相同,将直播内容切换为录播视频对观众来说,直播场景并未发生变化,不影响直播观感,在主播直播时,可以自由切换主播直播与数字人直播;进一步地,在切换数字人直播中,数字人按照预先训练的目标舞蹈对应的三维姿态数据跳舞,实现不会跳舞的主播能够直播跳舞。
要理解的是,前面的一般描述和下面的详细描述两者都是示例性的,并且意图在于提供要求保护的技术的进一步说明。
附图说明
通过结合附图对本公开实施例进行更详细的描述,本公开的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解,并且构成说明书的一部分,与本公开实施例一起用于解释本公开,并不构成对本公开的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1是图示根据本公开实施例的基于数字人的直播方法流程图。
图2是图示根据本公开实施例的直播系统示意图。
图3是图示根据本公开实施例的基于数字人的直播方法的流程示意图。
图4是图示根据本公开实施例的三维姿态信息获取方法的流程图。
图5是图示根据本公开实施例的将多个目标舞蹈视频分割为多个舞蹈子视频的示意图。
图6是图示根据本公开实施例的最优视频示意图。
图7是图示根据本公开实施例的基于数字人的直播装置的功能框图。
图8是图示根据本公开实施例的电子设备的硬件框图。
图9是图示根据本公开的实施例的可读存储介质的示意图。
具体实施方式
为了使得本公开的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本公开的示例实施例。显然,所描述的实施例仅仅是本公开的一部分实施例,而不是本公开的全部实施例,应理解,本公开不受这里描述的示例实施例的限制。
随着通信技术的发展,直播作为一种新兴的视频播出方式,其受众群体也在不断扩大。在现有的直播领域中,某些主播行动力较差,比如不擅长高难度跳舞等动作,但主播想要直播输出跳舞内容,此时基于动作捕捉技术无法满足该主播的直播需求,直播效果差,进而会影响用户观看直播的体验。
鉴于上述问题,本发明提供一种基于数字人的直播方法。
首先,参照图1到图3描述根据本公开实施例的基于数字人的直播方法。图1是图示根据本公开实施例的基于数字人的直播方法的流程图。图2是图示根据本公开实施例的直播系统示意图。图3是图示根据本公开实施例的基于数字人的直播方法的流程示意图。
如图1所示,根据本公开实施例的基于数字人的直播方法,包括如下步骤:
在步骤S101中,响应于主播触发的切换指令,在主播的直播画面中,生成遮挡主播的数字人,并录制包括数字人的直播画面形成录播视频。
需要理解的是,根据本公开实施例的基于数字人的直播方法可以由如图2所示直播系统执行。请参阅图2,直播系统能为主播12产生直播画面,供用户观看。该直播系统产生的直播画面不仅能在平板、电脑以及智能电视等其他终端播放。直播系统能通讯连接至少一台摄像机。
在本公开的一个实施例中,如图2所示,直播系统连接一台摄像机11。直播系统用于获取主播12的第一直播位置P1,第一直播位置P1代表主播12在真实直播过程中,主播在所处直播环境中的直播位置。
进一步地,直播系统对该主播12所处的直播环境进行平面识别,确定直播区域A,基于确定的直播区域A,确定主播12在直播区域A进行直播的第一直播位置P1。
上述直播系统为可以供主播进行直播的平台。
在本公开实施例的基于数字人的直播方法中,根据第一直播位置P1确定第二直播位置P2,在距离第一直播位置P1前方一定距离设置第二直播位置P2。主播在第一直播位置触发的切换指令,直播系统根据切换指令在主播的直播画面中,生成遮挡主播的数字人,该数字人生成在第二直播位置,同时,直播系统录制包括数字人的直播画面形成录播视频,其中处于第二直播位置的数字人遮挡处于第一直播位置的主播,录播视频为录制的具有预定时间的视频,该预定时间为2-10秒,优选地,所述预定时间为2秒或5秒。录制好录播视频后,直接播放该录播视频,使直播内容由主播的直播直接切换到播放录播视频,当录播视频播放结束后,直播内容切换为数字人直播。
在本公开实施例的基于数字人的直播方法中,如图2所示的直播系统中,第二直播位置P2代表与主播12对应的数字人13在与主播12在所处相同的直播环境中时,数字人13进行直播时所处的直播位置。其中,生成数字人的方法可以采用本领域任何已知的技术,在此不做限定。本实施例中,处于第二直播位置P2的数字人13是根据主播12在直播视频帧中的轮廓确定与主播12对应的数字人13的大小,根据主播12所处的第一直播位置P1确定数字人13所处的第二直播位置P2。在本实施例中,数字人13的确定是涉及位置和大小两个维度的,其目的就是为了实现遮挡主播12。
在本公开实施例的基于数字人的直播方法中,通过主播在第一直播位置触发切换指令,该切换指令可以是一段语音,在此不做限定。通过主播触发切换指令,生成与主播对应的数字人用以遮挡主播,同时录播包括数字人的直播画面形成录播视频。
在步骤S102中,将直播内容从主播的直播切换成播放录播视频。
在本公开实施例的基于数字人的直播方法中,在播放录播视频,可使主播有充分的时间离开第一直播位置,进而实现主播平滑出镜。而且由于在录制录播视频时,由于数字人和主播是出于相同的直播场景内,当播放录播视频时,直播背景画面没有,即直播场景没有发生变化,从而使观众在观看直播时,无差别感。
在步骤S103中,当录播视频播放结束后,将直播内容切换为数字人直播。
在本公开实施例的基于数字人的直播方法中,当录播视频播放结束后,直播内容切换为数字人直播,以此实现主播直播替换为数字人直播。
进一步地,在数字人进行直播,直播画面最后一帧保持对用户播放,遮挡真实的直播。此时,主播12回到第一直播位置P1,数字人13消失,直播画面切换到主播直播。
如上所述的基于数字人的直播方法,达到在直播过程可以自由切换主播的真实直播和数字人直播。
如图3所示,根据本公开实施例的基于数字人的直播方法的流程示意图。在本公开的实施例中基于数字人的直播方法的直播流300的时间安排具体如下:
首先,在步骤301中,主播12进行直播。
在步骤302中,生成数字人13并遮挡主播12,同时录制录播视频。
在步骤303中,播放录播视频。
在步骤304中,数字人13进行直播。
在步骤305中,数字人13直播最后一帧。
在步骤306中,主播12进行直播。
如图4所示,根据本公开实施例的三维姿态信息获取方法的流程图。在本公开实施例的基于数字人的直播方法中,数字人直播可以是直播系统根据主播从平台的素材库中选定的目标舞蹈,控制数字人基于对应于目标舞蹈的三维姿态信息跳舞。具体地,三维姿态信息获取方法如下:
步骤S401中,从素材库选择对应于目标舞蹈的多个舞蹈视频。
在本公开的实施例中,目标舞蹈为主播在直播过程中想跳的舞蹈,素材库用于在直播系统中储存有目标舞蹈。在本公开其中一个可能的实施例中,当主播想跳音乐A作为伴乐的舞蹈时,在直播系统的素材库中搜索音乐A,直播系统检索出音乐A对应的若干个舞蹈视频a1,a2...an。
在本公开其中一个可能的实施例中,上述素材库中舞蹈视频素材获取方式包括以下方法:
方法一,直播录制:设置预设条件,其中,该预设条件为直播系统内某个或多个直播间的在线人数大于第一预设值时,使满足预设条件直播间触发预录制机制,直播系统开始监控该满足预设条件的直播间;当满足预设条件的直播间的主播开始跳舞时,直播系统获取此时的音乐B,并对该满足预设条件的直播间的直播内容进行录制,得到音乐B作为伴乐的舞蹈的视频。
方法二,用户上传:用户可以将任意的舞蹈作品上传至直播系统,直播系统每隔一段时间就清查一次最近上传的舞蹈作品,将播放量大于第二预设阈值的舞蹈视频存入素材库,在存入素材库的同时,直播系统获取该舞蹈视频的伴乐,得到音乐C作为伴乐的舞蹈视频。
上述得到音乐B作为伴乐的舞蹈的视频以及得到音乐C作为伴乐的舞蹈的视频均可以作为目标舞蹈的素材存储在直播系统的素材库中。
在步骤S402中,以预定分割方式,将多个舞蹈视频的每一个分割为对应于多个时间段的多个舞蹈子视频。
具体的,在本公开其中一个可能的实施例中,直播系统根据音乐A的音频特征,分别将每个舞蹈视频都分割成若干个视频片段,例如图5所示的,直播系统依据现有技术,将步骤S401中若干个舞蹈视频根据音乐A的音乐特征将每个舞蹈视频切割成若干个片段集,该片段集即为上述舞蹈子视频。
步骤S403中,基于多个舞蹈子视频的推荐值,为多个时段的每一个时段选择最佳舞蹈子视频。
在本公开其中一个可能的实施例中,直播系统遍历所有的片段集,根据每段人气排名推荐值,从每段片段集中选出一个最优视频,该最优视频即为上述的最佳舞蹈子视频。其中,推荐值=(视频播放期间弹幕数+礼物价值金额)/视频直播间平均人数。
在本公开其中一个可能的实施例中,直播系统内预存有主播的标识信息,主播的标识信息可以包括主播的年龄、性别、身高、体重、直播类型等;直播系统在收录视频素材时,也可以记录视频中的舞者或者直播录制中的主播的标识信息。进一步的,直播系统在计算每个舞蹈子视频片段的推荐值时,还要考虑标识信息的匹配程度,即推荐值=m×(弹幕数+礼物金额)/观看人数+n×P,m+n=1,P即匹配程度。
步骤S404中,基于每一个时段的最佳舞蹈子视频生成对应于目标舞蹈的三维姿态信息。
在本公开其中一个可能的实施例中,如图6所示,直播系统将选出的最优视频片段合成一个完整视频作为目标舞蹈的舞蹈视频的训练素材,依据该目标舞蹈的舞蹈视频的训练素材、初始源mesh序列、平滑后mesh序列和预先建立的该主播对应的数字人,训练出一套三维姿态数据,该三维姿态数据作为三维姿态信息。
步骤S405中,基于三维姿态信息,控制数字人跳舞。
进一步地,当数字人直播结束后,将直播内容切换为主播直播。
以上,描述了根据本公开实施例的基于数字人的直播方法。以下,将进一步描述用于实现上述基于数字人的直播方法的基于数字人的直播的装置。图7是图示根据本公开实施例的基于数字人的直播装置的功能框图。
如图7所示,根据本公开实施例的基于数字人的直播装置700包括录播视频生成模块701、切换控制模块702。本领域的技术人员容易理解:这些单元模块可以单独由硬件、单独由软件或者由其组合以各种方式实现,并且本公开不限于它们的任何一个。
具体地,录播视频生成模块,被配置为响应于主播触发的切换指令,在主播的直播画面中,生成遮挡所述主播的数字人,并录制包括所述数字人的所述直播画面形成录播视频;切换控制模块,被配置为将直播内容从所述主播的直播切换成播放所述录播视频;以及当所述录播视频播放结束后,将直播内容切换为数字人直播。
进一步地,切换控制模块702还被配置为响应于主播选定的目标舞蹈,控制数字人基于对应于所述目标舞蹈的三维姿态信息跳舞。
进一步地,切换控制模块702还被配置为当至少一个直播间满足预设条件时,启动预录制机制,对所述至少一个直播间进行监控;响应于所述至少一个直播间的主播开始跳舞时,对所述至少一个直播间的直播内容进行录制,并将舞蹈视频存入素材库。
进一步地,切换控制模块702还被配置为从所述素材库选择对应于所述目标舞蹈的多个舞蹈视频;以预定分割方式,将所述多个舞蹈视频的每一个分割为对应于多个时间段的多个舞蹈子视频;基于所述多个舞蹈子视频的推荐值,为所述多个时段的每一个时段选择最佳舞蹈子视频;基于所述每一个时段的所述最佳舞蹈子视频生成对应于所述目标舞蹈的三维姿态信息;以及基于所述三维姿态信息,控制数字人跳舞。
进一步地,所述录播视频生成模块701还被配置为:获取主播的第一直播位置;基于所述第一直播位置确定第二直播位置,响应于所述主播在所述第一直播位置触发的切换指令,在所述第二直播位置生成遮挡所述主播的数字人,并录制包括所述数字人的所述直播画面形成录播视频。
图8是图示根据本公开实施例的电子设备800的硬件框图。根据本公开实施例的电子设备至少包括处理器;以及存储器,用于存储计算机可读指令。当计算机可读指令由处理器加载并运行时,处理器执行如上的基于数字人的直播方法。
图8所示的电子设备800具体地包括:中央处理单元(CPU)801、图形处理单元(GPU)802和主存储器803。这些单元通过总线804互相连接。中央处理单元(CPU)801和/或图形处理单元(GPU)802可以用作上述处理器,主存储器803可以用作上述存储计算机可读指令的存储器。此外,电子设备800还可以包括通信单元805、存储单元806、输出单元807、输入单元808和外部设备809,这些单元也连接到总线804。
图9是图示根据本公开的实施例的可读存储介质的示意图。如图9所示,根据本公开实施例的可读存储介质900其上存储有计算机可读指令901。当计算机可读指令901由处理器运行时,执行参照以上附图描述的根据本公开实施例的基于数字人的直播方法。可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存、光盘、磁盘等。
以上,参照附图描述了根据本公开实施例的基于数字人的直播方法、装置、电子设备和可读存储介质。根据本公开实施例通过在主播直播位置前方设置数字人以遮挡真实主播,在从真实直播切换到数字人直播的过程中,播放录制好的录播视频,来遮挡主播以供主播离开直播位置,进而实现主播直播切换为数字人直播,而在数字人直播的最后一帧主播回到直播位置,将直播内容切换回真实直播,进而实现数字人直播切换成主播的真实直播;进一步地,在播放录播视频时,主播有充足的时间离开直播位置,同时,由于录播视频背景画面与主播直播时的直播场景相同,将直播内容切换为录播视频对观众来说,直播场景并未发生变化,不影响直播观感,在主播直播时,可以自由切换主播直播与数字人直播;进一步地,在切换数字人直播中,数字人按照预先训练的目标舞蹈对应的三维姿态数据跳舞,实现不会跳舞的主播能够直播跳舞。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本公开的范围。
以上结合具体实施例描述了本公开的基本原理,但是,需要指出的是,在本公开中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
另外,如在此使用的,在以“至少一个”开始的项的列举中使用的“或”指示分离的列举,以便例如“A、B或C的至少一个”的列举意味着A或B或C,或AB或AC或BC,或ABC(即A和B和C)。此外,措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
还需要指出的是,在本公开的系统和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
可以不脱离由所附权利要求定义的教导的技术而进行对在此的技术的各种改变、替换和更改。此外,本公开的权利要求的范围不限于以上的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而,所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此,本公开不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (13)
1.一种基于数字人的直播方法,其特征在于,包括:
响应于主播触发的切换指令,在主播的直播画面中,生成遮挡所述主播的数字人,并录制包括所述数字人的所述直播画面形成录播视频;
将直播内容从所述主播的直播切换成播放所述录播视频;以及
当所述录播视频播放结束后,将直播内容切换为数字人直播。
2.根据权利要求1所述的基于数字人的直播方法,其特征在于,当所述录播视频播放结束后,将直播内容切换为数字人直播,包括:
响应于所述主播选定的目标舞蹈,控制所述数字人基于对应于所述目标舞蹈的三维姿态信息跳舞。
3.根据权利要求2所述的基于数字人的直播方法,其特征在于,还包括:
当至少一个直播间满足预设条件时,启动预录制机制,对所述至少一个直播间进行监控;
响应于所述至少一个直播间的主播开始跳舞时,对所述至少一个直播间的直播内容进行录制,并将舞蹈视频存入素材库。
4.根据权利要求3所述的基于数字人的直播方法,其特征在于,所述响应于所述主播选定的目标舞蹈,控制所述数字人基于对应于所述目标舞蹈的三维姿态信息跳舞,包括:
从所述素材库选择对应于所述目标舞蹈的多个舞蹈视频;
以预定分割方式,将所述多个舞蹈视频的每一个分割为对应于多个时间段的多个舞蹈子视频;
基于所述多个舞蹈子视频的推荐值,为所述多个时段的每一个时段选择最佳舞蹈子视频;
基于所述每一个时段的所述最佳舞蹈子视频生成对应于所述目标舞蹈的三维姿态信息;以及
基于所述三维姿态信息,控制数字人跳舞。
5.根据权利要求3或4所述的基于数字人的直播方法,其特征在于,所述预设条件包括:
所述至少一个直播间的在线人数信息大于第一预设阈值。
6.根据权利要求1-5任一项所述的基于数字人的直播方法,其特征在于,所述响应于主播触发的切换指令,在主播的直播画面中,生成遮挡所述主播的数字人,并录制包括所述数字人的所述直播画面形成录播视频包括:
获取主播的第一直播位置;
基于所述第一直播位置确定第二直播位置,响应于所述主播在所述第一直播位置触发的切换指令,在所述第二直播位置生成遮挡所述主播的数字人,并录制包括所述数字人的所述直播画面形成录播视频。
7.一种基于数字人的直播装置,其特征在于,包括:
录播视频生成模块,被配置为响应于主播触发的切换指令,在主播的直播画面中,生成遮挡所述主播的数字人,并录制包括所述数字人的所述直播画面形成录播视频;
切换控制模块,被配置为将直播内容从所述主播的直播切换成播放所述录播视频;以及
当所述录播视频播放结束后,将直播内容切换为数字人直播。
8.根据权利要求7所述的基于数字人的直播装置,其特征在于,所述切换控制模块还被配置为:
响应于所述主播选定的目标舞蹈,控制所述数字人基于三维姿态信息跳舞。
9.根据权利要求8所述的基于数字人的直播装置,其特征在于,所述切换控制模块还被配置为:
当至少一个直播间满足预设条件时,启动预录制机制,对所述至少一个直播间进行监控;
响应于所述至少一个直播间的主播开始跳舞时,对所述至少一个直播间的直播内容进行录制,并将舞蹈视频存入素材库。
10.根据权利要求9所述的基于数字人的直播装置,其特征在于,所述切换控制模块还被配置为:
从所述素材库选择对应于所述目标舞蹈的多个舞蹈视频;
以预定分割方式,将所述多个舞蹈视频的每一个分割为对应于多个时间段的多个舞蹈子视频;
基于所述多个舞蹈子视频的推荐值,为所述多个时段的每一个时段选择最佳舞蹈子视频;
基于所述每一个时段的所述最佳舞蹈子视频生成对应于所述目标舞蹈的三维姿态信息;以及
基于所述三维姿态信息,控制数字人跳舞。
11.根据权利要求7-10任一项所述的基于数字人的直播装置,其特征在于,所述录播视频生成模块还被配置为:
获取主播的第一直播位置;
基于所述第一直播位置确定第二直播位置,响应于所述主播在所述第一直播位置触发的切换指令,在所述第二直播位置生成遮挡所述主播的数字人,并录制包括所述数字人的所述直播画面形成录播视频。
12.一种电子设备,其特征在于,包括:
存储器,用于存储计算机可读指令;以及
处理器,用于运行所述计算机可读指令,使得所述电子设备执行如权利要求1到6的任一项所述的基于数字人的直播方法。
13.一种可读存储介质,用于存储计算机可读指令,其特征在于,当所述计算机可读指令由处理器执行时,使得所述处理器执行如权利要求1到6的任一项所述的基于数字人的直播方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311522029.1A CN117579851A (zh) | 2023-11-15 | 2023-11-15 | 基于数字人的直播方法、装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311522029.1A CN117579851A (zh) | 2023-11-15 | 2023-11-15 | 基于数字人的直播方法、装置、电子设备和可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117579851A true CN117579851A (zh) | 2024-02-20 |
Family
ID=89891053
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311522029.1A Pending CN117579851A (zh) | 2023-11-15 | 2023-11-15 | 基于数字人的直播方法、装置、电子设备和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117579851A (zh) |
-
2023
- 2023-11-15 CN CN202311522029.1A patent/CN117579851A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104915542B (zh) | 一种基于数据同步的网游录像与回放的方法 | |
CN108369816B (zh) | 用于从全向视频创建视频剪辑的设备和方法 | |
US20170011554A1 (en) | Systems and methods for dynamic spectating | |
US8958686B2 (en) | Information processing device, synchronization method, and program | |
CN106303555A (zh) | 一种基于混合现实的直播方法、装置和系统 | |
TW201227575A (en) | Real-time interaction with entertainment content | |
JP6695482B1 (ja) | 制御サーバ、配信システム、制御方法及びプログラム | |
JP2010232814A (ja) | 映像編集プログラムおよび映像編集装置 | |
CN113395540A (zh) | 虚拟演播系统、虚拟演播实现方法、装置及设备、介质 | |
CN113453034A (zh) | 数据展示方法、装置、电子设备以及计算机可读存储介质 | |
CN113068053A (zh) | 一种直播间内的交互方法、装置、设备及存储介质 | |
JP6748323B1 (ja) | 動画配信装置、動画配信方法、および、動画配信プログラム | |
CN110730340B (zh) | 基于镜头变换的虚拟观众席展示方法、系统及存储介质 | |
US10224073B2 (en) | Auto-directing media construction | |
JP5407708B2 (ja) | 撮影映像処理装置、制御方法及びプログラム | |
CN110798692A (zh) | 一种视频直播方法、服务器及存储介质 | |
US11622099B2 (en) | Information-processing apparatus, method of processing information, and program | |
JP5532645B2 (ja) | 映像編集プログラムおよび映像編集装置 | |
US20230353717A1 (en) | Image processing system, image processing method, and storage medium | |
KR102200239B1 (ko) | 실시간 cg 영상 방송 서비스 시스템 | |
WO2012166072A1 (en) | Apparatus, systems and methods for enhanced viewing experience using an avatar | |
CN115237314B (zh) | 信息推荐方法、装置和电子设备 | |
CN117579851A (zh) | 基于数字人的直播方法、装置、电子设备和可读存储介质 | |
KR20160137924A (ko) | 객체 상태 저장 방식 게임 동영상 녹화 및 재생 방법 | |
CN113497894B (zh) | 视频拍摄方法、装置、终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |