CN117376596B - 基于智能数字人模型的直播方法、装置及存储介质 - Google Patents

基于智能数字人模型的直播方法、装置及存储介质 Download PDF

Info

Publication number
CN117376596B
CN117376596B CN202311676284.1A CN202311676284A CN117376596B CN 117376596 B CN117376596 B CN 117376596B CN 202311676284 A CN202311676284 A CN 202311676284A CN 117376596 B CN117376596 B CN 117376596B
Authority
CN
China
Prior art keywords
live
digital
target
video
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311676284.1A
Other languages
English (en)
Other versions
CN117376596A (zh
Inventor
陈鹏
黄杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tuoshe Technology Group Co ltd
Jiangxi Tuoshi Intelligent Technology Co ltd
Original Assignee
Tuoshe Technology Group Co ltd
Jiangxi Tuoshi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tuoshe Technology Group Co ltd, Jiangxi Tuoshi Intelligent Technology Co ltd filed Critical Tuoshe Technology Group Co ltd
Priority to CN202311676284.1A priority Critical patent/CN117376596B/zh
Publication of CN117376596A publication Critical patent/CN117376596A/zh
Application granted granted Critical
Publication of CN117376596B publication Critical patent/CN117376596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种基于智能数字人模型的直播方法、装置及存储介质，该方法包括：创建数字人直播房间，数字人直播房间对应M个智能数字人模型；获取计划直播内容，确定M个智能数字人模型中与计划直播内容对应的目标智能数字人模型，以及确定与计划直播内容对应的第一播放参数；基于目标智能数字人模型和第一播放参数生成第一数字人直播视频；获取计划直播内容的背景内容，确定与背景内容对应的目标背景参数；根据目标背景参数对第一数字人直播视频进行背景渲染，得到目标数字人直播视频；基于目标数字人直播视频进行直播。采用本申请实施例，提高了数字人视频直播的灵活性、趣味性和互动性。

Description

基于智能数字人模型的直播方法、装置及存储介质
技术领域
本申请涉及图像通信中的视频直播应用领域，尤其涉及一种基于智能数字人模型的直播方法、装置及存储介质。
背景技术
近年来，随着互联网技术的发展和智能手机的普及，直播带货逐渐成为一种热门的营销方式。众多公司都加入到直播带货的浪潮中，但不是每个公司都有专业的带货主播来直播。为此，有些公司采用数字人进行直播，数字人不需要工资和休息，可以24小时不间断直播，但是，通过目前的技术生成的数字人视频内容相对单一，且不能与观众互动，使用这样的数字人视频进行直播，会导致数字人视频直播的灵活性低、趣味性不强和互动性弱，因此，如何提升数字人视频直播的灵活性、趣味性和互动性成为一个亟待解决的问题。
发明内容
本申请实施例提供一种基于智能数字人模型的直播方法、装置及存储介质，实现了根据计划直播内容和背景内容自动生成目标数字人直播视频的功能，提高了数字人视频直播的灵活性、趣味性和互动性。
第一方面，本申请实施例提供了一种基于智能数字人模型的直播方法，所述方法包括：
创建处于绿幕状态下的数字人直播房间，所述数字人直播房间对应M个智能数字人模型；M为正整数；
获取计划直播内容，确定所述M个智能数字人模型中与所述计划直播内容对应的目标智能数字人模型，以及确定与所述计划直播内容对应的第一播放参数；所述计划直播内容为针对预设剧本的直播内容；所述目标智能数字人模型包括所述M个智能数字人模型中的至少一个智能数字人模型；
在所述数字人直播房间中基于所述目标智能数字人模型和所述第一播放参数生成第一数字人直播视频；
获取所述计划直播内容的背景内容，确定与所述背景内容对应的目标背景参数；
根据所述目标背景参数对所述第一数字人直播视频进行背景渲染，得到目标数字人直播视频；
基于所述目标数字人直播视频在所述数字人直播房间中进行直播。
第二方面，本申请实施例提供了一种基于智能数字人模型的直播装置，所述装置包括：创建单元、获取单元、生成单元、直播单元，其中，
所述创建单元，用于创建处于绿幕状态下的数字人直播房间，所述数字人直播房间对应M个智能数字人模型；M为正整数；
所述获取单元，用于获取计划直播内容，确定所述M个智能数字人模型中与所述计划直播内容对应的目标智能数字人模型，以及确定与所述计划直播内容对应的第一播放参数；所述计划直播内容为针对预设剧本的直播内容；所述目标智能数字人模型包括所述M个智能数字人模型中的至少一个智能数字人模型；
所述生成单元，用于在所述数字人直播房间中基于所述目标智能数字人模型和所述第一播放参数生成第一数字人直播视频；
所述获取单元，还用于获取所述计划直播内容的背景内容，确定与所述背景内容对应的目标背景参数；
所述生成单元，还用于根据所述目标背景参数对所述第一数字人直播视频进行背景渲染，得到目标数字人直播视频；
所述直播单元，用于基于所述目标数字人直播视频在所述数字人直播房间中进行直播。
第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储器，所述存储器用于存储一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，通过实施本申请实施例，创建处于绿幕状态下的数字人直播房间，数字人直播房间对应M个智能数字人模型；获取计划直播内容，确定M个智能数字人模型中与计划直播内容对应的目标智能数字人模型，以及确定与计划直播内容对应的第一播放参数；计划直播内容为针对预设剧本的直播内容；目标智能数字人模型包括M个智能数字人模型中的至少一个智能数字人模型；在数字人直播房间中基于目标智能数字人模型和第一播放参数生成第一数字人直播视频；获取计划直播内容的背景内容，确定与背景内容对应的目标背景参数；根据目标背景参数对第一数字人直播视频进行背景渲染，得到目标数字人直播视频；基于目标数字人直播视频在数字人直播房间中进行直播。本方法实现了根据计划直播内容和背景内容自动生成目标数字人直播视频的功能，提高了数字人视频直播的灵活性、趣味性和互动性。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1是本申请实施例提供的一种数字人直播系统的架构示意图；
图2是本申请实施例提供的一种基于智能数字人模型的直播方法的流程图；
图3是本申请实施例提供的一种基于智能数字人模型的直播装置的结构示意图；
图4是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
请参阅图1，图1是本申请实施例提供的一种数字人直播系统100的架构示意图，如图1所示，该数字人直播系统100包括服务器101和用户端设备102。
其中，服务器101可以与用户端设备102进行通信，服务器101可以接收用户端设备102的指令，创建处于绿幕状态下的数字人直播房间；服务器101还可以接收用户端设备102发送的计划直播内容和背景内容，并根据该计划直播内容和背景内容选择对应的智能数字人模型生成数字人直播视频，利用该数字人直播视频进行直播，提高了数字人视频直播的灵活性、趣味性和互动性。
请参阅图2，图2是本申请实施例提供的一种基于智能数字人模型的直播方法的流程图，如图2所示的方法可以应用于图1所示的数字人直播系统中的服务器，所述数字人直播系统包括所述服务器和用户端设备，该方法包括以下步骤：
S201、创建处于绿幕状态下的数字人直播房间，所述数字人直播房间对应M个智能数字人模型。M为正整数。
本申请实施例中，可以通过服务器来创建数字人直播房间，数字人直播房间的背景默认为绿幕，也即创建了一个绿幕状态下的数字人直播房间。M个智能数字人模型可以是服务器在创建数字人直播房间时自动添加的智能数字人模型。
S202、获取计划直播内容，确定所述M个智能数字人模型中与所述计划直播内容对应的目标智能数字人模型，以及确定与所述计划直播内容对应的第一播放参数；所述计划直播内容为针对预设剧本的直播内容；所述目标智能数字人模型包括所述M个智能数字人模型中的至少一个智能数字人模型。
本申请实施例中，播放参数可以包括以下至少一种：播放清晰度、播放滤镜、播放时长、播放音量、播放音色等等，在此不做限定，预设剧本指在进行数字人直播时，提前准备好的一份详细的剧本，这份剧本通常包括了直播的主题、内容、互动环节、直播时长等方面的信息。
具体实现中，获取计划直播内容，确定M个智能数字人模型中与计划直播内容对应的目标智能数字人模型，以及确定与计划直播内容对应的第一播放参数，具体的，可以是通过服务器获取用户端设备发送的计划直播内容，计划直播内容为针对预设剧本的直播内容，例如，假设预设剧本是一个推销商业产品的剧本，计划直播内容就可以是数字人介绍推销的商业产品，包括产品的特点、优势、适用人群等，还可以播放该商业产品的实物展示视频并让数字人在视频中使用该商业产品，让观众更直观地了解该商业产品。
接着，确定M个智能数字人模型中与计划直播内容对应的目标智能数字人模型，以及确定与计划直播内容对应的第一播放参数，例如，计划直播内容是要推销一种适用于女性的护肤产品，可以根据产品的受众选择对应的目标智能数字人模型，如果产品受众是年轻女性，可以选择一个外貌年轻、时尚的数字人角色作为目标智能数字人模型；如果产品受众是老年女性，可以选择一个老年数字人角色作为目标智能数字人模型；接着，需要确定与计划直播内容对应的第一播放参数，具体的，可以是先确定计划直播内容的目标观众，通过观众调研、用户反馈等方式，了解目标观众对于播放清晰度、滤镜效果或播放时长的喜好和期望，例如，目标观众是年轻女性的计划直播内容，可以将第一播放参数设置为高清晰度、美颜滤镜等。
如此，通过获取计划直播内容，根据该计划直播内容选择目标智能数字人模型，以及确定与计划直播内容对应的第一播放参数；计划直播内容为针对预设剧本的直播内容；通过分析用户的计划直播内容，可以为用户提供更加个性化的直播体验，例如，如果用户计划直播的内容是关于科技的，那么可以选择一个擅长科技领域的智能数字人模型进行直播，这样可以让用户感受到更加专业和有趣的直播氛围。
S203、在所述数字人直播房间中基于所述目标智能数字人模型和所述第一播放参数生成第一数字人直播视频。
本申请实施例中，在数字人直播房间中基于目标智能数字人模型和第一播放参数生成第一数字人直播视频，由于上述步骤已经得到了目标智能数字人模型和第一播放参数，根据第一播放参数设置将要生成的第一数字人直播视频的播放参数，通过服务器利用目标智能数字人模型按照计划直播内容生成第一数字人直播视频。
S204、获取所述计划直播内容的背景内容，确定与所述背景内容对应的目标背景参数。
本申请实施例中，背景参数可以包括以下至少一种：清晰度、分辨率、色度等等，在此不做限定。
具体实施中，可以是服务器获取用户端设备发送的计划直播内容的背景内容，接着，可以由服务器确定与背景内容对应的目标背景参数。
可选的，步骤S204，所述确定与所述背景内容对应的目标背景参数，可以包括如下步骤：
41、对所述背景内容进行分段，得到n个部分背景内容，每一部分背景内容对应一个直播环节；n为正整数；
42、获取所述n个部分背景内容对应的背景标识信息，得到n个背景标识信息；
43、确定所述n个背景标识信息中每一背景标识信息对应的背景参数，得到n个背景参数。
本申请实施例中，背景标识信息是用来标识背景内容的，每一背景内容对应唯一一个背景标识信息，直播环节是指直播过程中的不同阶段或部分，一般直播环节可以包括以下至少一种：开场环节、展示环节、互动环节、结束环节等等，在此不做限定。
具体实施中，可以由服务器对背景内容进行分段，得到n个部分背景内容，每一部分背景内容对应一个直播环节，具体的，可以是对背景内容进行均匀分段，分段间隔可以是系统默认或是用户设置；接着，确定n个背景标识信息中每一背景标识信息对应的背景参数，得到n个背景参数，具体的，背景标识信息对应的背景参数可以是系统默认或是用户设置。
如此，通过将背景内容进行分段，得到n个部分背景内容以及n个背景标识信息，确定所述n个背景标识信息中每一背景标识信息对应的背景参数，得到n个背景参数，从而，将整个背景内容分成多个部分，每个部分可以作为一个独立的直播环节，这样可以更好地组织和安排直播内容，使得每个环节都有明确的主题和目标。
S205、根据所述目标背景参数对所述第一数字人直播视频进行背景渲染，得到目标数字人直播视频。
本申请实施例中，根据目标背景参数对第一数字人直播视频进行背景渲染，得到目标数字人直播视频，可以是通过服务器根据目标背景参数对第一数字人直播视频的背景内容进行渲染，得到目标数字人直播视频。
可选的，步骤S205，所述根据所述目标背景参数对所述第一数字人直播视频进行背景渲染，得到目标数字人直播视频，可以包括如下步骤：
51、将所述第一数字人直播视频分成n个片段，得到n个数字人直播视频片段，所述n个数字人直播视频片段与所述n个背景参数一一对应；
52、根据所述n个背景参数对所述n个数字人直播视频片段中相应的数字人直播视频片段进行渲染，得到渲染后的所述n个数字人直播视频片段；
53、将渲染后的所述n个数字人直播视频片段合成所述目标数字人直播视频。
本申请实施例中，将第一数字人直播视频分成n个片段，得到n个数字人直播视频片段，n个数字人直播视频片段与n个背景参数一一对应，具体的，由于上述步骤已经确定了n的数值大小，则可以通过服务器确定这n个片段的起始时间点和结束时间点，将第一数字人直播视频分成n个片段，可以按时间顺序将n个数字人直播视频片段与n个背景参数对应起来。
接着，根据n个背景参数对n个数字人直播视频片段中相应的数字人直播视频片段进行渲染，得到渲染后的n个数字人直播视频片段，具体的，可以是通过服务器根据背景参数对数字人直播视频片段的背景内容进行渲染，渲染n次，得到渲染后的n个数字人直播视频片段，进一步的，将渲染后的n个数字人直播视频片段合成目标数字人直播视频，具体的，可以先确定渲染后的n个数字人直播视频片段的播放顺序，根据该播放顺序进行视频拼接合成，得到目标数字人直播视频。
如此，通过将第一数字人直播视频分成n个片段，这n个片段与上述n个背景参数一一对应，根据n个背景参数对n个数字人直播视频片段进行渲染，将渲染后的n个数字人直播视频片段合成目标数字人直播视频，可以根据不同的场景或需求选择不同的背景参数进行渲染，使得数字人在不同的环境中呈现出多样化的效果，增加视频的趣味性和吸引力。
S206、基于所述目标数字人直播视频在所述数字人直播房间中进行直播。
本申请实施例中，由于已经通过上述步骤得到了目标数字人直播视频，则可以在用户端设备需要进行直播时，通过数字人直播房间播放目标数字人直播视频，以此进行直播。
可选的，步骤S206，所述基于所述目标数字人直播视频在所述数字人直播房间中进行直播，可以包括如下步骤：
A1、获取所述数字人直播房间当前时刻的后台直播数据，所述后台直播数据包括在线直播观众的用户信息，得到多组用户信息，每一组用户信息对应一个直播观众；每组用户信息包括：年龄、职业、教育程度、收入水平、消费水平、国籍、社交关系；
A2、根据所述多组用户信息进行大数据分析，得到所述当前时刻的目标观众群体，所述目标观众群体为所述在线直播观众中具备至少同一种特性且人数比例超过预设比例系数的一类群体；
A3、获取与所述目标观众群体对应的互动内容，所述互动内容包括以下至少一种：点赞、评论、转发、送礼物；
A4、截取所述目标数字人直播视频中与所述互动内容对应的至少一个视频片段；
A5、确定所述至少一个视频片段中的目标特征信息，所述目标特征信息包括以下至少一种：关键字、动作、智能数字人模型的标识信息；
A6、确定与所述目标特征信息对应的目标播放调节参数；
A7、根据所述目标播放调节参数对所述第一播放参数进行调整，得到第二播放参数；
A8、根据所述第二播放参数更新所述目标数字人直播视频，得到第三数字人直播视频；
A9、基于所述第三数字人直播视频在所述数字人直播房间中进行直播。
本申请实施例中，预设比例系数可以是系统默认或是用户设置，播放调节参数可以包括以下至少一种：播放清晰度调节参数、播放滤镜调节参数等等，在此不做限定。
具体实施中，通过服务器获取数字人直播房间当前时刻的后台直播数据，后台直播数据包括在线直播观众的用户信息，得到多组用户信息，每一组用户信息对应一个直播观众；每组用户信息包括：年龄、职业、教育程度、收入水平、消费水平、国籍、社交关系；接着，根据多组用户信息进行大数据分析，得到当前时刻的目标观众群体，目标观众群体为在线直播观众中具备至少同一种特性且人数比例超过预设比例系数的一类群体，例如，可以是通过服务器对多组用户信息进行大数据分析，同一种特性可以是收入水平超过预设收入的在线直播观众，预设收入可以是系统默认或是用户设置，预设比例系数可以是30%，找出在线直播观众中同时满足收入水平超过预设收入的观众数量，在该观众数量占所有在线直播观众的比例超过30%时，将该观众数量设置为目标观众群体。
接着，获取与目标观众群体对应的互动内容，互动内容包括以下至少一种：点赞、评论、转发、送礼物；截取目标数字人直播视频中与互动内容对应的至少一个视频片段，例如，在目标数字人直播视频的播放过程中，监测观众的互动行为，记录观众的点赞、评论、转发、送礼物等互动行为，同时，记录下互动行为的发生时间点，根据该发生时间点从目标数字人直播视频中截取该发生时间点前后的视频片段，也就是说，有几个互动行为就有几个截取的视频片段，视频片段的时长可以是预设视频片段时长，预设视频片段时长可以是系统默认或是用户设置。
进一步的，确定至少一个视频片段中的目标特征信息，目标特征信息包括以下至少一种：关键字、动作、智能数字人模型的标识信息；确定与目标特征信息对应的目标播放调节参数；具体的，可以是预先存储预设的特征信息与播放调节参数之间的映射关系，基于该映射关系确定目标特征信息对应的目标播放调节参数；接着，根据目标播放调节参数对第一播放参数进行调整，得到第二播放参数，例如，目标播放调节参数可以是播放清晰度调节参数，由于影响视频清晰度的因素主要是分辨率，所以可以根据目标播放调节参数调节第二播放参数中的分辨率，将分辨率调高或调低，得到第二播放参数，当然，除了分辨率还可以调节其他参数，在此不做限定。接着，根据第二播放参数更新目标数字人直播视频，得到第三数字人直播视频；具体的，可以是通过服务器将目标数字人直播视频的播放参数调节为第二播放参数，从而，得到第三数字人直播视频，基于第三数字人直播视频在数字人直播房间中进行直播。
如此，通过获取数字人直播房间当前时刻的后台直播数据，得到多组用户信息，根据多组用户信息进行大数据分析，得到当前时刻的目标观众群体，获取与目标观众群体对应的互动内容，获取与这些互动内容对应的视频片段，根据该视频片段的目标特征信息调整目标数字人直播视频，得到第三数字人直播视频；基于第三数字人直播视频在数字人直播房间中进行直播；通过对目标观众群体的分析，可以更好地了解他们的需求和喜好，根据目标特征信息调整目标数字人直播视频，从而，提供更加符合目标观众群体口味的内容，提高用户的观看体验。
可选的，步骤S206，所述基于所述目标数字人直播视频在所述数字人直播房间中进行直播，可以包括如下步骤：
B1、在目标观众为在线直播观众时，获取所述目标观众在预设时间段的历史行为数据；所述历史行为数据包括：观看历史、点赞历史、分享历史、送礼物历史；所述目标观众为所述数字人直播房间中送礼物金额超过预设金额的粉丝，或者，送礼物频率超过预设频率的粉丝；
B2、对所述历史行为数据进行分析，得到所述目标观众的直播喜好参数、消费习惯参数；
B3、确定所述目标数字人直播视频中与所述直播喜好参数对应的第一直播片段以及与所述直播喜好参数不对应的第二直播片段；
B4、确定与所述消费习惯参数对应的目标优化参数；
B5、根据所述目标优化参数优化所述第一播放参数，得到第三播放参数；
B6、根据所述第三播放参数优化播放所述第一直播片段，再以所述第一播放参数播放所述第二直播片段。
本申请实施例中，预设时间段、预设金额、预设频率可以是系统默认或是用户设置，优化参数可以包括以下至少一种：播放分辨率优化参数、播放滤镜优化参数等等，在此不做限定。
具体实施中，在目标观众为在线直播观众时，获取目标观众在预设时间段的历史行为数据；历史行为数据包括：观看历史、点赞历史、分享历史、送礼物历史；目标观众为数字人直播房间中送礼物金额超过预设金额的粉丝，或者，送礼物频率超过预设频率的粉丝，举个例子说明下，假设预设频率为每小时3次，则在线直播观众中只要是在一小时内打赏了4次或4次以上的粉丝都可以划分为目标观众，接着，可以通过服务器查找目标观众的观看历史、点赞历史、分享历史、送礼物历史等等，将这些数据汇总整理得到历史行为数据。
接着，对历史行为数据进行分析，得到目标观众的直播喜好参数、消费习惯参数；确定目标数字人直播视频中与直播喜好参数对应的第一直播片段以及与直播喜好参数不对应的第二直播片段；具体的，可以是通过分析历史行为数据，了解目标观众的直播喜好参数和消费习惯参数，直播喜好参数可以包括喜欢的直播类型、喜欢的内容主题、喜欢的数字人主播等等，消费习惯参数可以包括消费的时间、消费时观看的直播内容、消费频率等等；根据直播喜好参数在目标数字人直播视频找出目标观众可能喜欢观看的直播内容，也即第一直播片段，其他的直播内容即为第二直播片段。
进一步的，确定与消费习惯参数对应的目标优化参数；具体的，可以预先存储预设的消费习惯参数与优化参数之间的映射关系，基于该映射关系确定消费习惯参数对应的目标优化参数；根据目标优化参数优化第一播放参数，得到第三播放参数；根据第三播放参数优化播放第一直播片段，再以第一播放参数播放第二直播片段，例如，目标优化参数是0.3，则可以将第一播放参数调节至原先的1.3倍，得到第三播放参数，以第三播放参数播放第一直播片段，在第一直播片段播放完成之后，再以第一播放参数播放第二直播片段。
如此，通过分析目标观众的历史行为数据，得到目标观众的直播喜好参数、消费习惯参数，确定目标数字人直播视频中与直播喜好参数对应的第一直播片段以及与直播喜好参数不对应的第二直播片段；根据消费习惯参数对应的目标优化参数来对第一播放参数进行优化，得到第三播放参数；根据第三播放参数优化播放第一直播片段，再以第一播放参数播放第二直播片段。
可选的，步骤S206，所述方法还可以包括如下步骤：
C1、接收所述目标观众针对所述数字人直播房间送出的礼物信息；所述礼物信息包括：送礼对象和送礼类型；所述送礼对象为所述目标智能数字人模型中的任一智能数字人模型；
C2、确定与所述送礼类型对应的数字人互动视频以及该数字人互动视频的播放时段；
C3、确定与所述送礼对象以及所述送礼类型对应的回应话术内容；
C4、根据所述播放时段截取所述目标数字人直播视频对应的部分视频片段；
C5、将所述部分视频片段与所述数字人互动视频进行融合，得到参考视频片段；
C6、生成与所述送礼对象和所述回应话术内容对应的目标音频内容；
C7、通过所述目标音频内容替换所述参考视频片段中的音频内容，得到回应视频片段；
C8、播放所述回应视频片段，在所述回应视频片段播放完成后，继续播放所述目标数字人直播视频位于所述部分视频片段之后的视频内容。
本申请实施例中，接收目标观众针对数字人直播房间送出的礼物信息；礼物信息包括：送礼对象和送礼类型；送礼对象为目标智能数字人模型中的任一智能数字人模型；确定与送礼类型对应的数字人互动视频以及该数字人互动视频的播放时段；确定与送礼对象以及送礼类型对应的回应话术内容，具体的，可以通过服务器来收集目标观众送出的礼物信息，可以预先存储预设的送礼类型与数字人互动视频之间的映射关系，基于该映射关系确定送礼类型对应的数字人互动视频，该数字人互动视频的播放时段可以是从目标观众送出礼物的那一刻开始，到该数字人互动视频播放完结束，接着，获取与送礼对象以及送礼类型对应的回应话术内容，具体的，可以针对每种送礼类型，设计相应的回应话术，控制送礼对象表达对观众送礼物的感谢之情，例如，送礼对象为智能数字人模型a，则可以控制智能数字人模型a说出“哇，这个道具真的太酷了，谢谢你！”或者“这个礼物真的很少见，谢谢你的慷慨！”等等。
接着，根据播放时段截取目标数字人直播视频对应的部分视频片段；将部分视频片段与数字人互动视频进行融合，得到参考视频片段；生成与送礼对象和回应话术内容对应的目标音频内容；通过目标音频内容替换参考视频片段中的音频内容，得到回应视频片段；具体的，可以从目标数字人直播视频截取出播放时段的部分视频片段，将截取的部分视频片段与数字人互动视频进行融合，可以通过视频编辑技术来实现，将数字人互动视频叠加在部分视频片段上，并进行合成和调整，以实现两者的融合效果，得到参考视频片段；接着，可以通过生成送礼对象朗读回应话术内容得到目标音频内容，再通过视频编辑技术将参考视频片段中的音频内容替换为目标音频内容，得到回应视频片段；最后，播放回应视频片段，在回应视频片段播放完成后，继续播放目标数字人直播视频位于部分视频片段之后的视频内容。
如此，通过获取目标观众送出的礼物信息；礼物信息包括：送礼对象和送礼类型；确定与送礼类型对应的数字人互动视频以及该数字人互动视频的播放时段；确定与送礼对象以及送礼类型对应的回应话术内容；根据播放时段截取目标数字人直播视频对应的部分视频片段；将部分视频片段与数字人互动视频进行融合，得到参考视频片段；生成与送礼对象和回应话术内容对应的目标音频内容；通过目标音频内容替换参考视频片段中的音频内容，得到回应视频片段；播放回应视频片段，在回应视频片段播放完成后，继续播放目标数字人直播视频位于部分视频片段之后的视频内容；通过回应视频片段来和观众进行互动或回应，可以大大提高观众的参与度和观看体验，使他们更愿意在直播中停留更长时间；另外，观众看到自己的礼物得到了回应，会感到被重视和尊重，从而提高他们的观看满意度。
可选的，步骤S206，所述基于所述目标数字人直播视频在所述数字人直播房间中进行直播，还可以包括如下步骤：
D1、检测目标对象是否进入所述数字人直播房间，所述目标对象为预设对象库中的任一对象；
D2、获取所述目标对象的目标生理状态参数；
D3、确定与所述目标生理状态参数对应的目标影响系数；
D4、根据所述目标影响系数对所述第一播放参数进行调整，得到第四播放参数；
D5、根据所述第四播放参数更新所述目标数字人直播视频，得到第四数字人直播视频；
D6、在所述数字人直播房间中以所述第四数字人直播视频进行直播。
本申请实施例中，预设对象库可以是系统默认或是用户设置，生理状态参数可以包括：开心、愤怒、悲伤等等。
具体实施中，检测目标对象是否进入数字人直播房间，目标对象为预设对象库中的任一对象；获取目标对象的目标生理状态参数；确定与目标生理状态参数对应的目标影响系数；具体的，可以是在每个观众进入数字人直播房间时，都将其与预设对象库中的对象进行比对，检测出目标对象，接着，可以通过目标对象在数字人直播房间中的实际行为数据来判断目标对象的目标生理状态参数，实际行为数据可以包括以下至少一种：目标对象发送的弹幕、目标对象的点赞行为、目标对象的转发行为等等，在此不做限定，例如，实际行为数据可以是目标对象进入数字人直播房间之后发送的弹幕，可以从实际行为数据找出一些能够代表目标对象生理状态的词，像是“不舒服”、“高兴”、“不开心”等等，通过这些词进行一个简单的判断，得到目标对象生理状态，接着，可以预先存储预设的生理状态参数与影响系数之间的映射关系，基于该映射关系确定目标生理状态参数对应的目标影响系数。
进一步的，根据目标影响系数对第一播放参数进行调整，得到第四播放参数，例如，例如，目标优化参数是0.2，则可以将第一播放参数调节至原先的1.2倍，得到第四播放参数；根据第四播放参数更新目标数字人直播视频，得到第四数字人直播视频；在数字人直播房间中以第四数字人直播视频进行直播。
可以看出，通过实施本申请实施例，创建处于绿幕状态下的数字人直播房间，数字人直播房间对应M个智能数字人模型；获取计划直播内容，确定M个智能数字人模型中与计划直播内容对应的目标智能数字人模型，以及确定与计划直播内容对应的第一播放参数；计划直播内容为针对预设剧本的直播内容；目标智能数字人模型包括M个智能数字人模型中的至少一个智能数字人模型；在数字人直播房间中基于目标智能数字人模型和第一播放参数生成第一数字人直播视频；获取计划直播内容的背景内容，确定与背景内容对应的目标背景参数；根据目标背景参数对第一数字人直播视频进行背景渲染，得到目标数字人直播视频；基于目标数字人直播视频在数字人直播房间中进行直播。本方法实现了根据计划直播内容和背景内容自动生成目标数字人直播视频的功能，提高了数字人视频直播的灵活性、趣味性和互动性。
请参阅图3，图3是本申请实施例提供的一种基于智能数字人模型的直播装置300的结构示意图，图3所示的基于智能数字人模型的直播装置300，可以应用于图1所示的数字人直播系统中的服务器，所述数字人直播系统包括所述服务器和用户端设备，所述装置包括：创建单元301、获取单元302、生成单元303、直播单元304，其中，
所述创建单元301，用于创建处于绿幕状态下的数字人直播房间，所述数字人直播房间对应M个智能数字人模型；M为正整数；
所述获取单元302，用于获取计划直播内容，确定所述M个智能数字人模型中与所述计划直播内容对应的目标智能数字人模型，以及确定与所述计划直播内容对应的第一播放参数；所述计划直播内容为针对预设剧本的直播内容；所述目标智能数字人模型包括所述M个智能数字人模型中的至少一个智能数字人模型；
所述生成单元303，用于在所述数字人直播房间中基于所述目标智能数字人模型和所述第一播放参数生成第一数字人直播视频；
所述获取单元302，还用于获取所述计划直播内容的背景内容，确定与所述背景内容对应的目标背景参数；
所述生成单元303，还用于根据所述目标背景参数对所述第一数字人直播视频进行背景渲染，得到目标数字人直播视频；
所述直播单元304，用于基于所述目标数字人直播视频在所述数字人直播房间中进行直播。
可选的，所述基于所述目标数字人直播视频在所述数字人直播房间中进行直播，所述直播单元304具体用于：
获取所述数字人直播房间当前时刻的后台直播数据，所述后台直播数据包括在线直播观众的用户信息，得到多组用户信息，每一组用户信息对应一个直播观众；每组用户信息包括：年龄、职业、教育程度、收入水平、消费水平、国籍、社交关系；
根据所述多组用户信息进行大数据分析，得到所述当前时刻的目标观众群体，所述目标观众群体为所述在线直播观众中具备至少同一种特性且人数比例超过预设比例系数的一类群体；
获取与所述目标观众群体对应的互动内容，所述互动内容包括以下至少一种：点赞、评论、转发、送礼物；
截取所述目标数字人直播视频中与所述互动内容对应的至少一个视频片段；
确定所述至少一个视频片段中的目标特征信息，所述目标特征信息包括以下至少一种：关键字、动作、智能数字人模型的标识信息；
确定与所述目标特征信息对应的目标播放调节参数；
根据所述目标播放调节参数对所述第一播放参数进行调整，得到第二播放参数；
根据所述第二播放参数更新所述目标数字人直播视频，得到第三数字人直播视频；
基于所述第三数字人直播视频在所述数字人直播房间中进行直播。
可选的，所述确定与所述背景内容对应的目标背景参数，所述获取单元302具体用于：
对所述背景内容进行分段，得到n个部分背景内容，每一部分背景内容对应一个直播环节；n为正整数；
获取所述n个部分背景内容对应的背景标识信息，得到n个背景标识信息；
确定所述n个背景标识信息中每一背景标识信息对应的背景参数，得到n个背景参数。
可选的，所述根据所述目标背景参数对所述第一数字人直播视频进行背景渲染，得到目标数字人直播视频，所述生成单元303具体用于：
将所述第一数字人直播视频分成n个片段，得到n个数字人直播视频片段，所述n个数字人直播视频片段与所述n个背景参数一一对应；
根据所述n个背景参数对所述n个数字人直播视频片段中相应的数字人直播视频片段进行渲染，得到渲染后的所述n个数字人直播视频片段；
将渲染后的所述n个数字人直播视频片段合成所述目标数字人直播视频。
可选的，所述基于所述目标数字人直播视频在所述数字人直播房间中进行直播，所述直播单元304还具体用于：
在目标观众为在线直播观众时，获取所述目标观众在预设时间段的历史行为数据；所述历史行为数据包括：观看历史、点赞历史、分享历史、送礼物历史；所述目标观众为所述数字人直播房间中送礼物金额超过预设金额的粉丝，或者，送礼物频率超过预设频率的粉丝；
对所述历史行为数据进行分析，得到所述目标观众的直播喜好参数、消费习惯参数；
确定所述目标数字人直播视频中与所述直播喜好参数对应的第一直播片段以及与所述直播喜好参数不对应的第二直播片段；
确定与所述消费习惯参数对应的目标优化参数；
根据所述目标优化参数优化所述第一播放参数，得到第三播放参数；
根据所述第三播放参数优化播放所述第一直播片段，再以所述第一播放参数播放所述第二直播片段。
可选的，所述基于智能数字人模型的直播装置300还具体用于：
接收所述目标观众针对所述数字人直播房间送出的礼物信息；所述礼物信息包括：送礼对象和送礼类型；所述送礼对象为所述目标智能数字人模型中的任一智能数字人模型；
确定与所述送礼类型对应的数字人互动视频以及该数字人互动视频的播放时段；
确定与所述送礼对象以及所述送礼类型对应的回应话术内容；
根据所述播放时段截取所述目标数字人直播视频对应的部分视频片段；
将所述部分视频片段与所述数字人互动视频进行融合，得到参考视频片段；
生成与所述送礼对象和所述回应话术内容对应的目标音频内容；
通过所述目标音频内容替换所述参考视频片段中的音频内容，得到回应视频片段；
播放所述回应视频片段，在所述回应视频片段播放完成后，继续播放所述目标数字人直播视频位于所述部分视频片段之后的视频内容。
可选的，所述基于所述目标数字人直播视频在所述数字人直播房间中进行直播，所述直播单元304还具体用于：
检测目标对象是否进入所述数字人直播房间，所述目标对象为预设对象库中的任一对象；
获取所述目标对象的目标生理状态参数；
确定与所述目标生理状态参数对应的目标影响系数；
根据所述目标影响系数对所述第一播放参数进行调整，得到第四播放参数；
根据所述第四播放参数更新所述目标数字人直播视频，得到第四数字人直播视频；
在所述数字人直播房间中以所述第四数字人直播视频进行直播。
具体实现中，本发明实施例中所描述的基于智能数字人模型的直播装置300还可以执行上述本发明实施例提供的基于智能数字人模型的直播方法中所描述的其他实施方式，在此不再赘述。
请参阅图4，图4是本申请实施例提供的一种电子设备的结构示意图，该电子设备包括处理器、存储器以及一个或多个程序，该电子设备还可以包括通信接口，所述处理器、存储器和通信接口通过总线相互连接，该电子设备可以包括图1所示的数字人直播系统中的服务器，所述数字人直播系统包括所述服务器和用户端设备，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，本申请实施例中，上述程序包括用于执行以下步骤的指令：
创建处于绿幕状态下的数字人直播房间，所述数字人直播房间对应M个智能数字人模型；M为正整数；
获取计划直播内容，确定所述M个智能数字人模型中与所述计划直播内容对应的目标智能数字人模型，以及确定与所述计划直播内容对应的第一播放参数；所述计划直播内容为针对预设剧本的直播内容；所述目标智能数字人模型包括所述M个智能数字人模型中的至少一个智能数字人模型；
在所述数字人直播房间中基于所述目标智能数字人模型和所述第一播放参数生成第一数字人直播视频；
获取所述计划直播内容的背景内容，确定与所述背景内容对应的目标背景参数；
根据所述目标背景参数对所述第一数字人直播视频进行背景渲染，得到目标数字人直播视频；
基于所述目标数字人直播视频在所述数字人直播房间中进行直播。
可选的，在所述基于所述目标数字人直播视频在所述数字人直播房间中进行直播方面，上述程序还包括用于执行以下步骤的指令：
获取所述数字人直播房间当前时刻的后台直播数据，所述后台直播数据包括在线直播观众的用户信息，得到多组用户信息，每一组用户信息对应一个直播观众；每组用户信息包括：年龄、职业、教育程度、收入水平、消费水平、国籍、社交关系；
根据所述多组用户信息进行大数据分析，得到所述当前时刻的目标观众群体，所述目标观众群体为所述在线直播观众中具备至少同一种特性且人数比例超过预设比例系数的一类群体；
获取与所述目标观众群体对应的互动内容，所述互动内容包括以下至少一种：点赞、评论、转发、送礼物；
截取所述目标数字人直播视频中与所述互动内容对应的至少一个视频片段；
确定所述至少一个视频片段中的目标特征信息，所述目标特征信息包括以下至少一种：关键字、动作、智能数字人模型的标识信息；
确定与所述目标特征信息对应的目标播放调节参数；
根据所述目标播放调节参数对所述第一播放参数进行调整，得到第二播放参数；
根据所述第二播放参数更新所述目标数字人直播视频，得到第三数字人直播视频；
基于所述第三数字人直播视频在所述数字人直播房间中进行直播。
可选的，在所述确定与所述背景内容对应的目标背景参数方面，上述程序还包括用于执行以下步骤的指令：
对所述背景内容进行分段，得到n个部分背景内容，每一部分背景内容对应一个直播环节；n为正整数；
获取所述n个部分背景内容对应的背景标识信息，得到n个背景标识信息；
确定所述n个背景标识信息中每一背景标识信息对应的背景参数，得到n个背景参数。
可选的，在所述根据所述目标背景参数对所述第一数字人直播视频进行背景渲染，得到目标数字人直播视频方面，上述程序还包括用于执行以下步骤的指令：
将所述第一数字人直播视频分成n个片段，得到n个数字人直播视频片段，所述n个数字人直播视频片段与所述n个背景参数一一对应；
根据所述n个背景参数对所述n个数字人直播视频片段中相应的数字人直播视频片段进行渲染，得到渲染后的所述n个数字人直播视频片段；
将渲染后的所述n个数字人直播视频片段合成所述目标数字人直播视频。
可选的，在所述基于所述目标数字人直播视频在所述数字人直播房间中进行直播方面，上述程序还包括用于执行以下步骤的指令：
在目标观众为在线直播观众时，获取所述目标观众在预设时间段的历史行为数据；所述历史行为数据包括：观看历史、点赞历史、分享历史、送礼物历史；所述目标观众为所述数字人直播房间中送礼物金额超过预设金额的粉丝，或者，送礼物频率超过预设频率的粉丝；
对所述历史行为数据进行分析，得到所述目标观众的直播喜好参数、消费习惯参数；
确定所述目标数字人直播视频中与所述直播喜好参数对应的第一直播片段以及与所述直播喜好参数不对应的第二直播片段；
确定与所述消费习惯参数对应的目标优化参数；
根据所述目标优化参数优化所述第一播放参数，得到第三播放参数；
根据所述第三播放参数优化播放所述第一直播片段，再以所述第一播放参数播放所述第二直播片段。
可选的，上述程序还包括用于执行以下步骤的指令：
接收所述目标观众针对所述数字人直播房间送出的礼物信息；所述礼物信息包括：送礼对象和送礼类型；所述送礼对象为所述目标智能数字人模型中的任一智能数字人模型；
确定与所述送礼类型对应的数字人互动视频以及该数字人互动视频的播放时段；
确定与所述送礼对象以及所述送礼类型对应的回应话术内容；
根据所述播放时段截取所述目标数字人直播视频对应的部分视频片段；
将所述部分视频片段与所述数字人互动视频进行融合，得到参考视频片段；
生成与所述送礼对象和所述回应话术内容对应的目标音频内容；
通过所述目标音频内容替换所述参考视频片段中的音频内容，得到回应视频片段；
播放所述回应视频片段，在所述回应视频片段播放完成后，继续播放所述目标数字人直播视频位于所述部分视频片段之后的视频内容。
可选的，在所述基于所述目标数字人直播视频在所述数字人直播房间中进行直播方面，上述程序还包括用于执行以下步骤的指令：
检测目标对象是否进入所述数字人直播房间，所述目标对象为预设对象库中的任一对象；
获取所述目标对象的目标生理状态参数；
确定与所述目标生理状态参数对应的目标影响系数；
根据所述目标影响系数对所述第一播放参数进行调整，得到第四播放参数；
根据所述第四播放参数更新所述目标数字人直播视频，得到第四数字人直播视频；
在所述数字人直播房间中以所述第四数字人直播视频进行直播。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (5)

1.一种基于智能数字人模型的直播方法，其特征在于，所述方法包括：
创建处于绿幕状态下的数字人直播房间，所述数字人直播房间对应M个智能数字人模型；M为正整数；
获取计划直播内容，确定所述M个智能数字人模型中与所述计划直播内容对应的目标智能数字人模型，以及确定与所述计划直播内容对应的第一播放参数；所述计划直播内容为针对预设剧本的直播内容；所述目标智能数字人模型包括所述M个智能数字人模型中的至少一个智能数字人模型；
在所述数字人直播房间中基于所述目标智能数字人模型和所述第一播放参数生成第一数字人直播视频；
获取所述计划直播内容的背景内容，确定与所述背景内容对应的目标背景参数；
根据所述目标背景参数对所述第一数字人直播视频进行背景渲染，得到目标数字人直播视频；
基于所述目标数字人直播视频在所述数字人直播房间中进行直播；
其中，所述基于所述目标数字人直播视频在所述数字人直播房间中进行直播，包括：
获取所述数字人直播房间当前时刻的后台直播数据，所述后台直播数据包括在线直播观众的用户信息，得到多组用户信息，每一组用户信息对应一个直播观众；每组用户信息包括：年龄、职业、教育程度、收入水平、消费水平、国籍、社交关系；
根据所述多组用户信息进行大数据分析，得到所述当前时刻的目标观众群体，所述目标观众群体为所述在线直播观众中具备至少同一种特性且人数比例超过预设比例系数的一类群体；
获取与所述目标观众群体对应的互动内容，所述互动内容包括以下至少一种：点赞、评论、转发、送礼物；
截取所述目标数字人直播视频中与所述互动内容对应的至少一个视频片段；
确定所述至少一个视频片段中的目标特征信息，所述目标特征信息包括以下至少一种：关键字、动作、智能数字人模型的标识信息；
确定与所述目标特征信息对应的目标播放调节参数；
根据所述目标播放调节参数对所述第一播放参数进行调整，得到第二播放参数；
根据所述第二播放参数更新所述目标数字人直播视频，得到第三数字人直播视频；
基于所述第三数字人直播视频在所述数字人直播房间中进行直播；
其中，所述确定与所述背景内容对应的目标背景参数，包括：
对所述背景内容进行分段，得到n个部分背景内容，每一部分背景内容对应一个直播环节；n为正整数；
获取所述n个部分背景内容对应的背景标识信息，得到n个背景标识信息；
确定所述n个背景标识信息中每一背景标识信息对应的背景参数，得到n个背景参数；
其中，所述根据所述目标背景参数对所述第一数字人直播视频进行背景渲染，得到目标数字人直播视频，包括：
将所述第一数字人直播视频分成n个片段，得到n个数字人直播视频片段，所述n个数字人直播视频片段与所述n个背景参数一一对应；
根据所述n个背景参数对所述n个数字人直播视频片段中相应的数字人直播视频片段进行渲染，得到渲染后的所述n个数字人直播视频片段；
将渲染后的所述n个数字人直播视频片段合成所述目标数字人直播视频；
其中，所述基于所述目标数字人直播视频在所述数字人直播房间中进行直播，包括：
在目标观众为在线直播观众时，获取所述目标观众在预设时间段的历史行为数据；所述历史行为数据包括：观看历史、点赞历史、分享历史、送礼物历史；所述目标观众为所述数字人直播房间中送礼物金额超过预设金额的粉丝，或者，送礼物频率超过预设频率的粉丝；
对所述历史行为数据进行分析，得到所述目标观众的直播喜好参数、消费习惯参数；
确定所述目标数字人直播视频中与所述直播喜好参数对应的第一直播片段以及与所述直播喜好参数不对应的第二直播片段；
确定与所述消费习惯参数对应的目标优化参数；
根据所述目标优化参数优化所述第一播放参数，得到第三播放参数；
根据所述第三播放参数优化播放所述第一直播片段，再以所述第一播放参数播放所述第二直播片段；
其中，所述方法还包括：
接收所述目标观众针对所述数字人直播房间送出的礼物信息；所述礼物信息包括：送礼对象和送礼类型；所述送礼对象为所述目标智能数字人模型中的任一智能数字人模型；
确定与所述送礼类型对应的数字人互动视频以及该数字人互动视频的播放时段；
确定与所述送礼对象以及所述送礼类型对应的回应话术内容；
根据所述播放时段截取所述目标数字人直播视频对应的部分视频片段；
将所述部分视频片段与所述数字人互动视频进行融合，得到参考视频片段；
生成与所述送礼对象和所述回应话术内容对应的目标音频内容；
通过所述目标音频内容替换所述参考视频片段中的音频内容，得到回应视频片段；
播放所述回应视频片段，在所述回应视频片段播放完成后，继续播放所述目标数字人直播视频位于所述部分视频片段之后的视频内容。
2.如权利要求1所述的方法，其特征在于，所述基于所述目标数字人直播视频在所述数字人直播房间中进行直播，包括：
检测目标对象是否进入所述数字人直播房间，所述目标对象为预设对象库中的任一对象；
获取所述目标对象的目标生理状态参数；
确定与所述目标生理状态参数对应的目标影响系数；
根据所述目标影响系数对所述第一播放参数进行调整，得到第四播放参数；
根据所述第四播放参数更新所述目标数字人直播视频，得到第四数字人直播视频；
在所述数字人直播房间中以所述第四数字人直播视频进行直播。
3.一种基于智能数字人模型的直播装置，其特征在于，所述装置包括：创建单元、获取单元、生成单元、直播单元，其中，
所述创建单元，用于创建处于绿幕状态下的数字人直播房间，所述数字人直播房间对应M个智能数字人模型；M为正整数；
所述获取单元，用于获取计划直播内容，确定所述M个智能数字人模型中与所述计划直播内容对应的目标智能数字人模型，以及确定与所述计划直播内容对应的第一播放参数；所述计划直播内容为针对预设剧本的直播内容；所述目标智能数字人模型包括所述M个智能数字人模型中的至少一个智能数字人模型；
所述生成单元，用于在所述数字人直播房间中基于所述目标智能数字人模型和所述第一播放参数生成第一数字人直播视频；
所述获取单元，还用于获取所述计划直播内容的背景内容，确定与所述背景内容对应的目标背景参数；
所述生成单元，还用于根据所述目标背景参数对所述第一数字人直播视频进行背景渲染，得到目标数字人直播视频；
所述直播单元，用于基于所述目标数字人直播视频在所述数字人直播房间中进行直播；
其中，所述基于所述目标数字人直播视频在所述数字人直播房间中进行直播，包括：
获取所述数字人直播房间当前时刻的后台直播数据，所述后台直播数据包括在线直播观众的用户信息，得到多组用户信息，每一组用户信息对应一个直播观众；每组用户信息包括：年龄、职业、教育程度、收入水平、消费水平、国籍、社交关系；
根据所述多组用户信息进行大数据分析，得到所述当前时刻的目标观众群体，所述目标观众群体为所述在线直播观众中具备至少同一种特性且人数比例超过预设比例系数的一类群体；
获取与所述目标观众群体对应的互动内容，所述互动内容包括以下至少一种：点赞、评论、转发、送礼物；
截取所述目标数字人直播视频中与所述互动内容对应的至少一个视频片段；
确定所述至少一个视频片段中的目标特征信息，所述目标特征信息包括以下至少一种：关键字、动作、智能数字人模型的标识信息；
确定与所述目标特征信息对应的目标播放调节参数；
根据所述目标播放调节参数对所述第一播放参数进行调整，得到第二播放参数；
根据所述第二播放参数更新所述目标数字人直播视频，得到第三数字人直播视频；
基于所述第三数字人直播视频在所述数字人直播房间中进行直播；
其中，所述确定与所述背景内容对应的目标背景参数，包括：
对所述背景内容进行分段，得到n个部分背景内容，每一部分背景内容对应一个直播环节；n为正整数；
获取所述n个部分背景内容对应的背景标识信息，得到n个背景标识信息；
确定所述n个背景标识信息中每一背景标识信息对应的背景参数，得到n个背景参数；
其中，所述根据所述目标背景参数对所述第一数字人直播视频进行背景渲染，得到目标数字人直播视频，包括：
将所述第一数字人直播视频分成n个片段，得到n个数字人直播视频片段，所述n个数字人直播视频片段与所述n个背景参数一一对应；
根据所述n个背景参数对所述n个数字人直播视频片段中相应的数字人直播视频片段进行渲染，得到渲染后的所述n个数字人直播视频片段；
将渲染后的所述n个数字人直播视频片段合成所述目标数字人直播视频；
其中，所述基于所述目标数字人直播视频在所述数字人直播房间中进行直播，包括：
在目标观众为在线直播观众时，获取所述目标观众在预设时间段的历史行为数据；所述历史行为数据包括：观看历史、点赞历史、分享历史、送礼物历史；所述目标观众为所述数字人直播房间中送礼物金额超过预设金额的粉丝，或者，送礼物频率超过预设频率的粉丝；
对所述历史行为数据进行分析，得到所述目标观众的直播喜好参数、消费习惯参数；
确定所述目标数字人直播视频中与所述直播喜好参数对应的第一直播片段以及与所述直播喜好参数不对应的第二直播片段；
确定与所述消费习惯参数对应的目标优化参数；
根据所述目标优化参数优化所述第一播放参数，得到第三播放参数；
根据所述第三播放参数优化播放所述第一直播片段，再以所述第一播放参数播放所述第二直播片段；
其中，所述基于智能数字人模型的直播装置还用于：
接收所述目标观众针对所述数字人直播房间送出的礼物信息；所述礼物信息包括：送礼对象和送礼类型；所述送礼对象为所述目标智能数字人模型中的任一智能数字人模型；
确定与所述送礼类型对应的数字人互动视频以及该数字人互动视频的播放时段；
确定与所述送礼对象以及所述送礼类型对应的回应话术内容；
根据所述播放时段截取所述目标数字人直播视频对应的部分视频片段；
将所述部分视频片段与所述数字人互动视频进行融合，得到参考视频片段；
生成与所述送礼对象和所述回应话术内容对应的目标音频内容；
通过所述目标音频内容替换所述参考视频片段中的音频内容，得到回应视频片段；
播放所述回应视频片段，在所述回应视频片段播放完成后，继续播放所述目标数字人直播视频位于所述部分视频片段之后的视频内容。
4.一种电子设备，其特征在于，包括：处理器、存储器，所述存储器用于存储一个或多个程序，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1或2所述的方法中的步骤。
5.一种计算机可读存储介质，其特征在于，存储计算机程序，其中，所述计算机程序使得计算机执行如权利要求1或2所述的方法。
CN202311676284.1A 2023-12-08 2023-12-08 基于智能数字人模型的直播方法、装置及存储介质 Active CN117376596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311676284.1A CN117376596B (zh) 2023-12-08 2023-12-08 基于智能数字人模型的直播方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311676284.1A CN117376596B (zh) 2023-12-08 2023-12-08 基于智能数字人模型的直播方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN117376596A CN117376596A (zh) 2024-01-09
CN117376596B true CN117376596B (zh) 2024-04-26

Family

ID=89391424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311676284.1A Active CN117376596B (zh) 2023-12-08 2023-12-08 基于智能数字人模型的直播方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN117376596B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118334254B (zh) * 2024-06-12 2024-09-13 南京上古网络科技有限公司 基于人工智能的ai数字人平台交互系统及方法

Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110545452A (zh) * 2018-05-28 2019-12-06 阿里巴巴集团控股有限公司 网络直播方法、装置、终端及服务器
CN110662083A (zh) * 2019-09-30 2020-01-07 北京达佳互联信息技术有限公司 数据处理方法、装置、电子设备及存储介质
CN112235635A (zh) * 2019-07-15 2021-01-15 腾讯科技（北京）有限公司 动画显示方法、装置、电子设备及存储介质
WO2021047420A1 (zh) * 2019-09-11 2021-03-18 广州华多网络科技有限公司 虚拟礼物特效的渲染方法和装置、直播系统
CN113473159A (zh) * 2020-03-11 2021-10-01 广州虎牙科技有限公司 数字人直播方法、装置、直播管理设备及可读存储介质
CN113542801A (zh) * 2021-06-29 2021-10-22 北京百度网讯科技有限公司 主播标识的生成方法、装置、设备、存储介质及程序产品
CN113613083A (zh) * 2021-08-19 2021-11-05 乐视新生代(北京)文化传媒有限公司 视频播放方法、装置、设备和计算机可读存储介质
CN113630643A (zh) * 2020-05-09 2021-11-09 中央电视台 媒体流收录方法、装置及计算机存储介质、电子设备
CN113766253A (zh) * 2021-01-04 2021-12-07 北京沃东天骏信息技术有限公司 基于虚拟主播的直播方法、装置、设备及存储介质
CN114025186A (zh) * 2021-10-28 2022-02-08 广州方硅信息技术有限公司 直播间内的虚拟语音互动方法、装置及计算机设备
CN114071174A (zh) * 2021-11-15 2022-02-18 咪咕文化科技有限公司 直播内容的处理方法、电子设备及可读存储介质
WO2022142650A1 (zh) * 2020-12-29 2022-07-07 深圳Tcl数字技术有限公司 基于视频录制的信息推送方法、智能电视及存储介质
CN114979682A (zh) * 2022-04-19 2022-08-30 阿里巴巴（中国）有限公司 多主播虚拟直播方法以及装置
CN115022663A (zh) * 2022-06-15 2022-09-06 北京奇艺世纪科技有限公司 直播流的处理方法、装置、电子设备、以及介质
CN115426520A (zh) * 2022-08-30 2022-12-02 无限魔方(深圳)科技有限公司 一种对直播间的直播场景进行布置的方法、装置及设备
CN115423905A (zh) * 2022-08-30 2022-12-02 阿里巴巴（中国）有限公司 数字人驱动方法、系统、设备和存储介质
WO2023056623A1 (en) * 2021-10-09 2023-04-13 Li Siran Sexual stimulation method and sexual stimulation apparatus
CN116168134A (zh) * 2022-12-28 2023-05-26 北京百度网讯科技有限公司 数字人的控制方法、装置、电子设备以及存储介质
CN116389777A (zh) * 2023-03-10 2023-07-04 启朔(深圳)科技有限公司 云端数字人直播方法、云端设备、主播端设备和系统
CN116756285A (zh) * 2023-06-20 2023-09-15 北京花房科技有限公司 虚拟机器人的互动方法、设备和存储介质
CN116761009A (zh) * 2023-06-28 2023-09-15 广州方硅信息技术有限公司 元宇宙全景直播场景下的视频播放方法、装置及直播系统
CN116800988A (zh) * 2022-03-14 2023-09-22 北京字跳网络技术有限公司 视频生成方法、装置、设备、存储介质和程序产品
CN116828246A (zh) * 2023-06-29 2023-09-29 中科智宏(北京)科技有限公司 一种数字人直播交互方法、系统、设备及存储介质
CN117041623A (zh) * 2023-08-08 2023-11-10 京东科技信息技术有限公司 一种数字人直播方法和装置
CN117032520A (zh) * 2023-07-11 2023-11-10 咪咕文化科技有限公司 基于数字人的视频播放方法、装置、电子设备及存储介质
CN117119207A (zh) * 2022-05-23 2023-11-24 南京硅基智能科技有限公司 数字人直播方法

Patent Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110545452A (zh) * 2018-05-28 2019-12-06 阿里巴巴集团控股有限公司 网络直播方法、装置、终端及服务器
CN112235635A (zh) * 2019-07-15 2021-01-15 腾讯科技（北京）有限公司 动画显示方法、装置、电子设备及存储介质
WO2021047420A1 (zh) * 2019-09-11 2021-03-18 广州华多网络科技有限公司 虚拟礼物特效的渲染方法和装置、直播系统
CN110662083A (zh) * 2019-09-30 2020-01-07 北京达佳互联信息技术有限公司 数据处理方法、装置、电子设备及存储介质
CN113473159A (zh) * 2020-03-11 2021-10-01 广州虎牙科技有限公司 数字人直播方法、装置、直播管理设备及可读存储介质
CN113630643A (zh) * 2020-05-09 2021-11-09 中央电视台 媒体流收录方法、装置及计算机存储介质、电子设备
WO2022142650A1 (zh) * 2020-12-29 2022-07-07 深圳Tcl数字技术有限公司 基于视频录制的信息推送方法、智能电视及存储介质
CN113766253A (zh) * 2021-01-04 2021-12-07 北京沃东天骏信息技术有限公司 基于虚拟主播的直播方法、装置、设备及存储介质
CN113542801A (zh) * 2021-06-29 2021-10-22 北京百度网讯科技有限公司 主播标识的生成方法、装置、设备、存储介质及程序产品
CN113613083A (zh) * 2021-08-19 2021-11-05 乐视新生代(北京)文化传媒有限公司 视频播放方法、装置、设备和计算机可读存储介质
WO2023056623A1 (en) * 2021-10-09 2023-04-13 Li Siran Sexual stimulation method and sexual stimulation apparatus
CN114025186A (zh) * 2021-10-28 2022-02-08 广州方硅信息技术有限公司 直播间内的虚拟语音互动方法、装置及计算机设备
CN114071174A (zh) * 2021-11-15 2022-02-18 咪咕文化科技有限公司 直播内容的处理方法、电子设备及可读存储介质
CN116800988A (zh) * 2022-03-14 2023-09-22 北京字跳网络技术有限公司 视频生成方法、装置、设备、存储介质和程序产品
CN114979682A (zh) * 2022-04-19 2022-08-30 阿里巴巴（中国）有限公司 多主播虚拟直播方法以及装置
CN117119207A (zh) * 2022-05-23 2023-11-24 南京硅基智能科技有限公司 数字人直播方法
CN115022663A (zh) * 2022-06-15 2022-09-06 北京奇艺世纪科技有限公司 直播流的处理方法、装置、电子设备、以及介质
CN115423905A (zh) * 2022-08-30 2022-12-02 阿里巴巴（中国）有限公司 数字人驱动方法、系统、设备和存储介质
CN115426520A (zh) * 2022-08-30 2022-12-02 无限魔方(深圳)科技有限公司 一种对直播间的直播场景进行布置的方法、装置及设备
CN116168134A (zh) * 2022-12-28 2023-05-26 北京百度网讯科技有限公司 数字人的控制方法、装置、电子设备以及存储介质
CN116389777A (zh) * 2023-03-10 2023-07-04 启朔(深圳)科技有限公司 云端数字人直播方法、云端设备、主播端设备和系统
CN116756285A (zh) * 2023-06-20 2023-09-15 北京花房科技有限公司 虚拟机器人的互动方法、设备和存储介质
CN116761009A (zh) * 2023-06-28 2023-09-15 广州方硅信息技术有限公司 元宇宙全景直播场景下的视频播放方法、装置及直播系统
CN116828246A (zh) * 2023-06-29 2023-09-29 中科智宏(北京)科技有限公司 一种数字人直播交互方法、系统、设备及存储介质
CN117032520A (zh) * 2023-07-11 2023-11-10 咪咕文化科技有限公司 基于数字人的视频播放方法、装置、电子设备及存储介质
CN117041623A (zh) * 2023-08-08 2023-11-10 京东科技信息技术有限公司 一种数字人直播方法和装置

Also Published As

Publication number Publication date
CN117376596A (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
CN112399200B (zh) 一种直播中信息推荐的方法及其设备、存储介质
KR101983322B1 (ko) 관심 기반 비디오 스트림 선택 기법
CN112087655B (zh) 赠送虚拟礼物的方法、装置及电子设备
US20150172787A1 (en) Customized movie trailers
US20140337868A1 (en) Audience-aware advertising
CN110062270B (zh) 广告展示方法和装置
CN117376596B (zh) 基于智能数字人模型的直播方法、装置及存储介质
US11343595B2 (en) User interface elements for content selection in media narrative presentation
CN110072116A (zh) 虚拟主播推荐方法、装置及直播服务器
CN112562705A (zh) 直播互动方法、装置、电子设备及可读存储介质
CN109474562B (zh) 标识的显示方法和装置、请求的响应方法和装置
KR20070104614A (ko) 간접 광고들을 포함하는 예고편들의 자동적인 생성
CN109788345A (zh) 直播控制方法、装置、直播设备及可读存储介质
CN109479157A (zh) 促进内容流的观看者之间的交互的方法、系统和介质
US20170041648A1 (en) System and method for supplemental content selection and delivery
CN108737903B (zh) 一种多媒体处理系统及多媒体处理方法
CN114025188B (zh) 直播广告展示方法、系统、装置、终端及可读存储介质
US20170041644A1 (en) Metadata delivery system for rendering supplementary content
CN113010710A (zh) 弹幕展示方法及装置
CN107547922B (zh) 信息处理方法、装置、系统及计算机可读存储介质
CN107659545B (zh) 一种媒体信息处理方法及媒体信息处理系统、电子设备
CN116340813B (zh) 一种用于直播平台的用户行为分析系统及方法
CN115190366A (zh) 一种信息展示方法、装置、电子设备、计算机可读介质
CN114358805A (zh) 媒体文件的互动方法和装置、存储介质及电子设备
CN108769831A (zh) 视频预告的生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant