CN115022668B - 基于直播的视频生成方法和装置、设备、介质 - Google Patents

Abstract

本申请实施例提供了一种基于直播的视频生成方法和装置、设备、介质，属于计算机技术领域。该方法包括：获取直播参与对象的对象信息；获取直播产品的产品信息；根据对象信息和产品主题从预设数据库提取原始图像；获取视频直播中的原始视频图像；对原始视频图像进行分割处理，得到原始前景图像和原始背景图像；根据原始背景图像对原始图像进行尺寸调整，以得到目标背景图像；对所述原始前景图像和所述目标背景图像进行图像融合，得到目标视频图像；其中，所述目标视频图像用于替换视频直播中的原始视频图像。本申请实施例能够通过对象信息和产品信息实现对视频图像的背景图像的灵活选取，大幅提高了视频直播的灵活性。

Description

基于直播的视频生成方法和装置、设备、介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种基于直播的视频生成方法和装置、设备、介质。

背景技术

目前，逐步通过视频直播等线上方式进行产品宣讲、人员招聘等越来越普遍。在视频直播中，首先是要确定直播间。一般是根据不同的布景需求搭建实际场景，从而确定直播间。但直播间确定后就无法再动态调整，导致直播过程中的灵活性较差。例如，无法根据直播过程中的主播需求而动态调整直播间，灵活性较差，影响用户体验。因此，如何提供一种基于直播的视频生成方法，能够提高直播的灵活性，成为了亟待解决的技术问题。

发明内容

本申请实施例的主要目的在于提出一种基于直播的视频生成方法和装置、设备、介质，能够提高直播的灵活性。

为实现上述目的，本申请实施例的第一方面提出了一种基于直播的视频生成方法，所述方法包括：

获取直播参与对象的对象信息；

获取直播产品的产品信息；其中，所述产品信息包括产品主题；

根据所述对象信息和所述产品主题从预设数据库提取原始图像；

获取视频直播中的原始视频图像；

对所述原始视频图像进行分割处理，得到原始前景图像和原始背景图像；

根据所述原始背景图像对所述原始图像进行尺寸调整，以得到目标背景图像；

对所述原始前景图像和所述目标背景图像进行图像融合，得到目标视频图像；其中，所述目标视频图像用于替换视频直播中的原始视频图像。

在一些实施例，所述原始视频图像包括多个原始像素，所述对所述原始视频图像进行分割处理，以得到原始前景图像和原始背景图像，包括：

计算每一所述原始像素的混合K个高斯分布；其中，K为正整数；

根据所述混合K个高斯分布确定每一所述原始像素的RGB色域值的停留时长；

根据所述停留时长确定每一所述原始像素的停留值；

根据所述停留值将所述原始视频图像的前景和背景进行分割，以得到所述原始前景图像和所述原始背景图像。

在一些实施例，所述预设数据库存储有原始插图，所述目标视频图像包括至少两个图像区域，在对所述原始前景图像和所述目标背景图像进行图像融合，得到目标视频图像之后，所述方法还包括：更新所述目标视频图像，具体包括：

检测每一所述图像区域与所述原始前景图像的重合状态；其中，所述重合状态包括第一状态，所述第一状态用于表示所述图像区域与所述原始前景图像之间不存在重合的区域；

根据所述第一状态从至少两个所述图像区域筛选出目标区域；

检测所述目标区域的当前显示画面；

若所述当前显示画面为第一画面，则根据所述产品主题从所述原始插图提取至少两个初步候选插图；其中所述第一画面用于表示所述当前显示画面不显示所述原始插图；

从至少两个所述初步候选插图随机选取一个插图作为目标候选插图；

将所述目标候选插图显示在所述目标区域，以更新所述当前显示画面。

在一些实施例，所述更新所述目标视频图像，还包括：

获取所述视频直播中主播对象的语音数据；

将所述语音数据进行语音识别处理，得到文本数据；

将所述文本数据和预设的关键词进行匹配，以得到所述关键词的匹配信息；

根据所述匹配信息从所述原始插图提取目标匹配插图；

将所述目标匹配插图替换所述目标候选插图并显示在所述目标区域，以更新所述当前显示画面。

在一些实施例，所述检测每一所述图像区域与所述原始前景图像的重合状态，包括：

提取所述原始前景图像的前景坐标，根据所述前景坐标计算得到所述原始前景图像对应的最大矩形区域；

将每一所述图像区域与所述最大矩形区域进行比较，得到比较结果；

若所述比较结果为第一结果，确定所述重合状态为所述第一状态；其中，所述第一结果用于表示所述图像区域与所述最大矩形区域之间不存在重合的区域。

在一些实施例，所述将每一所述图像区域与所述最大矩形区域进行比较，得到比较结果，包括：

获取每一所述图像区域的区域坐标；其中，所述区域坐标包括最小区域横坐标、最小区域纵坐标、最大区域横坐标和最大区域纵坐标；

获取所述最大矩形区域的矩形坐标；其中，所述矩形坐标包括最小矩形横坐标、最小矩形纵坐标、最大矩形横坐标和最大矩形纵坐标；

根据所述矩形坐标得到所述比较结果；其中，若所述矩形坐标满足以下四个条件的其中一个，则所述比较结果为所述第一结果：

所述最小区域横坐标大于所述最大矩形横坐标、所述最大区域横坐标小于所述最小矩形横坐标、所述最小区域纵坐标大于所述最大矩形纵坐标、最大区域纵坐标小于最小矩形纵坐标。

在一些实施例，所述匹配信息包括关联度，所述将所述文本数据和预设的关键词进行匹配，以得到所述关键词的匹配信息，包括：

对所述文本数据进行语义解析，以得到多个分词；

计算每一所述分词和所述关键词之间的相似度；

根据所述相似度确定每一所述关键词的匹配分值；

统计每一所述分词在所述文本数据中出现的次数，以得到关联权重；

根据所述关联权重和所述匹配分值进行计算，以得到每一所述关键词的关联度。

为实现上述目的，本申请实施例的第二方面提出了一种基于直播的视频生成装置，所述装置包括：

对象信息获取模块，用于获取直播参与对象的对象信息；

产品信息获取模块，用于获取直播产品的产品信息；其中，所述产品信息包括产品主题；

图像提取模块，用于根据所述对象信息和所述产品主题从预设数据库提取原始图像；

原始视频获取模块，用于获取视频直播中的原始视频图像；

分割处理模块，用于对所述原始视频图像进行分割处理，得到原始前景图像和原始背景图像；

尺寸调整模块，用于根据所述原始背景图像对所述原始图像进行尺寸调整，以得到目标背景图像；

图像融合模块，用于对所述原始前景图像和所述目标背景图像进行图像融合，得到目标视频图像；其中，所述目标视频图像用于替换视频直播中的原始视频图像。

为实现上述目的，本申请实施例的第三方面提出了一种计算机设备，所述计算机设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现上述第一方面所述的方法。

为实现上述目的，本申请实施例的第四方面提出了一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第一方面所述的方法。

本申请提出的基于直播的视频生成方法和装置、设备、介质，通过对象信息和产品信息确定原始图像并根据原始图像得到目标背景图像，目的是使得到符合参与对象和产品主题的视频背景图像。将原始图像经尺寸调整后得到目标背景图像，可以使原始前景图像和目标背景图像进行图像融合得到的目标视频图像的清晰度更高。本申请实施例通过对象信息和产品信息实现对视频图像的背景图像的灵活选取，大幅提高了视频直播的灵活性。另外，由于在图像融合之前，通过原始背景图像对原始图像进行了尺寸调整，提高了目标视频图像的清晰度。

附图说明

图1是本申请实施例提供的基于直播的视频生成方法的流程图；

图2是图1中的步骤S105的流程图；

图3是本申请实施例提供的基于直播的视频生成方法的另一流程图；

图4是图3中的步骤S301的流程图；

图5是图4中的步骤S402的流程图；

图6是本申请实施例提供的基于直播的视频生成方法的另一流程图；

图7是图6中的步骤S603的流程图；

图8是本申请实施例提供的基于直播的视频生成装置的模块结构框图；

图9是本申请实施例提供的计算机设备的硬件结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

首先，对本申请中涉及的若干名词进行解析：

人工智能(Artificial Intelligence，AI)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

自然语言处理(Natural Language Processing，NLP)：NLP用计算机来处理、理解以及运用人类语言(如中文、英文等)，NLP属于人工智能的一个分支，是计算机科学与语言学的交叉学科，又常被称为计算语言学。自然语言处理包括语法分析、语义分析、篇章理解等。自然语言处理常用于机器翻译、手写体和印刷体字符识别、语音识别及文语转换、信息图像处理、信息抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等技术领域，它涉及与语言处理相关的数据挖掘、机器学习、知识获取、知识工程、人工智能研究和与语言计算相关的语言学研究等。

信息抽取(Information Extraction，NER)：从自然语言文本中抽取指定类型的实体、关系、事件等事实信息，并形成结构化数据输出的文本处理技术。信息抽取是从文本数据中抽取特定信息的技术。文本数据是由一些具体的单位构成的，例如句子、段落、篇章，文本信息正是由一些小的具体的单位构成的，例如字、词、词组、句子、段落或是这些具体的单位的组合。抽取文本数据中的名词短语、人名、地名等都是文本信息抽取，当然，文本信息抽取技术所抽取的信息可以是各种类型的信息。

BERT模型(Bidirectional Encoder Representations from Transformers，BERT)：是一种基于Transformers架构以及编码器的深度学习模型。BERT模型在经过无标注的训练数据预训练后，只需要在应用到具体的下游处理任务之前，针对具体的下游处理任务使用相应的样本数据来进行少量训练，即可具有处理下游处理任务的能力，BERT模型这一特点很适合应用到自然语言处理(NLP，Natural Language Processing)等领域。

语音识别技术(Automatic Speech Recognition，ASR)：也被称为自动语音识别，语音识别是计算语言学的跨学科子领域，其开发方法和技术，使得能够通过计算机识别和翻译口语。它融合了语言学，计算机科学和电气工程领域的知识和研究。

正向最大匹配算法：对于输入的一段文本从左至右、切出当前位置上长度最大的词。正向最大匹配算法是基于词典的分词方，其分词原理是:单词的颗粒度越大，所能表示的含义越确切。该算法主要包括:从一个字符串的开始位置，选择一个最大长度的词长的片段，如果序列不足最大词长，则选择全部序列。首先看该片段是否在词典中，如果是，则算为一个分出来的，如果不是，则从右边开始，减少一个字符，然后看短一点的这个片段是否在词典中，依次循环，逐到只剩下一个字。

目前，保险代理人传统面对面拜访客户的方式已较难实现，目前保险代理人逐步通过视频直播的方式进行产品宣讲、人员招聘等线上方式。根据走访调研发现，代理人的专业形象对于最终保单成交具有很重要的影响，同时客户在观看一些相关案例时下单的概率较其他场景更高。所以，保险行业的直播间一般要求在相对专业、安静的场景，以体现代理人的专业形象，但实际符合要求的直播间建设成本较高，只有极少数的代理人能拥有自己的独立的直播间。另外，对于不同直播主题对场地的布景要求不同，运营的成本也较高。

目前业界主流的解决方案是代理人去租赁一些直播基地的房间，但是需要根据直播基地的排期进行预约，时间上、地域上都比较受限。但直播间确定后就无法再动态调整，导致直播过程中的灵活性较差。例如，无法根据直播过程中的主播需求而动态调整直播间，灵活性较差，影响用户体验。因此，如何提供一种基于直播的视频生成方法，能够提高直播的灵活性，成为了亟待解决的技术问题。

基于此，本申请实施例的主要目的在于提出基于直播的视频生成方法和装置、设备、介质，旨在通过对象信息和产品信息确定原始图像并根据原始图像得到目标背景图像，目的是使得到符合参与对象和产品主题的视频背景图像。将原始图像经尺寸调整后得到目标背景图像，可以使原始前景图像和目标背景图像进行图像融合得到的目标视频图像的清晰度更高。本申请实施例通过对象信息和产品信息实现对视频图像的背景图像的灵活选取，大幅提高了视频直播的灵活性。另外，由于在图像融合之前，通过原始背景图像对原始图像进行了尺寸调整，提高了目标视频图像的清晰度。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

本申请实施例提供的基于直播的视频生成方法，涉及人工智能技术领域。本申请实施例提供的基于直播的视频生成方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现基于直播的视频生成方法的应用等，但并不局限于以上形式。

本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本申请实施例提供基于直播的视频生成方法和装置、设备、介质，具体通过如下实施例进行说明，首先描述本申请实施例中的基于直播的视频生成方法。

需要说明的是，在本申请的各个具体实施方式中，当涉及到需要根据用户信息、用户行为数据，用户历史数据以及用户位置信息等与用户身份或特性相关的数据进行相关处理时，都会先获得用户的许可或者同意，而且，对这些数据的收集、使用和处理等，都会遵守相关国家和地区的相关法律法规和标准。此外，当本申请实施例需要获取用户的敏感个人信息时，会通过弹窗或者跳转到确认页面等方式获得用户的单独许可或者单独同意，在明确获得用户的单独许可或者单独同意之后，再获取用于使本申请实施例能够正常运行的必要的用户相关数据。

图1是本申请实施例提供的基于直播的视频生成方法的一个可选的流程图，图1中的方法可以包括但不限于包括步骤S101至步骤S107。

步骤S101，获取直播参与对象的对象信息；

步骤S102，获取直播产品的产品信息；其中，产品信息包括产品主题；

步骤S103，根据对象信息和产品主题从预设数据库提取原始图像；

步骤S104，获取视频直播中的原始视频图像；

步骤S105，对原始视频图像进行分割处理，得到原始前景图像和原始背景图像；

步骤S106，根据原始背景图像对原始图像进行尺寸调整，以得到目标背景图像；

步骤S107，对原始前景图像和目标背景图像进行图像融合，得到目标视频图像；其中，目标视频图像用于替换视频直播中的原始视频图像。

本申请实施例所示意的步骤S101至步骤S107，通过对象信息和产品信息确定原始图像并根据原始图像得到目标背景图像，目的是得到符合参与对象和产品主题的视频背景图像，提高参与对象的兴趣。将原始图像经尺寸调整后得到目标背景图像，目的是让原始图像的尺寸与原始背景图像的尺寸相关起来，能够保证原始图像的清晰度。进一步地，可以使通过原始前景图像和目标背景图像进行图像融合得到的目标视频图像的清晰度更高。本申请实施例通过对象信息和产品信息实现对视频图像的背景图像的灵活选取，大幅提高了视频直播的灵活性。另外，由于在图像融合之前，通过原始背景图像对原始图像进行了尺寸调整，提高了目标视频图像的清晰度。

在一些实施例的步骤S101中，直播参与对象可指参与直播的观众、用户、客户。对象信息包括对象账号、对象年龄、对象职业等。

在一些实施例的步骤S102中，产品信息包括产品主题、产品生命周期、产品购买渠道、产品购买流程、产品购买价格、产品包装等。

在一些实施例的步骤S103中，数据库预先存储有多个原始图像，并存储有该原始图像与对象信息、产品信息的匹配信息。因此，可通过对象信息和产品主题从数据库得到匹配的原始图像。例如，对象信息为对象年龄为M岁，产品主题为健康险A，可根据M岁和健康险A从数据库得到原始图像N。

在一些实施例的步骤S104中，原始视频图像是指还未通过原始图像替换背景图像的视频图像。

在一些实施例的步骤S105中，在原始图像替换原始视频图像的背景图像之前，需要对原始视频图像进行分割处理，得到原始前景图像和原始背景图像。

请参阅图2，在一些实施例中，步骤S105可以包括但不限于包括步骤S201至步骤S204：

步骤S201，计算每一原始像素的混合K个高斯分布；其中，K为正整数；

步骤S202，根据混合K个高斯分布确定每一原始像素的RGB色域值的停留时长；

步骤S203，根据停留时长确定每一原始像素的停留值；

步骤S204，根据停留值将原始视频图像的前景和背景进行分割，以得到原始前景图像和原始背景图像。

本申请实施例所示意的步骤S201至步骤S204，通过混合K个高斯分布计算得到每一原始图像的停留值，并根据停留值对原始视频图像的前景和背景进行分割，得到原始前景图像和原始背景图像。具体的，采用k-means的方法来模拟每个图像像素的混合K个高斯分布(K一般为3到5)。一般背景图像是保持静止的时间更长，颜色变化更少的区域。因此，用图像像素中RGB色域值的停留时长来标识不同图像像素的停留值(即同一个像素中，若RGB颜色不变，就认为是静止的、属于背景部分；反之则为前景)。因此，通过调整预设的停留阈值可以确定前后背景的分割界限，实现背景切割，得到原始前景图像和原始背景图像，以便后续通过原始图像替换原始背景图像。

在一些实施例的步骤S106中，根据原始背景图像对原始图像进行尺寸调整，以得到目标背景图像。一般来说，在图像融合中，都是直接将多个图像直接融合，在融合之前并进行相应的预处理，导致融合后的图像清晰度不高。由于本申请实施例针对的是直播场景的视频图像，对于前景图像的清晰度、背景图像的清晰度、以及两者之间的分界都要很高的要求，若是直接将确定的原始图像和原始前景图像直接融合将会导致目标视频图像的清晰度下降。因此，本申请实施例提出根据原始背景图像对原始图像进行尺寸调整，得到目标背景图像。需要说明的是，目标背景图像的尺寸大小可与原始背景图像的尺寸大小一致，或者至少是原始背景图像尺寸大小的等比例放大。

在一些实施例的步骤S107中，对原始前景图像和目标背景图像进行图像融合，得到目标视频图像。具体的，若目标背景图像的尺寸大小和原始背景图像的尺寸大小一致，则对原始前景图像和目标背景图像进行图像拼接处理，得到目标视频图像。若目标背景图像的尺寸大小和原始背景图像的尺寸大小不一致，则将原始前景图像对原始目标背景图像进行图像叠加处理，得到目标视频图像。

可以理解的是，在得到目标视频图像之后，由于对象信息和产品信息一般不会更改，因此目标视频图像的背景图像不会再变动。因此，为了进一步提高视频直播的吸引性、提高视频图像的灵活性，在步骤S107之后，本申请实施例还包括更新目标视频图像。

具体的，在一些实施例中，预设数据库存储有原始插图，目标视频图像包括至少两个图像区域，请参阅图3，图3中的方法还可以包括但不限于包括步骤S301至步骤S306。

步骤S301，检测每一图像区域与原始前景图像的重合状态；其中，重合状态包括第一状态，第一状态用于表示图像区域与原始前景图像之间不存在重合的区域；

步骤S302，根据第一状态从至少两个图像区域筛选出目标区域；

步骤S303，检测目标区域的当前显示画面；

步骤S304，若当前显示画面为第一画面，则根据产品主题从原始插图提取至少两个初步候选插图；其中，第一画面用于表示当前显示画面不显示原始插图；

步骤S305，从至少两个初步候选插图随机选取一个插图作为目标候选插图；

步骤S306，将目标候选插图显示在目标区域，以更新当前显示画面。

本申请实施例所示意的步骤S301至步骤S306，将多个图像区域中与原始前景图像不存在重合区域的图像区域作为放置插图的目标区域，目的是避免图像区域放置插图后对前景图像有遮蔽影响。根据产品主题选取初步候选插图，目的是在视频直播过程中，动态显示与产品主题相关的插图，以提高视频图像的灵活性，还能进一步提高产品主题的曝光度。需要说明的是，由于产品主题在直播开播前就已经设定好了，因此根据产品主题选取初步候选插图几乎不需要反应时长，可以实现实时选取，避免出现插图显示延迟的问题。

还需要说明的是，重合状态还包括第二状态，第二状态用于表示图像区域与原始前景图像之间存在重合的区域。当前显示画面还包括第二画面，第二画面用于表示当前显示画面显示原始插图。原始插图包括静态图和动态图，该原始插图包括可点击产品链接的静态图，该原始插图包括展示产品介绍的动态图。

在一示例中，根据预设的分块尺寸对目标视频图像进行区域划分，以得到至少两个图像区域。该分块具体可为矩形块、正方形块。

请参阅图4，在一些实施例中，步骤S301可以包括但不限于包括步骤S401至步骤S403：

步骤S401，提取原始前景图像的前景坐标，根据前景坐标计算得到原始前景图像对应的最大矩形区域；

步骤S402，将每一图像区域与最大矩形区域进行比较，得到比较结果；

步骤S403，若比较结果为第一结果，确定重合状态为第一状态；其中，第一结果用于表示图像区域与最大矩形区域之间不存在重合的区域。

本申请实施例所示意的步骤S401至步骤S403，通过前景坐标可以得到原始前景图像对应的最大矩形区域，根据最大矩形区域与图像区域之间是否存在区域重合得到比较结果，若比较结果为第一结果，则说明图像区域与最大矩形区域之间不存在重合区域，此时重合状态为第一状态。需要说明的是，比较结果还包括第二结果，第二结果用于表示图像区域与最大矩形区域之间存在重合的区域。

请参阅图5，在一些实施例中，步骤S402可以包括但不限于包括步骤S501至步骤S503：

步骤S501，获取每一图像区域的区域坐标；其中，区域坐标包括最小区域横坐标、最小区域纵坐标和最大区域横坐标和最大区域纵坐标；

步骤S502，获取最大矩形区域的矩形坐标；其中，矩形坐标包括最小矩形横坐标、最小矩形纵坐标、最大矩形横坐标和最大矩形纵坐标；

步骤S503，根据矩形坐标得到比较结果；其中，若矩形坐标满足以下四个条件的其中一个，则比较结果为第一结果：最小区域横坐标大于最大矩形横坐标、最大区域横坐标小于最小矩形横坐标、最小区域纵坐标大于最大矩形纵坐标、最大区域纵坐标小于最小矩形纵坐标。

本申请实施例所示意的步骤S501至步骤S503，通过最大矩形区域和每一图像区域的比较结果实现是否存在重合区域的确定，以便将不存在重合区域的图像区域作为目标区域，以便将插图显示在目标区域是不会对前景图像造成遮蔽影响。

具体的，在另一些实施例中，请参阅图6，在步骤S107之后，上述基于直播的视频生成方法还可以包括但不限于包括步骤S601至步骤S605。

步骤S601，获取视频直播中主播对象的语音数据；

步骤S602，将语音数据进行语音识别处理，得到文本数据；

步骤S603，将文本数据和预设的关键词进行匹配，以得到关键词的匹配信息；

步骤S604，根据匹配信息从原始插图提取目标匹配插图；

步骤S605，将目标匹配插图替换目标候选插图并显示在目标区域，以更新当前显示画面。

本申请实施例所示意的步骤S601至步骤S605，通过对主播对象的语音数据进行语音识别和关键词匹配等处理，得到匹配信息，根据匹配信息确定目标匹配插图，并将目标匹配插图显示在目标区域，能够更新当前显示画面，从而更新目标视频图像。需要说明的是，语音数据包括当前时刻的语音数据和历史时刻的语音数据，可通过ASR识别模型将语音数据进行语音识别得到文本数据，文本数据包括当前时刻的文本数据和历史时刻的文本数据。本申请所指历史时刻是指除了当前时刻以外，从开播至当前时刻之前的时刻称为历史时刻。

由于同一个产品关键词可能对应到不同插图，冷启动策略是按流量随机分配插图，后续将根据插图对应的匹配信息，优先展示高匹配的插图。

具体的，在一些实施例中，匹配信息包括关联度，请参阅图7，步骤S603中的方法还可以包括但不限于包括步骤S701至步骤S705。

步骤S701，对文本数据进行语义解析，以得到多个分词；

步骤S702，计算每一分词和关键词之间的相似度；

步骤S703，根据相似度确定每一关键词的匹配分值；

步骤S704，统计每一分词在文本数据中出现的次数，以得到关联权重；

步骤S705，根据关联权重和匹配分值进行计算，以得到每一关键词的关联度。

本申请实施例所示意的步骤S701至步骤S705，通过文本数据中的分词与关键词的相似度确定匹配分值，再通过匹配分值和出现的次数的乘积得到关联度，以通过关联度从原始插图提取目标匹配插图，本申请实施例所得到的目标匹配插图更符合主播对象正在输出的语音数据，除了通过目标匹配插图更新目标视频图像的作用，还能通过目标匹配图像增强对参与对象的吸引。在一示例中，考虑视频直播场景主要是识别主播对象播报的产品关键词，对识别效率要求更高、对准确率要求较低。因此可以采用正向最大匹配法算法对文本进行切分得到多个分词，将每一分词以向量表示，逐个与预设的词典进行匹配，计算两词之间的欧氏距离，如果距离在阈值内则认为匹配成功，并得到匹配分值。否则将直接作为未知新词汇直接跳过。统计每一分词在文本数据中出现的次数，以得到关联权重；根据关联权重和匹配分值进行计算，以得到每一关键词的关联度。如表1所示，以分词为“平安福”为例进行说明，关键词为“平安福”，匹配分值为1，分词“平安福”在文本数据中出现的次数为10次，计算出关键词“平安福”的关联度为10。

分词	关键词	匹配分值	次数	关联度
					平安福	平安福	1	10	10
收入	收益	0.5	8	4
					…	…	…	…	…

表1

在一些实施例中，在完成一次视频直播后，还包括输出直播总结，具体包括：根据直播时间轴、关键字、成交单数和插图编号得到直播清单；

根据直播清单得到直播总结。

可通过直播清单对数据库中的关键词和插图进行优化，以进一步提高视频图像的生成效果。

在一些实施例的直播清单如表2所示，以关键词为“平安福”为例进行说明，直播的起始时间为00:33:00、结束时间为00:39:00，在该时间内的成交单数为10单，对应的插图编号是1。

起始时间	结束时间	关键词	成交单数	插图编号
					00:33:00	00:39:00	平安福	10	1
00:13:00	00:23:00	收益	0	4
					…	…	…	…	…

表2

在一示例中，根据直播清单中的成交单数对插图的权重进行更新，具体的，成交单数高的插图将赋予更高权重值，反之对于成交单数低的插图赋予低权重值。以此循环，逐步优化素材库内容。

本申请实施例所提供的基于直播的视频图像生成方法，一方面可以为主播对象提供不同主题的直播间和插图(道具)，大大降低搭建实际直播间的成本，帮助更多主播对象通过线上渠道获取客户、成交保单。另一方面，通过分析不同直播场次的直播总结，对不同产品、不同关键词、不同插图进行反复打分赋予权重，实现自动化地优化数据库，提高优质插图的曝光率、淘汰不合适插图，进一步提高主播对象直播签单的成功率。

请参阅图8，本申请实施例还提供基于直播的视频生成装置，可以实现上述一种基于直播的视频生成方法，图8为本申请实施例提供的基于直播的视频生成装置的模块结构框图，该装置包括：对象信息获取模块801、产品信息获取模块802、图像提取模块803、原始视频获取模块804、分割处理模块805、尺寸调整模块806和图像融合模块807。其中，对象信息获取模块801用于获取直播参与对象的对象信息；产品信息获取模块802用于获取直播产品的产品信息；其中，产品信息包括产品主题；图像提取模块803用于根据对象信息和产品主题从预设数据库提取原始图像；原始视频获取模块804用于获取视频直播中的原始视频图像；分割处理模块805用于对原始视频图像进行分割处理，得到原始前景图像和原始背景图像；尺寸调整模块806用于根据原始背景图像对原始图像进行尺寸调整，以得到目标背景图像；图像融合模块807用于对原始前景图像和目标背景图像进行图像融合，得到目标视频图像；其中，目标视频图像用于替换视频直播中的原始视频图像。

需要说明的是，该基于直播的视频生成装置的具体实施方式与上述基于直播的视频生成方法的具体实施例基本相同，在此不再赘述。

本申请实施例还提供了计算机设备，计算机设备包括：存储器、处理器、存储在存储器上并可在处理器上运行的程序以及用于实现处理器和存储器之间的连接通信的数据总线，程序被处理器执行时实现上述基于直播的视频生成方法。该计算机设备可以为包括平板电脑、车载电脑等任意智能终端。

请参阅图9，图9示意了另一实施例的计算机设备的硬件结构，计算机设备包括：

处理器901，可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；

存储器902，可以采用只读存储器(Read Only Memory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(Random Access Memory，RAM)等形式实现。存储器902可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器902中，并由处理器901来调用执行本申请实施例的基于直播的视频生成方法；

输入/输出接口903，用于实现信息输入及输出；

通信接口904，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；

总线905，在设备的各个组件(例如处理器901、存储器902、输入/输出接口903和通信接口904)之间传输信息；

其中处理器901、存储器902、输入/输出接口903和通信接口904通过总线905实现彼此之间在设备内部的通信连接。

本申请实施例还提供了存储介质，存储介质为计算机可读存储介质，用于计算机可读存储，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现上述基于直播的视频生成方法。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本申请实施例提供的基于直播的视频生成方法、基于直播的视频生成装置、计算机设备及存储介质，通过对象信息和产品信息确定原始图像并根据原始图像得到目标背景图像，目的是使得到符合参与对象和产品主题的视频背景图像，提高参与对象的兴趣。通过原始背景图像对原始图像进行尺寸调整后得到目标背景图像，目的是让原始图像的尺寸与原始背景图像的尺寸相关起来，能够保证原始图像的清晰度。进一步地，可以使原始前景图像和目标背景图像进行图像融合得到的目标视频图像的清晰度更高。本申请实施例通过对象信息和产品信息实现对视频图像的背景图像的灵活选取，大幅提高了视频直播的灵活性。另外，由于在图像融合之前，通过原始背景图像对原始图像进行了尺寸调整，提高了目标视频图像的清晰度。

本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本领域技术人员可以理解的是，图1-7中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。

以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。

Claims (9)

1.一种基于直播的视频生成方法，其特征在于，所述方法包括：

获取直播参与对象的对象信息；

获取直播产品的产品信息；其中，所述产品信息包括产品主题；

根据所述对象信息和所述产品主题从预设数据库选取原始图像；

获取视频直播中的原始视频图像；

对所述原始视频图像进行分割处理，得到原始前景图像和原始背景图像；

根据所述原始背景图像对所述原始图像进行尺寸调整，以得到目标背景图像；

对所述原始前景图像和所述目标背景图像进行图像融合，得到目标视频图像；其中，所述目标视频图像用于替换视频直播中的原始视频图像，所述预设数据库存储有原始插图，所述原始插图包括可点击产品链接的静态图和展示产品介绍的动态图，所述目标视频图像包括至少两个图像区域；

检测每一所述图像区域与所述原始前景图像的重合状态；其中，所述重合状态包括第一状态，所述第一状态用于表示所述图像区域与所述原始前景图像之间不存在重合的区域；

根据所述第一状态从至少两个所述图像区域筛选出目标区域；

检测所述目标区域的当前显示画面；

若所述当前显示画面不显示所述原始插图，则根据所述产品主题从所述预设数据库选取至少两个所述原始插图；

从至少两个所述原始插图随机选取一个插图作为目标候选插图；

将所述目标候选插图显示在所述目标区域，以更新所述当前显示画面。

2.根据权利要求1所述的方法，其特征在于，所述原始视频图像包括多个原始像素，所述对所述原始视频图像进行分割处理，以得到原始前景图像和原始背景图像，包括：

计算每一所述原始像素的混合K个高斯分布；其中，K为正整数；

根据所述混合K个高斯分布确定每一所述原始像素的RGB色域值的停留时长；

根据所述停留时长确定每一所述原始像素的停留值；

根据所述停留值将所述原始视频图像的前景和背景进行分割，以得到所述原始前景图像和所述原始背景图像。

3.根据权利要求1或2所述的方法，其特征在于，在所述对所述原始前景图像和所述目标背景图像进行图像融合，得到目标视频图像之后，所述方法还包括：

获取所述视频直播中主播对象的语音数据；

将所述语音数据进行语音识别处理，得到文本数据；

将所述文本数据和预设的关键词进行匹配，以得到所述关键词的匹配信息；

根据所述匹配信息从所述原始插图选取目标匹配插图；

将所述目标匹配插图替换所述目标候选插图并显示在所述目标区域，以更新所述当前显示画面。

4.根据权利要求1所述的方法，其特征在于，所述检测每一所述图像区域与所述原始前景图像的重合状态，包括：

提取所述原始前景图像的前景坐标，根据所述前景坐标计算得到所述原始前景图像对应的最大矩形区域；

将每一所述图像区域与所述最大矩形区域进行比较，得到比较结果；

若所述比较结果为第一结果，确定所述重合状态为所述第一状态；其中，所述第一结果用于表示所述图像区域与所述最大矩形区域之间不存在重合的区域。

5.根据权利要求4所述的方法，其特征在于，所述将每一所述图像区域与所述最大矩形区域进行比较，得到比较结果，包括：

获取每一所述图像区域的区域坐标；其中，所述区域坐标包括最小区域横坐标、最小区域纵坐标、最大区域横坐标和最大区域纵坐标；

获取所述最大矩形区域的矩形坐标；其中，所述矩形坐标包括最小矩形横坐标、最小矩形纵坐标、最大矩形横坐标和最大矩形纵坐标；

根据所述矩形坐标得到所述比较结果；其中，若所述矩形坐标满足以下四个条件的其中一个，则所述比较结果为所述第一结果；其中，所述四个条件是：所述最小区域横坐标大于所述最大矩形横坐标、所述最大区域横坐标小于所述最小矩形横坐标、所述最小区域纵坐标大于所述最大矩形纵坐标和最大区域纵坐标小于最小矩形纵坐标。

6.根据权利要求3所述的方法，其特征在于，所述匹配信息包括关联度，所述将所述文本数据和预设的关键词进行匹配，以得到所述关键词的匹配信息，包括：

对所述文本数据进行语义解析，以得到多个分词；

计算每一所述分词和所述关键词之间的相似度；

根据所述相似度确定每一所述关键词的匹配分值；

统计每一所述分词在所述文本数据中出现的次数，以得到关联权重；

根据所述关联权重和所述匹配分值进行计算，以得到每一所述关键词的关联度。

7.一种基于直播的视频生成装置，其特征在于，所述装置包括：

对象信息获取模块，用于获取直播参与对象的对象信息；

产品信息获取模块，用于获取直播产品的产品信息；其中，所述产品信息包括产品主题；

图像提取模块，用于根据所述对象信息和所述产品主题从预设数据库选取原始图像；

原始视频获取模块，用于获取视频直播中的原始视频图像；

分割处理模块，用于对所述原始视频图像进行分割处理，得到原始前景图像和原始背景图像；

尺寸调整模块，用于根据所述原始背景图像对所述原始图像进行尺寸调整，以得到目标背景图像；

图像融合模块，用于对所述原始前景图像和所述目标背景图像进行图像融合，得到目标视频图像；其中，所述目标视频图像用于替换视频直播中的原始视频图像，所述预设数据库存储有原始插图，所述原始插图包括可点击产品链接的静态图和展示产品介绍的动态图，所述目标视频图像包括至少两个图像区域；

所述装置还包括：

检测每一所述图像区域与所述原始前景图像的重合状态的模块；其中，所述重合状态包括第一状态，所述第一状态用于表示所述图像区域与所述原始前景图像之间不存在重合的区域；

根据所述第一状态从至少两个所述图像区域筛选出目标区域的模块；

检测所述目标区域的当前显示画面的模块；

若所述当前显示画面不显示所述原始插图，则根据所述产品主题从所述预设数据库选取至少两个所述原始插图的模块；

从至少两个所述原始插图随机选取一个插图作为目标候选插图的模块；

将所述目标候选插图显示在所述目标区域，以更新所述当前显示画面的模块。

8.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如权利要求1至6任一项所述的方法的步骤。

9.一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1至6中任一项所述的方法的步骤。