CN112637670B - 视频生成方法及装置 - Google Patents

视频生成方法及装置 Download PDF

Info

Publication number
CN112637670B
CN112637670B CN202011481666.5A CN202011481666A CN112637670B CN 112637670 B CN112637670 B CN 112637670B CN 202011481666 A CN202011481666 A CN 202011481666A CN 112637670 B CN112637670 B CN 112637670B
Authority
CN
China
Prior art keywords
bullet screen
video frame
video
target video
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011481666.5A
Other languages
English (en)
Other versions
CN112637670A (zh
Inventor
汤然
王一
郑龙
何钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bilibili Technology Co Ltd
Original Assignee
Shanghai Bilibili Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bilibili Technology Co Ltd filed Critical Shanghai Bilibili Technology Co Ltd
Priority to CN202011481666.5A priority Critical patent/CN112637670B/zh
Publication of CN112637670A publication Critical patent/CN112637670A/zh
Priority to US17/549,663 priority patent/US20220188357A1/en
Application granted granted Critical
Publication of CN112637670B publication Critical patent/CN112637670B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles

Abstract

本申请提供视频生成方法及装置，其中所述视频生成方法包括：从目标视频中获取目标视频帧，并获取所述目标视频帧对应的弹幕文件；确定所述目标视频帧对应的蒙版文件；根据所述蒙版文件，将所述弹幕文件绘制到所述目标视频帧中，生成弹幕视频帧；将所述弹幕视频帧组合成所述目标视频对应的弹幕视频。如此，可以直接根据蒙版文件，将弹幕内嵌进入视频帧内，且不渲染蒙版范围内的弹幕，达到内嵌蒙版弹幕的效果，避免画面被弹幕遮挡，保证用户正常观看；其次，由于此时视频和弹幕是一体的，不会因为播放器卡顿造成蒙版弹幕和视频实际内容的不同步，提高了用户观感，保证用户观看视频的体验。

Description

视频生成方法及装置
技术领域
本申请涉及多媒体技术领域，特别涉及一种视频生成方法。本申请同时涉及一种视频生成装置，一种计算设备，以及一种计算机可读存储介质。
背景技术
随着计算机技术和多媒体技术的快速发展，各种各样的视频层出不穷，在视频播放领域，弹幕功能非常流行。弹幕是一种显示在视频中的用户评论，在视频领域的弹幕可以给观众一种实时互动的感觉，会极大的提高观众的视频观看兴趣和参与感。然而，用户在观看视频过程中，经常会遇到大量弹幕刷屏，画面会被弹幕遮挡，影响用户正常观看。
现有技术中，客户端向服务器请求获取视频时，服务器可以将视频、弹幕和人物位置信息发送至各个客户端，然后客户端可以根据接收到的人物位置信息，在显示弹幕时，避开人物，实现蒙版效果。然而，上述显示弹幕的方法，需要弹幕播放器和视频实时同步才能呈现出效果，当弹幕播放器卡顿时，蒙版效果可能会和播放视频不同步，影响观感。另外，有些播放器不支持蒙版弹幕的功能(如电视端盒子、投屏等)，或者机器性能不够，无法渲染弹幕，从而导致无法呈现蒙版弹幕的效果。
发明内容
有鉴于此，本申请实施例提供了一种视频生成方法。本申请同时涉及一种视频生成装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的蒙版弹幕和播放视频不同步的问题。
根据本申请实施例的第一方面，提供了一种视频生成方法，包括：
从目标视频中获取目标视频帧，并获取所述目标视频帧对应的弹幕文件；
确定所述目标视频帧对应的蒙版文件；
根据所述蒙版文件，将所述弹幕文件绘制到所述目标视频帧中，生成弹幕视频帧；
将所述弹幕视频帧组合成所述目标视频对应的弹幕视频。
可选的，所述确定所述目标视频帧对应的蒙版文件，包括：
对所述目标视频帧进行图像识别，确定所述目标视频帧中的目标对象；
根据所述目标对象所处的区域，生成所述蒙版文件。
可选的，所述确定所述目标视频帧对应的蒙版文件，包括：
获取所述目标视频对应的蒙版文件集合；
根据所述目标视频帧的时间戳，从所述蒙版文件集合中确定出所述目标视频帧对应的蒙版文件。
可选的，所述获取目标视频帧对应的弹幕文件，包括：
获取所述目标视频对应的弹幕文件集合；
根据所述目标视频帧的时间戳，从所述弹幕文件集合中确定出所述目标视频帧对应的弹幕文件。
可选的，所述根据所述蒙版文件，将所述弹幕文件绘制到所述目标视频帧中，生成弹幕视频帧，包括：
确定所述弹幕文件包括的弹幕数据在所述目标视频帧中的显示坐标；
判断所述弹幕数据的显示坐标是否位于所述蒙版文件的蒙版区域内；
若是，则隐藏所述显示坐标对应的弹幕数据；
若否，则在所述目标视频帧中的所述显示坐标处，绘制所述弹幕数据。
可选的，所述根据所述蒙版文件，将所述弹幕文件绘制到所述目标视频帧中，生成弹幕视频帧，包括：
根据预设筛选规则，从所述目标视频帧对应的弹幕文件中筛选出目标弹幕文件；
根据所述蒙版文件，将所述目标弹幕文件绘制到所述目标视频帧中，生成弹幕视频帧。
可选的，所述将所述弹幕视频帧组合成所述目标视频对应的弹幕视频之后，还包括：
接收客户端发送的视频获取请求，所述视频获取请求中携带视频类型；
在所述视频类型为第一类型的情况下，向所述客户端返回所述弹幕视频；
在所述视频类型为第二类型的情况下，向所述客户端返回所述目标视频。
根据本申请实施例的第二方面，提供了一种视频生成装置，包括：
获取模块，被配置为从目标视频中获取目标视频帧，并获取所述目标视频帧对应的弹幕文件；
确定模块，被配置为确定所述目标视频帧对应的蒙版文件；
绘制模块，被配置为根据所述蒙版文件，将所述弹幕文件绘制到所述目标视频帧中，生成弹幕视频帧；
组合模块，被配置为将所述弹幕视频帧组合成所述目标视频对应的弹幕视频。
根据本申请实施例的第三方面，提供了一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，以实现下述方法：
从目标视频中获取目标视频帧，并获取所述目标视频帧对应的弹幕文件；
确定所述目标视频帧对应的蒙版文件；
根据所述蒙版文件，将所述弹幕文件绘制到所述目标视频帧中，生成弹幕视频帧；
组合模块，被配置为将所述弹幕视频帧组合成所述目标视频对应的弹幕视频。
根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现任意所述视频生成方法的步骤。
本申请提供的视频生成方法，可以从目标视频中获取目标视频帧，并获取所述目标视频帧对应的弹幕文件；然后确定所述目标视频帧对应的蒙版文件；之后，可以根据所述蒙版文件，将所述弹幕文件绘制到所述目标视频帧中，生成弹幕视频帧，并将所述弹幕视频帧组合成所述目标视频对应的弹幕视频。这种情况下，可以直接根据蒙版文件，将弹幕内嵌进入视频帧内，且不渲染蒙版范围内的弹幕，达到内嵌蒙版弹幕的效果，避免画面被弹幕遮挡，保证用户正常观看；其次，由于此时视频和弹幕是一体的，不会因为播放器卡顿造成蒙版弹幕和视频实际内容的不同步，提高了用户观感，保证用户观看视频的体验。另外，任何播放器都可以实现内嵌蒙版弹幕的效果，降低了对客户端播放器的性能要求。
附图说明
图1是本申请一实施例提供的一种视频生成方法的流程图；
图2是本申请一实施例提供的一种应用于跳舞视频中的视频生成方法的处理流程图；
图3是本申请一实施例提供的一种弹幕视频帧的示意图；
图4是本申请一实施例提供的另一种弹幕视频帧的示意图；
图5是本申请一实施例提供的一种视频生成装置的结构示意图；
图6是本申请一实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先，对本申请一个或多个实施例涉及的名词术语进行解释。
蒙版：就是选框的外部(选框的内部就是选区)，蒙版一词本身即来自生活应用，也就是“蒙在上面的板子”的含义。蒙板虽然是种选区，但它跟常规的选区颇为不同，常规的选区表现了一种操作趋向，即将对所选区域进行处理；而蒙板却相反，它是对所选区域进行保护，让其免于操作，而对非选区的地方应用操作。
蒙版弹幕：一种弹幕功能，弹幕不覆盖人体，而是呈现出从人体身后穿过的效果。
渲染(Render，晕染)：是指用软件将模型生成图像的过程，用于描述计算视频编辑软件中的效果，以及生成最终视频的输出，也即将画面数据绘制到视频/显示器上的一个步骤。
FFmpeg：是一个开源免费跨平台的视频和音频流方案，属于自由软件，采用LGPL或GPL许可证。它提供了录制、转换以及流化音视频的完整解决方案，包含了非常先进的音频/视频编解码库libavcodec，为了保证高可移植性和编解码质量，libavcodec里很多codec都是从头开发的。FFmpeg在Linux平台下开发，但它同样也可以在其它操作系统环境中编译运行。也即，FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。
在本申请中，提供了一种视频生成方法，本申请同时涉及一种视频生成装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。
图1示出了根据本申请一实施例提供的一种视频生成方法的流程图，应用于服务器，具体包括以下步骤：
步骤102：从目标视频中获取目标视频帧，并获取所述目标视频帧对应的弹幕文件。
实际应用中，用户在观看视频过程中，经常会遇到大量弹幕刷屏，画面会被弹幕遮挡，影响用户正常观看。目前往往是服务器将视频、弹幕和蒙版信息发送至客户端，客户端根据接收到的蒙版信息，在显示弹幕时，避开人物，实现蒙版效果。然而，此方法需要弹幕播放器和视频实时同步才能呈现出效果，当弹幕播放器卡顿时，蒙版弹幕可能会和视频实际内容不同步，影响观感。另外，有些播放器不支持蒙版弹幕的功能(如电视端盒子、投屏等)，或者机器性能不够，无法渲染弹幕，从而导致无法呈现蒙版弹幕的效果。
因而，本申请提供了一种视频生成方法，可以从目标视频中获取目标视频帧，并获取所述目标视频帧对应的弹幕文件；然后确定所述目标视频帧对应的蒙版文件；之后，可以根据所述蒙版文件，将所述弹幕文件绘制到所述目标视频帧中，生成弹幕视频帧。如此，可以直接根据蒙版文件，将弹幕内嵌进入视频帧内，且不渲染蒙版范围内的弹幕，达到内嵌蒙版弹幕的效果，由于此时视频和弹幕是一体的，不会因为播放器卡顿造成蒙版弹幕和视频实际内容的不同步，提高了用户观感，保证用户观看视频的体验。另外，任何播放器都可以实现内嵌蒙版弹幕的效果，降低了对客户端播放器的性能要求。
具体的，目标视频是指待处理的视频，由于后续需要将弹幕嵌入目标视频的视频帧内，因而目标视频需要对应有弹幕。目标视频帧是目标视频的任一视频帧，由于向目标视频中嵌入弹幕需要分别针对目标视频包括的每一视频帧进行处理，因而需要先从目标视频中获取目标视频帧，并获取所述目标视频帧对应的弹幕文件。
本实施例一个可选的实施方式中，获取目标视频帧对应的弹幕文件，包括：
获取所述目标视频对应的弹幕文件集合；
根据所述目标视频帧的时间戳，从所述弹幕文件集合中确定出所述目标视频帧对应的弹幕文件。
需要说明的是，要获取目标视频帧对应的弹幕文件，就需要先获取目标视频对应的弹幕文件集合，然后再从弹幕文件集合中确定出目标视频帧对应的弹幕文件。具体实现时，可以从弹幕接口获取目标视频对应的弹幕文件集合，从而准备好视频合成需要的弹幕，此时获取到的目标视频对应的弹幕文件集合就是之后目标视频上要显示的弹幕，且该弹幕文件集合包括的弹幕文件是用户在当前时间之前针对目标视频发布的弹幕。
另外，由于此时间之后新产生的弹幕无法显示在目标视频上，因而可以每隔预设时长，合成一次弹幕视频；也即是，可以每隔预设时长，获取一次目标视频对应的弹幕文件集合，并进行后续的视频合成操作。
本申请中可以先获取到目标视频对应的弹幕文件集合，然后分别针对每一目标视频帧，确定所述目标视频帧对应的弹幕文件，从而便于后续将所述弹幕文件绘制到对应的目标视频帧中，实现弹幕和视频合为一体，保证蒙版弹幕的显示效果。
步骤104：确定所述目标视频帧对应的蒙版文件。
具体的，在从目标视频中获取目标视频帧，并获取所述目标视频帧对应的弹幕文件的基础上，进一步的，将确定所述目标视频帧对应的蒙版文件。其中，所述蒙版文件是指包括目标视频帧中蒙版范围的文件，即目标视频帧中哪些范围内不渲染弹幕。
本实施例一个可选的实施方式中，可以先用机器学习的方法识别出目标视频中的目标对象的边缘，并制作出蒙版文件，也即确定所述目标视频帧对应的蒙版文件，具体实现过程可以如下：
对所述目标视频帧进行图像识别，确定所述目标视频帧中的目标对象；
根据所述目标对象所处的区域，生成所述蒙版文件。
具体的，目标对象是指目标视频帧中不想要被遮挡的对象，如目标对象可以为目标视频帧中的人物、道具或景物等。需要说明的是，确定所述目标视频帧对应的蒙版文件，即是确定目标视频帧中哪些区域范围内包括目标对象，不能渲染弹幕，因而需要先对目标视频帧进行图像识别，确定出目标对象所处的区域，然后根据该目标对象所处的区域生成的蒙版文件就会包括目标视频帧中不能渲染弹幕的区域范围，从而在后续渲染弹幕时，避开这个区域，实现蒙版弹幕的效果。
另外，在针对目标视频帧生成对应的蒙版文件后，还可以将目标视频帧的时间戳和对应的蒙版文件对应存储，方便后续复用相应的蒙版文件，在针对同一目标视频进行弹幕合成时，如果之前已经进行过图像识别，生成过蒙版文件，则可以直接获取使用，无需每次进行弹幕合成时，都生成弹幕文件。
本实施例一个可选的实施方式中，由于目标视频帧是一个图像，因而可以将目标视频帧输入图像识别模型，得到所述目标视频帧中目标对象的边缘；将所述边缘内的区域确定为所述目标对象所处的区域，后续根据该区域生成蒙版文件。
实际实现时，上述图像识别模型可以通过如下方法训练得到：
获取图像样本，所述图像样本包括样本标签，其中，所述样本标签为对象边缘；
将所述图像样本输入初始模型，得到预测对象边缘；
基于所述预测对象边缘和样本标签确定损失值，基于损失值对初始模型进行训练，直至达到训练停止条件，得到所述图像识别模型。
具体的，可以基于预测对象边缘与样本标签计算交叉熵损失函数，生成损失值。其中，样本标签是指真实想要图像识别模型输出的结果(即真实对象边缘)，也即样本标签为真实结果，而将图像样本输入初始模型，输出的预测对象边缘就是预测结果，在预测结果和真实结果之间的差值足够小时，说明预测结果足够接近真实结果，此时初始模型训练完成，得到图像识别模型。
本申请中通过计算损失值可以直观的示出模型的预测结果(输出的对象边缘)与真实结果(样本标签)之间的差异，再对初始模型进行针对性训练，调整参数，可以有效提高模型训练的速率及模型训练的效果。
其中，基于损失值对初始模型进行训练，直至达到训练停止条件，可以包括：
判断损失值是否小于预设阈值；
若否，则返回执行上述获取图像样本的步骤，并继续训练；
若是，则确定达到该训练停止条件。
其中，预设阈值为损失值的临界值，在损失值大于或等于预设阈值的情况下，说明初始模型的预测结果与真实结果之间仍存在一定偏差，仍需调整初始模型的参数，并获取图像样本继续对该初始模型进行训练；在损失值小于预设阈值的情况下，说明初始模型的预测结果与真实结果的接近程度已经足够，可以停止训练。预设阈值的数值可以根据实际情况确定，本说明书对此不做限制。
本说明书中可以根据损失值判断初始模型的具体训练情况，并在训练未合格的情况下根据损失值反向调整初始模型的参数以提高该模型的分析能力，训练速率高，且训练效果好。
本实施例一个可选的实施方式中，还可以复用线上已经存在的蒙版文件，也即确定所述目标视频帧对应的蒙版文件，具体实现过程还可以如下：
获取所述目标视频对应的蒙版文件集合；
根据所述目标视频帧的时间戳，从所述蒙版文件集合中确定出所述目标视频帧对应的蒙版文件。
具体的，蒙版文件集合是指目标视频的每一视频帧对应的蒙版文件的集合。因而获取到目标视频对应的蒙版文件集合后，可以直接根据目标视频帧的时间戳，确定出目标视频对应的蒙版文件。也就是说，如果针对目标视频中的任一视频帧已经生成过弹幕文件，那么就无需再次进行识别，可以直接复用之前生成的弹幕文件，节省计算资源。
本实施例一个可选的实施方式中，在确定所述目标视频帧对应的蒙版文件时，可以先尝试获取所述目标视频对应的蒙版文件集合，如果能够获取到所述目标视频对应的蒙版文件集合，则可以直接根据目标视频帧的时间戳，确定出目标视频对应的蒙版文件；如果获取不到所述目标视频对应的蒙版文件集合，则可以对所述目标视频帧进行图像识别，确定所述目标视频帧中的目标对象，然后根据所述目标对象所处的区域，生成目标视频帧对应的蒙版文件。
本申请中可以先判断针对目标视频中的视频帧是否已经生成过蒙版文件，如果已经生成过，则可以直接复用相应的蒙版文件，如果没有生成过蒙版文件，再进一步通过机器识别生成相应的蒙版文件，之后进行存储，方便后续复用，针对同一目标视频，只需识别、生成一次蒙版文件，无需重复执行相同的计算操作，避免冗余计算，大大节省计算资源。
步骤106：根据所述蒙版文件，将所述弹幕文件绘制到所述目标视频帧中，生成弹幕视频帧。
具体的，在确定所述目标视频帧对应的蒙版文件的基础上，进一步的，将根据所述蒙版文件，将所述弹幕文件绘制到所述目标视频帧中，生成弹幕视频帧。
需要说明的是，确定出目标视频帧对应的蒙版弹幕，就可以获知目标视频帧中哪些范围内可以绘制弹幕，哪些范围不能绘制弹幕，根据确定出的范围在目标视频帧上绘制弹幕即可得到弹幕视频帧。
本实施例一个可选的实施方式中，根据所述蒙版文件，将所述弹幕文件绘制到所述目标视频帧中，生成弹幕视频帧，包括：
确定所述弹幕文件包括的弹幕数据在所述目标视频帧中的显示坐标；
判断所述弹幕数据的显示坐标是否位于所述蒙版文件的蒙版区域内；
若是，则隐藏所述显示坐标对应的弹幕数据；
若否，则在所述目标视频帧中的所述显示坐标处，绘制所述弹幕数据。
具体的，弹幕文件包括多个弹幕数据，每个弹幕数据在目标视频帧中显示时对应一个像素点。也就是说，一条弹幕由多个字符组成，在目标视频帧中显示时，往往会占用多个像素点。
实际实现时，可以通过FFmpeg将弹幕文件绘制到目标视频帧上，在目标视频帧中绘制每个弹幕数据时，先判断该弹幕数据在目标视频帧中的显示像素点是否位于蒙版文件的蒙版区域内，若位于，则说明该弹幕数据如果显示则会遮挡目标对象，因而隐藏所述显示坐标对应的弹幕数据(即不绘制到目标视频帧中)；若不位于，则说明该弹幕数据可以正常显示，不会遮挡目标对象，因而将所述显示坐标对应的弹幕数据绘制到目标视频帧中的所述显示坐标处(即将该弹幕数据渲染到目标视频帧中的该显示坐标处)。
本申请中在目标视频帧上绘制对应的弹幕文件时，可以在绘制的时候查看当前坐标是否属于蒙版文件的蒙版范围内，如果在范围内则不绘制该坐标点的弹幕，否则再进行绘制。如此，可以直接根据蒙版文件，将弹幕内嵌进入视频帧内，不渲染蒙版文件内的弹幕，达到内嵌蒙版弹幕的效果。
本实施例一个可选的实施方式中，根据所述蒙版文件，将所述弹幕文件绘制到所述目标视频帧中，生成弹幕视频帧，具体实现过程可以如下：
根据预设筛选规则，从所述目标视频帧对应的弹幕文件中筛选出目标弹幕文件；
根据所述蒙版文件，将所述目标弹幕文件绘制到所述目标视频帧中，生成弹幕视频帧。
具体的，预设筛选规则是预先设置的规则，用于从目标视频帧对应的弹幕文件中筛选出部分弹幕文件，然后再将筛选出的弹幕文件绘制到目标视频帧中。其中，预设筛选规则可以为发布频率大于预设频率的用户对应的弹幕文件，或者，预设筛选规则可以为与主题相似度大于相似度阈值的弹幕文件。
需要说明的是，由于屏幕能显示的弹幕数量有限，因而可以从大量弹幕中选择优质的弹幕优先呈现在目标视频帧中，如发布频率高的用户所发布的弹幕和/或与视频帧主题高度契合的弹幕等，从而提高观看者的观看体验。
步骤108：将所述弹幕视频帧组合成所述目标视频对应的弹幕视频。
具体的，在根据所述蒙版文件，将所述弹幕文件绘制到所述目标视频帧中，生成弹幕视频帧的基础上，进一步的，将所述弹幕视频帧组合成所述目标视频对应的弹幕视频。
需要说明的是，将整个目标视频包括的视频帧从头到尾生成一遍弹幕视频帧之后，即可得到内嵌蒙版弹幕的弹幕视频，后续供用户选择。也就是说，本申请中服务器可以将弹幕绘制到目标视频中，得到对应的弹幕视频，再向客户端发送绘制有弹幕的弹幕视频。
本实施例一个可选的实施方式中，将所述弹幕视频帧组合成所述目标视频对应的弹幕视频之后，还包括：
接收客户端发送的视频获取请求，所述视频获取请求中携带视频类型；
在所述视频类型为第一类型的情况下，向所述客户端返回所述弹幕视频；
在所述视频类型为第二类型的情况下，向所述客户端返回所述目标视频。
具体的，第一类型是指带弹幕的目标视频的类型，第二类型是指不带弹幕的目标视频的类型。实际实现时，客户端如果是在弹幕功能开启的状态下，发起视频获取请求，则说明用户开启了弹幕功能，想要在观看的视频的同时，观看弹幕，因而服务器在接收到该视频获取请求(此时视频获取请求中会携带第一类型的标识)时，可以将生成的弹幕视频返回给客户端；而客户端如果是在弹幕功能未开启的状态下，发起视频获取请求，说明用户没有开启弹幕功能，用户只想要单纯观看目标视频，并不想要在观看的视频的同时，观看弹幕，因而服务器在接收到该视频获取请求(此时视频获取请求中会携带第二类型的标识)时，可以将原来的目标视频返回给客户端。
本申请提供的视频生成方法，可以从目标视频中获取目标视频帧，并获取所述目标视频帧对应的弹幕文件；然后确定所述目标视频帧对应的蒙版文件；之后，可以根据所述蒙版文件，将所述弹幕文件绘制到所述目标视频帧中，生成弹幕视频帧。这种情况下，可以直接根据蒙版文件，将弹幕内嵌进入视频帧内，且不渲染蒙版范围内的弹幕，达到内嵌蒙版弹幕的效果，避免画面被弹幕遮挡，保证用户正常观看；其次，由于此时视频和弹幕是一体的，不会因为播放器卡顿造成蒙版弹幕和视频实际内容的不同步，提高了用户观感，保证用户观看视频的体验。另外，任何播放器都可以实现内嵌蒙版弹幕的效果，降低了对客户端播放器的性能要求。
下述结合附图2，以本申请提供的视频生成方法在跳舞视频中的应用为例，对所述视频生成方法进行进一步说明。其中，图2示出了本申请一实施例提供的一种应用于跳舞视频中的视频生成方法的处理流程图，应用于服务器，具体包括以下步骤：
步骤202：获取跳舞视频对应的弹幕文件集合。
步骤204：针对跳舞视频包括的每一视频帧，根据所述视频帧的时间戳，从所述弹幕文件集合中确定出所述视频帧对应的弹幕文件；并根据预设筛选规则，从所述视频帧对应的弹幕文件中筛选出目标弹幕文件。
需要说明的是，由于屏幕能显示的弹幕数量有限，因而可以从大量弹幕中选择优质的弹幕优先呈现在视频中，如发布频率高的用户所发布的弹幕和/或与视频帧主题高度契合的弹幕等，从而提高观看者的观看体验。
步骤206：获取跳舞视频对应的蒙版文件集合。
步骤208：在获取到跳舞视频对应的蒙版文件集合的情况下，针对跳舞视频包括的每一视频帧，根据所述视频帧的时间戳，从所述蒙版文件集合中确定出所述视频帧对应的蒙版文件。
步骤210：在未获取到跳舞视频对应的蒙版文件集合的情况下，针对跳舞视频包括的每一视频帧，对所述视频帧进行图像识别，确定所述视频帧中的人物，根据所述人物所处的区域，生成所述蒙版文件。
需要说明的是，本申请中可以先判断针对目标视频是否存在蒙版文件集合，如果存在则可以直接复用相应的蒙版文件，如果不存在，再进一步通过机器识别生成相应的蒙版文件，之后进行存储，方便后续复用，针对同一视频，只需识别、生成一次蒙版文件，无需重复执行相同的计算操作，避免冗余计算，大大节省计算资源。
步骤212：针对跳舞视频包括的每一视频帧，根据蒙版文件，将所述视频帧对应的目标弹幕文件绘制到所述视频帧中，生成弹幕视频帧。
具体实现时，先确定所述弹幕文件包括的弹幕数据在所述目标视频帧中的显示坐标；然后判断所述弹幕数据的显示坐标是否位于所述蒙版文件的蒙版区域内，若是，则隐藏所述显示坐标对应的弹幕数据；若否，则在所述目标视频帧中的所述显示坐标处，绘制所述弹幕数据。
示例的，图3是本申请一实施例提供的一种弹幕视频帧的示意图，如图3所示，弹幕文件“太厉害了”全部弹幕数据均没有位于蒙版文件的蒙版范围内，因而全部绘制到该视频帧中；弹幕文件“努力学习”中的“努力”没有位于蒙版文件的蒙版范围内，因而可以绘制到该视频帧中，而“学习”则位于蒙版文件的蒙版范围内，因而进行隐藏；弹幕文件“看了无数遍”中的“数遍”没有位于蒙版文件的蒙版范围内，因而可以绘制到该视频帧中，而“看了无”则位于蒙版文件的蒙版范围内，因而进行隐藏；弹幕文件“每日看一遍”中的“看一遍”没有位于蒙版文件的蒙版范围内，因而可以绘制到该视频帧中，而“每日”则位于蒙版文件的蒙版范围内，因而进行隐藏；弹幕文件“舞蹈非常好看”全部弹幕数据均没有位于蒙版文件的蒙版范围内，因而全部绘制到该视频帧中。
图4是本申请一实施例提供的另一种弹幕视频帧的示意图，如图4所示，弹幕文件“太厉害了”中“太厉”已经移出屏幕，不进行显示，“害了”没有位于蒙版文件的蒙版范围内，因而绘制到该视频帧中；弹幕文件“努力学习”全部弹幕数据均没有位于蒙版文件的蒙版范围内，因而可以将“努力学习”完整绘制到该视频帧中；弹幕文件“看了无数遍”中的“看了”没有位于蒙版文件的蒙版范围内，因而可以绘制到该视频帧中，而“无数遍”则位于蒙版文件的蒙版范围内，因而进行隐藏；弹幕“每日看一遍”中的“每日看”没有位于蒙版文件的蒙版范围内，因而可以绘制到该视频帧中，而“一遍”则位于蒙版文件的蒙版范围内，因而进行隐藏；弹幕文件“舞蹈非常好看”中的“非常好看”没有位于蒙版文件的蒙版范围内，因而可以绘制到该视频帧中，而“舞蹈”则位于蒙版文件的蒙版范围内，因而进行隐藏；弹幕文件“动作太标准了”全部弹幕数据均没有位于蒙版文件的蒙版范围内，因而可以将“动作太标准了”完整绘制到该视频帧中。
步骤214：将所述弹幕视频帧组合成所述跳舞视频对应的弹幕视频。
步骤216：接收客户端发送的视频获取请求，所述视频获取请求中携带视频类型；在所述视频类型为第一类型的情况下，向所述客户端返回所述弹幕视频；在所述视频类型为第二类型的情况下，向所述客户端返回所述跳舞视频。
本申请提供的视频生成方法，针对跳舞视频中的每一视频帧，可以获取所述视频帧对应的弹幕文件，并确定所述视频帧对应的蒙版文件，然后可以根据所述蒙版文件，将所述弹幕文件绘制到所述视频帧中，生成弹幕视频帧；之后，将所述弹幕视频帧组合成所述跳舞视频对应的弹幕视频，在接收到客户端发送的视频获取请求时，根据请求类型，返回弹幕视频或原始跳舞视频。这种情况下，可以直接根据蒙版文件，将弹幕内嵌进入视频帧内，且不渲染蒙版范围内的弹幕，达到内嵌蒙版弹幕的效果，避免人物被弹幕遮挡，保证用户正常观看；其次，由于此时视频和弹幕是一体的，不会因为播放器卡顿造成蒙版弹幕和视频实际内容的不同步，提高了用户观感，保证用户观看视频的体验。另外，任何播放器都可以实现内嵌蒙版弹幕的效果，降低了对客户端播放器的性能要求。
与上述方法实施例相对应，本申请还提供了一种视频生成装置实施例，图5示出了本申请一实施例提供的一种视频生成装置的结构示意图。如图5所示，该装置包括：
获取模块502，被配置为从目标视频中获取目标视频帧，并获取所述目标视频帧对应的弹幕文件；
确定模块504，被配置为确定所述目标视频帧对应的蒙版文件；
绘制模块506，被配置为根据所述蒙版文件，将所述弹幕文件绘制到所述目标视频帧中，生成弹幕视频帧；
组合模块508，被配置为将所述弹幕视频帧组合成所述目标视频对应的弹幕视频。
可选的，确定模块504进一步被配置为：
对所述目标视频帧进行图像识别，确定所述目标视频帧中的目标对象；
根据所述目标对象所处的区域，生成所述蒙版文件。
可选的，确定模块504进一步被配置为：
获取所述目标视频对应的蒙版文件集合；
根据所述目标视频帧的时间戳，从所述蒙版文件集合中确定出所述目标视频帧对应的蒙版文件。
可选的，获取模块502进一步的被配置为：
获取所述目标视频对应的弹幕文件集合；
根据所述目标视频帧的时间戳，从所述弹幕文件集合中确定出所述目标视频帧对应的弹幕文件。
可选的，绘制模块506进一步被配置为：
确定所述弹幕文件包括的弹幕数据在所述目标视频帧中的显示坐标；
判断所述弹幕数据的显示坐标是否位于所述蒙版文件的蒙版区域内；
若是，则隐藏所述显示坐标对应的弹幕数据；
若否，则在所述目标视频帧中的所述显示坐标处，绘制所述弹幕数据。
可选的，绘制模块506进一步被配置为：
根据预设筛选规则，从所述目标视频帧对应的弹幕文件中筛选出目标弹幕文件；
根据所述蒙版文件，将所述目标弹幕文件绘制到所述目标视频帧中，生成弹幕视频帧。
可选的，所述装置还包括：
接收模块，被配置为接收客户端发送的视频获取请求，所述视频获取请求中携带视频类型；
第一返回模块，被配置为在所述视频类型为第一类型的情况下，向所述客户端返回所述弹幕视频；
第二返回模块，被配置为在所述视频类型为第二类型的情况下，向所述客户端返回所述目标视频。
本申请提供的视频生成装置，可以从目标视频中获取目标视频帧，并获取所述目标视频帧对应的弹幕文件；然后确定所述目标视频帧对应的蒙版文件；之后，可以根据所述蒙版文件，将所述弹幕文件绘制到所述目标视频帧中，生成弹幕视频帧。这种情况下，可以直接根据蒙版文件，将弹幕内嵌进入视频帧内，且不渲染蒙版范围内的弹幕，达到内嵌蒙版弹幕的效果，避免画面被弹幕遮挡，保证用户正常观看；其次，由于此时视频和弹幕是一体的，不会因为播放器卡顿造成蒙版弹幕和视频实际内容的不同步，提高了用户观感，保证用户观看视频的体验。另外，任何播放器都可以实现内嵌蒙版弹幕的效果，降低了对客户端播放器的性能要求。
上述为本实施例的一种视频生成装置的示意性方案。需要说明的是，该视频生成装置的技术方案与上述的视频生成方法的技术方案属于同一构思，视频生成装置的技术方案未详细描述的细节内容，均可以参见上述视频生成方法的技术方案的描述。
图6示出了根据本申请一实施例提供的一种计算设备600的结构框图。该计算设备600的部件包括但不限于存储器610和处理器620。处理器620与存储器610通过总线630相连接，数据库650用于保存数据。
计算设备600还包括接入设备640，接入设备640使得计算设备600能够经由一个或多个网络660通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备640可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。
在本申请的一个实施例中，计算设备600的上述部件以及图6中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图6所示的计算设备结构框图仅仅是出于示例的目的，而不是对本申请范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备600可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备600还可以是移动式或静止式的服务器。
其中，处理器620用于执行如下计算机可执行指令：
从目标视频中获取目标视频帧，并获取所述目标视频帧对应的弹幕文件；
确定所述目标视频帧对应的蒙版文件；
根据所述蒙版文件，将所述弹幕文件绘制到所述目标视频帧中，生成弹幕视频帧；
将所述弹幕视频帧组合成所述目标视频对应的弹幕视频。
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的视频生成方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述视频生成方法的技术方案的描述。
本申请一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时以用于：
从目标视频中获取目标视频帧，并获取所述目标视频帧对应的弹幕文件；
确定所述目标视频帧对应的蒙版文件；
根据所述蒙版文件，将所述弹幕文件绘制到所述目标视频帧中，生成弹幕视频帧；
将所述弹幕视频帧组合成所述目标视频对应的弹幕视频。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的视频生成方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述视频生成方法的技术方案的描述。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本申请的内容，可作很多的修改和变化。本申请选取并具体描述这些实施例，是为了更好地解释本申请的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims (10)

1.一种视频生成方法，应用于服务器，其特征在于，包括：
从目标视频中获取目标视频帧，并获取所述目标视频帧对应的弹幕文件；
确定所述目标视频帧对应的蒙版文件；
根据所述蒙版文件，将所述弹幕文件绘制到所述目标视频帧中，生成弹幕视频帧；
将所述弹幕视频帧组合成所述目标视频对应的弹幕视频；
响应于接收到客户端发送的弹幕视频获取请求，向所述客户端返回所述弹幕视频。
2.根据权利要求1所述的视频生成方法，其特征在于，所述确定所述目标视频帧对应的蒙版文件，包括：
对所述目标视频帧进行图像识别，确定所述目标视频帧中的目标对象；
根据所述目标对象所处的区域，生成所述蒙版文件。
3.根据权利要求1所述的视频生成方法，其特征在于，所述确定所述目标视频帧对应的蒙版文件，包括：
获取所述目标视频对应的蒙版文件集合；
根据所述目标视频帧的时间戳，从所述蒙版文件集合中确定出所述目标视频帧对应的蒙版文件。
4.根据权利要求1-3任一所述的视频生成方法，其特征在于，所述获取目标视频帧对应的弹幕文件，包括：
获取所述目标视频对应的弹幕文件集合；
根据所述目标视频帧的时间戳，从所述弹幕文件集合中确定出所述目标视频帧对应的弹幕文件。
5.根据权利要求1-3任一所述的视频生成方法，其特征在于，所述根据所述蒙版文件，将所述弹幕文件绘制到所述目标视频帧中，生成弹幕视频帧，包括：
确定所述弹幕文件包括的弹幕数据在所述目标视频帧中的显示坐标；
判断所述弹幕数据的显示坐标是否位于所述蒙版文件的蒙版区域内；
若是，则隐藏所述显示坐标对应的弹幕数据；
若否，则在所述目标视频帧中的所述显示坐标处，绘制所述弹幕数据。
6.根据权利要求1-3任一所述的视频生成方法，其特征在于，所述根据所述蒙版文件，将所述弹幕文件绘制到所述目标视频帧中，生成弹幕视频帧，包括：
根据预设筛选规则，从所述目标视频帧对应的弹幕文件中筛选出目标弹幕文件；
根据所述蒙版文件，将所述目标弹幕文件绘制到所述目标视频帧中，生成弹幕视频帧。
7.根据权利要求1-3任一所述的视频生成方法，其特征在于，所述将所述弹幕视频帧组合成所述目标视频对应的弹幕视频之后，还包括：
接收客户端发送的视频获取请求，所述视频获取请求中携带视频类型；
在所述视频类型为第二类型的情况下，向所述客户端返回所述目标视频。
8.一种视频生成装置，应用于服务器，其特征在于，包括：
获取模块，被配置为从目标视频中获取目标视频帧，并获取所述目标视频帧对应的弹幕文件；
确定模块，被配置为确定所述目标视频帧对应的蒙版文件；
绘制模块，被配置为根据所述蒙版文件，将所述弹幕文件绘制到所述目标视频帧中，生成弹幕视频帧；
组合模块，被配置为将所述弹幕视频帧组合成所述目标视频对应的弹幕视频；
第一返回模块，被配置为响应于接收到客户端发送的弹幕视频获取请求，向所述客户端返回所述弹幕视频。
9.一种计算设备，应用于服务器，其特征在于，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，以实现下述方法：
从目标视频中获取目标视频帧，并获取所述目标视频帧对应的弹幕文件；
确定所述目标视频帧对应的蒙版文件；
根据所述蒙版文件，将所述弹幕文件绘制到所述目标视频帧中，生成弹幕视频帧；
将所述弹幕视频帧组合成所述目标视频对应的弹幕视频；
响应于接收到客户端发送的弹幕视频获取请求，向所述客户端返回所述弹幕视频。
10.一种计算机可读存储介质，应用于服务器，其特征在于，其存储有计算机指令，该指令被处理器执行时实现权利要求1至7任意一项所述视频生成方法的步骤。
CN202011481666.5A 2020-12-15 2020-12-15 视频生成方法及装置 Active CN112637670B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011481666.5A CN112637670B (zh) 2020-12-15 2020-12-15 视频生成方法及装置
US17/549,663 US20220188357A1 (en) 2020-12-15 2021-12-13 Video generating method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011481666.5A CN112637670B (zh) 2020-12-15 2020-12-15 视频生成方法及装置

Publications (2)

Publication Number Publication Date
CN112637670A CN112637670A (zh) 2021-04-09
CN112637670B true CN112637670B (zh) 2022-07-29

Family

ID=75313369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011481666.5A Active CN112637670B (zh) 2020-12-15 2020-12-15 视频生成方法及装置

Country Status (2)

Country Link
US (1) US20220188357A1 (zh)
CN (1) CN112637670B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113949922A (zh) * 2021-10-14 2022-01-18 海南车智易通信息技术有限公司 一种蒙版图片的生成方法、计算设备以及存储介质
CN114003160B (zh) * 2021-10-29 2024-03-29 影石创新科技股份有限公司 数据可视化展示方法、装置、计算机设备和存储介质
CN114697721B (zh) * 2022-03-30 2023-07-25 阿里巴巴（中国）有限公司 弹幕显示方法及电子设备
CN115695923B (zh) * 2023-01-03 2023-05-16 北京搜狐新动力信息技术有限公司 弹幕人物遮罩显示方法、装置、电子设备及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5717468A (en) * 1994-12-02 1998-02-10 International Business Machines Corporation System and method for dynamically recording and displaying comments for a video movie
WO2014013690A1 (ja) * 2012-07-17 2014-01-23 パナソニック株式会社 コメント情報生成装置およびコメント情報生成方法
JP6122768B2 (ja) * 2013-11-19 2017-04-26 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、表示方法およびコンピュータプログラム
CN106254922B (zh) * 2016-08-08 2019-06-18 暴风集团股份有限公司 预加载播放弹幕的方法及系统
CN106303725A (zh) * 2016-08-25 2017-01-04 暴风集团股份有限公司 在渲染器中利用hook实现弹幕的方法及装置
CN106658145B (zh) * 2016-12-27 2020-07-03 北京奇虎科技有限公司 一种直播数据处理方法和装置
CN109819342B (zh) * 2017-11-22 2022-01-11 腾讯科技（深圳）有限公司 弹幕内容控制方法、装置、计算机设备和存储介质
CN110121083A (zh) * 2018-02-06 2019-08-13 上海全土豆文化传播有限公司 弹幕的生成方法及装置
CN108401192B (zh) * 2018-04-25 2022-02-22 腾讯科技（深圳）有限公司 视频流处理方法、装置、计算机设备及存储介质
CN108650557A (zh) * 2018-04-27 2018-10-12 Oppo广东移动通信有限公司 一种显示弹幕的方法、装置及移动终端
CN108881969B (zh) * 2018-04-27 2021-04-13 Oppo广东移动通信有限公司 绘制弹幕的方法、装置及移动终端
CN110149530B (zh) * 2018-06-15 2021-08-24 腾讯科技（深圳）有限公司 一种视频处理方法和装置
CN109302619A (zh) * 2018-09-18 2019-02-01 北京奇艺世纪科技有限公司 一种信息处理方法及装置
CN111954082B (zh) * 2019-05-17 2023-03-24 上海哔哩哔哩科技有限公司 蒙版文件结构、蒙版文件的读取方法、计算机设备及可读存储介质
CN111954060B (zh) * 2019-05-17 2022-05-10 上海哔哩哔哩科技有限公司 弹幕蒙版的渲染方法、计算机设备及可读存储介质

Also Published As

Publication number Publication date
CN112637670A (zh) 2021-04-09
US20220188357A1 (en) 2022-06-16

Similar Documents

Publication Publication Date Title
CN112637670B (zh) 视频生成方法及装置
US20210274251A1 (en) Video Processing Method, Electronic Device and Computer-Readable Medium
CN108156520B (zh) 视频播放方法、装置、电子设备及存储介质
KR102246305B1 (ko) 증강 미디어 서비스 제공 방법, 장치 및 시스템
CN112272327B (zh) 数据处理方法、装置、存储介质及设备
US9749550B2 (en) Apparatus and method for tuning an audiovisual system to viewer attention level
KR20210110852A (ko) 이미지 변형 제어 방법, 장치 및 하드웨어 장치
JP2018506198A (ja) オブジェクト検出に基づき外挿画像を生成する方法及び装置
CN113923462A (zh) 视频生成、直播处理方法、设备和可读介质
CN113453027B (zh) 直播视频、虚拟上妆的图像处理方法、装置及电子设备
CN114630057B (zh) 确定特效视频的方法、装置、电子设备及存储介质
CN114040318A (zh) 一种空间音频的播放方法及设备
CN109286760B (zh) 一种娱乐视频制作方法及其终端
CN113038185B (zh) 弹幕处理方法及装置
Saha et al. Study of subjective and objective quality assessment of mobile cloud gaming videos
CN113099309A (zh) 视频处理方法及装置
CN114025103A (zh) 视频制作方法及装置
Patel et al. Visual dubbing pipeline with localized lip-sync and two-pass identity transfer
CN112188116A (zh) 基于对象的视频合成方法、客户端及系统
CN114979764B (zh) 视频生成方法、装置、计算机设备及存储介质
CN113992866B (zh) 视频制作方法及装置
US11902603B2 (en) Methods and systems for utilizing live embedded tracking data within a live sports video stream
US20240137588A1 (en) Methods and systems for utilizing live embedded tracking data within a live sports video stream
US20220232297A1 (en) Multi-media processing system for live stream and multi-media processing method for live stream
Chen et al. LPIPS-AttnWav2Lip: Generic audio-driven lip synchronization for talking head generation in the wild

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant