CN113905188A - 一种视频拼接动态调整方法、系统、电子装置及存储介质 - Google Patents
一种视频拼接动态调整方法、系统、电子装置及存储介质 Download PDFInfo
- Publication number
- CN113905188A CN113905188A CN202111124515.9A CN202111124515A CN113905188A CN 113905188 A CN113905188 A CN 113905188A CN 202111124515 A CN202111124515 A CN 202111124515A CN 113905188 A CN113905188 A CN 113905188A
- Authority
- CN
- China
- Prior art keywords
- video
- frame
- content identification
- video segment
- segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000013135 deep learning Methods 0.000 claims description 35
- 238000012549 training Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明提供一种视频拼接动态调整方法、系统、电子装置及存储介质，其中，方法包括：获取至少两个待拼接的视频段；对至少两个所述视频段的各个视频帧的内容进行识别，得到所述视频帧的内容识别类型；判断至少两个所述视频段对应的视频帧的内容识别类型是否存在预设的帧尺寸调整关系；若是，根据所述帧尺寸调整关系对各个所述视频段对应的视频帧的帧尺寸进行调整，得到调整后的视频段；为各调整后的视频段设定对应的播放位置，并根据所述播放位置对各调整后的视频段进行视频拼接。本发明提高了视频拼接的动态调整的可操作性，进而提高拼接视频质量及内容完整性。
Description
技术领域
本发明涉及视频处理技术领域，特别是涉及一种视频拼接动态调整方法、系统、电子装置及存储介质。
背景技术
随着计算机技术的发展，视频传播也越来越方便，用户在制作视频时候，常常会遇到将多个视频进行剪辑和拼接，以整合成为一个视频进行发布，从而更完整、直观的体现视频内容。
目前，对于视频拼接的技术手段，常常是将不同的待拼接的视频导入至模板中的不同拼接区域内，得到一个拼接后的视频，然而，对于视频拼接的模板往往是有限的，并且使用相同的模板会给用户造成单一的视觉体验，并且，使用模板进行拼接时，由于模板的拼接区域有限，导致待拼接的视频只能显示部分，导致拼接后的视频质量较低。
发明内容
为解决以上现有技术问题，本发明提供一种视频拼接动态调整方法、系统、电子装置及存储介质，能够在视频拼接过程中动态调整待拼接的子视频内容及尺寸。
本发明第一部分提供一种视频拼接动态调整方法，包括：
获取至少两个待拼接的视频段；
对至少两个所述视频段的各个视频帧的内容进行识别，得到所述视频帧的内容识别类型；
判断至少两个所述视频段对应的视频帧的内容识别类型是否存在预设的帧尺寸调整关系；
若是，根据所述帧尺寸调整关系对各个所述视频段对应的视频帧的帧尺寸进行调整，得到调整后的视频段；
为各调整后的视频段设定对应的播放位置，并根据所述播放位置对各调整后的视频段进行视频拼接。
进一步地，所述对至少两个所述视频段的各个视频帧的内容进行识别，得到所述视频帧的内容识别类型，包括：
对每个所述视频段进行截帧处理，得到每个所述视频段对应的视频帧；
根据深度学习内容识别网络模型，对所述视频帧进行特征提取及分类，得到所述视频帧的内容识别类型。
进一步地，所述根据深度学习内容识别网络模型，对所述视频帧进行特征提取及分类之前，包括：对深度学习内容识别网络模型进行训练；具体地：
获取至少两种目标图像数据集；其中，所述目标图像数据集中包括若干目标图像数据；
根据yolo模型，提取每个目标图像数据中目标子图位置，并根据每个所述目标子图位置对目标进行截取，得到每个目标图像数据对应的目标；
对所有的目标进行挑选及特征归类，并根据特征归类结果对所述目标进行定义，完成所述深度学习内容识别网络模型训练。
进一步地，所述获取至少两种目标图像数据集之后，还包括：
通过拉伸、翻转、加噪点对每种所述目标图像数据集进行数据加强；
所述完成所述深度学习内容识别网络模型训练之后，还包括：
设置调优系数，根据所述调优系数对所述深度学习内容识别网络模型进行优化。
进一步地，所述根据所述播放位置对各调整后的视频段进行视频拼接，包括：
获取各调整后的视频段的播放时长，以播放时长最长的视频段的播放时长为视频拼接的总播放时长，并确定在同一时刻各视频段的视频帧。
进一步地，所述判断至少两个所述视频段对应的视频帧的内容识别类型是否存在预设的帧尺寸调整关系，包括：
分析至少两个所述视频段对应的视频帧的内容识别类型相互之间的类型对应关系；其中，对应的视频帧的播放顺序相同；
判断预设的帧尺寸调整关系集中是否存在与所述类型对应关系对应的帧尺寸调整关系；所述帧尺寸调整关系集中预先设有多个与不同的类型对应关系相关联的帧尺寸调整关系。
本发明第二方面提供一种视频拼接动态调整系统，包括：
视频段获取模块，用于获取至少两个待拼接的视频段；
视频内容识别模块，用于对至少两个所述视频段的各个视频帧的内容进行识别，得到所述视频帧的内容识别类型；
尺寸调整模块，用于判断至少两个所述视频段对应的视频帧的内容识别类型是否存在预设的帧尺寸调整关系；若是，根据所述帧尺寸调整关系对各个所述视频段对应的视频帧的帧尺寸进行调整，得到调整后的视频段；
视频拼接模块，用于为各调整后的视频段设定对应的播放位置，并根据所述播放位置对各调整后的视频段进行视频拼接。
进一步地，所述视频内容识别模块，还用于：
对每个所述视频段进行截帧处理，得到每个所述视频段对应的视频帧；
根据深度学习内容识别网络模型，对所述视频帧进行特征提取及分类，得到所述视频帧的内容识别类型。
本发明第三方面提供一种电子装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面中任意一项所述的视频拼接动态调整方法。
本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述第一方面中任意一项所述的视频拼接动态调整方法。
本发明提供一种视频拼接动态调整方法、系统、电子装置及存储介质，其中，方法包括：获取至少两个待拼接的视频段；对至少两个所述视频段的各个视频帧的内容进行识别，得到所述视频帧的内容识别类型；判断至少两个所述视频段对应的视频帧的内容识别类型是否存在预设的帧尺寸调整关系；若是，根据所述帧尺寸调整关系对各个所述视频段对应的视频帧的帧尺寸进行调整，得到调整后的视频段；为各调整后的视频段设定对应的播放位置，并根据所述播放位置对各调整后的视频段进行视频拼接。本发明实现对待拼接的视频段的进行内容识别类型，并根据内容识别类型结果对待拼接的视频段进行裁剪及尺寸调整，提高了视频拼接的动态调整的可操作性，进而提高拼接视频质量及内容完整性。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明某一实施例提供的一种视频拼接动态调整方法的流程图的应用环境的示意图；
图2是本发明另一实施例提供的一种视频拼接动态调整方法的流程图的应用环境的示意图；
图3是本发明某一实施例提供的一种视频拼接动态调整方法的流程图；
图4是本发明某一实施例提供的一种视频拼接动态调整方法的流程图；
图5是本发明另一实施例提供的一种视频拼接动态调整方法的流程图；
图6是本发明某一实施例提供的一种视频拼接动态调整系统的装置图；
图7是本发明某一实施例提供的一种电子设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
第一方面。
请参阅图1，图1为本申请实施例提供的一种应用环境的示意图，如图1所示，该应用环境可以包括业务服务器01、视频拼接动态调整组件02和客户端03。
本发明实施例中，所述业务服务器01可以用于生成视频拼接动态调整方法，所述视频拼接动态调整方法包括：
获取至少两个待拼接的视频段；
对至少两个所述视频段的各个视频帧的内容进行识别，得到所述视频帧的内容识别类型；
判断至少两个所述视频段对应的视频帧的内容识别类型是否存在预设的帧尺寸调整关系；
若是，根据所述帧尺寸调整关系对各个所述视频段对应的视频帧的帧尺寸进行调整，得到调整后的视频段；
为各调整后的视频段设定对应的播放位置，并根据所述播放位置对各调整后的视频段进行视频拼接。
本发明实现对待拼接的视频段的进行内容识别类型，并根据内容识别类型结果对待拼接的视频段进行裁剪及尺寸调整，提高了视频拼接的动态调整的可操作性，进而提高拼接视频质量及内容完整性。
本申请涉及的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、掌上电脑、个人电脑、智能电视、智能手表等，但并不局限于此。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。服务器和终端设备的数量也不做限制。
本发明实施例中，所述视频拼接动态调整组件02可以用于执行所述视频拼接动态调整方法，所述视频拼接动态调整组件02可以位于所述业务服务器01，也可以位于其他业务服务器，当所述视频拼接动态调整组件02位于其他业务服务器时，所述业务服务器01可以通过网络等方式访问该其他业务服务器，以获取该其他业务服务器中所述视频拼接动态调整组件02生成的与字段相对应的索引数据。
请参阅图2，图2为可以应用本发明公开的实施例提供的视频拼接动态调整方法的场景应用示意图。
在图2所述的应用场景中，首先，计算机设备101接收至少两个待拼接的视频段102；然后，根据深度学习内容识别网络模型103，对至少两个所述视频段102的各个视频帧104的内容进行识别，得到所述视频帧的内容识别类型；接着，判断至少两个所述视频段102对应的视频帧的内容识别类型是否存在预设的帧尺寸调整关系105，若是，根据所述帧尺寸调整关系105对各个所述视频对应的视频帧的帧尺寸进行调整，得到调整后的视频段106；最后，为各调整后的视频段设定对应的播放位置，并根据所述播放位置对各调整后的视频段进行视频拼接，得到拼接视频107。
以下具体介绍视频水印处理方法的实施例1，请参阅图3，图3是本发明实施例1提供的一种视频拼接动态调整方法的流程图，包括：
S100、获取至少两个待拼接的视频段。
需要说明的是，所述待拼接的视频段为用户从终端设备中选择用于拼接的多个视频，如在经过用户授权的获取相册的访问权限后，从相册中调取存储于本地相册的所有视频，以供用户选择。根据用户的选择操作，即可获取到多个待拼接的视频段。因为本方案实施例目的在于对多个视频进行剪辑拼接操作，所以获取到的待拼接的视频段至少为两个。
可以理解的是，获取到的待拼接的视频段的尺寸大小可以不统一，即允许获取不同尺寸的待拼接的视频段。示例性的，视频尺寸可以是1280*720，其中，1280为横方向的像素数，720为竖方向的像素数。
S200、对至少两个所述视频段的各个视频帧的内容进行识别，得到所述视频帧的内容识别类型。
可以理解的是，首先，通过对每个视频段进行截帧处理，得到每个视频段对应的视频帧图像集，然后对视频帧图像集的内容进行识别，得到所述视频帧的内容识别类型
S300、判断至少两个所述视频段对应的视频帧的内容识别类型是否存在预设的帧尺寸调整关系；若是，根据所述帧尺寸调整关系对各个所述视频段对应的视频帧的帧尺寸进行调整，得到调整后的视频段。
需要说明的是，帧尺寸调整关系为工程师根据视频帧的内容识别类型进行配置的帧尺寸调整关系，不同的视频帧的内容识别类型会配置有不同的视频尺寸调整关系。
可以理解的是，若两个所述视频段对应的视频帧的内容识别类型不存在预设的帧尺寸调整关系，则无需进行帧尺寸进行调整，直接进行拼接。
S400、为各调整后的视频段设定对应的播放位置，并根据所述播放位置对各调整后的视频段进行视频拼接。
需要说明的是，播放位置用于指示拼接后的视频段的播放区域的位置，例如视频段A与视频段B是左右拼接的位置，拼接后的视频左侧是播放视频段A，拼接后的视频右侧是播放视频段B，在播放的过程中，视频段A与视频段B的各个视频帧的帧尺寸根据调整好的尺寸进行播放。
示例性的，通过本实施例1提供的一种视频拼接动态调整方法为将某一游戏主播在游戏《绝地求生》的游戏操作录屏视频及他在游戏过程中的实拍画面视频进行拼接剪辑。其中，游戏操作录屏视频的帧尺寸为1280*720，主播在游戏过程中的实拍画面视频的帧尺寸为720*1280，为了凸显主播在游戏过程中的显示效果，具体步骤包括：
步骤一：获取待拼接的视频段：帧尺寸为1280*720的游戏操作录屏视频和帧尺寸为720*1280的主播在游戏过程中的实拍画面视频。
步骤二：分别对两段待拼接的视频段的的视频帧的内容进行识别，得到两段视频帧的内容识别类型分别为：游戏操作录屏视频和真人实拍画面视频。
步骤三：判断至少两段待拼接的视频段对应的视频帧的内容识别类型是否存在预设的帧尺寸调整关系，并根据所述帧尺寸调整关系对各个所述视频段对应的视频帧的帧尺寸进行调整，得到调整后的视频段。在本例中，为了凸显主播在游戏过程中的显示效果，预设的帧尺寸调整关系是将真人实拍画面视频进行放大，从而凸显真人与游戏人物的互动效果，对游戏操作录屏视频的帧尺寸可以不变或缩小。
步骤四：为各调整后的视频段设定对应的播放位置，具体地，将各调整后的真人实拍画面视频放于游戏操作录屏视频的右侧，从而进行视频拼接。
通过本发明实施例1提供的方法，实现对待拼接的视频段的进行内容识别类型，并根据内容识别类型结果对待拼接的视频段进行裁剪及尺寸调整，提高了视频拼接的动态调整的可操作性，进而提高拼接视频质量及内容完整性。
请参阅图4，图4是本发明实施例2提供的一种视频拼接动态调整方法的流程图，其中，步骤S100-S400与实施例1中的步骤相同，优选地，所述步骤S200包括：
S210、对每个所述视频段进行截帧处理，得到每个所述视频段对应的视频帧。
需要说明的是，所述截帧处理可以是逐帧截取，也可以是每隔一定的帧数进行截取。
S230、根据深度学习内容识别网络模型，对所述视频帧进行特征提取及分类，得到所述视频帧的内容识别类型。
需要说明的是，所述深度学习内容识别网络模型为预设神经网络模型，并在使用前已经进行模型建立及模型训练。通过深度学习内容识别网络模型，对至少两个所述视频段的各个视频帧的内容进行识别，得到所述视频帧的内容识别类型。所述深度学习内容识别网络模型为预设神经网络模型，并在使用前已经进行模型建立及模型训练。
可以理解的是，首先，将每个视频段对应的视频帧作为输入数据，输入至深度学习内容识别网络模型，经过深度学习内容识别网络模型处理，输出所述视频帧的内容识别类型。
通过本发明实施例2提供的方法，实现对视频进行内容识别，通过深度学习内容识别网络模型提高了对视频内容识别的准确性。
请参阅图5，图5是本发明实施例2的某一具体实施方式提供的一种视频拼接动态调整方法的流程图，其中，步骤S100-S400及S210、S230均与实施例2中的步骤相同，优选地，所述步骤S230之前，包括：
S220、对深度学习内容识别网络模型进行训练。
具体地，所述步骤S220包括：
获取至少两种目标图像数据集。其中，所述目标图像数据集中包括若干目标图像数据。
根据yolo模型，提取每个目标图像数据中目标子图的位置，并根据每个所述目标子图的位置对目标进行截取，得到每个目标图像数据对应的目标。
对所有的目标进行挑选及特征归类，并根据特征归类结果对所述目标进行定义，完成所述深度学习内容识别网络模型训练。
需要说明的是，所述yolo模型为根据yolo算法实现的模型，用于提取目标图像数据中目标子图的位置。所述目标子图为目标图像中含有目标对象的图像区域，示例性的，若目标图像数据中的主体是人物，则目标子图为含有该人物的图像区域(图像区域大小可以是预设的)，且保证目标子图中完全包含该人物。所述挑选为剔除质量较差的目标子图，如分辨率低于预设值的目标子图，以保证数据质量。所述特征归类为对相同类型的目标子图进行分类的操作。所述对所述目标进行定义，是对目标的一种标签化处理。
可以理解的是，通过对目标图像数据中的目标子图进行截取得到目标，接着对目标进行挑选、特征归类，并根据归类结果进行定义，通过对目标的定义，从而对目标图像数据集和视频段进行定义。
通过本发明实施例2的一具体实施方式提供的方法，实现对待目标图像数据进行视频内容识别，并锁定出视频段中的目标，提高了主体锁定的准确性，通过yolo模型可以在保证提取准确性的基础上加快提取速度。
优选地，在本发明实施例2的一具体实施方式中，所述获取至少两种目标图像数据集之后，还包括：
通过拉伸、翻转、加噪点对每种所述目标图像数据集进行数据加强。
所述完成所述深度学习内容识别网络模型训练之后，还包括：
设置调优系数，根据所述调优系数对所述深度学习内容识别网络模型进行优化。
可以理解的是，为了提高数据集的总量与平衡不同类别中的数据量，对数据集进行了数据增强，通过拉伸、翻转、加噪点等方法提高数据集质量；之后基于制作的目标数据集训练分类模型resnet50并调优，从而用上面的数据样本对网络模型进行训练。
通过本发明实施例2的一具体实施方式提供的方法，实现锁定视频段中的目标，提高了目标锁定提取的准确性。
本发明实施例3提供的一种视频拼接动态调整方法，其中，步骤S100-S400与实施例1中的步骤相同，优选地，步骤S300中，所述根据所述播放位置对各调整后的视频段进行视频拼接，包括：
获取各调整后的视频段的播放时长，以播放时长最长的视频段的播放时长为视频拼接的总播放时长，并确定在同一时刻各视频段的视频帧。
可以理解的是，根据视频播放模式(包括：同时播放和依序播放)来确定在同一时刻，每段待拼接子视频的视频帧。
具体的，各视频段有多个确定好播放顺序的视频帧，各视频段相同播放顺序的视频帧的播放时间可以是相同，也可以是稍有间隔(例如间隔0.1秒内)。
当播放模式为同时播放时，在每一时刻与各个待拼接子视频的视频帧依次为待拼接子视频每一帧。当某一待拼接子视频先播放完时，后续时刻为该待拼接子视频的最后一帧，直到所有的待拼接子视频均播放完。
当播放模式为依序播放时，按照待拼接子视频的拼接顺序，依次确定每个时刻的待拼接子视频的原始视频帧。具体地，播放第一个待拼接子视频，当播放到第一个待拼接子视频的最后一帧时，下一时刻播放第二个待拼接子视频的第一帧，播放第二个待拼接子视频，当播放到第二个待拼接子视频的最后一帧时，下一时刻播放第三个待拼接子视频的第一帧，播放第三个待拼接子视频，以此列推，直到所有的待拼接子视频均播放完成。
通过本发明实施例3的提供的方法，实现对待拼接子视频进行播放顺序的确定，通过合理的播放顺序，提高视频内容的合理性。
本发明实施例4提供的一种视频拼接动态调整方法，其中，步骤S100-S400与实施例1中的步骤相同，优选地，所述判断至少两个所述视频段对应的视频帧的内容识别类型是否存在预设的帧尺寸调整关系，包括：
分析至少两个所述视频段对应的视频帧的内容识别类型相互之间的类型对应关系；其中，对应的视频帧的播放顺序相同。
判断预设的帧尺寸调整关系集中是否存在与所述类型对应关系对应的帧尺寸调整关系；所述帧尺寸调整关系集中预先设有多个与不同的类型对应关系相关联的帧尺寸调整关系。
可以理解的是，视频段A的内容识别类型为游戏人物类型，视频段B的内容识别类型为真人类型，则两者的内容识别类型的类型对应关系为“游戏人物对应真人”，且帧尺寸调整关系集中存在与“游戏人物对应真人”该类型对应关系相关联的帧尺寸调整关系：与游戏人物对应的视频段A的帧尺寸为720*1280，与真人对应的视频段B的帧尺寸为1280*720。
通过本发明实施例4的一具体实施方式提供的方法，实现对视频段进行尺寸调整，以保证拼接视频的质量及内容完整性。
第二方面。
请参阅图6，图6是本发明实施例5提供的一种视频拼接动态调整系统的装置图，包括：
视频段获取模块100，用于获取至少两个待拼接的视频段。
需要说明的是，所述待拼接的视频段为用户从终端设备中选择用于拼接的多个视频，如在经过用户授权的获取相册的访问权限后，从相册中调取存储于本地相册的所有视频，以供用户选择。根据用户的选择操作，即可获取到多个待拼接的视频段。因为本方案实施例目的在于对多个视频进行剪辑拼接操作，所以获取到的待拼接的视频段至少为两个。
可以理解的是，获取到的待拼接的视频段的尺寸大小可以不统一，即允许获取不同尺寸的待拼接的视频段。示例性的，视频尺寸可以是1280*720，其中，1280为横方向的像素数，720为竖方向的像素数。
视频内容识别模块200，用于对至少两个所述视频段的各个视频帧的内容进行识别，得到所述视频帧的内容识别类型。
可以理解的是，首先，通过对每个视频段进行截帧处理，得到每个视频段对应的视频帧图像集，然后对视频帧图像集的内容进行识别，得到所述视频帧的内容识别类型
尺寸调整模块300，用于判断至少两个所述视频段对应的视频帧的内容识别类型是否存在预设的帧尺寸调整关系；若是，根据所述帧尺寸调整关系对各个所述视频段对应的视频帧的帧尺寸进行调整，得到调整后的视频段。
需要说明的是，帧尺寸调整关系为工程师根据视频帧的内容识别类型进行配置的帧尺寸调整关系，不同的视频帧的内容识别类型会配置有不同的视频尺寸调整关系。
可以理解的是，若两个所述视频段对应的视频帧的内容识别类型不存在预设的帧尺寸调整关系，则无需进行帧尺寸进行调整，直接进行拼接。
视频拼接模块400，用于为各调整后的视频段设定对应的播放位置，并根据所述播放位置对各调整后的视频段进行视频拼接。
需要说明的是，播放位置用于指示拼接后的视频段的播放区域的位置，例如视频段A与视频段B是左右拼接的位置，拼接后的视频左侧是播放视频段A，拼接后的视频右侧是播放视频段B，在播放的过程中，视频段A与视频段B的各个视频帧的帧尺寸根据调整好的尺寸进行播放。
示例性的，通过本实施例5提供的一种视频拼接动态调整系统为将某一游戏主播在游戏《绝地求生》的游戏操作录屏视频及他在游戏过程中的实拍画面视频进行拼接剪辑。其中，游戏操作录屏视频的帧尺寸为1280*720，主播在游戏过程中的实拍画面视频的帧尺寸为720*1280，为了凸显主播在游戏过程中的显示效果，具体包括：
视频段获取模块100，用于获取待拼接的视频段：帧尺寸为1280*720的游戏操作录屏视频和帧尺寸为720*1280的主播在游戏过程中的实拍画面视频。
视频内容识别模块200，用于分别对两段待拼接的视频段的的视频帧的内容进行识别，得到两段视频帧的内容识别类型分别为：游戏操作录屏视频和真人实拍画面视频。
尺寸调整模块300，用于判断至少两段待拼接的视频段对应的视频帧的内容识别类型是否存在预设的帧尺寸调整关系，并根据所述帧尺寸调整关系对各个所述视频段对应的视频帧的帧尺寸进行调整，得到调整后的视频段。在本例中，为了凸显主播在游戏过程中的显示效果，预设的帧尺寸调整关系是将真人实拍画面视频进行放大，从而凸显真人与游戏人物的互动效果，对游戏操作录屏视频的帧尺寸可以不变或缩小。
视频拼接模块400，用于为各调整后的视频段设定对应的播放位置，具体地，将各调整后的真人实拍画面视频放于游戏操作录屏视频的右侧，从而进行视频拼接。
通过本发明实施例5提供的系统，实现对待拼接的视频段的进行内容识别类型，并根据内容识别类型结果对待拼接的视频段进行裁剪及尺寸调整，提高了视频拼接的动态调整的可操作性，进而提高拼接视频质量及内容完整性。
在本发明实施例6提供的一种视频拼接动态调整系统，其中，模块100-400均与实施例5中的模块相同，优选地，所述视频内容识别模块200，还用于：
对每个所述视频段进行截帧处理，得到每个所述视频段对应的视频帧。
需要说明的是，所述截帧处理可以是逐帧截取，也可以是每隔一定的帧数进行截取。
根据深度学习内容识别网络模型，对所述视频帧进行特征提取及分类，得到所述视频帧的内容识别类型。
需要说明的是，所述深度学习内容识别网络模型为预设神经网络模型，并在使用前已经进行模型建立及模型训练。通过深度学习内容识别网络模型，对至少两个所述视频段的各个视频帧的内容进行识别，得到所述视频帧的内容识别类型。所述深度学习内容识别网络模型为预设神经网络模型，并在使用前已经进行模型建立及模型训练。
可以理解的是，首先，将每个视频段对应的视频帧作为输入数据，输入至深度学习内容识别网络模型，经过深度学习内容识别网络模型处理，输出所述视频帧的内容识别类型。
通过本发明实施例6提供的系统，实现对视频进行内容识别，通过深度学习内容识别网络模型提高了对视频内容识别的准确性。
本发明实施例6的某一具体实施方式提供的一种视频拼接动态调整系统中，其中，模块100-400均与实施例6中的模块相同，优选地，所述视频内容识别模块200，还用于：
对深度学习内容识别网络模型进行训练。
具体地，所述视频内容识别模块200，用于：
获取至少两种目标图像数据集。其中，所述目标图像数据集中包括若干目标图像数据。
根据yolo模型，提取每个目标图像数据中目标子图位置，并根据每个所述目标子图位置对目标进行截取，得到每个目标图像数据对应的目标。
对所有的目标进行挑选及特征归类，并根据特征归类结果对所述目标进行定义，完成所述深度学习内容识别网络模型训练。
需要说明的是，所述yolo模型为根据yolo算法实现的模型，用于提取目标图像数据中目标子图位置。所述目标子图位置为以目标图像数据中的主体为中心的预设形状的图像，示例性的，若目标图像数据中的主体是人物，则目标子图为以该人物为中心半径为50mm的圆形，且保证目标子图中完全包含该人物。所述挑选为剔除质量较差的目标子图，如分辨率低于预设值的目标子图，以保证数据质量。所述特征归类为对相同类型的目标子图进行分类的操作。所述对所述目标进行定义，是对目标的一种标签化处理。
可以理解的是，通过对目标图像数据中的目标子图进行截取得到目标，接着对目标进行挑选、特征归类，并根据归类结果进行定义，通过对目标的定义，从而对目标图像数据集和视频段进行定义。
通过本发明实施例6的一具体实施方式提供的系统，实现对待目标图像数据进行视频内容识别，并锁定出视频段中的目标，提高了主体锁定的准确性，通过yolo模型可以在保证提取准确性的基础上加快提取速度。
优选地，在本发明实施例6的一具体实施方式中，所述获取至少两种目标图像数据集之后，还包括：
通过拉伸、翻转、加噪点对每种所述目标图像数据集进行数据加强。
所述完成所述深度学习内容识别网络模型训练之后，还包括：
设置调优系数，根据所述调优系数对所述深度学习内容识别网络模型进行优化。
可以理解的是，为了提高数据集的总量与平衡不同类别中的数据量，对数据集进行了数据增强，通过拉伸、翻转、加噪点等方法提高数据集质量；之后基于制作的目标数据集训练分类模型resnet50并调优，从而用上面的数据样本对网络模型进行训练。
通过本发明实施例6的一具体实施方式提供的系统，实现锁定视频段中的目标，提高了目标锁定提取的准确性。
本发明实施例7提供的一种视频拼接动态调整系统，其中，模块100-400与实施例5中的模块相同，优选地，所述视频内容识别模块200，还用于：
获取各调整后的视频段的播放时长，以播放时长最长的视频段的播放时长为视频拼接的总播放时长，并确定在同一时刻各视频段的视频帧。
可以理解的是，根据视频播放模式(包括：同时播放和依序播放)来确定在同一时刻，每段待拼接子视频的视频帧。
当播放模式为同时播放时，在每一时刻与各个待拼接子视频的视频帧依次为待拼接子视频每一帧。当某一待拼接子视频先播放完时，后续时刻为该待拼接子视频的最后一帧，直到所有的待拼接子视频均播放完。
当播放模式为依序播放时，按照待拼接子视频的拼接顺序，依次确定每个时刻的待拼接子视频的原始视频帧。具体地，播放第一个待拼接子视频，当播放到第一个待拼接子视频的最后一帧时，下一时刻播放第二个待拼接子视频的第一帧，播放第二个待拼接子视频，当播放到第二个待拼接子视频的最后一帧时，下一时刻播放第三个待拼接子视频的第一帧，播放第三个待拼接子视频，以此列推，直到所有的待拼接子视频均播放完成。
通过本发明实施例7的提供的系统，实现对待拼接子视频进行播放顺序的确定，通过合理的播放顺序，提高视频内容的合理性。
本发明实施例8提供的一种视频拼接动态调整系统，其中，模块100-400与实施例5中的步骤相同，优选地，所述尺寸调整模块300，还用于：
分析至少两个所述视频段对应的视频帧的内容识别类型相互之间的类型对应关系。
判断预设的帧尺寸调整关系集中是否存在与所述类型对应关系对应的帧尺寸调整关系；所述帧尺寸调整关系集中预先设有多个与不同的类型对应关系相关联的帧尺寸调整关系。
可以理解的是，视频段A的内容识别类型为游戏人物类型，视频段B的内容识别类型为真人类型，则两者的内容识别类型的类型对应关系为“游戏人物对应真人”，且帧尺寸调整关系集中存在与“游戏人物对应真人”该类型对应关系相关联的帧尺寸调整关系：与游戏人物对应的视频段A的帧尺寸为720*1280，与真人对应的视频段B的帧尺寸为1280*720。
通过本发明实施例8的提供的系统，实现对视频段进行尺寸调整，以保证拼接视频的质量及内容完整性。
第三方面。
本发明提供了一种电子设备，该电子设备包括：
处理器、存储器和总线；
所述总线，用于连接所述处理器和所述存储器；
所述存储器，用于存储操作指令；
所述处理器，用于通过调用所述操作指令，可执行指令使处理器执行如本申请的第一方面所示的一种视频拼接动态调整方法对应的操作。
在一个可选实施例中提供了一种电子设备，如图7所示，图7所示的电子设备5000包括：处理器5001和存储器5003。其中，处理器5001和存储器5003相连，如通过总线5002相连。可选地，电子设备5000还可以包括收发器5004。需要说明的是，实际应用中收发器5004不限于一个，该电子设备5000的结构并不构成对本申请实施例的限定。
处理器5001可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器5001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线5002可包括一通路，在上述组件之间传送信息。总线5002可以是PCI总线或EISA总线等。总线5002可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器5003可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器5003用于存储执行本申请方案的应用程序代码，并由处理器5001来控制执行。处理器5001用于执行存储器5003中存储的应用程序代码，以实现前述任一方法实施例所示的内容。
其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。
第四方面。
本发明提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现本申请第一方面所示的一种视频拼接动态调整方法。
本申请的又一实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。
Claims (10)
1.一种视频拼接动态调整方法，其特征在于，包括：
获取至少两个待拼接的视频段；
对至少两个所述视频段的各个视频帧的内容进行识别，得到所述视频帧的内容识别类型；
判断至少两个所述视频段对应的视频帧的内容识别类型是否存在预设的帧尺寸调整关系；
若是，根据所述帧尺寸调整关系对各个所述视频段对应的视频帧的帧尺寸进行调整，得到调整后的视频段；
为各调整后的视频段设定对应的播放位置，并根据所述播放位置对各调整后的视频段进行视频拼接。
2.如权利要求1所述的一种视频拼接动态调整方法，其特征在于，所述对至少两个所述视频段的各个视频帧的内容进行识别，得到所述视频帧的内容识别类型，包括：
对每个所述视频段进行截帧处理，得到每个所述视频段对应的视频帧；
根据深度学习内容识别网络模型，对所述视频帧进行特征提取及分类，得到所述视频帧的内容识别类型。
3.如权利要求2所述的一种视频拼接动态调整方法，其特征在于，所述根据深度学习内容识别网络模型，对所述视频帧进行特征提取及分类之前，包括：对深度学习内容识别网络模型进行训练；具体地：
获取至少两种目标图像数据集；其中，所述目标图像数据集中包括若干目标图像数据；
根据yolo模型，提取每个目标图像数据中目标子图位置，并根据每个所述目标子图位置对目标进行截取，得到每个目标图像数据对应的目标；
对所有的目标进行挑选及特征归类，并根据特征归类结果对所述目标进行定义，完成所述深度学习内容识别网络模型训练。
4.如权利要求3所述的一种视频拼接动态调整方法，其特征在于，所述获取至少两种目标图像数据集之后，还包括：
通过拉伸、翻转、加噪点对每种所述目标图像数据集进行数据加强；
所述完成所述深度学习内容识别网络模型训练之后，还包括：
设置调优系数，根据所述调优系数对所述深度学习内容识别网络模型进行优化。
5.如权利要求1所述的一种视频拼接动态调整方法，其特征在于，所述根据所述播放位置对各调整后的视频段进行视频拼接，包括：
获取各调整后的视频段的播放时长，以播放时长最长的视频段的播放时长为视频拼接的总播放时长，并确定在同一时刻各视频段的视频帧。
6.如权利要求1所述的一种视频拼接动态调整方法，其特征在于，所述判断至少两个所述视频段对应的视频帧的内容识别类型是否存在预设的帧尺寸调整关系，包括：
分析至少两个所述视频段对应的视频帧的内容识别类型相互之间的类型对应关系；其中，对应的视频帧的播放顺序相同；
判断预设的帧尺寸调整关系集中是否存在与所述类型对应关系对应的帧尺寸调整关系；所述帧尺寸调整关系集中预先设有多个与不同的类型对应关系相关联的帧尺寸调整关系。
7.一种视频拼接动态调整系统，其特征在于，包括：
视频段获取模块，用于获取至少两个待拼接的视频段；
视频内容识别模块，用于对至少两个所述视频段的各个视频帧的内容进行识别，得到所述视频帧的内容识别类型；
尺寸调整模块，用于判断至少两个所述视频段对应的视频帧的内容识别类型是否存在预设的帧尺寸调整关系；若是，根据所述帧尺寸调整关系对各个所述视频段对应的视频帧的帧尺寸进行调整，得到调整后的视频段；
视频拼接模块，用于为各调整后的视频段设定对应的播放位置，并根据所述播放位置对各调整后的视频段进行视频拼接。
8.如权利要求7所述的一种视频拼接动态调整系统，其特征在于，所述视频内容识别模块，还用于：
对每个所述视频段进行截帧处理，得到每个所述视频段对应的视频帧；
根据深度学习内容识别网络模型，对所述视频帧进行特征提取及分类，得到所述视频帧的内容识别类型。
9.一种电子装置，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的视频拼接动态调整方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至6中任意一项所述的视频拼接动态调整方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111124515.9A CN113905188B (zh) | 2021-09-24 | 2021-09-24 | 一种视频拼接动态调整方法、系统、电子装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111124515.9A CN113905188B (zh) | 2021-09-24 | 2021-09-24 | 一种视频拼接动态调整方法、系统、电子装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113905188A true CN113905188A (zh) | 2022-01-07 |
| CN113905188B CN113905188B (zh) | 2024-06-14 |
Family
ID=79029402
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111124515.9A Active CN113905188B (zh) | 2021-09-24 | 2021-09-24 | 一种视频拼接动态调整方法、系统、电子装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113905188B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114708530A (zh) * | 2022-03-18 | 2022-07-05 | 电子科技大学 | 神经网络模型的预训练数据处理、装置、存储介质、识别方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170019594A1 (en) * | 2015-07-13 | 2017-01-19 | Futurewei Technologies, Inc. | Increasing spatial resolution of panoramic video captured by a camera array |
| CN109120950A (zh) * | 2018-09-30 | 2019-01-01 | 北京金山安全软件有限公司 | 视频拼接方法、装置、终端设备和存储介质 |
| CN111654715A (zh) * | 2020-06-08 | 2020-09-11 | 腾讯科技（深圳）有限公司 | 直播的视频处理方法、装置、电子设备及存储介质 |
| CN112367481A (zh) * | 2020-10-28 | 2021-02-12 | 郑州阿帕斯科技有限公司 | 一种视频片段的处理方法和装置 |
| CN112616089A (zh) * | 2020-11-27 | 2021-04-06 | 深圳点猫科技有限公司 | 一种网课直播拼接推流方法、系统及介质 |
-
2021
- 2021-09-24 CN CN202111124515.9A patent/CN113905188B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170019594A1 (en) * | 2015-07-13 | 2017-01-19 | Futurewei Technologies, Inc. | Increasing spatial resolution of panoramic video captured by a camera array |
| CN109120950A (zh) * | 2018-09-30 | 2019-01-01 | 北京金山安全软件有限公司 | 视频拼接方法、装置、终端设备和存储介质 |
| CN111654715A (zh) * | 2020-06-08 | 2020-09-11 | 腾讯科技（深圳）有限公司 | 直播的视频处理方法、装置、电子设备及存储介质 |
| CN112367481A (zh) * | 2020-10-28 | 2021-02-12 | 郑州阿帕斯科技有限公司 | 一种视频片段的处理方法和装置 |
| CN112616089A (zh) * | 2020-11-27 | 2021-04-06 | 深圳点猫科技有限公司 | 一种网课直播拼接推流方法、系统及介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114708530A (zh) * | 2022-03-18 | 2022-07-05 | 电子科技大学 | 神经网络模型的预训练数据处理、装置、存储介质、识别方法 |
| CN114708530B (zh) * | 2022-03-18 | 2023-04-18 | 电子科技大学 | 神经网络模型的预训练数据处理、装置、存储介质、识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113905188B (zh) | 2024-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108830235B (zh) | 用于生成信息的方法和装置 | |
| CN110188719B (zh) | 目标跟踪方法和装置 | |
| CN109993150B (zh) | 用于识别年龄的方法和装置 | |
| CN109829432B (zh) | 用于生成信息的方法和装置 | |
| CN109961032B (zh) | 用于生成分类模型的方法和装置 | |
| CN110213614B (zh) | 从视频文件中提取关键帧的方法和装置 | |
| US20220277481A1 (en) | Panoramic video processing method and apparatus, and storage medium | |
| CN113962965B (zh) | 图像质量评价方法、装置、设备以及存储介质 | |
| CN109862100B (zh) | 用于推送信息的方法和装置 | |
| CN112839223B (zh) | 图像压缩方法、装置、存储介质及电子设备 | |
| CN111461967B (zh) | 图片处理方法、装置、设备和计算机可读介质 | |
| CN109919220B (zh) | 用于生成视频的特征向量的方法和装置 | |
| CN109816670B (zh) | 用于生成图像分割模型的方法和装置 | |
| CN113905188A (zh) | 一种视频拼接动态调整方法、系统、电子装置及存储介质 | |
| CN113971402A (zh) | 内容识别方法、装置、介质及电子设备 | |
| CN111797266B (zh) | 图像处理方法和装置、存储介质和电子设备 | |
| CN113343069A (zh) | 用户信息的处理方法、装置、介质及电子设备 | |
| CN112990176A (zh) | 书写质量评价方法、装置和电子设备 | |
| CN109034085B (zh) | 用于生成信息的方法和装置 | |
| CN109670111B (zh) | 用于推送信息的方法和装置 | |
| CN110765304A (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
| CN115393756A (zh) | 一种基于视觉图像的水印识别方法、装置、设备及介质 | |
| CN112287932B (zh) | 一种确定图像质量的方法、装置、设备及存储介质 | |
| CN114240780A (zh) | 印鉴识别的方法、装置、设备、介质和产品 | |
| CN113177176A (zh) | 特征构建方法、内容显示方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |