CN114286174B

CN114286174B - 一种基于目标匹配的视频剪辑方法、系统、设备及介质

Info

Publication number: CN114286174B
Application number: CN202111544054.0A
Authority: CN
Inventors: 陆赞信
Original assignee: iMusic Culture and Technology Co Ltd
Current assignee: iMusic Culture and Technology Co Ltd
Priority date: 2021-12-16
Filing date: 2021-12-16
Publication date: 2023-06-20
Anticipated expiration: 2041-12-16
Also published as: CN114286174A

Abstract

本发明公开了一种基于目标匹配的视频剪辑方法、系统、设备及介质，方法包括：获取参照图和待剪辑视频；根据所述参照图对所述待剪辑视频进行相似度匹配，从所述待剪辑视频中提取多个相似视频片段；对所述相似视频片段进行视频片段匹配度计算，确定视频片段目标匹配度；根据所述视频片段目标匹配度对所述相似视频片段进行渐变拼接，确定剪辑视频。本发明实施例能够根据匹配度进行选择性拼接视频片段，增强了剪辑视频的匹配度和关联性，可广泛应用于图像处理技术领域。

Description

一种基于目标匹配的视频剪辑方法、系统、设备及介质

技术领域

本发明涉及图像处理技术领域，尤其是一种基于目标匹配的视频剪辑方法、系统、设备及介质。

背景技术

目前平台对于视频剪辑的方法大多数依赖于用户手动对视频进行剪辑，根据用户预设的移动终端的动作与视频剪辑操作进行视频剪辑，但是这种方法依赖用户操作，对用户的操作要求比较高，剪辑步骤比较繁琐。现有方法对视频进行剪辑通过对视频进行标识，对标识片段进行并行解码，再根据解码结果生成剪辑视频。但是这种方法只注重剪辑效率，并没有考虑不同视频片段之间的过渡以及关联度。

发明内容

有鉴于此，本发明实施例提供一种简单快捷的基于目标匹配的视频剪辑方法、系统、设备及介质，以实现对视频进行自动剪辑。

一方面，本发明提供了一种基于目标匹配的视频剪辑方法，包括：

获取参照图和待剪辑视频；

根据所述参照图对所述待剪辑视频进行相似度匹配，从所述待剪辑视频中提取多个相似视频片段；

对所述相似视频片段进行视频片段匹配度计算，确定视频片段目标匹配度；

根据所述视频片段目标匹配度对所述相似视频片段进行渐变拼接，确定剪辑视频。

可选地，所述根据所述参照图对所述待剪辑视频进行相似度匹配，从所述待剪辑视频中提取多个相似视频片段，包括：

根据所述参照图对所述待剪辑视频进行相似度匹配，确定多个相似关键帧，所述相似关键帧用于表征待剪辑视频中与参照图相似度大于或等于相似度阈值的关键帧；

根据所述相似关键帧，从所述待剪辑视频中提取多个相似视频片段。

可选地，所述根据所述参照图对所述待剪辑视频进行相似度匹配，确定多个相似关键帧，包括：

对所述待剪辑视频进行关键帧提取处理，确定多个视频关键帧；

对所述视频关键帧进行特征提取，确定视频关键帧特征描述子；

对所述参照图进行特征提取，确定参照图特征描述子；

根据所述视频关键帧特征描述子和所述参照图特征描述子的欧氏距离，确定所述视频关键帧与所述参照图的相似度；

提取相似度大于或等于相似度阈值的视频关键帧，确定多个相似关键帧。

可选地，所述根据所述相似关键帧，从所述待剪辑视频中提取多个相似视频片段，包括：

根据所述相似关键帧，从所述待剪辑视频中提取图像群组GOP组，所述GOP组包含至少一个相似关键帧；

确定多个相似视频片段，所述相似视频片段用于表征包含相邻的GOP组的视频片段。

可选地，所述对所述相似视频片段进行视频片段匹配度计算，确定视频片段目标匹配度，包括：

获取所述相似视频片段包含的相似关键帧和所述相似视频片段的分辨率；

对所述相似关键帧进行关键帧匹配度计算，确定关键帧目标匹配度；

根据关键帧目标匹配度和分辨率进行视频片段匹配度计算，确定视频片段目标匹配度。

可选地，所述对所述相似关键帧进行关键帧匹配度计算，确定关键帧目标匹配度，包括：

获取所述相似关键帧的目标像素点；

根据所述目标像素点和关键帧匹配度计算公式，确定关键帧目标匹配度。

可选地，所述根据所述视频片段目标匹配度对所述相似视频片段进行渐变拼接，确定剪辑视频，包括：

根据所述视频片段目标匹配度对所述相似视频片段进行排序，确定排序后的视频片段；

根据相似帧特征匹配对所述排序后的视频片段进行三角剖分和仿射变换处理，确定渐变视频片段；

对所述渐变视频片段进行拼接处理，确定剪辑视频。

另一方面，本发明实施例还公开了一种基于目标匹配的视频剪辑系统，包括：

第一模块，用于获取参照图和待剪辑视频；

第二模块，用于根据所述参照图对所述待剪辑视频进行相似度匹配，从所述待剪辑视频中提取多个相似视频片段；

第三模块，用于对所述相似视频片段进行视频片段匹配度计算，确定视频片段目标匹配度；

第四模块，用于根据所述视频片段目标匹配度对所述相似视频片段进行渐变拼接，确定剪辑视频。

另一方面，本发明实施例还公开了一种电子设备，包括处理器以及存储器；

所述存储器用于存储程序；

所述处理器执行所述程序实现如前面所述的方法。

另一方面，本发明实施例还公开了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。

另一方面，本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明实施例获取参照图和待剪辑视频；根据所述参照图对所述待剪辑视频进行相似度匹配，从所述待剪辑视频中提取多个相似视频片段；对所述相似视频片段进行视频片段匹配度计算，确定视频片段目标匹配度；根据所述视频片段目标匹配度对所述相似视频片段进行渐变拼接，确定剪辑视频；本申请能够根据视频的匹配度进行选择性拼接视频片段，提高了视频剪辑的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的一种基于目标匹配的视频剪辑方法流程图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在介绍本发明实施例之前，首先介绍以下几个技术术语。

帧，是影像动画中最小单位的单幅影像画面，一帧就是一副静止的画面，连续的帧形成动画。

关键帧，是角色或者物体运动变化中关键动作所处的那一帧。

GOP组，是画面组，一个GOP就是一组连续的画面。

参照图1，本发明实施例提供一种基于目标匹配的视频剪辑方法，包括：

获取参照图和待剪辑视频；

其中，本发明实施例首先获取用户输入的参照图和待剪辑视频，参照图可以为人物图或物体图，需要说明的是至少输入一张参照图和一段待剪辑视频。根据参照图中的目标内容，对待剪辑视频进行目标识别，通过对待剪辑视频进行相似度匹配，从待剪辑视频中提取出多个与参照图目标内容相似的相似视频片段。接着对相似视频片段进行视频片段匹配度计算，根据视频片段目标匹配度对相似视频片段进行排序，对排序后的相似视频片段进行相邻片段的渐变拼接，通过特征相似度匹配相邻片段相邻帧的相似内容，对相似内容进行三角剖分和仿射变换，实现动态渐变拼接，最后合成剪辑视频。

进一步作为优选的实施方式，所述根据所述参照图对所述待剪辑视频进行相似度匹配，从所述待剪辑视频中提取多个相似视频片段，包括：

其中，根据参照图中的目标内容对待剪辑视频进行相似度匹配，对待剪辑视频中与目标内容相似的关键帧进行识别。提取待剪辑视频中与参照图相似度大于或等于相似度阈值的关键帧为相似关键帧，需要说明的是相似度阈值可根据应用场景进行设定，在本发明实施例中可确定为百分之五十。根据相似关键帧，可以从待剪辑视频中提取出多个包含相似关键帧的相似视频片段。

进一步作为优选的实施方式，所述根据所述参照图对所述待剪辑视频进行相似度匹配，确定多个相似关键帧，包括：

对所述参照图进行特征提取，确定参照图特征描述子；

其中，通过对待剪辑视频进行关键帧提取处理，将待剪辑视频中的所有关键帧进行提取，得到多个视频关键帧。通过特征提取算法对每个视频关键帧进行特征提取，特征提取算法可使用尺度不变特征变化(SI FT)算法，提取得到视频关键帧特征描述子。通过特征提取算法对参照图进行特征提取，得到参照图特征描述子。通过欧几里得度量，对视频关键帧特征描述子和参照图特征描述子进行欧氏距离计算，结合相似度计算公式计算得到每个视频关键帧与参照图关键帧之间的相似度。相似度计算公式为：Wf＝1/(1+d_ab)，式中，Wf表示视频关键帧与参照图的相似度，d_ab表示视频关键帧特征描述子与参照图特征描述子的欧氏距离。当计算得到的相似度大于或等于相似度阈值时，提取对应的视频关键帧，确定为相似关键帧，需要说明的是相似度阈值可根据应用场景进行设定，在本发明实施例中可确定为百分之五十。

进一步作为优选的实施方式，所述根据所述相似关键帧，从所述待剪辑视频中提取多个相似视频片段，包括：

其中，从待剪辑视频中提取图像群组GOP组，GOP组包含至少一个相似关键帧。将相邻的GOP组确定为一个视频片段，从而确定多个相似视频片段。

进一步作为优选的实施方式，所述对所述相似视频片段进行视频片段匹配度计算，确定视频片段目标匹配度，包括：

其中，获取相似视频片段中的相似关键帧和分辨率，并且对相似关键帧进行关键帧匹配计算，得到关键帧目标匹配度。根据关键帧目标匹配度和分辨率可以进行视频片段匹配度计算，得到视频片段目标匹配度。根据相似视频片段的分辨率(Pvh，Pvw)并结合剪辑视频结果分辨率(Ph，Pw)，剪辑视频结果分辨率可根据实际应用场景进行设置得到，计算得到相似视频片段的分辨率匹配度，从而计算得到视频片段目标匹配度。分辨率匹配系数计算公式为：

Mpixel＝|1/(1+arctan(Pvh/Pvw)-arctan(Ph/Pw))|；

式中，Mpixel表示相似视频片段的分辨率匹配系数，arctan表示正切函数，(Pvh，Pvw)表示相似视频片段的分辨率，(Ph，Pw)表示剪辑视频结果分辨率。

设Mw为视频宽度匹配系数：当Pvw≥Pw时Mw＝1，否则Mw＝Phvw/Pw；设Mh为视频高度匹配系数：当Pvh≥Ph时Mh＝1，否则Mh＝Phvh/Ph；根据视频宽度匹配系数和视频高度匹配系数可计算得到视频片段分辨率匹配度Mpv为：Mpv＝Mpixel·Mw·Mh。根据视频片段分辨率匹配度可计算视频片段目标匹配度。视频片段目标匹配度为：

式中，Mv表示视频片段目标匹配度，f表示正整数，n表示视频片段中包含相似帧的数量，Mf表示关键帧目标匹配度。

进一步作为优选的实施方式，所述对所述相似关键帧进行关键帧匹配度计算，确定关键帧目标匹配度，包括：

获取所述相似关键帧的目标像素点；

其中，关键帧匹配度计算公式为：Mf＝Lgopf(∑Mfi)/Sf；式中，Mf表示关键帧目标匹配度，Lgopf表示相似关键帧所在GOP组的长度，Mfi表示目标物体匹配度，Sf表示关键帧总像素面积。目标物体匹配度为相似关键帧中与参照图相似的目标内容的匹配度，目标物体匹配度的计算公式为：Mfi＝Wf*Nc*Sfi；式中，Mfi表示目标物体匹配度，Wf表示视频关键帧与参照图的相似度，Nc表示相似关键帧中目标内容关于帧中心点对称的对称像素点数，Sfi表示相似关键帧中目标内容的像素点数。

进一步作为优选的实施方式，所述根据所述视频片段目标匹配度对所述相似视频片段进行渐变拼接，确定剪辑视频，包括：

对所述渐变视频片段进行拼接处理，确定剪辑视频。

其中，本发明实施例按照视频片段目标匹配度的大小从前往后对相似视频片段进行排序，根据取出的片段顺序进行视频片段拼接，处理相邻视频片段拼接时，通过特征相似度找出两视频片段相邻帧中的相似内容，对相似内容进行三角分隔和仿射变换处理，在相邻帧中间插入24帧进行仿射变幻，对非相似内容进行虚化渐变处理，以达到相邻帧渐变拼接效果。最后进行视频合成，输出剪辑视频。

与图1的方法相对应，本发明实施例还提供了一种电子设备，包括处理器以及存储器；所述存储器用于存储程序；所述处理器执行所述程序实现如前面所述的方法。

与图1的方法相对应，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。

本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。

综上所述，本发明实施例包括以下优点：

(1)本发明实施例通过自动计算参照图与视频片段的匹配度，根据匹配度进行选择性拼接视频片段，增强了剪辑视频的匹配度和关联性。

(2)本发明实施例通过仿射变换的渐变拼接处理对视频片段进行拼接，提高了剪辑视频的流畅度。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-On ly Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims

1.一种基于目标匹配的视频剪辑方法，其特征在于，包括：

获取参照图和待剪辑视频；

根据所述视频片段目标匹配度对所述相似视频片段进行渐变拼接，确定剪辑视频；

所述根据所述视频片段目标匹配度对所述相似视频片段进行渐变拼接，确定剪辑视频，包括：

对所述渐变视频片段进行拼接处理，确定剪辑视频；所述对所述相似视频片段进行视频片段匹配度计算，确定视频片段目标匹配度，包括：

根据所述相似视频片段的分辨率计算得到视频片段分辨率匹配度；

根据关键帧目标匹配度和所述视频片段分辨率匹配度进行视频片段匹配度计算，确定视频片段目标匹配度；

所述对所述相似关键帧进行关键帧匹配度计算，确定关键帧目标匹配度，包括：

获取所述相似关键帧的目标像素点；

根据所述目标像素点和关键帧匹配度计算公式，确定关键帧目标匹配度；

其中，关键帧匹配度计算公式为：Mf＝Lgopf(∑Mfi)/Sf；式中，Mf表示关键帧目标匹配度，Lgopf表示相似关键帧所在GOP组的长度，Mfi表示目标物体匹配度，Sf表示关键帧总像素面积；目标物体匹配度为相似关键帧中与参照图相似的目标内容的匹配度，目标物体匹配度的计算公式为：Mfi＝Wf*Nc*Sfi；式中，Mfi表示目标物体匹配度，Wf表示视频关键帧与参照图的相似度，Nc表示相似关键帧中目标内容关于帧中心点对称的对称像素点数，Sfi表示相似关键帧中目标内容的像素点数；

所述视频片段目标匹配度为：

2.根据权利要求1所述的一种基于目标匹配的视频剪辑方法，其特征在于，所述根据所述参照图对所述待剪辑视频进行相似度匹配，从所述待剪辑视频中提取多个相似视频片段，包括：

3.根据权利要求2所述的一种基于目标匹配的视频剪辑方法，其特征在于，所述根据所述参照图对所述待剪辑视频进行相似度匹配，确定多个相似关键帧，包括：

对所述参照图进行特征提取，确定参照图特征描述子；

4.根据权利要求2所述的一种基于目标匹配的视频剪辑方法，其特征在于，所述根据所述相似关键帧，从所述待剪辑视频中提取多个相似视频片段，包括：

5.一种基于目标匹配的视频剪辑系统，其特征在于，包括：

第一模块，用于获取参照图和待剪辑视频；

第四模块，用于根据所述视频片段目标匹配度对所述相似视频片段进行渐变拼接，确定剪辑视频；

所述第四模块，用于根据所述视频片段目标匹配度对所述相似视频片段进行渐变拼接，确定剪辑视频，包括：

对所述渐变视频片段进行拼接处理，确定剪辑视频；

所述第三模块，用于对所述相似视频片段进行视频片段匹配度计算，确定视频片段目标匹配度，包括：

视频片段目标匹配度为：

6.一种电子设备，其特征在于，包括处理器以及存储器；

所述存储器用于存储程序；

所述处理器执行所述程序实现如权利要求1-4中任一项所述的方法。

7.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1-4中任一项所述的方法。