CN115243073A - 一种视频处理方法、装置、设备及存储介质 - Google Patents

一种视频处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115243073A
CN115243073A CN202210875705.2A CN202210875705A CN115243073A CN 115243073 A CN115243073 A CN 115243073A CN 202210875705 A CN202210875705 A CN 202210875705A CN 115243073 A CN115243073 A CN 115243073A
Authority
CN
China
Prior art keywords
video
frame
sequence
similarity score
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210875705.2A
Other languages
English (en)
Other versions
CN115243073B (zh
Inventor
尚焱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210875705.2A priority Critical patent/CN115243073B/zh
Publication of CN115243073A publication Critical patent/CN115243073A/zh
Application granted granted Critical
Publication of CN115243073B publication Critical patent/CN115243073B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种视频处理方法、装置、设备及存储介质。其中方法包括：获取第一视频对应的第一帧序列及第二视频对应的第二帧序列，并获取第一帧序列的时域特征及第二帧序列的时域特征，时域特征用于表示同一帧序列中相邻视频帧之间在时域上的关联关系，基于第一帧序列的时域特征及第二帧序列的时域特征，确定第一视频和第二视频中的帧对齐位置，通过第一视频和第二视频中的帧对齐位置，对第一视频和第二视频进行帧对齐处理。可见，本申请通过帧序列中的时域特征，来确定第一视频和第二视频中的帧对齐位置，可以降低帧对齐过程中的计算复杂度，提高了视频处理过程中帧对齐的效率。

Description

一种视频处理方法、装置、设备及存储介质
技术领域
本申请涉及计算机技术领域，具体涉及一种视频处理方法、装置、设备及存储介质。
背景技术
随着科技技术的不断进步，视频的制作已经变得越来越便捷，互联网中涌现出海量的视频。为了优化视频观看者的体验，帧对齐技术被广泛应用在视频处理过程中。帧对齐技术的核心是确定多个视频中的帧对齐位置，研究发现，在确定帧对齐位置的过程中，需要将多个视频中的视频帧进行两两比较，计算复杂度较高，帧对齐的效率较低。
发明内容
本申请实施例提供了一种视频处理方法、装置、设备及计算机可读存储介质，能够提高视频处理过程中帧对齐的效率。
一方面，本申请实施例提供了一种视频处理方法，包括：
获取第一视频对应的第一帧序列及第二视频对应的第二帧序列，第一视频和第二视频之间存在至少一帧相同视频帧；
获取第一帧序列的时域特征及第二帧序列的时域特征，时域特征用于表示同一帧序列中相邻视频帧之间在时域上的关联关系；
基于第一帧序列的时域特征及第二帧序列的时域特征匹配度，确定第一视频和第二视频中的帧对齐位置；
通过第一视频和第二视频中的帧对齐位置，对第一视频和第二视频进行帧对齐处理。
一方面，本申请实施例提供了一种视频处理装置，该视频处理装置包括：
获取单元，用于获取第一视频对应的第一帧序列及第二视频对应的第二帧序列，第一视频和第二视频之间存在至少一帧相同视频帧；
以及用于获取第一帧序列的时域特征及第二帧序列的时域特征，时域特征用于表示同一帧序列中相邻视频帧之间在时域上的关联关系；
处理单元，用于基于第一帧序列的时域特征及第二帧序列的时域特征匹配度，确定第一视频和第二视频中的帧对齐位置；
以及用于通过第一视频和第二视频中的帧对齐位置，对第一视频和第二视频进行帧对齐处理。
在一种实施方式中，获取单元，用于获取第一帧序列的时域特征及第二帧序列的时域特征，具体用于：
获取第一帧序列中各个相邻视频帧之间的相似度，得到的第一相似度评分序列，并将第一相似度评分序列作为第一帧序列的时域特征；以及，
获取第二帧序列中各个相邻视频帧之间的相似度，得到的第二相似度评分序列，并将第二相似度评分序列作为第二帧序列的时域特征。
在一种实施方式中，处理单元用于，基于第一帧序列的时域特征及第二帧序列的时域特征，确定第一视频和第二视频中的帧对齐位置，具体用于：
根据第一相似度评分序列和第二相似度评分序列之间的公共子序列，确定第一视频和第二视频中的帧对齐位置；
其中，第一相似度评分序列和第二相似度评分序列之间的公共子序列，是对第一相似度评分序列和第二相似度评分序列进行求交处理得到的。
在一种实施方式中，处理单元用于，根据第一相似度评分序列和第二相似度评分序列之间的公共子序列，确定第一视频和第二视频中的帧对齐位置，具体用于：
获取第一匹配度集合，并跟据第一匹配度集合确定第一视频中的帧对齐位置；以及，
获取第二匹配度集合，并跟据第二匹配度集合确定第二视频中的帧对齐位置；
其中，第一匹配度集合包括公共子序列与第一相似度评分序列在不同对齐方式下的时域特征匹配度，第二匹配度集合包括公共子序列与第二相似度评分序列在不同对齐方式下的时域特征匹配度。
在一种实施方式中，处理单元用于，获取第一匹配度集合，并跟据第一匹配度集合确定第一相似度评分序列中的帧对齐位置，具体用于：
计算公共子序列与第一相似度评分序列在不同对齐方式下的时域特征匹配度，得到第一匹配度集合；
将第一匹配度集合中匹配度最高的对齐方式所指示的帧对齐位置，确定为第一相似度评分序列的帧对齐位置。
在一种实施方式中，处理单元用于，基于第一帧序列的时域特征及第二帧序列的时域特征，确定第一视频和第二视频中的帧对齐位置，具体用于：
计算第一相似度评分序列和第二相似度评分序列在不同对齐方式下的时域特征匹配度，得到第三匹配度集合；
将第三匹配度集合中匹配度最高的对齐方式所指示的帧对齐位置，确定为第一视频和第二视频中的帧对齐位置。
在一种实施方式中，处理单元还用于：
获取相似度评分阈值；
基于相似度评分阈值对第一相似度评分序列和第二相似度评分序列进行筛选，得到筛选后的第一相似度评分序列和第二相似度评分序列。
在一种实施方式中，处理单元用于，基于相似度评分阈值对第一相似度评分序列和第二相似度评分序列进行筛选，得到筛选后的第一相似度评分序列和第二相似度评分序列，具体用于：
若第一相似度评分序列包含相似度评分大于相似度评分阈值的N个连续视频帧，则去除N个连续视频帧中的N-1个视频帧，得到筛选后的第一相似度评分序列，N为大于1的整数；以及，
若第二相似度评分序列包含相似度评分大于相似度评分阈值的M个连续视频帧，则去除M个连续视频帧中的M-1个视频帧，得到筛选后的第二相似度评分序列，M为大于1的整数。
在一种实施方式中，处理单元用于，获取第一帧序列中各个相邻视频帧之间的相似度，得到的第一相似度评分序列，具体用于：
计算第一帧序列中各相邻视频帧之间像素点的相似度，得到第一相似度评分序列。
在一种实施方式中，处理单元用于，获取第一帧序列中各个相邻视频帧之间的相似度，得到的第一相似度评分序列，具体用于：
对第一帧序列中的视频帧分别进行特征提取，得到第一帧序列中各个视频帧的特征信息；
基于第一帧序列中各个视频帧的特征信息，计算第一帧序列中各相邻视频帧之间特征信息的相似度，得到第一相似度评分序列。
在一种实施方式中，处理单元用于，获取第一视频对应的第一帧序列及第二视频对应的第二帧序列，具体用于：
获取目标时间段，目标时间段用于指示第一视频和第二视频中需要执行抽帧处理的时间段；
按照目标时间段对第一视频进行抽帧处理，得到第一视频对应的第一帧序列；以及，
按照目标时间段对第二视频进行抽帧处理，得到第二视频对应的第二帧序列。
相应地，本申请提供了一种计算机设备，该计算机设备包括：
处理器，用于加载并执行计算机程序；
存储器，该存储器中存储有计算机程序，该计算机程序被处理器执行时，实现上述视频处理方法。
相应地，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序适于由处理器加载并执行上述视频处理方法。
相应地，本申请提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述视频处理方法。
本申请实施例中，获取第一视频对应的第一帧序列及第二视频对应的第二帧序列，并获取第一帧序列的时域特征及第二帧序列的时域特征，时域特征用于表示同一帧序列中相邻视频帧之间在时域上的关联关系，基于第一帧序列的时域特征及第二帧序列的时域特征，确定第一视频和第二视频中的帧对齐位置，通过第一视频和第二视频中的帧对齐位置，对第一视频和第二视频进行帧对齐处理。可见，本申请通过帧序列中的时域特征，来确定第一视频和第二视频中的帧对齐位置，可以降低帧对齐过程中的计算复杂度，提高了视频处理过程中帧对齐的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种视频处理系统的架构图；
图2为本申请实施例提供的一种视频处理方法的流程图；
图3为本申请实施例提供的另一种视频处理方法的流程图；
图4a为本申请实施例提供的一种获取第一相似度评分序列的方式示意图；
图4b为本申请实施例提供的一种确定第一视频中的帧对齐位置的示意图；
图4c为本申请实施例提供的一种视频处理过程示意图；
图5为本申请实施例提供的一种视频处理装置的结构示意图；
图6为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都·属于本申请保护的范围。
为了更清楚地理解本申请实施例提供的技术方案，在此先对本申请实施例涉及的关键术语进行介绍：
时域一致性：时域一致性指的是视频在同一个场景中，其视频画面的内容具有连续性，相邻视频帧之间不会产生画面的突变，内容的相似性极大。
视频场景：通常视频中包含多个场景，镜头的切换通常带来视频画面的改变，不同的场景通过拼接组成完成的视频叙事框架。
FPS(Frames Per Second)：FPS是图像领域中的定义，是指画面每秒传输帧数，通俗来讲就是指动画或视频的画面数。FPS是测量用于保存、显示动态视频的信息数量。每秒钟帧数越多，所显示的动作就会越流畅。通常，要避免动作不流畅的最低是30FPS。
全参考质量评价：全参考图像质量评价是指在选择理想视频作为参考图像的情况下，比较待评视频与参考视频之间的差异，分析待评视频的失真程度，从而得到待评视频的质量评估。
尺度不变特征变换(Scale-Invariant Feature Transform，SIFT)：是一种计算机视觉的特征提取算法，用来侦测与描述图像中的局部性特征。
加速稳健特征(Speeded Up Robust Features，SURF)：是一种稳健的图像识别和描述算法。它是SIFT的高效变种，也是提取尺度不变特征，算法步骤与SIFT算法大致相同，但要比SIFT算法更高效。
ORB(Oriented FAST and Rotated BRIEF)：该特征检测算法是在FAST特征检测和BRIEF特征描述子的基础上提出来的，其运行时间优于SIFT和SURF，可应用于实时性特征检测。
本申请提供的视频处理方案可以依托于云技术进行实现；例如，将云服务器作为视频处理设备。云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。
请参阅图1，图1为本申请实施例提供的一种视频处理系统的架构图。如图1所示，该视频处理系统可以包括：终端设备101和服务器102。本申请实施例提供的视频处理方法可由服务器102执行；或者，由搭载有视频处理装置的终端设备执行。其中，终端设备101包括但不限于：智能手机(如Android手机、IOS手机等)、平板电脑、便携式个人计算机、智能家电、车载终端等智能设备，本申请实施例对此不做限定。服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器，本申请实施例对此不做限定。
需要说明的是，待处理视频的数量可以是一个或多个，服务器102还可以通过其他方式获取待处理视频；例如，待处理视频还可以是由终端设备103上传给服务器的，或者是服务器102从视频平台中获取的，本申请对此不作限制。终端设备101和服务器102之间可以通过有线通信或者无线通信方式进行直接或间接地连接，本申请在此不做限制。
视频处理方案的大致原理如下：
(1)服务器102获取第一视频对应的第一帧序列及第二视频对应的第二帧序列，第一视频和第二视频之间存在至少一帧相同视频帧；其中，相同视频帧可以理解为相似度超过相似度阈值的两个视频帧。第一视频和第二视频可以是由终端设备101，或者其他终端设备上传至服务器102的，也可以是服务器102从视频平台、视频资源库等获取的。在一种实施方式中，服务器102可以直接将第一视频的所有视频帧作为第一帧序列，将第二视频的所有视频帧作为第二帧序列。在另一种实施方式中，服务器102可以采用抽帧的方式，对第一视频和第二视频分别进行抽帧处理，得到第一视频对应的第一帧序列及第二视频对应的第二帧序列；例如，服务器102可以通过抽帧模块分别对第一视频和第二视频进行抽帧，得到第一视频对应的第一帧序列及第二视频对应的第二帧序列。
(2)服务器102获取第一帧序列的时域特征及第二帧序列的时域特征，时域特征用于表示同一帧序列中相邻视频帧之间在时域上的关联关系。在一种实施方式中，服务器102可以计算第一帧序列中各个相邻视频帧之间的相似度，得到第一相似度评分序列，并把第一相似度评分序列作为第一帧序列的时域特征；例如，服务器102可以通过相似度计算模块计算第一帧序列中各个相邻视频帧之间的相似度评分，得到第一相似度评分序列(即第一帧序列的时域特征)。类似地，计算第二帧序列中各个相邻视频帧之间的相似度，得到第二相似度评分序列，并把第二相似度评分序列作为第二帧序列的时域特征。在另一种实施方式中，服务器102可以通过时域特征提取模型分别提取第一帧序列和第二帧序列的时域特征。
需要说明的是，第一帧序列和第二帧序列中的相邻视频帧在第一视频和第二视频中可以是相邻视频帧，也可以是不相邻视频帧；例如，若第一帧序列包括第一视频的所有视频帧，则第一帧序列中的相邻视频帧在第一视频中也是相邻视频帧；若第一帧序列是对第一视频进行抽帧得到的，则第一帧序列中的相邻视频帧在第一视频中不是相邻视频帧。
(3)服务器102基于第一帧序列的时域特征及第二帧序列的时域特征，确定第一视频和第二视频中的帧对齐位置。
第一帧序列的时域特征包括第一相似度评分序列，第一相似度评分序列是基于第一帧序列中各个相邻视频帧之间的相似度得到的；第二帧序列的时域特征包括第二相似度评分序列，第二相似度评分序列是基于第二帧序列中各个相邻视频帧之间的相似度得到的。服务器102可以将第一相似度评分序列和第二相似度评分序列输入帧对齐模块，以使帧对齐模块基于第一相似度评分序列和第二相似度评分序列，确定第一视频和第二视频中的帧对齐位置。
在一种实施方式中，服务器102对第一相似度评分序列和第二相似度评分序列进行求交处理，得到第一相似度评分序列和第二相似度评分序列的公共子序列，服务器102计算第一相似度评分序列和公共子序列在不同对齐方式下的时域特征匹配度，得到第一匹配度集合；并基于第一匹配度集合确定第一视频中的帧对齐位置；其中，每种对齐方式下的时域特征匹配度包括：该对齐方式下第一相似度评分序列和公共子序列的交集部分的相似度。类似地，服务器102计算第二相似度评分序列和公共子序列在不同对齐方式下的时域特征匹配度，得到第二匹配度集合；并基于第二匹配度集合确定第二视频中的帧对齐位置。
在另一种实施方式中，服务器102将第一相似度评分序列和第二相似度评分序列按照不同的对齐方式进行对齐，并计算第一相似度评分序列和第二相似度评分序列在不同对齐方式下的时域特征匹配度，得到第三匹配度集合；其中，每种对齐方式下的时域特征匹配度包括：该对齐方式下第一相似度评分序列和第二相似度评分序列中，相互对齐的视频帧之间的相似度。在得到第三匹配度集合后，服务器102基于第三匹配度集合确定第一视频和第二视频中的帧对齐位置；例如，服务器102将第三匹配度集合中时域特征匹配度最高的对齐方式所指示的帧对齐位置确定为第一视频和第二视频中的帧对齐位置。
(4)服务器102通过第一视频和第二视频中的帧对齐位置，对第一视频和第二视频进行帧对齐处理。服务器102将第一视频和第二视频中的帧对齐位置，作为第一视频和第二视频共同的基准点。在一种实施方式中，服务器102可以通过帧对齐位置，同步第一视频和第二视频中的至少一帧相同视频帧的播放时间；例如，假设第一视频和第二视频均包含连续的视频帧1～视频帧10，且视频帧1～视频帧10在第一视频中的起始播放时间为第1分30秒，在第二视频中的起始播放时间为第57秒，以第一视频为基准，服务器102将第二视频中视频帧1～视频帧10的起始播放时间调整为第1分30秒。
本申请实施例中，获取第一视频对应的第一帧序列及第二视频对应的第二帧序列，并获取第一帧序列的时域特征及第二帧序列的时域特征，时域特征用于表示同一帧序列中相邻视频帧之间在时域上的关联关系，基于第一帧序列的时域特征及第二帧序列的时域特征，确定第一视频和第二视频中的帧对齐位置，通过第一视频和第二视频中的帧对齐位置，对第一视频和第二视频进行帧对齐处理。可见，本申请通过帧序列中的时域特征，来确定第一视频和第二视频中的帧对齐位置，可以降低帧对齐过程中的计算复杂度，提高了视频处理过程中帧对齐的效率。
基于上述视频处理方案，本申请实施例提出更为详细的视频处理方法，下面将结合附图对本申请实施例提出的视频处理方法进行详细介绍。
请参阅图2，图2为本申请实施例提供的一种视频处理方法的流程图，该视频处理方法可以由计算机设备执行，该计算机设备可以是图1中所示的服务器102。如图2所示，该视频处理方法可包括如下步骤S201-S204：
S201、获取第一视频对应的第一帧序列及第二视频对应的第二帧序列。
第一视频和第二视频之间存在至少一帧相同视频帧；其中，相同视频帧可以理解为第一帧序列和第二帧序列中相似度超过相似度阈值的两个视频帧。计算机设备可以直接获取第一视频对应的第一帧序列及第二视频对应的第二帧序列；例如，将第一视频的所有视频帧作为第一帧序列，将第二视频的所有视频帧作为第二帧序列。计算机设备也可以采用抽帧模型，对第一视频和第二视频分别进行抽帧处理，得到第一视频对应的第一帧序列及第二视频对应的第二帧序列。
需要说明的是，第一视频和第二视频可以是对象导入计算机设备的，也可以是计算机设备从视频平台中获取的，本申请对此不作限制。
S202、获取第一帧序列的时域特征及第二帧序列的时域特征。
时域特征用于表示同一帧序列中相邻视频帧之间在时域上的关联关系；例如，假设视频帧1和视频帧2为同一帧序列中相邻视频帧，且视频帧1和视频帧2中均包括元素A，且元素A在视频帧1和视频帧2中的位置不同，则时域特征可以包括元素A的运动轨迹。此外，在实际应用中，时域特征还可以包括颜色的变换，场景的转换等。
在一种实施方式中，计算机设备可以计算第一帧序列中各个相邻视频帧之间的相似度，得到第一相似度评分序列，并把第一相似度评分序列作为第一帧序列的时域特征；类似地，计算机设备计算第二帧序列中各个相邻视频帧之间的相似度，得到第二相似度评分序列，并把第二相似度评分序列作为第二帧序列的时域特征。
在另一种实施方式中，计算机设备可以通过时域特征提取模型分别提取第一帧序列和第二帧序列的时域特征；其中，时域特征提取模型是采用训练数据集，以及该训练数据集对应的标准数据集对初始模型进行训练得到的。具体地，计算机设备可以将训练数据集输入初始模型得到初始模型输出的预测数据，基于预测数据与标准数据集之间的差异对初始模型中的参数(如神经网络的层数，卷积核的数量等)进行调整，得到时域特征提取模型。
需要说明的是，第一帧序列和第二帧序列中的相邻视频帧在第一视频和第二视频中可以是相邻视频帧，也可以是不相邻视频帧；例如，若第一帧序列包括第一视频的所有视频帧，则第一帧序列中的相邻视频帧在第一视频中也是相邻视频帧；若第一帧序列是对第一视频进行抽帧得到的，则第一帧序列中的相邻视频帧在第一视频中不是相邻视频帧。
S203、基于第一帧序列的时域特征及第二帧序列的时域特征，确定第一视频和第二视频中的帧对齐位置。
第一帧序列的时域特征包括第一相似度评分序列，第一相似度评分序列是基于第一帧序列中各个相邻视频帧之间的相似度得到的；第二帧序列的时域特征包括第二相似度评分序列，第二相似度评分序列是基于第二帧序列中各个相邻视频帧之间的相似度得到的。
在一种实施方式中，计算机设备对第一相似度评分序列和第二相似度评分序列进行求交处理，得到第一相似度评分序列和第二相似度评分序列的公共子序列，该公共子序列是第一视频和第二视频中包含的同一视频片段内的最小公共连续区间，同一视频片段可以理解为包含相同内容的视频片段；举例来说，设视频片段A由视频帧1～视频帧10组成，视频片段B由视频帧1～视频帧9组成(即缺失视频帧10)，视频片段C由视频帧1～视频帧7和视频帧9组成(即缺失视频帧8和视频帧10)，则视频片段A，视频片段B和视频片段C为同一视频片段，视频片段A，视频片段B和视频片段C的公共子序列为视频帧1～视频帧7。计算机设备计算第一相似度评分序列和公共子序列在不同对齐方式下的时域特征匹配度，得到第一匹配度集合；并基于第一匹配度集合确定第一视频中的帧对齐位置；其中，每种对齐方式下的时域特征匹配度包括：该对齐方式下第一相似度评分序列和公共子序列的交集部分的相似度。类似地，计算机设备计算第二相似度评分序列和公共子序列在不同对齐方式下的时域特征匹配度，得到第二匹配度集合；并基于第二匹配度集合确定第二视频中的帧对齐位置。
可以理解的是，基于上述实施方式，计算机设备可以确定多个(两个以上)包含同一视频片段的视频中的帧对齐位置。
在另一种实施方式中，计算机设备将第一相似度评分序列和第二相似度评分序列按照不同的对齐方式进行对齐，并计算第一相似度评分序列和第二相似度评分序列在不同对齐方式下的时域特征匹配度，得到第三匹配度集合；其中，每种对齐方式下的时域特征匹配度包括：该对齐方式下第一相似度评分序列和第二相似度评分序的交集部分的相似度。在得到第三匹配度集合后，计算机设备基于第三匹配度集合确定第一视频和第二视频中的帧对齐位置；例如，计算机设备基于第三匹配度集合中时域特征匹配度最高的对齐方式所指示的帧对齐位置确定第一视频和第二视频中的帧对齐位置。
S204、通过第一视频和第二视频中的帧对齐位置，对第一视频和第二视频进行帧对齐处理。
计算机设备将第一视频和第二视频中的帧对齐位置，作为第一视频和第二视频共同的基准点。在一种实施方式中，计算机设备可以通过帧对齐位置，同步第一视频和第二视频中的至少一帧相同视频帧的播放时间；例如，假设第一视频和第二视频均包含连续的视频帧1～视频帧10，且视频帧1～视频帧10在第一视频中的起始播放时间为第1分30秒，在第二视频中的起始播放时间为第57秒，以第一视频为基准，计算机设备将第二视频中视频帧1～视频帧10的起始播放时间调整为第1分30秒。
本申请实施例中，获取第一视频对应的第一帧序列及第二视频对应的第二帧序列，并获取第一帧序列的时域特征及第二帧序列的时域特征，时域特征用于表示同一帧序列中相邻视频帧之间在时域上的关联关系，基于第一帧序列的时域特征及第二帧序列的时域特征，确定第一视频和第二视频中的帧对齐位置，通过第一视频和第二视频中的帧对齐位置，对第一视频和第二视频进行帧对齐处理。可见，本申请通过帧序列中的时域特征，来确定第一视频和第二视频中的帧对齐位置，可以降低帧对齐过程中的计算复杂度，提高了视频处理过程中帧对齐的效率。
请参阅图3，图3为本申请实施例提供的另一种视频处理方法的流程图，该视频处理方法可以由计算机设备执行，该计算机设备可以是图1中所示的服务器102。如图3所示，该视频处理方法可包括如下步骤S301-S304：
S301、获取第一视频对应的第一帧序列及第二视频对应的第二帧序列。
在一种实施方式中，计算机设备获取目标时间段，目标时间段用于指示第一视频和第二视频中需要执行抽帧处理的时间段。计算机设备按照目标时间段对第一视频进行抽帧处理，得到第一视频对应的第一帧序列；并按照目标时间段对第二视频进行抽帧处理，得到第二视频对应的第二帧序列。例如，设目标时间段为第一视频的前3秒和第二视频的前3秒，则计算机设备对第一视频的前3秒进行抽帧处理得到第一视频对应的第一帧序列，对第二视频的前3秒进行抽帧处理得到第二视频对应的第二帧序列。
在实际应用中，通过设置目标时间段对第一视频和第二视频进行抽帧，可以有效减少第一帧序列和第二帧序列中视频帧的数量，进而减少后续步骤的运算量，进一步提高视频处理过程中帧对齐的效率。
S302、获取第一帧序列对应的第一相似度评分序列及第二帧序列对应的第二相似度评分序列。
第一相似度评分序列包含第一帧序列中各个相邻视频帧之间的相似度。图4a为本申请实施例提供的一种获取第一相似度评分序列的方式示意图，如图4a所示，计算机设备对第一帧序列中各个相邻视频帧进行相似度计算，得到第一帧序列对应的第一相似度评分序列。
在一个实施例中，计算机设备可以计算第一帧序列中各相邻视频帧之间像素点的相似度，得到第一相似度评分序列；具体地，第一帧序列中各相邻视频帧之间像素点的相似度可以通过下至少一项指标进行指示：均方根误差(RootMean Square Error，RMSE)、平均绝对误差(Mean Absolute Error，MAE)、峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)。
在另一个实施例中，计算机设备可以对第一帧序列中的视频帧分别进行特征提取，得到第一帧序列中各个视频帧的特征信息；并基于第一帧序列中各个视频帧的特征信息，计算第一帧序列中各相邻视频帧之间特征信息的相似度，得到第一相似度评分序列；其中特征信息可以包括以下至少一项：尺度不变特征变换(Scale-Invariant FeatureTransform，SIFT)、加速稳健特征(Speeded UpRobust Features，SURF)、ORB(OrientedFAST and Rotated BRIEF)特征。举例来说，计算机设备可以对第一帧序列中的视频帧分别进行特征提取，得到第一帧序列中各个视频帧对应的特征向量，并计算第一帧序列中相邻视频帧之间特征向量的相似度，得到第一相似度评分序列。
更进一步地，计算机设备可以获取相似度评分阈值，该相似度评分阈值的取值范围为[0,1]，具体取值可以基于实际需求进行设定，本申请对此不作限制。在获取相似度评分阈值后，计算机设备可以基于相似度评分阈值对第一相似度评分序列进行筛选，得到筛选后的第一相似度评分序列；具体地，若第一相似度评分序列包含相似度评分大于相似度评分阈值的N个连续视频帧，则去除N个连续视频帧中的N-1个视频帧，得到筛选后的第一相似度评分序列，N为大于1的整数。举例来说，设相似度评分阈值为0.85，第一相似度评分序列中包含视连续的频帧1～视频帧8，且视频帧1与视频帧2之间的相似度评分为0.95，视频帧2与视频帧3之间的相似度评分为0.97，视频帧3与视频帧4之间的相似度评分为0.92，视频帧4与视频帧5之间的相似度评分为0.87，视频帧5与视频帧6之间的相似度评分为0.88，视频帧6与视频帧7之间的相似度评分为0.31，视频帧7与视频帧8之间的相似度评分为0.89，则计算机设备保留视频帧1～视频帧6中的任一视频帧(如视频帧1)，以及视频帧7和视频帧8中的任一视频帧(如视频帧7)，并计算视频帧1和视频帧7的相似度，得到筛选后的第一相似度评分序列。
可以理解的是，在实际应用中相似度评分阈值的取值范围也可以根据需求设置为其他数值范围；例如，相似度评分阈值的取值范围还可以设置为[0,100]，[0,50]等，本申请对此不作限定。
计算机设备获取第二帧序列对应的第二相似度评分序列的具体实施方式，可参考计算机设备获取第一帧序列对应的第一相似度评分序列的实施方式，在此不再赘述。
需要说明的是，通过相似度评分阈值对第一相似度评分序列和第二相似度评分序列中的视频帧进行筛选，可以减少第一相似度评分序列和第二相似度评分序列中冗余的视频帧，进一步减少后续步骤的运算量，提高了视频处理过程中帧对齐的效率。
S303、根据第一相似度评分序列和第二相似度评分序列之间的公共子序列，确定第一视频和第二视频中的帧对齐位置。
第一相似度评分序列和第二相似度评分序列之间的公共子序列，是对第一相似度评分序列和第二相似度评分序列进行求交处理得到的。该公共子序列是第一视频和第二视频中包含的同一视频片段内的最小公共连续区间，同一视频片段可以理解为包含相同内容的视频片段；举例来说，设视频片段A由视频帧1～视频帧10组成，视频片段B由视频帧1～视频帧9组成(即缺失视频帧10)，视频片段C由视频帧1～视频帧7和视频帧9组成(即缺失视频帧8和视频帧10)，则视频片段A，视频片段B和视频片段C为同一视频片段，视频片段A，视频片段B和视频片段C的公共子序列为视频帧1～视频帧7。
在一种实施方式中，计算机设备获取第一匹配度集合，并根据第一匹配度集合确定第一视频中的帧对齐位置；其中，第一匹配度集合包括公共子序列与第一相似度评分序列在不同对齐方式下的时域特征匹配度。具体来说，计算机设备可以计算第一相似度评分序列和公共子序列在不同对齐方式下的时域特征匹配度，得到第一匹配度集合；其中，每种对齐方式下的时域特征匹配度包括：该对齐方式下第一相似度评分序列和公共子序列的交集部分的相似度；例如，计算机设备可以计算在目标对齐方式下，第一相似度评分序列和公共子序列的交集部分的均方根误差(RMSE)，均方根误差的值越小，则表示在目标对齐方式下第一相似度评分序列和公共子序列的时域特征匹配度越高。计算机设备将将第一匹配度集合中匹配度最高的对齐方式所指示的帧对齐位置，确定为第一相似度评分序列的帧对齐位置。
在一个实施例中，计算机设备可以对第一相似度评分序列和公共子序列进行滑动对齐，并计算第一相似度评分序列和公共子序列在不同对齐方式下的时域特征匹配度，进而确定第一视频中的帧对齐位置。图4b为本申请实施例提供的一种确定第一视频中的帧对齐位置的示意图。如图4b所示，第一相似度评分序列和公共子序列中的每一格代表一格视频帧，公共子序列每向上滑动一格，得到一种第一相似度评分序列和公共子序列对齐方式，计算机设备计算每种对齐方式下第一相似度评分序列和公共子序列的交集部分的均方根误差(RMSE)，并将均方根误差(RMSE)值最小的对齐方式所指示的对齐位置确定为第一视频中的帧对齐位置。
类似地，计算机设备获取第二匹配度集合，并根据第二匹配度集合确定第二视频中的帧对齐位置；其中，第二匹配度集合包括公共子序列与第二相似度评分序列在不同对齐方式下的时域特征匹配度。具体来说，计算机设备可以计算第二相似度评分序列和公共子序列在不同对齐方式下的时域特征匹配度，得到第二匹配度集合；其中，每种对齐方式下的时域特征匹配度包括：该对齐方式下第二相似度评分序列和公共子序列的交集部分的相似度；例如，计算机设备可以计算在目标对齐方式下，第二相似度评分序列和公共子序列的交集部分的均方根误差(RMSE)，均方根误差的值越小，则表示在目标对齐方式下第二相似度评分序列和公共子序列的时域特征匹配度越高。计算机设备将将第二匹配度集合中匹配度最高的对齐方式所指示的帧对齐位置，确定为第二相似度评分序列的帧对齐位置。
计算机设备基于第一视频中的帧对齐位置和第二视频中的帧对齐位置，确定第一视频和第二视频中的帧对齐位置。可以理解的是，按照上述实施方式，计算机设备还可以确定第三视频中的帧对齐位置，并基于第一视频中的帧对齐位置，第二视频中的帧对齐位置和第三视频中的帧对齐位置对第一视频，第二视频和第三视频进行帧对齐。
S304、通过第一视频和第二视频中的帧对齐位置，对第一视频和第二视频进行帧对齐处理。
计算机设备将第一视频中的帧对齐位置和第二视频中的帧对齐位置进行对齐。步骤S304的具体实施方式可参考图2中步骤S204的实施方式，在此不再赘述。
可以理解的是，按照上述实施方式，计算机设备还可以确定第三视频中的帧对齐位置，并基于第一视频中的帧对齐位置，第二视频中的帧对齐位置和第三视频中的帧对齐位置对第一视频，第二视频和第三视频进行帧对齐处理。
图4c为本申请实施例提供的一种视频处理过程示意图。如图4c所示，计算机设备包括视频抽帧模块，相似度计算模块和帧对齐模块；其中，视频抽帧模块用于对第一视频和第二视频进行抽帧处理，得到第一帧序列和第二帧序列。视频抽帧模块可以分别抽取第一视频和第二视频中的所有视频帧，也可以抽取第一视频和第二视频中的部分视频帧，如每隔三帧抽取一个视频帧；又例如，抽取第一视频和第二视频中属于目标时间段的视频帧。
相似度计算模块用于计算第一帧序列和第二帧序列中各个相邻视频帧之间的相似度或者差异，可以理解的是，各个相邻视频帧之间的相似度越大，则差异越小；相应地，各个相邻视频帧之间的相似度越小，则差异越大。相似度的计算方法可以分为基于像素级别的相似度计算和基于特征级别的相似度计算，基于像素级别的相似度计算是指相似度计算模块计算各个相邻视频帧之间的RMSE、MAE和PSNR等客观指标；基于特征级别的相似度计算是指相似度计算模块基于第一帧序列和第二帧序列中各个相邻视频帧的特征(每个视频帧的特征可以通过特征向量进行表示)，计算于第一帧序列和第二帧序列中各个相邻视频帧的相似度。
在通过相似度计算模块确定第一帧序列对应的第一相似度评分序列，以及第二帧序列对应的第二相似度评分序列的过程中，相似度计算模块还可以通过相似度评分阈值来去除第一相似度评分序列和第二相似度评分序列中冗余的视频帧，来减少帧对齐模块的数据处理量；例如，若第一相似度评分序列中包括连续的视频帧1～视频帧10，且视频帧1～视频帧10中各个相邻视频帧的相似度均大于相似度评分阈值，则计算机设备可以仅保留视频帧1。
帧对齐模块用于确定第一视频和第二视频中的帧对齐位置。帧对齐模块首先对第一相似度评分序列和第二相似度评分序列进行求交处理，得到第一相似度评分序列和第二相似度评分序列之间的公共子序列，该公共子序列是第一视频和第二视频中包含的同一视频片段内的最小公共连续区间，同一视频片段可以理解为包含相同内容的视频片段。帧对齐模块通过该公共子序列，确定第一视频中的帧对齐位置和第二视频中的帧对齐位置。以确定第一视频中的帧对齐位置为例，帧对齐模块以公共子序列为滑动窗口，计算在不同对齐方式下公共子序列与第一相似度评分序列的交集部分的时域特征匹配度，得到第一匹配度集合，并将时域特征匹配度最高的对齐方式所指示的帧对齐位置确定为第一视频中的帧对齐位置。
本申请实施例中，通过设置的目标时间段来对第一视频和第二视频进行抽帧，得到第一视频对应的第一帧序列和第二视频对应的第二帧序列，可以有效减少第一帧序列和第二帧序列中视频帧的数量，进而减少后续步骤(如第一帧序列或者第二帧序列中相邻视频帧之间相似度)的运算量，进一步提高视频处理过程中帧对齐的效率。另外，通过相似度评分阈值对第一相似度评分序列和第二相似度评分序列中的视频帧进行筛选，可以减少第一相似度评分序列和第二相似度评分序列中冗余的视频帧，进一步减少后续步骤(如确定第一视频和第二视频中的帧对齐位置)的运算量，提高了视频处理过程中帧对齐的效率。
上述详细阐述了本申请实施例的方法，为了便于更好地实施本申请实施例的上述方案，相应地，下面提供了本申请实施例的装置。
请参见图5，图5为本申请实施例提供的一种视频处理装置的结构示意图，图5所示的视频处理装置可以用于执行上述图2和图3所描述的方法实施例中的部分或全部功能。请参见图5，该视频处理装置包括：
获取单元501，用于获取第一视频对应的第一帧序列及第二视频对应的第二帧序列，第一视频和第二视频之间存在至少一帧相同视频帧；
以及用于获取第一帧序列的时域特征及第二帧序列的时域特征，时域特征用于表示同一帧序列中相邻视频帧之间在时域上的关联关系；
处理单元502，用于基于第一帧序列的时域特征及第二帧序列的时域特征，确定第一视频和第二视频中的帧对齐位置；
以及用于通过第一视频和第二视频中的帧对齐位置，对第一视频和第二视频进行帧对齐处理。
在一种实施方式中，获取单元501，用于获取第一帧序列的时域特征及第二帧序列的时域特征，具体用于：
获取第一帧序列中各个相邻视频帧之间的相似度，得到的第一相似度评分序列，并将第一相似度评分序列作为第一帧序列的时域特征；以及，
获取第二帧序列中各个相邻视频帧之间的相似度，得到的第二相似度评分序列，并将第二相似度评分序列作为第二帧序列的时域特征。
在一种实施方式中，处理单元502用于，基于第一帧序列的时域特征及第二帧序列的时域特征，确定第一视频和第二视频中的帧对齐位置，具体用于：
根据第一相似度评分序列和第二相似度评分序列之间的公共子序列，确定第一视频和第二视频中的帧对齐位置；
其中，第一相似度评分序列和第二相似度评分序列之间的公共子序列，是对第一相似度评分序列和第二相似度评分序列进行求交处理得到的。
在一种实施方式中，处理单元502用于，根据第一相似度评分序列和第二相似度评分序列之间的公共子序列，确定第一视频和第二视频中的帧对齐位置，具体用于：
获取第一匹配度集合，并跟据第一匹配度集合确定第一视频中的帧对齐位置；以及，
获取第二匹配度集合，并跟据第二匹配度集合确定第二视频中的帧对齐位置；
其中，第一匹配度集合包括公共子序列与第一相似度评分序列在不同对齐方式下的时域特征匹配度，第二匹配度集合包括公共子序列与第二相似度评分序列在不同对齐方式下的时域特征匹配度。
在一种实施方式中，处理单元502用于，获取第一匹配度集合，并跟据第一匹配度集合确定第一相似度评分序列中的帧对齐位置，具体用于：
计算公共子序列与第一相似度评分序列在不同对齐方式下的时域特征匹配度，得到第一匹配度集合；
将第一匹配度集合中匹配度最高的对齐方式所指示的帧对齐位置，确定为第一相似度评分序列的帧对齐位置。
在一种实施方式中，处理单元502用于，基于第一帧序列的时域特征及第二帧序列的时域特征，确定第一视频和第二视频中的帧对齐位置，具体用于：
计算第一相似度评分序列和第二相似度评分序列在不同对齐方式下的时域特征匹配度，得到第三匹配度集合；
将第三匹配度集合中匹配度最高的对齐方式所指示的帧对齐位置，确定为第一视频和第二视频中的帧对齐位置。
在一种实施方式中，处理单元502还用于：
获取相似度评分阈值；
基于相似度评分阈值对第一相似度评分序列和第二相似度评分序列进行筛选，得到筛选后的第一相似度评分序列和第二相似度评分序列。
在一种实施方式中，处理单元502用于，基于相似度评分阈值对第一相似度评分序列和第二相似度评分序列进行筛选，得到筛选后的第一相似度评分序列和第二相似度评分序列，具体用于：
若第一相似度评分序列包含相似度评分大于相似度评分阈值的N个连续视频帧，则去除N个连续视频帧中的N-1个视频帧，得到筛选后的第一相似度评分序列，N为大于1的整数；以及，
若第二相似度评分序列包含相似度评分大于相似度评分阈值的M个连续视频帧，则去除M个连续视频帧中的M-1个视频帧，得到筛选后的第二相似度评分序列，M为大于1的整数。
在一种实施方式中，处理单元502用于，获取第一帧序列中各个相邻视频帧之间的相似度，得到的第一相似度评分序列，具体用于：
计算第一帧序列中各相邻视频帧之间像素点的相似度，得到第一相似度评分序列。
在一种实施方式中，处理单元502用于，获取第一帧序列中各个相邻视频帧之间的相似度，得到的第一相似度评分序列，具体用于：
对第一帧序列中的视频帧分别进行特征提取，得到第一帧序列中各个视频帧的特征信息；
基于第一帧序列中各个视频帧的特征信息，计算第一帧序列中各相邻视频帧之间特征信息的相似度，得到第一相似度评分序列。
在一种实施方式中，处理单元502用于，获取第一视频对应的第一帧序列及第二视频对应的第二帧序列，具体用于：
获取目标时间段，目标时间段用于指示第一视频和第二视频中需要执行抽帧处理的时间段；
按照目标时间段对第一视频进行抽帧处理，得到第一视频对应的第一帧序列；以及，
按照目标时间段对第二视频进行抽帧处理，得到第二视频对应的第二帧序列。
根据本申请的一个实施例，图2和图3所示的视频处理方法所涉及的部分步骤可由图5所示的视频处理装置中的各个单元来执行。例如，图2中所示的步骤S201和步骤S202可由图5所示的获取单元501执行，步骤S203和步骤S204可由图5所示的处理单元502执行；图3中所示的步骤S301和步骤S302可由图5所示的获取单元501执行，步骤S303和步骤S304可由图5所示的处理单元502执行。图5所示的视频处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，视频处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
根据本申请的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机设备的通用计算装置上运行能够执行如图2和图3中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图5中所示的视频处理装置，以及来实现本申请实施例的视频处理方法。计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算装置中，并在其中运行。
基于同一发明构思，本申请实施例中提供的视频处理装置解决问题的原理与有益效果与本申请方法实施例中视频处理方法解决问题的原理和有益效果相似，可以参见方法的实施的原理和有益效果，为简洁描述，在这里不再赘述。
请参阅图6，图6为本申请实施例提供的一种计算机设备的结构示意图，该计算机设备可以是终端设备或者服务器。如图6所示，计算机设备至少包括处理器601、通信接口602和存储器603。其中，处理器601、通信接口602和存储器603可通过总线或其他方式连接。其中，处理器601(或称中央处理器(CentralProcessing Unit，CPU))是计算机设备的计算核心以及控制核心，其可以解析计算机设备内的各类指令以及处理计算机设备的各类数据，例如：CPU可以用于解析对象向计算机设备所发出的开关机指令，并控制计算机设备进行开关机操作；再如：CPU可以在计算机设备内部结构之间传输各类交互数据，等等。通信接口602可选的可以包括标准的有线接口、无线接口(如WI-FI、移动通信接口等)，受处理器601的控制可以用于收发数据；通信接口602还可以用于计算机设备内部数据的传输以及交互。存储器603(Memory)是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的存储器603既可以包括计算机设备的内置存储器，当然也可以包括计算机设备所支持的扩展存储器。存储器603提供存储空间，该存储空间存储了计算机设备的操作系统，可包括但不限于：Android系统、iOS系统、Windows Phone系统等等，本申请对此并不作限定。
本申请实施例还提供了一种计算机可读存储介质(Memory)，计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了计算机设备的处理系统。并且，在该存储空间中还存放了适于被处理器601加载并执行的计算机程序。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器；可选的，还可以是至少一个位于远离前述处理器的计算机可读存储介质。
在一个实施例中，处理器601通过运行存储器603中的计算机程序，执行如下操作：
获取第一视频对应的第一帧序列及第二视频对应的第二帧序列，第一视频和第二视频之间存在至少一帧相同视频帧；
获取第一帧序列的时域特征及第二帧序列的时域特征，时域特征用于表示同一帧序列中相邻视频帧之间在时域上的关联关系；
基于第一帧序列的时域特征及第二帧序列的时域特征，确定第一视频和第二视频中的帧对齐位置；
通过第一视频和第二视频中的帧对齐位置，对第一视频和第二视频进行帧对齐处理。
作为一种可选的实施例，处理器601获取第一帧序列的时域特征及第二帧序列的时域特征的具体实施例为：
获取第一帧序列中各个相邻视频帧之间的相似度，得到的第一相似度评分序列，并将第一相似度评分序列作为第一帧序列的时域特征；以及，
获取第二帧序列中各个相邻视频帧之间的相似度，得到的第二相似度评分序列，并将第二相似度评分序列作为第二帧序列的时域特征。
作为一种可选的实施例，处理器601基于第一帧序列的时域特征及第二帧序列的时域特征，确定第一视频和第二视频中的帧对齐位置的具体实施例为：
根据第一相似度评分序列和第二相似度评分序列之间的公共子序列，确定第一视频和第二视频中的帧对齐位置；
其中，第一相似度评分序列和第二相似度评分序列之间的公共子序列，是对第一相似度评分序列和第二相似度评分序列进行求交处理得到的。
作为一种可选的实施例，处理器601根据第一相似度评分序列和第二相似度评分序列之间的公共子序列，确定第一视频和第二视频中的帧对齐位置的具体实施例为：
获取第一匹配度集合，并跟据第一匹配度集合确定第一视频中的帧对齐位置；以及，
获取第二匹配度集合，并跟据第二匹配度集合确定第二视频中的帧对齐位置；
其中，第一匹配度集合包括公共子序列与第一相似度评分序列在不同对齐方式下的时域特征匹配度，第二匹配度集合包括公共子序列与第二相似度评分序列在不同对齐方式下的时域特征匹配度。
作为一种可选的实施例，处理器601获取第一匹配度集合，并跟据第一匹配度集合确定第一相似度评分序列中的帧对齐位置的具体实施例为：
计算公共子序列与第一相似度评分序列在不同对齐方式下的时域特征匹配度，得到第一匹配度集合；
将第一匹配度集合中匹配度最高的对齐方式所指示的帧对齐位置，确定为第一相似度评分序列的帧对齐位置。
作为一种可选的实施例，处理器601基于第一帧序列的时域特征及第二帧序列的时域特征，确定第一视频和第二视频中的帧对齐位置的具体实施例为：
计算第一相似度评分序列和第二相似度评分序列在不同对齐方式下的时域特征匹配度，得到第三匹配度集合；
将第三匹配度集合中匹配度最高的对齐方式所指示的帧对齐位置，确定为第一视频和第二视频中的帧对齐位置。
作为一种可选的实施例，处理器601通过运行存储器603中的计算机程序，还执行如下操作：
获取相似度评分阈值；
基于相似度评分阈值对第一相似度评分序列和第二相似度评分序列进行筛选，得到筛选后的第一相似度评分序列和第二相似度评分序列。
作为一种可选的实施例，处理器601基于相似度评分阈值对第一相似度评分序列和第二相似度评分序列进行筛选，得到筛选后的第一相似度评分序列和第二相似度评分序列的具体实施例为：
若第一相似度评分序列包含相似度评分大于相似度评分阈值的N个连续视频帧，则去除N个连续视频帧中的N-1个视频帧，得到筛选后的第一相似度评分序列，N为大于1的整数；以及，
若第二相似度评分序列包含相似度评分大于相似度评分阈值的M个连续视频帧，则去除M个连续视频帧中的M-1个视频帧，得到筛选后的第二相似度评分序列，M为大于1的整数。
作为一种可选的实施例，处理器601获取第一帧序列中各个相邻视频帧之间的相似度，得到的第一相似度评分序列的具体实施例为：
计算第一帧序列中各相邻视频帧之间像素点的相似度，得到第一相似度评分序列。
作为一种可选的实施例，处理器601获取第一帧序列中各个相邻视频帧之间的相似度，得到的第一相似度评分序列的具体实施例为：
对第一帧序列中的视频帧分别进行特征提取，得到第一帧序列中各个视频帧的特征信息；
基于第一帧序列中各个视频帧的特征信息，计算第一帧序列中各相邻视频帧之间特征信息的相似度，得到第一相似度评分序列。
作为一种可选的实施例，处理器601获取第一视频对应的第一帧序列及第二视频对应的第二帧序列的具体实施例为：
获取目标时间段，目标时间段用于指示第一视频和第二视频中需要执行抽帧处理的时间段；
按照目标时间段对第一视频进行抽帧处理，得到第一视频对应的第一帧序列；以及，
按照目标时间段对第二视频进行抽帧处理，得到第二视频对应的第二帧序列。
基于同一发明构思，本申请实施例中提供的计算机设备解决问题的原理与有益效果与本申请方法实施例中视频处理方法解决问题的原理和有益效果相似，可以参见方法的实施的原理和有益效果，为简洁描述，在这里不再赘述。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序适于被处理器加载并执行上述方法实施例的视频处理方法。
本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，计算机程序适于被处理器加载并执行上述方法实施例的视频处理方法。
本申请实施例还提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的视频处理方法。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，可读存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
以上所揭露的仅为本申请一种较佳实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权利要求所作的等同变化，仍属于申请所涵盖的范围。

Claims (14)

1.一种视频处理方法，其特征在于，所述方法包括：
获取第一视频对应的第一帧序列及第二视频对应的第二帧序列，所述第一视频和所述第二视频之间存在至少一帧相同视频帧；
获取所述第一帧序列的时域特征及所述第二帧序列的时域特征，所述时域特征用于表示同一帧序列中相邻视频帧之间在时域上的关联关系；
基于所述第一帧序列的时域特征及所述第二帧序列的时域特征，确定所述第一视频和所述第二视频中的帧对齐位置；
通过所述第一视频和所述第二视频中的帧对齐位置，对所述第一视频和所述第二视频进行帧对齐处理。
2.如权利要求1所述的方法，其特征在于，所述获取所述第一帧序列的时域特征及所述第二帧序列的时域特征，包括：
获取所述第一帧序列中各个相邻视频帧之间的相似度，得到的第一相似度评分序列，并将所述第一相似度评分序列作为所述第一帧序列的时域特征；以及，
获取所述第二帧序列中各个相邻视频帧之间的相似度，得到的第二相似度评分序列，并将所述第二相似度评分序列作为所述第二帧序列的时域特征。
3.如权利要求2所述的方法，其特征在于，所述基于所述第一帧序列的时域特征及所述第二帧序列的时域特征，确定所述第一视频和所述第二视频中的帧对齐位置，包括：
根据所述第一相似度评分序列和所述第二相似度评分序列之间的公共子序列，确定所述第一视频和所述第二视频中的帧对齐位置；
其中，所述第一相似度评分序列和所述第二相似度评分序列之间的公共子序列，是对所述第一相似度评分序列和所述第二相似度评分序列进行求交处理得到的。
4.如权利要求3所述的方法，其特征在于，所述根据所述第一相似度评分序列和所述第二相似度评分序列之间的公共子序列，确定所述第一视频和所述第二视频中的帧对齐位置，包括：
获取第一匹配度集合，并跟据所述第一匹配度集合确定所述第一视频中的帧对齐位置；以及，
获取第二匹配度集合，并跟据所述第二匹配度集合确定所述第二视频中的帧对齐位置；
其中，所述第一匹配度集合包括所述公共子序列与所述第一相似度评分序列在不同对齐方式下的时域特征匹配度，所述第二匹配度集合包括所述公共子序列与所述第二相似度评分序列在不同对齐方式下的时域特征匹配度。
5.如权利要求4所述的方法，其特征在于，所述获取第一匹配度集合，并跟据所述第一匹配度集合确定所述第一相似度评分序列中的帧对齐位置，包括：
计算所述公共子序列与所述第一相似度评分序列在不同对齐方式下的时域特征匹配度，得到第一匹配度集合；
将所述第一匹配度集合中匹配度最高的对齐方式所指示的帧对齐位置，确定为所述第一相似度评分序列的帧对齐位置。
6.如权利要求2所述的方法，其特征在于，所述基于所述第一帧序列的时域特征及所述第二帧序列的时域特征，确定所述第一视频和所述第二视频中的帧对齐位置，包括：
计算所述第一相似度评分序列和所述第二相似度评分序列在不同对齐方式下的时域特征匹配度，得到第三匹配度集合；
将所述第三匹配度集合中匹配度最高的对齐方式所指示的帧对齐位置，确定为所述第一视频和所述第二视频中的帧对齐位置。
7.如权利要求2所述的方法，其特征在于，所述方法还包括：
获取相似度评分阈值；
基于所述相似度评分阈值对所述第一相似度评分序列和所述第二相似度评分序列进行筛选，得到筛选后的第一相似度评分序列和第二相似度评分序列。
8.如权利要求7所述的方法，其特征在于，所述基于所述相似度评分阈值对所述第一相似度评分序列和所述第二相似度评分序列进行筛选，得到筛选后的第一相似度评分序列和第二相似度评分序列，包括：
若所述第一相似度评分序列包含相似度评分大于所述相似度评分阈值的N个连续视频帧，则去除所述N个连续视频帧中的N-1个视频帧，得到筛选后的第一相似度评分序列，N为大于1的整数；以及，
若所述第二相似度评分序列包含相似度评分大于所述相似度评分阈值的M个连续视频帧，则去除所述M个连续视频帧中的M-1个视频帧，得到筛选后的第二相似度评分序列，M为大于1的整数。
9.如权利要求2所述的方法，其特征在于，所述获取所述第一帧序列中各个相邻视频帧之间的相似度，得到的第一相似度评分序列，包括：
计算所述第一帧序列中各相邻视频帧之间像素点的相似度，得到第一相似度评分序列。
10.如权利要求2所述的方法，其特征在于，所述获取所述第一帧序列中各个相邻视频帧之间的相似度，得到的第一相似度评分序列，包括：
对所述第一帧序列中的视频帧分别进行特征提取，得到所述第一帧序列中各个视频帧的特征信息；
基于所述第一帧序列中各个视频帧的特征信息，计算所述第一帧序列中各相邻视频帧之间特征信息的相似度，得到第一相似度评分序列。
11.如权利要求1-10任一项所述的方法，其特征在于，所述获取第一视频对应的第一帧序列及第二视频对应的第二帧序列，包括：
获取目标时间段，所述目标时间段用于指示所述第一视频和所述第二视频中需要执行抽帧处理的时间段；
按照所述目标时间段对所述第一视频进行抽帧处理，得到所述第一视频对应的第一帧序列；以及，
按照所述目标时间段对所述第二视频进行抽帧处理，得到所述第二视频对应的第二帧序列。
12.一种视频处理装置，其特征在于，所述视频处理装置包括：
获取单元，用于获取第一视频对应的第一帧序列及第二视频对应的第二帧序列，所述第一视频和所述第二视频之间存在至少一帧相同视频帧；以及用于获取所述第一帧序列的时域特征及所述第二帧序列的时域特征，所述时域特征用于表示同一帧序列中相邻视频帧之间在时域上的关联关系；
处理单元，用于基于所述第一帧序列的时域特征及所述第二帧序列的时域特征，确定所述第一视频和所述第二视频中的帧对齐位置；以及用于通过所述帧对齐位置，对所述第一视频和所述第二视频进行帧对齐处理。
13.一种计算机设备，其特征在于，包括：存储装置和处理器；
存储器，所述存储器中存储有计算机程序；
处理器，用于加载所述计算机程序实现如权利要求1-11任一项所述的视频处理方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于被处理器加载并执行如权利要求1-11任一项所述的视频处理方法。
CN202210875705.2A 2022-07-22 2022-07-22 一种视频处理方法、装置、设备及存储介质 Active CN115243073B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210875705.2A CN115243073B (zh) 2022-07-22 2022-07-22 一种视频处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210875705.2A CN115243073B (zh) 2022-07-22 2022-07-22 一种视频处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115243073A true CN115243073A (zh) 2022-10-25
CN115243073B CN115243073B (zh) 2024-05-14

Family

ID=83676156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210875705.2A Active CN115243073B (zh) 2022-07-22 2022-07-22 一种视频处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115243073B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116939267A (zh) * 2023-09-14 2023-10-24 腾讯科技（深圳）有限公司 帧对齐方法、装置、计算机设备及存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110243401A1 (en) * 2010-03-31 2011-10-06 Zabair Adeala T System and method for image sequence processing
US20140267779A1 (en) * 2013-03-13 2014-09-18 Verizon Patent And Licensing Inc. Alignment of video frames
US9275682B1 (en) * 2014-09-26 2016-03-01 A9.Com, Inc. Video content alignment
US20200154165A1 (en) * 2016-12-29 2020-05-14 Telefonaktiebolaget Lm Ericsson (Publ) Handling of video segments in a video stream
CN112597794A (zh) * 2020-10-20 2021-04-02 季鹏飞 一种视频匹配的方法
CN112653928A (zh) * 2020-12-04 2021-04-13 苏州浪潮智能科技有限公司 一种基于内容相同的视频过滤方法、系统及设备
CN112819743A (zh) * 2021-02-08 2021-05-18 福建帝视信息科技有限公司 一种基于神经网络的通用视频时域对齐方法
CN113239855A (zh) * 2021-05-27 2021-08-10 北京字节跳动网络技术有限公司 一种视频检测方法、装置、电子设备以及存储介质
CN113395583A (zh) * 2020-09-29 2021-09-14 腾讯科技（深圳）有限公司 水印检测方法、装置、计算机设备及存储介质
CN113473201A (zh) * 2021-07-29 2021-10-01 腾讯音乐娱乐科技（深圳）有限公司 一种音视频对齐方法、装置、设备及存储介质
CN113784118A (zh) * 2021-09-14 2021-12-10 广州博冠信息科技有限公司 视频质量评估方法及装置、电子设备和存储介质
CN113794815A (zh) * 2021-08-25 2021-12-14 中科云谷科技有限公司 用于提取视频关键帧的方法、装置及控制器
CN114640852A (zh) * 2022-03-21 2022-06-17 湖南快乐阳光互动娱乐传媒有限公司 视频帧对齐方法及装置
CN114640881A (zh) * 2020-12-15 2022-06-17 武汉Tcl集团工业研究院有限公司 视频帧对齐方法、装置、终端设备及计算机可读存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110243401A1 (en) * 2010-03-31 2011-10-06 Zabair Adeala T System and method for image sequence processing
US20140267779A1 (en) * 2013-03-13 2014-09-18 Verizon Patent And Licensing Inc. Alignment of video frames
US9275682B1 (en) * 2014-09-26 2016-03-01 A9.Com, Inc. Video content alignment
US20200154165A1 (en) * 2016-12-29 2020-05-14 Telefonaktiebolaget Lm Ericsson (Publ) Handling of video segments in a video stream
CN113395583A (zh) * 2020-09-29 2021-09-14 腾讯科技（深圳）有限公司 水印检测方法、装置、计算机设备及存储介质
CN112597794A (zh) * 2020-10-20 2021-04-02 季鹏飞 一种视频匹配的方法
CN112653928A (zh) * 2020-12-04 2021-04-13 苏州浪潮智能科技有限公司 一种基于内容相同的视频过滤方法、系统及设备
CN114640881A (zh) * 2020-12-15 2022-06-17 武汉Tcl集团工业研究院有限公司 视频帧对齐方法、装置、终端设备及计算机可读存储介质
CN112819743A (zh) * 2021-02-08 2021-05-18 福建帝视信息科技有限公司 一种基于神经网络的通用视频时域对齐方法
CN113239855A (zh) * 2021-05-27 2021-08-10 北京字节跳动网络技术有限公司 一种视频检测方法、装置、电子设备以及存储介质
CN113473201A (zh) * 2021-07-29 2021-10-01 腾讯音乐娱乐科技（深圳）有限公司 一种音视频对齐方法、装置、设备及存储介质
CN113794815A (zh) * 2021-08-25 2021-12-14 中科云谷科技有限公司 用于提取视频关键帧的方法、装置及控制器
CN113784118A (zh) * 2021-09-14 2021-12-10 广州博冠信息科技有限公司 视频质量评估方法及装置、电子设备和存储介质
CN114640852A (zh) * 2022-03-21 2022-06-17 湖南快乐阳光互动娱乐传媒有限公司 视频帧对齐方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116939267A (zh) * 2023-09-14 2023-10-24 腾讯科技（深圳）有限公司 帧对齐方法、装置、计算机设备及存储介质
CN116939267B (zh) * 2023-09-14 2023-12-05 腾讯科技（深圳）有限公司 帧对齐方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN115243073B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN109145784B (zh) 用于处理视频的方法和装置
CN108805047B (zh) 一种活体检测方法、装置、电子设备和计算机可读介质
KR102354692B1 (ko) 규칙 기반 비디오 중요도 분석
WO2019242222A1 (zh) 用于生成信息的方法和装置
CN112308095A (zh) 图片预处理及模型训练方法、装置、服务器及存储介质
CN108229300B (zh) 视频分类方法、装置、计算机可读存储介质和电子设备
CN113238972B (zh) 一种图像检测方法、装置、设备及存储介质
CN108875931B (zh) 神经网络训练及图像处理方法、装置、系统
EP4006824A1 (en) Image processing method and apparatus, mobile terminal video processing method and apparatus, device and medium
CN113627402B (zh) 一种图像识别方法及相关装置
CN115205150A (zh) 图像的去模糊方法、装置、设备、介质及计算机程序产品
CN112565887A (zh) 一种视频处理方法、装置、终端及存储介质
CN115243073B (zh) 一种视频处理方法、装置、设备及存储介质
CN116546304A (zh) 一种参数配置方法、装置、设备、存储介质及产品
Zheng et al. No-reference quality assessment of variable frame-rate videos using temporal bandpass statistics
CN105516735B (zh) 代表帧获取方法和装置
CN111488887A (zh) 基于人工智能的图像处理方法、装置
CN110826545A (zh) 一种视频类别识别的方法及相关装置
CN115049963A (zh) 视频分类方法、装置、处理器及电子设备
CN114118203A (zh) 图像特征提取匹配的方法、装置和电子设备
CN113221690A (zh) 视频分类方法及装置
CN117176979B (zh) 多源异构视频的内容帧提取方法、装置、设备及存储介质
CN113825013B (zh) 图像显示方法和装置、存储介质及电子设备
CN116489477B (zh) 全息视频的生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40074516

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant