CN113316001B - 视频对齐方法及装置 - Google Patents
视频对齐方法及装置 Download PDFInfo
- Publication number
- CN113316001B CN113316001B CN202110573742.3A CN202110573742A CN113316001B CN 113316001 B CN113316001 B CN 113316001B CN 202110573742 A CN202110573742 A CN 202110573742A CN 113316001 B CN113316001 B CN 113316001B
- Authority
- CN
- China
- Prior art keywords
- video
- target
- aligned
- video frame
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000001360 synchronised effect Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 abstract description 13
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本申请提供视频对齐方法及装置，其中所述视频对齐方法包括：获取目标视频和所述目标视频对应的待对齐视频；确定所述目标视频的目标视频帧集合，在所述待对齐视频中确定多个待检测视频帧集合；分别计算每个待检测视频帧集合与所述目标视频帧集合的匹配分值，并在多个匹配分值中选取目标匹配分值；基于所述目标匹配分值确定所述待对齐视频与所述目标视频的视频对齐状态；在所述视频对齐状态为可对齐的情况下，根据所述目标匹配分值在所述待对齐视频中确定目标待对齐视频帧，并根据所述目标待对齐视频帧将所述待对齐视频与所述目标视频对齐。通过本方法，可以准确地将相关的两个视频对齐，便于进行后续的处理操作。
Description
技术领域
本申请涉及互联网技术领域，特别涉及一种视频对齐方法。本申请同时涉及一种视频对齐装置，一种计算设备，以及一种计算机可读存储介质。
背景技术
近年来，随着多媒体信息技术的快速发展，视频处理的应用也越来越广泛，在视频处理过程中，会对原片进行转码，通过转码获得多个不同清晰度的视频，即方便用户根据不同需求进行选择，又通过规整视频的一些参数，提高播放器的适配性。
对视频进行转码势必会对视频画面质量产生损失，导致转码后的视频与原视频无法对齐，还有可能会出现添加片头的方式，也会导致转码后的视频与原视频无法对齐，所谓的视频对齐，即两个视频的视频起始播放点相同，即两个画面的开始画面相同。如果两个视频没有对齐，会对后续视频的处理操作带来不利影响，因此急需一种视频对齐方法，来解决上述问题。
发明内容
有鉴于此，本申请实施例提供了一种视频对齐方法。本申请同时涉及一种视频对齐装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的相对应的两个视频无法准确实现视频对齐的问题。
根据本申请实施例的第一方面，提供了一种视频对齐方法，包括：
获取目标视频和所述目标视频对应的待对齐视频；
确定所述目标视频的目标视频帧集合，在所述待对齐视频中确定多个待检测视频帧集合；
分别计算每个待检测视频帧集合与所述目标视频帧集合的匹配分值，并在多个匹配分值中选取目标匹配分值；
基于所述目标匹配分值确定所述待对齐视频与所述目标视频的视频对齐状态；
在所述视频对齐状态为可对齐的情况下，根据所述目标匹配分值在所述待对齐视频中确定目标待对齐视频帧，并根据所述目标待对齐视频帧将所述待对齐视频与所述目标视频对齐。
根据本申请实施例的第二方面，提供了一种视频对齐装置，包括：
获取模块，被配置为获取目标视频和所述目标视频对应的待对齐视频；
确定模块，被配置为确定所述目标视频的目标视频帧集合，在所述待对齐视频中确定多个待检测视频帧集合；
计算选取模块，被配置为分别计算每个待检测视频帧集合与所述目标视频帧集合的匹配分值，并在多个匹配分值中选取目标匹配分值；
状态确定模块，被配置为基于所述目标匹配分值确定所述待对齐视频与所述目标视频的视频对齐状态；
对齐模块，被配置为在所述视频对齐状态为可对齐的情况下，根据所述目标匹配分值在所述待对齐视频中确定目标待对齐视频帧，并根据所述目标待对齐视频帧将所述待对齐视频与所述目标视频对齐。
根据本申请实施例的第三方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述计算机指令时实现所述视频对齐方法的步骤。
根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机指令，该计算机指令被处理器执行时实现所述视频对齐方法的步骤。
本申请提供的视频对齐方法，获取目标视频和所述目标视频对应的待对齐视频；确定所述目标视频的目标视频帧集合，在所述待对齐视频中确定多个待检测视频帧集合；分别计算每个待检测视频帧集合与所述目标视频帧集合的匹配分值，并在多个匹配分值中选取目标匹配分值；基于所述目标匹配分值确定所述待对齐视频与所述目标视频的视频对齐状态；在所述视频对齐状态为可对齐的情况下，根据所述目标匹配分值在所述待对齐视频中确定目标待对齐视频帧，并根据所述目标待对齐视频帧将所述待对齐视频与所述目标视频对齐。通过本申请提供的视频对齐方法，可以实现将两个视频进行对齐，提高了视频对齐的准确率，为后续的业务处理提供了支持。
附图说明
图1是本申请一实施例提供的一种视频对齐方法的流程图；
图2是本申请一实施例提供的在待对齐视频中确定多个待检测视频帧集合的示意图；
图3是本申请一实施例提供的一种应用于评估转码视频质量的视频对齐方法的处理流程图；
图4是本申请一实施例提供的一种视频对齐装置的结构示意图；
图5是本申请一实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先，对本申请一个或多个实施例涉及的名词术语进行解释。
视频对齐：两个视频的起始点相同，表现在原始视频的开始画面必须是待评测视频的开始画面；反之则为视频不对齐。
视频偏差：两个视频的最开始相同的视频画面的视频时间差值，在本发明中为(待评测视频时间–原始视频时间)，视频偏差通过视频对齐算法计算得出。
视频对齐算法:获得两个视频的视频偏差值的算法。
ffmpeg：是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。
psnr：“Peak Signal to Noise Ratio”的缩写，即峰值信噪比，是一种评价图像的客观标准。
vmaf：VMAF(Video Multimethod Assessment Fusion)，利用大量的主观数据作为训练集，通过机器学习的手段将不同评估维度的算法进行“融合”，得到一个能准确反映主观意志的画质评价标准。
vmaf score：vmaf标准评价的分数，分数越高待评测视频和原始视频越相似，100为最高分值，0为最低分值。
在本申请中，提供了一种视频对齐方法，本申请同时涉及一种视频对齐装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。
图1示出了根据本申请一实施例提供的一种视频对齐方法的流程图，具体包括以下步骤：
步骤102：获取目标视频和所述目标视频对应的待对齐视频。
其中，目标视频即作为标准进行比对的视频，待对齐视频即需要进行调整的视频，例如，将视频A与视频B进行对齐，此时视频A为的待对齐视频、视频B为目标视频，需要对视频A进行调整，以使视频A与视频B进行对齐；若视频B与视频A进行对齐，则视频B为待对齐视频，视频A为目标视频，需要对视频B进行调整，以使视频B与视频A进行对齐。
需要注意的时，在本申请中的目标视频和待对齐视频是同一个视频的不同帧率，例如，目标视频是1080P的视频A1，待对齐视频是720P的视频A2；或者目标视频是720P的视频A2，待对齐视频是1080P的视频A1，其中A1和A2是视频A的不同清晰度。在获得目标视频和待对齐视频后，需要将两个视频统一成相同分辨率和帧率，在后续的处理过程中，两个视频在相同的分辨率和帧率的情况下，才可以获得更准确的处理结果，例如，视频A1是1080P、30帧的视频，视频A2是720P、25帧的视频，需要将视频A1和A2统一为1080P、30帧或统一为720P、25帧。优选的，在本申请中调整待对齐视频的分辨率和帧率，使得待对齐视频的分辨率和帧率与目标视频的分辨率和帧率相同。
在实际应用中，目标视频和待对齐视频之间可以互换，在第一次视频对齐过程中，确定了目标视频和待对齐视频，在第二次对齐过程中，可以将原来的目标视频作为新的待对齐视频，将原来的待对齐视频作为新的目标视频。
在本申请提供的一具体实施方式中，以目标视频为视频A、待对齐视频为视频B为例进行解释说明，即获取目标视频A和待对齐视频B。
步骤104：确定所述目标视频的目标视频帧集合，在所述待对齐视频中确定多个待检测视频帧集合。
目标视频帧集合具体是指从所述目标视频中选取的多个视频帧的集合，待检测视频帧集合具体是指从待对齐视频中选取的多个视频帧集合，需要注意的是，在待对齐视频中需要确定多个待检测视频帧集合。
具体的，确定所述目标视频的目标视频帧集合，包括：
确定所述目标视频的前x个连续视频帧为目标视频帧集合，其中，x为正整数。
在实际应用中，对两个视频进行对齐，是需要让两个视频的起始视频帧相同，需要在待对齐视频中寻找到与目标视频相同的开始视频帧，因此，以目标视频为标准，确定目标视频的前x个连续视频帧为目标视频帧集合，所述目标视频帧集合即用于视频帧集合比对的标准，需要注意的是，需要从目标视频的第1个视频帧起开始选取，选取前x个连续视频帧，x代表视频帧的个数，因此x为正整数，x的大小影响计算效率，x的取值越大，在后续的计算过程中效率越低；x的取值过小，则有可能会获得错误的计算结果，因此x取值需要选取合适的值，保证在计算效率和计算结果中获取最优值，优选的x取值在4-5秒的帧数较为合适，即如果视频的帧率为30帧每秒，则x可以在120-150帧之间取值。
在本申请提供的一具体实施方式中，以目标视频A为30帧每秒的视频为例，选取从第1帧至第120帧的视频帧为所述目标视频A的目标视频帧集合。
具体的，在所述待对齐视频中确定多个待检测视频帧集合，包括下述步骤S1042至步骤S1048：
S1042、在所述待对齐视频中确定前n个连续视频帧为同步视频帧集合，其中，n为正整数。
在本申请提供的视频对齐方法中，需要在待对齐视频中寻找与目标视频的起始视频帧相同的视频帧，因此，需要在待对齐视频中逐帧选取多个同步视频帧，组成同步视频帧集合。其中，所述同步视频帧即在待对齐视频中用于与目标视频比对的第一个视频帧。需要注意的是，在本申请中，x与n没有必然的关联关系，x可以大于n，x可以等于n，x也可以小于n。n是连续多个视频帧的值，可以理解为同步窗口。n的大小也会影响计算效率，n的值越大，计算效率越低；n的值越小，则容易导致后续的待检测视频帧集合数量不足，无法找到合适的匹配分值。通常情况下，视频场景变化较大的可以适当降低n的值，如果视频场景变化较小的可以适当增加n的值，n的取值范围以实际应用为准。
在本申请提供的一具体实施方式中，沿用上例，在待对齐视频B中确定前100个连续的视频帧为同步视频帧集合。
S1044、在所述同步视频帧集合中选取第i个视频帧为待检测初始视频帧，其中，1≤i≤n。
在确定同步视频帧集合后，即需要在同步视频帧集合中依次选取每个同步视频帧作为对应的待检测视频帧集合的待检测初始视频帧。
在本申请提供的一具体实施方式中，沿用上例，同步视频帧集合中有100个视频帧，当i＝1，则选取第1个视频帧为待检测初始视频帧；当i＝50时，则选取第50个视频帧为待检测初始视频帧。
S1046、以所述待检测初始视频帧为起始视频帧，在所述待对齐视频中选取x个连续视频帧为第i个待检测视频帧集合。
x即在目标视频中选取目标视频帧集合的取值，为了保证后续匹配分值的准确性，需要保证待检测视频帧集合与目标视频帧集合中的视频帧的数量一致，因此在上述步骤确定待检测初始视频帧后，以待检测初始视频帧为起始视频帧，在待对齐视频中选取x个连续的视频帧生成对应的待检测视频帧集合。
在本申请提供的一具体实施方式中，沿用上例，x的取值为120，当i＝1时，在待对齐视频中选取第1-120个视频帧为第1个待检测视频帧集合；当i＝50时，在待对齐视频中选取第50-170个视频帧作为第50个待检测视频帧集合，以此类推。
S1048、将i自增1，并判断i是否大于n，若是，则获取n个待检测视频帧集合，若否，则执行步骤S1044。
在确定第i个待检测视频帧集合后，将i自增1，并判断i是否大于n，即判断当前的待检测视频帧集合是否是最后一个待检测视频帧集合，若i大于n则说明自增前的i已经是最后一个待检测视频帧集合了，即同步视频帧集合中的每个视频帧都已经获得对应的待检测视频帧集合；若i不大于n，继续执行步骤1044的操作。
在本申请提供的一具体实施方式中，沿用上例，同步视频帧集合中有100个视频帧，则共计获得100个待检测视频帧集合，每个待检测视频帧集合中均包括120个视频帧。
下面通过图2对在所述待对齐视频中确定多个待检测视频帧集合做进一步解释说明，图2示出了本申请一实施例提供的在待对齐视频中确定多个待检测视频帧集合的示意图。
如图2所示，以n大于x为例，在第1个待检测视频帧集合中包括第1至x个视频帧，在第2个待检测视频帧集合中包括2至x+1个视频帧，在第3个待检测视频帧集合中包括3至x+2个视频帧，……在第n个待检测视频帧集合中包括n至x+n-1个视频帧。
步骤106：分别计算每个待检测视频帧集合与所述目标视频帧集合的匹配分值，并在多个匹配分值中选取目标匹配分值。
psnr是“Peak Signal to Noise Ratio”的缩写，即峰值信噪比，是一种评价图像的客观标准。通过计算每个待检测视频帧集合与所述目标视频帧集合的psnr，来确定两个集合的匹配分值，并在多个匹配分值中选取目标匹配分值，所述目标匹配分值具体是指用于确定待对齐视频和目标视频是否可以对齐的匹配分值。
具体的，分别计算每个待检测视频帧集合与所述目标视频帧集合的匹配分值，包括：
在多个待检测视频帧集合中选取目标待检测视频帧集合；
计算所述目标待检测视频帧集合与所述目标视频帧集合的匹配分值。
在实际应用中，依次计算每个待检测视频帧集合与目标视频帧集合的匹配分值，目标待检测视频帧集合即当前用于与目标视频帧集合计算匹配分值的待检测视频帧集合。
相应的，在多个匹配分值中选取目标匹配分值，包括：
在多个匹配分值中选取最大的匹配分值为目标匹配分值。
psnr用于表示峰值信噪比，psnr的值越高，则说明两个待检测视频帧集合与目标视频帧集合约接近，因此，在计算获得每个待检测视频帧集合与所述目标视频帧集合的匹配分值后，即可选取最大的匹配分值为目标匹配分值。
步骤108：基于所述目标匹配分值确定所述待对齐视频与所述目标视频的视频对齐状态。
所述目标匹配分值是多个匹配分值中最大的匹配分值，在确定目标匹配分值后即可确定所述待对齐视频和所述目标视频是否可以对齐，即视频对齐状态为可对齐或不可对齐。
具体的，基于所述目标匹配分值确定所述待对齐视频与所述目标视频的视频对齐状态，包括：
判断所述目标匹配分值是否大于或等于匹配分值阈值；
若是，则确定所述待对齐视频与所述目标视频的视频对齐状态为可对齐；
若否，则确定所述待对齐视频与所述目标视频的视频对齐状态为不可对齐。
在实际应用中，会预先设置匹配分值阈值，所述匹配分值阈值用于确定待对齐视频与目标视频是否可以对齐，若目标匹配分值大于或等于匹配分值阈值，则说明两个视频相似，确定两个视频可以对齐；若目标匹配分值小于匹配分值阈值，则说明两个视频不相似，确定两个视频不可以对齐。在实际应用中，可以通过返回的参数值来确定两个视频是否可以对齐，例如返回0表示两个视频不可对齐，返回1表示两个视频可对齐。在实际应用中，视频对齐状态的表示方式有很多，以实际应用为准。
步骤110：在所述视频对齐状态为可对齐的情况下，根据所述目标匹配分值在所述待对齐视频中确定目标待对齐视频帧，并根据所述目标待对齐视频帧将所述待对齐视频与所述目标视频对齐。
视频对齐状态为可对齐或不可对齐，若在视频对齐状态为不可对齐的情况下，可以将目标视频和待对齐视频的位置互换，再进行一次视频对齐处理，若第二次视频处理后确定两个视频还是不可对齐，则确定这两个视频不是同一个视频。
若视频对齐状态为可对齐，则说明待对齐视频和目标视频存在视频偏差，即可根据目标匹配分值在所述待对齐视频中确定目标待对齐视频帧，具体的，根据所述目标匹配分值在所述待对齐视频中确定目标待对齐视频帧，包括：
确定所述目标匹配分值对应的待检测视频帧集合为可对齐视频帧集合；
确定所述可对齐视频帧集合中的第一个视频帧为目标待对齐视频帧。
所述目标待对齐视频帧具体是指所述目标视频匹配分值对应的待检测视频帧集合中的第一个视频帧，首先根据目标匹配分值确定可对齐视频帧集合，再确定可对齐视频帧集合中的第一个视频帧为目标待对齐视频帧。例如目标视频匹配分值对应的待检测视频帧集合为第5个待检测视频帧集合，则第5个待检测视频帧集合为可对齐视频帧集合，第5个待检测视频帧集合中的第一个视频帧为目标待对齐视频帧(即待对齐视频中的第5个视频帧)。
具体的，根据所述目标待对齐视频帧将所述待对齐视频与所述目标视频对齐，包括：
根据所述目标待对齐视频帧确定所述待对齐视频与所述目标视频的视频偏差帧数；
根据所述视频偏差帧数剪切所述待对齐视频，获得目标对齐视频，其中，所述目标对齐视频与所述目标视频对齐。
在确定目标待对齐视频帧后，即可确定所述待对齐视频与目标视频的视频偏差帧数，例如，目标待对齐视频帧为待对齐视频中的第5个视频帧，则可以确定待对齐视频与目标视频的视频偏差帧数为4(第1帧至第4帧)；若目标待对齐视频帧为待对齐视频中的第10个视频帧，则可以确定待对齐视频与目标视频的视频偏差帧数为9(第1帧至第9帧)。
在确定视频偏差帧数后，即可根据视频偏差帧数对所述待对齐视频进行剪切处理，使得剪切后的待对齐视频与目标视频对齐。
在本申请提供的一具体实施方式中，目标待对齐视频帧为待对齐视频B中的第5个视频帧，则确定视频偏差帧数为4，将待对齐视频B中的前4个视频帧剪切，使得待对齐视频B的第5个视频帧与目标视频A的第1个视频帧对齐，从而完成待对齐视频B与目标视频A对齐的处理。
在本申请提供的另一具体实施方式中，所述方法还包括：
计算所述目标对齐视频与所述目标视频的画质评分。
在获得目标对齐视频后，即可根据ffmepg集成的vmaf filter实现质量评价功能，获得目标对齐视频与目标视频的vmaf score。
本申请提供的视频对齐方法，获取目标视频和所述目标视频对应的待对齐视频；确定所述目标视频的目标视频帧集合，在所述待对齐视频中确定多个待检测视频帧集合；分别计算每个待检测视频帧集合与所述目标视频帧集合的匹配分值，并在多个匹配分值中选取目标匹配分值；基于所述目标匹配分值确定所述待对齐视频与所述目标视频的视频对齐状态；在所述视频对齐状态为可对齐的情况下，根据所述目标匹配分值在所述待对齐视频中确定目标待对齐视频帧，并根据所述目标待对齐视频帧将所述待对齐视频与所述目标视频对齐。通过本申请提供的视频对齐方法，可以实现将两个视频进行对齐，提高了视频对齐的准确率，为后续的业务处理提供了支持。
下述结合附图3，以本申请提供的视频对齐方法在评估转码视频质量的应用为例，对所述视频对齐方法进行进一步说明。其中，图3示出了本申请一实施例提供的一种应用于评估转码视频质量的视频对齐方法的处理流程图，具体包括以下步骤302至步骤322：
步骤302：获取目标视频A和所述目标视频对应的待对齐视频B。
步骤304：确定所述目标视频A的前100个连续视频帧为目标视频帧集合。
步骤306：在所述待对齐视频B中确定120个待检测视频帧集合。
步骤308：分别计算每个待检测视频帧集合与所述目标视频帧集合的匹配分值，获得120个匹配分值。
步骤310：在120个匹配分值中选取最大的匹配分值为目标匹配分值。
步骤312：所述目标匹配分值大于匹配分值阈值，确定待对齐视频B与目标视频A的视频对齐状态为可对齐。
步骤314：确定目标匹配分值对应的待检测视频帧集合为可对齐视频帧集合。
步骤316：确定所述可对齐视频帧集合中的第一个视频帧为目标待对齐视频帧。
步骤318：根据所述目标待对齐视频帧确定所述待对齐视频B与所述目标视频A的视频偏差帧数。
步骤320：根据所述视频偏差帧数剪切所述待对齐视频B，获得目标对齐视频B1。
步骤322：计算所述目标对齐视频B1与所述目标视频A的画质评分。
本申请提供的视频对齐方法，获取目标视频和所述目标视频对应的待对齐视频；确定所述目标视频的目标视频帧集合，在所述待对齐视频中确定多个待检测视频帧集合；分别计算每个待检测视频帧集合与所述目标视频帧集合的匹配分值，并在多个匹配分值中选取目标匹配分值；基于所述目标匹配分值确定所述待对齐视频与所述目标视频的视频对齐状态；在所述视频对齐状态为可对齐的情况下，根据所述目标匹配分值在所述待对齐视频中确定目标待对齐视频帧，并根据所述目标待对齐视频帧将所述待对齐视频与所述目标视频对齐。通过本申请提供的视频对齐方法，可以实现将两个视频进行对齐，提高了视频对齐的准确率，为后续的业务处理提供了支持。
与上述视频对齐方法实施例相对应，本申请还提供了视频对齐装置实施例，图4示出了本申请一实施例提供的一种视频对齐装置的结构示意图。如图4所示，该装置包括：
获取模块402，被配置为获取目标视频和所述目标视频对应的待对齐视频；
确定模块404，被配置为确定所述目标视频的目标视频帧集合，在所述待对齐视频中确定多个待检测视频帧集合；
计算选取模块406，被配置为分别计算每个待检测视频帧集合与所述目标视频帧集合的匹配分值，并在多个匹配分值中选取目标匹配分值；
状态确定模块408，被配置为基于所述目标匹配分值确定所述待对齐视频与所述目标视频的视频对齐状态；
对齐模块410，被配置为在所述视频对齐状态为可对齐的情况下，根据所述目标匹配分值在所述待对齐视频中确定目标待对齐视频帧，并根据所述目标待对齐视频帧将所述待对齐视频与所述目标视频对齐。
可选的，所述确定模块404，进一步被配置为：
确定所述目标视频的前x个连续视频帧为目标视频帧集合，其中，x为正整数。
可选的，所述确定模块404，进一步被配置为：
在所述待对齐视频中确定前n个连续视频帧为同步视频帧集合，其中，n为正整数；
在所述同步视频帧集合中选取第i个视频帧为待检测初始视频帧，其中，1≤i≤n；
以所述待检测初始视频帧为起始视频帧，在所述待对齐视频中选取x个连续视频帧为第i个待检测视频帧集合；
将i自增1，并判断i是否大于n，若是，则获取n个待检测视频帧集合，若否，则继续执行在所述同步视频帧集合中选取第i个视频帧为待检测初始视频帧的步骤。
可选的，所述计算选取模块406，进一步被配置为：
在多个待检测视频帧集合中选取目标待检测视频帧集合；
计算所述目标待检测视频帧集合与所述目标视频帧集合的匹配分值。
可选的，所述计算选取模块406，进一步被配置为：
在多个匹配分值中选取最大的匹配分值为目标匹配分值。
可选的，所述状态确定模块408，进一步被配置为：
判断所述目标匹配分值是否大于或等于匹配分值阈值；
若是，则确定所述待对齐视频与所述目标视频的视频对齐状态为可对齐；
若否，则确定所述待对齐视频与所述目标视频的视频对齐状态为不可对齐。
可选的，所述状态确定模块408，进一步被配置为：
确定所述目标匹配分值对应的待检测视频帧集合为可对齐视频帧集合；
确定所述可对齐视频帧集合中的第一个视频帧为目标待对齐视频帧。
可选的，所述对齐模块410，进一步被配置为：
根据所述目标待对齐视频帧确定所述待对齐视频与所述目标视频的视频偏差帧数；
根据所述视频偏差帧数剪切所述待对齐视频，获得目标对齐视频，其中，所述目标对齐视频与所述目标视频对齐。
可选的，所述装置还包括：
评分模块，被配置为计算所述目标对齐视频与所述目标视频的画质评分。
本申请提供的视频对齐装置，获取目标视频和所述目标视频对应的待对齐视频；确定所述目标视频的目标视频帧集合，在所述待对齐视频中确定多个待检测视频帧集合；分别计算每个待检测视频帧集合与所述目标视频帧集合的匹配分值，并在多个匹配分值中选取目标匹配分值；基于所述目标匹配分值确定所述待对齐视频与所述目标视频的视频对齐状态；在所述视频对齐状态为可对齐的情况下，根据所述目标匹配分值在所述待对齐视频中确定目标待对齐视频帧，并根据所述目标待对齐视频帧将所述待对齐视频与所述目标视频对齐。通过本申请提供的视频对齐装置，可以实现将两个视频进行对齐，提高了视频对齐的准确率，为后续的业务处理提供了支持。
上述为本实施例的一种视频对齐装置的示意性方案。需要说明的是，该视频对齐装置的技术方案与上述的视频对齐方法的技术方案属于同一构思，视频对齐装置的技术方案未详细描述的细节内容，均可以参见上述视频对齐方法的技术方案的描述。
图5示出了根据本申请一实施例提供的一种计算设备500的结构框图。该计算设备500的部件包括但不限于存储器510和处理器520。处理器520与存储器510通过总线530相连接，数据库550用于保存数据。
计算设备500还包括接入设备540，接入设备540使得计算设备500能够经由一个或多个网络560通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备540可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。
在本申请的一个实施例中，计算设备500的上述部件以及图5中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图5所示的计算设备结构框图仅仅是出于示例的目的，而不是对本申请范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备500可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备500还可以是移动式或静止式的服务器。
其中，处理器520执行所述计算机指令时实现所述的视频对齐方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的视频对齐方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述视频对齐方法的技术方案的描述。
本申请一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该计算机指令被处理器执行时实现如前所述视频对齐方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的视频对齐方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述视频对齐方法的技术方案的描述。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本申请的内容，可作很多的修改和变化。本申请选取并具体描述这些实施例，是为了更好地解释本申请的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。
Claims (9)
1.一种视频对齐方法，其特征在于，包括：
获取目标视频和所述目标视频对应的待对齐视频并将所述目标视频及所述目标视频对应的待对齐视频的帧率统一；
确定所述目标视频的目标视频帧集合，在所述待对齐视频中确定多个待检测视频帧集合；
分别计算每个待检测视频帧集合与所述目标视频帧集合的匹配分值，在多个匹配分值中选取目标匹配分值并将所述目标匹配分值对应的待检测视频帧集合确定为可对齐视频帧集合，其中，所述匹配分值为所述待检测视频帧集合与所述目标视频帧集合的接近度；
基于所述目标匹配分值确定所述待对齐视频与所述目标视频的视频对齐状态；
在所述视频对齐状态为可对齐的情况下，根据所述目标匹配分值在所述待对齐视频中确定目标待对齐视频帧，其中，所述目标待对齐视频帧为所述目标匹配分值对应的可对齐视频帧集合中的第一个视频帧；
根据所述目标待对齐视频帧确定所述待对齐视频与所述目标视频的视频偏差帧数；
根据所述视频偏差帧数剪切所述待对齐视频，获得目标对齐视频，其中，所述目标对齐视频与所述目标视频对齐；
其中，所述基于所述目标匹配分值确定所述待对齐视频与所述目标视频的视频对齐状态，包括：
判断所述目标匹配分值是否大于或等于匹配分值阈值；
若是，则确定所述待对齐视频与所述目标视频的视频对齐状态为可对齐；
若否，则确定所述待对齐视频与所述目标视频的视频对齐状态为不可对齐。
2.如权利要求1所述的视频对齐方法，其特征在于，确定所述目标视频的目标视频帧集合，包括：
确定所述目标视频的前x个连续视频帧为目标视频帧集合，其中，x为正整数。
3.如权利要求2所述的视频对齐方法，其特征在于，在所述待对齐视频中确定多个待检测视频帧集合，包括：
在所述待对齐视频中确定前n个连续视频帧为同步视频帧集合，其中，n为正整数；
在所述同步视频帧集合中选取第i个视频帧为待检测初始视频帧，其中，1≤i≤n；
以所述待检测初始视频帧为起始视频帧，在所述待对齐视频中选取x个连续视频帧为第i个待检测视频帧集合；
将i自增1，并判断i是否大于n，若是，则获取n个待检测视频帧集合，若否，则继续执行在所述同步视频帧集合中选取第i个视频帧为待检测初始视频帧的步骤。
4.如权利要求1所述的视频对齐方法，其特征在于，分别计算每个待检测视频帧集合与所述目标视频帧集合的匹配分值，包括：
在多个待检测视频帧集合中选取目标待检测视频帧集合；
计算所述目标待检测视频帧集合与所述目标视频帧集合的匹配分值。
5.如权利要求1所述的视频对齐方法，其特征在于，在多个匹配分值中选取目标匹配分值，包括：
在多个匹配分值中选取最大的匹配分值为目标匹配分值。
6.如权利要求1-5任意一项所述的视频对齐方法，其特征在于，所述方法还包括：
计算所述目标对齐视频与所述目标视频的画质评分。
7.一种视频对齐装置，其特征在于，包括：
获取模块，被配置为获取目标视频和所述目标视频对应的待对齐视频并将所述目标视频及所述目标视频对应的待对齐视频的帧率统一；
确定模块，被配置为确定所述目标视频的目标视频帧集合，在所述待对齐视频中确定多个待检测视频帧集合；
计算选取模块，被配置为分别计算每个待检测视频帧集合与所述目标视频帧集合的匹配分值，在多个匹配分值中选取目标匹配分值并将所述目标匹配分值对应的待检测视频帧集合确定为可对齐视频帧集合，其中，所述匹配分值为所述待检测视频帧集合与所述目标视频帧集合的接近度；
状态确定模块，被配置为基于所述目标匹配分值确定所述待对齐视频与所述目标视频的视频对齐状态；
所述状态确定模块，进一步被配置为判断所述目标匹配分值是否大于或等于匹配分值阈值；若是，则确定所述待对齐视频与所述目标视频的视频对齐状态为可对齐；若否，则确定所述待对齐视频与所述目标视频的视频对齐状态为不可对齐；
对齐模块，被配置为在所述视频对齐状态为可对齐的情况下，根据所述目标匹配分值在所述待对齐视频中确定目标待对齐视频帧，其中，所述目标待对齐视频帧为所述目标匹配分值对应的可对齐视频帧集合中的第一个视频帧；根据所述目标待对齐视频帧确定所述待对齐视频与所述目标视频的视频偏差帧数；根据所述视频偏差帧数剪切所述待对齐视频，获得目标对齐视频，其中，所述目标对齐视频与所述目标视频对齐。
8.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述计算机指令时实现权利要求1-6任意一项所述方法的步骤。
9.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1-6任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110573742.3A CN113316001B (zh) | 2021-05-25 | 2021-05-25 | 视频对齐方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110573742.3A CN113316001B (zh) | 2021-05-25 | 2021-05-25 | 视频对齐方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113316001A CN113316001A (zh) | 2021-08-27 |
| CN113316001B true CN113316001B (zh) | 2023-04-11 |
Family
ID=77374679
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110573742.3A Active CN113316001B (zh) | 2021-05-25 | 2021-05-25 | 视频对齐方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113316001B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117640925A (zh) * | 2024-01-26 | 2024-03-01 | 海看网络科技(山东)股份有限公司 | 一种多路视频画面一致性检测方法、系统及电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001077871A1 (en) * | 2000-04-07 | 2001-10-18 | Demografx | Enhanced temporal and resolution layering in advanced television |
| CN104079924A (zh) * | 2014-03-05 | 2014-10-01 | 北京捷成世纪科技股份有限公司 | 一种视频错播的检测方法和装置 |
| CN107211078A (zh) * | 2015-01-23 | 2017-09-26 | 瑞典爱立信有限公司 | 基于vlc的视频帧同步 |
| CN109743591A (zh) * | 2019-01-04 | 2019-05-10 | 广州虎牙信息科技有限公司 | 视频帧对齐的方法 |
| CN110070511A (zh) * | 2019-04-30 | 2019-07-30 | 北京市商汤科技开发有限公司 | 图像处理方法和装置、电子设备及存储介质 |
| CN110493638A (zh) * | 2019-08-20 | 2019-11-22 | 广州虎牙科技有限公司 | 视频帧对齐方法、装置、电子设备及可读存储介质 |
| CA3145380A1 (en) * | 2019-07-24 | 2021-01-28 | Biao Wang | An encoder, a decoder and corresponding methods related to intra prediction mode |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4412894B2 (ja) * | 2002-11-28 | 2010-02-10 | 富士フイルム株式会社 | 画像抽出装置 |
| CN102158881B (zh) * | 2011-04-28 | 2013-07-31 | 武汉虹信通信技术有限责任公司 | 一种全面评估3g视频电话质量的方法和装置 |
| US8881213B2 (en) * | 2013-03-13 | 2014-11-04 | Verizon Patent And Licensing Inc. | Alignment of video frames |
| US9275682B1 (en) * | 2014-09-26 | 2016-03-01 | A9.Com, Inc. | Video content alignment |
| CN105392000B (zh) * | 2015-10-29 | 2018-11-20 | 无锡天脉聚源传媒科技有限公司 | 一种视频帧率转换的对齐方法及装置 |
| CN115802046A (zh) * | 2018-06-28 | 2023-03-14 | 杜比实验室特许公司 | 用于自适应流传输对齐的帧转换 |
| CN111988654B (zh) * | 2020-08-31 | 2022-10-18 | 维沃移动通信有限公司 | 视频数据对齐方法、装置和电子设备 |
-
2021
- 2021-05-25 CN CN202110573742.3A patent/CN113316001B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001077871A1 (en) * | 2000-04-07 | 2001-10-18 | Demografx | Enhanced temporal and resolution layering in advanced television |
| CN104079924A (zh) * | 2014-03-05 | 2014-10-01 | 北京捷成世纪科技股份有限公司 | 一种视频错播的检测方法和装置 |
| CN107211078A (zh) * | 2015-01-23 | 2017-09-26 | 瑞典爱立信有限公司 | 基于vlc的视频帧同步 |
| CN109743591A (zh) * | 2019-01-04 | 2019-05-10 | 广州虎牙信息科技有限公司 | 视频帧对齐的方法 |
| CN110070511A (zh) * | 2019-04-30 | 2019-07-30 | 北京市商汤科技开发有限公司 | 图像处理方法和装置、电子设备及存储介质 |
| CA3145380A1 (en) * | 2019-07-24 | 2021-01-28 | Biao Wang | An encoder, a decoder and corresponding methods related to intra prediction mode |
| CN110493638A (zh) * | 2019-08-20 | 2019-11-22 | 广州虎牙科技有限公司 | 视频帧对齐方法、装置、电子设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113316001A (zh) | 2021-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102425159B1 (ko) | 샘플 이미지 세트 획득 방법 및 장치 | |
| US20220188357A1 (en) | Video generating method and device | |
| CN111275653A (zh) | 图像去噪方法及装置 | |
| US20230245451A1 (en) | Background Audio Construction | |
| CN112135177B (zh) | 数据流同步方法及装置 | |
| Shi et al. | Study on subjective quality assessment of screen content images | |
| CN113949899B (zh) | 视频质量评估方法及装置 | |
| CN113316001B (zh) | 视频对齐方法及装置 | |
| Wen et al. | Subjective and objective quality assessment of mobile gaming video | |
| CN116170650A (zh) | 视频插帧方法及装置 | |
| WO2024131035A1 (zh) | 视频插帧方法及装置 | |
| CN113518214A (zh) | 全景视频数据处理方法及装置 | |
| US10764578B2 (en) | Bit rate optimization system and method | |
| CN116233534A (zh) | 视频处理方法及装置、电子设备和存储介质 | |
| Cao et al. | UNQA: Unified No-Reference Quality Assessment for Audio, Image, Video, and Audio-Visual Content | |
| Zhang et al. | SalCrop: Spatio-temporal Saliency Based Video Cropping | |
| CN110706169A (zh) | 一种明星人像优化方法、装置以及存储装置 | |
| CN114630148B (zh) | 视频处理方法及装置 | |
| US20220191522A1 (en) | Video processing method and device | |
| CN114598863A (zh) | 视频处理方法以及装置 | |
| CN115412733A (zh) | 视频处理方法及装置 | |
| CN118279780A (zh) | 图像处理方法及装置 | |
| CN113992866B (zh) | 视频制作方法及装置 | |
| JPWO2017110192A1 (ja) | 情報処理装置、情報処理方法、プログラムおよび情報処理システム | |
| CN114630147A (zh) | 视频处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |