CN106210767B - 一种智能提升运动流畅性的视频帧率上变换方法及系统 - Google Patents
一种智能提升运动流畅性的视频帧率上变换方法及系统 Download PDFInfo
- Publication number
- CN106210767B CN106210767B CN201610656968.9A CN201610656968A CN106210767B CN 106210767 B CN106210767 B CN 106210767B CN 201610656968 A CN201610656968 A CN 201610656968A CN 106210767 B CN106210767 B CN 106210767B
- Authority
- CN
- China
- Prior art keywords
- frame
- motion
- motion vector
- image
- interpolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 32
- 238000004458 analytical method Methods 0.000 claims abstract description 34
- 238000012805 post-processing Methods 0.000 claims abstract description 25
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 230000000694 effects Effects 0.000 claims abstract description 5
- 238000013441 quality evaluation Methods 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 187
- 238000001514 detection method Methods 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 10
- 230000000903 blocking effect Effects 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 9
- 239000011800 void material Substances 0.000 claims description 9
- 230000003139 buffering effect Effects 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 7
- 230000001934 delay Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims 2
- 238000012545 processing Methods 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
Abstract
本发明公开一种智能提升运动流畅性的视频帧率上变换方法及系统，所述方法包括以下步骤：步骤一，对连续的两帧原始视频图像进行预分析；步骤二，对两帧图像进行运动估计；步骤三，在两帧原始图像之间，根据估计的运动信息计算出新的内插帧；步骤四，对内插帧图像进行空洞填补、块效应滤波、图像质量评价等后处理；步骤五，综合前面四个步骤的信息判断是否用重复帧替代内插帧。在此方法基础上，提出一种智能的提升运动流畅性的视频帧率上变换系统，通过帧率上变换各个处理模块的流水控制，实现各模块信息的高复用和高并行。本发明能够在源端实现高质量的视频帧率提升，智能地提升视频运动流畅性。
Description
技术领域
本发明属于视频帧率上变换领域，具体地，涉及一种在源端智能提升运动流畅性，采用多种方法对帧率上变换各个流程上的智能融合、选择或判断的方法和系统。
背景技术
视频帧率上变换，是视频图像处理领域的基本问题，是将具有低帧率的视频通过在原始视频帧之间插入中间帧的方法得到具有高帧率的视频,中间帧也称为内插帧，其中帧率是指每秒钟显示刷新的图像数量。这种方法能够改善低帧率视频在观看时所产生的画面抖动、卡顿、物体运动不连续、运动模糊等现象。
随着互联网、移动互联网的发展，大量的视频是通过网络传输被观看的。但是，由于网络带宽对视频码率的限制，视频内容服务商所提供的视频帧率较低，如10、15、20fps(frame per second,帧每秒)，而且由于视频压缩标准的规定，视频帧率大多为24、25或30fps，这些低帧率的视频并不能很好的满足用户对于视频的体验需求。
另一方面，液晶、OLED等显示技术已经能够支持高帧率的视频播放，如60、100、120fps,甚至部分设备能够显示240fps的视频。而且为了能够使这种高帧率显示技术得以展示，少数高端液晶电视芯片已经内置了帧率上变换的硬核芯片，因此低帧率视频进入这类电视机时，运动流畅性得以改善。这种硬核芯片内置于终端显示设备，对解码后待显示的视频图像进行插帧处理后，立即显示。然而，在移动互联网的趋势下，智能手机、普通液晶显示器是主要的显示设备，昂贵复杂的帧率上变换硬核芯片无法被应用于这些设备。
因而，为了使更多的终端显示设备能够体验到高帧率的视频，需要一种在源端将视频源进行帧率上变换的方法。
传统的帧率上变换方法按照是否计算运动矢量分为两大类，其中不计算运动矢量的方法有帧重复和帧平均；而计算运动矢量的方法包含基于块的运动估计和运动补偿两个步骤。其中，运动估计用于估计图像画面中划分的各个图像块的运动矢量，运动补偿插帧则是利用这些运动矢量估计出物体在中间帧上的位置，计算出中间帧。这类方法，受限于终端显示设备的硬核芯片对于功耗、成本、面积的约束，要求算法复杂度低。因此，传统方法在运动估计性能，插帧质量上较差，而且容易出现块效应，运动模糊等问题。
经检索，公开号为CN101616279A、申请号为CN200910157917.1，该发明为了解决现有视频帧率上变换方法存在的不能很好地解决运动物体遮挡和不规则运动的情况的问题，提供了一种视频帧率上变换的方法:将待处理视频序列归类于以下类别之一:电影模式视频序列或非电影模式视频序列；将电影模式视频序列进行帧选择；对经过前一步骤处理的电影模式视频序列进行运动估计运动补偿处理；对非电影模式视频序列进行插入低频帧或插入重复帧等处理。
但是，该发明针对的是对混杂有3:2PullDown的电影信号，进行归类判断，并对电影模式视频序列进行运动估计运动补偿处理。而本发明是对一般的电影、电视信号，根据画面内容的重复性、一致性进行智能的运动补偿插针处理。
另经检索，公开号为CN102665061 A、申请号为CN 201210128996的专利，公开了一种基于运动矢量处理的帧率上转换方法及其装置，其中，该方法包括：对输入的原始视频序列进行场景检测，检测当前是否有场景变换发生；若检测到场景变换发生时，则采用内插方式对所述原始视频序列进行处理并获得处理后的数据；若未检测到场景变换发生时，则采用外推方式对所述原始视频序列进行处理并获得处理后的数据；采用对称运动估计对处理后的数据进行计算，获得初始运动矢量场；对所述初始运动矢量场的运动矢量进行运动矢量处理获得新运动矢量场；对所述新运动矢量场的运动矢量进行自适应运动补偿处理，获得待插帧。实施本发明实施例的方法及装置，可以降低计算复杂度与运动估计的复杂度，能提高内插帧的质量，满足实时应用的要求。
该方法判断场景变换的方法是采用帧差法检测场景变换，根据统计绝对差值和SAD超过特定阀值的块的个数判断是否有场景变换发生。它对于场景内容基本不变，但是物体运动较大的视频，容易判断出错，插帧质量不佳。
而且，上述的两项发明专利，在运动估计、运动补偿的方法上，都较为单一。如，运动估计只是采用块运动估计方法，补偿插帧只是利用两原始参考帧之间的运动矢量。而且它们还缺乏对插帧图像的后处理、以及质量判断等手段，使得它们对于的插帧结果没有很好的监控能力。
发明内容
针对现有技术中的缺陷以及其应用的局限性，本发明的目的是提供一种智能提升运动流畅性的视频帧率上变换方法和系统，能够在源端实现低帧率视频转换为高帧率视频，提升画面物体运动流畅性。
根据本发明的第一方面，提供一种智能提升运动流畅性的视频帧率上变换方法，该方法对采集的视频在源端实现帧率上变换，并通过后续的编码、解码、显示，提升视频运动流畅性，改善视频观看体验。
具体地，所述方法包括如下步骤：
步骤一，对连续的两帧原始视频图像进行预分析，所述预分析指的是重复帧检测、内容一致性检测；
步骤二，对分析结果具有内容一致性的两帧图像进行运动估计，得到物体的运动信息，所述智能运动估计指的是采用多种方式进行运动估计和分析，它们包括特征点运动估计、块匹配运动估计、光流运动估计、多源运动矢量场融合、全局运动矢量分析、前景物体运动分析；
步骤三，在两帧原始视频图像之间，根据步骤二的运动信息计算出新的内插帧图像，所述计算出新的内插帧图像包括利用多场运动矢量场插值，并同时计算出每场内插帧的像素可靠度，通过可靠度将这多场内插帧加权融合到一起；
步骤四，对内插帧图像进行空洞填补和块效应滤波操作，并对插帧质量进行评价；
步骤五，根据上述四个步骤的结果，判断是否用重复帧取代内插帧。
优选地，步骤一中：所述预分析包含重复帧检测和内容一致性检测，即判断两幅参考帧是否是逐像素相等的，以及它们是否属于同一场景下的采集画面。为了提高计算速度，在不影响检测效果前提下，可以对图像空间分辨率降采样后再检测重复性和内容一致性。
更优选地，所述重复帧检测，可以检测两帧图像的亮度通道是否完全相同，或者亮度和颜色通道是否完全相同。
更优选地，所述内容一致性检测，比较两帧图像的直方图的相似度，具体地，设定像素灰度分类数BinNum，对统计得到的维度为BinNum的直方图向量H1和H2，各自进行归一化后，计算向量的夹角，根据设定的夹角阈值HistThreshold，如果夹角大于HistThreshold，认为内容不一致；否则，内容一致。
优选地，步骤二中，所述特征点是指通过特征检测算子，如SIFT、SURF、HOG等提取出来的。特征点运动估计是指将两帧图像中的相似特征点，进行匹配，并根据相似特征点的空间位置相对偏移，计算出特征点的运动矢量。
优选地，步骤二中，所述块匹配运动估计，是指将视频图像规则划分为NxN的图像块，并利用时间和空间上相邻块的运动矢量作为当前块的候选运动矢量，并从中挑选出最优运动矢量作为当前块的最终运动矢量。最优准则是候选运动矢量对应的候选块与当前块的差值最小。
优选地，步骤二中，所述光流运动估计，是指利用两帧图像亮度恒常性、梯度恒常性，和矢量场平滑约束，从图像缩放尺度上由粗到细的计算出图像的逐像素运动矢量场。
优选地，步骤二中，所述多源运动矢量场智能融合，是指将特征点运动估计、块匹配运动估计和光流运动估计三种不同的运动矢量场融合成为单一的矢量场。融合方式是，以块运动估计为基础，将特征点的运动矢量和光流运动矢量作为候选运动矢量，按照候选块相对于当前块误差最小为准则选择最优矢量。
优选地，步骤二中，所述全局运动矢量分析是指统计出融合的运动矢量场中出现频次最高的运动矢量，作为全局运动矢量，并描述该全局运动矢量在图像中的全局性强度。全局性强度是指与全局运动矢量差异小于GlobalVecThreshold的运动矢量占所有运动矢量的比例。
优选地，步骤二中，所述前景物体运动分析是指统计出融合的运动矢量场中出现频次第二高的运动矢量，作为前景物体运动矢量，并描述该前景运动矢量在图像中的前景性强度。前景性强度是指与前景运动矢量差异小于ForegroundVecThreshold的运动矢量占所有运动矢量的比例。
优选地，步骤三中，所述多场运动矢量场插帧，是利用多组运动矢量场进行内插，得到多幅内插帧。多组运动矢量场分别是：前向参考帧的前向运动矢量场和后向运动矢量场，后向参考帧的前向运动矢量场和后向运动矢量场。
优选地，步骤三中，所述内插帧可靠度度量利用的是运动矢量的块匹配误差，和运动矢量的平滑性计算得到。运动矢量的块匹配误差是运动矢量对应的图像块与当前块的差值的绝对值之和。运动矢量的平滑性是运动矢量与块周围各个运动矢量的差异之和。匹配误差与矢量差异越大，则该矢量所内插的得到像素可靠度越低；反之越高。
优选地，步骤三中，所述多内插帧融合，是指利用每幅内插帧的像素可靠度，然后根据它们的可靠度将多幅内插帧加权融合成为一幅内插帧。
优选地，步骤四中，所述对内插帧图像进行空洞填补，是指对于插值留下的空洞像素，取其空域临近的非空洞像素和非空洞像素的运动矢量所对应的时域参考帧像素，加权融合填补。
优选地，步骤四中，所述自适应去块滤波，是指仅对多幅内插帧同时出现插值空洞的位置，检测是否有块效应，如果有，则计算块效应强度，根据块效应强度对该位置进行滤波处理。
优选地，步骤四中，所述内插帧质量评价是指对内插帧的自然统计特性与前后参考帧的自然统计特性的相似度。自然统计特性是指图像梯度的统计直方图，该直方图以一个自然统计特性矢量形式表达S_Vec，矢量的维数为直方图分类数BinNum。相似度则是内插帧自然统计特性矢量S_Vec1，前后参考帧的S_Vec2和S_Vec3，计算S_Vec1相对于S_Vec2、S_Vec3的内积之和，该值越大则质量越高，否则越低。
所述步骤五中，判断是否使用重复帧替换内插帧，是根据步骤一到步骤四各部分判决结果进行综合判断的。各部分判决情况包含：参考帧是否重复帧、参考帧内容场景是否不一致、特征点是否太少、全局运动矢量是否过大或者过小、前景运动矢量的前景性强度是否太低、插帧可靠度是否太低、空洞是否过大、插帧质量是否较差，一旦这些情况中出现，则使用重复帧代替内插帧。
根据本发明的第二方面，提供一种用于实现上述方法的智能提升运动流畅性的视频帧率上变换系统，包括：
图像读取模块，用于顺序读取视频中的图像；
帧缓冲模块，用于缓存待插帧附近前后的多帧图像；
图像预分析与帧间运动估计模块，用于评估连续的两帧的图像内容，并根据评估结果决定是否对这两帧图像进行运动估计，以及完成运动估计；
运动矢量缓冲模块，用于缓存待插帧附近前后的多场运动矢量；
运动补偿插帧与后处理模块，用于计算内插帧和对内插帧进行后处理；
内插帧缓冲模块，用于缓存内插帧图像；
信息综合评估与帧重复替换判决模块，用于综合图像预分析与帧间运动估计模块、运动补偿插帧与后处理模块的信息，决定是否采用帧重复替换内插帧；
图像输出与编码模块，用于对原始图像和内插帧图像编码；
流水控制模块，用于对图像读取模块、图像预分析与帧间运动估计模块、运动补偿插帧与后处理模块、图像输出与编码模块进行流水控制，使图像帧、矢量场实现高复用和高并行。
优选地，所述的图像预分析与帧间运动运动估计模块相对于图像读取模块延时一帧。
优选地，所述的运动补偿插帧与后处理模块相对于图像预分析与帧间运动估计模块延时一帧。
优选地，所述的图像输出与编码模块相对于运动补偿插帧与后处理模块延时一帧。
与现有技术相比，本发明具有如下的有益效果：
本发明所采用的预处理中的内容一致性判断，采用了直方图统计特性的相似性判断画面内容是否一致，该方法相对于判断SAD较大的块的个数方法，准确性更高；采用更为多元的运动矢量估计，并有效地将它们综合起来，显著地提高了运动估计的准确性；所采用的4场运动矢量场(包含了前向参考帧的前向运动矢量场和后向运动矢量场，后向参考帧的前向运动矢量场和后向运动矢量场)，而非传统的一场或两场运动矢量，插值结果更为稳健；所采用的内插帧后处理和质量评价，有效地保证了插帧质量，以防出较差的插值结果。
综上所述，本发明通过帧率上变换各个处理模块的流水控制，实现各模块信息的高复用和高并行，能够在源端实现高质量的视频帧率提升，智能地提升视频运动流畅性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是本发明一实施例的视频帧率上变换方法框图；
图2是本发明基于块的运动估计方法候选块示意图；
图3是本发明多源运动矢量插帧的所需的运动矢量场示意图；
图4是本发明一实施例的视频帧率上变换系统结构框图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
如图1所示，一种智能提升运动流畅性的视频帧率上变换方法，包括如下步骤：
步骤一：对采集的视频图像进行预分析；在不影响检测效果前提下，即对图像空间分辨率Scale倍降采样后再检测重复性和内容一致性。在本实施例中，Scale取值为4。
A.重复帧检测：取两帧图像作逐像素差值处理，如果所有的像素差值的绝对值之和为0，则认为两参考帧为重复帧。
B.内容一致性检测：设定像素灰度分类数BinNum，对统计得到的维度为BinNum的直方图向量H1和H2，各自进行归一化后，计算向量的夹角Degree，根据设定的夹角阈值HistThreshold，如果Degree>HistThreshold,认为内容不一致；否则，内容一致。本实施例中BinNum＝32，设定的阈值HistThreshold＝10°。
步骤二：运动估计；
C.特征点运动估计：本实施例采用SURF特征检测算子，提取两幅参考帧的特征点和特征描述矢量。以其中一幅图像的特征点为查询点，在另一幅图像中寻找与其特征描述矢量最相似的特征点，该命中的特征点的空间坐标相对于查询点的空间坐标偏移即为该特征点的运动矢量。统计特征点个数，判断其数量是否太少的阈值为FeatureThreshold＝100。
D.块匹配运动估计：如图2所示，将图像规则划分为NxN的图像块，并利用时间和空间上相邻块的运动矢量作为当前块的候选运动矢量，并从中挑选出最优运动矢量作为当前块的最终运动矢量。最优准则是候选运动矢量对应的候选块与当前块的差值最小。本实例中，N＝4。相邻的候选块共有三个：空间上相邻的左边候选块，空间上相邻的上面候选块，以及前一帧中同一位置的候选块。
E.光流运动估计：利用两帧图像亮度恒常性、梯度恒常性，和矢量场平滑约束，精度上由粗到细的计算出图像的逐像素运动矢量场。
F.多源运动矢量场智能融合:以块运动估计为基础，将特征点的运动矢量和光流运动矢量作为候选运动矢量，按照候选块相对于当前块误差最小为准则选择最优矢量。
G.全局运动矢量分析:统计出融合的运动矢量场中出现频次最高的运动矢量，作为全局运动矢量，并描述该全局运动矢量在图像中的全局性强度。全局性强度是指与全局运动矢量差异小于GlobalVecThreshold的运动矢量占所有运动矢量的比例。本实施例中GlobalVecThreshold＝50％。判断全局运动矢量过小的阈值为GlobalVecLow，本实施例中GlobalVecLow＝5。判断全局运动矢量过小的阈值为GlobalVecHigh，本实施例中GlobalVecLow＝200。
H.前景物体运动分析：统计出融合的运动矢量场中出现频次第二高的运动矢量，作为前景物体运动矢量，并描述该前景运动矢量在图像中的前景性强度。前景性强度是指与前景运动矢量差异小于ForegroundVecThreshold的运动矢量占所有运动矢量的比例。
步骤三：在原始帧之间进行运动补偿插帧；
I.多运动矢量场插帧:利用多组运动矢量场进行内插，得到多幅内插帧。如图3所示，多组运动矢量场分别是：前向参考帧的前向运动矢量场V2和后向运动矢量场V1，后向参考帧的前向运动矢量场V4和后向运动矢量场V3。
J.内插帧可靠度度量：利用运动矢量的块匹配误差和运动矢量的平滑性计算得到，取值范围为[0,1]。运动矢量的块匹配误差是运动矢量对应的图像块与当前块的差值的绝对值之和。运动矢量的平滑性是运动矢量与块周围各个运动矢量的差异之和。匹配误差与矢量差异越大，则该矢量所内插的得到像素可靠度越低；反之越高。本实施例中，计算整帧图像的可靠度，是取每一个像素的可靠度的平均值。插帧图像的可靠度是否太低的阈值为FrameReliaThreshold＝0.5。
K.多内插帧融合：利用每幅内插帧的像素可靠度，然后根据它们的可靠度将多幅内插帧加权融合成为一幅内插帧。
步骤四：对内插帧进行后处理；
L.时空域自适应空洞填补：对于插值留下的空洞像素，取其空域临近的非空洞像素和非空洞像素的运动矢量所对应的时域参考帧像素，加权融合填补。本实施例中，统计内插帧的空洞占整幅图像的比例，判断空洞是否过大的阈值为HoleThreshold＝1％。
M.自适应去块滤波：对多源内插帧同时出现插值空洞的位置，检测是否有块效应，如果有，则计算块效应强度，根据块效应强度对该位置进行滤波处理。
N.内插帧质量评价：对内插帧的自然统计特性与前后参考帧的自然统计特性的相似度。自然统计特性是指图像梯度的统计直方图，该直方图以一个矢量形式表示，维数为直方图分类数BinNum。相似度则是内插帧自然统计特性矢量S_Vec1，前后参考帧的S_Vec2和S_Vec3，计算矢量内积，该值越大则质量越高，否则越低。本实施例中BinNum＝256。内插帧质量阈值为QualityThreshold＝0.9。
步骤五：判断是否使用重复帧替换内插帧：根据步骤一到步骤四各部分判决结果进行综合判断的。各部分判决情况包含：参考帧是否重复帧、参考帧内容场景是否不一致、特征点是否太少、全局运动矢量是否过大或者过小、前景运动矢量的前景性强度是否太低、插帧可靠度是否太低、空洞是否过大、插帧质量是否较差，一旦这些情况中出现，则使用重复帧代替内插帧。
如图4所示，一种用于实现上述方法的智能提升运动流畅性的视频帧率上变换系统，所述系统应用于视频采集源端，包括：
图像读取模块：用于顺序读取视频中的图像，存入帧缓冲区。
帧缓冲模块：耦接于图像预分析与帧间运动估计模块以及运动补偿插帧与后处理模块，用于缓存待插帧附近前后的多帧原始图像；
图像预分析与帧间运动估计模块：耦接于图像读取模块之后，用于评估连续的两帧的图像内容，并根据评估结果决定是否需要对这两帧图像进行运动估计，如果需要，则完成运动估计；
运动矢量缓冲模块：耦接于帧间运动估计模块，用于缓存待插帧附近前后的多场运动矢量；
运动补偿插帧与后处理模块：耦接于帧间运动估计模块之后，用于计算内插帧、内插帧可靠度和对内插帧进行后处理；
内插帧缓冲模块：耦接于运动补偿插帧之后，用于缓存内插帧图像；
信息综合评估与帧重复替换判决模块：耦接于图像预分析与帧间运动估计模块、运动补偿插帧与后处理模块，用于综合图像预分析与帧间运动估计模块、运动补偿插帧与后处理模块的信息，决定是否采用帧重复替换内插帧；
图像输出与编码模块：耦接于运动补偿插帧与后处理模块、信息综合评估与帧重复替换判决模块，用于对原始图像和选择的内插帧图像编码；
流水控制模块，用于对图像读取模块、图像预分析与帧间运动估计模块、运动补偿插帧与后处理模块、图像输出与编码模块进行流水控制，使图像帧、矢量场实现高复用和高并行。
本发明智能提升运动流畅性的视频帧率上变换系统的各个模块具体实现的技术，参照上述方法对应步骤，这对于本领域技术人员是很好理解和实现的，在此不再赘述。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
Claims (9)
1.一种智能提升运动流畅性的视频帧率上变换方法，其特征在于，包括如下步骤：
步骤一，对连续的两帧原始视频图像进行预分析，所述预分析指的是重复帧检测、内容一致性检测；
步骤二，对分析结果具有内容一致性的两帧图像进行运动估计，得到物体的运动信息，所述运动估计指的是采用多种方式进行运动估计和分析，它们包括特征点运动估计、块匹配运动估计、光流运动估计、多源运动矢量场融合、全局运动矢量分析、前景物体运动分析；
步骤三，在两帧原始视频图像之间，根据步骤二的运动信息计算出新的内插帧图像，所述计算出新的内插帧图像包括利用多场运动矢量场插值，并同时计算出每场内插帧的像素可靠度，通过可靠度将这多场内插帧加权融合到一起；
步骤四，对内插帧图像进行空洞填补和块效应滤波操作，并对插帧质量进行评价；
步骤五，根据上述四个步骤的结果，判断是否用重复帧取代内插帧；
所述判断是否使用重复帧替换内插帧，是根据步骤一到步骤四各部分判决结果进行综合判断的，各部分判决情况包含：参考帧是否重复帧、参考帧内容场景是否不一致、特征点是否太少、全局运动矢量是否过大或者过小、前景运动矢量的前景性强度是否太低、插帧可靠度是否太低、空洞是否过大、插帧质量是否差，一旦这些情况中出现，则使用重复帧代替内插帧。
2.根据权利要求1所述的视频帧率上变换方法，其特征在于，步骤三中，通过进行多场运动矢量场插帧、内插帧可靠度度量、多内插帧融合，得到内插帧图像。
3.根据权利要求2所述的视频帧率上变换方法，其特征在于：
所述多场运动矢量场插值，是利用时域上临近的多组运动矢量场进行内插，得到多幅内插帧；多组运动矢量场分别是：前向参考帧的前向运动矢量场和后向运动矢量场，后向参考帧的前向运动矢量场和后向运动矢量场；
所述内插帧可靠度度量，利用运动矢量的块匹配误差和运动矢量的平滑性计算得到；运动矢量的块匹配误差是运动矢量对应的图像块与当前块的差值的绝对值之和，运动矢量的平滑性是运动矢量与块周围各个运动矢量的差异之和，匹配误差与矢量差异越大，则该矢量所内插的得到像素可靠度越低；反之越高；
所述多内插帧融合，是指利用每幅内插帧的像素可靠度，然后根据它们的可靠度将多幅内插帧融合成为一幅内插帧。
4.根据权利要求1所述的视频帧率上变换方法，其特征在于：
所述对内插帧图像进行空洞填补，是指对于插值留下的空洞像素，取其空域临近的非空洞像素和非空洞像素的运动矢量所对应的时域参考帧像素，加权填补；
自适应去块滤波，是指仅对多源内插帧同时出现插值空洞的位置，检测是否有块效应，如果有，则计算块效应强度，根据块效应强度对该位置进行滤波处理；
内插帧质量评价，是指对内插帧的自然统计特性与前后参考帧的自然统计特性的相似度。
5.根据权利要求1-4任一项所述的视频帧率上变换方法，其特征在于：步骤一中：
所述重复帧检测，是指检测两帧图像的亮度通道是否完全相同，或者亮度和颜色通道是否完全相同；
所述内容一致性检测，比较两帧图像的直方图的相似度。
6.根据权利要求5所述的视频帧率上变换方法，其特征在于：所述内容一致性检测，是指：设定像素灰度分类数BinNum，对统计得到的维度为BinNum的直方图向量H1和H2，各自进行归一化后，计算向量的夹角，根据设定的夹角阈值HistThreshold，如果夹角大于HistThreshold，认为内容不一致；否则，内容一致。
7.根据权利要求1-4任一项所述的视频帧率上变换方法，其特征在于：步骤二中：
所述特征点运动估计是指将两帧图像中的相似特征点，进行匹配，并根据相似特征点的空间位置相对偏移，计算出特征点的运动矢量；
所述块匹配运动估计，是指将视频图像规则划分为NxN的图像块，并利用时间和空间上相邻块的运动矢量作为当前块的候选运动矢量，从中挑选出最优运动矢量作为当前块的最终运动矢量；
所述光流运动估计，是指利用两帧图像亮度恒常性、梯度恒常性，和矢量场平滑约束，从图像缩放尺度上由粗到细的计算出图像的逐像素运动矢量场；
所述多源运动矢量场智能融合，是指将特征点运动估计、块匹配运动估计和光流运动估计三种不同的运动矢量场融合成为单一的矢量场；
所述全局运动矢量分析是指统计出融合的运动矢量场中出现频次最高的运动矢量，并描述该全局运动矢量在图像中的全局性强度；
所述前景物体运动分析是指统计出融合的运动矢量场中出现频次第二高的运动矢量，并描述该前景运动矢量在图像中的前景性强度。
8.一种用于实现上述权利要求1-7任一项所述方法的智能提升运动流畅性的视频帧率上变换系统，其特征在于包括：
图像读取模块，用于顺序读取视频中的图像；
帧缓冲模块，用于缓存待插帧附近前后的多帧图像；
图像预分析与帧间运动估计模块，用于评估连续的两帧的图像内容，并根据评估结果决定是否对这两帧图像进行运动估计，以及完成运动估计；
运动矢量缓冲模块，用于缓存待插帧附近前后的多场运动矢量；
运动补偿插帧与后处理模块，用于计算内插帧和对内插帧进行后处理；
内插帧缓冲模块，用于缓存内插帧图像；
信息综合评估与帧重复替换判决模块，用于综合图像预分析与帧间运动估计模块、运动补偿插帧与后处理模块的信息，决定是否采用帧重复替换内插帧；
图像输出与编码模块，用于对原始图像和内插帧图像编码；
流水控制模块，用于对图像读取模块、图像预分析与帧间运动估计模块、运动补偿插帧与后处理模块、图像输出与编码模块进行流水控制，使图像帧、矢量场实现高复用和高并行。
9.根据权利要求8所述的智能提升运动流畅性的视频帧率上变换系统，其特征在于：
所述的图像预分析与帧间运动运动估计模块相对于图像读取模块延时一帧；
所述的运动补偿插帧与后处理模块相对于图像预分析与帧间运动估计模块延时一帧；
所述的图像输出与编码模块相对于运动补偿插帧与后处理模块延时一帧。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610656968.9A CN106210767B (zh) | 2016-08-11 | 2016-08-11 | 一种智能提升运动流畅性的视频帧率上变换方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610656968.9A CN106210767B (zh) | 2016-08-11 | 2016-08-11 | 一种智能提升运动流畅性的视频帧率上变换方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106210767A CN106210767A (zh) | 2016-12-07 |
| CN106210767B true CN106210767B (zh) | 2020-01-07 |
Family
ID=57514148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610656968.9A Active CN106210767B (zh) | 2016-08-11 | 2016-08-11 | 一种智能提升运动流畅性的视频帧率上变换方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106210767B (zh) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108574844B (zh) * | 2017-03-13 | 2021-09-28 | 信阳师范学院 | 一种时空显著感知的多策略视频帧率提升方法 |
| CN107172426B (zh) * | 2017-06-23 | 2019-10-11 | 西安电子科技大学 | 基于双MIC的OpenCL并行帧率上转换方法 |
| CN107277462A (zh) * | 2017-07-31 | 2017-10-20 | 西安中飞航空测试技术发展有限公司 | 高分辨率机载视频采集结构 |
| CN107613299A (zh) * | 2017-09-29 | 2018-01-19 | 杭州电子科技大学 | 一种利用生成网络提高帧速率上转换效果的方法 |
| CN107945124B (zh) * | 2017-11-17 | 2021-12-03 | 上海大学 | 一种运动路径指引的老电影黑帧修复方法 |
| CN110913260B (zh) * | 2018-09-18 | 2023-07-14 | 阿里巴巴（中国）有限公司 | 显示控制方法、显示控制装置和电子设备 |
| CN111277815A (zh) * | 2018-12-04 | 2020-06-12 | 阿里巴巴集团控股有限公司 | 一种插帧质量评估方法和装置 |
| CN109803175B (zh) * | 2019-03-12 | 2021-03-26 | 京东方科技集团股份有限公司 | 视频处理方法及装置、设备、存储介质 |
| CN111836117B (zh) * | 2019-04-15 | 2022-08-09 | 深信服科技股份有限公司 | 一种补帧数据的发送方法、装置及相关组件 |
| CN110135352B (zh) * | 2019-05-16 | 2023-05-12 | 南京砺剑光电技术研究院有限公司 | 一种基于深度学习的战术动作评估方法 |
| US11403979B2 (en) * | 2019-06-20 | 2022-08-02 | Apple Inc. | Dynamic persistence for judder reduction |
| CN110446107B (zh) * | 2019-08-15 | 2020-06-23 | 电子科技大学 | 一种适用于缩放运动和明暗变化的视频帧率上变换方法 |
| CN110675371A (zh) * | 2019-09-05 | 2020-01-10 | 北京达佳互联信息技术有限公司 | 一种场景切换的检测方法、装置、电子设备及存储介质 |
| CN112584232A (zh) * | 2019-09-30 | 2021-03-30 | 北京金山云网络技术有限公司 | 视频插帧方法、装置及服务器 |
| CN110830848B (zh) * | 2019-11-04 | 2021-12-07 | 上海眼控科技股份有限公司 | 图像插值方法、装置、计算机设备和存储介质 |
| CN111083417B (zh) * | 2019-12-10 | 2021-10-19 | Oppo广东移动通信有限公司 | 图像处理方法及相关产品 |
| CN111263193B (zh) * | 2020-01-21 | 2022-06-17 | 北京世纪好未来教育科技有限公司 | 视频帧上下采样方法及装置、视频直播方法及系统 |
| CN111447488B (zh) * | 2020-04-01 | 2022-08-26 | 青岛海信传媒网络技术有限公司 | 一种memc控制方法及显示设备 |
| CN111586409B (zh) * | 2020-05-14 | 2022-06-10 | Oppo广东移动通信有限公司 | 插值帧的生成方法、装置、电子设备和存储介质 |
| CN111641829B (zh) * | 2020-05-16 | 2022-07-22 | Oppo广东移动通信有限公司 | 视频处理方法及装置、系统、存储介质和电子设备 |
| CN113949930B (zh) * | 2020-07-17 | 2024-03-12 | 晶晨半导体(上海)股份有限公司 | 选取参考帧的方法、电子设备和存储介质 |
| CN112053313B (zh) * | 2020-08-31 | 2022-12-06 | 西安工业大学 | 异源图像融合的夜视抗晕光视频处理方法 |
| CN112055249B (zh) * | 2020-09-17 | 2022-07-08 | 京东方科技集团股份有限公司 | 一种视频插帧方法及装置 |
| CN112767310B (zh) * | 2020-12-31 | 2024-03-22 | 咪咕视讯科技有限公司 | 一种视频质量评价方法、装置及设备 |
| CN113160277A (zh) * | 2021-01-29 | 2021-07-23 | 北京小米松果电子有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN114554285A (zh) * | 2022-02-25 | 2022-05-27 | 京东方科技集团股份有限公司 | 视频插帧处理方法、视频插帧处理装置和可读存储介质 |
| US12010456B2 (en) | 2022-04-06 | 2024-06-11 | Mediatek Inc. | Method for performing frame interpolation based on single-directional motion and associated non-transitory machine-readable medium |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101309356A (zh) * | 2007-05-16 | 2008-11-19 | 奇景光电股份有限公司 | 用于帧率升频转换的装置及方法 |
| CN102685438A (zh) * | 2012-05-08 | 2012-09-19 | 清华大学 | 一种基于时域演变的视频帧率上转换方法 |
| CN103220488A (zh) * | 2013-04-18 | 2013-07-24 | 北京大学 | 一种视频帧率上转换装置及方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9258519B2 (en) * | 2005-09-27 | 2016-02-09 | Qualcomm Incorporated | Encoder assisted frame rate up conversion using various motion models |
| EP2577959A1 (en) * | 2010-05-26 | 2013-04-10 | Qualcomm Incorporated | Camera parameter- assisted video frame rate up conversion |
-
2016
- 2016-08-11 CN CN201610656968.9A patent/CN106210767B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101309356A (zh) * | 2007-05-16 | 2008-11-19 | 奇景光电股份有限公司 | 用于帧率升频转换的装置及方法 |
| CN102685438A (zh) * | 2012-05-08 | 2012-09-19 | 清华大学 | 一种基于时域演变的视频帧率上转换方法 |
| CN103220488A (zh) * | 2013-04-18 | 2013-07-24 | 北京大学 | 一种视频帧率上转换装置及方法 |
Non-Patent Citations (3)
| Title |
|---|
| Frame Rate Up-Conversion Using Linear Quadratic;yong guo,li chen ,zhiyong gao, xiaoyun zhang;《journal of display technology》;20160131;正文 * |
| 基于稠密矢量场及自适应补偿的帧率上变换;刘梦可，周军，高志勇，陈立;《电视技术》;20150701;正文 * |
| 基于运动连续性的帧率上变换算法;李珂，高志勇，陈立;《电视技术》;20130710;正文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106210767A (zh) | 2016-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106210767B (zh) | 一种智能提升运动流畅性的视频帧率上变换方法及系统 | |
| CN114584849B (zh) | 视频质量评估方法、装置、电子设备及计算机存储介质 | |
| Vu et al. | ViS 3: An algorithm for video quality assessment via analysis of spatial and spatiotemporal slices | |
| KR100530223B1 (ko) | 프레임 레이트 변환시의 프레임 보간 방법 및 그 장치 | |
| US9148622B2 (en) | Halo reduction in frame-rate-conversion using hybrid bi-directional motion vectors for occlusion/disocclusion detection | |
| US11093788B2 (en) | Scene change detection | |
| US20160094803A1 (en) | Content adaptive telecine and interlace reverser | |
| US20100177239A1 (en) | Method of and apparatus for frame rate conversion | |
| CN102572502A (zh) | 一种用于视频质量评价的关键帧的选取方法 | |
| Lu et al. | Motion-compensated frame interpolation with multiframe-based occlusion handling | |
| Heinrich et al. | Optimization of hierarchical 3DRS motion estimators for picture rate conversion | |
| Ghadiyaram et al. | A no-reference video quality predictor for compression and scaling artifacts | |
| CN103929648A (zh) | 一种帧率上采样中的运动估计方法和装置 | |
| US20080165278A1 (en) | Human visual system based motion detection/estimation for video deinterlacing | |
| Zhang et al. | Enhancing VMAF through new feature integration and model combination | |
| Li et al. | Multi-channel mixed-pattern based frame rate up-conversion using spatio-temporal motion vector refinement and dual-weighted overlapped block motion compensation | |
| Nur Yilmaz | A no reference depth perception assessment metric for 3D video | |
| CN108830146A (zh) | 一种基于滑动窗口的非压缩域镜头边界检测方法 | |
| Grbić et al. | Real-time video freezing detection for 4K UHD videos | |
| Wang et al. | Spatio-temporal ssim index for video quality assessment | |
| Wang et al. | A fast block-based motion compensation video frame interpolation | |
| Akramullah et al. | Video quality metrics | |
| Banerjee | Low-power content-based video acquisition for super-resolution enhancement | |
| Lee et al. | Fast one-pass motion compensated frame interpolation in high-definition video processing | |
| Ben Amor et al. | A no reference quality metric to measure the blocking artefacts for video sequences |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |