CN106101716B - 一种视频帧率上变换方法 - Google Patents

一种视频帧率上变换方法 Download PDF

Info

Publication number
CN106101716B
CN106101716B CN201610541388.5A CN201610541388A CN106101716B CN 106101716 B CN106101716 B CN 106101716B CN 201610541388 A CN201610541388 A CN 201610541388A CN 106101716 B CN106101716 B CN 106101716B
Authority
CN
China
Prior art keywords
intermediate frame
motion vector
vector
frame
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610541388.5A
Other languages
English (en)
Other versions
CN106101716A (zh
Inventor
杨长水
陈瑞
贾惠柱
解晓东
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201610541388.5A priority Critical patent/CN106101716B/zh
Publication of CN106101716A publication Critical patent/CN106101716A/zh
Application granted granted Critical
Publication of CN106101716B publication Critical patent/CN106101716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

本发明提供一种视频帧率上变换方法，包括：单向运动估计步骤，得到前向中间帧和后向中间帧；中间帧结合步骤，将所述前向中间帧和所述后向中间帧相结合，得到初步中间帧；以及双向运动估计步骤，对所述初步中间帧上的空洞进行消除，得到最终中间帧。根据本发明可以准确的判断图像视频中的运动信息，能够针对运动物体边缘产生的锯齿现象进行准确的图像修复，从而达到帧率提升的目的。

Description

一种视频帧率上变换方法
技术领域
本发明属于视频图像处理技术领域，特别是涉及一种视频帧率上变换方法。
背景技术
为了获得更好的视觉质量，许多帧率提升算法被提出用于解决视频的低帧率问题。有研究者提出一种增强视频帧率提升技术的算法，这种算法主要解决了两种挑战性情况：突然的光亮变化和低帧率。另有研究者提出了一种帧率提升的方法，使用判别式和图像分割。这种方法首先利用判别式分类器确定运动领域中哪个区域对于人类观察者来说是最重要的，然后他们在不同区域进行不同的操作。为了实现帧率提升的可变块运动估计，有研究者使用双向轨迹进行追踪。另有研究者提出了一种重叠块运动估计和运动向量平滑算法来估算运动补偿插帧。此外，还有研究者提出了一个用三边滤波器来储存空洞和插值帧中不存在的像素。大多数以前的运动补偿插帧方法是使用复杂的后处理，是因为它们的运动估计并不强大。但是，运动伪影仍然出现在插值帧中。
发明内容
针对上述问题，本发明运用了一种结合了单向运动估计和双向运动估计方法的视频帧率上变换方法，包括：单向运动估计步骤，得到前向中间帧和后向中间帧；中间帧结合步骤，将所述前向中间帧和所述后向中间帧相结合，得到初步中间帧；以及双向运动估计步骤，对所述初步中间帧上的空洞进行消除，得到最终中间帧。
其中，所述单向运动估计步骤，包括匹配块运动矢量获取步骤：获取粗略的前向和后向的运动矢量场；以及扩大当前匹配块尺寸作为参考帧，在参考帧的区域里重新获取前向和后向的运动矢，将得到的运动矢量作为当前匹配块运动矢量。
优选为，所述单向运动估计步骤还包括运动矢量修正步骤，具体包括如下步骤：计算每个矢量的出现次数；通过以下公式得到出现次数的最大值Nmax；以及将最大值和当前匹配块矢量的出现次数作对比，如果Nmax和当前匹配块矢量的出现次数间的差值比阈值大，则将当前块的原始运动矢量作为当前的块运动矢量，如果Nmax和N5间的差值比阈值小，则用出现次数最多的矢量代替当前块的原始矢量。
其中，假设匹配块的大小为3×3则，通过以下公式得到所述Nmax
Nmax＝MAX{N1,N2,N3,N4,N5,N6,N7,N8,N9}。
优选为，通过以下公式得到前向中间帧，
优选为，根据以下公式得到后向中间帧，
优选为，通过以下公式将所述前向中间帧和所述后向中间帧相结合，
优选为，所述双向运动估计步骤包括：计算空洞块及周围临近块的矢量；
通过所述运动矢量修正步骤得到空洞块修正后运动矢量；以及将所述修正后的运动矢量代入所述空洞块中，得到最终中间帧。
优选为，所述扩大当前匹配块尺寸为将当前匹配块的长度和宽度扩大两倍。
根据本发明可以准确的判断图像视频中的运动信息，能够针对运动物体边缘产生的锯齿现象进行准确的图像修复，从而达到帧率提升的目的。
附图说明
图1是视频帧率上变换方法的流程图。
图2是单向运动估计步骤的子流程图。
图3是运动矢量修正步骤的子流程图。
图4是运动矢量修正的示意图。
图5是双向运动估计步骤的子流程图。
图6是空洞块和其周围块的矢量的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，本发明的视频帧率上变换方法包括以下三个步骤：
在单向运动估计步骤S1中，得到前向中间帧和后向中间帧。
具体地，如图2所示，包括获取匹配块运动矢量(步骤S11)。首先，通过传统的单向运动估计方法获得粗略的前向和后向的运动矢量场。但是，由于这些矢量有可能是错误的矢量，因此上述粗略的运动矢量不能直接插入中间帧。为了解决这个问题，本发明将原始匹配块的尺寸进行扩大，将扩大后的区域作为参考帧。优选为，将原始匹配块的长度和宽度扩大两倍，例如，若原始的匹配块面积是8×8，则通常将它扩展为16×16。接下来，在参考帧区域里重新运行传统的单向运动估计方法，取得前向和后向的运动矢量。然后，将得到运动矢量作为当前匹配块运动矢量。
进一步地，为了得到更准确的运动矢量场，还包括运动矢量修正步骤(S12)。如图3所示，具体地包括如下步骤：
首先，在步骤S121中，计算每个矢量的出现次数，如图4所示。
然后，在步骤S122中，得到出现最多的次数Nmax。在本实施例中假设匹配块的大小是3×3。则由公式(1)得到出现最多的次数Nmax。
Nmax＝MAX{N1,N2,N3,N4,N5,N6,N7,N8,N9} (1)
然后，将最大值Nmax和当前匹配块矢量的出现次数N5作对比。如果Nmax与N5之差比阈值大，则以当前块的原始运动矢量作为当前的块运动矢量，如果Nmax与N5间差值比阈值小，则用出现次数最多的矢量代替当前块的原始矢量。在图4中，矢量(1,1)最后被矢量(6,8)替换。然后用公式(2)得到前向中间帧，用公式(3)得到后向中间帧，其依赖于它的运动矢量场。
在中间帧结合步骤S2中，将前向中间帧和后向中间帧相结合，得到初步中间帧。具体地来说，根据以下公式将单向运动估计和插值产生的两个中间帧结合到一块。
其中，ft(x,y)表示中间帧在(x,y)处的像素值。ft1(x,y)和ft2(x,y)分别表示在(x,y)处通过单向运动估计和插值时所需的原始中间帧的像素值。ft1(x,y)＝＝null and ft2(x,y)＝＝null表示(x,y)是在空洞位置，ft1(x,y),ft2(x,y)都没有一个清楚的像素值。
当采用单向运动估计的时候，其中一个无法避免的缺点就是在中间帧上会产生空洞效应，甚至两个中间帧结合在一起也无法避免该问题。因此，接下来，在双向运动估计步骤S3中，对上述初步中间帧的空洞进行消除，得到最终中间帧。
具体地来说，如图5所示，在步骤S31中，计算空洞块及周围临近块的矢量。如图6所示，假设E是一个空洞块，通过双向运动估计算法得到该空洞块的矢量以及周围8个临近块的矢量。
接下来，在步骤S32中，通过上述运动矢量修正步骤S12得到空洞块修正后运动矢量。
最后，在步骤S33中，将修正后的运动矢量代入空洞块中，得到最终中间帧。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种视频帧率上变换方法，其特征在于，
包括：
单向运动估计步骤，包括匹配块运动矢量获取步骤，获取粗略的前向和后向的运动矢量场，以及扩大当前匹配块尺寸作为参考帧，在所述参考帧的区域里重新获取前向和后向的运动矢量，将得到的所述运动矢量作为当前匹配块运动矢量，得到前向中间帧和后向中间帧；
中间帧结合步骤，将所述前向中间帧和所述后向中间帧相结合，得到初步中间帧；以及
双向运动估计步骤，对所述初步中间帧上的空洞进行消除，得到最终中间帧。
2.根据权利要求1所述的视频帧率上变换方法，其特征在于，
所述单向运动估计步骤还包括运动矢量修正步骤，具体包括如下步骤：
计算每个矢量的出现次数；
得到出现次数的最大值Nmax；以及
将所述最大值和当前匹配块矢量的出现次数作对比，如果所述Nmax和所述当前匹配块矢量的出现次数间的差值比阈值大，则将当前块的原始运动矢量作为当前的块运动矢量，如果比阈值小，则用出现次数最多的矢量代替当前块的原始矢量。
3.根据权利要求2所述的视频帧率上变换方法，其特征在于，
假设所述匹配块的大小为3×3则，通过以下公式得到所述Nmax
Nmax＝MAX{N1,N2,N3,N4,N5,N6,N7,N8,N9}。
4.根据权利要求2所述的视频帧率上变换方法，其特征在于，
通过以下公式得到前向中间帧，
其中，变量ft1(x,y)表示前向中间帧在(x，y)处的像素值，vx和vy代表运动矢量，表示运动矢量(vx/2,vy/2)指向处的像素值，表示运动矢量(-vx/2,-vy/2)指向处的像素值。
5.根据权利要求2所述的视频帧率上变换方法，其特征在于，
根据以下公式得到所述后向中间帧，
其中，变量ft2(x,y)表示后向中间帧在(x，y)处的像素值，vx和vy代表运动矢量，表示运动矢量(-vx/2,-vy/2)指向处的像素值，表示运动矢量(vx/2,vy/2)指向处的像素值。
6.根据权利要求1、4或5所述的视频帧率上变换方法，其特征在于，
通过以下公式将所述前向中间帧和所述后向中间帧相结合，
其中，ft(x,y)表示中间帧在(x,y)处的像素值，ft1(x,y)表示前向中间帧在(x，y)处的像素值，ft2(x,y)表示后向中间帧在(x，y)处的像素值，ft1(x,y)＝＝null和ft2(x,y)＝＝null表示(x,y)是在空洞位置，ft1(x,y)！＝null表示未落在图像边界外的有效像素，ft2(x,y)！＝null表示未落在图像边界外的有效像素。
7.根据权利要求2所述视频帧率上变换方法，其特征在于，
所述双向运动估计步骤包括：
计算空洞块及周围临近块的矢量；
通过所述运动矢量修正步骤得到空洞块修正后运动矢量；以及
将所述修正后的运动矢量代入所述空洞块中，得到最终中间帧。
8.根据权利要求1所述的视频帧率上变换方法，其特征在于，
所述扩大当前匹配块尺寸为将当前匹配块的长度和宽度扩大两倍。
CN201610541388.5A 2016-07-11 2016-07-11 一种视频帧率上变换方法 Active CN106101716B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610541388.5A CN106101716B (zh) 2016-07-11 2016-07-11 一种视频帧率上变换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610541388.5A CN106101716B (zh) 2016-07-11 2016-07-11 一种视频帧率上变换方法

Publications (2)

Publication Number Publication Date
CN106101716A CN106101716A (zh) 2016-11-09
CN106101716B true CN106101716B (zh) 2019-05-07

Family

ID=57219632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610541388.5A Active CN106101716B (zh) 2016-07-11 2016-07-11 一种视频帧率上变换方法

Country Status (1)

Country Link
CN (1) CN106101716B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945124B (zh) * 2017-11-17 2021-12-03 上海大学 一种运动路径指引的老电影黑帧修复方法
CN112135127B (zh) * 2019-11-05 2021-09-21 杭州海康威视数字技术股份有限公司 一种编解码方法、装置、设备及机器可读存储介质
CN112532907A (zh) * 2020-11-30 2021-03-19 湖南国科微电子股份有限公司 一种视频帧频提升方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103220488A (zh) * 2013-04-18 2013-07-24 北京大学 一种视频帧率上转换装置及方法
CN104219533A (zh) * 2014-09-24 2014-12-17 苏州科达科技股份有限公司 一种双向运动估计方法和视频帧率上转换方法及系统
CN105100807A (zh) * 2015-08-28 2015-11-25 山东大学 一种基于运动矢量后处理的帧率提升方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8542322B2 (en) * 2010-03-01 2013-09-24 Stmicroelectronics, Inc. Motion compensated interpolation system using combination of full and intermediate frame occlusion
JP2015177341A (ja) * 2014-03-14 2015-10-05 株式会社東芝 フレーム補間装置、及びフレーム補間方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103220488A (zh) * 2013-04-18 2013-07-24 北京大学 一种视频帧率上转换装置及方法
CN104219533A (zh) * 2014-09-24 2014-12-17 苏州科达科技股份有限公司 一种双向运动估计方法和视频帧率上转换方法及系统
CN105100807A (zh) * 2015-08-28 2015-11-25 山东大学 一种基于运动矢量后处理的帧率提升方法

Also Published As

Publication number Publication date
CN106101716A (zh) 2016-11-09

Similar Documents

Publication Publication Date Title
CN103606132B (zh) 基于空域和时域联合滤波的多帧数字图像去噪方法
CN102014240B (zh) 一种实时医学视频图像去噪方法
CN101765022B (zh) 一种基于光流与图像分割的深度表示方法
CN103218778B (zh) 一种图像和视频的处理方法及装置
Kim et al. A novel approach for denoising and enhancement of extremely low-light video
WO2020103171A1 (zh) 用于图像去模糊的Bi-Level优化方法
CN106101716B (zh) 一种视频帧率上变换方法
JP2019067404A (ja) マルコフ連鎖を用いてイメージ上の対象客体を追跡、分割する方法及び装置
US8189947B2 (en) Image edge correction apparatus and method
US9367900B2 (en) Image noise removing apparatus and image noise removing method
CN106210448B (zh) 一种视频图像抖动消除处理方法
CN102271262B (zh) 用于3d显示的基于多线索的视频处理方法
CN113240608B (zh) 图像去噪方法、装置、电子设备和可读存储介质
CN105931213A (zh) 基于边缘检测和帧差法的高动态范围视频去鬼影的方法
CN102298774A (zh) 基于联合相似性的非局部均值去噪方法
Jakhetiya et al. Kernel-ridge regression-based quality measure and enhancement of three-dimensional-synthesized images
JP2015204488A (ja) 動き検出装置および動き検出方法
CN115104120A (zh) 将低动态范围图像合并为单幅图像的方法及装置
CN104065975B (zh) 基于适应性运动估计的帧率提升方法
WO2017088391A1 (zh) 视频去噪与细节增强方法及装置
JP2008021163A (ja) 画像処理装置
KR20150090454A (ko) 다중 프레임을 이용한 양방향 움직임 탐색 방법 및 이러한 양방향 움직임 탐색 기능이 탑재된 영상 장치
Pierre et al. Interactive video colorization within a variational framework
CN109756778B (zh) 一种基于自适应运动补偿的帧率转换方法
KR101760463B1 (ko) 깊이 지도 보정 방법 및 그 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant