CN108347549B - 一种基于视频帧的时间一致性来改善视频抖动的方法 - Google Patents

一种基于视频帧的时间一致性来改善视频抖动的方法 Download PDF

Info

Publication number
CN108347549B
CN108347549B CN201810160090.9A CN201810160090A CN108347549B CN 108347549 B CN108347549 B CN 108347549B CN 201810160090 A CN201810160090 A CN 201810160090A CN 108347549 B CN108347549 B CN 108347549B
Authority
CN
China
Prior art keywords
frame
video
frames
output
iteration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810160090.9A
Other languages
English (en)
Other versions
CN108347549A (zh
Inventor
陈志华
李超
陈莉莉
陈若溪
盛斌
戴超
张静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China University of Science and Technology
Original Assignee
East China University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China University of Science and Technology filed Critical East China University of Science and Technology
Priority to CN201810160090.9A priority Critical patent/CN108347549B/zh
Publication of CN108347549A publication Critical patent/CN108347549A/zh
Application granted granted Critical
Publication of CN108347549B publication Critical patent/CN108347549B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Abstract

本发明提供一种基于视频帧的时间一致性来改善视频抖动的方法，包括：在原始视频中匹配任意两帧之间的对应像素及其对应区域；从原始视频选取一帧作为当前帧，计算当前帧与其他帧之间的对应度；根据计算得到的对应度确定当前帧的时间一致性对应帧集合；对时间一致性对应帧集合进行多次奇偶迭代处理，利用上一轮迭代结果的对应帧的输出帧来替代本轮迭代过程的未知对应帧的输出帧，重复上述匹配操作和迭代过程，重构每一输出帧。相比于现有技术，本发明基于视频帧的时间一致性，能够在不了解具体的图像处理方法的前提下，改善或去除由于该图像处理方法逐帧运用到视频中所造成的视频抖动。

Description

一种基于视频帧的时间一致性来改善视频抖动的方法
技术领域
本发明涉及计算机视觉及图像处理领域，尤其涉及一种基于视频帧的时间一致性来改善视频抖动的方法。
背景技术
运用基于图像的处理方法(本征图分解，色调增强，去雾处理等)对无抖动的原视频逐帧的处理会因为忽略帧与帧之间的时间一致性而造成抖动，这种抖动的存在会严重的影响我们输出的视频的质量，同时，由于这类视频中存在的抖动包括色调抖动和亮度抖动等，所以，对于假设视频帧与帧之间亮度一致的一些应用像视频匹配等，抖动视频会明显的应用受限。
以视频帧时间一致性技术为例，其可用于改善或去除视频中存在的抖动(如色调抖动或亮度抖动)，通过添加各帧之间的时间一致性来输出无抖动的视频。在现有技术中，常见的实现方法是基于抖动补偿技术，旨在通过对齐帧之间的色调或者亮度来移除视频中的抖动效应。虽然该方法在一定程度上可以减少视频中存在的抖动效应，但是，该方法必须首先选择若干帧作为关键帧，而从具有抖动的被处理的视频中选取若干帧作为关键帧，这些关键帧本身是否是时间一致性的，难以保证；再者，若选定的关键帧本身存在抖动效应，将其他帧与存在抖动的关键帧对齐，并不能保证可以去除被处理过的视频的抖动。此外，另一种实现方法还可通过最小化含有时间一致性优化项的能量函数来维持视频帧之间的时间一致性，但这类方法主要针对某类特定的应用，限制了视频图像处理方法的泛化能力。例如，常见的该类视频图像处理算法包括：本征图分解、颜色分类、颜色一致、白平衡等。
发明内容
针对现有技术中存在的上述缺陷，本发明提供了一种基于视频帧的时间一致性来改善视频抖动的方法，可改善或消除现有缺陷，使得处理过的视频中存在的抖动能够被最大限度地去除。
依据本发明的一个方面，提供了一种基于视频帧的时间一致性来改善视频抖动的方法，包括以下步骤：
a)提供一原始视频以及一输出视频，其中，所述输出视频是对所述原始视频进行了图像处理的视频；
b)在所述原始视频中，匹配任意两个不同帧之间的对应像素以及包含所述对应像素的对应区域；
c)从所述原始视频选取一帧作为当前帧，计算所述当前帧与其他帧之间的对应度δ(Ix,Iy)，其满足下列关系式：
δ(Ix,Iy)＝c(Ix,Iy)/d(Ix,Iy)
其中，y∈[1,x)∪(x,L),c(Ix,Iy)表示帧Ix和帧Iy之间的对应区域的数目，d(Ix,Iy)表示帧间隔，L表示原始视频中的帧的长度；
d)根据上述步骤c)计算得到的对应度，确定所述当前帧的时间一致性对应帧集合；
e)对所述时间一致性对应帧集合进行多次奇偶迭代处理，利用上一轮迭代结果中的对应帧的输出帧来替代本轮迭代过程中的未知的对应帧的输出帧；
f)重复步骤b)至步骤e)，重构每一输出帧从而改善所述输出视频存在的视频抖动。
在其中的一实施例，该方法还包括：在维持视频帧的时间一致性的过程中，通过最小化重构的输出视频的输出帧Ox以及原输出视频的视频帧Px之间的差值来保证重构后的输出视频的视频保真度，该视频保真度的项Eq(Ox)满足关系式：
Figure BDA0001582685770000031
其中，
Figure BDA0001582685770000032
和
Figure BDA0001582685770000033
分别表示重构的输出视频的输出帧Ox和原输出视频的视频帧Px的梯度域，||·||表示二阶范式，即向量各元素
Figure BDA0001582685770000034
和
Figure BDA0001582685770000035
的平方和然后开方。
在其中的一实施例，根据所述当前帧的时间一致性对应帧来重构得到的输出帧满足下列关系式：
Figure BDA0001582685770000036
其中维持帧与帧之间的时间一致性的项
Figure BDA0001582685770000037
满足下列关系式：
Figure BDA0001582685770000038
在此，α(i)和β(i)分别为权重系数，fp(Ix)表示位于帧Ix前面的对应帧构成的集合，fs(Ix)表示位于帧Ix后面的对应帧构成的集合，ωt(Ix,Iy)表示时间一致性权重，warp()表示运用光流从对应帧重构输出帧进行warp操作的过程，v为Ix中的空间像素点的位置，当i对应奇数次迭代时，μ(i)为i，v(i)为(i-1)；当i对应偶数次迭代时，μ(i)为(i-1)，v(i)为i。
在其中的一实施例，上述时间一致性权重ωt(Ix,Iy)满足：
ωt(Ix,Iy)＝ωc(Ix,Iy)/ωd(Ix,Iy)
Figure BDA0001582685770000041
Figure BDA0001582685770000042
其中，ωc(Ix,Iy)表示衡量帧Ix与帧Iy间对应区域的数目的权重，ωd(Ix,Iy)表示衡量帧Ix与帧Iy的帧间隔的权重，c(Ix,Iy)表示帧Ix和帧Iy之间的对应区域的数目，帧Iy1是帧Ix的时间一致性对应帧集合f(Ix)中的一个元素，d(Ix,Iy)为帧间隔，可以通过计算两帧之间的帧序号之差的绝对值而得到。
在其中的一实施例，该方法还包括：为维持在由时间一致性的对应帧重构与当前帧Ix对应的输出帧Ox过程中的空间一致性，通过最小化重构的输出视频的输出帧Ox以及用来重构该输出帧Ox的空间一致性对应帧之差，设置空间一致性的项
Figure BDA0001582685770000043
该空间一致性的项
Figure BDA0001582685770000044
满足关系式：
Figure BDA0001582685770000045
其中，Nx表示帧Ix中的区域数，
Figure BDA0001582685770000046
表示空间一致性权重，
Figure BDA0001582685770000047
表示当前帧Ix中的某一给定区域
Figure BDA0001582685770000048
的邻域，将
Figure BDA0001582685770000049
中某一区域表示成
Figure BDA00015826857700000410
定义
Figure BDA00015826857700000411
中与
Figure BDA00015826857700000412
含有最多对应像素的区域为
Figure BDA0001582685770000051
并将含有区域
Figure BDA0001582685770000052
的帧定义为Iχ，在奇数次迭代过程中，若x>χ,Γ(x,χ,i)就等于i，否则为(i-1)；在偶数次迭代过程中，若x>χ,Γ(x,χ,i)就等于(i-1)，否则为i。
在其中的一实施例，上述空间一致性权重
Figure BDA0001582685770000053
满足：
Figure BDA0001582685770000054
其中
Figure BDA0001582685770000055
是区域
Figure BDA0001582685770000056
的面积，
Figure BDA0001582685770000057
是
Figure BDA0001582685770000058
的一个邻域，
Figure BDA0001582685770000059
表示领域所有的面积之和。
在其中的一实施例，根据所述当前帧的时间一致性对应帧和空间一致性对应帧来重构得到的输出帧满足下列关系式：
Figure BDA00015826857700000510
其中维持帧与帧之间的时间一致性的项
Figure BDA00015826857700000511
满足下列关系式：
Figure BDA00015826857700000512
在此，α(i)和β(i)分别为权重系数，fp(Ix)表示位于帧Ix前面的对应帧构成的集合，fs(Ix)表示位于帧Ix后面的对应帧构成的集合，ωt(Ix,Iy)表示时间一致性权重，warp()表示运用光流从对应帧重构输出帧进行warp操作的过程，v为Ix中的空间像素点的位置，当i对应奇数次迭代时，μ(i)为i，v(i)为(i-1)；当i对应偶数次迭代时，μ(i)为(i-1)，v(i)为i。
在其中的一实施例，上述步骤b)中匹配任意两个不同帧之间的对应像素还包括：
运用超像素分割算法将所述原始视频的每帧分割成超像素块；
运用SIFT算法(Scale-invariant feature transform,尺度不变的特征变换)找到相邻帧之间逐像素点匹配的稠密对应关系，并连接具有稠密对应关系的各个像素点形成某个场景点的运动路径；
判断任意两个不同帧之间的像素点是否沿同一运动路径运动，如果是，将这两个像素点匹配作为所述对应像素。
在其中的一实施例，上述步骤e)还包括：在奇数次的迭代过程中，迭代方向是从左往右的，α(i)和β(i)分别设置为0.7和0.3；在偶数次的迭代过程中，迭代方向是从右往左的，α(i)和β(i)分别设置为0.3和0.7。
在其中的一实施例，若当前迭代为首次迭代过程，使用原输出视频中的对应帧替换本轮迭代中未求解的对应帧；若当前迭代为非首次迭代过程，使用上一轮迭代过程中的对应帧替换本轮迭代中未求解的对应帧。
采用本发明的基于视频帧的时间一致性来改善视频抖动的方法，首先在原始视频中匹配任意两个不同帧之间的对应像素及其对应区域；接着从原始视频选取一帧作为当前帧，计算当前帧与其他帧之间的对应度；然后根据计算得到的对应度确定当前帧的时间一致性对应帧集合；接着对时间一致性对应帧集合进行多次奇偶迭代处理，利用上一轮迭代结果中的对应帧的输出帧来替代本轮迭代过程中的未知的对应帧的输出帧，重复上述匹配操作和迭代过程，重构每一输出帧从而改善输出视频存在的视频抖动。相比于现有技术，本发明基于视频帧的时间一致性，能够在不了解具体的图像处理方法的前提下，改善或去除由于该图像处理方法逐帧运用到视频中所造成的视频抖动。
附图说明
读者在参照附图阅读了本发明的具体实施方式以后，将会更清楚地了解本发明的各个方面。其中，
图1是本发明的基于视频帧的时间一致性来改善视频抖动的方法的流程框图；
图2示出采用图1的方法时，任意两个不同帧间的对应像素的运动路径示意图；
图3(a)至图3(c)示出采用图1的方法时，与当前帧Ix对应的时间一致性帧的不同分布状态的示意图；以及
图4示出采用图1的方法时，使用warp操作来重构输入帧Ix对应的输出帧Ox的原理示意图。
具体实施方式
为了使本申请所揭示的技术内容更加详尽与完备，可参照附图以及本发明的下述各种具体实施例，附图中相同的标记代表相同或相似的组件。然而，本领域的普通技术人员应当理解，下文中所提供的实施例并非用来限制本发明所涵盖的范围。此外，附图仅仅用于示意性地加以说明，并未依照其原尺寸进行绘制。
下面参照附图，对本发明各个方面的具体实施方式作进一步的详细描述。
图1是本发明的基于视频帧的时间一致性来改善视频抖动的方法的流程框图。图2示出采用图1的方法时，任意两个不同帧间的对应像素的运动路径示意图，图3(a)至图3(c)示出采用图1的方法时，与当前帧Ix对应的时间一致性帧的不同分布状态的示意图，图4示出采用图1的方法时，使用warp操作来重构输入帧Ix对应的输出帧Ox的原理示意图。
本发明的硬件条件为，CPU频率2.40GHz，内存8G的计算机，软件工具为Matlab2014b。参照图1至图4，在该实施例中，基于视频帧的时间一致性来改善视频抖动的方法通过步骤S101～S111予以实现。
详细而言，在步骤S101中，提供一原始视频(或称为输入视频)以及一输出视频，其中输出视频是对原始视频进行了图像处理的视频(或称为原输出视频)。在步骤S103中，于原始视频中匹配任意两个不同帧之间的对应像素以及包含对应像素的对应区域。在步骤S105中，从原始视频选取一帧作为当前帧，计算当前帧与其他帧之间的对应度。在步骤S107中，根据计算得到的对应度，确定当前帧的时间一致性对应帧集合。在步骤S109中，对时间一致性对应帧集合进行多次奇偶迭代处理，利用上一轮迭代结果中的对应帧的输出帧来替代本轮迭代过程中的未知的对应帧的输出帧。在步骤S111中，重复上述步骤S103至步骤S109，重构每一输出帧从而改善输出视频存在的视频抖动。因此，重构之后的视频是基于输入视频和原输出视频、且进行了视频去抖的新输出视频。
依据一具体实施例，上述匹配任意两个不同帧之间的对应像素还包括运用超像素分割算法将所述原始视频的每帧分割成超像素块，运用SIFT算法(Scale-invariantfeature transform,尺度不变的特征变换)找到相邻帧之间逐像素点匹配的稠密对应关系，并连接具有稠密对应关系的各个像素点形成某个场景点的运动路径，判断任意两个不同帧之间的像素点是否沿同一运动路径运动，如果是，将这两个像素点匹配作为对应像素。如图2所示，帧Ix-i、帧Ix-j、帧Ix以及帧Ix+k这些帧中沿同一运动路径运动的像素点被视为对应像素，并且包含这些对应像素的区域被视为对应区域。在此，按照匹配生成视差图进行划分，立体匹配可分为稀疏匹配和稠密匹配。其中，稀疏匹配主要是通过提取图像少量特征点来进行特征匹配，少量特征点只能获得对应特征点的视差值，因此得到的视差图也是稀疏的；稠密匹配则是通过对图像上每一个像素遍历进行匹配，从而得到整个图像的视差值，生成稠密视差图。
就对应区域而言，对给定的原始视频中的输入帧Ix中的第n个超像素分割区域
Figure BDA0001582685770000091
遍历其它帧中的所有区域找到当前区域的对应区域，所有与当前区域相对应的区域
Figure BDA0001582685770000092
构成对应区域集合
Figure BDA0001582685770000093
则
Figure BDA0001582685770000094
其中
Figure BDA0001582685770000095
是Iy帧的第m个区域，如果区域
Figure BDA0001582685770000096
和
Figure BDA0001582685770000097
是对应区域，则
Figure BDA0001582685770000098
就等于1，否则为0；L表示原始视频中的帧的长度；Ny表示Iy帧的区域数目。我们用c(Ix,Iy)来表示Ix和Iy间的对应区域数目。
Figure BDA0001582685770000099
其中Nx和Ny分别表示Ix和Iy帧中的区域数目。为了获得给定帧Ix的具有时间一致性联系的对应帧，需要计算Ix和其它任意一帧之间的对应度，该对应度可使用δ(Ix,Iy)表示，则：
δ(Ix,Iy)＝c(Ix,Iy)/d(Ix,Iy),
其中，y的范围需满足条件：y∈[1,x)∪(x,L),c(Ix,Iy)表示Ix和Iy间的对应区域数目，d(Ix,Iy)表示帧间隔，帧间隔可以通过计算帧Ix和Iy的序列号x和y之差的绝对值得到。然后根据δ(Ix,Iy)对原始视频中除Ix以外的所有帧降序排列，取排序后数组中的前ξ个帧构成当前帧Ix的时间一致性对应帧集合f(Ix)。这里，我们可根据原始视频的内容来预设对应帧个数ξ的取值。详细而言，例如，按照对应度由大到小的顺序对帧进行排序，然后选择排序后的数组中的前若干个帧，选取的帧的数目由用户基于视频的内容预先设定，再由所选取的视频帧确定当前帧的时间一致性对应帧集合。此外，亦可将计算得到的对应度与对应度阈值进行比较，并选取高于该对应度阈值的若干视频帧作为当前帧的时间一致性对应帧集合。
依据一具体实施例，在维持视频帧的时间一致性的过程中，通过最小化重构的输出视频的输出帧Ox以及原输出视频的视频帧Px之间的差值来保证重构的输出视频的视频保真度，该视频保真度的项Eq(Ox)满足下列关系式：
Eq(Ox)＝||Ox-Px||2。
其中，||·||表示二阶范式，即向量各元素
Figure BDA0001582685770000101
和
Figure BDA0001582685770000102
的平方和然后开方。为了减少处理过的视频帧Px中的视频抖动对输出帧Ox的影响，同时尽可能地保存Px中的动态场景，可将上式改写为：
Figure BDA0001582685770000103
其中，
Figure BDA0001582685770000111
和
Figure BDA0001582685770000112
分别表示输出帧Ox和处理过的视频帧Px的梯度域。因为我们可以用边缘信息来表示一个场景，同时运用梯度混合向量信息重构帧中的区域，尽可能保留处理过的视频帧的动态场景。
由上述可知，在一实施例中，根据当前帧的时间一致性对应帧以及视频保真度两项来重构得到的输出帧满足下列关系式：
Figure BDA0001582685770000113
其中维持帧与帧之间的时间一致性的项
Figure BDA0001582685770000114
满足下列关系式：
Figure BDA0001582685770000115
在此，α(i)和β(i)分别为权重系数，fp(Ix)表示位于帧Ix前面的对应帧构成的集合，fs(Ix)表示位于帧Ix后面的对应帧构成的集合，ωt(Ix,Iy)表示时间一致性权重，warp()表示运用光流从对应帧重构输出帧进行warp操作的过程，v为Ix中的空间像素点的位置，当i对应奇数次迭代时，μ(i)为i，v(i)为(i-1)；当i对应偶数次迭代时，μ(i)为(i-1)，v(i)为i。
进一步而言，上述时间一致性权重ωt(Ix,Iy)满足：
ωt(Ix,Iy)＝ωc(Ix,Iy)/ωd(Ix,Iy)
Figure BDA0001582685770000116
Figure BDA0001582685770000117
其中，ωc(Ix,Iy)表示衡量帧Ix与帧Iy间对应区域的数目的权重，ωd(Ix,Iy)表示衡量帧Ix与帧Iy的帧间隔的权重，c(Ix,Iy)表示帧Ix和帧Iy之间的对应区域的数目，帧Iy1是帧Ix的时间一致性对应帧集合f(Ix)中的一个元素，d(Ix,Iy)为帧间隔，可以通过计算两帧之间的帧序号x和y之差的绝对值而得到。
参照图3(a)至图3(c)，与当前帧Ix相对应的时间一致性对应帧可呈现不同的分布位置。在图3(a)中，对应帧分布在Ix的前面(对应帧的帧索引小于x)，我们将位于Ix前面的对应帧构成的集合表示成fp(Ix)。在图3(c)中，对应帧分布在Ix的后面(对应帧的帧索引大于x)，我们将位于Ix后面的对应帧构成的集合表示成fs(Ix)。基于这种表示形式，我们可以将图3(a)的当前帧Ix的对应帧f(Ix)表示成f(Ix)＝fp(Ix)∪fs(Ix)。类似地，fp(Ix)和fs(Ix)中的输入帧相对应的输出帧构成的集合可以表示成f(Ox)＝fp(Ox)∪fs(Ox)。
在以特定的顺序对视频进行处理的过程中，考虑到对应帧集合f(Ix)中的元素分布的多样性，通过对应帧来求解与当前帧Ix相对应的输出帧Ox的过程中，对应帧可能还处于未被求解的状态，因此，为了减少由未知的对应帧分布于当前帧前面或者当前帧后面而造成的在重构当前帧的过程中的不准确性，本申请提出一种多次奇偶迭代求解输出帧的模型。详细而言，在奇数次(1,3,5…)的迭代过程中，迭代方向是从左往右的；在偶数次(2,4,6…)的迭代过程中，迭代方向是从右往左的。进一步而言，若当前迭代为首次迭代过程，使用原输出视频中的对应帧Px替换本轮迭代中未求解的对应帧；若当前迭代为非首次迭代过程，使用上一轮迭代过程中的对应帧替换本轮迭代中未求解的对应帧。如此一来，在奇数次或偶数次的迭代过程中，都是利用上一轮迭代结果中的对应帧的输出帧来替代本轮迭代过程中未知的输出帧。例如，在第i次迭代过程中，当前帧Ix的输出帧可以表示成
Figure BDA0001582685770000131
当前帧Ix的输出帧的重构过程可参照图4。更为详细地，对于Ix中的某个像素点A，使用光流法找到Iy中与像素点A最相近的像素点B，然后用双线性插值从Oy中找到与B对应的B'，将B'的值赋给A'，得到Ox中的A'的值。
针对时间一致性的项
Figure BDA0001582685770000132
进行多次奇偶迭代时，当第i次迭代为奇数次迭代时，上式中的μ(i)即为i，v(i)为(i-1)。因为在奇数次的迭代求解过程中，对整个视频的处理顺序是从左往右的，所以
Figure BDA0001582685770000133
中的帧已经被求解，但
Figure BDA0001582685770000134
中的帧
Figure BDA0001582685770000135
是未知的，对于这些未知的帧，我们用上一轮的迭代结果
Figure BDA0001582685770000136
来代替。然后利用
Figure BDA0001582685770000137
中已经求解的输出帧和
Figure BDA0001582685770000138
中虽未知但已经由上一轮迭代结果代替的帧来重构当前的输出帧。为了减小由上一轮迭代结果替代本轮未知的对应帧带来的误差，对由本轮迭代过程中已经求解的f(Ix)的对应输出帧f(Ox)来重构得到的输出帧Ox赋予权重α(i)。对用上一轮迭代结果来替代本轮迭代中未求解的f(Ix)的对应输出帧f(Ox)重构的输出帧Ox赋予权重β(i)。在奇数次的迭代过程中，α(i)大于β(i)。在实验中，将α(i)和β(i)分别设置为0.7和0.3。
当第i次迭代为偶数次迭代时，上式中的μ(i)即为(i-1)，v(i)为i。因为在偶数次的迭代过程中，对整个视频的处理顺序是从右往左的，所以用于重构输出帧Ox的对应帧集合
Figure BDA0001582685770000139
中的对应帧的输出帧已经被求解，但
Figure BDA00015826857700001310
中的帧
Figure BDA00015826857700001311
是未知的，对于未知的帧，同奇数次迭代结果中的处理，我们运用上一轮对应帧的输出帧的迭代结果
Figure BDA00015826857700001312
来代替。在偶数次的迭代过程中，α(i)设置为小于β(i)。在实验中，将α(i)和β(i)分别设置为0.3和0.7。
依据一具体实施例，为维持在由时间一致性的对应帧重构与当前帧Ix对应的输出帧Ox过程中的空间一致性，通过最小化重构的输出视频的输出帧Ox以及用来重构该输出帧Ox的空间一致性对应帧之差，设置空间一致性的项
Figure BDA0001582685770000141
该空间一致性的项
Figure BDA0001582685770000142
满足关系式：
Figure BDA0001582685770000143
其中，Nx表示帧Ix中的区域数，
Figure BDA0001582685770000144
表示空间一致性权重，
Figure BDA0001582685770000145
表示当前帧Ix中的某一给定区域
Figure BDA0001582685770000146
的邻域，将
Figure BDA0001582685770000147
中某一区域表示成
Figure BDA0001582685770000148
定义
Figure BDA0001582685770000149
中与
Figure BDA00015826857700001410
含有最多对应像素的区域为
Figure BDA00015826857700001411
并将含有区域
Figure BDA00015826857700001412
的帧定义为Iχ，在奇数次迭代过程中，若x>χ,Γ(x,χ,i)就等于i，否则为(i-1)；在偶数次迭代过程中，若x>χ,Γ(x,χ,i)就等于(i-1)，否则为i。
进一步而言，上述空间一致性权重
Figure BDA00015826857700001413
满足：
Figure BDA00015826857700001414
其中
Figure BDA00015826857700001415
是区域
Figure BDA00015826857700001416
的面积，
Figure BDA00015826857700001417
是
Figure BDA00015826857700001418
的一个邻域，
Figure BDA00015826857700001419
表示领域所有的面积之和。
由上述可知，在一实施例中，根据当前帧的时间一致性对应帧、视频保真度、当前帧的空间一致性对应帧来重构得到的输出帧满足下列关系式：
Figure BDA00015826857700001420
其中维持帧与帧之间的时间一致性的项
Figure BDA00015826857700001421
满足下列关系式：
Figure BDA0001582685770000151
在此，α(i)和β(i)分别为权重系数，fp(Ix)表示位于帧Ix前面的对应帧构成的集合，fs(Ix)表示位于帧Ix后面的对应帧构成的集合，ωt(Ix,Iy)表示时间一致性权重，warp()表示运用光流从对应帧重构输出帧进行warp操作的过程，v为Ix中的空间像素点的位置，当i对应奇数次迭代时，μ(i)为i，v(i)为(i-1)；当i对应偶数次迭代时，μ(i)为(i-1)，v(i)为i。
采用本发明的基于视频帧的时间一致性来改善视频抖动的方法，首先在原始视频中匹配任意两个不同帧之间的对应像素及其对应区域；接着从原始视频选取一帧作为当前帧，计算当前帧与其他帧之间的对应度；然后根据计算得到的对应度确定当前帧的时间一致性对应帧集合；接着对时间一致性对应帧集合进行多次奇偶迭代处理，利用上一轮迭代结果中的对应帧的输出帧来替代本轮迭代过程中的未知的对应帧的输出帧，重复上述匹配操作和迭代过程，重构每一输出帧从而改善输出视频存在的视频抖动。相比于现有技术，本发明基于视频帧的时间一致性，能够在不了解具体的图像处理方法的前提下，改善或去除由于该图像处理方法逐帧运用到视频中所造成的视频抖动。
上文中，参照附图描述了本发明的具体实施方式。但是，本领域中的普通技术人员能够理解，在不偏离本发明的精神和范围的情况下，还可以对本发明的具体实施方式作各种变更和替换。这些变更和替换都落在本发明权利要求书所限定的范围内。

Claims (10)

1.一种基于视频帧的时间一致性来改善视频抖动的方法，其特征在于，该方法包括以下步骤：
a)提供一原始视频以及一输出视频，其中，所述输出视频是对所述原始视频进行了图像处理的视频；
b)在所述原始视频中，匹配任意两个不同帧之间的对应像素以及包含所述对应像素的对应区域；
c)从所述原始视频选取一帧作为当前帧，计算所述当前帧与其他帧之间的对应度δ(Ix,Iy)，其满足下列关系式：
δ(Ix,Iy)＝c(Ix,Iy)/d(Ix,Iy)
其中，y∈[1,x)∪(x,L),c(Ix,Iy)表示帧Ix和帧Iy之间的对应区域的数目，x表示当前帧的序列号，Ix、Iy分别表示原始视频中的第x帧和第y帧，d(Ix,Iy)表示帧间隔，L表示原始视频中的帧的长度；
d)根据上述步骤c)计算得到的对应度，确定所述当前帧的时间一致性对应帧集合；
e)对所述时间一致性对应帧集合进行多次奇偶迭代处理，利用上一轮迭代结果中的对应帧的输出帧来替代本轮迭代过程中的未知的对应帧的输出帧；
f)重复步骤b)至步骤e)，重构每一输出帧从而改善所述输出视频存在的视频抖动。
2.根据权利要求1所述的基于视频帧的时间一致性来改善视频抖动的方法，其特征在于，上述步骤d)还包括：
在维持视频帧的时间一致性的过程中，通过最小化重构的输出视频的输出帧Ox以及原输出视频的视频帧Px之间的差值来保证重构的输出视频的视频保真度，该视频保真度的项Eq(Ox)满足关系式：
Figure FDA0002416082610000021
其中，
Figure FDA0002416082610000022
和
Figure FDA0002416082610000023
分别表示重构的输出视频的输出帧Ox和原输出视频的视频帧Px的梯度域，||·||表示二阶范式，即向量各元素
Figure FDA0002416082610000024
和
Figure FDA0002416082610000025
的平方和然后开方。
3.根据权利要求2所述的基于视频帧的时间一致性来改善视频抖动的方法，其特征在于，上述步骤e)还包括:
根据所述当前帧的时间一致性对应帧来重构得到的输出帧满足下列关系式：
Figure FDA0002416082610000026
其中i表示计算过程中的第i次迭代，则维持帧与帧之间的时间一致性的项
Figure FDA0002416082610000027
满足下列关系式：
Figure FDA0002416082610000028
在此，α(i)和β(i)分别为权重系数，fp(Ix)表示位于帧Ix前面的对应帧构成的集合，fs(Ix)表示位于帧Ix后面的对应帧构成的集合，ωt(Ix,Iy)表示时间一致性权重，warp()表示运用光流从对应帧重构输出帧进行warp操作的过程，v为Ix中的空间像素点的位置，当i对应奇数次迭代时，μ(i)为i，v(i)为(i-1)；当i对应偶数次迭代时，μ(i)为(i-1)，v(i)为i。
4.根据权利要求3所述的基于视频帧的时间一致性来改善视频抖动的方法，其特征在于，上述时间一致性权重ωt(Ix,Iy)满足：
ωt(Ix,Iy)＝ωc(Ix,Iy)/ωd(Ix,Iy)
Figure FDA0002416082610000031
Figure FDA0002416082610000032
其中，ωc(Ix,Iy)表示衡量帧Ix与帧Iy间对应区域的数目的权重，ωd(Ix,Iy)表示衡量帧Ix与帧Iy的帧间隔的权重，c(Ix,Iy)表示帧Ix和帧Iy之间的对应区域的数目，帧Iy1是帧Ix的时间一致性对应帧集合f(Ix)中的一个元素，d(Ix,Iy)为帧间隔。
5.根据权利要求2所述的基于视频帧的时间一致性来改善视频抖动的方法，其特征在于，上述步骤e)还包括：
为维持在由时间一致性的对应帧重构与当前帧Ix对应的输出帧Qx过程中的空间一致性，通过最小化重构的输出视频的输出帧Qx以及用来重构该输出帧Ox的空间一致性对应帧之差，设置空间一致性的项
Figure FDA0002416082610000033
该空间一致性的项
Figure FDA0002416082610000034
满足关系式：
Figure FDA0002416082610000035
其中，i表示计算过程中的第i次迭代，Nx表示帧Ix中的区域数，
Figure FDA0002416082610000036
表示空间一致性权重，
Figure FDA0002416082610000037
表示当前帧Ix中的某一给定区域
Figure FDA0002416082610000041
的邻域，将
Figure FDA0002416082610000042
中某一区域表示成
Figure FDA0002416082610000043
将含有在当前区域的对应区域集中的、与
Figure FDA0002416082610000044
含有最多对应像素的区域的帧定义为Ix，其中χ表示第χ视频帧序列，在奇数次迭代过程中，若x>χ,Γ(x,χ,i)等于i，否则为(i-1)；在偶数次迭代过程中，若x>χ,Γ(x,χ,i)等于(i-1)，否则为i。
6.根据权利要求5所述的基于视频帧的时间一致性来改善视频抖动的方法，其特征在于，上述空间一致性权重
Figure FDA0002416082610000045
满足：
Figure FDA0002416082610000046
其中
Figure FDA0002416082610000047
是区域
Figure FDA0002416082610000048
的面积，
Figure FDA0002416082610000049
是
Figure FDA00024160826100000410
的一个邻域，
Figure FDA00024160826100000411
表示领域所有的面积之和。
7.根据权利要求5所述的基于视频帧的时间一致性来改善视频抖动的方法，其特征在于，根据所述当前帧的时间一致性对应帧和空间一致性对应帧来重构得到的输出帧满足下列关系式：
Figure FDA00024160826100000412
其中维持帧与帧之间的时间一致性的项
Figure FDA00024160826100000413
满足下列关系式：
Figure FDA00024160826100000414
在此，i表示计算过程中的第i次迭代，α(i)和β(i)分别为权重系数，fp(Ix)表示位于帧Ix前面的对应帧构成的集合，fs(Ix)表示位于帧Ix后面的对应帧构成的集合，ωt(Ix,Iy)表示时间一致性权重，warp()表示运用光流从对应帧重构输出帧进行warp操作的过程，v为Ix中的空间像素点的位置，当i对应奇数次迭代时，μ(i)为i，v(i)为(i-1)；当i对应偶数次迭代时，μ(i)为(i-1)，v(i)为i。
8.根据权利要求1所述的基于视频帧的时间一致性来改善视频抖动的方法，其特征在于，上述步骤b)中匹配任意两个不同帧之间的对应像素还包括：
运用超像素分割算法将所述原始视频的每帧分割成超像素块；
运用SIFT算法(Scale-invariant feature transform,尺度不变的特征变换)找到相邻帧之间逐像素点匹配的稠密对应关系，并连接具有稠密对应关系的各个像素点形成某个场景点的运动路径；
判断任意两个不同帧之间的像素点是否沿同一运动路径运动，如果是，将这两个像素点匹配作为所述对应像素。
9.根据权利要求3或7所述的基于视频帧的时间一致性来改善视频抖动的方法，其特征在于，上述步骤e)还包括：
在奇数次的迭代过程中，迭代方向是从左往右的，α(i)和β(i)分别设置为0.7和0.3；在偶数次的迭代过程中，迭代方向是从右往左的，α(i)和β(i)分别设置为0.3和0.7。
10.根据权利要求1所述的基于视频帧的时间一致性来改善视频抖动的方法，其特征在于，若当前迭代为首次迭代过程，使用原输出视频中的对应帧替换本轮迭代中未求解的对应帧；若当前迭代为非首次迭代过程，使用上一轮迭代过程中的对应帧替换本轮迭代中未求解的对应帧。
CN201810160090.9A 2018-02-26 2018-02-26 一种基于视频帧的时间一致性来改善视频抖动的方法 Active CN108347549B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810160090.9A CN108347549B (zh) 2018-02-26 2018-02-26 一种基于视频帧的时间一致性来改善视频抖动的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810160090.9A CN108347549B (zh) 2018-02-26 2018-02-26 一种基于视频帧的时间一致性来改善视频抖动的方法

Publications (2)

Publication Number Publication Date
CN108347549A CN108347549A (zh) 2018-07-31
CN108347549B true CN108347549B (zh) 2020-11-10

Family

ID=62959398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810160090.9A Active CN108347549B (zh) 2018-02-26 2018-02-26 一种基于视频帧的时间一致性来改善视频抖动的方法

Country Status (1)

Country Link
CN (1) CN108347549B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111277780B (zh) * 2018-12-04 2021-07-20 阿里巴巴集团控股有限公司 一种改善插帧效果的方法和装置
CN113489896B (zh) * 2021-06-25 2023-06-20 中国科学院光电技术研究所 一种能够鲁棒预测全局运动估计的视频稳像方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102185999A (zh) * 2011-03-28 2011-09-14 广东威创视讯科技股份有限公司 消除视频抖动的方法及装置
CN102231792A (zh) * 2011-06-29 2011-11-02 南京大学 基于特征匹配的电子稳像方法
CN104159098A (zh) * 2014-08-29 2014-11-19 杭州道玄影视科技有限公司 一种视频的时域一致性半透明边缘提取方法
CN105976330A (zh) * 2016-04-27 2016-09-28 大连理工大学 一种嵌入式雾天实时视频稳像方法
CN106780370A (zh) * 2016-11-25 2017-05-31 阿依瓦（北京）技术有限公司 一种图像去抖动设备及其方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104823444A (zh) * 2012-11-12 2015-08-05 行为识别系统公司 用于视频监控系统的图像稳定技术

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102185999A (zh) * 2011-03-28 2011-09-14 广东威创视讯科技股份有限公司 消除视频抖动的方法及装置
CN102231792A (zh) * 2011-06-29 2011-11-02 南京大学 基于特征匹配的电子稳像方法
CN104159098A (zh) * 2014-08-29 2014-11-19 杭州道玄影视科技有限公司 一种视频的时域一致性半透明边缘提取方法
CN105976330A (zh) * 2016-04-27 2016-09-28 大连理工大学 一种嵌入式雾天实时视频稳像方法
CN106780370A (zh) * 2016-11-25 2017-05-31 阿依瓦（北京）技术有限公司 一种图像去抖动设备及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于特征匹配与仿射变换的视频防抖算法;庞洵等;《微计算机信息》;软件时空;20080405;第24卷(第4-3期);180-182页 *

Also Published As

Publication number Publication date
CN108347549A (zh) 2018-07-31

Similar Documents

Publication Publication Date Title
Buades et al. Patch-based video denoising with optical flow estimation
US11455712B2 (en) Method and apparatus for enhancing stereo vision
Danielyan et al. BM3D frames and variational image deblurring
US9196021B2 (en) Video enhancement using related content
Danielyan et al. Image deblurring by augmented Lagrangian with BM3D frame prior
Li et al. Video super-resolution using an adaptive superpixel-guided auto-regressive model
Lukac et al. Sharpening vector median filters
TWI770432B (zh) 圖像復原方法、電子設備、儲存介質
CN106210448B (zh) 一种视频图像抖动消除处理方法
CN109345525B (zh) 一种去鬼影高动态范围图像质量评价方法
CN108347549B (zh) 一种基于视频帧的时间一致性来改善视频抖动的方法
CN115393231B (zh) 一种缺陷图像的生成方法、装置、电子设备和存储介质
US10504234B2 (en) Image processing apparatus and method
Zhang et al. Deep learning-based perceptual video quality enhancement for 3D synthesized view
Jia et al. BRAFT: Recurrent all-pairs field transforms for optical flow based on correlation blocks
US9875528B2 (en) Multi-frame patch correspondence identification in video
CN110443754B (zh) 一种数字图像分辨率提升的方法
Sonogashira et al. Variational Bayesian approach to multiframe image restoration
CN106897975B (zh) 一种超立方体粒计算的图像去噪方法
Rezayi et al. Huber Markov random field for joint super resolution
CN111598806A (zh) 图像滤波方法和装置、电子设备及存储介质
Singh et al. Optimum Patch Selection Using GA in Exemplar Based Image In-painting
Šurkala et al. Hierarchical evolving mean-shift
Greenewald et al. Detection of anomalous crowd behavior using spatio-temporal multiresolution model and kronecker sum decompositions
Oohara et al. Image Regularization with Morphological Gradient Priors Using Optimal Structuring Elements for Each Pixel

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant