CN107046640A - 一种基于帧间运动光滑性的无参考视频稳定质量评价方法 - Google Patents

一种基于帧间运动光滑性的无参考视频稳定质量评价方法 Download PDF

Info

Publication number
CN107046640A
CN107046640A CN201710098020.0A CN201710098020A CN107046640A CN 107046640 A CN107046640 A CN 107046640A CN 201710098020 A CN201710098020 A CN 201710098020A CN 107046640 A CN107046640 A CN 107046640A
Authority
CN
China
Prior art keywords
video
grid
frames
quality evaluation
slickness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710098020.0A
Other languages
English (en)
Other versions
CN107046640B (zh
Inventor
黄华
郑清卓
张磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201710098020.0A priority Critical patent/CN107046640B/zh
Publication of CN107046640A publication Critical patent/CN107046640A/zh
Application granted granted Critical
Publication of CN107046640B publication Critical patent/CN107046640B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种基于帧间运动光滑性的无参考视频稳定质量评价方法，属于视频处理领域。包括以下步骤：使用SURF算法提取相邻帧特征点；对视频帧进行网格化处理；计算网格单应性矩阵；将单应性矩阵组成捆绑路径；计算捆绑路径的平滑性；将全部捆绑路径的平滑性综合得到最终视频稳定质量评价结果。与已有的方法相比，该方法使用捆绑运动路径的本征测地曲率来表示路径的平滑程度，与主观质量评价具有很高的一致性，并且拥有较高的鲁棒性、灵活性和效率。

Description

一种基于帧间运动光滑性的无参考视频稳定质量评价方法
技术领域
本发明涉及一种视频稳定质量评价方法，特别涉及一种基于帧间运动光滑性的无参考视频稳定质量评价方法，属于视频处理领域。
背景技术
随着视频采集设备的廉价化，越来越多的视频采集设备应用于我们生活，涉及娱乐、安全、生产等各个方面。但是，由于使用环境和使用人员的限制，如大风对于监控摄像头的影响、业余爱好者没有三脚架、云台等专业的摄像稳定设备的情况，往往导致我们采集到的视频数据带有一定的抖动或者晃动，影响人眼的观看感受和后期的进一步处理。
对于视频稳定这一具有较高应用价值的问题，国内外的学者已经做了许多的基础研究。现在拥有着大量的视频稳定方法，如基于L1优化的视频稳定方法(M.Grundmann,V.Kwatra and I.Eassa.Auto-directed video stabilization with robust L1optimalcamera paths.In Proc.CVPR,225–232，2011)、基于内容保护图像扭曲的3D视频稳定方法(F.Liu,M.Gleicher,H.L.Jin,and A.Agarwala,Content-preserving warps for 3Dvideo stabilization.ACM Transactions on Graphics 28(3):44:1–44:9,2009)、子空间稳定方法(F.Liu,M.G leicher,J.Wang,H.L.Jin and A.Aharwala.Subspace videostabilization.ACM Transactions on Graphics 30(1):4:1–4:10,2011)。然而，在文献中很少出现一种可靠地视频稳定质量评价方法，用户无法了解视频稳定算法的客观性能，就无法挑选合适的稳定算法。
视频稳定质量评价分为全参考质量评价和无参考质量评价。若存在原始稳定的视频，则可以通过对比稳像视频与原始视频来计算抖动的去除程度和稳定视频的质量，称为全参考质量评价。无参考质量评价使用统计模型测量稳像前后的运动变化从而进行质量评价。现有的全参考质量评价的处理方式一般是人工合成稳定的视频或者稳定的摄像机路径，然后进行质量评价(Offiah M C,Amin N,Gross T,et al.An approach towards afull-reference-based benchmarking for quality-optimized endoscopic videostabilization systems[C]//Eighth Indian Conference on Computer Vision,Graphics and Image Processing.2012:1-8.)。这种处理方式实际上只能算部分参考评价，因为作为参考的视频或路径不是真实存在的。相对来说，无参考视频稳定质量评价在实际中应用更加广泛，因为它灵活且廉价(Battiato S,Gallo G,Puglisi G,et al.SIFTFeatures Tracking for Video Stabilization[C]//International Conference onImage Analysis and Processing.IEEE,2007:825-830.)。然而，当前已有的无参考方法仅仅依赖于简单的视觉线索，例如帧间变化或参数变化，这些都被证明是不够准确的且与主观质量评价矛盾。
发明内容
本发明的目的是针对现有无参考视频质量评价方法仅依赖于简单的视觉线索，评价方法不够准确且与主观质量评价矛盾，提出了一种基于帧间运动光滑性的无参考视频稳定质量评价方法。
本发明技术方案的思想是首先提取相邻帧特征点，然后对视频帧进行网格化处理，再计算网格单应性矩阵，将单应性矩阵组成捆绑路径，再计算捆绑路径的平滑性，最后将全部捆绑路径的平滑性综合得到最终视频稳定质量评价结果。
本发明的具体实现步骤如下：
步骤一、提取待评价视频中的相邻帧特征点，引入变量t并初始化；
其中，设置n为视频总帧数；设置t为视频帧索引数，并初始化t＝1，即从第一帧开始利用SURF(Herbert Bay,Andreas Ess,Tinne Tuytelaars,Luc Van Gool.Speeded-UpRobust Features//Similarity Matching in Computer Vision and Multimedia.2008:346-359.)算法提取相邻帧的对应特征点；
步骤二、视频帧网格化为W块矩形网格，具体为：
将待评价视频中的视频帧划分为W块矩形网格，对于某一网格，其形式化表示为如下公式(1)：
其中，表示网格，j表示网格索引，它的范围是1-W；W表示网格数量，是大于等于2的整数平方；t如步骤一所述表示视频帧索引数；表示集合，元素表示网格四个顶点坐标，i的取值范围是从1到4；
步骤三、计算网格单应性矩阵；
其中，计算网格单应性矩阵通过单应性估计实现，为了保证单应性估计的时空一致性，使用了Liu等人提出的变形方法(Liu S,Yuan L,Tan P,et al.Bundled camerapaths for video stabilization[J].Acm Transactions on Graphics,2013,32(4):78.)对网格进行变形处理，然后进行单应性估计；具体为：
步骤3.1对于某一网格，利用其变形前后的位置关系可以计算出对应的单应性矩阵，其形式化表示为如下公式(2)：
其中，表示变形后网格的顶点坐标，表示变形前网格的顶点坐标，表示计算得到的单应性矩阵；
步骤3.2再计算对应于这些网格的捆绑路径，其形式化表示为如下公式(3)：
步骤四、计算从第t-1帧到第t帧的测地线，得到切向量
步骤四到步骤六计算都针对某一网格所形成的捆绑路径，执行步骤四到步骤六可以获得捆绑路径上一个点的曲率，然后将一条路径上每个点的曲率相加求平均就可以得到这条路径的平均曲率，平均曲率可以表示一条路径的平滑程度，最后再将W个网格的捆绑路径的平滑程度结果求平均即可得到平均平滑程度，平均平滑程度可以衡量视频稳定性；
假设第t-1帧到第t帧的单应变换为Ht-1，那么对应的测地线为如下公式(4)：
其中，表示第t-1帧到第t帧的测地线；表示这条测地线上的位置，当γ(0)表示测地线起点，当γ(1)表示测地线终点；和为定义Id∈G上的黎曼指数函数和黎曼对数函数，G是一种空间几何变换的集合，的具体表示如下公式(5)：
其中，exp(·)为指数函数，是的逆映射；
根据公式(6)计算测地线的切向量：
公式(6)表示矩阵的幂级数求导公式，A是一个矩阵，t是矩阵函数的变量，计算可得公式(7)：
令公式(7)中的则可以得到从t-1帧到第t帧测地线终点的切向量，如下公式(8)：
其中，本步骤四里计算公式(5)、(7)和(8)中的U表示Ht-1；
步骤五、计算从第t帧到第t+1帧的测地线，得到切向量
设第t帧到第t+1帧的单应变换为Ht，从第第t帧到第t+1帧测地线为如下公式(9)：
令公式(9)中的则可以得到从第t帧到第t+1帧测地线起点的切向量为如下公式(10)：
步骤六、计算切向量和的夹角αt；
具体为：夹角αt根据公式(11)计算：
可以计算出向量夹角的余弦值，也就得到了向量夹角αt，具体计算如公式(12):
其中，tr表示矩阵的迹；
步骤七、计算总体曲率；
利用步骤四、五、六计算出某一网格对应的捆绑路径的曲率均值来衡量这条路径的平滑程度，其形式化表示为如下公式(13)：
其中t表示视频帧索引数，j表示网格索引，n表示视频总帧数；
步骤八、计算所有捆绑路径的平均平滑程度来衡量视频稳定性，其形式化表示为如下公式(14)：
其中W是捆绑路径的数量，也就是网格数量；
至此，从步骤一到步骤八，完成了一种基于帧间运动光滑性的无参考视频稳定质量评价方法。
有益效果
本发明一种基于帧间运动光滑性的无参考视频稳定质量评价方法，与现有视频稳定质量评价方法相比，具有如下有益效果：
1.本发明所提的视频稳定质量评价方法，能够可靠地进行视频稳定质量评价，使用户挑选合适的稳定算法；
2.本发明是一种新的无参考视频稳定质量评价算法，使用捆绑运动路径的本征测地曲率来表示路径的平滑程度，与主观质量评价具有很高的一致性；
3.本发明所提方法在一个大规模数据集上做的实验证明本方法在鲁棒性、灵活性和效率方面均具有很大优势。
附图说明
图1是本发明一种基于帧间运动光滑性的无参考视频稳定质量评价方法的流程图；
图2是本发明一种基于帧间运动光滑性的无参考视频稳定质量评价方法中网格单应性矩阵计算方法的示例。
具体实施方式
下面结合附图对本发明方法的实施方式做详细说明。
实施例1
本实施例阐述了应用本发明一种基于帧间运动光滑性的无参考视频稳定质量评价方法的具体实施例。
采用本发明所述方法，具体实现步骤如下：
步骤A、SURF算法提取相邻帧特征点；
具体到本实施例，是针对待评价视频，提取其中的相邻帧特征点，具体为：
一副图像中，有很多表征图像属性或类别的特征，包括形状特征、颜色特征、纹理特征等；为了得到帧与帧之间的运动变换关系，首先检测出图像帧It(t＝1,2,…,n,n表示图像帧数量)的特征点。提取特征点时,一般选用Harris角点或者SIFT特征点(D.G.Lowe.Object recognition from local scale-invariant features.InProc.ICCV,pages 1150–1157,1999.)，作为优选，本实施例采用了SURF算法实现特征点的检测。首先设置n为视频总帧数；设置t为视频帧索引数，并初始化t＝1，然后从第一帧开始利用SURF算法提取相邻帧的对应特征点。当选取一定数量的特征点之后，通过光流法得到这些特征点在下一帧It+1中的对应位置，为了得到较好效果，本实施例采用金字塔Lucas-Kanade光流方法实现。最后使用随机采样一致算法(random sample consensus,RANSAC)筛选匹配点。
步骤B、视频帧网格化为W块矩形网格，具体为：
将待评价视频中的视频帧划分为W块矩形网格，对于某一网格，其形式化表示为如下公式(15)：
其中，表示网格，j表示网格索引，它的范围是1-W；W表示网格数量，是大于等于2的整数平方；t如步骤一所述表示视频帧索引数；表示集合，元素表示网格四个顶点坐标，i的取值范围是从1到4；
步骤C、计算网格单应性矩阵；
其中，计算网格单应性矩阵通过单应性估计实现，为了保证单应性估计的时空一致性，使用了Liu等人提出的变形方法(Liu S,Yuan L,Tan P,et al.Bundled camerapaths for video stabilization[J].Acm Transactions on Graphics,2013,32(4):78.)对网格进行变形处理，然后进行单应性估计；具体为：
步骤C.1对于某一网格，利用其变形前后的位置关系可以计算出对应的单应性矩阵，其形式化表示为如下公式(16)：
其中，表示变形后网格的顶点坐标，表示变形前网格的顶点坐标，表示计算得到的单应性矩阵；
步骤C.2再计算对应于这些网格的捆绑路径，其形式化表示为如下公式(17)：
步骤D、计算从第t-1帧到第t帧的测地线，得到切向量
步骤D到步骤F的计算都针对某一网格所形成的捆绑路径，执行步骤四到步骤八可以获得捆绑路径上一个点的曲率，然后将一条路径上每个点的曲率相加求平均就可以得到这条路径的平均曲率，平均曲率可以表示一条路径的平滑程度，最后再将W个网格的捆绑路径的平滑程度结果求平均即可得到平均平滑程度，平均平滑程度可以衡量视频稳定性；
假设第t-1帧到第t帧的单应变换为Ht-1，那么对应的测地线为如下公式(18)：
其中，表示第t-1帧到第t帧的测地线；表示这条测地线上的位置，当γ(0)表示测地线起点，当γ(1)表示测地线终点；和为定义Id∈G上的黎曼指数函数和黎曼对数函数，G是一种空间几何变换的集合，的具体表示如下公式(19)：
其中，exp(·)为指数函数，是的逆映射；
根据公式(20)计算测地线的切向量：
公式(20)表示矩阵的幂级数求导公式，A是一个矩阵，t是矩阵函数的变量，计算可得公式(21)：
令公式(21)中的则可以得到从t-1帧到第t帧测地线终点的切向量，如下公式(22)：
步骤D里计算公式中的U表示Ht-1。
步骤E、计算从第t帧到第t+1帧的测地线，得到切向量
假设第t帧到第t+1帧的单应变换为Ht，那么对应的测地线为如下公式(23)：
那么，令公式(23)中的则可以得到从第t帧到第t+1帧测地线起点的切向量为如下公式(24)：
步骤F、计算切向量和的夹角αt；
具体为：夹角αt根据公式(25)计算：
可以计算出向量夹角的余弦值，也就得到了向量夹角αt，具体计算如公式(26):
其中tr表示矩阵的迹。
步骤G、计算总体曲率；
利用步骤D、E、F计算出某一网格对应的捆绑路径的曲率均值来衡量这条路径的平滑程度，其形式化表示为如下公式(27)：
其中t表示视频帧索引数，j表示网格索引，n表示视频总帧数；
步骤H、计算所有捆绑路径的平均平滑程度来衡量视频稳定性，其形式化表示为如下公式(28)：
其中W是捆绑路径的数量，也就是网格数量；
实施例2
本实施例通过客观计算利用六种视频稳定算法得到的稳像视频及原始抖动视频的稳定质量评价结果与主观评价结果对比，验证本发明的有效性。
其中原始视频数据集分为十二类视频，包括simple,rotation,zooming,riding,running,climbing,driving,rolling shutter,dark,crowd,large parallax以及near-range object。六种视频稳定算法分别为the full-frame method(FF)、the spatiallyand temporally optimized method(STO)、bundled paths methods(PB)、Adobe AfterEffects(AE)warp stabilizer、Google YouTube stabilizer、VirtualDub Deshaker。计算结果如表1所示：
表1 不同视频稳定算法排序：本发明的视频稳定质量评价结果以及括号中的主观视频稳定质量评价结果，最后一列是两种结果的相关系数
视频类别 FF STO PB AE YouTube Deshaker 原始视频 相关系数
simple 5(5) 1(1) 4(4) 3(3) 2(2) 6(6) 7(7) 1
rotation 3(3) 7(7) 5(5) 2(2) 1(1) 4(4) 6(6) 1
zooming 4(5) 1(1) 5(4) 3(3) 2(2) 6(6) 7(7) 0.964
riding 4(4) 1(1) 5(5) 3(3) 2(2) 6(6) 7(7) 1
running 4(4) 1(1) 6(6) 3(3) 2(2) 5(5) 7(7) 1
climbing 4(4) 1(1) 5(5) 3(3) 2(2) 6(6) 7(7) 1
driving 4(4) 1(1) 6(6) 3(2) 2(3) 5(5) 7(7) 0.964
rolling shutter 5(4) 2(2) 6(6) 3(3) 1(1) 4(5) 7(7) 0.964
dark 4(4) 1(2) 5(6) 3(3) 2(1) 6(5) 7(7) 0.928
crowd 4(5) 1(1) 6(6) 2(3) 3(2) 5(4) 7(7) 0.928
large parallex 5(5) 1(1) 6(6) 3(3) 2(2) 4(4) 7(7) 1
near-range object 4(4) 1(1) 5(6) 3(3) 2(2) 6(5) 7(7) 0.9643
平均结果 4(4) 1(1) 6(6) 3(3) 2(2) 5(5) 7(7) 0.976
表一中的相关系数使用了斯皮尔曼相关系数(Forthofer R N,Lehnen R G.RankCorrelation Methods[M]//Public Program Analysis.Springer US,1981:146-163.)，数值越接近1表示两组结果越相关。从表一可以看出本发明最终评价结果与主观评价结果具有很高的一致性。
实施例3
本实施例通过计算其他三种无参考视频稳定质量评价算法的评价结果与主观质量评价的评价结果之间的相关性，然后与实施例2中本发明计算得到的结果的相关性作对比，验证本发明的优越性。
本实施例所使用的三种无参考视频稳定质量评价算法分别为ITF(Battiato S,Gallo G,Puglisi G,et al.SIFT Features Tracking for Video Stabilization[C]//International Conference on Image Analysis and Processing.IEEE Xplore,2007:825-830.)；LHR(Liu S,Yuan L,Tan P,et al.Bundled camera paths for videostabilization[J].Acm Transactions on Graphics,2013,32(4):1-10.)；还有一种2D曲率的评价方法。所用原始视频数据集是实施例2中的十二类视频。对比结果如表2所示：
表2 斯皮尔曼相关系数对比
视频类别 ITF LHR 2D曲率 本发明
simple 0.8571 1 1 1
rotation 0.75 0.5714 1 1
zooming 0.6429 0.4685 0.75 0.9643
riding 0.75 0.9643 1 1
running 0.7857 0.9643 0.8214 1
climbing 0.8289 0.937 1 1
driving 0.75 0.8214 0.9286 0.9643
rolling shutter 0.9643 0.3571 0.7143 0.9643
dark 0.75 0.8571 0.8571 0.9286
crowd 0.5714 0.9286 0.7143 0.9286
large parallex -0.3929 1 0.8571 1
near-range object 0.6429 0.8929 0.9643 0.9643
平均结果 0.658 0.814 0.884 0.976
从表2平均结果可以看出本发明与主观质量评价的相关性相比于其他无参考视频稳定质量评价方法的相关性更高，具有一定的优越性。
为了说明本发明的内容及实施方法，本说明书给出了相关的具体实施例。在实施例中引入细节的目的不是限制权利要求书的范围，而是帮助理解本发明所述方法。本领域的技术人员应理解：在不脱离本发明及其所附权利要求的精神和范围内，对最佳实施例步骤的各种修改、变化或替换都是可能的。因此，本发明不应局限于最佳实施例及附图所公开的内容。

Claims (10)

1.一种基于帧间运动光滑性的无参考视频稳定质量评价方法，其特征在于：思想是首先提取相邻帧特征点，然后对视频帧进行网格化处理，再计算网格单应性矩阵，将单应性矩阵组成捆绑路径，再计算捆绑路径的平滑性，最后将全部捆绑路径的平滑性综合得到最终视频稳定质量评价结果；具体实现步骤如下：
步骤一、提取待评价视频中的相邻帧特征点，引入变量t并初始化；
步骤二、视频帧网格化为W块矩形网格；
步骤三、计算网格单应性矩阵；
步骤四、计算从第t-1帧到第t帧的测地线，得到切向量
步骤五、计算从第t帧到第t+1帧的测地线，得到切向量
步骤六、计算切向量和的夹角αt；
步骤七、计算总体曲率；
步骤八、计算所有捆绑路径的平均平滑程度来衡量视频稳定性；
至此，从步骤一到步骤八，完成了一种基于帧间运动光滑性的无参考视频稳定质量评价方法。
2.根据权利要求1所述的一种基于帧间运动光滑性的无参考视频稳定质量评价方法，其特征在于：步骤一中，设置n为视频总帧数；设置t为视频帧索引数，并初始化t＝1，即从第一帧开始利用SURF(Herbert Bay,Andreas Ess,Tinne Tuytelaars,Luc VanGool.Speeded-Up Robust Features//Similarity Matching in Computer Vision andMultimedia.2008:346-359.)算法提取相邻帧的对应特征点。
3.根据权利要求1所述的一种基于帧间运动光滑性的无参考视频稳定质量评价方法，其特征在于：步骤二将待评价视频中的视频帧划分为W块矩形网格，对于某一网格，其形式化表示为如下公式(1)：
其中，表示网格，j表示网格索引，它的范围是1-W；W表示网格数量，是大于等于2的整数平方；t如步骤一所述表示视频帧索引数；表示集合，元素表示网格四个顶点坐标，i的取值范围是从1到4。
4.根据权利要求1所述的一种基于帧间运动光滑性的无参考视频稳定质量评价方法，其特征在于：步骤三中，计算网格单应性矩阵通过单应性估计实现，为了保证单应性估计的时空一致性，使用了Liu等人提出的变形方法(Liu S,Yuan L,Tan P,et al.Bundledcamera paths for video stabilization[J].Acm Transactions on Graphics,2013,32(4):78.)对网格进行变形处理，然后进行单应性估计；步骤三具体为：
步骤3.1对于某一网格，利用其变形前后的位置关系可以计算出对应的单应性矩阵，其形式化表示为如下公式(2)：
其中，表示变形后网格的顶点坐标，表示变形前网格的顶点坐标，表示计算得到的单应性矩阵；
步骤3.2再计算对应于这些网格的捆绑路径，其形式化表示为如下公式(3)：
5.根据权利要求1所述的一种基于帧间运动光滑性的无参考视频稳定质量评价方法，其特征在于：步骤四到步骤六计算都针对某一网格所形成的捆绑路径，执行步骤四到步骤六可以获得捆绑路径上一个点的曲率，然后将一条路径上每个点的曲率相加求平均就可以得到这条路径的平均曲率，平均曲率可以表示一条路径的平滑程度，最后再将W个网格的捆绑路径的平滑程度结果求平均即可得到平均平滑程度，平均平滑程度可以衡量视频稳定性。
6.根据权利要求1所述的一种基于帧间运动光滑性的无参考视频稳定质量评价方法，其特征在于：步骤四假设第t-1帧到第t帧的单应变换为Ht-1，那么对应的测地线为如下公式(4)：
其中，表示第t-1帧到第t帧的测地线；表示这条测地线上的位置，当γ(0)表示测地线起点，当γ(1)表示测地线终点；和为定义Id∈G上的黎曼指数函数和黎曼对数函数，G是一种空间几何变换的集合，的具体表示如下公式(5)：
其中，exp(·)为指数函数，是的逆映射；
根据公式(6)计算测地线的切向量：
公式(6)表示矩阵的幂级数求导公式，A是一个矩阵，t是矩阵函数的变量，计算可得公式(7)：
令公式(7)中的则可以得到从t-1帧到第t帧测地线终点的切向量，如下公式(8)：
其中，本步骤四里计算公式(5)、(7)和(8)中的U表示Ht-1。
7.根据权利要求1所述的一种基于帧间运动光滑性的无参考视频稳定质量评价方法，其特征在于：步骤五设第t帧到第t+1帧的单应变换为Ht，从第第t帧到第t+1帧测地线为如下公式(9)：
令公式(9)中的则可以得到从第t帧到第t+1帧测地线起点的切向量为如下公式(10)：
8.根据权利要求1所述的一种基于帧间运动光滑性的无参考视频稳定质量评价方法，其特征在于：步骤六具体为：夹角αt根据公式(11)计算：
可以计算出向量夹角的余弦值，也就得到了向量夹角αt，具体计算如公式(12):
其中，tr表示矩阵的迹。
9.根据权利要求1所述的一种基于帧间运动光滑性的无参考视频稳定质量评价方法，其特征在于：步骤七利用步骤四、五、六计算出某一网格对应的捆绑路径的曲率均值来衡量这条路径的平滑程度，其形式化表示为如下公式(13)：
其中t表示视频帧索引数，j表示网格索引，n表示视频总帧数。
10.根据权利要求1所述的一种基于帧间运动光滑性的无参考视频稳定质量评价方法，其特征在于：步骤八计算所有捆绑路径的平均平滑程度来衡量视频稳定性的形式化表示为如下公式(14)：
其中W是捆绑路径的数量，也就是网格数量。
CN201710098020.0A 2017-02-23 2017-02-23 一种基于帧间运动光滑性的无参考视频稳定质量评价方法 Active CN107046640B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710098020.0A CN107046640B (zh) 2017-02-23 2017-02-23 一种基于帧间运动光滑性的无参考视频稳定质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710098020.0A CN107046640B (zh) 2017-02-23 2017-02-23 一种基于帧间运动光滑性的无参考视频稳定质量评价方法

Publications (2)

Publication Number Publication Date
CN107046640A true CN107046640A (zh) 2017-08-15
CN107046640B CN107046640B (zh) 2018-09-07

Family

ID=59544556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710098020.0A Active CN107046640B (zh) 2017-02-23 2017-02-23 一种基于帧间运动光滑性的无参考视频稳定质量评价方法

Country Status (1)

Country Link
CN (1) CN107046640B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191447A (zh) * 2018-08-31 2019-01-11 宁波大学 一种基于几何曲率分析的三维网格质量评价方法
CN110062222A (zh) * 2019-03-15 2019-07-26 华为技术有限公司 一种视频的评价方法、终端、服务器及相关产品
CN110135442A (zh) * 2019-05-20 2019-08-16 驭势科技（北京）有限公司 一种特征点提取算法的评价系统与方法
CN110753181A (zh) * 2019-09-29 2020-02-04 湖北工业大学 一种基于特征跟踪和网格路径运动的视频稳像方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103700069A (zh) * 2013-12-11 2014-04-02 武汉工程大学 一种基于orb算子的无参考视频平滑度的评价方法
US20140327788A1 (en) * 2012-01-16 2014-11-06 Google Inc. Methods and systems for processing a video for stabilization using dynamic crop
CN105681663A (zh) * 2016-02-26 2016-06-15 北京理工大学 一种基于帧间运动几何平滑性的视频抖动检测方法
CN106101535A (zh) * 2016-06-21 2016-11-09 北京理工大学 一种基于局部及整体运动差异补偿的视频稳定方法
CN106303507A (zh) * 2015-06-05 2017-01-04 江苏惠纬讯信息科技有限公司 基于时空联合信息的无参考视频质量评估方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140327788A1 (en) * 2012-01-16 2014-11-06 Google Inc. Methods and systems for processing a video for stabilization using dynamic crop
CN103700069A (zh) * 2013-12-11 2014-04-02 武汉工程大学 一种基于orb算子的无参考视频平滑度的评价方法
CN106303507A (zh) * 2015-06-05 2017-01-04 江苏惠纬讯信息科技有限公司 基于时空联合信息的无参考视频质量评估方法
CN105681663A (zh) * 2016-02-26 2016-06-15 北京理工大学 一种基于帧间运动几何平滑性的视频抖动检测方法
CN106101535A (zh) * 2016-06-21 2016-11-09 北京理工大学 一种基于局部及整体运动差异补偿的视频稳定方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191447A (zh) * 2018-08-31 2019-01-11 宁波大学 一种基于几何曲率分析的三维网格质量评价方法
CN109191447B (zh) * 2018-08-31 2021-11-19 宁波大学 一种基于几何曲率分析的三维网格质量评价方法
CN110062222A (zh) * 2019-03-15 2019-07-26 华为技术有限公司 一种视频的评价方法、终端、服务器及相关产品
CN110062222B (zh) * 2019-03-15 2021-06-29 华为技术有限公司 一种视频的评价方法、终端、服务器及相关产品
CN110135442A (zh) * 2019-05-20 2019-08-16 驭势科技（北京）有限公司 一种特征点提取算法的评价系统与方法
CN110135442B (zh) * 2019-05-20 2021-12-14 驭势科技（北京）有限公司 一种特征点提取算法的评价系统与方法
CN110753181A (zh) * 2019-09-29 2020-02-04 湖北工业大学 一种基于特征跟踪和网格路径运动的视频稳像方法

Also Published As

Publication number Publication date
CN107046640B (zh) 2018-09-07

Similar Documents

Publication Publication Date Title
Qin et al. FFA-Net: Feature fusion attention network for single image dehazing
Ren et al. Gated fusion network for single image dehazing
CN107046640B (zh) 一种基于帧间运动光滑性的无参考视频稳定质量评价方法
CN107358623B (zh) 一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪方法
CN108898567A (zh) 图像降噪方法、装置及系统
Zhuang et al. Acdnet: Adaptively combined dilated convolution for monocular panorama depth estimation
JP6438403B2 (ja) 結合された深度キューに基づく平面視画像からの深度マップの生成
WO2016183716A1 (zh) 图像去模糊方法及系统
CN103299610A (zh) 用于视频插入的方法和设备
US9589328B2 (en) Globally dominant point spread function estimation
CN103369209A (zh) 视频降噪装置及方法
KR20120021666A (ko) 파노라마 영상 생성 방법
CN102147915A (zh) 一种权重的稀疏边缘正则化图像复原方法
CN104867111A (zh) 一种基于分块模糊核集的非均匀视频盲去模糊方法
El-Saban et al. Fast stitching of videos captured from freely moving devices by exploiting temporal redundancy
CN109063776A (zh) 图像再识别网络训练方法、装置和图像再识别方法及装置
CN114419349B (zh) 一种图像匹配方法和装置
WO2018133119A1 (zh) 基于深度相机进行室内完整场景三维重建的方法及系统
WO2021008205A1 (zh) 图像处理
JP2012194751A (ja) 画像処理方法、画像処理装置及びコンピュータプログラム
CN110853027A (zh) 一种基于局部变动和全局变化的三维合成图像无参考质量评价方法
CN110717936A (zh) 一种基于相机姿态估计的图像拼接方法
CN106412441A (zh) 一种视频防抖控制方法以及终端
CN104268888A (zh) 一种图像模糊检测方法
JP6456244B2 (ja) カメラキャリブレーション方法および装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant