CN110062222A - 一种视频的评价方法、终端、服务器及相关产品 - Google Patents

一种视频的评价方法、终端、服务器及相关产品 Download PDF

Info

Publication number
CN110062222A
CN110062222A CN201910202676.1A CN201910202676A CN110062222A CN 110062222 A CN110062222 A CN 110062222A CN 201910202676 A CN201910202676 A CN 201910202676A CN 110062222 A CN110062222 A CN 110062222A
Authority
CN
China
Prior art keywords
video
evaluated
numerical value
frame
target component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910202676.1A
Other languages
English (en)
Other versions
CN110062222B (zh
Inventor
韩振华
高硕�
刘烨
马杰延
徐晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910202676.1A priority Critical patent/CN110062222B/zh
Publication of CN110062222A publication Critical patent/CN110062222A/zh
Priority to PCT/CN2020/078320 priority patent/WO2020187065A1/zh
Application granted granted Critical
Publication of CN110062222B publication Critical patent/CN110062222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种视频的评价方法、终端、服务器及相关产品,提高了对视频评价的准确性和全面性。本申请实施例方法包括:首先获取待评价视频,之后计算与该待评价视频相关联的目标参数,该目标参数包括抖动数值、裁剪数值以及畸变数值中的至少一项,其中,抖动数值包括待评价视频中每相邻两帧之间的抖动位移量的平均值,裁剪数值包括待评价视频中每相邻两帧之间的裁剪量,畸变数值包括与待评价视频匹配的曲线网格中至少一条曲线上的网格点到与所述至少一条曲线对应的拟合直线的平均距离,进而根据目标参数评价待评价视频。

Description

一种视频的评价方法、终端、服务器及相关产品
技术领域
本申请涉及视频防抖领域,尤其涉及一种视频的评价方法、终端、服务器及相关产品。
背景技术
随着网络速度和终端计算能力的增强,移动终端成为现代人们集娱乐、工作和学习活动的通用设备,扮演者个人智能助理的角色。生活短视频以及户外运动视频已经成为现代人消遣娱乐的主流方式。视频拍摄过程中难以避免会有抖动的画面,这样会大大降低视频的观看效果。
目前关于视频防抖的方法很多,但是不同的视频防抖方法所达到的效果有好有坏,因此需要视频防抖方法的优劣进行量化的评价,现有的一种方式是提取防抖处理后的视频中相邻帧的特征点并计算相邻帧之间的单应性矩阵(homograpy),之后把单应性矩阵中各个分量转换到频域内进行分析,统计低频信息占整个频率的比例,比例越高就说明该防抖方法越好。
然而,该评价方式只是从视频抖动频率的层面进行的量化分析,相同抖动频率的不同视频实际上可能有很大的抖动差异,例如,在抖动频率相同的情况下,帧画面较大的视频抖动的幅度明显要大于帧画面较小的视频抖动的幅度,因此该评价方式的准确性较低。
发明内容
本申请实施例提供了一种视频的评价方法,提高了对视频评价的准确性和全面性。
本申请第一方面提供了一种视频的评价方法,包括:
首先获取待评价视频,之后计算与该待评价视频相关联的目标参数,该目标参数包括抖动数值、裁剪数值以及畸变数值中的至少一项,其中,抖动数值包括待评价视频中每相邻两帧之间的抖动位移量的平均值,裁剪数值包括待评价视频中每相邻两帧之间的裁剪量,畸变数值包括与待评价视频匹配的曲线网格中至少一条曲线上的网格点到与所述至少一条曲线对应的拟合直线的平均距离,进而根据目标参数评价待评价视频。
在该实施方式中,根据抖动数值可以从抖动幅度的方面对视频进行评价,该评价方式的准确性更高,另外,结合裁剪数值以及畸变数值提高了该评价方法的全面性。
可选的,在一些可能的实施方式中,计算与待评价视频相关联的抖动数值包括:
获取待评价视频中第一帧和第二帧之间的单应性矩阵,第一帧和第二帧为待评价视频中任意的相邻两帧;
确定第一帧中第一顶点集合的第一坐标集合;
根据第一坐标集合和单应性矩阵计算第二帧中第二顶点集合的第二坐标集合,第一顶点集合与第二顶点集合匹配;
根据第一坐标集合和第二坐标集合计算抖动数值。
可选的,在一些可能的实施方式中,计算与待评价视频相关联的裁剪数值包括:
计算待评价视频中第一帧上的第一特征点到第一帧的边界的第一距离;
计算待评价视频中第二帧上的第二特征点到第二帧的边界的第二距离,第一帧和第二帧为待评价视频中任意的相邻两帧,第一特征点与第二特征点匹配;
根据第一距离与第二距离计算裁剪数值。
可选的,在一些可能的实施方式中,计算与待评价视频相关联的畸变数值包括:
根据曲线网格中目标曲线上的网格点获取与目标曲线对应的拟合直线;
计算网格点到拟合直线的平均距离得到畸变数值。
在上述三个的实施方式中,分别提供了计算抖动数值、裁剪数值以及畸变数值的具体实现方式,提高了本方案的可实现性。
可选的,在一些可能的实施方式中,该待评价视频可以是拍摄的原始视频,即本申请的评价方法针对的是终端所拍摄的原始视频,采用本申请的评价方法对视频的抖动情况进行评价。
在该实施方式中,待评价视频具体为终端所拍摄的原始视频,根据本申请的评价方法所提供的量化指标,用户可以更准确的对所拍摄视频的抖动情况有一个直观的了解,提高了本方案的实用性。
可选的,在一些可能的实施方式中,待评价视频至少可以包括第一待评价视频和第二待评价视频,根据所述目标参数评价所述待评价视频包括:
根据与所述第一待评价视频相关联的第一目标参数以及与与所述第二待评价视频相关联的第二目标参数对比评价所述第一待评价视频和所述第二待评价视频。
在该实施方式中,可以对多个待评价视频进行对比评价,使得用户可以直观的了解到多个待评价视频的抖动强弱,扩展了本方案的应用场景。
可选的,在一些可能的实施方式中,该待评价视频可以是原始视频经过防抖算法处理后的视频,即可以通过本申请的评价方法对待评价视频所采用的防抖算法进行评价。
在该实施方式中,待评价视频具体为原始视频经过防抖算法处理后的视频,通过该评价方式还可以对防抖算法进行评价,提高了本方案的扩展性。
可选的,在一些可能的实施方式中,所述待评价视频至少包括第一待评价视频和第二待评价视频,所述第一待评价视频采用第一防抖算法,所述第二待评价视频采用第二防抖算法,根据所述目标参数评价所述待评价视频包括:
根据与所述第一待评价视频相关联的第一目标参数以及与与所述第二待评价视频相关联的第二目标参数对比评价所述第一防抖算法和所述第二防抖算法。
在该实施方式中,可以对多个待评价视频进行对比评价,使得用户可以直观的了解到多个待评价视频分别采用的防抖算法的优劣,扩展了本方案的应用场景。
可选的,在一些可能的实施方式中,若抖动数值越小,裁剪数值越小和/或畸变数值越小,则待评价视频的抖动越小。
可选的,在一些可能的实施方式中,若抖动数值越小,裁剪数值越小和/或畸变数值越小,则待评价视频所采用的防抖算法越好。
在上述两个的实施方式中,提供了一种根据目标参数对视频的评价标准,其中,可以根据上述三个目标参数中的其中一个参数来评价,也可以结合上述三个目标参数中的多个参数来评价,另外,可以直接输出评价结果,也可以输出直接输出目标参数值以供用户自己评价,使得本方案的评价方法更灵活。
本申请第二方面提供了一种终端,包括:
处理器、存储器、总线以及输入输出接口;
所述存储器中存储有程序代码;
所述处理器调用所述存储器中的程序代码时执行如本申请第一方面或第一方面任一实施方式所执行的步骤。
本申请第三方面提供了一种服务器,包括:
处理器、存储器、总线以及输入输出接口;
所述存储器中存储有程序代码;
所述处理器调用所述存储器中的程序代码时执行如本申请第一方面或第一方面任一实施方式所执行的步骤。
本申请第四方面提供了一种计算机可读存储介质,包括指令,当所述指令在计算机上运行时,使得所述计算机执行本申请第一方面或第一方面任一实施方式提供的视频的评价方法中的流程。
本申请第五方面提供了一种计算机程序产品,当所述指令在计算机上运行时,使得所述计算机执行本申请第一方面或第一方面任一实施方式提供的视频的评价方法中的流程。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请实施例提供了一种视频的评价方法,首先获取待评价视频,之后计算得到与待评价视频相关联的目标参数,并根据目标参数评价该待评价视频,其中,目标参数中可以包括抖动数值、裁剪数值以及畸变数值,抖动数值包括待评价视频中每相邻两帧之间的抖动位移量的平均值,根据抖动数值可以在抖动幅度的层面对防抖方式的优劣进行评价,该评价方式的准确性更高,另外,结合裁剪数值以及畸变数值提高了该评价方法的全面性。
附图说明
图1为对同一场景拍摄视频所呈现的两种不同的抖动效果的示意图;
图2为本申请视频的评价方法的一个实施例示意图;
图3为视频解析为一帧一帧画面的示意图;
图4为计算抖动数值的示意图;
图5为完整帧画面与裁剪后帧画面的对比图;
图6为裁剪前帧画面上特征点到帧画面边界的距离的示意图;
图7为裁剪后帧画面上特征点到帧画面边界的距离的示意图;
图8为帧画面发生畸变的示意图;
图9为直线网格和曲线网格的对比示意图;
图10为与曲线对应的拟合直线的示意图;
图11为本申请终端的一个实施例示意图;
图12为本申请服务器的一个实施例示意图;
图13为本申请服务器的结构示意图;
图14为本申请终端的结构示意图。
具体实施方式
本申请实施例提供了一种视频的评价方法,提高了对视频评价的准确性和全面性。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
众所周知,抖动一直是视频拍摄的天敌,因此防抖直到今天也依然是前沿技术,当前的防抖技术通常包括硬件防抖和软件防抖两个方面。硬件防抖一般是在极度有限的机身空间里塞进更大的感光元件以及更大的光学防抖模块,光学防抖模块主要提升的是拍照的稳定性,面对视频拍摄时更大幅度的相机晃动效果并不理想。软件防抖一般指基于算法的电子防抖,在拍摄视频时预先对画面进行适当裁剪,只利用传感器的一部分画幅,由于需要裁剪掉一部分的画幅以供给防抖算法使用,相应地最终呈现给用户的视频画面也是经过了一定比例的裁剪,并不能充分展示广角镜头宽广的视野。
通过上述描述可知,当前有很多不同的防抖方式,但是也都并非可以完美解决视频抖动的问题,那么也就需要对视频的抖动或者视频所采用的防抖方式进行评价。如图1所示为对同一场景拍摄视频所呈现的两种不同的抖动效果,用户可以通过视觉直观的评价出下图的抖动明显比上图强烈。不过单纯通过人眼的比较还是有很大的局限性,因此需要一套量化的评价标准。
现有的一种方式是提取防抖处理后的视频中相邻帧的特征点并计算相邻帧之间的单应性矩阵,之后把单应性矩阵中各个分量转换到频域内进行分析,统计低频信息占整个频率的比例,比例越高就说明该防抖方法越好。然而,该评价方式只是从视频抖动频率的层面进行的量化分析,相同抖动频率的不同视频实际上可能有很大的抖动差异,例如,在抖动频率相同的情况下,帧画面较大的视频抖动的幅度明显要大于帧画面较小的视频抖动的幅度,因此该评价方式的准确性较低。
为此,本申请实施例提供了一种视频的评价方法,下面进行详细介绍,如图2所示:
201、获取待评价视频。
本申请中的视频评价方法即可应用于终端,也可以应用于服务器。对于终端来说,终端可以通过自身拍摄获取一段待评价视频,当然也可以通过下载等其他方式获取该待评价视频。对于服务器来说,服务器可以接收终端发送的待评价视频。对于待评价视频的具体获取方式,本申请不做限定。
可选的,待评价视频可以是终端拍摄的原始视频,也可以是原始视频经过防抖算法处理后的视频。例如,用户为了提高视频的防抖效果,可以采用第三方的防抖算法对终端所拍摄的原始视频进行防抖处理,当然,终端所拍摄的原始视频也可以是经过了终端内部防抖处理后的视频,具体此处不做限定。
202、计算与待评价视频相关联的目标参数。
本实施例中,目标参数具体可以包括抖动数值、裁剪数值以及畸变数值中的至少一项。其中,抖动数值包括待评价视频中每相邻两帧之间的抖动位移量的平均值,裁剪数值包括待评价视频中每相邻两帧之间的裁剪量,畸变数值包括与待评价视频匹配的曲线网格中至少一条曲线上的网格点到与至少一条曲线对应的拟合直线的平均距离。
下面分别对上述三种类型目标参数的具体算法进行详细说明:
1、目标参数为抖动数值。
从实际拍摄视频和视觉感受的方面来看,只有拍摄视频时画面移动的方向发生变化了才能给人视觉造成抖动的感觉,当画面连续沿着同一个方向移动时给人的是稳定的视觉感受。因此,本申请所定义的抖动数值是基于拍摄时画面移动方向发生了变化的抖动,例如,拍摄开始时画面是朝着X轴的正方向移动,此时并不视作抖动,但是如果之后画面在除了X轴正方向之外的其他方向上有位移(例如,X轴负方向、Y轴或Z轴方向),那么将视作视频发生了抖动。
请参阅图3,需要说明的是,一段视频可以解析为一帧一帧的画面,若视频发生抖动那么就可能出现相邻的两帧中的特征点(如图2中所示的9个特征点)在帧画面中的位置发生了变化。通过提取每一帧的特征点可以计算得到每相邻两帧之间的单应性矩阵(homography matrix)。其中,单应性矩阵可以理解为描述同一个平面的点在不同图像之间的映射关系,那么如果已知了前一帧画面上顶点的坐标,进而根据相邻帧之间的单应性矩阵即可计算得到后一帧画面上与前一帧上顶点所匹配的顶点坐标。
基于上述说明,下面通过示例对抖动数值的计算方式进行介绍:
请参阅图4,假设当前帧相对于前一帧是在同一方向上移动的两帧画面,而后一帧相对于当前帧存在抖动,因此需要求出后一帧相对于当前帧的抖动数值。首先可以定义前一帧四个顶点A,B,C,D的坐标,随后根据前一帧与当前帧之间的单应性矩阵计算出当前帧对应的四个顶点的坐标,同理可以进一步根据当前帧和后一帧之间的单应性矩阵计算出后一帧对应的四个顶点的坐标。那么通过计算当前帧四个顶点的坐标与前一帧四个顶点的坐标的差值即可得到当前帧相对于前一帧的位移矢量通过计算后一帧四个顶点的坐标与当前帧四个顶点的坐标的差值即可得到后一帧相对于当前帧的位移矢量以当前帧位移矢量建立坐标系o-xy,然后把后一帧位移矢量进行分解,其中,分解出的方向不同于矢量的矢量就是后一帧相对于当前帧的抖动数值。可以理解的是,对整个视频每两帧之间的抖动数值求和后再做均值即可得到与整个待评价视频相关联的抖动数值。
需要说明的是,上述计算每一帧上四个顶点的坐标只是提供了一种示例,在实际操作中也可以提取更多数量的顶点来计算相应的坐标,具体此处不做限定。
2、目标参数为裁剪数值。
如图5所示,一般经过防抖处理的视频会预先对画面进行适当裁剪,只利用传感器的一部分画幅(图5中所示的有效画幅),相应地最终呈现给用户的视频画面也是经过了一定比例的裁剪。若相邻的两帧之间如果有抖动发生,那么后一帧相对于前一帧有可能是经过了裁剪处理的。因此这里将裁剪数值也作为视频的其中一项评价指标。
基于上述说明,下面通过示例对裁剪数值的计算方式进行介绍:
请参阅图6和图7,图6和图7是对同一场景所拍摄的视频中相邻的两帧,可以看出图7相对于图6进行了适当的裁剪。首先提取上述相邻两帧中相匹配的特征点,例如,图6中的第一特征点和图7中的第二特征点都是图像中的杯子,之后分别计算第一特征点到图6所示帧的边界的第一距离和第二特征点到图7所示帧的边界的第二距离,进而根据第一距离和第二距离即可计算上述相邻两帧之间的裁剪数值。具体地,该裁剪数值可以是裁剪变化量,即第一距离与第二距离的差值;除此之外,该裁剪数值也可以是其他形式,例如也可以是裁剪百分比,即第一距离与第二距离的比值,具体此处不做限定。可以理解的是,对整个视频每两帧之间的裁剪数值求和后再做均值即可得到与整个待评价视频相关联的裁剪数值。
需要说明的是,在实际应用中,每一帧图像上提取的特征点的数量可以是1个也可以是多个,具体此处不做限定。另外,特征点到帧边界的距离可以是指特征点到帧画面中任意一条边界的距离,具体此处不做限定。
3、目标参数为畸变数值。
请参阅图8,若拍摄视频时发生抖动,有可能出现相邻的两个帧画面之间后一帧相对于前一帧图像上出现扭曲的情况,例如图8中,后一帧图像中所拍摄到的楼的轮廓不再是规则的直线,发生了一定程度的弯曲。本申请中对这种图像扭曲的情况进行了量化,并把该量化结果定义为畸变数值。
基于上述说明,下面通过示例对畸变数值的计算方式进行介绍:
请参阅图9,假设前一帧图像正常而后一帧图像发生了扭曲,那么可以在前一帧上布局均匀的直线网格,并求出每个网格点(各直线的交点)的坐标,另外计算得到这两帧之间的单应性矩阵,直线网格上的网格点通过单应性矩阵转换到后一帧上,由于单应性矩阵的非线性特定导致原来共线的交点变换后不再共线,因此与后一帧图像匹配的不再是直线网格而是曲线网格。请参阅图10,进一步根据直线网格上各网格点的坐标以及单应性矩阵即可求得曲线网格上对应的各网格点的坐标,之后可以生成与曲线网格中的曲线所对应的拟合直线,最终再计算该曲线上各网格点到该拟合直线的平均距离得到畸变数值。
需要说明的是,在实际应用中,可以只选取曲线网格中的某一条曲线来计算畸变数值,也可以选取多条曲线来计算畸变数值的平均值,具体此处不做限定。
203、根据目标参数评价待评价视频。
本实施例中,在计算出与待评价视频相关联的目标参数后,需要进一步根据目标参数评价待评价视频。通过上述描述可以理解,对于待评价视频为终端拍摄的原始视频,若抖动数值越小,裁剪数值越小或者畸变数值越小,则该待评价视频的抖动越小,当然若终端自身具备相应的防抖功能,也可以说明该终端自身的防抖功能越好。对于待评价视频为原始视频经过防抖算法处理后的视频,若抖动数值越小,裁剪数值越小或者畸变数值越小,则该待评价视频所采用的防抖算法越好。
需要说明的是,在实际应用中,可以根据上述三个目标参数中的其中一个来评价待评价视频,也可以综合其中多个不同类型的目标参数来评价待评价视频,具体此处不做限定。另外,对于评价的结果可以通过不同的等级进行区分,例如可以分为“好,中,差”三个等级,当然评价结果也可以通过评分等其他形式进行区分,具体此处不做限定。并且,用户可以根据自身需要选择某一个视频来评价,也可以输入多个不同的视频通过比较进行评价,例如输入的评价结果为“视频A优于视频B”,即说明视频A相对于视频B的抖动更小,或者视频A相对于视频B所采用的防抖算法更好,具体此处不做限定。
下面通过一些示例对视频评价的过程进行介绍:
1、单一视频的评价方式较为直接,即输入视频并输出评价结果。例如,用户输入待评价视频并选择拍摄该视频的终端设备,系统中预先设置有各目标参数的具体数值所对应的评价结果,如“裁剪数值0-10%”对应的评价结果为“好”,“裁剪数值10%-20%”对应的评价结果为“中”,“裁剪数值超过20%”对应的评价结果为“差”,因此系统根据计算得到的目标参数即可生成评价结果。
2、多个不同视频的对比评价可以分为分为以下几种情况。第一、同一终端拍摄的不同视频;第二,不同终端拍摄的不同视频;第三,同一原始视频经过不同防抖算法处理后的视频;第四,不同的原始视频经过不同防抖算法处理后的视频。例如,用户想要对同一终端拍摄的两段不同的视频(视频A和视频B)进行评价,由于同一终端拍摄出来的视频的帧画面大小一致,用户只需输入视频A和视频B系统即可通过计算分析反馈评价结果,如视频A和视频B是同一终端拍摄的两段不同的原始视频,那么评价结果可以是“视频A抖动小于视频B”或者视频A和视频B是经过不同防抖算法处理后的两段视频,那么评价结果可以是“视频A的防抖算法优于视频B的防抖算法”等。又例如,用户想要对不同终端拍摄的视频(视频C和视频D)进行评价,由于不同终端拍摄出来的视频的帧画面大小有可能不同,用户在输入视频C和视频D的同时还可以输入分别拍摄视频C和视频D的终端,系统通过计算分析反馈评价结果。
需要说明的是,若系统综合上述三种不同类型的目标参数来评价,那么有可能出现以下三个参数大小对比不统一的情况:例如,对于视频A和视频B,视频A的抖动数值小于视频B的抖动数值,不过视频A的裁剪数值大于视频B的裁剪数值,并且视频A的畸变数值大于视频B的畸变数值。那么系统可以优先设置有三个参数对应的权重,如三个参数按重要性排列的话,抖动数值的重要性最高,其次是裁剪数值,再次是畸变数值,那么三个参数分别对应的权重可以是抖动数值(权重60%),裁剪数值(权重30%),畸变数值(权重10%),在这种情况下,系统不再分别对比视频A和视频B的三个目标参数,而是通过加权求平均分的方式分别计算出视频A和视频B的加权数值,进而对视频A和视频B的加权数值进行比较并输出评价结果。另外,系统也可以将计算得到的目标参数的数值直接反馈给用户,由用户自己来评价,具体此处不做限定。
需要说明的是,本申请的评价方式适用于各种类型针对于视频的防抖方式,除了上述提到的防抖算法外,例如还可以对拍摄视频时所使用的云台进行评价,具体此处不做限定。
本申请实施例中,首先获取待评价视频,之后计算得到与待评价视频相关联的目标参数,并根据目标参数评价该待评价视频,其中,目标参数中可以包括抖动数值、裁剪数值以及畸变数值,抖动数值包括待评价视频中每相邻两帧之间的抖动位移量的平均值,根据抖动数值可以在抖动幅度的层面对防抖方式的优劣进行评价,该评价方式的准确性更高,另外,结合裁剪数值以及畸变数值提高了该评价方法的全面性。
上面对本申请中一种视频的评价方法进行了描述,下面对本申请中执行该视频的评价方法的设备进行描述。
请参阅图11,执行上述视频的评价方法的设备为终端,本申请中终端的一个实施例包括:
获取单元1101、用于获取待评价视频;
计算单元1102、用于计算与待评价视频相关联的目标参数,目标参数包括抖动数值、裁剪数值以及畸变数值中的至少一项,抖动数值包括待评价视频中每相邻两帧之间的抖动位移量的平均值,裁剪数值包括待评价视频中每相邻两帧之间的裁剪量,畸变数值包括与待评价视频匹配的曲线网格中至少一条曲线上的网格点到与至少一条曲线对应的拟合直线的平均距离;
评价单元1103、用于根据目标参数评价待评价视频。
具体地,获取单元1101执行的步骤与上述图2所示实施例中步骤201类似,计算单元1102执行的步骤与上述图2所示实施例中步骤202类似,评价单元1103执行的步骤与上述图2所示实施例中步骤203类似,具体此处不再赘述。
请参阅图12,执行上述视频的评价方法的设备为服务器,本申请中服务器的一个实施例包括:
获取单元1201、用于获取待评价视频;
计算单元1202、用于计算与待评价视频相关联的目标参数,目标参数包括抖动数值、裁剪数值以及畸变数值中的至少一项,抖动数值包括待评价视频中每相邻两帧之间的抖动位移量的平均值,裁剪数值包括待评价视频中每相邻两帧之间的裁剪量,畸变数值包括与待评价视频匹配的曲线网格中至少一条曲线上的网格点到与至少一条曲线对应的拟合直线的平均距离;
评价单元1203、用于根据目标参数评价待评价视频。
具体地,获取单元1201执行的步骤与上述图2所示实施例中步骤201类似,计算单元1202执行的步骤与上述图2所示实施例中步骤202类似,评价单元1203执行的步骤与上述图2所示实施例中步骤203类似,具体此处不再赘述。
上面从模块化功能实体的角度对本申请实施例中的服务器及终端进行了描述,下面从硬件处理的角度对本申请施例中的服务器及终端进行描述:
图13是本申请实施例提供的一种服务器结构示意图,该服务器1300可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processingunits,CPU)1322(例如,一个或一个以上处理器)和存储器1332,一个或一个以上存储应用程序1342或数据1344的存储介质1330(例如一个或一个以上海量存储设备)。其中,存储器1332和存储介质1330可以是短暂存储或持久存储。存储在存储介质1330的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1322可以设置为与存储介质1330通信,在服务器1300上执行存储介质1330中的一系列指令操作。
该中央处理器1322可以根据指令操作执行如图2所示实施例中的全部或部分动作,具体此处不再赘述。
服务器1300还可以包括一个或一个以上电源1326,一个或一个以上有线或无线网络接口1350,一个或一个以上输入输出接口1358,和/或,一个或一个以上操作系统1341,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
本申请实施例还提供了一种终端,如图14所示,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理(personal digital assistant,PDA)、销售终端(pointof sales,POS)、车载电脑等任意终端设备,以终端为手机为例:
图14示出的是与本申请实施例提供的终端相关的手机的部分结构的框图。参考图14,手机包括:射频(radio frequency,RF)电路1410、存储器1420、输入单元1430、显示单元1440、传感器1450、音频电路1460、无线保真(wireless fidelity,WiFi)模块1470、处理器1480、以及电源1490等部件。本领域技术人员可以理解,图14中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图14对手机的各个构成部件进行具体的介绍:
RF电路1410可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器1480处理;另外,将设计上行的数据发送给基站。通常,RF电路1410包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noiseamplifier,LNA)、双工器等。此外,RF电路1410还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(globalsystem of mobile communication,GSM)、通用分组无线服务(general packet radioservice,GPRS)、码分多址(code division multiple access,CDMA)、宽带码分多址(wideband code division multiple access,WCDMA)、长期演进(long term evolution,LTE)、电子邮件、短消息服务(short messaging service,SMS)等。
存储器1420可用于存储软件程序以及模块,处理器1480通过运行存储在存储器1420的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器1420可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1420可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1430可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元1430可包括触控面板1431以及其他输入设备1432。触控面板1431,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1431上或在触控面板1431附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板1431可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1480,并能接收处理器1480发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1431。除了触控面板1431,输入单元1430还可以包括其他输入设备1432。具体地,其他输入设备1432可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1440可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1440可包括显示面板1441,可选的,可以采用液晶显示器(liquidcrystal display,LCD)、有机发光二极管(organic light-emitting diode,OLED)等形式来配置显示面板1441。进一步的,触控面板1431可覆盖显示面板1441,当触控面板1431检测到在其上或附近的触摸操作后,传送给处理器1480以确定触摸事件的类型,随后处理器1480根据触摸事件的类型在显示面板1441上提供相应的视觉输出。虽然在图14中,触控面板1431与显示面板1441是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板1431与显示面板1441集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1450,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1441的亮度,接近传感器可在手机移动到耳边时,关闭显示面板1441和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路1460、扬声器1461,传声器1462可提供用户与手机之间的音频接口。音频电路1460可将接收到的音频数据转换后的电信号,传输到扬声器1461,由扬声器1461转换为声音信号输出;另一方面,传声器1462将收集的声音信号转换为电信号,由音频电路1460接收后转换为音频数据,再将音频数据输出处理器1480处理后,经RF电路1410以发送给比如另一手机,或者将音频数据输出至存储器1420以便进一步处理。
WiFi属于短距离无线传输技术,手机通过WiFi模块1470可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图14示出了WiFi模块1470,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变申请的本质的范围内而省略。
处理器1480是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器1420内的软件程序和/或模块,以及调用存储在存储器1420内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器1480可包括一个或多个处理单元;优选的,处理器1480可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1480中。
手机还包括给各个部件供电的电源1490(比如电池),优选的,电源可以通过电源管理系统与处理器1480逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本申请实施例中,处理器1480具体用于执行图2所示实施例中的全部或部分动作,具体此处不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,read-onlymemory)、随机存取存储器(RAM,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (14)

1.一种视频的评价方法,其特征在于,包括:
获取待评价视频;
计算与所述待评价视频相关联的目标参数,所述目标参数包括抖动数值、裁剪数值以及畸变数值中的至少一项,所述抖动数值包括所述待评价视频中每相邻两帧之间的抖动位移量的平均值,所述裁剪数值包括所述待评价视频中每相邻两帧之间的裁剪量,所述畸变数值包括与所述待评价视频匹配的曲线网格中至少一条曲线上的网格点到与所述至少一条曲线对应的拟合直线的平均距离;
根据所述目标参数评价所述待评价视频。
2.根据权利要求1所述的方法,其特征在于,所述目标参数为所述抖动数值,计算与所述待评价视频相关联的目标参数包括:
获取所述待评价视频中第一帧和第二帧之间的单应性矩阵,所述第一帧和所述第二帧为所述待评价视频中任意的相邻两帧;
确定所述第一帧中第一顶点集合的第一坐标集合;
根据所述第一坐标集合和所述单应性矩阵计算所述第二帧中第二顶点集合的第二坐标集合,所述第一顶点集合与所述第二顶点集合匹配;
根据所述第一坐标集合和所述第二坐标集合计算所述抖动数值。
3.根据权利要求1所述的方法,其特征在于,所述目标参数为所述裁剪数值,计算与所述待评价视频相关联的目标参数包括:
计算所述待评价视频中第一帧上的第一特征点到所述第一帧的边界的第一距离;
计算所述待评价视频中第二帧上的第二特征点到所述第二帧的边界的第二距离,所述第一帧和所述第二帧为所述待评价视频中任意的相邻两帧,所述第一特征点与所述第二特征点匹配;
根据所述第一距离与所述第二距离计算所述裁剪数值。
4.根据权利要求1所述的方法,其特征在于,所述目标参数为所述畸变数值,计算与所述待评价视频相关联的目标参数包括:
根据所述曲线网格中目标曲线上的网格点获取与所述目标曲线对应的拟合直线;
计算所述网格点到所述拟合直线的平均距离得到所述畸变数值。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述待评价的视频为拍摄的原始视频。
6.根据权利要求5所述的方法,其特征在于,所述待评价视频至少包括第一待评价视频和第二待评价视频,根据所述目标参数评价所述待评价视频包括:
根据与所述第一待评价视频相关联的第一目标参数以及与与所述第二待评价视频相关联的第二目标参数比较所述第一待评价视频和所述第二待评价视频。
7.根据权利要求1至4中任一项所述的方法,其特征在于,所述待评价视频为拍摄的原始视频经过防抖算法处理后的视频。
8.根据权利要求7所述的方法,其特征在于,所述待评价视频至少包括第一待评价视频和第二待评价视频,所述第一待评价视频采用第一防抖算法,所述第二待评价视频采用第二防抖算法,根据所述目标参数评价所述待评价视频包括:
根据与所述第一待评价视频相关联的第一目标参数以及与所述第二待评价视频相关联的第二目标参数,比较所述第一防抖算法和所述第二防抖算法。
9.根据权利要求5所述的方法,其特征在于,若所述抖动数值越小,所述裁剪数值越小和/或所述畸变数值越小,则所述待评价视频的抖动越小。
10.根据权利要求7所述的方法,其特征在于,若所述抖动数值越小,所述裁剪数值越小和/或所述畸变数值越小,则所述待评价视频所采用的所述防抖算法越好。
11.一种终端,其特征在于,包括:
处理器、存储器、总线以及输入输出接口;
所述存储器中存储有程序代码;
所述处理器调用所述存储器中的程序代码时执行如权利要求1至10中任一项所述的方法。
12.一种服务器,其特征在于,包括:
处理器、存储器、总线以及输入输出接口;
所述存储器中存储有程序代码;
所述处理器调用所述存储器中的程序代码时执行如权利要求1至10中任一项所述的方法。
13.一种计算机可读存储介质,包括指令,其特征在于,当所述指令在计算机上运行时,使得所述计算机执行如权利要求1至10中任意一项所述的方法。
14.一种包含指令的计算机程序产品,其特征在于,当所述指令在计算机上运行时,使得所述计算机执行如权利要求1至10中任意一项所述的方法。
CN201910202676.1A 2019-03-15 2019-03-15 一种视频的评价方法、终端、服务器及相关产品 Active CN110062222B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910202676.1A CN110062222B (zh) 2019-03-15 2019-03-15 一种视频的评价方法、终端、服务器及相关产品
PCT/CN2020/078320 WO2020187065A1 (zh) 2019-03-15 2020-03-07 一种视频的评价方法、终端、服务器及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910202676.1A CN110062222B (zh) 2019-03-15 2019-03-15 一种视频的评价方法、终端、服务器及相关产品

Publications (2)

Publication Number Publication Date
CN110062222A true CN110062222A (zh) 2019-07-26
CN110062222B CN110062222B (zh) 2021-06-29

Family

ID=67316142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910202676.1A Active CN110062222B (zh) 2019-03-15 2019-03-15 一种视频的评价方法、终端、服务器及相关产品

Country Status (2)

Country Link
CN (1) CN110062222B (zh)
WO (1) WO2020187065A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110351579A (zh) * 2019-08-16 2019-10-18 深圳特蓝图科技有限公司 一种视频的智能剪辑算法
WO2020187065A1 (zh) * 2019-03-15 2020-09-24 华为技术有限公司 一种视频的评价方法、终端、服务器及相关产品
CN112584341A (zh) * 2019-09-30 2021-03-30 华为技术有限公司 一种通信方法及装置
CN114401395A (zh) * 2021-12-30 2022-04-26 中铁第四勘察设计院集团有限公司 一种基于视频智能分析检测摄像机安装松旷的方法及系统
CN117012228A (zh) * 2023-07-28 2023-11-07 支付宝(杭州)信息技术有限公司 训练评估模型、评估视频质量的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104135597A (zh) * 2014-07-04 2014-11-05 上海交通大学 一种视频抖动自动检测方法
CN104349039A (zh) * 2013-07-31 2015-02-11 展讯通信(上海)有限公司 视频防抖方法和装置
CN105812788A (zh) * 2016-03-24 2016-07-27 北京理工大学 一种基于帧间运动振幅统计的视频稳定质量评价方法
CN106251317A (zh) * 2016-09-13 2016-12-21 野拾(北京)电子商务有限公司 空间摄影防抖处理方法及装置
CN107046640A (zh) * 2017-02-23 2017-08-15 北京理工大学 一种基于帧间运动光滑性的无参考视频稳定质量评价方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295626A (ja) * 2005-04-12 2006-10-26 Canon Inc 魚眼像処理装置及びその方法並びに魚眼像撮像装置
CN102572501A (zh) * 2010-12-23 2012-07-11 华东师范大学 考虑网络性能及视频本身特征的视频质量评估方法及装置
CN110062222B (zh) * 2019-03-15 2021-06-29 华为技术有限公司 一种视频的评价方法、终端、服务器及相关产品

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104349039A (zh) * 2013-07-31 2015-02-11 展讯通信(上海)有限公司 视频防抖方法和装置
CN104135597A (zh) * 2014-07-04 2014-11-05 上海交通大学 一种视频抖动自动检测方法
CN105812788A (zh) * 2016-03-24 2016-07-27 北京理工大学 一种基于帧间运动振幅统计的视频稳定质量评价方法
CN106251317A (zh) * 2016-09-13 2016-12-21 野拾(北京)电子商务有限公司 空间摄影防抖处理方法及装置
CN107046640A (zh) * 2017-02-23 2017-08-15 北京理工大学 一种基于帧间运动光滑性的无参考视频稳定质量评价方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020187065A1 (zh) * 2019-03-15 2020-09-24 华为技术有限公司 一种视频的评价方法、终端、服务器及相关产品
CN110351579A (zh) * 2019-08-16 2019-10-18 深圳特蓝图科技有限公司 一种视频的智能剪辑算法
CN110351579B (zh) * 2019-08-16 2021-05-28 深圳特蓝图科技有限公司 一种视频的智能剪辑方法
CN112584341A (zh) * 2019-09-30 2021-03-30 华为技术有限公司 一种通信方法及装置
CN114401395A (zh) * 2021-12-30 2022-04-26 中铁第四勘察设计院集团有限公司 一种基于视频智能分析检测摄像机安装松旷的方法及系统
CN117012228A (zh) * 2023-07-28 2023-11-07 支付宝(杭州)信息技术有限公司 训练评估模型、评估视频质量的方法及装置

Also Published As

Publication number Publication date
WO2020187065A1 (zh) 2020-09-24
CN110062222B (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN110058694B (zh) 视线追踪模型训练的方法、视线追踪的方法及装置
CN110062222A (zh) 一种视频的评价方法、终端、服务器及相关产品
CN107609514B (zh) 人脸识别方法及相关产品
JP6374970B2 (ja) 画像処理方法および装置ならびにコンピュータデバイス
US10354158B2 (en) Iris-based living-body detection method, mobile terminal and storage medium
CN107292285B (zh) 虹膜活体检测方法及相关产品
CN110248254A (zh) 显示控制方法及相关产品
CN106959761B (zh) 一种终端拍照方法、装置及终端
CN110163045A (zh) 一种手势动作的识别方法、装置以及设备
CN107730460B (zh) 一种图像处理方法及移动终端
CN109462745B (zh) 一种白平衡处理方法及移动终端
CN109495616B (zh) 一种拍照方法及终端设备
CN108574778A (zh) 投屏亮度调节方法以及相关产品
CN110351424A (zh) 手势交互方法和终端
CN109544486A (zh) 一种图像处理方法及终端设备
CN110876036A (zh) 一种视频生成的方法以及相关装置
CN110209245A (zh) 人脸识别方法及相关产品
CN110825897A (zh) 图像筛选方法、装置及移动终端
WO2019001254A1 (zh) 虹膜活体检测方法及相关产品
CN104915625B (zh) 一种人脸识别的方法及装置
CN108200332A (zh) 一种拼图方法、移动终端及计算机可读存储介质
CN107330867B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
CN110363702B (zh) 图像处理方法及相关产品
CN108718389A (zh) 一种拍摄模式选择方法及移动终端
US10706282B2 (en) Method and mobile terminal for processing image and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant