CN106412567A - 用于确定视频清晰度的方法及系统 - Google Patents

用于确定视频清晰度的方法及系统 Download PDF

Info

Publication number
CN106412567A
CN106412567A CN201610832185.1A CN201610832185A CN106412567A CN 106412567 A CN106412567 A CN 106412567A CN 201610832185 A CN201610832185 A CN 201610832185A CN 106412567 A CN106412567 A CN 106412567A
Authority
CN
China
Prior art keywords
video
frame
definition
determined
content characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610832185.1A
Other languages
English (en)
Inventor
沙安澜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Small Mutual Entertainment Technology Co Ltd
Original Assignee
Beijing Small Mutual Entertainment Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Small Mutual Entertainment Technology Co Ltd filed Critical Beijing Small Mutual Entertainment Technology Co Ltd
Priority to CN201610832185.1A priority Critical patent/CN106412567A/zh
Publication of CN106412567A publication Critical patent/CN106412567A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Television Systems (AREA)

Abstract

本申请提供了一种用于确定视频清晰度的方法，包括：使用多个视频的元信息特征和内容特征训练分类器；从待确定清晰度的视频的帧序列中确定出多个特定帧；从确定出的所述多个特定帧提取所述待确定清晰度的视频的内容特征；以及通过训练后的分类器基于所述待确定清晰度的视频的元信息特征和内容特征确定所述待确定清晰度的视频的清晰度。

Description

用于确定视频清晰度的方法及系统
技术领域
本申请涉及视频领域，尤其涉及一种用于确定视频清晰度的方法及系统。
背景技术
对于视频搜索产品而言，搜索结果中视频清晰度信息，通过互联网中视频相关上下文信息得到，会存在以下问题：(1)大量视频仅有可播放视频资源本身，上下文描述信息缺失，无法获取清晰度；(2)不同视频提供方对于清晰度标准并不相同，如：超清、流程、极速、标准等，没有统一标准；(3)数据可信程度依赖于视频提供方，存在普通视频标记为高清情况；为此需要引入基于视频内容的清晰度计算方法。
现有技术中公开的视频清晰度分析方法及装置具有各种缺陷，例如有考虑视频资源本身传输压缩产生的失真以及计算量过大的性能问题等，此外，一些方法并未区分视频宽高尺寸，应用于视频数据来源多样的互联网视频资源时，会导致计算结果与用户实际体验不符。
考虑到准确识别海量视频清晰度直接影响用户观看体验，对视频产品有着重要意义，急需一种能够可靠且标准统一的确定视频清晰度的方法。
发明内容
针对上述缺陷，本申请提供一种用于确定视频清晰度的方法及系统，能够以高可信度和统一度确定视频的清晰度。
本申请的一个方面提供了一种用于确定视频清晰度的方法，该方法可包括：从视频的帧序列中确定出多个特定帧；从确定出的多个特定帧提取视频的内容特征；以及通过训练后的分类器基于视频的元信息特征和内容特征确定视频的清晰度。
根据本申请的实施方式，从视频的帧序列中确定出多个特定帧可包括：判定出帧序列中的帧为关键帧；以及确定被判定为关键帧的帧的数量达到预定阈值。
根据本申请的实施方式，从视频的帧序列中确定出多个特定帧可包括：判定出帧序列中的帧为灰度均值在预定灰度范围内的有效帧；以及确定被判定为有效帧的帧的数量达到预定阈值。
根据本申请的实施方式，从视频的帧序列中确定出多个特定帧可包括：判定出帧序列中的帧为关键帧；判定出关键帧为灰度均值在预定灰度范围内的有效关键帧；以及确定被判定为有效关键帧的帧的数量达到预定阈值。
根据本申请的实施方式，上述方法还可包括：使用多个已确定清晰度的视频训练分类器。
根据本申请的实施方式，使用多个已确定清晰度的视频训练分类器可包括：提取多个已确定清晰度的视频的元信息特征和内容特征；以及将所提取的多个已确定清晰度的视频的元信息特征和内容特征作为分类器的训练输入。
根据本申请的实施方式，已确定清晰度的视频的内容特征可是基于已确定清晰度的视频的帧序列中为关键帧、且为灰度均值在预定灰度范围内的帧提取的。
根据本申请的实施方式，从确定出的多个特定帧提取视频的内容特征可包括：从确定出的多个特定帧的频域信息提取视频的内容特征。
根据本申请的实施方式，元信息特征可包括：视频时长、视频码率、视频大小、每秒帧数、视频宽度每行像素数以及视频高度。
根据本申请的实施方式，分类器可为决策树分类器。
根据本申请的实施方式，已确定清晰度的多个视频的清晰度可通过人工标记。
本申请的另一个方面提供了一种用于确定视频清晰度的系统，可包括分类器，用于基于视频的元信息特征和内容特征确定视频的清晰度，
其中，内容特征可与视频的帧序列中的多个特定帧相关联。
根据本申请的实施方式，多个特定帧可为关键帧。
根据本申请的实施方式，多个特定帧可为灰度均值在预定灰度范围内的有效帧。
根据本申请的实施方式，多个特定帧可为关键帧、且为灰度均值在预定灰度范围内。
根据本申请的实施方式，分类器是通过包括多个已确定清晰度的视频的训练集中的已确定清晰度的视频的元信息特征和内容特征训练的。
根据本申请的实施方式，已确定清晰度的视频的内容特征是基于已确定清晰度的视频的帧序列中为关键帧、且为灰度均值在预定灰度范围内的帧提取的。
根据本申请的实施方式，训练集可包括多个针对不同视频领域的子训练集。
根据本申请的实施方式，分类器可为决策树分类器。
本申请的又一个方面提供了一种用于确定视频清晰度的系统，可包括：输入模块，用于用户输入视频；以及输出模块，响应于用户的输入，通过分类器，基于视频的元信息特征和内容特征确定视频的清晰度，其中，内容特征与视频的帧序列中的多个特定帧相关联。
附图说明
图1示出了根据本申请实施方式的一种从帧序列中选取用于计算视频的内容特征的帧的流程图；
图2示出了根据本申请实施方式的选取计算内容特征的帧的流程图；
图3示出了根据本申请实施方式的一种从帧序列中选取用于计算视频的内容特征的帧的流程图；
图4示出了根据本申请实施方式的用于确定视频清晰度的系统；
图5图6示出了根据本申请的实施方式的用于确定视频清晰度的系统；
图6示出了根据本申请的实施方式的用于确定视频清晰度的系统；以及
图7示出了根据本申请的实施方式的用于确定视频清晰度的系统。
具体实施方式
以下结合附图对本申请的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请，并不用于限制本申请。
在图像视频领域中，“清晰度”通常是指人眼宏观看到的图像的清晰程度，是一种主观感受。用于评价清晰度的分级术语并不统一。目前应用相对广泛的分级术语例如为“标清”、“半高清”、“全高清”以及“超清”等。在互联网视频门户网站中通常还有低于“标清”的“流畅”等级。影响视频的清晰度的因素很多，包括视频本身的参数、提供视频的网站的压缩政策等。
本申请的另一个方面提供了一种用于确定视频清晰度的方法，如图1所示，该方法包括：步骤S101，使用多个已确定清晰度的视频的元信息特征和内容特征训练分类器；以及步骤S102，由训练后的分类器，基于视频的元信息特征和内容特征确定视频的清晰度，其中，内容特征与视频的帧序列中的多个特定帧相关联。
下面首先对视频的元信息特征进行描述。
视频的元信息特征
在本申请的一种实施方式中，与视频的元信息特征相关联的属性包括，但不仅限于视频时长、码率(每秒字节数)、视频文件大小、每秒帧数(FPS)、视频宽度(每行像素数)、视频高度(每列像素数)等。
例如，在视频的长度(时长)方面，通常长视频的清晰度优于短视频；类似的，当视频文件(字节总量)更大时，意味着视频的数据量更大，因此视频的清晰度可能会更高。
码率也叫比特率，指的是在单位时间内的字节。更高的码率意味着视频在单位时间内承载更多的字节，从而视频清晰度更高。
在每单位时间内帧数方面，FPS更高的视频因单位时间内的帧数更多，从而视频流畅度会更高，因而具有更高的清晰度。
视频的高度和宽度对应着视频的分辨率。在视频的高度和宽度方面，每行像素或每列像素总数越多的视频的清晰度越高。
视频元信息的提取通常可通过对视频文件格式标准进行解读以分析视频文件头部数据来实现，或者可以通过使用基于业内开源库的软件或工具来实现，例如libav和ffmpeg等。
此外，在根据本申请的实施方式中，还可根据视频所属的领域特殊性对元信息进行初筛或补充。例如，当已知视频为综艺时，其视频时长相对不变；当已知视频的拍摄设备和压缩方式均固定时，其尺寸、码率相对不变等。
在本申请的一种实施方式中，视频的格式也可以作为视频的补充元信息用于确定视频的清晰度。视频的常见格式包括rmvb、MP4、avi等。通常来说，avi格式的视频的清晰度要优于rmvb和MP4格式的视频。
上述元信息可以直接用于确定视频的清晰度。例如，可以做出如下规定：评级为标清的视频需要达到512*336的分辨率、15帧每秒的帧率以及0.3兆比特每秒的码率；评级为高清的视频需要达到640*432的分辨率、25帧每秒的帧率以及0.5兆比特每秒的码率；评级为超清的视频需要达到960*720的分辨率、25帧每秒的帧率以及1兆比特每秒的码率。
然而，如上文所提到的，视频的清晰度是人的一种主观感受，除了与视频的属性有关联之外，还与视频的主体内容相关。因此，本申请接合了视频的元信息特征和内容特征来确定视频的清晰度。下面，将详细描述视频的内容特征。
视频的内容特征
视频的主体内容包括图像分量和音频分量，而相对来说，图像分量与视频清晰度的相关度更大。因此，在本申请的实施方式中，通过对图像分量处理和计算来以作为视频的内容特征。
由于视频的图像分量可以表示为带有时间间隔的帧序列，根据本申请的一种方式，可以对帧序列中的多个帧进行分析计算以作为视频内容特征。
大部分互联网视频都要经过压缩处理，关键帧因不参考其他任何图像而独立编码，最能表征视频清晰程度。非关键帧虽然也可以表征清晰程度，但因为继承了部分关键帧的图像数据，所以存在冗余干扰。因此，在本申请的一种实施方式中，可以从帧序列中选取关键帧来计算内容特征。
例如，以动态图像专家组(MPEG)标准压缩的视频中，通常包括三种帧：I帧、B帧以及P帧。其中，I帧通常是每个压缩组中的第一个帧。P帧即前向预测编码帧，也叫预测帧，通过充分将低于图像序列中前面已编码帧的时间冗余信息来压缩传输数据量的编码图像。B帧为双向预测内插编码帧，既考虑与源图像序列前面已编码帧，也顾及源图像序列后面已编码帧之间的时间冗余信息来压缩传输数据量的编码图像，也叫双向预测帧。也就是说，P帧需要参考其前面的一个I帧或者B帧来生成一张完整的帧；B帧要参考其前一个I帧或者P帧及其后面的一个P帧来生成一张完整的帧；而I帧则可以自身通过视频解压算法解压成一张单独的完整的帧。因此，I帧的信息适于用于计算内容特征。
而对于不存在帧内编码的视频，可以取等间隔时间，如1s取一帧，认为是关键帧。
此外，由于大部分视频中存在场景进出画面，而进出场景时图像整体变暗或者整体变明亮，因而这些进出场景对应的帧会对清晰度的计算会产生干扰。
为了避免这种现象，根据本申请的实施方式，规定了帧序列中的满足灰度均值范围的帧作为有效帧，并选取有效帧来计算视频的内容特征。
在一种实施方式中，可以对有效帧的图像平均灰度的范围进行设定，即，通过判定帧序列中的某一帧的平均灰度值是否在预定范围内来确定该帧是否为有效帧。可以根据经验来对平均灰度值的范围进行规定。通常来说，当彩色图像转换为灰度图像后，图像中的每个像素的灰度值在0至255之间，其中灰度值0对应纯黑色，灰度值255对应着纯白色。而人眼对于0至10或0至20、以及230至255或240至255的灰度值的识别能力和敏感度可忽略。
因此，在一种实施方式中，可以将有效帧的平均灰度值的范围设为10至240，或20至230。例如，当将有效帧的平均灰度值的范围设为10至240时，当帧序列中的某一帧转换为灰度图像之后，每个像素点的灰度值的平均数在10至240范围内时，认为该帧为有效帧，可以参与视频的内容特征的计算。
根据本申请的实施方式，可以选择帧序列中的同时满足有效帧的条件和满足关键帧的条件的帧来计算视频的内容特征。
图2示出了根据本申请实施方式的选取计算内容特征的帧的流程图。
如图2所示，在步骤S201中，从视频的帧序列中选取一帧；在步骤S202中，判断该帧是否为关键帧，若结果为是，进行至步骤S203，若结果为否，返回至步骤S201；在步骤S203中判断该帧是否为有效帧，若结果为是，则进行至步骤S204，若结果为否，则返回至步骤S201。在步骤S204中，对帧进行计算以提取内容特征。
在本申请的一种实施方式中，还可以在对视频的帧进行选取的过程中，在预定多个帧被判定为无效帧的情况下，确定该视频为无效视频。
例如，在对一段视频的帧序列进行提取的过程中，当有连续100个帧的平均灰度值都在预定的有效帧的灰度平均值，例如10至240的范围之外，则可以认为这段视频的大部分内容为过暗或过亮，是无效视频。
根据本申请的实施方式，可以在选定了用于计算视频的内容特征的多个满足条件的帧之后，对选定的多个帧进行频域转换，以计算视频的内容特征。
在一种实施方式中，将选定的帧转换为灰度图像，接下来对该灰度图像进行离散傅里叶(Discrete Fourier Transform，简称DFT)变换，得到帧的频域信息，以用于计算视频的内容特征。
具体定义视频内容特征为Video Content Feature(VCF)如下：
其中，n为视频中参与特征计算的视频帧数量，FCF为视频的帧内容特征FrameContent Feature，定义如下：
其中F(u,v)为二维图形离散傅里叶变换，具体定义如下：
|F(u,v)|为离散傅里叶变换后的实部虚部平方和矩阵，定义如下：
其中，M为视频的宽度，即视频的帧中宽度方向的像素数量；N为视频的长度，即视频的帧中长度方向的像素数量。f(x,y)为帧中坐标为(x,y)点的灰度值。
在本申请的一种实施方式中，首先将每个选定帧进行DFT转换，求取DFT结果矩阵中各元素实部和虚部平方和；然后将平方和矩阵各元素求取对数以归一化；接着将归一化矩阵各元素求和，作为该帧图像内容特征；最后将所有选定帧的图像内容特征平均值作为视频内容特征。
在本申请的一种实施方式中，对于DFT转换后的每个选定帧，将每个元素得到对应幅值和相位求取平方和，其中频域的幅值高的代表高频分量，幅值低的地方代表低频分量；接下来累加整幅图像的平方和结果并求取对数以归一化；最后将所有的选定帧的上述归一化结果的平均值作为视频的内容特征。
在本申请的一种实施方式中，可以对选定的参与计算视频的内容特征的帧的数量进行设定。也就是说，当选定了足够数量的参与计算视频的内容特征的帧时，不再从帧序列中继续提取帧。
图3示出了根据本申请实施方式的一种从帧序列中选取用于计算视频的内容特征的帧的流程图。在本实施方式中，设定足够用于计算视频的内容特征的关键且有效帧的数量为Vmin。
如图1所示，在步骤S301中，从视频的帧序列中提取一帧；在步骤S302中，判定该帧是否为关键帧，当判定结果为否时返回至步骤S301，当判定结果为是时进入步骤S303；在步骤S303中，判定该帧是否为有效帧，当判定结果为否时返回至步骤S301，当判定结果为是时进入步骤S304；在步骤S304中，对该帧进行频域变换；在步骤S305中，判断已经从视频的帧序列中提取的帧的数量是否达到Vmin，若结果为是，则进入至步骤S306；在步骤S306中，对已经转换至频域的帧进行计算以得到视频的内容特征。
在示例性实施方式中，可以根据经验，将足够提取内容特征的帧的数量Tlmt设置为300～500。
上文描述了对于视频的元信息特征和内容特征的采集和计算。然而，在一些实际应用中，并不需要分析整个视频的元信息特征和内容特征。尤其是当视频并不能直接使用，而是例如需要通过诸如HTTP方式从网络采集时，并不需要将整个视频文件下载，而是可以仅采集视频的前一段部分用来提取视频的元信息特征和内容特征。例如，可以根据经验，在能够顺利提取到计算清晰度所需要的各类特征的前提下仅采集10MB至20MB大小的视频。
下面将对分类器及其训练进行描述。
根据本申请的实施方式，可以预先对多个视频进行清晰度评分，例如人工评分，评分后的多个视频组成训练集。
在本申请的具体实施方式中，可以使用数值等级，例如分数1～5对视频的清晰度评分；也可以使用例如“高清”、“标清”以及“普清”等级标注来对视屏清晰度进行标记。
对于训练集中的每一个视频，通过上文中描述的方法进行元信息特征提取和内容特征提取。
接下来，将提取的元信息特征和内容特征作为分类器的输入，视频的清晰度评分作为分类器的输出以训练分类器。
根据本申请的实施方式，分类器可以是神经网络和贝叶斯分类器等基于输入和输出来调整中间节点的参数及权重的反馈系统。
在本申请的一种实施方式中，分类器可以是决策树分类器。决策树是一个树状的预测模型，用来根据输入样本的属性值预测其对应的目标变量。决策树相对于神经网络的优点在于其可解释性。也就是说，可以根据决策树的输出来调整作为输入的特征。例如，当输出结果显示“视频文件大小”特征的权重几乎可以忽略不计时，可以选择不再提取该特征来用于内容特征的计算。
决策树中每个节点代表某个输入变量，而每个分叉路径则代表该变量某个可能的取值范围。每个叶结点则表示给定从根节点到该叶节点所代表的样本对应的目标变量。在本申请的一种实施方式中，可以在训练的过程中使用交叉验证方式调整决策树深度和叶子节点样本数，即对决策树进行剪枝。
在决策树训练好之后，对于未知清晰度的视频，可以使用上文所描述的方法提取其元信息特征和内容特征，并使用训练好的决策树来判定该视频的清晰度。
本申请的另一个方面提供了一种用于确定视频清晰度的系统，如图4所示，该系统400包括：训练集401，训练集401包括多个已确定清晰度的视频；以及分类器402，分类器402是通过所述训练集中的多个已确定清晰度的视频的元信息特征和内容特征进行训练的，用于基于视频的元信息特征和内容特征确定所述视频的清晰度，其中，内容特征与视频的帧序列中的多个特定帧相关联。
其中，训练集401中的多个视频的元信息特征和内容特征的提取方法可以使用上文中描述的方法，因此不在此赘述。
在本申请的一种实施方式中，可以使用人工标记的方法来对训练集401中的视频进行清晰度评定和标记。在本申请的又一种实施方式中，可以下载现有网站上的已经标记好清晰度的视频来形成训练集401。在本申请的又一种实施方式中，可以在互联网上邀请用户来上传标记好清晰度的视频来形成训练集401。
如前文所提到的，清晰度实质上是一种主观感受。因此，考虑到不同的客户群对于清晰度的感知并不一致，在本申请的一种实施方式中，可以针对不同的客户群形成不同的训练集401。而使用不同的训练集401则会训练出不同的分类器402，可以使用不同的分类器402来为不同给的客户服务，提供视频的清晰度的评定。
例如，在本申请的又一种实施方式中，可以针对动画片爱好者形成仅包括动画片视频的训练集401。在这种情况中，训练集401中的视频可以来自于主流的动画视频网站，也可以邀请动画爱好者来对多个动画视频进行清晰度评级以形成训练集401。
在此实施方式中，考虑到相比较于普通视频，动画片视频在同等分辨率和码率的情况下会呈现出更好的视觉效果，即表现出更好的清晰度，可以相对地调整作为元信息的视频属性。例如，考虑到相比较于普通视频，动画片视频清晰度依赖于不同的特征集合，可以相对地调整视频的元信息特征。例如，动画片时长相对更加固定，与是否清晰无关，可以取消元信息中的时长特征。又例如，动画片有可能以矢量格式存储，无论放大或者缩小，清晰度不发生变化，就可以增加是否矢量动画的元信息标记特征。再比如，木偶动画多采用光学相机拍摄，视频内容中有可能出现近景清晰远景模糊的效果，而水墨动画没有这种效果，电脑动画则具有更加复杂的特效，在计算清晰度时需要区别对待，因此需要增加动画片类型的特征。
例如，在本申请的又一种实施方式中，考虑到电影爱好者对于视频的清晰度要求更高，使用现有主流视频网站上的清晰度评定标准难易满足其要求，可以邀请电影爱好者来对多个电影视频进行清晰度评级，以形成训练集401。此外，进一步考虑到不同类型的电影对于清晰度的呈现要求并不相同，例如，相对于故事片来说，科幻片的效果呈现对于清晰度的要求更高，可以进一步针对不同的电影类型，例如故事片、科幻片以及动作片来形成不同的训练集401。
本申请的另一个方面提供了一种用于确定视频清晰度的系统。
如图5所示，用于确定视频清晰度的系统500包括：输入模块501，用于用户输入待确定清晰度的视频；以及输出模块502，基于所述用户的输入以及分类器，确定所述视频的清晰度，其中，训练集包括多个已确定清晰度的视频；其中，分类器是通过所述训练集中的多个已确定清晰度的视频的元信息特征和内容特征进行训练的，以及其中，内容特征与视频的帧序列中的多个特定帧相关联。
其中，训练集中的多个视频的元信息特征和内容特征的提取方法可以使用上文中描述的方法，因此不在此赘述。
根据本申请的用于确定视频清晰度的系统500可以有多种变形实施方式。
例如，在图6中，用于确定视频清晰度的系统600包括：输入模块601；输出模块602以及选项模块603。其中，在选项模块603中，用户可以通过多个选项603A、603B……603N对训练集以及分类方式等作出选择。
图7示出了一种用于确定视频清晰度的系统700的实施例。如图7所示，该系统700包括：输入模块701；输出模块702以及选项模块703。其中，用户在输入模块701可以选择待确定清晰度视频的来源。在本实施方式中，用户可以从本地计算机上传一段视频，也可以将视频的网络链接地址输入。在选项模块703中，用户可以根据对视频的已知信息做出选择。例如，当用户已知该视频为电影时，可以在“类型”选卡中选择“电影”选项。此外，用户还可以根据自己的喜好或习惯来选择评定标注。例如，当用户习惯于某视频网站的评定标注，可以在“标准”选卡中选择其所习惯的网站作为标准。在此实施方式中，可以针对不同的网站来形成不同的训练集，从而训练出分别针对各个网站的清晰度标准的分类器。此外，在用户对视频的拍摄设备有所了解的情况下，还可以在“设备”选项中选择视频的拍摄设备，从而完善分类结果。
上述的用于确定视频清晰度的系统及其变形可以应用在各种载体上。例如，可以在互联网上以页面的形式为网络用户提供确定视频清晰度的服务，也可以作为单独的应用软件运行在各种计算机设备中。此外，本申请提供的用于确定视频清晰度的系统还可以作为应用程序运行在诸如智能手机的移动设备上。
作为本申请的一种实施方式，用于确定视频清晰度的系统可以在无网络条件下运行。作为本申请的一种实施方式，可以在适当的时机对系统进行联网，更新训练集并使用更新后的训练集来训练分类器。例如，当于确定视频清晰度的系统作为计算机程序被用户下载之后，用户可以在脱机环境下使用该应用来确定其本地计算机上的视频的清晰度。之后当用户被告知该系统有更新包时，用户可以联机下载更新包，将本地的系统更新，之后在脱机环境下使用更新后的系统来确定其本地计算机上的视频的清晰度。
当用于确定视频清晰度的系统作为应用程序运行在诸如智能手机的移动设备上时，考虑到通常移动设备的存储空间不大，可以不将训练集包括在系统中。
例如，在本申请的一种实施方式中，用于确定视频清晰度的系统作为移动设备的应用程序，仅包括训练好的分类器以供用户下载。在这种情况下，用户也可以在需要时继续下载更新后的分类器。
本申请由于同时采用了元信息特征和内容特征，避免了仅仅通过帧图像特征分析，在互联网视频中更具有普适性，更适合来源广泛的互联网视频清晰度计算。此外，在本申请的实施方式中，对视频的帧进行DFT转换以提取特征，提高了整体计算性能，更适合海量视频清晰度计算。
正如本领域技术人员将领会的，本公开可实施为系统、方法或计算机程序产品。因此，本公开可表现为完全硬件的实施例、完全软件的实施例(包括固件、常驻软件、微码等)或将软件和硬件方面结合的实施例的形式，它们在此处一般均被称为“电路”、“模块”或“系统”。此外，本公开可表现为计算机程序产品的形式，所述计算机程序产品嵌入到任何有形的表达介质中，所述有形的表达介质具有嵌入到所述介质中的计算机可用程序代码。
还参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图来描述本公开。可理解的是，可由计算机程序指令执行流程图和/或框图中的每个框、以及流程图和/或框图中的多个框的组合。这些计算机程序指令可提供给通用目的计算机、专用目的计算机或其它可编程数据处理装置的处理器来产生这样的机器，以使通过计算机或其它可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个框或多个框中指明的功能/动作的装置，以。
这些计算机程序指令还可存储于能够指导计算机或其它可编程数据处理装置以特定的方式实现功能的计算机可读介质中，以使存储于计算机可读介质中的指令产生制品，所述制品包括实现流程图和/或框图中的一个框或多个框中指明的功能/动作的指令装置。
计算机程序指令还可加载到计算机或其它可编程数据处理装置上，以引起在计算机上或其它可编程装置上执行一连串的操作步骤，以产生计算机实现的过程，从而使在计算机或其它可编程装置上执行的指令提供过程，以用于实现流程图和/或框图中的一个框或多个框中指明的功能/动作。
附图中的流程图和框图示出根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系结构、功能和操作。在这点上，流程图或框图中的每个框可表示一个模块、区段或代码的一部分，其包括一个或多个用于实现特定逻辑功能的可执行指令。还应注意，在一些可替代性实施中，框中标注的功能可以不按照附图中标注的顺序发生。例如，根据所涉及的功能性，连续示出的两个框实际上可大致同时地执行，或者这些框有时以相反的顺序执行。还可注意到，可由执行特定功能或动作的专用目的的基于硬件的系统、或专用目的硬件与计算机指令的组合来实现框图和/或流程图示图中的每个框、以及框图和/或流程图示图中的多个框的组合。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (24)

1.一种用于确定视频清晰度的方法，包括：
从视频的帧序列中确定出多个特定帧；
从确定出的所述多个特定帧提取所述视频的内容特征；以及
通过训练后的分类器基于所述视频的元信息特征和内容特征确定所述视频的清晰度。
2.根据权利要求1所述的方法，其中，从视频的帧序列中确定出多个特定帧包括：
判定出所述帧序列中的帧为关键帧；以及
确定被判定为所述关键帧的帧的数量达到预定阈值。
3.根据权利要求1所述的方法，其中，从视频的帧序列中确定出多个特定帧包括：
判定出所述帧序列中的帧为灰度均值在预定灰度范围内的有效帧；以及
确定被判定为所述有效帧的帧的数量达到预定阈值。
4.根据权利要求1所述的方法，其中，从视频的帧序列中确定出多个特定帧包括：
判定出所述帧序列中的帧为关键帧；
判定出所述关键帧为灰度均值在预定灰度范围内的有效关键帧；以及
确定被判定为有效关键帧的帧的数量达到预定阈值。
5.根据权利要求1-4中任意一项所述的方法，还包括：
使用多个已确定清晰度的视频训练所述分类器。
6.根据权利要求5所述的方法，其中，使用多个已确定清晰度的视频训练所述分类器包括：
提取所述多个已确定清晰度的视频的元信息特征和内容特征；以及
将所提取的所述多个已确定清晰度的视频的元信息特征和内容特征作为所述分类器的训练输入。
7.根据权利要求6所述的方法，其中，所述已确定清晰度的视频的内容特征是基于所述已确定清晰度的视频的帧序列中为关键帧、且为灰度均值在预定灰度范围内的帧提取的。
8.根据权利要求1-4中任意一项所述的方法，其中，从确定出的所述多个特定帧提取所述视频的内容特征包括：
从确定出的所述多个特定帧的频域信息提取所述视频的内容特征。
9.根据权利要求1-4中任意一项所述的方法，其中所述元信息特征包括：视频时长、视频码率、视频大小、每秒帧数、视频宽度以及视频高度。
10.根据权利要求1-4中任意一项所述的方法，其中，所述分类器为决策树分类器。
11.根据权利要5所述的方法，其中，所述已确定清晰度的多个视频的清晰度通过人工标记。
12.一种用于确定视频清晰度的系统，包括分类器，用于基于视频的元信息特征和内容特征确定所述视频的清晰度，
其中，所述内容特征与所述视频的帧序列中的多个特定帧相关联。
13.根据权利要求12所述的系统，其中，所述多个特定帧为关键帧。
14.根据权利要求12所述的系统，其中，所述多个特定帧为灰度均值在预定灰度范围内的有效帧。
15.根据权利要求12所述的系统，其中，所述多个特定帧为关键帧、且为灰度均值在预定灰度范围内。
16.根据权利要求12-15中任意一项所述的系统，其中，所述分类器是通过包括多个已确定清晰度的视频的训练集中的已确定清晰度的视频的元信息特征和内容特征训练的。
17.根据权利要求16所述的系统，其中，所述已确定清晰度的视频的内容特征是基于所述已确定清晰度的视频的帧序列中为关键帧、且为灰度均值在预定灰度范围内的帧提取的。
18.根据权利要求16所述的系统，其中所述训练集包括多个针对不同视频领域的子训练集。
19.根据权利要求12-15中任意一项所述的系统，其中，所述分类器为决策树分类器。
20.一种用于确定视频清晰度的系统，包括：
输入模块，用于用户输入视频；以及
输出模块，响应于所述用户的输入，通过分类器，基于所述视频的元信息特征和内容特征确定所述视频的清晰度，
其中，所述内容特征与所述视频的帧序列中的多个特定帧相关联。
21.根据权利要求20所述的系统，其中，所述多个特定帧为关键帧。
22.根据权利要求20所述的系统，其中，所述多个特定帧为灰度均值在预定灰度范围内的有效帧。
23.根据权利要求20所述的系统，其中，所述多个特定帧为关键帧、且为灰度均值在预定灰度范围内。
24.根据权利要求20-23中任意一项所述的系统，其中，所述分类器是通过多个已确定清晰度的视频的元信息特征和内容特征训练的。
CN201610832185.1A 2016-09-19 2016-09-19 用于确定视频清晰度的方法及系统 Pending CN106412567A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610832185.1A CN106412567A (zh) 2016-09-19 2016-09-19 用于确定视频清晰度的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610832185.1A CN106412567A (zh) 2016-09-19 2016-09-19 用于确定视频清晰度的方法及系统

Publications (1)

Publication Number Publication Date
CN106412567A true CN106412567A (zh) 2017-02-15

Family

ID=57997234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610832185.1A Pending CN106412567A (zh) 2016-09-19 2016-09-19 用于确定视频清晰度的方法及系统

Country Status (1)

Country Link
CN (1) CN106412567A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109831680A (zh) * 2019-03-18 2019-05-31 北京奇艺世纪科技有限公司 一种视频清晰度的评价方法及装置
CN109982069A (zh) * 2017-12-28 2019-07-05 浙江宇视科技有限公司 呼吸效应的测量方法及系统
WO2019137167A1 (zh) * 2018-01-10 2019-07-18 Oppo广东移动通信有限公司 相册管理方法、装置、存储介质及电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109982069A (zh) * 2017-12-28 2019-07-05 浙江宇视科技有限公司 呼吸效应的测量方法及系统
CN109982069B (zh) * 2017-12-28 2020-12-29 浙江宇视科技有限公司 呼吸效应的测量方法及系统
WO2019137167A1 (zh) * 2018-01-10 2019-07-18 Oppo广东移动通信有限公司 相册管理方法、装置、存储介质及电子设备
CN109831680A (zh) * 2019-03-18 2019-05-31 北京奇艺世纪科技有限公司 一种视频清晰度的评价方法及装置

Similar Documents

Publication Publication Date Title
CN111031346B (zh) 一种增强视频画质的方法和装置
Ni et al. ESIM: Edge similarity for screen content image quality assessment
JP6707563B2 (ja) 知覚的ビデオ品質を予測する技術
US10984558B2 (en) Learning-based sampling for image matting
Liu et al. Perceptual reduced-reference visual quality assessment for contrast alteration
US10614347B2 (en) Identifying parameter image adjustments using image variation and sequential processing
Zuo et al. Screen content image quality assessment via convolutional neural network
CN112950581A (zh) 质量评估方法、装置和电子设备
CN111464833A (zh) 目标图像生成方法、目标图像生成装置、介质及电子设备
CN111681177B (zh) 视频处理方法及装置、计算机可读存储介质、电子设备
CN107481256A (zh) 用于更新背景模型的方法和装置
CN112001274B (zh) 人群密度确定方法、装置、存储介质和处理器
CN111047543A (zh) 图像增强方法、装置和存储介质
CN113923441A (zh) 视频质量的评估方法、装置及电子设备
Fu et al. Blind image quality assessment for multiply distorted images via convolutional neural networks
CN112906721B (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN111684800A (zh) 用于基于互补感知质量模型来预测感知视频质量的技术
CN106412567A (zh) 用于确定视频清晰度的方法及系统
CN113556582A (zh) 视频数据处理方法、装置、设备以及存储介质
CN115205736A (zh) 视频数据的识别方法和装置、电子设备和存储介质
Rao et al. Illumination-based nighttime video contrast enhancement using genetic algorithm
CN113297416A (zh) 视频数据存储方法、装置、电子设备和可读存储介质
CN113361582A (zh) 一种对抗样本的生成方法和装置
CN110414845B (zh) 针对目标交易的风险评估方法及装置
US20220051382A1 (en) Techniques for training a perceptual quality model to account for brightness and color distortions in reconstructed videos

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170215