CN112861852A - 样本数据筛选方法、装置、电子设备及存储介质 - Google Patents
样本数据筛选方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112861852A CN112861852A CN202110068740.9A CN202110068740A CN112861852A CN 112861852 A CN112861852 A CN 112861852A CN 202110068740 A CN202110068740 A CN 202110068740A CN 112861852 A CN112861852 A CN 112861852A
- Authority
- CN
- China
- Prior art keywords
- video
- pixel
- videos
- determining
- complexity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012216 screening Methods 0.000 title claims abstract description 37
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 230000008447 perception Effects 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000002123 temporal effect Effects 0.000 claims description 56
- 238000009826 distribution Methods 0.000 claims description 28
- 230000000873 masking effect Effects 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000012821 model calculation Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 8
- 230000035945 sensitivity Effects 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 abstract description 28
- 238000012360 testing method Methods 0.000 abstract description 27
- 230000008569 process Effects 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011056 performance test Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请涉及一种样本数据筛选方法、装置、电子设备及存储介质，该方法在从多个待选视频中筛选用于对视频编解码器的性能进行主观评测的样本数据时，引入了能用于表征人眼感知差异的特征维度，分别确定各个待筛选视频在至少包括引入的该特征维度的预定特征维度方面的特征信息，并根据各个视频在预定特征维度的特征信息，从中选取出在所述预定特征维度上均衡分布的多个目标视频作为样本数据，基于该处理过程选取的样本数据至少可以在人眼感知差异方面做到样本均衡分布，从而能够针对视频编解码器性能的主观评测，实现具有代表性同时避免在局部与视频编解码器过拟合的视频样本的选取，为视频编解码器性能的主观评测提供了更好的测试样本依据。
Description
技术领域
本申请属于数据处理技术领域，尤其涉及一种样本数据筛选方法、装置、电子设备及存储介质。
背景技术
视频编解码器的性能评估，通常是视频编解码器研发中一个不可或缺的环节。为了评估不同视频编解码器的性能，需要选择不同视频作为测试数据集对视频编解码器进行性能测试并记录测试所得的编码结果对比数据。视频编解码器的每一代编码标准都有自己标准推荐的测试数据集，然而，随着目前UGC(User Generated Content，用户生成内容/用户原创内容)视频的大量普及、新的视频的不断迭代更新以及编解码器对特定场合的定制化优化，推荐的测试数据集已不能很好的反映当前现状下的实际视频状况，为了确保测试结果与当前视频现状的匹配性，需要重新进行测试数据集的筛选。
目前互联网上每秒都生产有海量视频数据，如何在海量视频数据中选取具有代表性的视频作为测试集，同时防止测试视频与视频编解码器在局部过拟合成为视频编解码器研发必须面对的问题。尤其是针对用于视频编解码器性能的主观评测(至少涉及基于人眼感知对视频编解码器的测试视频的参数估计及记录)的数据集，由于主观评测结合涉及有基于人眼感知角度的评估，更是为测试数据集的筛选进一步带来了难度。
发明内容
有鉴于此，本申请提供了一种样本数据筛选方法、装置、电子设备及存储介质，用于针对视频编解码器性能的主观评测，实现具有代表性同时避免在局部与视频编解码器过拟合的视频的选取，以作为样本数据构建用于对视频编解码器进行主观评测的测试数据集。
具体技术方案如下：
一种样本数据筛选方法，包括：
获取待筛选的多个视频；
分别确定各个视频在预定特征维度的特征信息；所述预定特征维度至少包括能用于表征人眼感知差异的特征维度；
根据各个视频在所述预定特征维度的特征信息，从所述多个视频中选取多个目标视频作为用于对预定视频编解码器的性能进行主观评测的样本数据；其中，所述多个目标视频在所述预定特征维度上的分布状况满足用于表示样本均衡分布的均衡分布条件。
可选的，所述分别确定各个视频在预定特征维度的特征信息，包括：
确定所述多个视频中每个视频的空间复杂度、时间复杂度及最小可觉差；其中，基于不同的最小可觉差表征人眼感知差异。
可选的，所述确定所述多个视频中每个视频的空间复杂度、时间复杂度及最小可觉差，包括：
利用所述预定视频编解码器对所述多个视频中的每个视频进行编码，得到每个视频的预定编码信息；根据每个视频的所述预定编码信息，确定每个视频的空间复杂度和时间复杂度；
对于所述多个视频中的每个视频，分别确定所述视频的各帧图像中各个像素的最小可觉差；根据所述视频的各帧图像中各个像素的最小可觉差确定所述视频的最小可觉差。
可选的：
所述根据每个视频的所述预定编码信息，确定每个视频的空间复杂度和时间复杂度，包括：
根据每个视频编码后所得的所有I帧的码率总和与I帧个数，确定每个视频的空间复杂度；
根据每个视频编码后所得的所有B帧和P帧的码率总和、P帧个数以及空间复杂度，确定所对应视频的时间复杂度。
可选的，所述分别确定所述视频的各帧图像中各个像素的最小可觉差，包括：
对于所述视频的各帧图像中的每个像素，确定所述像素的预定数量算子梯度的最大对比度值；
确定所述像素在对应帧图像中所处子块内的亮度分量强度；所述子块为所述预定视频编解码器的最小编码单元；
确定所述像素所在帧图像中的边缘像素总和；
确定所述像素在所在帧图像中的相对应子块对显著性区域中心位置的距离总和；
确定所述像素所在帧图像中inter块的时域变化掩蔽；所述inter块表示所述像素所处子块为使用帧间编码参考模式的块；
根据所述最大对比度值、所述亮度分量强度、所述边缘像素总和、所述距离总和以及所述时域变化掩蔽，确定所述像素的最小可觉差。
可选的：
所述确定所述像素的预定数量算子梯度的最大对比度值，包括：
对于所述视频的各帧图像中的每个像素，利用以下的视觉对比度敏感度带通计算式计算所述像素的预定数量算子梯度的最大对比度值：
其中，gradz(x,y)表示所述像素的第z个算子梯度；
所述确定所述像素在对应帧图像中所处子块内的亮度分量强度，包括：
利用以下的亮度幅度非线性模型计算式计算所述像素在对应帧图像中所处子块内的亮度分量强度：
其中，Ixy表示坐标为(x,y)的所述像素的亮度值；
所述确定所述像素所在帧图像中的边缘像素总和，包括：
利用以下的纹理对比度掩蔽模型计算式计算所述像素对应的用canny算子对所述像素所在帧图像进行处理后得到的边缘像素总和：
T_CM＝∑canny；
所述确定所述像素在所在帧图像中的相对应子块对显著性区域中心位置的距离总和，包括：
利用以下的人眼凸起掩蔽模型计算式计算所述像素在所在帧图像中的相对应子块对显著性区域中心位置的距离总和：
其中，(xj，yj)表示所述像素所在帧图像中第j个显著性区域的中心位置，N表示表示所述像素所在帧图像中显著性区域的个数，(xi，yi)表示所述像素所处子块内第i个像素的位置，K表示所述子块内包括的像素总个数；
所述确定所述像素所在帧图像中inter块的时域变化掩蔽，包括：
利用以下的时域掩蔽计算式计算所述像素所在帧图像中inter块的时域变化掩蔽：
其中，SAD表示所述像素所处子块内残差绝对值之和，cu表示所述像素所处子块，cu＝inter表示所述像素所处子块为使用帧间编码参考模式的块，cu＝intra表示所述像素所处子块为使用帧内编码参考模式的块；
所述根据所述最大对比度值、所述亮度分量强度、所述边缘像素总和、所述距离总和以及所述时域变化掩蔽，确定所述像素的最小可觉差，包括：
计算所述T_CSF、所述T_LM、所述T_CM、所述T_FM和所述T_TM的和，得到所述像素的最小可觉差。
可选的，所述根据所述视频的各帧图像中各个像素的最小可觉差确定所述视频的最小可觉差，包括：
计算所述视频的各帧图像中各个像素的最小可觉差的平均值，得到所述视频的最小可觉差。
可选的，所述根据各个视频在所述预定特征维度的特征信息，从所述多个视频中选取多个目标视频作为用于对预定视频编解码器的性能进行主观评测的样本数据，包括：
对所述多个视频对应的多组特征信息进行聚类处理，得到k个聚类中心；一个视频对应的一组特征信息包括由所述一个视频的空间复杂度、时间复杂度及最小可觉差构成的三元组，所述k为大于1的整数；
针对每个聚类中心，确定与所述聚类中心的距离最小的一组特征信息，得到对应于k个聚类中心的k组特征信息；
确定所述k组特征信息对应的k个目标视频，作为用于对所述预定视频编解码器的性能进行主观评测的样本数据；
其中，所述k个目标视频在空间复杂度、时间复杂度及最小可觉差上的分布状况满足所述均衡分布条件。
可选的，在根据各个视频在所述预定特征维度的特征信息，从所述多个视频中选取多个目标视频作为用于对预定视频编解码器的性能进行主观评测的样本数据之前，还包括：
对所述多个视频中每个视频的空间复杂度、时间复杂度及最小可觉差进行归一化处理，并针对归一化后的空间复杂度、时间复杂度及最小可觉差，触发所述根据各个视频在所述预定特征维度的特征信息，从所述多个视频中选取多个目标视频作为用于对预定视频编解码器的性能进行主观评测的样本数据的步骤。
可选的，所述对所述多个视频中每个视频的空间复杂度、时间复杂度及最小可觉差进行归一化处理，包括：
对所述多个视频中的每个视频，利用以下计算式对所述视频的空间复杂度进行归一化：
其中，SCi、
分别表示所述多个视频中第i个视频的未归一化的空间复杂度及归一化后的空间复杂度，SCmin、σSC、SCaverage分别表示所述多个视频的空间复杂度的最小值、标准差和平均值；
利用以下计算式对所述视频的时间复杂度进行归一化：
其中，TCi、
分别表示所述多个视频中第i个视频的未归一化的时间复杂度及归一化后的时间复杂度，TCmin、σTC、TCaverage分别表示所述多个视频的时间复杂度的最小值、标准差和平均值；
利用以下计算式对所述视频的最小可觉差进行归一化：
其中，JNDi、
分别表示所述多个视频中第i个视频的未归一化的最小可觉差及归一化后的最小可觉差，JNDmin、σJND、JNDaverage分别表示所述多个视频的最小可觉差的最小值、标准差和平均值。
一种样本数据筛选装置，包括：
获取单元，用于获取待筛选的多个视频；
确定单元，用于分别确定各个视频在预定特征维度的特征信息；所述预定特征维度至少包括能用于表征人眼感知差异的特征维度；
选取单元，用于根据各个视频在所述预定特征维度的特征信息，从所述多个视频中选取多个目标视频作为用于对预定视频编解码器的性能进行主观评测的样本数据；其中，所述多个目标视频在所述预定特征维度上的分布状况满足用于表示样本均衡分布的均衡分布条件。
一种电子设备，包括：
存储器，用于存放计算机指令集；
处理器，用于通过执行所述存储器上存放的指令集，实现如上任一项所述的样本数据筛选方法。
一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机指令集，所述计算机指令集被处理器执行时实现如上任一项所述的样本数据筛选方法。
本申请实施例提供的样本数据筛选方法、装置、电子设备及存储介质，在从多个待选视频中筛选用于对视频编解码器的性能进行主观评测的样本数据时，引入了能用于表征人眼感知差异的特征维度，分别确定各个待筛选视频在至少包括引入的该特征维度的预定特征维度方面的特征信息，并根据各个视频在预定特征维度的特征信息，从中选取出在所述预定特征维度上均衡分布的多个目标视频作为样本数据，基于该处理过程选取的样本数据至少可以在人眼感知差异方面做到样本均衡分布，从而能够针对视频编解码器性能的主观评测，实现具有代表性同时避免在局部与视频编解码器过拟合的视频样本的选取，为视频编解码器性能的主观评测提供了更好的测试样本依据。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其它的附图。
图1是本申请实施例提供的对视频编解码器进行主观评测时的主观评测参数示例图；
图2是本申请实施例提供的样本数据筛选方法的一种流程示意图；
图3是本申请实施例提供的确定视频的最小可觉差的处理过程示意图；
图4是本申请实施例提供的样本数据筛选方法的另一种流程示意图；
图5是本申请实施例提供的样本数据筛选装置的一种结构示意图；
图6是本申请实施例提供的样本数据筛选装置的另一种结构示意图；
图7是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了评估不同视频编解码器的性能，如压缩率，压缩损失，压缩速度等，需要选择不同视频作为测试数据集对视频编解码器进行性能测试并记录测试所得的编码结果对比数据。视频编解码器的测试本身是消耗机时的测试，不可能将所有视频都作为测试数据测试一遍，因此，针对目前互联网上每秒都生产海量视频数据的现状，如何在海量视频数据中选取具有代表性的视频作为测试集，同时防止测试视频在局部与视频编解码器过拟合成为视频编解码器研发必须面对的问题。
视频编解码器性能的主观评测中涉及基于人眼感知对测试视频的参数估计及记录，其中，参见图1示出的主观评测参数示例图，一般包括对视频画面的主观画质、人脸清晰度、模糊度、噪声、亮度以及色彩等多方面参数的评估，以基于这些参数的估计实现对视频编解码器性能(如压缩率，压缩损失，压缩速度)的主观评测，为了更好的对比出人眼的主观感受对不同编解码器的编码结果差异，需要针对视频编解码器性能的主观评测，实现具有代表性同时避免在局部与视频编解码器过拟合的视频的选取。
鉴于此，本申请公开了一种样本数据筛选方法、装置、电子设备及存储介质，目的在于解决视频编解码器性能的主观评测中具有代表性并避免在局部与视频编解码器过拟合的测试数据集的选取问题。
参阅图2，示出了本申请实施例提供的样本数据筛选方法的一种流程示意图，本申请实施例的样本数据筛选方法可应用于但不限于具有数据处理功能的手机、平板电脑、个人PC(如笔记本、一体机、台式机)等终端设备中，或具有数据处理功能的私有云/公有云云平台、服务器等对应的物理机中。
如图2所示，本实施例中，所述样本数据筛选方法包括以下处理过程：
步骤201、获取待筛选的多个视频。
所述待筛选的多个视频，可以是从互联网上生产的海量视频数据中选取的数量为多个的视频或视频片段，所选取的视频或视频片段可以是UGC视频和/或非UGC的其他类型视频(如视频播放软件推送的影视剧视频)的完整视频或其片段，本实施例对此不加限制。
可选的，若待测试的视频编解码器为针对特定场合定制化优化的编解码器，所述待筛选的多个视频则可以是一系列对应于该特定场合的视频或视频片段，如特定的对于比赛，游戏，秀场或新闻的一系列视频/视频片段等。
步骤202、分别确定各个视频在预定特征维度的特征信息；所述预定特征维度至少包括能用于表征人眼感知差异的特征维度。
在视频编解码器的主观评测中，为了更好的对比出人眼的主观感受对不同编码器的编码结果差异，在进行测试数据集的选取时需要考虑评测人感官方面的差异，并使选取的测试数据在人眼感知差异(如图1示出的各种感知参数的差异)方面需要做到样本均衡分布。
为此，本申请实施例在针对视频编解码器的主观评测进行测试数据集的选取时，引入了能用于表征人眼感知差异的特征维度，具体地，作为一种可选实施方式，引入JND作为该用于表征人眼感知差异的特征维度，JND是Just Noticeable Difference的缩写，即指最小可觉差，是差别阈限值(Difference threshold)的另一种称法，JND模型是人眼视觉基于心理学和生理学的高效模型，用于表示人眼不能察觉的最大图像失真，体现了人眼对图像改变的容忍度，在图像处理领域，JND可以用来度量人眼对图像中不同区域失真的敏感度，本申请实施例采用JND来均衡评测人感觉上的个体差异。
鉴于此，本实施例中，所述预定特征维度至少包括JND，即最小可觉差。
实施中，可选的，还可以采用基于如图1示出的各参数而对不同视频进行视频美学打分/视频质量打分所得的不同打分分数，来表征人眼感知差异，此种实施方式中，所述预定特征维度则至少包括视频的美学打分/质量打分。
除此之外，可选的，所述预定特征维度还可以包括空间复杂度(SpatialComplexity，SC)和/或时间复杂度(Temporal Complexity，TC)，以使选取的视频样本数据除了在人眼感知差异方面均衡分布，同时保证在空间复杂度和/或时间复杂度方面的均衡分布。
以所述预定特征维度包括空间复杂度、时间复杂度以及最小可觉差为例，本步骤202中，需分别确定各个待筛选的视频在上述三个特征维度的特征信息，也即，分别确定各个视频的空间复杂度、时间复杂度以及最小可觉差的取值。
对于视频的空间复杂度和时间复杂度，可利用待评测的视频编解码器对所述多个视频中的每个视频进行编码，得到该视频的预定编码信息，如，编码后所得的该视频所有I帧的码率总和与I帧个数、所有B帧和P帧的码率总和、P帧个数等等，进而根据视频的上述编码信息，确定视频的空间复杂度和时间复杂度。
实施中，以AV1编码器为例，可优先使用AV1编码器的快速档，并以固定QP(QuantFactor，量化因子)模式对待筛选的多个视频中的每个视频进行编码，得到每个视频的上述编码信息，并针对每个视频，计算其对应的空间复杂度：SC＝编码后该视频所有I帧的码率总和/该视频的I帧个数，以及时间复杂度：TC＝编码后该视频所有B帧和P帧的码率总和/B帧和P帧个数/SC，相应得到每个视频的SC和TC两个维度的取值。
AV1编码器包括快速、中速、慢速、超慢速等多个档位，使用其快速档位，可确保一较快的运行速度，以快速得出编码结果，实施中，可不限于此，可根据实际需求灵活选择/设置所采用的档位。
对于视频的最小可觉差，参见图3示出的确定视频的最小可觉差的处理过程，具体可以包括：
步骤301、确定所述视频的各帧图像中各个像素的最小可觉差；
该步骤301可进一步实现为：
1)对于视频的各帧图像中的每个像素，确定该像素的预定数量算子梯度的最大对比度值；
2)确定上述像素在对应帧图像中所处子块内的亮度分量强度；
其中，子块为视频编解码器的最小编码单元，如具体可以为4x4、8x8或16x16的大小等。
3)确定上述像素所在帧图像中的边缘像素总和；
4)确定上述像素在所在帧图像中的相对应子块对显著性区域中心位置的距离总和；
5)确定上述像素所在帧图像中inter块的时域变化掩蔽；所述inter块表示所述像素所处子块为使用帧间编码参考模式的块；
6)根据上述的最大对比度值、亮度分量强度、边缘像素总和、距离总和以及时域变化掩蔽，确定上述像素的最小可觉差。
实施中，本实施例具体将最小可觉差JND模型分解为视觉对比度敏感度带通(Contrast Sensitivity Function，CSF)模型，亮度幅度非线性(Luminance Masking，LM)模型,纹理对比度掩蔽(Contrast Masking，CM)模型,人眼凸起掩蔽(Foveated Masking，FM)模型和时域掩蔽(Temporal Masking，TM)这五种模型。通过计算视频的各帧图像中每个像素在上述五种模型的模型分量，得到该像素对应的上述最大对比度值、亮度分量强度、边缘像素总和、距离总和以及时域变化掩蔽的取值，进一步根据这些取值计算该像素的最小可觉差。
像素对应于上述五种模型的各模型分量的计算式具体如下：
其中，T_CSF为CSF模型分量，具体表示所述像素的预定数量个(即n个，n为大于1的整数)算子梯度的最大对比度值，gradz(x,y)表示所述像素的第z个算子梯度；示例性地，当n＝4时，所述像素的四种算子梯度可分别为水平、垂直、左下45°、右下45度这四个方向分别对应的算子梯度。
其中，T_LM为LM模型分量，具体表示所述像素在对应帧图像中所处子块内的亮度分量强度，Ixy表示坐标为(x，y)的所述像素的亮度值。
T_CM＝∑canny；
其中，T_CM为CM模型分量，具体表示所述像素对应的用canny算子对所述像素所在帧图像进行处理后得到的边缘像素总和。
其中，T_FM为FM模型分量，具体表示所述像素在所在帧图像中的相对应子块对显著性区域中心位置的距离总和，(xj，yj)表示所述像素所在帧图像中第j个显著性区域的中心位置，N表示所述像素所在帧图像中显著性区域的个数，(xi，yi)表示所述像素所处子块内第i个像素的位置，K表示所述子块内包括的像素总个数。图像的显著性区域是指，面对一个场景时，人们自动地基于视觉注意机制对感兴趣区域进行处理而选择性地忽略不感兴趣区域，这些基于视觉注意机制的感兴趣区域被称之为显著性区域，实施中，可根据视觉显著性检测算法通过模拟人的视觉特点，提取图像中的显著区域。
其中，T_TM为TM模型分量，具体表示所述像素所在帧图像中inter块的时域变化掩蔽，SAD(Sum of Absolute Differences)表示所述像素所处子块内残差绝对值之和，cu表示所述像素所处子块，cu＝inter表示所述像素所处子块为使用帧间编码参考模式的块，cu＝intra表示所述像素所处子块为使用帧内编码参考模式的块，本式中，intra不予考虑。
在此基础上，可进一步计算像素的T_CSF、T_LM、T_CM、T_FM和T_TM的和，得到该像素的最小可觉差，即，像素的最小可觉差为：T_CSF+T_LM+T_CM+T_FM+T_TM。
步骤302、根据所述视频的各帧图像中各个像素的最小可觉差确定所述视频的最小可觉差。
其中，对于待筛选的多个视频中的每个视频，具体可计算该视频的各帧图像中各个像素的最小可觉差的平均值，得到该视频的最小可觉差，即：
该式中：
JND表示视频的最小可觉差，Frames表示视频所包括的图像帧的总帧数，W表示视频图像的宽，H表示视频图像的高。
步骤203、根据各个视频在预定特征维度的特征信息，从所述多个视频中选取多个目标视频作为用于对预定视频编解码器的性能进行主观评测的样本数据；其中，所述多个目标视频在所述预定特征维度上的分布状况满足用于表示样本均衡分布的均衡分布条件。
其中，可通过对待筛选的多个视频对应的多组特征信息进行聚类处理，实现从所述多个视频中选取出多个目标视频，作为用于对预定视频编解码器的性能进行主观评测的样本数据。
具体地，可基于预定聚类算法如kmeans对待筛选的多个视频对应的多组特征信息进行聚类，每个视频对应的一组特征信息包括由该视频的空间复杂度、时间复杂度及最小可觉差构成的三元组，即(SC，TC，JND)，设置参数k，通过聚类相应可得到k个聚类中心，分别表示为(Xsc1，Ytc1，Zjnd1)，(Xsc2，Ytc2，Zjnd2)...(Xsck，Ytck，Zjndk)，各个中心点一般情况下不会直接是特征信息的数据点，因此，可进一步基于以下计算式(式(1)…(k)分别表示第i个视频的特征信息三元组距离第1…k个聚类中心的距离)计算各个视频的特征信息三元组距离各个聚类中心距离：
…
并选取到k个聚类中心距离最小的k组特征信息，将该k组特征信息对应的k个视频(即k个目标视频)，作为用于对所述预定视频编解码器的性能进行主观评测的样本数据。
而在k个聚类中心中存在一个或多个中心点正好为相应组特征信息(即数据点)的情况，则直接将处于该一个或多个中心点的相应组特征信息对应的视频选取为目标视频，作为用于对视频编解码器的性能进行主观评测的样本数据。
且，本申请实施例中，认为通过以上聚类处理所得的所述k个目标视频在空间复杂度、时间复杂度及最小可觉差上的分布状况满足所述均衡分布条件。
本申请实施例提供的样本数据筛选方法，在从多个待选视频中筛选用于对视频编解码器的性能进行主观评测的样本数据时，引入了能用于表征人眼感知差异的特征维度，分别确定各个待筛选视频在至少包括引入的该特征维度的预定特征维度方面的特征信息，并根据各个视频在预定特征维度的特征信息，从中选取出在所述预定特征维度上均衡分布的多个目标视频作为样本数据，基于该处理过程选取的样本数据至少可以在人眼感知差异方面做到样本均衡分布，从而能够针对视频编解码器性能的主观评测，实现具有代表性同时避免在局部与视频编解码器过拟合的视频样本的选取，为视频编解码器性能的主观评测提供了更好的测试样本依据。
在本申请另一可选实施例中，参见图4示出的样本数据筛选方法的另一流程示意图，该方法在所述步骤203之前，还可以包括：
步骤401、对所述多个视频中每个视频的空间复杂度、时间复杂度及最小可觉差进行归一化处理，并针对归一化后的空间复杂度、时间复杂度及最小可觉差，触发所述根据各个视频在预定特征维度的特征信息，从所述多个视频中选取多个目标视频作为预定视频编解码器的样本数据的步骤。
具体地，对待筛选的多个视频中的每个视频，本实施例提供了以下的归一化公式对该视频的空间复杂度进行归一化：
其中，SCi、
分别表示所述多个视频中第i个视频的未归一化的空间复杂度及归一化后的空间复杂度，SCmin、σSC、SCaverage分别表示所述多个视频的空间复杂度的最小值、标准差和平均值。
相类似，可利用以下归一化公式对所述视频的时间复杂度进行归一化：
其中，TCi、
分别表示所述多个视频中第i个视频的未归一化的时间复杂度及归一化后的时间复杂度，TCmin、σTC、TCaverage分别表示所述多个视频的时间复杂度的最小值、标准差和平均值。
并利用以下归一化公式对所述视频的最小可觉差进行归一化：
其中，JNDi、
分别表示所述多个视频中第i个视频的未归一化的最小可觉差及归一化后的最小可觉差，JNDmin、σJND、JNDaverage分别表示所述多个视频的最小可觉差的最小值、标准差和平均值。
在得到各个视频的归一化后的空间复杂度、时间复杂度及最小可觉差的基础上，可进一步针对归一化后的空间复杂度、时间复杂度及最小可觉差，触发所述根据各个视频在预定特征维度的特征信息，从所述多个视频中选取多个目标视频作为预定视频编解码器的样本数据的步骤。
本实施例中，对视频的空间复杂度、时间复杂度及最小可觉进行归一化时，将视频的空间复杂度、时间复杂度或最小可觉差等特征信息减去的是各视频所对应特征信息的最小值(如，SCmin、TCmin、JNDmin)而不是平均值，主要是考虑到视频的分布多是集中在低时间复杂度、低空间复杂度区域，因此，本实施例通过减去最小值而非平均值，可使得低时间、低空间复杂度区域数据的聚合特性不被破坏，遵循了视频的低时间、低空间复杂度区域数据的聚合特性，相应会进一步保证具有代表性同时避免在局部与视频编解码器过拟合的视频样本的选取质量。
对应于上述的样本数据筛选方法，本申请实施例还提供了一种样本数据筛选装置，参阅图5示出的样本数据筛选装置的结构示意图，该装置可以包括：
获取单元501，用于获取待筛选的多个视频；
确定单元502，用于分别确定各个视频在预定特征维度的特征信息；所述预定特征维度至少包括能用于表征人眼感知差异的特征维度；
选取单元503，用于根据各根据各个视频在预定特征维度的特征信息，从所述多个视频中选取多个目标视频作为用于对预定视频编解码器的性能进行主观评测的样本数据；其中，所述多个目标视频在所述预定特征维度上的分布状况满足用于表示样本均衡分布的均衡分布条件。
在本申请实施例的一可选实施方式中，确定单元502，具体用于：
确定所述多个视频中每个视频的空间复杂度、时间复杂度及最小可觉差；其中，基于不同的最小可觉差表征人眼感知差异。
在本申请实施例的一可选实施方式中，确定单元502包括：
编码模块，用于利用所述预定视频编解码器对所述多个视频中的每个视频进行编码，得到每个视频的预定编码信息；
第一确定模块，用于根据每个视频的所述预定编码信息，确定每个视频的空间复杂度和时间复杂度；
第二确定模块，用于对于所述多个视频中的每个视频，分别确定所述视频的各帧图像中各个像素的最小可觉差；
第三确定模块，用于根据所述视频的各帧图像中各个像素的最小可觉差确定所述视频的最小可觉差。
在本申请实施例的一可选实施方式中，第一确定模块，具体用于：
根据每个视频编码后所得的所有I帧的码率总和与I帧个数，确定每个视频的空间复杂度；
根据每个视频编码后所得的所有B帧和P帧的码率总和、P帧个数以及空间复杂度，确定每个视频的时间复杂度。
在本申请实施例的一可选实施方式中，第二确定模块，包括：
第一确定子模块，用于对于所述视频的各帧图像中的每个像素，确定所述像素的预定数量算子梯度的最大对比度值；
第二确定子模块，用于确定所述像素在对应帧图像中所处子块内的亮度分量强度；所述子块为所述预定视频编解码器的最小编码单元；
第三确定子模块，用于确定所述像素所在帧图像中的边缘像素总和；
第四确定子模块，用于确定所述像素在所在帧图像中的相对应子块对显著性区域中心位置的距离总和；
第五确定子模块，用于确定所述像素所在帧图像中inter块的时域变化掩蔽；所述inter块表示所述像素所处子块为使用帧间编码参考模式的块；
第六确定子模块，用于根据所述最大对比度值、所述亮度分量强度、所述边缘像素总和、所述距离总和以及所述时域变化掩蔽，确定所述像素的最小可觉差。
在本申请实施例的一可选实施方式中，第一确定子模块，具体用于：
利用以下的视觉对比度敏感度带通计算式计算所述像素的预定数量算子梯度的最大对比度值：
其中，gradz(x,y)表示所述像素的第z个算子梯度；
第二确定子模块，具体用于：
利用以下的亮度幅度非线性模型计算式计算所述像素在对应帧图像中所处子块内的亮度分量强度：
其中，Ixy表示坐标为(x,y)的所述像素的亮度值；
第三确定子模块，具体用于：
利用以下的纹理对比度掩蔽模型计算式计算所述像素对应的用canny算子对所述像素所在帧图像进行处理后得到的边缘像素总和：
T_CM＝∑canny；
第四确定子模块，具体用于：
利用以下的人眼凸起掩蔽模型计算式计算所述像素在所在帧图像中的相对应子块对显著性区域中心位置的距离总和：
其中，(xj，yj)表示所述像素所在帧图像中第j个显著性区域的中心位置，N表示表示所述像素所在帧图像中显著性区域的个数，(xi，yi)表示所述像素所处子块内第i个像素的位置，K表示所述子块内包括的像素总个数；
第五确定子模块，具体用于：
利用以下的时域掩蔽计算式计算所述像素所在帧图像中inter块的时域变化掩蔽：
其中，SAD表示所述像素所处子块内残差绝对值之和，cu表示所述像素所处子块，cu＝inter表示所述像素所处子块为使用帧间编码参考模式的块，cu＝intra表示所述像素所处子块为使用帧内编码参考模式的块；
第六确定子模块，具体用于：
计算所述T_CSF、所述T_LM、所述T_CM、所述T_FM和所述T_TM的和，得到所述像素的最小可觉差。
第三确定模块，具体用于：
计算所述视频的各帧图像中各个像素的最小可觉差的平均值，得到所述视频的最小可觉差。
在本申请实施例的一可选实施方式中，选取单元503，具体用于：
对所述多个视频对应的多组特征信息进行聚类处理，得到k个聚类中心；一个视频对应的一组特征信息包括由所述一个视频的空间复杂度、时间复杂度及最小可觉差构成的三元组，所述k为大于1的整数；
针对每个聚类中心，确定与所述聚类中心的距离最小的一组特征信息，得到对应于k个聚类中心的k组特征信息；
确定所述k组特征信息对应的k个目标视频，作为用于对预定视频编解码器的性能进行主观评测的样本数据；
其中，所述k个目标视频在空间复杂度、时间复杂度及最小可觉差上的分布状况满足所述均衡分布条件。
在本申请实施例的一可选实施方式中，参阅图6示出的样本数据筛选装置的结构示意图，该装置还可以包括：
归一化单元504，用于在所述选取单元503根据各个视频在预定特征维度的特征信息，从所述多个视频中选取多个目标视频作为用于对预定视频编解码器的性能进行主观评测的样本数据之前，对所述多个视频中每个视频的空间复杂度、时间复杂度及最小可觉差进行归一化处理，并针对归一化后的空间复杂度、时间复杂度及最小可觉差，触发执行所述选取单元503的功能。
在本申请实施例的一可选实施方式中，归一化单元504，具体用于：
对所述多个视频中的每个视频，利用以下计算式对所述视频的空间复杂度进行归一化：
其中，SCi、
分别表示所述多个视频中第i个视频的未归一化的空间复杂度及归一化后的空间复杂度，SCmin、σSC、SCaverage分别表示所述多个视频的空间复杂度的最小值、标准差和平均值；
利用以下计算式对所述视频的时间复杂度进行归一化：
其中，TCi、
分别表示所述多个视频中第i个视频的未归一化的时间复杂度及归一化后的时间复杂度，TCmin、σTC、TCaverage分别表示所述多个视频的时间复杂度的最小值、标准差和平均值；
利用以下计算式对所述视频的最小可觉差进行归一化：
其中，JNDi、
分别表示所述多个视频中第i个视频的未归一化的最小可觉差及归一化后的最小可觉差，JNDmin、σJND、JNDaverage分别表示所述多个视频的最小可觉差的最小值、标准差和平均值。
对于本申请实施例公开的样本数据筛选装置而言，由于其与上文任一方法实施例公开的样本数据筛选方法相对应，所以描述的比较简单，相关相似之处请参见上文方法实施例中样本数据筛选方法部分的说明即可，此处不再详述。
本申请实施例还公开了一种电子设备，该电子设备可以是但不限于具有数据处理功能的手机、平板电脑、个人PC(如笔记本、一体机、台式机)等终端设备中，或具有数据处理功能的私有云/公有云云平台、服务器等对应的物理机。
该电子设备的组成结构如图7所示，至少包括：
存储器701，用于存放计算机指令集；
所述的计算机指令集可以采用计算机程序的形式实现。
存储器701可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其它易失性固态存储器件。
处理器702，用于通过执行所述存储器上存放的指令集，实现如上文方法实施例所公开的样本数据筛选方法。
处理器702可以为中央处理器(Central Processing Unit，CPU)，特定应用集成电路(application-specific integrated circuit，ASIC)，数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件等。
除此之外，电子设备还可以包括通信接口、通信总线等组成部分。存储器、处理器和通信接口通过通信总线完成相互间的通信。
通信接口用于电子设备与其它设备之间的通信。通信总线可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，EISA)总线等，该通信总线可以分为地址总线、数据总线、控制总线等。
本实施例中，电子设备中的处理器通过执行存储器中存放的计算机指令集，在从多个待选视频中筛选用于对视频编解码器的性能进行主观评测的样本数据时，引入了能用于表征人眼感知差异的特征维度，分别确定各个待筛选视频在至少包括引入的该特征维度的预定特征维度方面的特征信息，并根据各个视频在预定特征维度的特征信息，从中选取出在所述预定特征维度上均衡分布的多个目标视频作为样本数据，基于该处理过程选取的样本数据至少可以在人眼感知差异方面做到样本均衡分布，从而能够针对视频编解码器性能的主观评测，实现具有代表性同时避免在局部与视频编解码器过拟合的视频样本的选取，为视频编解码器性能的主观评测提供了更好的测试样本依据。
除此之外，本申请实施例还公开了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机指令集，所述计算机指令集被处理器执行时实现如上文方法实施例所公开的样本数据筛选方法。
该计算机可读存储介质中存储的指令在运行时，在从多个待选视频中筛选用于对视频编解码器的性能进行主观评测的样本数据时，引入了能用于表征人眼感知差异的特征维度，分别确定各个待筛选视频在至少包括引入的该特征维度的预定特征维度方面的特征信息，并根据各个视频在预定特征维度的特征信息，从中选取出在所述预定特征维度上均衡分布的多个目标视频作为样本数据，基于该处理过程选取的样本数据至少可以在人眼感知差异方面做到样本均衡分布，从而能够针对视频编解码器性能的主观评测，实现具有代表性同时避免在局部与视频编解码器过拟合的视频样本的选取，为视频编解码器性能的主观评测提供了更好的测试样本依据。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
为了描述的方便，描述以上系统或装置时以功能分为各种模块或单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
最后，还需要说明的是，在本文中，诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (13)
1.一种样本数据筛选方法，其特征在于，包括：
获取待筛选的多个视频；
分别确定各个视频在预定特征维度的特征信息；所述预定特征维度至少包括能用于表征人眼感知差异的特征维度；
根据各个视频在所述预定特征维度的特征信息，从所述多个视频中选取多个目标视频作为用于对预定视频编解码器的性能进行主观评测的样本数据；其中，所述多个目标视频在所述预定特征维度上的分布状况满足用于表示样本均衡分布的均衡分布条件。
2.根据权利要求1所述的方法，其特征在于，所述分别确定各个视频在预定特征维度的特征信息，包括：
确定所述多个视频中每个视频的空间复杂度、时间复杂度及最小可觉差；其中，基于不同的最小可觉差表征人眼感知差异。
3.根据权利要求2所述的方法，其特征在于，所述确定所述多个视频中每个视频的空间复杂度、时间复杂度及最小可觉差，包括：
利用所述预定视频编解码器对所述多个视频中的每个视频进行编码，得到每个视频的预定编码信息；根据每个视频的所述预定编码信息，确定每个视频的空间复杂度和时间复杂度；
对于所述多个视频中的每个视频，分别确定所述视频的各帧图像中各个像素的最小可觉差；根据所述视频的各帧图像中各个像素的最小可觉差确定所述视频的最小可觉差。
4.根据权利要求3所述的方法，其特征在于：
所述根据每个视频的所述预定编码信息，确定每个视频的空间复杂度和时间复杂度，包括：
根据每个视频编码后所得的所有I帧的码率总和与I帧个数，确定每个视频的空间复杂度；
根据每个视频编码后所得的所有B帧和P帧的码率总和、P帧个数以及空间复杂度，确定每个视频的时间复杂度。
5.根据权利要求3所述的方法，其特征在于，所述分别确定所述视频的各帧图像中各个像素的最小可觉差，包括：
对于所述视频的各帧图像中的每个像素，确定所述像素的预定数量算子梯度的最大对比度值；
确定所述像素在对应帧图像中所处子块内的亮度分量强度；所述子块为所述预定视频编解码器的最小编码单元；
确定所述像素所在帧图像中的边缘像素总和；
确定所述像素在所在帧图像中的相对应子块对显著性区域中心位置的距离总和；
确定所述像素所在帧图像中inter块的时域变化掩蔽；所述inter块表示所述像素所处子块为使用帧间编码参考模式的块；
根据所述最大对比度值、所述亮度分量强度、所述边缘像素总和、所述距离总和以及所述时域变化掩蔽，确定所述像素的最小可觉差。
6.根据权利要求5所述的方法，其特征在于：
所述确定所述像素的预定数量算子梯度的最大对比度值，包括：
利用以下的视觉对比度敏感度带通计算式计算所述像素的预定数量算子梯度的最大对比度值：
其中，gradz(x,y)表示所述像素的第z个算子梯度；
所述确定所述像素在对应帧图像中所处子块内的亮度分量强度，包括：
利用以下的亮度幅度非线性模型计算式计算所述像素在对应帧图像中所处子块内的亮度分量强度：
其中，Ixy表示坐标为(x,y)的所述像素的亮度值；
所述确定所述像素所在帧图像中的边缘像素总和，包括：
利用以下的纹理对比度掩蔽模型计算式计算所述像素对应的用canny算子对所述像素所在帧图像进行处理后得到的边缘像素总和：
T_CM＝∑canny；
所述确定所述像素在所在帧图像中的相对应子块对显著性区域中心位置的距离总和，包括：
利用以下的人眼凸起掩蔽模型计算式计算所述像素在所在帧图像中的相对应子块对显著性区域中心位置的距离总和：
其中，(xj，yj)表示所述像素所在帧图像中第j个显著性区域的中心位置，N表示表示所述像素所在帧图像中显著性区域的个数，(xi，yi)表示所述像素所处子块内第i个像素的位置，K表示所述子块内包括的像素总个数；
所述确定所述像素所在帧图像中inter块的时域变化掩蔽，包括：
利用以下的时域掩蔽模型计算式计算所述像素所在帧图像中inter块的时域变化掩蔽：
其中，SAD表示所述像素所处子块内残差绝对值之和，cu表示所述像素所处子块，cu＝inter表示所述像素所处子块为使用帧间编码参考模式的块，cu＝intra表示所述像素所处子块为使用帧内编码参考模式的块；
所述根据所述最大对比度值、所述亮度分量强度、所述边缘像素总和、所述距离总和以及所述时域变化掩蔽，确定所述像素的最小可觉差，包括：
计算所述T_CSF、所述T_LM、所述T_CM、所述T_FM和所述T_TM的和，得到所述像素的最小可觉差。
7.根据权利要求3所述的方法，其特征在于，所述根据所述视频的各帧图像中各个像素的最小可觉差确定所述视频的最小可觉差，包括：
计算所述视频的各帧图像中各个像素的最小可觉差的平均值，得到所述视频的最小可觉差。
8.根据权利要求2所述的方法，其特征在于，所述根据各个视频在所述预定特征维度的特征信息，从所述多个视频中选取多个目标视频作为用于对预定视频编解码器的性能进行主观评测的样本数据，包括：
对所述多个视频对应的多组特征信息进行聚类处理，得到k个聚类中心；一个视频对应的一组特征信息包括由所述一个视频的空间复杂度、时间复杂度及最小可觉差构成的三元组，所述k为大于1的整数；
针对每个聚类中心，确定与所述聚类中心的距离最小的一组特征信息，得到对应于k个聚类中心的k组特征信息；
确定所述k组特征信息对应的k个目标视频，作为用于对所述预定视频编解码器的性能进行主观评测的样本数据；
其中，所述k个目标视频在空间复杂度、时间复杂度及最小可觉差上的分布状况满足所述均衡分布条件。
9.根据权利要求2所述的方法，其特征在于，在根据各个视频在所述预定特征维度的特征信息，从所述多个视频中选取多个目标视频作为用于对预定视频编解码器的性能进行主观评测的样本数据之前，还包括：
对所述多个视频中每个视频的空间复杂度、时间复杂度及最小可觉差进行归一化处理，并针对归一化后的空间复杂度、时间复杂度及最小可觉差，触发所述根据各个视频在所述预定特征维度的特征信息，从所述多个视频中选取多个目标视频作为用于对预定视频编解码器的性能进行主观评测的样本数据的步骤。
10.根据权利要求9所述的方法，其特征在于，所述对所述多个视频中每个视频的空间复杂度、时间复杂度及最小可觉差进行归一化处理，包括：
对所述多个视频中的每个视频，利用以下计算式对所述视频的空间复杂度进行归一化：
SC′i＝(SCi-SCmin)/σSC；
其中，SCi、SC′i分别表示所述多个视频中第i个视频的未归一化的空间复杂度及归一化后的空间复杂度，SCmin、σSC、SCaverage分别表示所述多个视频的空间复杂度的最小值、标准差和平均值；
利用以下计算式对所述视频的时间复杂度进行归一化：
TC′i＝(TCi-TCmin)/σTC；
其中，TCi、TC′i分别表示所述多个视频中第i个视频的未归一化的时间复杂度及归一化后的时间复杂度，TCmin、σTC、TCaverage分别表示所述多个视频的时间复杂度的最小值、标准差和平均值；
利用以下计算式对所述视频的最小可觉差进行归一化：
JND′i＝(JNDi-JNDmin)/σJND；
其中，JNDi、JND′i'分别表示所述多个视频中第i个视频的未归一化的最小可觉差及归一化后的最小可觉差，JNDmin、σJND、JNDaverage分别表示所述多个视频的最小可觉差的最小值、标准差和平均值。
11.一种样本数据筛选装置，其特征在于，包括：
获取单元，用于获取待筛选的多个视频；
确定单元，用于分别确定各个视频在预定特征维度的特征信息；所述预定特征维度至少包括能用于表征人眼感知差异的特征维度；
选取单元，用于根据各个视频在所述预定特征维度的特征信息，从所述多个视频中选取多个目标视频作为用于对预定视频编解码器的性能进行主观评测的样本数据；其中，所述多个目标视频在所述预定特征维度上的分布状况满足用于表示样本均衡分布的均衡分布条件。
12.一种电子设备，其特征在于，包括：
存储器，用于存放计算机指令集；
处理器，用于通过执行所述存储器上存放的指令集，实现如权利要求1-10任一项所述的样本数据筛选方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机指令集，所述计算机指令集被处理器执行时实现如权利要求1-10任一项所述的样本数据筛选方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110068740.9A CN112861852B (zh) | 2021-01-19 | 2021-01-19 | 样本数据筛选方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110068740.9A CN112861852B (zh) | 2021-01-19 | 2021-01-19 | 样本数据筛选方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112861852A true CN112861852A (zh) | 2021-05-28 |
| CN112861852B CN112861852B (zh) | 2024-09-06 |
Family
ID=76007267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110068740.9A Active CN112861852B (zh) | 2021-01-19 | 2021-01-19 | 样本数据筛选方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112861852B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101325711A (zh) * | 2008-07-16 | 2008-12-17 | 上海大学 | 基于时空掩盖效应的自适应码率控制方法 |
| CN103634594A (zh) * | 2012-08-21 | 2014-03-12 | 华为技术有限公司 | 一种获得视频编码压缩质量的方法及装置 |
| CN104219525A (zh) * | 2014-09-01 | 2014-12-17 | 国家广播电影电视总局广播科学研究院 | 基于显著性和最小可察觉失真的感知视频编码方法 |
| CN104378636A (zh) * | 2014-11-10 | 2015-02-25 | 中安消技术有限公司 | 一种视频图像编码方法及装置 |
| CN105959685A (zh) * | 2016-05-31 | 2016-09-21 | 上海交通大学 | 一种基于视频内容及聚类分析的压缩码率预测方法 |
| CN106412572A (zh) * | 2016-10-14 | 2017-02-15 | 中国传媒大学 | 一种基于运动特性的视频流编码质量评价方法 |
| CN107003521A (zh) * | 2014-09-22 | 2017-08-01 | 脸谱公司 | 基于眼睛会聚的显示能见度 |
| CN107203270A (zh) * | 2017-06-06 | 2017-09-26 | 歌尔科技有限公司 | Vr图像处理方法及装置 |
| CN107223344A (zh) * | 2017-01-24 | 2017-09-29 | 深圳大学 | 一种静态视频摘要的生成方法及装置 |
| WO2018051330A1 (en) * | 2016-09-14 | 2018-03-22 | Beamr Imaging Ltd. | Method of pre-processing of video information for optimized video encoding |
| CN110139112A (zh) * | 2019-04-29 | 2019-08-16 | 暨南大学 | 一种基于jnd模型的视频编码方法 |
-
2021
- 2021-01-19 CN CN202110068740.9A patent/CN112861852B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101325711A (zh) * | 2008-07-16 | 2008-12-17 | 上海大学 | 基于时空掩盖效应的自适应码率控制方法 |
| CN103634594A (zh) * | 2012-08-21 | 2014-03-12 | 华为技术有限公司 | 一种获得视频编码压缩质量的方法及装置 |
| CN104219525A (zh) * | 2014-09-01 | 2014-12-17 | 国家广播电影电视总局广播科学研究院 | 基于显著性和最小可察觉失真的感知视频编码方法 |
| CN107003521A (zh) * | 2014-09-22 | 2017-08-01 | 脸谱公司 | 基于眼睛会聚的显示能见度 |
| CN104378636A (zh) * | 2014-11-10 | 2015-02-25 | 中安消技术有限公司 | 一种视频图像编码方法及装置 |
| CN105959685A (zh) * | 2016-05-31 | 2016-09-21 | 上海交通大学 | 一种基于视频内容及聚类分析的压缩码率预测方法 |
| WO2018051330A1 (en) * | 2016-09-14 | 2018-03-22 | Beamr Imaging Ltd. | Method of pre-processing of video information for optimized video encoding |
| CN106412572A (zh) * | 2016-10-14 | 2017-02-15 | 中国传媒大学 | 一种基于运动特性的视频流编码质量评价方法 |
| CN107223344A (zh) * | 2017-01-24 | 2017-09-29 | 深圳大学 | 一种静态视频摘要的生成方法及装置 |
| CN107203270A (zh) * | 2017-06-06 | 2017-09-26 | 歌尔科技有限公司 | Vr图像处理方法及装置 |
| CN110139112A (zh) * | 2019-04-29 | 2019-08-16 | 暨南大学 | 一种基于jnd模型的视频编码方法 |
Non-Patent Citations (3)
| Title |
|---|
| NOEM- DECASTRO-GARC-A ET AL.: "Effect of the Sampling of a Dataset in the Hyperparameter Optimization Phase over the Efficiency of a Machine Learning Algorithm", 《COMPLEXITY》, vol. 2019, 4 February 2019 (2019-02-04), pages 1 - 17 * |
| 单娜娜: "高性能视频编码中的低复杂度算法研究", 《中国博士学位论文全文数据库信息科技辑》, no. 05, 15 May 2018 (2018-05-15), pages 136 - 15 * |
| 姚军财等: "结合人眼对比度敏感视觉特性的视频质量客观评价", 《光学精密工程》, vol. 24, no. 03, 15 March 2016 (2016-03-15), pages 659 - 667 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112861852B (zh) | 2024-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Winkler | Perceptual video quality metrics—A review | |
| Wang et al. | Reduced-reference quality assessment of screen content images | |
| Gu et al. | Hybrid no-reference quality metric for singly and multiply distorted images | |
| Gu et al. | Automatic contrast enhancement technology with saliency preservation | |
| Moorthy et al. | Visual quality assessment algorithms: what does the future hold? | |
| Xu et al. | No-reference video quality assessment via feature learning | |
| CN110839129A (zh) | 图像处理方法、装置以及移动终端 | |
| Wang et al. | Image quality assessment based on local linear information and distortion-specific compensation | |
| CN112950581A (zh) | 质量评估方法、装置和电子设备 | |
| CN103313047B (zh) | 一种视频编码方法及装置 | |
| Jakhetiya et al. | A prediction backed model for quality assessment of screen content and 3-D synthesized images | |
| CN112954312A (zh) | 一种融合时空特征的无参考视频质量评估方法 | |
| Jiang et al. | Toward top-down just noticeable difference estimation of natural images | |
| CN110944200B (zh) | 一种评估沉浸式视频转码方案的方法 | |
| Yang et al. | Analyzing the effect of JPEG compression on local variance of image intensity | |
| Krasula et al. | Preference of experience in image tone-mapping: Dataset and framework for objective measures comparison | |
| CN113382284B (zh) | 一种盗版视频的分类方法及装置 | |
| Katsigiannis et al. | Interpreting MOS scores, when can users see a difference? Understanding user experience differences for photo quality | |
| CN108513132B (zh) | 一种视频质量评价方法及装置 | |
| Xian et al. | A content-oriented no-reference perceptual video quality assessment method for computer graphics animation videos | |
| Saha et al. | Perceptual video quality assessment: The journey continues! | |
| CN112584153B (zh) | 基于恰可察觉失真模型的视频压缩方法及装置 | |
| CN113422956A (zh) | 一种图像编码方法、装置、电子设备及存储介质 | |
| CN112861852B (zh) | 样本数据筛选方法、装置、电子设备及存储介质 | |
| CN116261009B (zh) | 智能转化影视受众的视频检测方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |