CN111275683A

CN111275683A - 图像质量评分处理方法、系统、设备及介质

Info

Publication number: CN111275683A
Application number: CN202010062710.2A
Authority: CN
Inventors: 周曦; 姚志强; 吴媛; 杨开
Original assignee: Shanghai Yunconghuilin Artificial Intelligence Technology Co Ltd
Current assignee: Shanghai Yunconghuilin Artificial Intelligence Technology Co Ltd
Priority date: 2020-01-20
Filing date: 2020-01-20
Publication date: 2020-06-12
Anticipated expiration: 2040-01-20
Also published as: CN111275683B

Abstract

本发明提供一种图像质量评分处理方法、系统、设备及介质，该方法包括：从图像数据集随机挑选多张图像形成全对比图像集，且图像数据集内未挑选的图像为剩余图像集；计算全对比图像集内所有图像质量评价的质量分数；遍历所述剩余图像集内图像，将所述剩余图像集内任一张图像与全对比图像集内的图像比对，得到剩余图像集内所有图像的质量分数。本发明利用图像数据集之间相互关系对图像质量进行标注，减少了标注员对单张图像直接标注的主观性，增加了标注的准确性；同时，对图像质量评分进行标注，提高了标注效率。

Description

图像质量评分处理方法、系统、设备及介质

技术领域

本发明涉及人工智能技术领域，特别是涉及一种图像质量评分处理方法、系统、设备及介质。

背景技术

图像在视频通讯、娱乐和社交网络中有着不可取代的作用，然后在图像获取、处理、传输、存储等过程中，图像不可避免地会被各种噪声污染，从而影响人的感知体验。因此，评价图像的质量对于提升用户的体验是有价值的，例如，视频提供商可以通过用户对图像质量的反馈来调整图像的压缩率，从而更好的利用网络传输带宽等。虽然人作为图像的最终接收者，人的主观评价是最优选项，但是主观评价这个过程耗时耗力，且在某些实际场合下是不可行的，因此通过图像质量评分处理算法评估图像的感官质量就变得很有意义。

然而，传统的图像质量评分标注，通过注册网站(AVA数据集)会员使用该评分系统，利用分数范围1～10，记录所有人的评分；photo.net记录多人的平均评分；CUHKPQ中每张图像由10名标注员打分，得分8以上为高质量，否则为低质量，上述图像质量的标注方法均是以标注员基于单张图像的理解所标注，没有考虑图像数据之间的相关性，显得不够准确。因此，研究基于图像数据相关性标注图像质量的方法、系统具有重要的工程实用价值和理论指导意义。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供图像质量评分处理方法、系统、设备及介质，用于解决现有图像质量评分未考虑图像数据之间相关性进行标注，导致标注的评分不准确的问题。

为实现上述目的及其他相关目的，本发明提供一种图像质量评分处理方法，包括：

从图像数据集随机挑选多张图像形成全对比图像集，且所述图像数据集内未挑选的图像为剩余图像集；

利用质量评价获取所述全对比图像集内所有图像的质量分数；

遍历所述剩余图像集内图像，将所述剩余图像集内任一张图像与全对比图像集内的图像比对，得到剩余图像集内所有图像的质量分数。

本发明的另一目的在于提供一种图像质量评分处理系统，包括：

图像集分割模块，用于从图像数据集随机挑选多张图像形成全对比图像集，且所述图像数据集内未挑选的图像为剩余图像集；

质量分数获取模块，利用质量评价获取所述全对比图像集内所有图像的质量分数；

图像评分模块，用于遍历所述剩余图像集内图像，将所述剩余图像集内任一张图像与全对比图像集内的图像比对，得到剩余图像集内所有图像的质量分数。

本发明的另一目的在于提供一种设备，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行上述图像质量评分处理方法。

本发明还一目的在于提供一个或多个机器可读介质，包括：

其上存储有指令，当由一个或多个处理器执行时，使得设备执行上述图像质量评分处理方法。

如上所述，本发明提供的一种图像质量评分处理方法、系统、设备及介质，具有以下有益效果：

本发明利用图像数据集之间相互关系对图像质量进行标注，减少了标注员对单张图像直接标注的主观性，加入了全体图像的相互关系，增加了标注的准确性；同时，将图像数据集分为全对比图像集和剩余图像集，对图像质量评分进行标注，提高了标注效率。

附图说明

图1为本发明实施例提供的图像质量评分处理方法流程图；

图2为本发明实施例提供的图像质量评分处理方法中步骤S2流程图；

图3为本发明实施例提供的图像质量评分处理方法中步骤S21流程图；

图4为本发明实施例提供的图像质量评分处理方法另一流程图；

图5为本发明实施例提供的图像质量评分处理方法完整流程图；

图6为本发明实施例提供的图像质量评分处理系统结构框图；

图7为本发明实施例提供的图像质量评分处理系统中一结构框图；

图8为本发明实施例提供的图像质量评分处理系统另一结构框图；

图9为本发明实施例提供的图像质量评分处理系统图像评分模块结构结构框图；

图10为本发明实施例提供的图像质量评分处理系统另一结构框图；

图11为本发明实施例提供的图像质量评分处理系统完整结构框图；

图12为本发明实施例提供的终端设备的硬件结构示意图；

图13为本发明实施例提供的终端设备的硬件结构示意图。

元件标号说明

0 预处理模块

1 图像集分割模块

2 质量分数获取模块

21 质量分数获取单元

211 第一比较子单元

212 第一评分子单元

213 第二评分子单元

214 第三评分子单元

22 映射处理单元

3 图像评分模块

31 质量分数获取单元单元

32 对比图像集更新单元

33 精度分数更新单元

34 精度分数选择单元

4 平行标注模块

1100 输入设备

1101 第一处理器

1102 输出设备

1103 第一存储器

1104 通信总线

1200 处理组件

1201 第二处理器

1202 第二存储器

1203 通信组件

1204 电源组件

1205 多媒体组件

1206 语音组件

1207 输入/输出接口

1208 传感器组件

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在本申请中，需要理解的是，几个概念的含义分别为：

全对比图像集：待处理图像集中提取小部分作为全对比图像集；

剩余图像集：待处理图像集中剩下的图像集；

精度分数：在全对比图像集中，标注员对图像标注的分数；

质量分数：精度分数映射得到质量分数；

标注员：对图像进行打分评价的人员。

请参阅图1，为本发明实施例提供的图像质量评分处理方法流程图，包括：

步骤S1，从图像数据集随机挑选多张图像形成全对比图像集，且所述图像数据集内未挑选的图像为剩余图像集；

具体地，图像数据集来源于多个相似图像文件夹随机挑选出一定数据的图像组合，例如，所述图像数据集V内有N张图像，从所述图像数据集V随机挑选n张图像，作为全对比图像集S，所述图像数据集V未挑选的(即，剩余的图像)为剩余图像集T，

V-S＝T，n的选取在于目标的种子粒度性，需根据分数精度指定。

步骤S2，利用质量评价获取所述全对比图像集内所有图像的质量分数；

其中，将所述全对比图像集内任意一张图像均和其它图像做对比，得到全对比图像集内每个图像的质量分数；

步骤S3，遍历所述剩余图像集内图像，将所述剩余图像集内任一张图像与全对比图像集内的图像比对，得到剩余图像集内所有图像的质量分数；

其中，逐一将所述剩余图像集内的图像与所述全对比图像集的图像比较，得到所述剩余图像集内所有图像的质量分数。

在本实施例中，利用图像数据集之间相互关系对图像质量进行标注，减少了标注员对单张图像直接标注的主观性，加入了全体图像的相互关系，增加了标注的准确性；同时，将图像数据集分为全对比图像集和剩余图像集，对图像质量评分进行标注，提高了标注效率，准确快速的实现了图像质量评分处理。

在另一实施例中，判断将所述剩余图像集内任一张图像与所述全对比图像集内初始质量分数相同的图像比较，得到所述剩余图像集内所有图像的质量分数。

具体地，所述全对比图像集内每次参与比较的图像为全对比图像集比较区间质量分数为中间值的图像，且该比较区间随着比较次数增加逐渐缩小范围，整个过程计算简单，大大缩减了计算量，同时，能够确保收敛性。

在另一些实施例中，请参阅图4，为本发明实施例提供的图像质量评分处理方法另一流程图，与上述图1中不同点在于，在步骤S1之前，还包括：

步骤S0，预处理获取的图像数据集。

具体地，通过预处理(数字化、几何变换、归一化、平滑或增强等方式)使得图像数据集内的图像达到预设格式，例如，图像变换为指定大小、指定灰度等，能够确保后续质量评分标注正常进行，避免了无法标注的现象。

需要说明的是，通过上述预处理使得选取的全对比图像集和剩余图像集为同一标准，便于后续的图像质量评分。

请参阅图2，本发明实施例提供的图像质量评分处理方法中步骤S2流程图，详述如下：

在另一些实施例中，与上述实施例的不同点，所述步骤S2进一步包括：

步骤S21，在全对比图像集内任意选择一张图像与其余的图像一一联合比对，得到所述全对比图像集所有图像的精度分数；

例如，全比对图像集S里的每张图像初始化一个单位的分数，记为1。以下数字也都代表有该数量的单位值；

步骤S22，将所述精度分数映射到评分范围形成所有所述图像的质量分数。

具体地，通过遍历全比对图像集S的任意一张图像与其余图像都做了对比，总的对比次数为n(n+1)/2，其中，全比对图像集S图像的最低分数为1，图像的最高分数为n，由于1到n为图像的精度分数，由于全比对图像集S图像对于1～n的分数不是全覆盖，可能涉及很多相同分数的图像，为了让分数尽可能覆盖，采用映射处理的方式，将精度分数的范围1～n映射到1～a(如精度分数1～100分映射到质量分数为1～10分)，将映射之后的分数作为图像的质量分数。

需要说明的是，在上述图2中步骤S21详细流程图，详见图3，详述如下：

步骤S211，比较所述全对比图像集内选择的图像与被用于对比的图像的质量；

例如，标注员在全比对图像集S任意选一张图像a和图像b做对比，具体如下：

步骤S212，如果其中任一个图像的质量高于被用于对比的图像质量时，则质量高的图像其对应的精度分数增加一个单位，被用于对比的图像精度分数不变；

例如，如果图像a的质量优于图像b，则图像a的质量分数增加一个单位，图像b的质量分数不变；同理，如果图像b的质量优于图像a，则图像b的质量分数增加一个单位，图像a的质量分数不变。

步骤S213，如果选择的图像与被用于对比的图像对应的质量相同且达到预设阈值时，则其对应的图像的精度分数均增加一个单位；

例如，如果图像a的质量与图像b的质量同样优质，则图像a与图像b各自的精度分数增加一个单位，通过预设阈值判断是否优质，其中该预设阈值包括标注图像内容、色彩搭配、光照以及清晰度等一个或几个指标是否达标，作为判断依据。

步骤S214，如果选择的图像与被用于对比的图像对应的质量均未到达预设阈值时，则两个图像对应的精度分数不变。

例如，如果图像a的质量与图像b的质量均无法判断(即，都未达到预设阈值的判断依据)，则图像a与图像b各自的精度分数不变。

需要说明的是，通过两两对比，提前计算全对比图像集内各个图像的图像质量分数，一方面，便于后续判断，减少了标注数据工作量；另一方面，作为关联性图像数据集与剩余图像集内图像比对，提高了全体图像的相互关系。

请参阅图4，本发明实施例提供的图像质量评分处理方法中步骤S3流程图，详述如下：

步骤S301，将所述剩余图像集内任一图像与所述全对比图像集的图像比较，根据该任一图像在全对比图像集内的每次比较的结果确定所述任一图像的质量分数，直到比较完所述剩余图像集内所有图像得到每张所述图像相应的质量分数。

其中，比较剩余图像集内任意图像与全对比图像集内图像时，根据图像内容、色彩搭配、光照以及清晰度等指标逐一判断哪个图像质量好，例如，针对多指标可采用平均加权和、以及均值法评判哪个图像质量好，也可按上述指标利用标注员进行人为判断，由于图像具体比较的判断方式为本领域的现有技术，在此不一一赘述。

具体地，由于全对比图像集内各个图像按质量分数排序排列，在剩余图像集内任一张图像与全对比图像集内图像进行比较时，需要根据待比较的任一张图像在全对比图像集内的每次比较结果(例如，该图像的质量分数等于全对比图像集内某一图像的质量分数，则开始剩余图像集内下一张图像的二分法比较；如果该图像的质量分数小于全对比图像集内某一图像的质量分数，则在全对比图像集内被用作比较的图像左侧区间内再次开始比较；如果该图像的质量分数大于全对比图像集内某一图像的质量分数，则在全对比图像集内被用作比较的图像右侧区间内再次开始比较)，直到能够确定该任一张图像的质量分数为止。

因此，需要说明的是，在比较过程中，当剩余图像集内任一张图像的质量分数不等于全对比图像集内被比较的图像质量分数时，那么该任一图像对应的比较结果会决定在全对比图像集内下一次比较的区间。

步骤S302，在比较中，当检测到所述剩余图像集内任一图像的质量分数在所述全对比图像集内两个相邻的质量分数之间时，将该任一图像加入到所述全对比图像集内，并计算所述任一图像所对应精度分数。

具体地，由于判断过程中，所述剩余图像集内任一图像的质量分数不可能每次都等于所涉及比较区域的中间值，因此，在最终的比较过程中，当剩余图像集内该图像无法确定其对应的质量分数时(即，该任一图像的质量分数在所述全对比图像集内两个相邻的质量分数之间时)，则需要将该图像添加到全对比图像集内，以此逐渐丰富和完善全对比图像集的图像，例如，当剩余图像集内某一图像通过比较，最终确定其质量分数在全对比图像集内对应图像相邻的质量分数为6分～7分内，则将剩余图像集内该图像添加到全对比图像集内，计算该图像在全对比图像集6分～7分内具体的精度分数，有利于全对比图像集内各个图像按精度分数排序。

需要说明的是，在经过全对比图像集内比较后，如果剩余图像集内仍有某些图像依然无法确定对应的质量分数(例如，本申请中质量分数为1～10分的任一整数，当质量分数为两个连续整数之间，则无法确定其质量分数)，通过计算所述图像的对应的精度分数仍然能够计算质量分数的评分，取精度分数的十位数数值为该图像的质量分数，例如，精度分数为61～69分的区间均取质量分数为6分。

进一步地，将所述任一图像与其在全对比图像集内对应的质量分数范围所映射精度分数区间比较，计算所述任一图像的精度分数并检测该精度分数在全对比图像集内是否存在，如果全对比图像集不存在该精度分数的图像时，则将所述图像对应的精度分数保存到所述全对比图像集内。

在一实施例中，由于全对比图像集内的精度分数依次排列情况包括非连续的自然数(1～99分)，例如，通过将任一图像添加到全对比图像集内，并与该图像对应的质量分数范围所映射的精度分数区间比较，得到该任一图像的精度分数，例如，确定该图像的质量分数范围为6～7分，按照步骤S211～S214比较，如果得到该图像的精度分数为65分，且全对比图像集不存在该精度分数65分图像，而65分恰好在全对比图像集内精度分数为62分与66分之间，则将所述图像对应的65分按顺序保存到所述全对比图像集内。采用具体质量分数区间映射的精度范围比较，一方面可减少图像比较数量，提升比较效率；另一方面，将得到的精度分数保存到全对比图像集内，更新了全对比图像集，保证了全对比图像集数据的完整性。

进一步地，在计算精度分数时，如果所述剩余图像集内任一图像的精度分数在全对比图像集两个相邻的精度分数之间，则取较小的精度分数作为该任一图像的精度分数。

在另一实施例中，全对比图像集内的精度分数依次排列情况还包括连续的自然数，在计算精度分数时，如果剩余图像集内某一图像的质量精度分数在全对比图像集内为64～65分的图像，而剩余图像集内的图像的质量好于64分且差于65分，则取较小的精度分数(64分)作为剩余图像集该任一图像的精度分数。

在本实施例中，通过遍历剩余图像集T中的图像，对于任一张图像Ti，将该图像Ti与全对比图像集的图像做比对。其中，初次比较时，全对比图像集内初始质量分数m₁为区间为1～A的中间值，将该中间值与图像Ti比较，A为该区间的端点值。

具体地，在初次比较(j＝1)时，选择全对比图像集中选择质量分数等于初始质量分数m₁的图像，将剩余图像集中的图像Ti与全对比图像集中图像S0比较，而在第j次比较中，选择全对比图像集中质量分数为m_j图像与图像Ti比较，具体如下：

第一种方式，当所述剩余图像集内选择的图像Ti的质量分数等于第j次比较产生的质量分数为m_j图像的质量时，则开始计算所述剩余图像集内下一张图像的质量分数。

第二种方式，当所述剩余图像集内选择的图像Ti质量分数优于全对比图像集内第j次比较产生的质量分数为m_j图像时，如果所述图像Ti的质量分数小于其下一次比较的质量分数m_j+1(表示图像Ti的质量分数在质量分数m_j+1对应左侧区间内)，直到所述图像Ti经比较后得到对应的质量分数为止，或，直到所述图像Ti经比较确定在最小的比较区间内，则将所述图像Ti加入到全对比图像集内，并计算图像Ti的精度分数，检测图像Ti所对应精度分数在全对比图像集内是否存在，如果不存在，则将所述图像Ti的精度分数加入到全对比图像集内；如果所述图像Ti的质量分数大于其下一次比较的质量分数m_j+1(表示图像Ti的质量分数在质量分数m_j+1对应右侧区间内)，直到所述图像Ti经比较后得到对应的质量分数为止，或，直到所述图像Ti经比较确定在最小的比较区间内，则将所述图像Ti加入到全对比图像集内，并计算图像Ti的精度分数，检测图像Ti所对应精度分数在全对比图像集内是否存在，如果不存在，则将所述图像Ti的精度分数加入到全对比图像集内。

例如，由于全对比图像集内所有图像是按照1到A的顺序排列，采用下述公式(2)计算图像m_j的质量分数，其中，公式(2)中当m_j-1+A为奇数时，其对应的全对比图像集内第j次比较质量分数m_j还可等于(m_j-1+A+1)/2，便于全对比图像集内每次参与比较的图像的质量分数取整，有利于计算剩余图像集内任一参与比较的图像。

第三种方式，当所述剩余图像集内选择的图像Ti质量分数不优于全对比图像集内第j次比较产生的质量分数为m_j图像时，如果所述图像Ti的质量分数大于其下一次比较的质量分数m_j+1(表示图像Ti的质量分数在质量分数m_j+1对应右侧区间内)，直到所述图像Ti经比较后得到对应的质量分数为止，或，直到所述图像Ti经比较确定在最小的比较区间内，则将所述图像Ti加入到全对比图像集内，并计算图像Ti的精度分数，检测图像Ti所对应精度分数在全对比图像集内是否存在，如果不存在，则将所述图像Ti的精度分数加入到全对比图像集内；如果所述图像Ti的质量分数小于其下一次比较的质量分数m_j+1(表示图像Ti的质量分数在质量分数m_j+1对应左侧区间内)，直到所述图像Ti经比较后得到对应的质量分数为止，或，直到所述图像Ti经比较确定在最小的比较区间内，则将所述图像Ti加入到全对比图像集内，并计算图像Ti的精度分数，检测图像Ti所对应精度分数在全对比图像集内是否存在，如果不存在，则将所述图像Ti的精度分数加入到全对比图像集内。

例如，由于全对比图像集内所有图像是按照1到A的顺序排列，采用下述公式(3)计算图像m_j的质量分数，其中，公式(3)中当m_j-1+A为奇数时，其对应的全对比图像集内第j次比较质量分数m_j还可等于(m_j-1+A-1)/2，便于全对比图像集内每次参与比较的图像的质量分数取整，有利于计算剩余图像集内任一参与比较的图像：

其中，公式(2)与公式(3)中A为比较区间的端点值，如果剩余图像内该图像的质量分数大于质量分数m_j时，则该端点值A为该比较区间的右端点值；如果剩余图像内该图像的质量分数小于质量分数m_j时，则该端点值A为该比较区间的左端点值，其中，m_j中j取大于等于2的整数，表示第j次比较，在j＝1次，利用公式(1)获取全对比图像集内初始质量分数m₁为区间为1～A的中间值。

在一些实施例中，在全对比图像集S0～S9表示质量分数为1-10分，其中，该质量分数由精度分数1～100映射而来，在剩余图像集内选择的图像T0～T19分别表示第1张图像到第20张图像，在剩余图像集内随机选择T0作为第一张待比较的图像，具体如下：

第一种情况，在第j(j为从1开始的自然数)次比较过程中，如果图像T0的质量分数等于任何一次判断对应的中间值m_j情况，则开始比较剩余图像集内的下一张图像(图像T1～T19)，例如，如果j＝1，且在第一次剩余图像集内图像T0的质量分数等于全对比图像集内为5(m₁＝5)分的初始质量分数时，则开始剩余图像集内下一张图像的二分比较。

第二种情况，在第j次比较过程中，如果剩余图像集内图像T0的质量分数大于质量分数为5分的图像时，在j+1次比较时，其对应的初始质量分数为5分到10分的中间分如公式(2)m_j-1+A为奇数所对应的(5+10-1)/2＝7(m₂＝7)分，(1)如果图像T0对应的质量分数等于全对比图像集内质量分数为7分的图像时，则按第一种情况处理；

(2)如果图像T0对应的质量分数小于全对比图像集内质量分数为7分图像时，则按照第二种方式进行j+2次二分比较，按照公式(2)计算区间范围为5～7分的中间值(m_j-1+A)为偶数(5+7)/2＝6分，比较图像T0质量分数与全对比图像集内质量分数为6分的图像情况，i，当图像T0对应的质量分数等于全对比图像集内质量分数为6分图像时，执行第一种情况处理；ii，当所述图像T0的质量分数在全对比图像集内大于6分且小于7分的图像之间时，则将该图像T0加入到全对比图像集内，并计算该图像T0在全对比图像集内的精度分数，检测图像T0质量分数所对应精度分数在全对比图像集内是否存在，如果不存在该精度分数，则添加该图像T0所对应的精度分数至全对比图像集；iii，当所述图像T0的质量分数在全对比图像集大于5分且小于6分的图像之间时，则将该图像T0加入到全对比图像集内，并计算该图像T0在全对比图像集内的精度分数，检测图像T0质量分数所对应精度分数在全对比图像集内是否存在，如果不存在该精度分数，则添加该图像T0所对应的精度分数至全对比图像集；

(3)如果图像T0的质量分数大于全对比图像集内质量分数为7分的图像时，则采用公式(2)m_j-1+A为奇数所对应的计算该(7+10-1)÷2＝8分(m₃＝8分)，进行j+2次二分比较：①当图像T0对应的质量分数等于全对比图像集内质量分数为8分的图像时，执行第一种情况处理；②该图像T0对应的质量分数在全对比图像集内质量分数小于8分且大于7分的图像之间时，则将该图像T0加入到全对比图像集内，并计算该图像T0在全对比图像集内的精度分数，检测图像T0质量分数所对应精度分数在全对比图像集内是否存在，如果不存在该精度分数，则添加该图像T0所对应的精度分数至全对比图像集；③如果图像T0对应的质量分数大于全对比图像集内质量分数为8分的图像时，则采用公式(2)m_j+A为偶数所对应的计算该(8+10)÷2＝9分(m₄＝9分)，进行j+3次二分法比较，i，当图像T0对应的质量分数等于全对比图像集内质量分数为9分的图像时，执行第一种情况处理；ii，该图像T0对应的质量分数m2在全对比图像集内质量分数小于9分且大于8分的图像之间时，则将该图像T0加入到全对比图像集内，并计算该图像T0在全对比图像集内的精度分数，检测图像T0质量分数所对应精度分数在全对比图像集内是否存在，如果不存在该精度分数，则添加该图像T0所对应的精度分数至全对比图像集；iii，当图像T0对应的质量分数在全对比图像集内质量分数大于9分且小于10分的图像之间时，则将该图像T0加入到全对比图像集内，并计算该图像T0在全对比图像集内的精度分数，检测图像T0质量分数所对应精度分数在全对比图像集内是否存在，如果不存在该精度分数，则添加该图像T0所对应的精度分数至全对比图像集。

第三种情况，在第j次比较过程中，如果剩余图像集内图像T0的质量分数小于全对比图像集内质量分数为5分的图像时，则采用公式(3)m_j-1+A为偶数所对应的计算该(5+1)/2＝3分，进行第j+1次比较，(1)当图像T0对应的质量分数等于全对比图像集内质量分数为3分的图像时，执行第一种情况处理；(2)当该图像T0对应的质量分数在全对比图像集内质量分数小于3分且大于1分的图像之间时，则采用公式(3)m_j-1+A为偶数所对应的计算质量分数(3+1)/2＝2分，进行第j+2次比较，①当图像T0对应的质量分数等于全对比图像集内质量分数为2分的图像时，执行第一种情况处理；②当该图像T0的质量分数在全对比图像集内质量分数小于2分且大于1分的图像之间时；则将该图像T0加入到全对比图像集内，并计算该图像T0在全对比图像集内的精度分数，检测图像T0质量分数所对应精度分数在全对比图像集内是否存在，如果不存在该精度分数，则添加该图像T0所对应的精度分数至全对比图像集；同理，③当该图像T0的质量分数在全对比图像集内质量分数小于3分且大于2分的图像之间时；则将该图像T0加入到全对比图像集内，并计算该图像T0在全对比图像集内的精度分数，检测图像T0质量分数所对应精度分数在全对比图像集内是否存在，如果不存在该精度分数，则添加该图像T0所对应的精度分数至全对比图像集。

(3)进行第j+1次比较，如果图像T0对应的质量分数在在全对比图像集内质量分数3到5的图像之间，图像T0对应的质量分数按照公式(3)中m_j-1+A为偶数所对应的方式计算该质量分数m₂＝(3+5)/2＝4分，进行第j+2次比较：①当图像T0对应的质量分数等于全对比图像集内质量分数为4分的图像时，执行第一种情况处理；②当图像T0对应的质量分数在全对比图像集内质量分数大于3分且小于4分的图像之间时，则将该图像T0加入到全对比图像集内，并计算该图像T0在全对比图像集内的精度分数，检测图像T0质量分数所对应精度分数在全对比图像集内是否存在，如果不存在该精度分数，则添加该图像T0所对应的精度分数至全对比图像集；③当图像T0对应的质量分数在全对比图像集内质量分数大于4分且小于5分的图像之间时，则将该图像T0加入到全对比图像集内，并计算该图像T0在全对比图像集内的精度分数，检测图像T0质量分数所对应精度分数在全对比图像集内是否存在，如果不存在该精度分数，则添加该图像T0所对应的精度分数至全对比图像集。

综上，在上述第二种情况与第三种情况中，由于在剩余图像集内待比较的图像的质量分数不确定时，即，出现在两个质量分数之间，需要将剩余图像集内该图像加入到全对比图像集内，并计算到该图像的精度分数，一方面，可丰富拓展全对比图像集内图像数据，另一方面，通过计算到该图像所对应的精度分数，换而言之，能够得到该图像的质量分数，完成质量分数评分的目的，例如，当全对比图像集内精度分数从1到100分都有对应图像，还将剩余图像集内图像与全对比图像比较，不仅能快速得到剩余图像集内图像的精度分数和质量分数，还能提升质量评分准确性。

另外，上述实施例中全对比图像集内为连续质量分数的图像，针对全对比图像集内非连续质量分数图像，参照上述描述，在此不一一赘述。

需要说明的是，通过将剩余图像集内的图像直接与全对比数据集中标注完成的图像做比对，大大减少了比对的次数，简化了计算量，引入了全体图像的相互关系，减少了对单张图像直接标注的主观性，提高了图像质量评价标注精度，同时，通过对图像质量评分处理，有利于后续图像管理、分类与检索的便利性。

本申请方案实现以下有益效果：

1、应用的产品：将该方案能够集成于前端设备(计算机、笔记本、平板设备、智能手机等)和/或后端设备(服务器、服务器集群、云端服务器等)处理图像质量评分标注(人脸图像、人体图像、其它图像等)，有利于图像筛选、管理。

2、实现的功能：通过对图像进行质量评分标注，可在人脸图像、人体图像模型训练之前，实现图像过滤的预处理。

3、产品/行业解决方案：该方案可应用于安防、金融、旅游、商业等领域内，对采集的图像进行质量评分标注，适合网站、相册、数据集内图像筛选、推送，同时，还有利于后续图像聚类，便于存储管理。

4、技术指标：相比原来的图像数据集内两两对比标注方式，采用全对比图像集与上述方案进行图像比较，以待比较图像数据集为1000张图像为例，采用原有两两图像比对方式，需比较次数为499500，而使用全对比集为100张图像，最多比较10000次，相对原来的比较次数至少降低了一个数量级，同时，图像数据集越大，优势也越大(减少比较的次数也呈数量级增加)；另外，由于引入了全对比图像集，避免了单张图像直接标注的主观性，增添了图像比较之间的相关性，大大提高了图像标注的准确率。

请参阅图5，为本发明实施例提供的图像质量评分处理方法中完整流程图，需要说明的是，与图1中方法流程不同的是，还包括：

步骤S5，利用多人标注计算所述剩余图像集内所有图像的质量分数。

需要说明的是，可根据标注员的数量选择均值方式，计算同一张所述图像的质量分数，也可按照标注员的资历权限设置不同权值，计算同一张所述图像的质量分数。

在本实施例中，通过多人标注同一图像数据集的图像，采用上述均值和加权均值方式能够有效提高图像评分处理精度，从而提升标注准确率。

请参阅图6，本发明实施例提供的图像质量评分处理系统结构框图，包括：

图像集分割模块1，用于从图像数据集随机挑选多张图像形成全对比图像集，且所述图像数据集内未挑选的图像为剩余图像集；

质量分数获取模块2，利用质量评价获取所述全对比图像集内所有图像的质量分数；

图像评分模块3，用于遍历所述剩余图像集内图像，将所述剩余图像集内任一张图像与全对比图像集内的图像比对，得到剩余图像集内所有图像的质量分数。

请参阅图7，为本发明实施例提供的图像质量评分处理系统一结构框图；包括：

需要说明的是，与上述实施例图6的不同点在于，所述质量分数获取模块2，包括：

精度分数获取单元21，用于在全对比图像集内任意选择一张图像与其余的图像一一联合比对，得到所述全对比图像集所有图像的精度分数；

映射处理单元22，用于将所述精度分数映射到评分范围形成所有所述图像的质量分数。

其中，请参阅图8，所述精度分数获取单元21包括：

第一比较子单元211，第一比较子单元，用于比较所述全对比图像集选择的图像与被用于对比的图像的质量；

第一评分子单元212，用于如果其中任一个图像的质量高于被用于对比的图像质量时，则质量高的图像其对应的精度分数增加一个单位，被用于对比的图像精度分数不变；

第二评分子单元213，用于如果选择的图像与被用于对比的图像对应的质量相同且达到预设阈值时，则其对应的图像的精度分数均增加一个单位；

第三评分子单元214，用于选择的图像与被用于对比的图像对应的质量均未到达预设阈值时，则两个图像对应的精度分数不变。

请参阅图9，为本发明实施例提供的图像质量评分处理系统中图像评分模块结构框图；包括：

需要说明的是，所述图像评分模块3进一步包括：

质量分数获取单元31，利用将所述剩余图像集内任一图像与所述全对比图像集的图像比较，根据该任一图像在全对比图像集内的每次比较的结果确定所述任一图像的质量分数，直到比较完所述剩余图像集内所有图像得到每张所述图像相应的质量分数。

对比图像集更新单元32，用于在比较中，当检测到所述剩余图像集内任一图像的质量分数在所述全对比图像集内两个相邻的质量分数之间时，将该任一图像加入到所述全对比图像集内，并计算所述任一图像所对应精度分数。

在上述实施例上，所述图像评分模块3还包括：精度分数更新单元33，用于将所述任一图像与其在全对比图像集内对应的质量分数范围所映射精度分数区间比较，计算所述任一图像的精度分数并检测该精度分数在全对比图像集内是否存在，如果全对比图像集不存在该精度分数的图像时，则将所述图像对应的精度分数保存到所述全对比图像集内。

在上述实施例上，所述图像评分模块3还包括：精度分数选择单元34，用于在计算精度分数时，如果所述剩余图像集内任一图像的精度分数在全对比图像集两个相邻的精度分数之间，则取较小的精度分数作为该任一图像的精度分数。

请参阅图10，为本发明实施例提供的图像质量评分处理系统另一结构框图，需要说明的是，与上述实施例图6的不同点在于，在图像集分割模块之前还包括：

预处理模块0，用于预处理获取的图像数据集。

请参阅图11，本发明实施例提供的图像质量评分处理系统完整结构框图，需要说明的是，与上述实施例图6的不同点在于，还包括：

平行标注模块4，利用多人标注计算所述剩余图像集内所有图像的质量分数。

在本实施例中，该图像质量评分处理系统与上述图像质量评分处理方法为一一对应关系，具体功能和技术效果参照上述实施例即可，此处不再赘述。

本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中图像质量评分处理方法所包含步骤的指令(instructions)。

图12为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。

可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。

可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。

在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。

图13为本申请的一个实施例提供的终端设备的硬件结构示意图。图13是对图12在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。

第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图4所述方法。

第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。

处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述图像质量评分处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。

电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。

多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。

输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。

传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。

通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。

由上可知，在图13实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图12实施例中的输入设备的实现方式。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims

1.一种图像质量评分处理方法，其特征在于，包括：

2.根据权利要求1所述的图像质量评分处理方法，其特征在于，所述从图像数据集随机挑选多张图像形成全对比图像集的步骤之前，还包括：预处理获取的图像数据集。

3.根据权利要求1所述的图像质量评分处理方法，其特征在于，所述利用质量评价获取所述全对比图像集内所有图像的质量分数的步骤，还包括：

在全对比图像集内任意选择一张图像与其余的图像一一联合比对，得到所述全对比图像集所有图像的精度分数；

将所述精度分数映射到评分范围形成所有所述图像的质量分数。

4.根据权利要求3所述的图像质量评分处理方法，其特征在于，所述在全对比图像集内任意选择一张图像与其余的图像一一联合比对，得到所述全对比图像集所有图像的精度分数的步骤，包括：

比较所述全对比图像集内选择的图像与被用于对比的图像的质量；

如果其中任一个图像的质量高于被用于对比的图像质量时，则质量高的图像其对应的精度分数增加一个单位，被用于对比的图像精度分数不变；

如果选择的图像与被用于对比的图像对应的质量相同且达到预设阈值时，则其对应的图像的精度分数均增加一个单位；

如果选择的图像与被用于对比的图像对应的质量均未到达预设阈值时，则两个图像对应的精度分数不变。

5.根据权利要求1所述的图像质量评分处理方法，其特征在于，采用逐一将所述剩余图像集内的图像与所述全对比图像集的图像比较，得到所述剩余图像集内所有图像的质量分数。

6.根据权利要求5所述的图像质量评分处理方法，其特征在于，逐一将所述剩余图像集内的图像与所述全对比图像集的图像比较，得到所述剩余图像集内所有图像的质量分数的步骤，包括：

将所述剩余图像集内任一图像与所述全对比图像集的图像比较，根据该任一图像在全对比图像集内的每次比较的结果确定所述任一图像的质量分数，直到比较完所述剩余图像集内所有图像得到每张所述图像相应的质量分数。

7.根据权利要求6所述的图像质量评分处理方法，其特征在于，在比较中，当检测到所述剩余图像集内任一图像的质量分数在所述全对比图像集内两个相邻的质量分数之间时，将该任一图像加入到所述全对比图像集内，并计算所述任一图像所对应精度分数。

8.根据权利要求7所述的图像质量评分处理方法，其特征在于，将所述任一图像与其在全对比图像集内对应的质量分数范围所映射精度分数区间比较，计算所述任一图像的精度分数并检测该精度分数在全对比图像集内是否存在，如果全对比图像集不存在该精度分数的图像时，则将所述图像对应的精度分数保存到所述全对比图像集内。

9.根据权利要求8所述的图像质量评分处理方法，其特征在于，在计算精度分数时，如果所述剩余图像集内任一图像的精度分数在全对比图像集两个相邻的精度分数之间，则取较小的精度分数作为该任一图像的精度分数。

10.根据权利要求1所述的图像质量评分处理方法，其特征在于，还包括：利用多人标注计算所述剩余图像集内所有图像的质量分数。

11.一种图像质量评分处理系统，其特征在于，包括：

12.根据权利要求11所述的图像质量评分处理系统，其特征在于，所述图像集分割模块还包括：预处理模块，用于预处理获取的图像数据集。

13.根据权利要求11所述的图像质量评分处理系统，其特征在于，所述质量分数获取模块，包括：

精度分数获取单元，用于在全对比图像集内任意选择一张图像与其余的图像一一联合比对，得到所述全对比图像集所有图像的精度分数；

映射处理单元，用于将所述精度分数映射到评分范围形成所有所述图像的质量分数。

14.根据权利要求13所述的图像质量评分处理系统，其特征在于，所述精度分数获取单元进一步包括：

第一比较子单元，用于比较所述全对比图像集选择的图像与被用于对比的图像的质量；

第一评分子单元，用于如果其中任一个图像的质量高于被用于对比的图像质量时，则质量高的图像其对应的精度分数增加一个单位，被用于对比的图像精度分数不变；

第二评分子单元，用于如果选择的图像与被用于对比的图像对应的质量相同且达到预设阈值时，则其对应的图像的精度分数均增加一个单位；

第三评分子单元，用于选择的图像与被用于对比的图像对应的质量均未到达预设阈值时，则两个图像对应的精度分数不变。

15.根据权利要求10所述的图像质量评分处理系统，其特征在于，所述图像评分模块判断将所述剩余图像集内任一张图像与所述全对比图像集内初始质量分数相同的图像比较，得到所述剩余图像集内所有图像的质量分数。

16.根据权利要求15所述的图像质量评分处理系统，其特征在于，所述图像评分模块进一步包括：

质量分数获取单元，利用将所述剩余图像集内任一图像与所述全对比图像集的图像比较，根据该任一图像在全对比图像集内的每次比较的结果确定所述任一图像的质量分数，直到比较完所述剩余图像集内所有图像得到每张所述图像相应的质量分数。

17.根据权利要求16所述的图像质量评分处理系统，其特征在于，所述图像评分模块还包括：对比图像集更新单元，用于在比较中，当检测到所述剩余图像集内任一图像的质量分数在所述全对比图像集内两个相邻的质量分数之间时，将该任一图像加入到所述全对比图像集内，并计算所述任一图像所对应精度分数。

18.根据权利要求17所述的图像质量评分处理系统，其特征在于，所述图像评分模块还包括：精度分数更新单元，用于将所述任一图像与其在全对比图像集内对应的质量分数范围所映射精度分数区间比较，计算所述任一图像的精度分数并检测该精度分数在全对比图像集内是否存在，如果全对比图像集不存在该精度分数的图像时，则将所述图像对应的精度分数保存到所述全对比图像集内。

19.根据权利要求18所述的图像质量评分处理系统，其特征在于，所述图像评分模块还包括：精度分数选择单元，用于在计算精度分数时，如果所述剩余图像集内任一图像的精度分数在全对比图像集两个相邻的精度分数之间，则取较小的精度分数作为该任一图像的精度分数。

20.根据权利要求11所述的图像质量评分处理系统，其特征在于，还包括：平行标注模块，利用多人标注计算所述剩余图像集内所有图像的质量分数。

21.一种设备，其特征在于，包括：

一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-10中一个或多个所述的方法。

22.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-10中一个或多个所述的方法。