CN109120919B - 一种针对图像质量主观评测的自动分析系统与方法 - Google Patents

Abstract

本发明公开了一种针对图像质量主观评测的自动分析系统及方法，其中自动分析系统包括：图像分组模块，用于将输入的原始图像按照场景进行分组，得到不同的图像组；图像描述模块，分别对所述图像分组模块得到的图像组进行图像描述；问题区域分割模块，根据所述图像描述模块得到的图像描述，将图像分割成不同的问题区域；像质评测模块；根据问题区域的统计特征和内容进行图像质量分析并针对不同问题给出各问题分析结果；评测报告生成模块，生成包含各场景的分析结果和各问题的分析结果的评测报告。

Description

一种针对图像质量主观评测的自动分析系统与方法

技术领域

本发明属于图像质量主观评价领域，可以通过分析不同机型拍摄的相同场景的图片得出评测结果并生成评测报告。

背景技术

本领域现阶段的图像质量主观评测流程包括：

1、测试人员使用不同拍摄设备在相同场景拍摄照片；

2、测试人员将图片按场景进行分组命名并发送给像质专家；

3、像质专家根据多个指标对同组图片进行像质分析；

4、根据分析结果选取出现问题的图像及区域，排版并生成报告。

以上方式能够实现对图像质量的主观评价，并且已经应用于实际项目中数年，但缺点是：

1、测试人员对照片分组，专家选择合适的图像及区域进行报告撰写等图像处理过程过于繁琐，会十分耗时；

2、像质专家人数少，而随着具有拍照功能的设备版本的快速更新，像质评价任务量剧增。但是按照传统方法培养专业的像质专家需要很长的周期，很难满足需求；

3、像质专家的主观误差难以避免，不同的像质专家对某些图像问题的描述可能出现分歧。

针对人工评测的上述缺陷，申请号为201510398035X公开了一种基于色彩感知的通用无参考图像质量评价方法，该现有技术首先停留在方法层面，其次在考察过程中忽略了局部问题，同时也没有明确的问题描述。申请号为2015106427433的分别和一种基于数据驱动的图像关注区域质量评价指标学习方法，该现有技术在评测环节缺乏明确的问题定义且只考察图像失真程度这一单一的指标。

发明内容

本发明所要解决的技术问题是针对上述现有技术存在的不足，而提供一种能够显著提升效率且评测方法获得的结果更为客观的模拟人工评测的自动分析系统及方法。

为解决上述技术问题，本发明采用的技术方案是：

一种针对图像质量主观评测的自动分析系统，其特征在于，包括：

图像分组模块，用于将输入的原始图像按照场景进行分组，得到不同的图像组；

图像描述模块，分别对所述图像分组模块得到的图像组进行图像描述；

问题区域分割模块，根据所述图像描述模块得到的图像描述，将图像分割成不同的问题区域；

像质评测模块；根据问题区域的统计特征和内容进行图像质量分析并针对不同问题给出各问题分析结果；

评测报告生成模块，生成包含各场景的分析结果和各问题的分析结果的评测报告。

本发明一种针对图像质量主观评测的自动分析方法，其特征在于，包括：

1)将获取的图像按照场景分组，并为每组生成场景描述；

2)、根据步骤1)生成的每组图片的场景描述，按内容识别图像中容易出现像质问题的区域，将图像分割成不同的问题区域，包括：

21)将参考机型图像按内容分割，依照像质专家在评测中的先验知识将其中容易出现问题的区域进行筛选；

22)根据筛选区域的内容规定该区域需要评价的指标；

23)对于参考机型图像上的每一个关注区域，在同组对比图像中找到与之对应的区域并配准；

3)、根据问题区域的统计特征和内容进行图像质量分析并针对不同问题给出各问题分析结果，包括：

31)根据不同问题区域的内容提取该区域的统计特征；

32)对于无参考指标，以先验知识为基础设定相关特征的比较值范围，将统计特征与比较值范围进行比较分析，得到相应区域的无参考指标在比较值范围或不在比较值范围的描述；

33)对于有参考指标，将参考机型图像作为比较对象，对对比机型图像进行评价。

本发明分析方法还包括：

4)、根据各个区域得到的内容描述和问题描述，生成包含各场景的分析结果和各问题的分析结果的评测报告。

所述步骤4)包括：

41)将所有图像按场景将出现像质问题的区域汇总，分析得出每个场景出现的问题类型及其程度，生成拍摄设备在不同场景下像质质量的各场景分析结果：

42)结合各问题分析结果和各场景分析结果，分别对不同拍摄设备给出不同场景下的得分和不同问题的得分；

43)结合上述给出不同场景下的得分和不同问题的得分为测试机型在各场景针对各问题的整体表现进行量化打分。

所述步骤41)包括：

411)对于无参考指标，按照每组图像的指标值进行排序，取排名在前的若干组用于生成报告；

412)对于有参考指标，按照待测试图像与参考图像之间的最大差值进行排序，取排名在前的若干组用于生成报告。

所述步骤1)包括：

11)设定参考机型和对比机型；

12)使用图像检索的方法找到与对比机型图片内容最接近的参考机型图片，赋予它们相同的场景ID,具有相同ID的图像视为同一组图像；

13)取图像组中参考机型拍摄的图像，使用多个卷积神经网络提取不同的特征，并按照图像质量主观评价所关注的场景特性进行描述；

14)将参考机型图像的场景描述共享给对比机型图像。

所述步骤12)包括：

121)提取参考机型所有图像的特征，构建检索集；

122)对于对比机型的图片，使用距离度量的方式找到与之特征相似度最高的参考机型图片；

123)为对比机型图片赋予与检索结果相同的场景ID。

所述步骤23)包括：

231)使用角点检测算法找到图像中的关键点；

232)提取各关键点的特征信息；

233)将参考机型图像和对比机型图像中的关键点进行匹配；

234)根据各关键点的相对位置偏差估算对比机型图像关注区域的相对偏差量；

235)修改对比机型关注区域坐标，实现配准。

有益效果

为了提升图像质量主观评测的效率，本发明图像质量主观评测的自动分析系统及方法，能够代替专家完成评测任务而且具有更高的效率；

本发明使用多个卷积神经网络将图像进行分类，进而对每个场景生成特有的场景描述。同时可以将不同机型相同场景拍摄的图像进行分组，并赋予相同的场景描述，取代了人工分组的步骤；

本发明系统能够准确模拟像质专家在分析不同问题时对图像各区域的关注度，将出现问题可能性较高的区域进行分割提取，用于像质自动分析；

本系统通过对图像子区域的统计特征和内容进行分析，能够实现图像质量的自动评测；

通过整合分类、分割与评测结果，能够智能生成量化的评测报告，相比人工评测，节约了大量时间，避免了人工的主观想法和不同人的意见分歧，评测方法获得的结果更为客观统一。

附图说明

图1为本发明分析系统的框图；

图2本发明分析方法的流程图；

图3室外高亮度场景的人物图像，a、b以及c分别为不同的机型；

图4为室内中高亮度暖色光场景的微距图像，a、b以及c分别为不同的机型；

图5为室外中亮度黑夜场景的景物图像，a、b以及c分别为不同的机型；

图6是图4图像剪切后的对应的区域图(中心区域)，a、b以及c分别为不同的机型；

图7是图4图像剪切后的对应的区域图(边角区域)，a、b以及c分别为不同的机型。

具体实施方式

下面结合附图，对发明作详细说明：

本发明针对图像质量主观评测的自动分析系统，如图1所示，包括：

图像分组模块，用于将输入的原始图像按照场景进行分组，得到不同的图像组；

图像描述模块，分别对所述图像分组模块得到的图像组进行图像描述；

问题区域分割模块，根据所述图像描述模块得到的图像描述，将图像分割成不同的问题区域；

像质评测模块；根据问题区域的统计特征和内容进行图像质量分析并针对不同问题给出各问题分析结果；

以及

评测报告生成模块，生成包含各场景的分析结果和各问题的分析结果的评测报告。

本发明针对图像质量主观评测的自动分析方法，流程图如图2所示，包括一下几步：

1)、基于深度学习的主观图像场景描述方法能够将图像按照场景分组，并为每组生成场景描述，具体步骤是：

11)设定参考机型(取已知性能最佳的机型)和对比机型；

12)使用图像检索的方法找到与对比机型图片内容最接近的参考机型图片，赋予它们相同的场景ID,具有相同ID的图像视为同一组图像，详细步骤是：

121)提取参考机型所有图像的特征，构建检索集(可使用传统SIFT特征、HOG特征，也可以将Alexnet网络倒数第二个全连接层的输出作为特征)；

122)对于对比机型的图片，使用距离度量的方式(例如欧氏距离，余弦相似度)找到与之特征相似度最高的参考机型图片；

123)为对比机型图片赋予与检索结果相同的场景ID。

13)取图像组中参考机型拍摄的图像，使用多个卷积神经网络(可使用ImageNet预训练的网络模型，也可以针对不同分类标准对初始模型进行fine-tune)提取不同的特征，并按照图像质量主观评价所关注的场景特性进行描述；

14)将参考机型图像的场景描述共享给对比机型图像。

2)、模拟像质专家的图像问题区域分割方法能够按内容识别图像中容易出现像质问题的区域，用于像质自动分析，具体步骤是：

21)使用多种图像分割模型(可使用模板匹配的方法，也可以使用全卷积网络进行端到端的图像区域分割)将参考机型图像按内容分割，依照像质专家在评测中的先验知识将其中容易出现问题的区域进行筛选；

内容如：人脸，草地，天空，建筑，阴影等等。

图像分割模块需要训练一个用于分割的卷积神经网络，该网络的训练集由专家进行标注，体现了专家在实际评测过程中在评价不同问题时对图像各区域的关注程度。此训练的卷积神经网络能够模拟专家进行决策。

22)根据筛选区域的内容规定该区域需要评价的指标；

23)对于参考机型图像上的每一个关注区域，使用关键点匹配算法在同组对比图像中找到与之对应的区域并配准，详细步骤如下：

231)使用角点检测算法(harris或FAST角点检测)找到图像中的关键点；

232)提取各关键点的特征信息(SIFT特征或SURF特征)；

234)将参考机型图像和对比机型图像中的关键点进行匹配(欧氏距离或余弦相似度)；

235)根据各关键点的相对位置偏差估算对比机型图像关注区域的相对偏差量；

236)修改对比机型关注区域坐标，实现配准。

3)、基于统计量与内容的图像质量评测算法能够根据输入的图像子区域的统计特征和内容进行图像质量分析并针对不同问题给出相应的描述，具体步骤是：

31)根据子区域的内容提取该区域的统计特征(例如灰度/颜色直方图，标准差，相关系数，信息熵，协方差等)；

32)对于无参考指标(例如图像的全局曝光值，峰值信噪比PSNR)，以先验知识为基础设定相关特征的标准值范围，与统计结果进行比较分析；

33)对于有参考指标(例如色偏，结构相似性SSIM)，使用参考机型图像为标准对对比机型图像进行评价。

4)、智能评测报告生成模块能够结合场景描述、区域分割结果和每个区域的像质分析结果生成包含总体评价，各场景的分析结果和各问题的分析结果，具体方法是：

41)将所有图像按场景将出现像质问题的区域汇总，分析得出每个场景容易出现的问题类型及其程度，生成拍摄设备在不同场景下像质质量的描述：

411)对于无参考指标，例如曝光程度，可以按照每组图像的最大过度曝光值进行排序，取其前3-5组用于生成报告。报告中可用类似“测试机型在高亮度场景下的浅色区域容易出现过度曝光问题”的句式描述；

412)对于有参考指标，例如色差，可以按照待测试图像与参考图像之间的最大色差值进行排序，取其前3-5组用于生成报告。报告中可用类似“测试机型在夕阳场景下绿色容易偏黄”的句式描述；

42)结合各问题分析结果和各场景分析结果对拍摄设备进行逐项打分和排序，例如测试机型对细节的还原为85分，测试机型在夕阳场景的整体表现优于其它三种机型；

43)结合上述结果为测试机型在各场景针对各问题的整体表现进行量化打分。

整体的量化打分根据不同的评分标准确认，如下面两种方式：

(1)、将按问题和按场景的得分统一求均值。此方法最简单。

(2)、根据场景出现频率设置权重，求全部场景得分的加权平均值。例：室外白天图片要多于室外夜景图片，所以权重不同。

实施例1

1.原始输入数据如图3，4，5所示，3个机型分别为a,b,c，每个机型3张图片

2.图像描述模块将拍摄场景相同的图像归为一组，共3组，如图3，4，5所示：

1)取a机型图像，提取特征构建检索集。提取图像特征的方法可采用卷积神经网络模型或传统特征提取方法，传统特征提取方法如HOG特征，SIFT特征。

2)对于b,c机型的图像(查询图像)，按照步骤1)的方法提取特征，与检索集进行距离度量。距离度量的方式可采用欧氏距离、曼哈顿距离以及夹角余弦等距离度量方式。

3)将查询图像和与之距离最相近的检索集图像归为一组。

3.图像描述模块从每组取一张参考图像，对其生成场景描述，组图像共享该场景描述：

具体的场景描述包括：

a)基于场景环境的场景描述，即描述场景的时间信息和空间信息；环境时间信息包括清晨、正午、傍晚或黑夜；环境空间信息包括室内或室外；

b)基于光源属性的场景描述，即描述场景的光源特性和位置角度；光源特性包括自然光源、暖光灯或荧光灯；光源位置角度包括顺光或逆光；

c)基于目标主体的场景描述，即描述场景中主体类别和主体特性。主体类别包括人像、建筑或绿地；主体特性包括微距图像。

生成场景描述的方法采用基于多模型的主观图像场景描述方法，详细步骤是：

1)数据准备：按照不同场景描述的需求，将测试人员曾经采集的大量图像数据进行手工标注，作为训练集；

2)为每个需求训练单独的卷积神经网络模型；

3)使用多个不同需求下的卷积神经网络模型对测试图像进行预测，得到多个不同需求下的场景描述结果；

4)通过不同需求之间的关联性修正场景描述结果；

5)最终输出适用于图像场景主观评测需求的场景描述。

以图3为例，处理方法为：

1)以3a为参考图像，进行尺度变换等预处理；

2)分别使用三个针对不同任务的卷积神经网络生成关于场景环境，光源属性，目标主体的场景描述：室内&白天，暖色光&中高亮度，微距。

3)通过场景环境、光源属性与目标主体之间的关联性修正场景描述结果：室内中高亮度暖色光场景的微距图像。

4.问题区域分割模块模拟专家的关注点，将原图像分割成12个或更多个小块：

以图4为例，具体方法是：

1)将4a作为预训练卷积神经网络的输入，裁剪成12个小块，其中6a和7a为12个小块中的两块，其中6a为中心区域&大面积红色区域&高频细节区域，7a为边角区域&高频细节区域；

2)对于4b和4c，使用图像匹配技术找到与6a和7a相同的区域，并裁剪出子块。(如图6,7所示)

5.像质评测模块从全局对图像整体进行评测，同时也从局部对步骤四得出的子块进行评估，具体的评测指标由区域内容确定：

1)从全局上进行评价：

白平衡：与a相比，b和c白平衡偏红

曝光：c曝光略有不足

对焦：主体对焦清晰

2)从图5进行评价：

色差：b和c紫色偏红

细节：各机型中心位置细节还原较好

噪声：色度噪声a<b<c

3)从图6进行评价：

色差：b和c白色偏红

细节：边角区域细节a>c>b

噪声：色度噪声a<b<c

6.智能报告生成模块整合场景描述信息，区域内容信息，和整体&局部图像评测结果，生成问题描述并打分：

1)针对单组图像的描述：

在室内中高亮度暖色光场景的微距场景中：a机型的颜色还原较好，b和c会出现白平衡偏暖的情况；中心细节还原较好；边角区域b机型会有较多损失；噪声方面c机型的色度噪声较为严重。

2)结合所有图像的评测结果，对单一场景的打分：(室内中高亮度)

问题	a	b	c	权重
					白平衡	94	82	79	0.25
对焦	91	85	92	0.3
					曝光	90	90	91	0.25
细节	84	72	77	0.1
					噪声	92	85	87	0.1
场景得分	91	84	87

3)结合所有图像的评测结果，针对某一问题的打分：(白平衡)

场景	a	b	c	权重
					室外高亮度	96	93	95	0.3
室外中亮度	92	89	87	0.1
					室内中亮度	90	90	91	0.25
室内低亮度	84	80	75	0.15
					室外夜景	100	100	100	0.2
问题得分	93	91	91

4)对机型进行综合打分，例(a机型)：

综合得分：89.65。

Claims (8)

1.一种针对图像质量主观评测的自动分析系统，其特征在于，包括：

图像分组模块，用于将输入的原始图像按照场景进行分组，得到不同的图像组；

图像描述模块，分别对所述图像分组模块得到的图像组进行图像描述；

问题区域分割模块，根据所述图像描述模块得到的图像描述，将图像分割成不同的问题区域，包括：

将参考机型图像按内容分割，依照像质专家在评测中的先验知识将其中容易出现问题的区域进行筛选；

根据筛选区域的内容规定该区域需要评价的指标；

对于参考机型图像上的每一个关注区域，在同组对比图像中找到与之对应的区域并配准；

像质评测模块，根据问题区域的统计特征和内容进行图像质量分析并针对不同问题给出各问题分析结果，包括：

根据不同问题区域的内容提取该区域的统计特征；

对于无参考指标，以先验知识为基础设定相关特征的比较值范围，将统计特征与比较值范围进行比较分析，得到相应区域的无参考指标在比较值范围或不在比较值范围的描述；

对于有参考指标，将参考机型图像作为比较对象，对对比机型图像进行评价；

评测报告生成模块，生成包含各场景的分析结果和各问题的分析结果的评测报告。

2.一种针对图像质量主观评测的自动分析方法，其特征在于，包括：

1）将获取的图像按照场景分组，并为每组生成场景描述；

2）根据步骤1）生成的每组图片的场景描述，按内容识别图像中容易出现像质问题的区域，将图像分割成不同的问题区域，包括：

21）将参考机型图像按内容分割，依照像质专家在评测中的先验知识将其中容易出现问题的区域进行筛选；

22）根据筛选区域的内容规定该区域需要评价的指标；

23）对于参考机型图像上的每一个关注区域，在同组对比图像中找到与之对应的区域并配准；

3）根据问题区域的统计特征和内容进行图像质量分析并针对不同问题给出各问题分析结果，包括：

31）根据不同问题区域的内容提取该区域的统计特征；

32）对于无参考指标，以先验知识为基础设定相关特征的比较值范围，将统计特征与比较值范围进行比较分析，得到相应区域的无参考指标在比较值范围或不在比较值范围的描述；

33）对于有参考指标，将参考机型图像作为比较对象，对对比机型图像进行评价。

3.根据权利要求2所述的针对图像质量主观评测的自动分析方法，其特征在于，还包括：

4）根据各个区域得到的内容描述和问题描述，生成包含各场景的分析结果和各问题的分析结果的评测报告。

4.根据权利要求3所述的针对图像质量主观评测的自动分析方法，其特征在于，所述步骤4）包括：

41）将所有图像按场景将出现像质问题的区域汇总，分析得出每个场景出现的问题类型及其程度，生成拍摄设备在不同场景下像质质量的各场景分析结果：

42）结合各问题分析结果和各场景分析结果，分别对不同拍摄设备给出不同场景下的得分和不同问题的得分；

43）结合上述给出不同场景下的得分和不同问题的得分为测试机型在各场景针对各问题的整体表现进行量化打分。

5.根据权利要求4所述的针对图像质量主观评测的自动分析方法，其特征在于，所述步骤41）包括：

411）对于无参考指标，按照每组图像的指标值进行排序，取排名在前的若干组用于生成报告；

412）对于有参考指标，按照待测试图像与参考图像之间的最大差值进行排序，取排名在前的若干组用于生成报告。

6.根据权利要求2-5任一所述的针对图像质量主观评测的自动分析方法，其特征在于：所述步骤1）包括：

11）设定参考机型和对比机型；

12）使用图像检索的方法找到与对比机型图片内容最接近的参考机型图片，赋予它们相同的场景ID,具有相同ID的图像视为同一组图像；

13）取图像组中参考机型拍摄的图像，使用多个卷积神经网络提取不同的特征，并按照图像质量主观评价所关注的场景特性进行描述；

14）将参考机型图像的场景描述共享给对比机型图像。

7.根据权利要求6所述的针对图像质量主观评测的自动分析方法，其特征在于：所述步骤12）包括：

121）提取参考机型所有图像的特征，构建检索集；

122）对于对比机型的图片，使用距离度量的方式找到与之特征相似度最高的参考机型图片；

123）为对比机型图片赋予与检索结果相同的场景ID。

8.根据权利要求7所述的针对图像质量主观评测的自动分析方法，其特征在于：所述步骤23）包括：

231）使用角点检测算法找到图像中的关键点；

232）提取各关键点的特征信息；

233）将参考机型图像和对比机型图像中的关键点进行匹配；

234）根据各关键点的相对位置偏差估算对比机型图像关注区域的相对偏差量；

235）修改对比机型关注区域坐标，实现配准。