CN109446887B - 一种针对图像质量主观评测的图像场景描述生成方法 - Google Patents

一种针对图像质量主观评测的图像场景描述生成方法 Download PDF

Info

Publication number
CN109446887B
CN109446887B CN201811048210.2A CN201811048210A CN109446887B CN 109446887 B CN109446887 B CN 109446887B CN 201811048210 A CN201811048210 A CN 201811048210A CN 109446887 B CN109446887 B CN 109446887B
Authority
CN
China
Prior art keywords
image
scene
scene description
describing
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811048210.2A
Other languages
English (en)
Other versions
CN109446887A (zh
Inventor
廖志梁
陶亮
王道宁
张亚东
马壮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yicheng Gaoke Dalian Technology Co ltd
Original Assignee
Yicheng Gaoke Dalian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yicheng Gaoke Dalian Technology Co ltd filed Critical Yicheng Gaoke Dalian Technology Co ltd
Priority to CN201811048210.2A priority Critical patent/CN109446887B/zh
Publication of CN109446887A publication Critical patent/CN109446887A/zh
Application granted granted Critical
Publication of CN109446887B publication Critical patent/CN109446887B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种针对图像质量主观评测的图像场景描述生成方法，包括：将不同机型拍摄的图片按照场景内容进行分组；为分组后的每组图像生成一段适用于图像场景主观评测需求的场景描述。生成所述场景描述所采用的方法是基于多模型的主观图像场景描述方法。基于多模型的主观图像场景描述方法为每组图像生成一段适用于图像场景主观评测需求的场景描述，具体包括：基于场景环境的场景描述，即描述场景的时间信息和空间信息；基于光源属性的场景描述，即描述场景的光源特性和位置角度；基于目标主体的场景描述，即描述场景中主体类别和主体特性。本发明方法设计先分组再描述的流程，能够降低同组图像多次描述的误差，并提升效率。

Description

一种针对图像质量主观评测的图像场景描述生成方法
技术领域
本发明属于图像质量主观评价领域，可以将拍摄场景相同的图像归于同一组并为每组赋予相同的场景描述。
背景技术
本领域现阶段的图像场景描述流程包括：
1)像质专家预先规定容易出现像质问题的拍摄场景，对场景进行描述；
2)测试人员按照规定的场景使用多种拍摄设备进行数据采集；
3)测试人员手动按场景对图像进行分组；
4)像质专家在对分组图像进行评价之后，结合预定的场景描述结果整理报告。
上述方式能够实现对图像的场景描述，并且已经应用于实际项目中数年，但缺点是：
1)受制于先规定场景再拍摄的流程，场景选择会受专家的主观影响；
2)对测试人员的要求较高，需要充分理解专家制定的拍摄需求；
3)如果专家在评测阶段对图像进行重新描述，需要和测试人员进行场景确认，过程繁琐。
目前的图像质量主观评价流程中的图像分组描述环节主要依靠测试人员和像质专家协同完成。如果先规定场景再进行数据采集，场景选择就会受专家的主观影响。如果先数据采集再描述场景，需要像质专家与测试人员反复确认才能确定描述结果。
发明内容
本发明所要解决的技术问题是针对上述现有技术存在的不足，而提供一种简化流程替代人工的针对图像质量主观评测的图像场景描述生成方法，能实现自动化地图像分组和场景描述。
为解决上述技术问题，本发明采用的技术方案是：
一种针对图像质量主观评测的图像场景描述生成方法，包括以下几步：
将不同机型拍摄的图片按照场景内容进行分组；
为分组后的每组图像生成一段适用于图像场景主观评测需求的场景描述。
生成所述场景描述所采用的方法是基于多模型的主观图像场景描述方法。
将不同机型拍摄的图片按照场景内容进行分组采用的方法是基于内容的图像自动分组方法。
基于内容的图像自动分组方法对不同机型拍摄的图片按照场景内容进行分组的具体步骤是：
a)设定参考机型和对比机型；
b)依次为参考机型的图像赋予不同的场景编号；
c)提取参考机型所有图像的特征构建检索集；
d)使用距离度量的方式找到与对比机型图像场景内容相同的参考机型图像。
其中，距离度量的方式可采用欧氏距离、曼哈顿距离以及夹角余弦等距离度量方式。欧氏距离原理简单，易于说明。
所述步骤c)的详细步骤是：
1)将采集到的图像进行预处理；
2)提取卷积神经网络中某一中间层的参数，作为该图像的特征；
3)将全部图像提取的特征整合成一个矩阵，作为检索集。
所述步骤d)的详细步骤是：
1)提取用于查询的对比机型图片的特征；
2)依次计算检索集中每一行特征与查询图像特征的欧氏距离：
Figure BDA0001793821590000021
其中，x为查询图像特征，y为检索图像特征；
3)将欧氏距离向量升序排列，找到与查询图像最相似的检索集图像；
4)使查询图像具有和检索结果图像相同的场景ID。
基于多模型的主观图像场景描述方法能够为每组图像生成一段适用于图像场景主观评测需求的场景描述，具体包括：
a)基于场景环境的场景描述，即描述场景的时间信息(例如清晨，正午，傍晚，黑夜)和空间信息(例如室内，室外)，
b)基于光源属性的场景描述，即描述场景的光源特性(例如自然光源，暖光灯，荧光灯)和位置角度(例如顺光，逆光)，
c)基于目标主体的场景描述，即描述场景中主体类别(例如人像，建筑，绿地)和主体特性(例如微距图像)
d)以上若干子问题都可以使用单独的卷积神经网络进行解决(以Alexnet网络为例)，详细步骤是：
1)数据准备，按照不同子问题的需求将测试人员曾经采集的大量图像数据进行手工标注，作为训练集；
2)为每个子问题训练单独的Alexnet模型；
3)使用多模型对测试图像进行预测，得到多个角度下的场景描述结果；
4)通过子问题之间的关联性修正场景描述结果(例如微距图像中主体不可能是人)；
5)最终输出适用于图像场景主观评测需求的场景描述。
本方法能够将多机型的图像按场景自动分组，并且对每组图像进行符合图像场景主观评测需求的场景描述，而且具有更高的效率。
有益效果：
(1)鉴于图像质量主观评测实际项目的数据特殊性(相同场景使用多款机型进行数据采集)，本发明方法设计先分组再描述的流程，能够降低同组图像多次描述的误差，并提升效率。
(2)在图像拍摄过程中，场景环境，光源属性，和图像主体是影响成像质量的三个重要因素。例如不同强度的光照下能暴露不同层次的曝光问题，不同属性的图像主体对焦效果会不同。本发明在最终生成评测报告时，使用三个卷积神经网络模型分别从场景环境、光源属性以及图像主体三个维度进行描述，通过这三个维度生成适用于图像质量主观评价的场景描述，能使后续的主观评测结果更具说服力。
附图说明
图1是本发明方法流程图；
图2室外高亮度场景的人物图像；其中图2a为参考机型(iPhoneX)照片，图2b和图2c为对比机型照片(图2b对应机型为HUAWEI P20，图2c对应机型为MI8)；
图3为室内中高亮度暖色光场景的微距图像，其中图3a为参考机型(iPhoneX)照片，图3b和图3c为对比机型照片(图2b对应机型为HUAWEI P20，图2c对应机型为MI8)；
图4为室外中亮度黑夜场景的景物图像；其中图4a为参考机型(iPhoneX)照片，图4b和图4c为对比机型照片(图2b对应机型为HUAWEI P20，图2c对应机型为MI8)。
具体实施方式
下面结合附图，对本发明作详细说明：
假定参考机型为iPhoneX，对比机型为HUAWEI P20，MI8，数据采集100组，不同机型的数据存放在不同的文件夹内。
如图1所示，本发明一种针对图像质量主观评测的图像场景描述生成方法，包括两大步骤：
步骤一、将不同机型拍摄的图片按照场景内容进行分组；
步骤二、为分组后的每组图像生成一段适用于图像场景主观评测需求的场景描述。
步骤一将不同机型拍摄的图片按照场景内容进行分组具体方法如下：
1.对iPhoneX机型对应文件夹内的所有图像提取特征，得到100*512的矩阵，作为检索集，特征维数为512。提取图像特征的方法可采用卷积神经网络模型或传统特征提取方法，传统特征提取方法如HOG特征，SIFT特征。
2.选择对比机型的一张图片作为查询图像，提取特征(方法同步骤1)；
3.计算查询图像与检索集每行特征的距离；
4.将查询图像分配给距离最小的图像所在的组中，同组图像共享描述；
5.重复步骤2-4直至所有对比机型图像完成分组。
步骤二的具体方法包括：
6.选择一组图片(以图2所示图片为例)中iPhoneX所拍摄的图像作为输入；
7.将预处理后的图像导入多个图像场景描述模型中，得到针对场景环境，光源属性，目标主体三个子问题的描述：室外&白天；非夕阳&高亮度；人&建筑&草地&天空&道路；
8.通过子问题之间的关联性修正场景描述结果：室外；高亮度；人&建筑&草地&天空&道路；其中，子问题之间的关联性包括微距图像中主体不可能是人、夜景图像不考虑微距情况、夜景图像不考虑光源属性、室内图像不考虑测光和阴影情况(光源位置角度)等。非夕阳/白天无需特殊说明。
9.生成场景描述：图片为：室外高亮度场景的人物图像，具体场景描述包括建筑，草地，天空和道路。
10.重复6-9步骤直至所有组都获得了场景描述。
对图3和图4所示的图片分别按照上述6-9步骤进行处理，得到图3图片为：室内中高亮度暖色光场景的微距图像，具体场景描述包括大面积红色；得到图4图片为室外中亮度黑夜场景的景物图像，具体场景描述包括建筑和天空。

Claims (7)

1.一种针对图像质量主观评测的图像场景描述生成方法，其特征在于，包括：
将不同机型拍摄的图片按照场景内容进行分组；
为分组后的每组图像生成一段适用于图像场景主观评测需求的场景描述；
生成所述场景描述所采用的方法是基于多模型的主观图像场景描述方法；
基于多模型的主观图像场景描述方法为每组图像生成一段适用于图像场景主观评测需求的场景描述，具体包括：
a)基于场景环境的场景描述，即描述场景的时间信息和空间信息；
b)基于光源属性的场景描述，即描述场景的光源特性和位置角度；
基于目标主体的场景描述，即描述场景中主体类别和主体特性；
所述基于多模型的主观图像场景描述方法，详细步骤是：
1)数据准备：按照不同场景描述的需求，将测试人员曾经采集的大量图像数据进行手工标注，作为训练集；
2)为每个需求训练单独的卷积神经网络模型；
3)使用不同需求下的卷积神经网络模型对测试图像进行预测，得到多个不同需求下的场景描述结果；
4)通过不同需求之间的关联性修正场景描述结果；
5)最终输出适用于图像场景主观评测需求的场景描述。
2.根据权利要求1所述的图像场景描述生成方法，其特征在于：描述场景的时间信息包括清晨、正午、傍晚或黑夜；描述场景的空间信息包括室内或室外；描述场景的光源特性包括自然光源、暖光灯或荧光灯；描述场景的位置角度包括顺光或逆光；所述主体类别包括人像、建筑或绿地；所述主体特性包括微距图像。
3.根据权利要求1所述的图像场景描述生成方法，其特征在于：将不同机型拍摄的图片按照场景内容进行分组采用的方法是基于内容的图像自动分组方法。
4.根据权利要求3所述的图像场景描述生成方法，其特征在于：基于内容的图像自动分组方法对不同机型拍摄的图片按照场景内容进行分组的具体步骤是：
a)设定参考机型和对比机型；
b)依次为参考机型的图像赋予不同的场景编号；
c)提取参考机型所有图像的特征构建检索集；
d)使用距离度量的方式找到与对比机型图像场景内容相同的参考机型图像。
5.根据权利要求4所述的图像场景描述生成方法，其特征在于：所述步骤c)的详细步骤是：
1)将采集到的图像进行预处理；
2)提取卷积神经网络中某一中间层的参数，作为该图像的特征；
3)将全部图像提取的特征整合成一个矩阵，作为检索集。
6.根据权利要求4所述的图像场景描述生成方法，其特征在于：所述步骤d)的详细步骤是：
1)提取用于查询的对比机型图片的特征；
2)依次计算检索集中每一行特征与查询图像特征的欧氏距离：
Figure FDA0003235469780000021
其中，x为查询图像特征，y为检索图像特征，N为特征维数，下标i表示当前提取第i维特征用于计算，d表示查询图像和检索图像的距离；
3)将欧氏距离向量升序排列，找到与查询图像最相似的检索集图像；
4)使查询图像具有和检索结果图像相同的场景ID。
7.根据权利要求4所述的图像场景描述生成方法，其特征在于：所述步骤1)中的预处理为尺度变换或归一化。
CN201811048210.2A 2018-09-10 2018-09-10 一种针对图像质量主观评测的图像场景描述生成方法 Active CN109446887B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811048210.2A CN109446887B (zh) 2018-09-10 2018-09-10 一种针对图像质量主观评测的图像场景描述生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811048210.2A CN109446887B (zh) 2018-09-10 2018-09-10 一种针对图像质量主观评测的图像场景描述生成方法

Publications (2)

Publication Number Publication Date
CN109446887A CN109446887A (zh) 2019-03-08
CN109446887B true CN109446887B (zh) 2022-03-25

Family

ID=65530308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811048210.2A Active CN109446887B (zh) 2018-09-10 2018-09-10 一种针对图像质量主观评测的图像场景描述生成方法

Country Status (1)

Country Link
CN (1) CN109446887B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617432A (zh) * 2013-11-12 2014-03-05 华为技术有限公司 一种场景识别方法及装置
CN105741328A (zh) * 2016-01-22 2016-07-06 西安电子科技大学 基于视觉感知的拍摄图像质量评价方法
CN105760488A (zh) * 2016-02-17 2016-07-13 北京大学 基于多层次特征融合的图像表达方法和装置
CN108009557A (zh) * 2017-12-25 2018-05-08 浙江工业大学 一种基于共享权重卷积网络的三维模型局部特征描述方法
CN108182444A (zh) * 2017-12-08 2018-06-19 深圳英飞拓科技股份有限公司 基于场景分类的视频质量诊断的方法及装置
CN108230312A (zh) * 2018-01-03 2018-06-29 努比亚技术有限公司 一种图像分析方法、设备和计算机可读存储介质
CN108388900A (zh) * 2018-02-05 2018-08-10 华南理工大学 基于多特征融合和时空注意力机制相结合的视频描述方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2538941C1 (ru) * 2013-06-14 2015-01-10 Общество с ограниченной ответственностью "Аби Девелопмент" Улучшения качества распознавания за счет повышения разрешения изображений
US10095950B2 (en) * 2015-06-03 2018-10-09 Hyperverge Inc. Systems and methods for image processing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617432A (zh) * 2013-11-12 2014-03-05 华为技术有限公司 一种场景识别方法及装置
CN105741328A (zh) * 2016-01-22 2016-07-06 西安电子科技大学 基于视觉感知的拍摄图像质量评价方法
CN105760488A (zh) * 2016-02-17 2016-07-13 北京大学 基于多层次特征融合的图像表达方法和装置
CN108182444A (zh) * 2017-12-08 2018-06-19 深圳英飞拓科技股份有限公司 基于场景分类的视频质量诊断的方法及装置
CN108009557A (zh) * 2017-12-25 2018-05-08 浙江工业大学 一种基于共享权重卷积网络的三维模型局部特征描述方法
CN108230312A (zh) * 2018-01-03 2018-06-29 努比亚技术有限公司 一种图像分析方法、设备和计算机可读存储介质
CN108388900A (zh) * 2018-02-05 2018-08-10 华南理工大学 基于多特征融合和时空注意力机制相结合的视频描述方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Image Quality Assessment Using Similar Scene as Reference;Yudong Liang et al.;《ECCV 2016》;20160916;第3-18页 *
Places: A 10 Million Image Database for Scene Recognition;Bolei Zhou et al.;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20180630;第40卷(第6期);第1452-1464页 *
基于深度卷积神经网络的道路场景理解;吴宗胜 等;《计算机工程与应用》;20171231;第53卷(第22期);第8-12页 *

Also Published As

Publication number Publication date
CN109446887A (zh) 2019-03-08

Similar Documents

Publication Publication Date Title
CN109120919B (zh) 一种针对图像质量主观评测的自动分析系统与方法
CN107172418B (zh) 一种基于曝光情况分析的色阶映射图像质量评价方法
CN105809146B (zh) 一种图像场景识别方法和装置
CN108900769A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN109325495A (zh) 一种基于深度神经网络建模的作物图像分割系统及方法
CN108388905B (zh) 一种基于卷积神经网络和邻域上下文的光源估计方法
CN110570503B (zh) 基于神经网络的三维物体法向量、几何及材质获取方法
CN110443763A (zh) 一种基于卷积神经网络的图像阴影去除方法
CN102685207A (zh) 基于云服务的智能摄影方法和云服务设备
CN105678710B (zh) 颜色校正还原系统和颜色校正还原方法
CN107704878A (zh) 一种基于深度学习的高光谱数据库半自动化建立方法
Ma et al. Image-based air pollution estimation using hybrid convolutional neural network
CN110503078A (zh) 一种基于深度学习的远距离人脸识别方法和系统
CN108012135B (zh) 图像处理方法及装置、计算机可读存储介质和计算机设备
CN109446887B (zh) 一种针对图像质量主观评测的图像场景描述生成方法
CN111402327A (zh) 一种基于全卷积神经网络的室外照片太阳位置估计方法
Aghaei et al. A flying gray ball multi-illuminant image dataset for color research
CN109451292A (zh) 图像色温校正方法及装置
CN107578067A (zh) 一种基于卷积神经网络的烟丝组分识别方法及装置
CN116824319A (zh) 红外图像与可见光图像的融合方法、设备及存储介质
CN107895385A (zh) 基于卷积神经网络的对单张室外图像太阳位置的预测方法
CN111783891B (zh) 一种定制化物体检测方法
CN109903248B (zh) 一种生成自动白平衡模型的方法和图像处理方法
CN112364686A (zh) 基于深度学习的复杂天气道路场景识别系统的设计方法
Guha et al. A review of illuminance mapping practices from HDR images and suggestions for exterior measurements

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Liao Zhiliang

Inventor after: Tao Liang

Inventor after: Wang Daoning

Inventor after: Zhang Yadong

Inventor after: Ma Zhuang

Inventor before: Ma Zhuang

Inventor before: Wang Daoning

Inventor before: Zhang Yadong

GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Method for Generating Image Scene Description for Subjective Evaluation of Image Quality

Effective date of registration: 20230726

Granted publication date: 20220325

Pledgee: Dalian Branch of Shanghai Pudong Development Bank Co.,Ltd.

Pledgor: YICHENG GAOKE (DALIAN) TECHNOLOGY Co.,Ltd.

Registration number: Y2023980049989