CN107330455A - 图像评价方法 - Google Patents

图像评价方法 Download PDF

Info

Publication number
CN107330455A
CN107330455A CN201710484336.3A CN201710484336A CN107330455A CN 107330455 A CN107330455 A CN 107330455A CN 201710484336 A CN201710484336 A CN 201710484336A CN 107330455 A CN107330455 A CN 107330455A
Authority
CN
China
Prior art keywords
aesthetic
image
low
factors
aesthetic feeling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710484336.3A
Other languages
English (en)
Inventor
普园媛
李雨鑫
徐丹
张雨童
钱文华
袁国武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan University YNU
Original Assignee
Yunnan University YNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan University YNU filed Critical Yunnan University YNU
Priority to CN201710484336.3A priority Critical patent/CN107330455A/zh
Publication of CN107330455A publication Critical patent/CN107330455A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，具体而言，涉及图像评价方法。本发明提供的图像评价方法，建立了IAFA数据库，并基于IAFA数据库，区分图像类别，分别采用多任务学习方法和单任务方法，分别得到多个第一最终模型和多个第二最终模型，将每种类别的待测图像分别输入到与之类别相匹配的第一最终模型中，或将每种类别的待测图像分别输入到与之类别相匹配的分别用于评价构图、亮度、颜色、景深及整体美感的第二最终模型中，以实现对每种类别的待测图像的高/低构图美感品质评价、高/低亮度美感品质评价、高/低颜色美感品质评价、高/低景深美感品质及高低整体美感品质评价，从而实现对图像美感品质进行细致评价。

Description

图像评价方法
技术领域
本发明涉及图像处理技术领域，具体而言，涉及图像评价方法。
背景技术
在近几十年的中，图像的美感品质的分析与研究越来越受到人们的关注。目前尚未存在细致评价图像美感品质评价的方法。
发明内容
有鉴于此，本发明的目的在于提供图像评价方法，以解决上述问题。
为实现上述目的，本发明提供如下技术方案：
一种图像评价方法，用于评价图像美感品质，所述方法包括：
建立IAFA数据库，所述IAFA数据库存储有多个图像，每个图像带有高/低构图美感品质标签、高/低亮度美感品质标签、高/低颜色美感品质标签、高/低景深美感品质标签及高/低整体美感品质标签；
将所述IAFA数据库内的图像分为训练集和测试集，对所述训练集内的图像数量进行扩充，得到扩充训练集；
基于所述扩充训练集，不区分图像类别，采用多任务学习方法，对多个卷积神经网络同时进行高/低构图美感品质、高/低亮度美感品质、高/低颜色美感品质、高/低景深美感品质及高/低整体美感品质分类的训练，得到多个第一模型；
基于所述测试集，区分图像类别，对所述多个第一模型进行测试，根据第一预设规则针对每个图像类别从所述多个第一模型选取一个作为第二模型；
基于所述扩充训练集，区分图像类别，采用多任务学习方法，采用所述第二模型分别对每种类别的图像进行高/低构图美感品质、高/低亮度美感品质、高/低颜色美感品质、高/低景深美感品质及高/低整体美感品质分类的训练，针对每个图像类别分别得到一个第一最终模型；
将每种类别的待测图像分别输入到与之类别相匹配的第一最终模型中，实现对每种类别的待测图像的高/低构图美感品质评价、高/低亮度美感品质评价、高/低颜色美感品质评价、高/低景深美感品质评价及高/低整体美感品质评价。
可选地，建立IAFA数据库的步骤包括：
获得多类别、不同品质的多幅图像，以作为图像样本；
计算所述图像样本的美感因素的机器评分，其中，所述美感因素包括构图美感因素、亮度美感因素、颜色美感因素和景深美感因素；
根据各标注者输入的问题答案，计算该标注者的评分权重；
根据各标注者对所述图像样本的美感因素的定性评断，计算各标注者对所述图像样本的美感因素的人工评分；
根据所述图像样本的美感因素的机器评分、各标注者的评分权重以及各标注者对所述图像样本的美感因素的人工评分，计算所述图像样本的美感因素的总评分，其中包括图像样本的构图美感因素的总评分、亮度美感因素的总评分、颜色美感因素的总评分以及景深美感因素的总评分；
根据多个标注者输入的判断结果，计算所述图像样本的整体美感品质的评分；
根据所述图像样本的构图美感因素的总评分将图像标注为高/低构图美感品质图像，根据所述图像样本的亮度美感因素的总评分将图像标注为高/低亮度美感品质图像，根据所述图像样本的颜色美感因素的总评分将图像标注为高/低颜色美感品质图像，根据所述图像样本的景深美感因素的总评分将图像标注为高/低景深美感品质图像及根据所述图像样本的整体美感品质的评分将图像标注为高/低景深美感品质图像，以建立IAFA数据库。
可选地，计算所述图像样本的美感因素的机器评分的步骤包括：
计算所述图像样本的美感因素的特征的机器评分；
计算所述图像样本的美感因素的特征的机器评分的平均值；
当所述图像样本的美感因素的特征的机器评分的平均值小于0.1时，所述图像样本的美感因素的机器评分等于1；
当所述图像样本的美感因素的特征的机器评分的平均值大于或等于0.1时，所述图像样本的美感因素的机器评分等于10倍所述平均值。
可选地，所述计算所述图像样本的美感因素的特征的机器评分的步骤包括：
计算所述图像样本的美感因素的特征的特征值；
根据多个高美感品质图像的特征的特征值，计算所述特征的高美感品质取值范围及最优值；
根据所述图像样本的特征的特征值及所述特征的高美感品质取值范围及最优值计算所述图像样本的特征的机器评分。
可选地，所述将所述IAFA数据库内的图像分为训练集和测试集，对所述训练集内的图像数量进行扩充，得到扩充训练集的步骤包括：
将所述IAFA数据库内的图像分为训练集和测试集；
将所述训练集内的图像分别旋转90°、180°和270°，再进行边角和中心剪裁并做镜像变换，使所述训练集内的图像数量扩充至原来的40倍，得到扩充训练集。
可选地，所述多个卷积神经网络包括Alexnet、Googlenet、VGG19和Resnet，所述图像类别包括动物类、建筑类、人物类、风景类、夜景类、植物类和静物类。
一种图像评价方法，用于评价图像美感品质，所述方法包括：
选择多个卷积神经网络，基于ImageNet数据库进行训练，得到多个预训练模型；
建立IAFA数据库，所述IAFA数据库存储有多个图像，每个图像带有高/低构图美感品质标签、高/低亮度美感品质标签、高/低颜色美感品质标签、高/低景深美感品质标签及高/低整体美感品质标签；
将所述IAFA数据库内的图像分为训练集和测试集，对所述训练集内的图像数量进行扩充，得到扩充训练集；
基于所述扩充训练集，不区分图像类别，对每个预训练模型进行高/低构图美感品质、高/低亮度美感品质、高/低颜色美感品质、高/低景深美感品质及高/低整体美感品质分类的训练，得到多个第三模型；
基于所述测试集，区分图像类别，对所述多个第三模型进行测试，分别选择对每种类别图像的构图、亮度、颜色、景深及整体美感品质识别准确率最高的第三模型作为第四模型；
基于所述扩充训练集，区分图像类别，对每个第四模型进行高/低构图美感品质、高/低亮度美感品质、高/低颜色美感品质、高/低景深美感品质及高/低整体美感品质分类的训练，得到多个与所述第四模型一一对应的第二最终模型；
将每种类别的待测图像分别输入到与之类别相匹配的分别用于评价构图、亮度、颜色、景深及整体美感的第二最终模型中，实现对每种类别的待测图像的高/低构图美感品质评价、高/低亮度美感品质评价、高/低颜色美感品质评价、高/低景深美感品质及高低整体美感品质评价。
可选地，建立IAFA数据库的步骤包括：
获得多类别、不同品质的多幅图像，以作为图像样本；
计算所述图像样本的美感因素的机器评分，其中，所述美感因素包括构图美感因素、亮度美感因素、颜色美感因素和景深美感因素；
根据各标注者输入的问题答案，计算该标注者的评分权重；
根据各标注者对所述图像样本的美感因素的定性评断，计算各标注者对所述图像样本的美感因素的人工评分；
根据所述图像样本的美感因素的机器评分、各标注者的评分权重以及各标注者对所述图像样本的美感因素的人工评分，计算所述图像样本的美感因素的总评分，其中包括图像样本的构图美感因素的总评分、亮度美感因素的总评分、颜色美感因素的总评分以及景深美感因素的总评分；
根据多个标注者输入的判断结果，计算所述图像样本的整体美感品质的评分；
根据所述图像样本的构图美感因素的总评分将图像标注为高/低构图美感品质图像，根据所述图像样本的亮度美感因素的总评分将图像标注为高/低亮度美感品质图像，根据所述图像样本的颜色美感因素的总评分将图像标注为高/低颜色美感品质图像，根据所述图像样本的景深美感因素的总评分将图像标注为高/低景深美感品质图像及根据所述图像样本的整体美感品质的评分将图像标注为高/低景深美感品质图像，以建立IAFA数据库。
可选地，计算所述图像样本的美感因素的机器评分的步骤包括：
计算所述图像样本的美感因素的特征的机器评分；
计算所述图像样本的美感因素的特征的机器评分的平均值；
当所述图像样本的美感因素的特征的机器评分的平均值小于0.1时，所述图像样本的美感因素的机器评分等于1；
当所述图像样本的美感因素的特征的机器评分的平均值大于或等于0.1时，所述图像样本的美感因素的机器评分等于10倍所述平均值。
可选地，所述多个卷积神经网络包括Alexnet、Googlenet、VGG19和Resnet，所述图像类别包括动物类、建筑类、人物类、风景类、夜景类、植物类和静物类。
本发明提供的图像评价方法，将每种类别的待测图像分别输入到与之类别相匹配的第一最终模型中，实现对每个类别的待测图像的高/低构图美感品质评价、高/低亮度美感品质评价、高/低颜色美感品质评价、高/低景深美感品质评价及高/低整体美感品质评价，从而实现对图像美感品质进行细致评价。
本发明提供的另一种图像评价方法，将每种类别的待测图像分别输入到与之类别相匹配的分别用于评价构图、亮度、颜色、景深及整体美感的第二最终模型中，实现对每种类别的待测图像的高/低构图美感品质评价、高/低亮度美感品质评价、高/低颜色美感品质评价、高/低景深美感品质及高低整体美感品质评价，从而实现对图像美感品质进行细致评价。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明较佳实施例提供的图像评价方法的应用场景示意图。
图2为本发明较佳实施例提供的一种图像评价方法的流程图。
图3为本发明较佳实施例提供的IAFA数据库建立方法的流程图。
图4为一实施方式中图3所示子步骤S120包括的子步骤的示意图。
图5为另一实施方式中图3所示子步骤S120包括的子步骤的示意图。
图6为一实施方式中图4和图5所示子步骤S121包括的子步骤的示意图。
图7为一实施方式中图3所示子步骤S160包括的子步骤的示意图。
图8为一实施方式中图3所示子步骤S170包括的子步骤的示意图。
图9为一实施方式中图2所示步骤S200包括的子步骤的示意图。
图10为本发明较佳实施例提供的另一种图像评价方法的流程图。
图标：100-电子设备；110-存储器；120-处理器；130-网络模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。在本发明的描述中，术语“第一”、“第二”、“第三”、“第四”等仅用于区分描述，而不能理解为只是或暗示相对重要性。
请参阅图1，是本发明较佳实施例提供的图像评价方法的应用场景示意图。本发明实施例中的图像评价方法可应用于评价图像美感品质的电子设备100中。所述电子设备100可以为服务器、计算机等具备数据处理能力的设备。如图1所示，电子设备100包括：存储器110、处理器120及网络模块130。
所述存储器110、处理器120以及网络模块130相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中的软件功能模块，所述处理器120通过运行存储在存储器110内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实施本发明实施例中的数据库建立方法。
其中，所述存储器110可以是，但不限于，随机存取存储器(RandomAccessMemory，RAM)，只读存储器(ReadOnlyMemory，ROM)，可编程只读存储器(ProgrammableRead-OnlyMemory，PROM)，可擦除只读存储器(ErasableProgrammableRead-OnlyMemory，EPROM)，电可擦除只读存储器(ElectricErasableProgrammableRead-OnlyMemory，EEPROM)等。其中，存储器110用于存储程序，所述处理器120在接收到执行指令后，执行所述程序。
所述处理器120可能是一种集成电路芯片，具有信号的处理能力。上述的处理器120可以是通用处理器，包括中央处理器(CentralProcessingUnit，CPU)、网络处理器(NetworkProcessor，NP)等。还可以是数字信号处理器(DSP))、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器120也可以是任何常规处理器等。
网络模块130用于通过网络建立电子设备100与外部通信终端之间的通信连接，实现网络信号及数据的收发操作。上述网络信号可包括无线信号或者有线信号。
可以理解，图1所示的结构仅为示意，电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参阅图2，是本发明较佳实施例提供的图像评价方法的流程图。所述图像评价方法可用于评价图像美感品质。所述方法有关的流程所定义的步骤可以由处理器120实现。下面将对图2所示的具体流程进行详细阐述。
步骤S100，建立IAFA数据库。
IAFA(ImageAestheticFactorsAnalysis，图像美感因素分析)数据库存储有多个图像，每个图像带有高/低构图美感品质、高/低亮度美感品质、高/低颜色美感品质、高/低景深美感品质及高/低整体美感品质标签。
请参阅图3，可选地，步骤S100包括子步骤S110、子步骤S120、子步骤S130、子步骤S140、子步骤S150、子步骤S160和子步骤S170。
子步骤S110，获得多类别、不同品质的多幅图像，以作为图像样本。
可以通过网络搜集多类别、不同品质的多幅图像，作为图像样本。
子步骤S120，计算所述图像样本的美感因素的机器评分。
其中，所述美感因素包括构图美感因素、亮度美感因素、颜色美感因素和景深美感因素。
请参阅图4，可选地，子步骤S120包括子步骤S121、子步骤S123和子步骤S125。或者，请参阅图5，子步骤S120包括子步骤S121、子步骤S123和子步骤S127。
子步骤S121，计算所述图像样本的美感因素的特征的机器评分。
可选地，所述构图美感因素的特征包括：显著区域与整张图像大小的比例以及显著区域中心点到四个黄金分割点的距离之和。
为了方便描述，将显著区域与整张图像大小的比例记为特征F1，将显著区域中心点到四个黄金分割点的距离之和记为特征F2。
那么，所述构图美感因素的特征包括：特征F1和特征F2。
可选地，所述亮度美感因素的特征包括：图像在HSV空间中各像素点V通道亮度值之和的归一化值、图像原图面积上经过标准化处理后的平均暗通道值、显著区域与背景区域亮度值的比值的归一化特征值、显著区域与背景区域亮度值的差值的归一化特征值、显著区域与整张图像亮度值的比值的归一化特征值、显著区域与整张图像亮度值的差值的归一化特征值、显著区域的平均亮度值、背景区域和显著区域的亮度差值与显著区域面积的比值。
将图像在HSV空间中各像素点V通道亮度值之和的归一化值记为特征F3，将图像原图面积上经过标准化处理后的平均暗通道值记为特征F4，将显著区域与背景区域亮度值的比值的归一化特征值记为特征F5，将显著区域与背景区域亮度值的差值的归一化特征值记为特征F6，将显著区域与整张图像亮度值的比值的归一化特征值记为特征F7，将显著区域与整张图像亮度值的差值的归一化特征值记为特征F8，将显著区域的平均亮度值记为特征F9，将背景区域和显著区域的亮度差值与显著区域面积的比值记为特征F10。
那么，所述亮度美感因素的特征包括：特征F3、特征F4、特征F5、特征F6、特征F7、特征F8、特征F9和特征F10。
所述颜色美感因素的特征包括：图像的全局平均色调值、图像的全局平均饱和度值、基于色调直方图的条数、基于色调直方图的最高频直条内像素点个数、基于色调直方图的最大色调差值、基于饱和度直方图的条数、基于饱和度直方图的最高频直条内像素点个数、基于饱和度直方图的最大饱和度差值、显著区域平均色调值、显著区域平均饱和度值、背景区域与显著区域的色调差值与显著区域面积的比值及背景区域与显著区域的饱和度差值与显著区域面积的比值。
将图像的全局平均色调值记为特征F11，将图像的全局平均饱和度值记为特征F12，将基于色调直方图的条数记为特征F13，将基于色调直方图的最高频直条内像素点个数记为特征F14，将基于色调直方图的最大色调差值记为特征F15，将基于饱和度直方图的条数记为特征F16，将基于饱和度直方图的最高频直条内像素点个数记为特征F17，将基于饱和度直方图的最大饱和度差值记为特征F18，将显著区域平均色调值记为特征F19，将显著区域平均饱和度值记为特征F20，将背景区域与显著区域的色调差值与显著区域面积的比值记为特征F21以及将背景区域与显著区域的饱和度差值与显著区域面积的比值记为特征F22。
那么，所述颜色美感因素的特征包括：特征F11、特征F12、特征F13、特征F14、特征F15、特征F16、特征F17、特征F18、特征F19、特征F20、特征F21和特征F22。
所述景深美感因素包括的特征包括：H通道的景深、S通道的景深、V通道的景深及显著区域的小波变化和背景区域的小波变化的比值。
将H通道的景深记为特征F23，将S通道的景深记为特征F24，将V通道的景深记为特征F25及将显著区域的小波变化和背景区域的小波变化的比值记为特征F26。
那么，所述颜色美感因素的特征包括：特征F23、特征F24、特征F25和特征F26。
请参阅图6，可选地，子步骤S121包括子步骤S1211、子步骤S1213和子步骤S1215。
子步骤S1211，计算所述图像样本的美感因素的特征的特征值。
所述图像样本的美感因素的特征可以包括特征F1至特征F26。则计算所述图像样本的美感因素的特征的特征值，为计算特征F1至特征F26的值。
在计算特征F1至特征F26的值时，需要提取图像的显著区域。可选地，在本实施例中，图像的显著区域采用基于GBVS的显著区域提取方法进行提取。该方法是一种全新的自底向上的视觉显著性系统，其核心部分为以下两点：第一，对图像的中心特征通道构建相对应的动态映射；第二，使用高度显著性和映射混合的方法来对第一步中得到的动态映射进行标准化。
特征F1的计算公式为：
式中，SA表示图像的显著区域的面积；w表示整张图像的宽；h表示整张图像的高。
特征F2的计算公式为：
式中，(xsc，ysc)表示显著区域中心点的坐标；(xi，yi)表示图像的四个黄金分割点中的一个点的坐标。
特征F3的计算公式为：
式中，VI表示图像I的总亮度值，即图像I在HSV空间中各像素点V通道亮度值之和。
特征F4的计算公式为：
式中，Idark(i)表示图像I的暗通道；Ω(i)表示以像素i为中心的一个窗口；Ic(i)表示图像I的每个通道。
特征F5的计算公式为：
式中，VIs表示图像I的显著区域的总亮度值；VIb表示图像I的背景区域的总亮度值，其中，背景区域为整张图像中的非显著区域。
特征F6的计算公式为：
特征F7的计算公式为：
特征F8的计算公式为：
特征F9的计算公式为：
特征F10的计算公式为：
特征F11的计算公式为：
式中，IH(x，y)表示图像I中各像素点的色调值。
特征F12的计算公式为：
式中，IH(x，y)表示图像I中各像素点的饱和度值。
特征F13的计算公式为：
式中，表示组距20的色调直方图；Q表示色调直方图的最大值；c为默认参数，其值为0.1。
在进行计算特征F13时，首先依据条件IS＞0.2和0.95＞IL＞0.15对图像像素进行筛选，从而避免饱和度过低，以及亮度过高和过低的像素对颜色特征统计的影响，然后对经过筛选后像素的色调值进行间隔为20的直方图统计，得到色调直方图。
特征F14的计算公式为：
式中，表示色调直方图的最大值，即图像中色调出现频率最高的像素个数。
特征F15的计算公式为：
式中，表示色调直方图中的最大色调差。
同理，基于饱和度直方图所提的颜色特征亦可由上述方法得出与特征F13、特征F14和特征F15类似的特征F16、特征F17和特征F18的计算公式。
特征F16的计算公式为：
式中，表示组距20的饱和度直方图；Q′表示饱和度直方图的最大值；c′为默认参数，其值为0.1。
特征F17的计算公式为：
式中，表示饱和度直方图的最大值，即图像中饱和度出现频率最高的像素个数。
特征F18的计算公式为：
式中，表示色调直方图中的最大饱和度差。
特征F19的计算公式为：
式中，hIs表示图像I的显著区域的总色调值。
特征F20的计算公式为：
式中，sIs表示图像I的显著区域的总饱和度值。
特征F21的计算公式为：
式中，hIb表示图像I的背景区域的总色调值。
特征F22的计算公式为：
式中，sIb表示图像I的背景区域的总饱和度值。
特征F23的计算公式为：
式中，ω3H(x，y)表示显著区域在H通道上高频的三级小波系数之和；分别表示显著区域在H通道上高频的三级小波系数，小波变换过程如图3所示；SalientArea表示显著区域；AllArea表示整张图像。
同理，可在S、V通道上计算得到S、V的景深特征，推出特征F24和特征F25的计算公式。
特征F24的计算公式为：
式中，ω3S(x，y)表示显著区域在S通道上高频的三级小波系数之和；分别表示显著区域在S通道上高频的三级小波系数；SalientArea表示显著区域；AllArea表示整张图像。
特征F25的计算公式为：
式中，ω3V(x，y)表示显著区域在V通道上高频的三级小波系数之和；分别表示显著区域在V通道上高频的三级小波系数；SalientArea表示显著区域；AllArea表示整张图像。
特征F26的计算公式为：
式中，分子表示显著区域的三级小波变换在H、S、V三个通道的和；分母表示背景区域的三级小波变换在H、S、V三个通道的和。
采用上述公式就可以计算出特征F1至特征F26的特征值。
子步骤S1213，根据多个高美感品质图像的特征的特征值，计算所述特征的高美感品质取值范围及最优值。
可选地，子步骤S1213包括子步骤S12131、子步骤S12133和子步骤S12135。
子步骤S12131，根据多个高美感品质图像的各特征的特征值，分别绘制各特征直方图，其中，所述各特征直方图的直方柱的宽度采用Scott推导公式，所述各特征直方图的纵坐标表示该直方柱所对应的高美感品质图像的图片数量，横坐标表示该直方柱所对应的特征的特征值。
可以通过网络搜集大量的多类别、高美感品质的图像，作为高美感品质图像样本。根据上述的公式，计算多个高美感品质图像的特征F1至特征F26的特征值，绘制特征F1至特征F26直方图，得到26个特征直方图。每个特征直方图的直方柱的宽度采用Scott推导公式，该特征直方图的纵坐标表示该直方柱所对应的高美感品质图像的图片数量，横坐标表示该直方柱所对应的特征的特征值。
例如，所述高美感品质图像有n个，所述n个高美感品质图像的特征F1的特征值的均值为μ。绘制特征F1直方图，令该特征F1直方图的宽度hn，则hn的计算公式为：
hn＝3.49sn-1/3
利用上述公式求得直方图的宽度hn后，以特征F1的特征值作为横坐标，以对应横坐标的高美感品质图像的图片数量作为纵坐标，绘制特征F1直方图。
子步骤S12133，计算各特征直方图的纵坐标的极差，获取所述各特征直方图中纵坐标大于或等于0.5倍所述极差的直方柱的横坐标范围，作为各特征的高美感品质取值范围，记为[Vai，Vbi]。
其中，i可以等于1，2，3，...，26。特征F1的高美感品质取值范围为[Va1，Vb1]，特征F2的高美感品质取值范围为[Va2，Vb2]。同理，获得特征F3至特征F26的高美感品质取值范围。
以特征F1直方图为例，该特征F1直方图的纵坐标最大值为ymax，纵坐标最小值为ymin，则该特征F1直方图的纵坐标的极差为(ymax-ymin)。选取特征F1直方图中纵坐标大于或等于0.5(ymax-ymin)的直方柱所在的横坐标范围，作为特征F1的高美感品质取值范围，记为[Va1，Vb1]。
子步骤S12135，获取所述各特征直方图中纵坐标大于或等于0.9倍最大值的直方柱的横坐标区间的中值作为各特征的最优值，记为Vopti。
同理，特征F1的最优值为Vopt1，特征F2的最优值为Vopt2，...特征F26最优值为Vopt26。
以特征F1直方图为例，该特征F1直方图的纵坐标大于或等于0.9ymax的直方柱的横坐标区间，将该横坐标区间的中值作为该特征F1的最优值，记为Vopt1。
子步骤S1215，根据所述图像样本的特征的特征值及所述特征的高美感品质取值范围及最优值计算所述图像样本的特征的机器评分。
可选地，子步骤S1215包括子步骤S12151和子步骤S12153。或者，子步骤S1215包括子步骤S12151和子步骤S12155。
子步骤S12151，判断所述图像样本的特征的特征值是否在[Vai，Vbi]区间外。
所述图像样本的特征包括特征F1至特征F26。依次判断特征F1的特征值是否在[Va1，Vb1]区间外，特征F2的特征值是否在[Va2，Vb2]区间外，...，特征F26的特征值是否在[Va26，Vb26]区间外。
当所述图像样本的特征的特征值Fi在[Vai，Vbi]区间外，执行子步骤S12153。当所述图像样本的特征的特征值在[Vai，Vbi]区间内，执行子步骤S12155。
子步骤S12153，所述图像样本的特征的机器评分等于1。
例如，当特征F1的特征值在[Va1，Vb1]区间外时，该图像样本的特征F1的机器评分等于1。当特征F2的特征值在[Va2，Vb2]区间外时，该图像样本的特征F2的机器评分等于1。
子步骤S12155，所述图像样本的特征的机器评分的计算公式为其中，Vi表示所述图像样本的特征i的机器评分；Fi表示所述图像样本的特征i的特征值。
例如，特征F1的特征值在[Va1，Vb1]区间内时，则该图像样本的特征F1的机器评分特征F2的特征值在[Va2，Vb2]区间内时，则该图像样本的特征F2的机器评分
同理，可以计算图像样本的特征F3至特征F26的机器评分。
子步骤S123，计算所述图像样本的美感因素的特征的机器评分的平均值。
由于，美感因素包括：构图美感因素、亮度美感因素、颜色美感因素和景深美感因素。那么，子步骤S123为分别计算构图美感因素的特征的机器评分的平均值，亮度美感因素的特征的机器评分的平均值，颜色美感因素的特征的机器评分的平均值，景深美感因素的特征的机器评分的平均值
由于，构图美感因素的特征包括特征F1和特征F2，亮度美感因素的特征包括特征F3至特征F10，颜色美感因素的特征包括特征F11至特征F22，景深美感因素的特征包括特征F22至特征F26。那么，构图美感因素的特征的机器评分的平均值为特征F1和特征F2这2个特征的机器评分的平均值。亮度美感因素的特征的机器评分的平均值为特征F3至特征F10这8个特征的机器评分的平均值。颜色美感因素的特征的机器评分的平均值为特征F11至特征F22这12个特征的机器评分的平均值。景深美感因素的特征的机器评分的平均值为特征F23至特征F26这4个特征的机器评分的平均值。
当所述图像样本的美感因素的特征的机器评分的平均值小于0.1时，执行子步骤S125，当所述图像样本的美感因素的特征的机器评分的平均值大于或等于0.1时，执行子步骤S127。
子步骤S125，所述图像样本的美感因素的机器评分等于1。
例如，当特征F1和特征F2这2个特征的机器评分的平均值小于0.1时，所述图像样本的构图美感因素的机器评分等于1。当特征F3至特征F10这8个特征的机器评分的平均值小于0.1时，所述图像样本的亮度美感因素的机器评分等于1。
子步骤S127，所述图像样本的美感因素的机器评分等于10倍所述平均值。
例如，当特征F1和特征F2这2个特征的机器评分的平均值大于或等于0.1时，所述图像样本的构图美感因素的机器评分等于10倍所述特征F1和特征F2这2个特征的机器评分的平均值。当特征F3至特征F10这8个特征的机器评分的平均值大于或等于0.1时，所述图像样本的亮度美感因素的机器评分等于10倍所述特征F3至特征F10这8个特征的机器评分的平均值。
同理，采用子步骤S125或子步骤S127可以计算出所述图像样本的颜色美感因素和景深美感因素的机器评分。
子步骤S130，对标注者进行问卷调查，根据各标注者输入的问题答案，计算该标注者的评分权重。
为确定人工评分在总评分中所占比重，需要对参与评分的标注者的美术、摄影功底及审美能力进行问卷调查。调查问题可以有10个，每个问题的分值为0.1分，根据各标注者输入的问题答案，计算该标注者的评分权重的公式可以是：
其中，SHl表示第l名进行人工评分的标注者回答调查问题的问卷得分，βl表示第l名进行人工评分的标注者的评分权重。
所述调查问题可以包括：①是否学习过影视拍摄？②是否学习过美术绘画？③是否学习过艺术鉴赏？④从以下六幅图中选出构图最好的两张图像？⑤从以下六幅图中选出亮度最好的两张图像？⑥从以下六幅图中选出颜色最好的两张图像？⑦从以下六幅图中选出景深最好的两张图像？⑧以下六幅图中你更倾向于哪两张图像？⑨以下六幅图中哪两张图像清晰度更好？⑩以下六幅图中哪两张图像是主题鲜明的动物图像？
子步骤S140，根据各标注者对所述图像样本的美感因素的定性评断，计算各标注者对所述图像样本的美感因素的人工评分。
对所述图像样本的美感因素的人工评分包括对构图美感因素、亮度美感因素、颜色美感因素和景深美感因素的人工评分。在进行人工评分时，本发明实施例中考虑到标注者不可能对图像做出非常细致的评分，因此仅需标注者对图像的构图、亮度、颜色和景深进行“好”、“中”、“差”的定性评判。其中“好”对应的美感因素的人工评分可以为1，“中”对应的美感因素的人工评分可以为5，“差”对应的美感因素的人工评分可以为10。
人工评分时经常出现意见不统一的情况，即对同一图像样本的同一美感因素进行评分时，有的标注者将其评判为“好”，而其他标注者评判为“差”。本发明实施例中，将数量偏少的一方的评定结果认定为极端事件。为了保证每个标注者给出的评分都能够被利用，同时避免极端事件带来的影响，本发明实施例中，将极端事件转变为中间过渡值“中”。采用此种设计，既可以对标注者的评判进行充分利用又能消除极端事件带来的影响，同时保持事件的一般性。
例如，有10名标注者参与人工评分，7名标注者评判该图像样本的某一美感因素为“好”，2名标注者评判该图像样本的某一美感因素为“中”，1名标注者评判该图像样本的某一美感因素为“差”，则将这个“差”认定为极端事件，将该“差”转变为“中”。
子步骤S150，根据所述图像样本的美感因素的机器评分、各标注者的评分权重以及各标注者对所述图像样本的美感因素的人工评分，计算所述图像样本的美感因素的总评分。
计算所述图像样本的美感因素的总评分包括计算图像样本的构图美感因素的总评分、亮度美感因素的总评分、颜色美感因素的总评分以及景深美感因素的总评分。。
所述图像样本的美感因素的总评分
其中，Sj表示所述图像样本的美感因素j的总评分，gj表示所述图像样本的美感因素j的机器评分。当j＝1时，S1表示所述图像样本的构图美感因素的总评分，g1表示所述图像样本的构图美感因素的机器评分。当j＝2时，S2表示所述图像样本的亮度美感因素的总评分，g2表示所述图像样本的亮度美感因素的机器评分。当j＝3时，S3表示所述图像样本的颜色美感因素的总评分，g3表示所述图像样本的颜色美感因素的机器评分。当j＝4时，S4表示所述图像样本的景深美感因素的总评分，g4表示所述图像样本的景深美感因素的机器评分。
N表示有N名进行人工评分的标注者，βl表示第l名进行人工评分的标注者的评分权重。Rlj表示第l名进行人工评分的标注者对所述图像样本的美感因素j的人工评分。当j＝1时，Rli表示第l名进行人工评分的标注者对所述图像样本的构图美感因素的人工评分。当j＝2时，Rl2表示第l名进行人工评分的标注者对所述图像样本的亮度美感因素的人工评分。当j＝3时，Rl3表示第l名进行人工评分的标注者对所述图像样本的颜色美感因素的人工评分。当j＝4时，Rl4表示第l名进行人工评分的标注者对所述图像样本的景深美感因素的人工评分。
子步骤S160，根据多个标注者输入的判断结果，计算所述图像样本的整体美感品质的评分。
请参阅图7，可选地，子步骤S160包括子步骤S161、子步骤S163和子步骤S165。
子步骤S161，获得多个标注者输入的对图像是否喜好、是否清晰、是否主题鲜明的三个问题的判断结果。
子步骤S163，将每个问题的超过半数的相同判断结果作为该问题的最终判断结果，获得三个问题的最终判断结果。
针对同一图像样本的同一问题，若过半数标注者得到相同判断结果，则将该相同判断结果作为最终判断结果。例如，共五名标注者参与评分，他们对于上述三个问题回答分别是“是是否”、“是是否”、“是否否”、“是是是”、“是是是”，则按照少数服从多数的原则，最终判断结果为“是是否”。
子步骤S165，将所述三个问题的最终判断结果的总得分作为所述图像样本的整体美感品质的评分，其中，最终判断结果为是时，得分为1，最终判断结果为否时，得分为10。
例如，最终判断结果为“是是是”，认定该图像样本的整体美感品质的评分为1+1+1＝3分。最终判断结果为“是是否”，认定该图像样本的整体美感品质的评分为1+1+10＝12分。最终判断结果为“是否否”，认定该图像样本的整体美感品质的评分为1+10+10＝21分。最终判断结果为“否否否”，认定该图像样本的整体美感品质的评分为10+10+10＝30分。通过上述三个问题将图像的整体美感品质分为3分、12分、21分和30分四个等级。分数越低，当前图像样本的整体美感品质越高。
子步骤S170，根据所述图像样本的构图美感因素的总评分将图像标注为高/低构图美感品质图像，根据所述图像样本的亮度美感因素的总评分将图像标注为高/低亮度美感品质图像，根据所述图像样本的颜色美感因素的总评分将图像标注为高/低颜色美感品质图像，根据所述图像样本的景深美感因素的总评分将图像标注为高/低景深美感品质图像及根据所述图像样本的整体美感品质的评分将图像标注为高/低景深美感品质图像，以建立IAFA数据库。
请参阅图8，可选地，子步骤S170包括子步骤S171、子步骤S172、子步骤S173、子步骤S174、子步骤S175、子步骤S176、子步骤S177、子步骤S178、子步骤S179和子步骤S180。
子步骤S171，获取多个图像样本的构图美感因素的总评分的中位数，若该中位数大于或等于5，则第一阈值等于5，若该中位数小于5，则将该中位数作为第一阈值。
子步骤S172，将构图美感因素的总评分大于所述第一阈值的图像样本标注为低构图美感品质图像，将构图美感因素的总评分小于或等于所述第一阈值的图像样本标注为高构图美感品质图像。
子步骤S173，获取多个图像样本的亮度美感因素的总评分的中位数，若该中位数大于或等于5，则第二阈值等于5，若该中位数小于5，则将该中位数作为第二阈值。
子步骤S174，将亮度美感因素的总评分大于所述第二阈值的图像样本标注为低亮度美感品质图像，将亮度美感因素的总评分小于或等于所述第二阈值的图像样本标注为高亮度美感品质图像。
子步骤S175，获取多个图像样本的颜色美感因素的总评分的中位数，若该中位数大于或等于5，则第三阈值等于5，若该中位数小于5，则将该中位数作为第三阈值。
子步骤S176，将颜色美感因素的总评分大于所述第三阈值的图像样本标注为低颜色美感品质图像，将颜色美感因素的总评分小于或等于所述第三阈值的图像样本标注为高颜色美感品质图像。
步骤S177，获取多个图像样本的景深美感因素的总评分的中位数，若该中位数大于或等于5，则第四阈值等于5，若该中位数小于5，则将该中位数作为第四阈值。
子步骤S178，将景深美感因素的总评分大于所述第四阈值的图像样本标注为低景深美感品质图像，将景深美感因素的总评分小于或等于所述第四阈值的图像样本标注为高景深美感品质图像。
子步骤S179，获取多个图像样本的整体美感品质的评分的中位数，若该中位数大于或等于5，则第五阈值等于5，若该中位数小于5，则将该中位数作为第五阈值。
子步骤S180，将整体美感品质的评分大于所述第五阈值的图像样本标注为低整体美感品质图像，将整体美感品质的评分小于或等于所述第五阈值的图像样本标注为高整体美感品质图像。
步骤S200，将所述IAFA数据库内的图像分为训练集和测试集，对所述训练集内的图像数量进行扩充，得到扩充训练集。
请参阅图9，可选地，步骤S200包括子步骤S210和子步骤S250。
子步骤S210，将所述IAFA数据库内的图像分为训练集和测试集。
子步骤S250，将所述训练集内的图像分别旋转90°、180°和270°，再进行边角和中心剪裁并做镜像变换，使所述训练集内的图像数量扩充至原来的40倍，得到扩充训练集。
步骤S300，基于所述扩充训练集，不区分图像类别，采用多任务学习方法，对多个卷积神经网络同时进行高/低构图美感品质、高/低亮度美感品质、高/低颜色美感品质、高/低景深美感品质及高/低整体美感品质分类的训练，得到多个第一模型。
多任务学习是一种归纳迁移机制，基本目标是提高泛化性能。多任务学习通过相关任务训练信号中的领域特定信息来提高泛化能力，利用共享表示采用并行训练的方法学习多个任务。
卷积神经网络强大的表示能力，使得多任务深度学习有了施展的空间。在多任务卷积神经网络中，低层次语义信息的共享有助于减少计算量，同时共享表示层可以使得几个有共性的任务更好的结合相关性信息，任务特定层则可以单独建模任务特定的信息，实现共享信息和任务特定信息的统一。
多任务学习适合于多标签图像。在多标签的IAFA数据库上，可实现多任务的模型训练，且可以通过卷积神经网络对每个美感因素进行学习，使图像的美感品质评价更为细致。
可选地，本发明实施例中，所述多个卷积神经网络包括Alexnet、Googlenet、VGG19和Resnet。采用Alexnet、Googlenet、VGG19和Resnet四个卷积神经网络，基于所述扩充训练集，不区分图像类别，采用多任务学习方法，训练了Alexnet_MT、Googlenet_MT、VGG19_MT和Resnet_MT四个第一模型。
为将分类具体化，本发明实施例中采用Softmaxwithloss方法对已训练模型的分类概率进行计算，进而实现对图像整体美感品质进行评分。Softmaxwithloss的代价函数可以表示为：
其中，m为样本数量，k为输出数量，p为对图像构图、亮度、颜色、景深或整体美感品质分类进行评分的分类概率。
若待测图像的P值大于50％，则该图像为高构图、亮度、颜色、景深或整体美感品质图像，反之，为低构图、亮度、颜色、景深或整体美感品质图像。P值可以为该图像的构图、亮度、颜色、景深或整体美感品质得分。
步骤S400，基于所述测试集，区分图像类别，对所述多个第一模型进行测试，根据第一预设规则针对每个图像类别从所述多个第一模型选取一个作为第二模型。
不同类别的图像在拍摄方法上有很大不同，为了进一步提升图像美感品质评价效果。所述图像类别可以包括动物类、建筑类、人物类、风景类、夜景类、植物类和静物类七个类。所述第一预设规则可以是针对每个图像类别从所述多个第一模型选取一个效果最好的作为第二模型。例如，基于所述测试集，区分图像类别，采用动物类、建筑类、人物类、风景类、夜景类、植物类和静物类七个类的图像类别分别对Alexnet_MT、Googlenet_MT、VGG19_MT和Resnet_MT四个第一模型进行测试，比较每个第一模型在七个图像类别中的构图、亮度、颜色、景深四个美感因素的识别准确率。在动物类图像中，Googlenet_MT在四个美感因素的识别率都要高于其他三个第一模型，所以选择Googlenet_MT作为动物类图像使用的第二模型。在人物类图像中，Googlenet_MT在构图和景深美感因素上要优于其他三个第一模型，而VGG19_MT和Alexnet_MT分别在亮度和颜色上优于其他三个模型，通过总体效果来看，Googlenet_MT要略占一些优势，所以将Googlenet_MT作为人物类图像使用的第二模型。同理，选择Alexnet_MT作为建筑类、植物类和静物类图像使用的第二模型，选择Googlenet_MT作为风景和夜景类图像使用的第二模型。
步骤S500，基于所述扩充训练集，区分图像类别，采用多任务学习方法，采用所述第二模型分别对每种类别的图像进行高/低构图美感品质、高/低亮度美感品质、高/低颜色美感品质、高/低景深美感品质及高/低整体美感品质分类的训练，针对每个图像类别分别得到一个第一最终模型。
步骤S600，将每种类别的待测图像分别输入到与之类别相匹配的第一最终模型中，实现对每种类别的待测图像的高/低构图美感品质评价、高/低亮度美感品质评价、高/低颜色美感品质评价、高/低景深美感品质评价及高/低整体美感品质评价。
本发明实施例还提供一种图像评价方法，所述图像评价方法可用于评价图像美感品质。请参阅图10，是本发明较佳实施例提供的图像评价方法的流程图。所述方法有关的流程所定义的步骤可以由处理器120实现。下面将对图10所示的具体流程进行详细阐述。
步骤S700，选择多个卷积神经网络，基于ImageNet数据库进行训练，得到多个预训练模型。
可选地，所述多个卷积神经网络包括Alexnet、Googlenet、VGG19和Resnet。基于Alexnet、Googlenet、VGG19和Resnet在ImageNet上训练得到Alexnet_Model、Googlenet_Model、VGG19_Model和Resnet_Model四个预训练模型。基于ImageNet数据库进行训练，可以克服图像集过小的问题，提高图像评价效果。
步骤S750，建立IAFA数据库。
所述IAFA数据库存储有多个图像，每个图像带有高/低构图美感品质、高/低亮度美感品质、高/低颜色美感品质、高/低景深美感品质。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，建立IAFA数据库的具体步骤可以参照前文，在此不再赘述。
步骤S800，将所述IAFA数据库内的图像分为训练集和测试集，对所述训练集内的图像数量进行扩充，得到扩充训练集。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，步骤S800的可以参照前文的步骤S200，在此不再赘述。
步骤S850，基于所述扩充训练集，不区分图像类别，对每个预训练模型进行高/低构图美感品质、高/低亮度美感品质、高/低颜色美感品质、高/低景深美感品质及高/低整体美感品质分类的训练，得到多个第三模型。
对Alexnet_Model、Googlenet_Model、VGG19_Model和Resnet_Model四个预训练模型分别进行高/低构图美感品质、高/低亮度美感品质、高/低颜色美感品质、高/低景深美感品质及高/低整体美感品质分类的训练，分别得到Alexnet_FT_j、Googlenet_FT_j、VGG19_FT_j和Resnet_FT_j，其中j可以分别表示G(构图)、J(景深)、L(亮度)、Y(颜色)和Z(整体)。因此，对Alexnet_Model、Googlenet_Model、VGG19_Model和Resnet_Model四个预训练模型分别进行高/低构图美感品质、高/低亮度美感品质、高/低颜色美感品质、高/低景深美感品质及高/低整体美感品质分类的训练，可以得到20个第三模型。
步骤S900，基于所述测试集，区分图像类别，对所述多个第三模型进行测试，分别选择对每种类别图像的构图、亮度、颜色、景深及整体美感品质识别准确率最高的第三模型作为第四模型。
所述图像类别可以包括动物类、建筑类、人物类、风景类、夜景类、植物类和静物类七个类。基于所述测试集，区分图像类别，测试Alexnet_FT_j、Googlenet_FT_j、VGG19_FT_j和Resnet_FT_j在各个图像类别的识别准确率。以基于所述测试集，区分图像类别，对所述多个第三模型进行测试，分别选择对每种类别图像的构图、亮度、颜色、景深识别准确率最高的第三模型作为第四模型为例。在本实施例中，在构图和景深美感因素中，Googlenet_FT_G和Googlenet_FT_J在各个图像类别上的识别率分别高于其他三个模型。在亮度美感因素中，Resnet_FT_L在人物图像中的识别准确率要高于其他三个模型，而在其他六个类别的图像中，Googlenet_FT_L要的识别准确率要高于其他三个模型。在颜色美感因素中，ResNet_FT_Y在人物和风景图像中的识别准确率要高于其他三个模型，而Googlenet_FT_Y在其他五个类别的图像中的识别准确率要高于其他三个模型。所以在构图和景深美感因素中，选择Googlenet_FT_G和Googlenet_FT_J作为第四模型，在亮度美感因素中，人物图像选择Resnet_FT_L作为第四模型，其他图像类别使用Googlenet_FT_L作为第四模型。在颜色美感因素中，人物和风景图像使用Resnet_FT_Y作为第四模型，而其他图像类别使用Googlenet_FT_Y作为第四模型。
步骤S950，基于所述扩充训练集，区分图像类别，对每个第四模型进行高/低构图美感品质、高/低亮度美感品质、高/低颜色美感品质、高/低景深美感品质及高/低整体美感品质分类的训练，得到多个与所述第四模型一一对应的第二最终模型。
步骤S1000，将每种类别的待测图像分别输入到与之类别相匹配的分别用于评价构图、亮度、颜色、景深及整体美感的第二最终模型中，实现对每种类别的待测图像的高/低构图美感品质评价、高/低亮度美感品质评价、高/低颜色美感品质评价、高/低景深美感品质及高低整体美感品质评价。
本发明实施例提供的图像评价方法，建立了IAFA数据库，并基于IAFA数据库，区分图像类别，采用多任务学习方法，采用所述第二模型分别对每种类别的图像进行高/低构图美感品质、高/低亮度美感品质、高/低颜色美感品质、高/低景深美感品质及高/低整体美感品质分类的训练，针对每个图像类别分别得到一个第一最终模型，将每种类别的待测图像分别输入到与之类别相匹配的第一最终模型中，实现对每个类别的待测图像的高/低构图美感品质评价、高/低亮度美感品质评价、高/低颜色美感品质评价、高/低景深美感品质评价及高/低整体美感品质评价，从而实现对图像美感品质进行细致评价。
本发明实施例提供的另一种图像评价方法，选择多个卷积神经网络，基于ImageNet数据库进行训练，得到多个预训练模型，建立了IAFA数据库，并基于IAFA数据库，区分图像类别，对每个第四模型进行高/低构图美感品质、高/低亮度美感品质、高/低颜色美感品质、高/低景深美感品质及高/低整体美感品质分类的训练，得到多个与所述第四模型一一对应的第二最终模型，将每种类别的待测图像分别输入到与之类别相匹配的分别用于评价构图、亮度、颜色、景深及整体美感的第二最终模型中，实现对每种类别的待测图像的高/低构图美感品质评价、高/低亮度美感品质评价、高/低颜色美感品质评价、高/低景深美感品质及高低整体美感品质评价，从而实现对图像美感品质进行细致评价。
在本发明实施例所提供的流程图的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的步骤也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，流程图中的每个方框可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，各种电子设备，或者网络设备等)执行本发明各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像评价方法，用于评价图像美感品质，其特征在于，所述方法包括：
建立IAFA数据库，所述IAFA数据库存储有多个图像，每个图像带有高/低构图美感品质标签、高/低亮度美感品质标签、高/低颜色美感品质标签、高/低景深美感品质标签及高/低整体美感品质标签；
将所述IAFA数据库内的图像分为训练集和测试集，对所述训练集内的图像数量进行扩充，得到扩充训练集；
基于所述扩充训练集，不区分图像类别，采用多任务学习方法，对多个卷积神经网络同时进行高/低构图美感品质、高/低亮度美感品质、高/低颜色美感品质、高/低景深美感品质及高/低整体美感品质分类的训练，得到多个第一模型；
基于所述测试集，区分图像类别，对所述多个第一模型进行测试，根据第一预设规则针对每个图像类别从所述多个第一模型选取一个作为第二模型；
基于所述扩充训练集，区分图像类别，采用多任务学习方法，采用所述第二模型分别对每种类别的图像进行高/低构图美感品质、高/低亮度美感品质、高/低颜色美感品质、高/低景深美感品质及高/低整体美感品质分类的训练，针对每个图像类别分别得到一个第一最终模型；
将每种类别的待测图像分别输入到与之类别相匹配的第一最终模型中，实现对每种类别的待测图像的高/低构图美感品质评价、高/低亮度美感品质评价、高/低颜色美感品质评价、高/低景深美感品质评价及高/低整体美感品质评价。
2.根据权利要求1所述的图像评价方法，其特征在于，建立IAFA数据库的步骤包括：
获得多类别、不同品质的多幅图像，以作为图像样本；
计算所述图像样本的美感因素的机器评分，其中，所述美感因素包括构图美感因素、亮度美感因素、颜色美感因素和景深美感因素；
根据各标注者输入的问题答案，计算该标注者的评分权重；
根据各标注者对所述图像样本的美感因素的定性评断，计算各标注者对所述图像样本的美感因素的人工评分；
根据所述图像样本的美感因素的机器评分、各标注者的评分权重以及各标注者对所述图像样本的美感因素的人工评分，计算所述图像样本的美感因素的总评分，其中包括图像样本的构图美感因素的总评分、亮度美感因素的总评分、颜色美感因素的总评分以及景深美感因素的总评分；
根据多个标注者输入的判断结果，计算所述图像样本的整体美感品质的评分；
根据所述图像样本的构图美感因素的总评分将图像标注为高/低构图美感品质图像，根据所述图像样本的亮度美感因素的总评分将图像标注为高/低亮度美感品质图像，根据所述图像样本的颜色美感因素的总评分将图像标注为高/低颜色美感品质图像，根据所述图像样本的景深美感因素的总评分将图像标注为高/低景深美感品质图像及根据所述图像样本的整体美感品质的评分将图像标注为高/低景深美感品质图像，以建立IAFA数据库。
3.根据权利要求2所述的图像评价方法，其特征在于，计算所述图像样本的美感因素的机器评分的步骤包括：
计算所述图像样本的美感因素的特征的机器评分；
计算所述图像样本的美感因素的特征的机器评分的平均值；
当所述图像样本的美感因素的特征的机器评分的平均值小于0.1时，所述图像样本的美感因素的机器评分等于1；
当所述图像样本的美感因素的特征的机器评分的平均值大于或等于0.1时，所述图像样本的美感因素的机器评分等于10倍所述平均值。
4.根据权利要求3所述的图像评价方法，其特征在于，所述计算所述图像样本的美感因素的特征的机器评分的步骤包括：
计算所述图像样本的美感因素的特征的特征值；
根据多个高美感品质图像的特征的特征值，计算所述特征的高美感品质取值范围及最优值；
根据所述图像样本的特征的特征值及所述特征的高美感品质取值范围及最优值计算所述图像样本的特征的机器评分。
5.根据权利要求1所述的图像评价方法，其特征在于，所述将所述IAFA数据库内的图像分为训练集和测试集，对所述训练集内的图像数量进行扩充，得到扩充训练集的步骤包括：
将所述IAFA数据库内的图像分为训练集和测试集；
将所述训练集内的图像分别旋转90°、180°和270°，再进行边角和中心剪裁并做镜像变换，使所述训练集内的图像数量扩充至原来的40倍，得到扩充训练集。
6.根据权利要求1-5任意一项所述的图像评价方法，其特征在于，所述多个卷积神经网络包括Alexnet、Googlenet、VGG19和Resnet，所述图像类别包括动物类、建筑类、人物类、风景类、夜景类、植物类和静物类。
7.一种图像评价方法，用于评价图像美感品质，其特征在于，所述方法包括：
选择多个卷积神经网络，基于ImageNet数据库进行训练，得到多个预训练模型；
建立IAFA数据库，所述IAFA数据库存储有多个图像，每个图像带有高/低构图美感品质标签、高/低亮度美感品质标签、高/低颜色美感品质标签、高/低景深美感品质标签及高/低整体美感品质标签；
将所述IAFA数据库内的图像分为训练集和测试集，对所述训练集内的图像数量进行扩充，得到扩充训练集；
基于所述扩充训练集，不区分图像类别，对每个预训练模型进行高/低构图美感品质、高/低亮度美感品质、高/低颜色美感品质、高/低景深美感品质及高/低整体美感品质分类的训练，得到多个第三模型；
基于所述测试集，区分图像类别，对所述多个第三模型进行测试，分别选择对每种类别图像的构图、亮度、颜色、景深及整体美感品质识别准确率最高的第三模型作为第四模型；
基于所述扩充训练集，区分图像类别，对每个第四模型进行高/低构图美感品质、高/低亮度美感品质、高/低颜色美感品质、高/低景深美感品质及高/低整体美感品质分类的训练，得到多个与所述第四模型一一对应的第二最终模型；
将每种类别的待测图像分别输入到与之类别相匹配的分别用于评价构图、亮度、颜色、景深及整体美感的第二最终模型中，实现对每种类别的待测图像的高/低构图美感品质评价、高/低亮度美感品质评价、高/低颜色美感品质评价、高/低景深美感品质及高低整体美感品质评价。
8.根据权利要求7所述的图像评价方法，其特征在于，建立IAFA数据库的步骤包括：
获得多类别、不同品质的多幅图像，以作为图像样本；
计算所述图像样本的美感因素的机器评分，其中，所述美感因素包括构图美感因素、亮度美感因素、颜色美感因素和景深美感因素；
根据各标注者输入的问题答案，计算该标注者的评分权重；
根据各标注者对所述图像样本的美感因素的定性评断，计算各标注者对所述图像样本的美感因素的人工评分；
根据所述图像样本的美感因素的机器评分、各标注者的评分权重以及各标注者对所述图像样本的美感因素的人工评分，计算所述图像样本的美感因素的总评分，其中包括图像样本的构图美感因素的总评分、亮度美感因素的总评分、颜色美感因素的总评分以及景深美感因素的总评分；
根据多个标注者输入的判断结果，计算所述图像样本的整体美感品质的评分；
根据所述图像样本的构图美感因素的总评分将图像标注为高/低构图美感品质图像，根据所述图像样本的亮度美感因素的总评分将图像标注为高/低亮度美感品质图像，根据所述图像样本的颜色美感因素的总评分将图像标注为高/低颜色美感品质图像，根据所述图像样本的景深美感因素的总评分将图像标注为高/低景深美感品质图像及根据所述图像样本的整体美感品质的评分将图像标注为高/低景深美感品质图像，以建立IAFA数据库。
9.根据权利要求8所述的图像评价方法，其特征在于，计算所述图像样本的美感因素的机器评分的步骤包括：
计算所述图像样本的美感因素的特征的机器评分；
计算所述图像样本的美感因素的特征的机器评分的平均值；
当所述图像样本的美感因素的特征的机器评分的平均值小于0.1时，所述图像样本的美感因素的机器评分等于1；
当所述图像样本的美感因素的特征的机器评分的平均值大于或等于0.1时，所述图像样本的美感因素的机器评分等于10倍所述平均值。
10.根据权利要求7-9任意一项所述的图像评价方法，其特征在于，所述多个卷积神经网络包括Alexnet、Googlenet、VGG19和Resnet，所述图像类别包括动物类、建筑类、人物类、风景类、夜景类、植物类和静物类。
CN201710484336.3A 2017-06-23 2017-06-23 图像评价方法 Pending CN107330455A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710484336.3A CN107330455A (zh) 2017-06-23 2017-06-23 图像评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710484336.3A CN107330455A (zh) 2017-06-23 2017-06-23 图像评价方法

Publications (1)

Publication Number Publication Date
CN107330455A true CN107330455A (zh) 2017-11-07

Family

ID=60195883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710484336.3A Pending CN107330455A (zh) 2017-06-23 2017-06-23 图像评价方法

Country Status (1)

Country Link
CN (1) CN107330455A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108053407A (zh) * 2017-12-22 2018-05-18 联想(北京)有限公司 数据处理方法及数据处理系统
CN108401154A (zh) * 2018-05-25 2018-08-14 同济大学 一种图像曝光度无参考质量评价方法
CN109498019A (zh) * 2019-01-04 2019-03-22 清华大学深圳研究生院 一种用于磁共振脑组织精确分割的数据感知方法
CN109615022A (zh) * 2018-12-20 2019-04-12 上海智臻智能网络科技股份有限公司 模型上线配置方法和装置
CN109886317A (zh) * 2019-01-29 2019-06-14 中国科学院自动化研究所 基于注意力机制的通用图像美学评估方法、系统及设备
CN110321944A (zh) * 2019-06-26 2019-10-11 华中科技大学 一种基于接触网画质评估的深度神经网络模型的构建方法
CN111402229A (zh) * 2020-03-16 2020-07-10 焦点科技股份有限公司 一种基于深度学习的图像评分的方法及系统
CN112184660A (zh) * 2020-09-25 2021-01-05 大方众智创意广告(珠海)有限公司 设计图像评价方法、装置及电子设备
CN113627419A (zh) * 2020-05-08 2021-11-09 百度在线网络技术（北京）有限公司 兴趣区域评估方法、装置、设备和介质

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108053407A (zh) * 2017-12-22 2018-05-18 联想(北京)有限公司 数据处理方法及数据处理系统
CN108053407B (zh) * 2017-12-22 2021-04-13 联想(北京)有限公司 数据处理方法及数据处理系统
CN108401154A (zh) * 2018-05-25 2018-08-14 同济大学 一种图像曝光度无参考质量评价方法
CN109615022A (zh) * 2018-12-20 2019-04-12 上海智臻智能网络科技股份有限公司 模型上线配置方法和装置
CN109615022B (zh) * 2018-12-20 2020-05-19 上海智臻智能网络科技股份有限公司 模型上线配置方法和装置
CN109498019A (zh) * 2019-01-04 2019-03-22 清华大学深圳研究生院 一种用于磁共振脑组织精确分割的数据感知方法
CN109886317A (zh) * 2019-01-29 2019-06-14 中国科学院自动化研究所 基于注意力机制的通用图像美学评估方法、系统及设备
CN109886317B (zh) * 2019-01-29 2021-04-27 中国科学院自动化研究所 基于注意力机制的通用图像美学评估方法、系统及设备
CN110321944A (zh) * 2019-06-26 2019-10-11 华中科技大学 一种基于接触网画质评估的深度神经网络模型的构建方法
CN111402229A (zh) * 2020-03-16 2020-07-10 焦点科技股份有限公司 一种基于深度学习的图像评分的方法及系统
CN113627419A (zh) * 2020-05-08 2021-11-09 百度在线网络技术（北京）有限公司 兴趣区域评估方法、装置、设备和介质
CN112184660A (zh) * 2020-09-25 2021-01-05 大方众智创意广告(珠海)有限公司 设计图像评价方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN107330455A (zh) 图像评价方法
CN104143079B (zh) 人脸属性识别的方法和系统
CN106469302A (zh) 一种基于人工神经网络的人脸肤质检测方法
CN108961245A (zh) 基于双通道深度并行卷积网络的图像质量分类方法
CN108717663A (zh) 基于微表情的面签欺诈判断方法、装置、设备及介质
CN107808132A (zh) 一种融合主题模型的场景图像分类方法
CN109359538A (zh) 卷积神经网络的训练方法、手势识别方法、装置及设备
CN107563999A (zh) 一种基于卷积神经网络的芯片缺陷识别方法
CN108510437A (zh) 一种虚拟形象生成方法、装置、设备以及可读存储介质
CN106127702A (zh) 一种基于深度学习的图像去雾算法
CN106599800A (zh) 一种基于深度学习的人脸微表情识别方法
CN110097003A (zh) 基于神经网络的课堂考勤方法、设备、存储介质及装置
CN107871101A (zh) 一种人脸检测方法及装置
CN106650786A (zh) 基于多列卷积神经网络模糊评判的图像识别方法
CN107729819A (zh) 一种基于稀疏全卷积神经网络的人脸标注方法
CN109165674A (zh) 一种基于多标签深度卷积网络的证件照分类方法
CN107016415A (zh) 一种基于全卷积网络的彩色图像色彩语义分类方法
CN109886153A (zh) 一种基于深度卷积神经网络的实时人脸检测方法
CN109829924A (zh) 一种基于主体特征分析的图像质量评价方法
CN105956570B (zh) 基于唇部特征和深度学习的笑脸识别方法
CN109685713A (zh) 化妆模拟控制方法、装置、计算机设备及存储介质
CN109829868A (zh) 一种轻量级深度学习模型图像去雾方法、电子设备及介质
CN110427819A (zh) 一种识别图像中ppt边框的方法及相关设备
CN110210492A (zh) 一种基于深度学习的立体图像视觉显著性检测方法
CN108573205A (zh) 一种和田玉籽料显微图像智能识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171107