CN109063778A - 一种图像美学质量确定方法及系统 - Google Patents

一种图像美学质量确定方法及系统 Download PDF

Info

Publication number
CN109063778A
CN109063778A CN201810901490.0A CN201810901490A CN109063778A CN 109063778 A CN109063778 A CN 109063778A CN 201810901490 A CN201810901490 A CN 201810901490A CN 109063778 A CN109063778 A CN 109063778A
Authority
CN
China
Prior art keywords
image
aesthetic quality
layer
parameter
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810901490.0A
Other languages
English (en)
Inventor
金鑫
吴乐
周兴晖
李晓东
赵耿
张晓昆
孙红波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Office Of Cpc Central Committee Institute Of Electronic Science And Technology
Original Assignee
General Office Of Cpc Central Committee Institute Of Electronic Science And Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Office Of Cpc Central Committee Institute Of Electronic Science And Technology filed Critical General Office Of Cpc Central Committee Institute Of Electronic Science And Technology
Priority to CN201810901490.0A priority Critical patent/CN109063778A/zh
Publication of CN109063778A publication Critical patent/CN109063778A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种图像美学质量确定方法及系统，所述方法包括：采用空间金字塔池化方法，根据所述训练图像集样本确定图像美学质量评估模型；将所述测试图像集样本输入所述图像美学质量评估模型，确定所述验证图像内的各图像美学质量评估值和图像分类类别值；根据所述各图像美学质量评估值和图像分类类别值确定各图像的误差值；当各图像的误差值小于设定误差时，则输出图像美学质量评估模型；将所述测试图像集样本输入所述图像美学质量评估模型，输出所述测试图像集样本内的各图像美学质量值，实现了针对不同内容具有不同的特征图像的进行准确确定各图像美学质量值，提高了确定的准确性。

Description

一种图像美学质量确定方法及系统
技术领域
本发明涉及图像分析技术领域，特别是涉及一种图像美学质量确定方法及系统。
背景技术
随着照相机、摄像机、深度摄像机、智能手机快速普及，图像、视频、图形等可视内容数据与日俱增，可视内容感知理解已经成为可视计算、计算机视觉、计算摄像学等科学研究领域及其交叉方向国际前沿的研究方向。其中图像美学质量评价(image aestheticquality assessment，IAQA)是近期可视内容感知理解方向中的研究热点。图像美学质量评价(Image Aesthetic Quality Assessment)旨在利用计算机模拟人类对美的感知与理解，自动评价图像的“美感”，即图像美学质量的客观化评价，主要针对拍摄或绘画的图像在构图、颜色、光影、景深、虚实等美学因素方面的效果形成的美感刺激。
早期的图像质量评价通过设计多种视觉特征，拟合人类对图像美学质量的评价结果，依据视觉美学质量对图像进行分类与数值评价，能够给出大众认可的自动评价结果。在早期的研究工作中，研究人员仅仅提取图像的全局特征，接着，他们引入了局部区域特征，随后的一些工作又加入了局部区域之间的对比特征。随后研究人员又提出了基于单一美学因素(颜色和谐性)的特征、高层描述属性特征(构图属性、场景属性、天气属性)、低层通用图像描述符(generic image descriptors)等特征。
目前美学质量评价方法通常分为以下3个基本步骤。首先依据美学标准，收集图像数据集，根据专家知识将该数据集分为美学质量“高”和“低”2个子集(专业/非专业、艺术/非艺术等，或者给出每幅图像的美学质量评分)。然后设计多种图像低层与高层特征，并在图像数据集上提取这些特征。最后，利用机器学习(K算法近邻分类、支撑向量机、随机森林、回归分析、Boosting、朴素贝叶斯等)根据提取的特征与人工分类结果训练分类器，依据视觉美学质量对输入图像进行分类，或者对提取的特征与人类美学质量评分进行回归分析，以实现对输入图像视觉美学质量的数值评价。
然而上述研究均没有考虑不同内容的图像具有不同的特征，例如为人像与风景照片设计不同的特征，这样对确定各图像美学质量值的准确性有很大影响，因为不同类型的图像内容具有不同的美学特征。此外，他们的实验过程中往往对图像进行各种预处理操作，这样就损坏了图像本身的构图特征，不利于美学的判断。
发明内容
本发明的目的是提供一种图像美学质量确定方法及系统，以提高确定各图像美学质量值的准确性。
为实现上述目的，本发明提供了一种图像美学质量确定方法，所述方法包括：
确定训练图像集样本、验证图像集样本和测试图像集样本；
采用空间金字塔池化方法，根据所述训练图像集样本确定图像美学质量评估模型；
将所述验证图像集样本输入所述图像美学质量评估模型，确定所述验证图像内的各图像美学质量评估值和图像分类类别值；
根据所述各图像美学质量评估值和图像分类类别值确定各图像的误差值；
判断各图像的误差值是否小于设定误差；如果小于设定误差，则输出图像美学质量评估模型；如果大于等于设定误差，则执行所述采用空间金字塔池化方法，根据所述训练图像集样本确定图像美学质量评估模型；
将所述测试图像集样本输入所述图像美学质量评估模型，输出所述测试图像集样本内的各图像美学质量值。
可选的，所述确定训练图像集样本、验证图像集样本和测试图像集样本，具体包括：
从各数据库中获取到1-10不同分值的图像，每个分值各1000张，共10000张图像；
从10000张图像中任意抽取9000张作为训练图像集样本；
从剩下的1000张选取800张作为验证图像集样本；
将剩下的200张作为测试图像集样本。
可选的，所述根据所述各图像美学质量评估值和图像分类类别值确定各图像的误差值，具体公式为：
其中，E为各图像的误差值，为预测产生的图像美学质量评估值，yi为图像真实分数值，N为一个训练批次的图像总数，i为变量，C为分类类别总数，c为图像分类类别值，d为正确分类类别，fd(w,x,b)为正确分类类别的概率，fc(w,x,b)为第c类别的概率，w为前向运算的参数，x为网络输入，b为参数的偏置值。
可选的，所述将所述验证图像集样本输入所述图像美学质量评估模型，确定所述验证图像内的各图像美学质量评估值和图像分类类别值，具体包括：
所述图像美学质量评估模型包括：
五十层有参数的卷积神经网络层和五层没有参数的网络层；其中，五十层有参数的卷积神经网络层为特征提取层，倒数第五层没有参数的网络层为空间金字塔池化层，最后四层没有参数的网络层为多任务回归和分类层；
通过所述特征提取层对图像进行残差卷积操作，分别使用了7*7、1*1和3*3的卷积核对图像进行处理，获得美学图像特征；所述美学特征参数包括颜色特征、纹理特征以及形状特征；
利用所述空间金字塔池化层通过16*16、4*4、1*1三种最大值池化策略对图像进行池化操作，最后将所述美学图像特征展开成长度为21的一维向量；
利用多任务回归和分类层根据一维向量分别对图像的打分数值进行预测和类别预测，分别获得所述验证图像内的各图像美学质量评估值和图像分类类别值。
本发明还提供一种图像美学质量确定系统，所述系统包括：
样本确定模块，用于确定训练图像集样本、验证图像集样本和测试图像集样本；
图像美学质量评估模型确定模块，用于采用空间金字塔池化方法，根据所述训练图像集样本确定图像美学质量评估模型；
预测模块，用于将所述验证图像集样本输入所述图像美学质量评估模型，确定所述验证图像内的各图像美学质量评估值和图像分类类别值；
误差值确定模块，用于根据所述各图像美学质量评估值和图像分类类别值确定各图像的误差值；
判断模块，用于判断各图像的误差值是否小于设定误差；如果小于设定误差，则输出图像美学质量评估模型；如果大于等于设定误差，则执行所述采用空间金字塔池化方法，根据所述训练图像集样本确定图像美学质量评估模型；
输出模块，用于将所述测试图像集样本输入所述图像美学质量评估模型，输出所述测试图像集样本内的各图像美学质量值。
可选的，所述样本确定模块，具体包括：
获取模单元，用于从各数据库中获取到1-10不同分值的图像，每个分值各1000张，共10000张图像；
训练图像集样本确定单元，用于从10000张图像中任意抽取9000张作为训练图像集样本；
验证图像集样本确定单元，用于从剩下的1000张选取800张作为验证图像集样本；
测试图像集样本确定单元，用于将剩下的200张作为测试图像集样本。
可选的，所述误差值确定模块的公式为：
其中，E为各图像的误差值，为预测产生的图像美学质量评估值，yi为图像真实分数值，N为一个训练批次的图像总数，i为变量，C为分类类别总数，c为图像分类类别值，d为正确分类类别，fd(w,x,b)为正确分类类别的概率，fc(w,x,b)为第c类别的概率，w为前向运算的参数，x为网络输入，b为参数的偏置值。
可选的，所述图像美学质量评估模型包括：
五十层有参数的卷积神经网络层和五层没有参数的网络层；其中，五十层有参数的卷积神经网络层为特征提取层，所述特征提取层对图像进行残差卷积操作，分别使用了7*7、1*1和3*3的卷积核对图像进行处理，获得美学图像特征；所述美学特征参数包括颜色特征、纹理特征以及形状特征；
倒数第五层没有参数的网络层为空间金字塔池化层，所述空间金字塔池化层通过16*16、4*4、1*1三种最大值池化策略对图像进行池化操作，最后将所述美学图像特征展开成长度为21的一维向量；
最后四层没有参数的网络层为多任务回归和分类层，此部分为并行网络，其中，有两层全连接网络负责根据一维向量对图像的打分数值进行预测，获得所述验证图像内的各图像美学质量评估值，另两层全连接网络负责根据一维向量对图像进行类别预测，获得图像分类类别值。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明先采用空间金字塔池化方法，根据训练图像集样本、验证图像集样本确定图像美学质量评估模型，然后根据图像美学质量评估模型对图像进行预测，获得各图像美学质量值。采用本发明上述图像美学质量评估模型实现了针对不同内容具有不同的特征图像的进行准确确定各图像美学质量值，提高了确定的准确性。另外本发明无需进行预处理，既简化了具体步骤，又能防止损坏图像本身的构图特征，进而提高了确定各图像美学质量值的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例图像美学质量确定方法流程图；
图2为本发明实施例图像美学质量确定系统结构图；
图3为本发明实施例网络子模块具体结构图一；
图4为本发明实施例网络子模块具体结构图二；
图5为本发明实施例网络模型整体结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种图像美学质量确定方法及系统，以提高确定各图像美学质量值的准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例图像美学质量确定方法流程图，如图1所示，本发明提供一种图像美学质量确定方法，所述方法包括：
步骤S1：确定训练图像集样本、验证图像集样本和测试图像集样本；
步骤S2：采用空间金字塔池化方法，根据所述训练图像集样本确定图像美学质量评估模型；
步骤S3：将所述验证图像集样本输入所述图像美学质量评估模型，确定所述验证图像内的各图像美学质量评估值和图像分类类别值；
步骤S4：根据所述各图像美学质量评估值和图像分类类别值确定各图像的误差值；
步骤S5：判断各图像的误差值是否小于设定误差；如果小于设定误差，则输出图像美学质量评估模型；如果大于等于设定误差，则执行所述采用空间金字塔池化方法，根据所述训练图像集样本确定图像美学质量评估模型；
步骤S6：将所述测试图像集样本输入所述图像美学质量评估模型，输出所述测试图像集样本内的各图像美学质量值。
下面对各个步骤进行详细论述：
步骤S1：所述确定训练图像集样本、验证图像集样本和测试图像集样本，具体包括：
从各数据库中获取到1-10不同分值的图像，每个分值各1000张，共10000张图像；具体包括：
步骤S11：从10000张图像中任意抽取9000张作为训练图像集样本；
步骤S12：从剩下的1000张选取800张作为验证图像集样本；
步骤S13：将剩下的200张作为测试图像集样本。
步骤S4：所述根据所述各图像美学质量评估值和图像分类类别值确定各图像的误差值，具体公式为：
其中，E为各图像的误差值，为预测产生的图像美学质量评估值，yi为图像真实分数值，N为一个训练批次的图像总数，i为变量，C为分类类别总数，c为图像分类类别值，d为正确分类类别，fd(w,x,b)为正确分类类别的概率，fc(w,x,b)为第c类别的概率，w为前向运算的参数，x为网络输入，b为参数的偏置值。
步骤S3：将所述验证图像集样本输入所述图像美学质量评估模型，确定所述验证图像内的各图像美学质量评估值和图像分类类别值，具体包括：
所述图像美学质量评估模型包括：
五十层有参数的卷积神经网络层和五层没有参数的网络层；其中，五十层有参数的卷积神经网络层为特征提取层，倒数第五层没有参数的网络层为空间金字塔池化层，最后四层没有参数的网络层为多任务回归和分类层；
步骤S31：通过所述特征提取层对图像进行残差卷积操作，分别使用了7*7、1*1和3*3的卷积核对图像进行处理，获得美学图像特征；所述美学特征参数包括颜色特征、纹理特征以及形状特征；
步骤S32：利用所述空间金字塔池化层通过16*16、4*4、1*1三种最大值池化策略对图像进行池化操作，最后将所述美学图像特征展开成长度为21的一维向量；
步骤S33：利用多任务回归和分类层根据一维向量分别对图像的打分数值进行预测和类别预测，分别获得所述验证图像内的各图像美学质量评估值和图像分类类别值。
图2为本发明实施例图像美学质量确定系统结构图，如图2所示，本发明还提供一种图像美学质量确定系统，所述系统包括：
样本确定模块1，用于确定训练图像集样本、验证图像集样本和测试图像集样本；
图像美学质量评估模型确定模块2，用于采用空间金字塔池化方法，根据所述训练图像集样本确定图像美学质量评估模型；
预测模块3，用于将所述验证图像集样本输入所述图像美学质量评估模型，确定所述验证图像内的各图像美学质量评估值和图像分类类别值；
误差值确定模块4，用于根据所述各图像美学质量评估值和图像分类类别值确定各图像的误差值；
判断模块5，用于判断各图像的误差值是否小于设定误差；如果小于设定误差，则输出图像美学质量评估模型；如果大于等于设定误差，则执行所述采用空间金字塔池化方法，根据所述训练图像集样本确定图像美学质量评估模型；
输出模块6，用于将所述测试图像集样本输入所述图像美学质量评估模型，输出所述测试图像集样本内的各图像美学质量值。
下面对各个模块进行详细论述：
所述样本确定模块1，具体包括：
获取模单元，用于从各数据库中获取到1-10不同分值的图像，每个分值各1000张，共10000张图像；
训练图像集样本确定单元，用于从10000张图像中任意抽取9000张作为训练图像集样本；
验证图像集样本确定单元，用于从剩下的1000张选取800张作为验证图像集样本；
测试图像集样本确定单元，用于将剩下的200张作为测试图像集样本。
所述误差值确定模块4的公式为：
其中，E为各图像的误差值，为预测产生的图像美学质量评估值，yi为图像真实分数值，N为一个训练批次的图像总数，i为变量，C为分类类别总数，c为图像分类类别值，d为正确分类类别，fd(w,x,b)为正确分类类别的概率，fc(w,x,b)为第c类别的概率，w为前向运算的参数，x为网络输入，b为参数的偏置值。
所述图像美学质量评估模型包括：
五十层有参数的卷积神经网络层和五层没有参数的网络层；其中，五十层有参数的卷积神经网络层为特征提取层，所述特征提取层对图像进行残差卷积操作，分别使用了7*7、1*1和3*3的卷积核对图像进行处理，获得美学图像特征；所述美学特征参数包括颜色特征、纹理特征以及形状特征；
倒数第五层没有参数的网络层为空间金字塔池化层，所述空间金字塔池化层通过16*16、4*4、1*1三种最大值池化策略对图像进行池化操作，最后将所述美学图像特征展开成长度为21的一维向量；
最后四层没有参数的网络层为多任务回归和分类层，此部分为并行网络，其中，有两层全连接网络负责根据一维向量对图像的打分数值进行预测，获得所述验证图像内的各图像美学质量评估值，另两层全连接网络负责根据一维向量对图像进行类别预测，获得图像分类类别值。
图3为本发明实施例网络子模块具体结构图一；如图3所示，网络子模块为压缩激活模块，分为以下几个步骤实现：
(1)首先是压缩操作。压缩操作就是在得到多个特征图之后采用全局平均池化操作(对应图3中池化部分)对其每个特征图进行压缩，使其C个特征图最后变成1*1*C的实数数列。它顺着空间维度来进行特征压缩，将每个二维的特征通道变成一个实数，这个实数某种程度上具有全局的感受野，并且输出的维度和输入的特征通道数相匹配。它表征着在特征通道上响应的全局分布，而且使得浅层也可以获得全局的感受野，这一点在很多任务中都是非常有用的。
(2)其次是激活操作(对应图3中全连接层到Sigmoid层部分)，它是一个类似于循环神经网络中门的机制。通过参数来为每个特征通道生成权重，其中参数被学习用来显式地建模特征通道间的相关性。
(3)最后是一个重选值的操作，我们将激活的输出的权重看做是进过特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征上(对应图2中加号连接部分)，完成在通道维度上的对原始特征的重标定。
图4为本发明实施例网络子模块具体结构图二，如图4所示，图4网络子模块包括空间金子塔池化层与多任务回归和分类结构，其设计思想如下：
(1)空间金字塔层(对应图3中空间金字塔池化)就是把前一卷积层的特征图的每一个图片上进行了3个维度的池化操作。这里使用了三层的金字塔池化层池化，分别设置图片切分成1、4、16块,然后按照层次对这个特征图进行分别处理，也就是在第一层对这个特征图整个特征图进行池化，这里使用的是最大池化，得到1个特征。第二层先将这个特征图切分为4个小的特征图，然后使用对应的大小的池化核对其进行池化得到4个特征，第三层先将这个特征图切分为16个的小的特征图，然后使用对应大小的池化核对其进行池化得到16个特征.然后将这1+4+16＝21个特征输入到全连接层，进行权重计算。
(2)多任务回归和分类结构分为两个并行结构，每个结构都由两个全连接层和中间的一个ReLU激活层构成(对应图3中全连接和ReLU部分)，第一个全连接层对分数回归或分类具体任务进行特征学习，ReLU层对特征进行非线性激活，最后一个FC对分类或回归进行任务目标限定，最终分别获得预测的美学分数和图像分类类别。
图5为本发明实施例网络模型整体结构图，如图5所示，其设计思想和实现步骤如下：
(1)网络的输入是一个大小不固定的图像，在图3为输入层，网络的输出即为图片的打分分数，对应图3中欧氏距离损失部分前最后的FC层结果，通过打分信息，就可以对图像的各方面美学信息进行综合的评价。
(2)网络输入一个大小不固定的图像后，首先经过50次上面描述的压缩激活模块(图3中的之前Resnet-50压缩激活模块)，每一个模块结构如图3中残差层到空间金字塔池化层之间部分，将压缩输出的全局信息和激活的输出的权重信息看做是进过特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到卷积获得的图像特征，形成图像美学的综合特征。
(3)将步骤(2)得到的综合特征再经过空间金字塔池化层进一步处理，就是网络的空间金字塔池化部分，经过不同维度三层的金字塔池化层，分别设置图片切分成1、4、16块,然后按照层次对这个特征图进行分别处理，策略为最大值降采样，共形成长度为21的特征向量。这样经过多尺度空间信息的融合，得到的图像特征更加全面。
(4)将得到的特征经过多任务回归和分类结构，其中分数回归主任务网络通过一个全连接层，即图3中的倒数第二个全连接层，得到一个特征集合，大小是1024*1*1。将后面一层的每一个神经元和前面一层的每一个神经元都有连接。经过全连接层的变化，神经网络最后激活函数采用ReLU函数，即图中ReLU层，最后连接一个1*1*1的全连接层，得到预测的美学分数和图像分类类别。
整个网络的训练过程采用随机梯度下降法(SGD)寻找最优参数，调整网络每一层的参数，训练回归模型。
本发明基于空间金字塔池化神经网络能够很好的提取出图像的特征，因此基于SENet的网络思想，提出了一种新的图像美学质量评估模型，此图像美学质量评估模型能够利用残差卷积操作和空间金子塔池化技术有效的提取出图像的美学特征，前面的层次包含五十个压缩激活模块，对图像的美学特征进行提取，在后几个层次提取回归和分类多任务特征，最后网络把这些特征通过反向传播算法更新模型的权重值，这些特征包含图像的颜色特征，纹理特征，形状特征等，这样模型就能够很好的提取出图像总体特征，然后就能很好的对图像的打分数值和分类类别进行预测，根据各图像美学质量评估值和图像分类类别值确定各图像的误差值，最后根据误差值来输出具体的图像美学质量评估模型，以使后期根据图像美学质量评估模型确定各图像美学质量值。
本发明先采用空间金字塔池化方法，根据训练图像集样本、验证图像集样本确定图像美学质量评估模型，然后根据图像美学质量评估模型对图像进行预测，获得各图像美学质量值。采用本发明上述图像美学质量评估模型实现了针对不同内容具有不同的特征图像的进行准确确定各图像美学质量值，提高了确定的准确性。另外本发明无需进行预处理，既简化了具体步骤，又能防止损坏图像本身的构图特征，进而提高了确定各图像美学质量值的准确性。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种图像美学质量确定方法，其特征在于，所述方法包括：
确定训练图像集样本、验证图像集样本和测试图像集样本；
采用空间金字塔池化方法，根据所述训练图像集样本确定图像美学质量评估模型；
将所述验证图像集样本输入所述图像美学质量评估模型，确定所述验证图像内的各图像美学质量评估值和图像分类类别值；
根据所述各图像美学质量评估值和图像分类类别值确定各图像的误差值；
判断各图像的误差值是否小于设定误差；如果小于设定误差，则输出图像美学质量评估模型；如果大于等于设定误差，则执行所述采用空间金字塔池化方法，根据所述训练图像集样本确定图像美学质量评估模型；
将所述测试图像集样本输入所述图像美学质量评估模型，输出所述测试图像集样本内的各图像美学质量值。
2.根据权利要求1所述的图像美学质量确定方法，其特征在于，所述确定训练图像集样本、验证图像集样本和测试图像集样本，具体包括：
从各数据库中获取到1-10不同分值的图像，每个分值各1000张，共10000张图像；
从10000张图像中任意抽取9000张作为训练图像集样本；
从剩下的1000张选取800张作为验证图像集样本；
将剩下的200张作为测试图像集样本。
3.根据权利要求1所述的图像美学质量确定方法，其特征在于，所述根据所述各图像美学质量评估值和图像分类类别值确定各图像的误差值，具体公式为：
其中，E为各图像的误差值，为预测产生的图像美学质量评估值，yi为图像真实分数值，N为一个训练批次的图像总数，i为变量，C为分类类别总数，c为图像分类类别值，d为正确分类类别，fd(w,x,b)为正确分类类别的概率，fc(w,x,b)为第c类别的概率，w为前向运算的参数，x为网络输入，b为参数的偏置值。
4.根据权利要求1所述的图像美学质量确定方法，其特征在于，所述将所述验证图像集样本输入所述图像美学质量评估模型，确定所述验证图像内的各图像美学质量评估值和图像分类类别值，具体包括：
所述图像美学质量评估模型包括：
五十层有参数的卷积神经网络层和五层没有参数的网络层；其中，五十层有参数的卷积神经网络层为特征提取层，倒数第五层没有参数的网络层为空间金字塔池化层，最后四层没有参数的网络层为多任务回归和分类层；
通过所述特征提取层对图像进行残差卷积操作，分别使用了7*7、1*1和3*3的卷积核对图像进行处理，获得美学图像特征；所述美学特征参数包括颜色特征、纹理特征以及形状特征；
利用所述空间金字塔池化层通过16*16、4*4、1*1三种最大值池化策略对图像进行池化操作，最后将所述美学图像特征展开成长度为21的一维向量；
利用多任务回归和分类层根据一维向量分别对图像的打分数值进行预测和类别预测，分别获得所述验证图像内的各图像美学质量评估值和图像分类类别值。
5.一种图像美学质量确定系统，其特征在于，所述系统包括：
样本确定模块，用于确定训练图像集样本、验证图像集样本和测试图像集样本；
图像美学质量评估模型确定模块，用于采用空间金字塔池化方法，根据所述训练图像集样本确定图像美学质量评估模型；
预测模块，用于将所述验证图像集样本输入所述图像美学质量评估模型，确定所述验证图像内的各图像美学质量评估值和图像分类类别值；
误差值确定模块，用于根据所述各图像美学质量评估值和图像分类类别值确定各图像的误差值；
判断模块，用于判断各图像的误差值是否小于设定误差；如果小于设定误差，则输出图像美学质量评估模型；如果大于等于设定误差，则执行所述采用空间金字塔池化方法，根据所述训练图像集样本确定图像美学质量评估模型；
输出模块，用于将所述测试图像集样本输入所述图像美学质量评估模型，输出所述测试图像集样本内的各图像美学质量值。
6.根据权利要求5所述的图像美学质量确定系统，其特征在于，所述样本确定模块，具体包括：
获取模单元，用于从各数据库中获取到1-10不同分值的图像，每个分值各1000张，共10000张图像；
训练图像集样本确定单元，用于从10000张图像中任意抽取9000张作为训练图像集样本；
验证图像集样本确定单元，用于从剩下的1000张选取800张作为验证图像集样本；
测试图像集样本确定单元，用于将剩下的200张作为测试图像集样本。
7.根据权利要求5所述的图像美学质量确定系统，其特征在于，所述误差值确定模块的公式为：
其中，E为各图像的误差值，为预测产生的图像美学质量评估值，yi为图像真实分数值，N为一个训练批次的图像总数，i为变量，C为分类类别总数，c为图像分类类别值，d为正确分类类别，fd(w,x,b)为正确分类类别的概率，fc(w,x,b)为第c类别的概率，w为前向运算的参数，x为网络输入，b为参数的偏置值。
8.根据权利要求5所述的图像美学质量确定系统，其特征在于，所述图像美学质量评估模型包括：
五十层有参数的卷积神经网络层和五层没有参数的网络层；其中，五十层有参数的卷积神经网络层为特征提取层，所述特征提取层对图像进行残差卷积操作，分别使用了7*7、1*1和3*3的卷积核对图像进行处理，获得美学图像特征；所述美学特征参数包括颜色特征、纹理特征以及形状特征；
倒数第五层没有参数的网络层为空间金字塔池化层，所述空间金字塔池化层通过16*16、4*4、1*1三种最大值池化策略对图像进行池化操作，最后将所述美学图像特征展开成长度为21的一维向量；
最后四层没有参数的网络层为多任务回归和分类层，此部分为并行网络，其中，有两层全连接网络负责根据一维向量对图像的打分数值进行预测，获得所述验证图像内的各图像美学质量评估值，另两层全连接网络负责根据一维向量对图像进行类别预测，获得图像分类类别值。
CN201810901490.0A 2018-08-09 2018-08-09 一种图像美学质量确定方法及系统 Pending CN109063778A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810901490.0A CN109063778A (zh) 2018-08-09 2018-08-09 一种图像美学质量确定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810901490.0A CN109063778A (zh) 2018-08-09 2018-08-09 一种图像美学质量确定方法及系统

Publications (1)

Publication Number Publication Date
CN109063778A true CN109063778A (zh) 2018-12-21

Family

ID=64678803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810901490.0A Pending CN109063778A (zh) 2018-08-09 2018-08-09 一种图像美学质量确定方法及系统

Country Status (1)

Country Link
CN (1) CN109063778A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829506A (zh) * 2019-02-18 2019-05-31 南京旷云科技有限公司 图像处理方法、装置、电子设备和计算机存储介质
CN109902912A (zh) * 2019-01-04 2019-06-18 中国矿业大学 一种基于性格特征的个性化图像美学评价方法
CN110188285A (zh) * 2019-04-26 2019-08-30 中德（珠海）人工智能研究院有限公司 图像专业性的深度卷积神经网络预测
CN110261069A (zh) * 2019-06-21 2019-09-20 舜宇光学(中山)有限公司 一种用于光学镜头的检测方法
CN110427990A (zh) * 2019-07-22 2019-11-08 浙江理工大学 一种基于卷积神经网络的艺术图像分类方法
CN111247787A (zh) * 2018-12-29 2020-06-05 深圳市大疆创新科技有限公司 拍照方法及拍照终端
CN111488915A (zh) * 2020-03-17 2020-08-04 天津大学 一种用于中国画分类的端到端的多任务特征融合方法
CN111481208A (zh) * 2020-04-01 2020-08-04 中南大学湘雅医院 一种应用于关节康复的辅助系统、方法及存储介质
CN111507941A (zh) * 2020-03-24 2020-08-07 杭州电子科技大学 一种用于美学质量评价的构图表征学习方法
CN111651633A (zh) * 2020-04-29 2020-09-11 上海推乐信息技术服务有限公司 一种视频封面选取方法和系统
CN112164102A (zh) * 2020-09-24 2021-01-01 北京三快在线科技有限公司 一种图像处理方法及装置
CN112418295A (zh) * 2020-11-18 2021-02-26 北京三快在线科技有限公司 图像处理方法、装置、设备及存储介质
CN112633261A (zh) * 2021-03-09 2021-04-09 北京世纪好未来教育科技有限公司 图像检测方法、装置、设备及存储介质
CN112669270A (zh) * 2020-12-21 2021-04-16 北京金山云网络技术有限公司 视频质量的预测方法、装置及服务器
CN112887587A (zh) * 2021-01-08 2021-06-01 浙江工贸职业技术学院 一种可进行无线连接的自适应图像数据快速传输方法
CN113255743A (zh) * 2021-05-12 2021-08-13 展讯通信（上海）有限公司 图像处理方法、装置、电子设备及存储介质
CN113366420A (zh) * 2019-04-17 2021-09-07 深圳市欢太科技有限公司 图像处理方法、计算机可读存储介质和计算机设备
CN117689656A (zh) * 2024-01-31 2024-03-12 北京电子科技学院 一种pc端图片管理方法及系统

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111247787A (zh) * 2018-12-29 2020-06-05 深圳市大疆创新科技有限公司 拍照方法及拍照终端
WO2020133409A1 (zh) * 2018-12-29 2020-07-02 深圳市大疆创新科技有限公司 拍照方法及拍照终端
CN109902912A (zh) * 2019-01-04 2019-06-18 中国矿业大学 一种基于性格特征的个性化图像美学评价方法
CN109902912B (zh) * 2019-01-04 2023-04-07 中国矿业大学 一种基于性格特征的个性化图像美学评价方法
CN109829506A (zh) * 2019-02-18 2019-05-31 南京旷云科技有限公司 图像处理方法、装置、电子设备和计算机存储介质
CN113366420A (zh) * 2019-04-17 2021-09-07 深圳市欢太科技有限公司 图像处理方法、计算机可读存储介质和计算机设备
CN113366420B (zh) * 2019-04-17 2024-05-03 深圳市欢太科技有限公司 图像处理方法、计算机可读存储介质和计算机设备
CN110188285A (zh) * 2019-04-26 2019-08-30 中德（珠海）人工智能研究院有限公司 图像专业性的深度卷积神经网络预测
CN110261069B (zh) * 2019-06-21 2022-01-18 舜宇光学(中山)有限公司 一种用于光学镜头的检测方法
CN110261069A (zh) * 2019-06-21 2019-09-20 舜宇光学(中山)有限公司 一种用于光学镜头的检测方法
CN110427990B (zh) * 2019-07-22 2021-08-24 浙江理工大学 一种基于卷积神经网络的艺术图像分类方法
CN110427990A (zh) * 2019-07-22 2019-11-08 浙江理工大学 一种基于卷积神经网络的艺术图像分类方法
CN111488915A (zh) * 2020-03-17 2020-08-04 天津大学 一种用于中国画分类的端到端的多任务特征融合方法
CN111488915B (zh) * 2020-03-17 2023-04-11 天津大学 一种用于中国画分类的端到端的多任务特征融合方法
CN111507941A (zh) * 2020-03-24 2020-08-07 杭州电子科技大学 一种用于美学质量评价的构图表征学习方法
CN111481208A (zh) * 2020-04-01 2020-08-04 中南大学湘雅医院 一种应用于关节康复的辅助系统、方法及存储介质
CN111651633A (zh) * 2020-04-29 2020-09-11 上海推乐信息技术服务有限公司 一种视频封面选取方法和系统
CN112164102A (zh) * 2020-09-24 2021-01-01 北京三快在线科技有限公司 一种图像处理方法及装置
CN112418295A (zh) * 2020-11-18 2021-02-26 北京三快在线科技有限公司 图像处理方法、装置、设备及存储介质
CN112669270A (zh) * 2020-12-21 2021-04-16 北京金山云网络技术有限公司 视频质量的预测方法、装置及服务器
CN112887587A (zh) * 2021-01-08 2021-06-01 浙江工贸职业技术学院 一种可进行无线连接的自适应图像数据快速传输方法
CN112887587B (zh) * 2021-01-08 2023-04-07 浙江工贸职业技术学院 一种可进行无线连接的自适应图像数据快速传输方法
CN112633261A (zh) * 2021-03-09 2021-04-09 北京世纪好未来教育科技有限公司 图像检测方法、装置、设备及存储介质
CN113255743A (zh) * 2021-05-12 2021-08-13 展讯通信（上海）有限公司 图像处理方法、装置、电子设备及存储介质
CN117689656A (zh) * 2024-01-31 2024-03-12 北京电子科技学院 一种pc端图片管理方法及系统

Similar Documents

Publication Publication Date Title
CN109063778A (zh) 一种图像美学质量确定方法及系统
CN104217214B (zh) 基于可配置卷积神经网络的rgb‑d人物行为识别方法
CN110188725A (zh) 高分辨率遥感图像的场景识别系统及模型生成方法
CN103258204B (zh) 一种基于Gabor和EOH特征的自动微表情识别方法
CN104063719B (zh) 基于深度卷积网络的行人检测方法及装置
CN104299006B (zh) 一种基于深度神经网络的车牌识别方法
CN107808132A (zh) 一种融合主题模型的场景图像分类方法
CN109102014A (zh) 基于深度卷积神经网络的类别不平衡的图像分类方法
CN107194433A (zh) 一种基于深度自编码网络的雷达一维距离像目标识别方法
CN112446388A (zh) 一种基于轻量化二阶段检测模型的多类别蔬菜幼苗识别方法及系统
CN107341506A (zh) 一种基于多方面深度学习表达的图像情感分类方法
CN107871136A (zh) 基于稀疏性随机池化的卷积神经网络的图像识别方法
CN109583322A (zh) 一种人脸识别深度网络训练方法和系统
CN110083700A (zh) 一种基于卷积神经网络的企业舆情情感分类方法及系统
CN106920243A (zh) 改进的全卷积神经网络的陶瓷材质件序列图像分割方法
CN109543502A (zh) 一种基于深度多尺度神经网络的语义分割方法
CN108090447A (zh) 双分支深层结构下的高光谱图像分类方法及装置
CN106354735A (zh) 一种图像中目标的检索方法和装置
CN108734719A (zh) 一种基于全卷积神经网络的鳞翅目昆虫图像前背景自动分割方法
CN109215034A (zh) 一种基于空间金字塔掩盖池化的弱监督图像语义分割方法
CN109543602A (zh) 一种基于多视角图像特征分解的行人再识别方法
CN109785344A (zh) 基于特征重标定的双通路残差网络的遥感图像分割方法
CN107122796A (zh) 一种基于多分支网络融合模型的光学遥感图像分类方法
CN109086660A (zh) 多任务学习深度网络的训练方法、设备及存储介质
CN110084285A (zh) 基于深度学习的鱼类细粒度分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181221

RJ01 Rejection of invention patent application after publication