CN116452904A - 图像美学质量确定方法 - Google Patents
图像美学质量确定方法 Download PDFInfo
- Publication number
- CN116452904A CN116452904A CN202310133872.4A CN202310133872A CN116452904A CN 116452904 A CN116452904 A CN 116452904A CN 202310133872 A CN202310133872 A CN 202310133872A CN 116452904 A CN116452904 A CN 116452904A
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- training
- representing
- aesthetic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 166
- 230000006870 function Effects 0.000 claims abstract description 32
- 238000013528 artificial neural network Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 11
- 230000009467 reduction Effects 0.000 claims description 9
- 230000002776 aggregation Effects 0.000 claims description 8
- 238000004220 aggregation Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000001186 cumulative effect Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 3
- 238000012512 characterization method Methods 0.000 description 9
- 238000013441 quality evaluation Methods 0.000 description 9
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000001303 quality assessment method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本公开的实施例公开了一种图像美学质量确定方法，涉及自然图像美学质量评价的计算机视觉技术领域。对复杂场景中的图像通过索引构建多个参考学习样本，提高模型训练过程对场景可视化美学特征的表征能力，使用图卷积神经网络对多样本构建的图结构进行关系推理学习，提出自适应损失函数AdaEMD保证模型训练过程稳定并减轻数据长尾分布的影响，进一步提高模型的美学质量预测准确性和稳定性，测试结果表明本方法可准确、高效的预测图像美学质量并达到目前方法的最好结果。
Description
技术领域
本公开的实施例涉及图像美学质量确定方法，具体涉及一种基于相似场景样本检索方式，利用图卷积网络学习样本内在关系，并基于自适应调整的损失函数来训练，自动得到图像美学质量分数分布的方法，属于计算机视觉技术领域。
背景技术
图像美学质量评价(Image Aesthetic Quality Assessment)是利用计算机模仿人对视觉美感的主观感受，根据图像的美学质量将其分为美学高质量/质量图片，或预测图像的美学分数和分布。由于图像美学质量评价的主观性和受试者的差异性，对计算机而言，对图像进行准确的美学质量评价，是一个十分有挑战的任务。
图像美学质量评价可以分为两步：先提取图像特征，再根据特征做出预测。传统的人工设计特征，主要对图像清晰性、颜色、亮度、对比度和景深等摄影规则进行建模，以得到对应特征进行美学质量分类。近年来，随着深度学习算法在计算机视觉方面的快速发展，越来越多的研究工作将深度学习应用到图像美学质量领域进行特征提取。但是如何减少模型评价时其中包含的主观性对预测结果的影响，是该任务的最大难点。
发明内容
本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
本发明的目的是为了克服现有图像美学质量评价方法的不足，提出一种多样本联合学习的方式进行图像美学质量评价，能在提高模型预测效果的基础上，减少模型训练时长，并消除模型数据不平衡带来的负面影响。
第一方面，本公开的一些实施例提供了一种图像美学质量确定方法，该方法包括：获取待评价图像；利用残差人工神经网络ResNet-50中的预训练模型ImageNet提取预先构建的多样本索引信息列表中包括的各个多样本图像的2048维特征，以及上述待评价图像的2048维特征，得到多样本图像特征集合和待评价图像特征；利用上述待评价图像特征与上述多样本图像特征集合中各个多样本图像特征之间的欧氏距离，确定与上述待评价图像特征对应的多样本参考图像集合；将上述待评价图像和上述多样本参考图像集合对应的多样本图像特征集合输入至预先训练的图像美学质量确定模型，得到美学分布分数集合，其中，上述美学分布分数集合表征预定数目个评分值对应的美学分布分数；对上述美学分布分数集合进行求美学分布分数处理，得到目标美学分布分数。
可选地，图像美学质量确定模型是通过以下步骤训练得到的：获取训练图像集；构建多样本索引信息列表，其中，上述多样本索引信息列表中的多样本索引信息包括多样本图像，以及与多样本图像对应的美学质量分数；对于上述训练图像集中的每个训练图像，基于上述训练图像和上述多样本索引信息列表，确定与上述训练图像对应的多样本参考图像集合；对上述训练图像集进行数据处理，得到目标维度特征集合；对于上述训练图像集中的每个训练图像，执行以下目标美学表征生成步骤：将上述训练图像对应的多样本参考图像集合构建为图结构{m，A，W}，其中，m表示上述训练图像对应的多样本参考图像集合的数量，A表示图结构中不同节点之间连接的边，W表示连接权重；利用图卷积网络学习上述训练图像对应的多样本参考图像集合的内蕴关系和上述训练图像对应的目标维度特征，以及通过图结构，生成目标美学表征；通过全连接确定美学分布分数；设计用于网络训练的损失函数。
可选地，上述对于上述训练图像集中的每个训练图像，基于上述训练图像和上述多样本索引信息列表，确定与上述训练图像对应的多样本参考图像集合，包括：利用残差人工神经网络ResNet-50中的预训练模型ImageNet提取上述多样本索引信息列表中包括的各个多样本图像的2048维特征，以及上述训练图像的2048维特征，得到多样本图像特征集合和训练图像特征；确定上述训练图像特征与上述多样本图像特征集合中每个多样本图像特征之间的欧氏距离，得到样本欧氏距离集合；对上述样本欧氏距离集合进行排序，得到样本欧氏距离序列；将上述样本欧氏距离序列中的满足预设条件的样本欧氏距离，确定为目标欧氏距离集合；将上述目标欧氏距离集合中各个目标欧氏距离对应的多样本图像，确定为与上述训练图像对应的多样本参考图像集合。
可选地，上述确定上述训练图像特征与上述多样本图像特征集合中每个多样本图像特征之间的欧氏距离，包括：利用以下公式，确定上述训练图像特征与上述多样本图像特征之间的欧氏距离：其中，t表示训练图像的序号，It表征训练图像，i表示多样本参考图像集合中多样本参考图像的序号，Ii表征多样本图像，Sim(It,Ii)表示上述训练图像特征与上述多样本图像特征之间的欧氏距离，ft表示上述训练图像特征，‖ft‖表示归一化后的训练图像特征，fi表示上述多样本图像特征，‖fi‖表示归一化后的多样本图像特征，‖‖2表示求欧式距离。
可选地，在上述利用图卷积网络学习上述训练图像对应的多样本参考图像集合的内蕴关系和上述训练图像对应的目标维度特征中，利用以下公式表示图卷积网络学习更新过程：其中，u表示图卷积网络层序号，Nu表示第u层图卷积网络更新输出的特征，/>表示图结构中不同节点之间连接的边的关系，/>表示第u层的图结构中不同节点之间连接的边的关系，u-1表示第u-1层图卷积网络层，N(u-1)表示第u-1层图卷积网络更新输出的特征，Wu表示第u层的图卷积参数更新，/>表示第u-1层的图结构中不同节点之间连接的边的关系，I表示单位矩阵。
可选地，上述通过全连接确定美学分布分数，包括：利用以下公式，确定美学分布分数：其中，/>表示上述美学分布分数，MLP()表示多层感知机，C[]表示特征指定维度拼接，/>表示将输入特征转化为高维特征，Nu表示第u层图卷积网络更新输出的特征，H()表示特征聚合降维网络MLSP的输出结果，It表征训练图像，θ表示模型的初始参数。
可选地，上述用于网络训练的损失函数利用以下公式表示：其中，t表示训练图像的序号，/>表示实际美学分布分数，Pt表示预测美学分布分数，/>表示用于网络训练的损失函数，EMDt表示求损失值，τ表示难易样本分类阈值，大于上述难易样本分类阈值为难样本，反之为简单样本，ρ表示累积更新系数，υ表示训练轮次，ρv表示第υ轮的累积更新系数，α表示更新系数，/>表示第v轮的损失值，ρ(v-1)表示第v-1轮的累积更新系数。
可选地，上述对上述美学分布分数集合进行求美学分布分数处理，得到目标美学分布分数，包括：其中，μ表示目标美学分布分数，q表示评分值，取值为1～10，/>表示评分值q对应的美学分布分数。
可选地，上述图像美学质量确定模型采用6层图卷积网络，基于全局节点相似性权重，图卷积网络的邻接矩阵的初始化定义利用以下公式表示：其中，i表示多样本参考图像集合中多样本参考图像的序号，t表示训练图像的序号，A(i,t)表示节点i和节点t的初始特征距离，Oi表示上述多样本图像特征的协方差矩阵，/>表示上述多样本图像特征的协方差矩阵的-1/2，Ot表示上述训练图像特征的协方差矩阵，R表示图结构，N表示多样本参考图像集合中多样本参考图像的数量。
可选地，上述对上述训练图像集进行数据处理，得到目标维度特征集合，包括：利用卷积神经网络模型Inception-Resnet v2提取上述训练图像集的高维特征，得到高维特征集合；利用特征聚合降维网络MLSP将高维特征集合中的特征维度降维至6144维，得到目标维度特征集合。
本发明方法，与现有技术相比，具有以下有益效果：本发明设计的多样本联合学习方法有效的消除图像美学质量评价中主观性对结果预测的负面影响，有效提升图像美学质量评价的效果。本发明提出并验证了在图像美学质量评价任务中，对于多样本数据使用图卷积方式学习不同节点之间的关系，利用多个节点的相似特征共同学习来更准确地表征美学特征。本发明提出并验证了在图卷积网络中，使用合理的度量方式定义节点的初始权重的有效性。本发明使用的全局节点关系度量方式，使用特征的协方差进行相关性计算，对多个参考图中和训练图特征相似的样本赋予更大的初始权重，有效提高图卷积模型训练的稳定性。本发明考虑到数据集中图片标注人的主观性所引起的数据分布不平衡问题，基于推土机距离损失函数EMD损失函数提出了自适应推土机距离损失函数(AdaEMD，adaptiveEarch Mover’s Distance)，根据训练的不同阶段，对不同样本计算产生的损失函数大小调整相应的权重。在模型训练的前期，对简易样本，即损失函数小于阈值的样本，有更大的权重，专注学习简易样本产生的损失函数；在模型训练的后期，随着累积更新系数增大，对难样本的权重更大，可有效学习难样本产生的损失函数，从而在整个训练阶段更快的达到稳定，并通过最终实验结果验证该方法能有效提高模型的各项预测指标。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
图1是根据本公开的图像美学质量确定方法的一些实施例的流程图；
图2是根据本公开的图像美学质量确定方法的又一些实施例的流程图；
图3是根据本公开的图像美学质量确定方法的再一些实施例的流程图；
图4是根据本公开的一些实施例的图像美学质量确定方法的参考图示意图；
图5是根据本公开的一些实施例的图像美学质量确定方法的创新点示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本公开。
本实施例为利用检索方法得到的多样本使用图卷积联合训练，并使用自适应损失函数调整训练过程，数据集使用美学图像质量评价数据集作为美学数据集。
图1示出了根据本公开的图像美学质量确定方法的一些实施例的流程图。该图像美学质量确定方法，包括以下步骤：
步骤101，获取待评价图像。
在一些实施例中，图像美学质量确定方法的执行主体可以通过有线连接方式或者无线连接方式获取待评价图像。其中，上述待评价图像可以是用于确定图像美学质量的图像。例如人脸图像、风景图像等等。
步骤102，利用残差人工神经网络ResNet-50中的预训练模型ImageNet提取预先构建的多样本索引信息列表中包括的各个多样本图像的2048维特征，以及上述待评价图像的2048维特征，得到多样本图像特征集合和待评价图像特征。
在一些实施例中，上述执行主体可以利用残差人工神经网络ResNet-50中的预训练模型ImageNet提取预先构建的多样本索引信息列表中包括的各个多样本图像的2048维特征，以及上述待评价图像的2048维特征，得到多样本图像特征集合和待评价图像特征。其中，上述多样本索引信息列表中的多样本索引信息包括多样本图像，以及与多样本图像对应的美学质量分数。
步骤103，利用上述待评价图像特征与上述多样本图像特征集合中各个多样本图像特征之间的欧氏距离，确定与上述待评价图像特征对应的多样本参考图像集合。
在一些实施例中，上述执行主体可以利用上述待评价图像特征与上述多样本图像特征集合中各个多样本图像特征之间的欧氏距离，确定与上述待评价图像特征对应的多样本参考图像集合。
作为示例，利用语义相似性方法为待评价图像构造场景相似的多样本参考图像集合，提高模型对多样本参考图像集合的美学特征表征，上述语义相似性方法操作可以包括：
第一步，利用残差人工神经网络ResNet 50的预训练模型提取待评价图像的2048维特征。
第二步，利用欧式距离计算每个待评价图像和多样本索引信息列表中包括的各个多样本图像特征之间的距离。
第三步，对所得到的特征距离进行排序，并选择距离最小的前m张图作为多样本参考图像集合。其中，m可以是大于0的正整数。可以根据实际需求，确定m的取值。例如，m可以是4。
步骤104，将上述待评价图像和上述多样本参考图像集合对应的多样本图像特征集合输入至预先训练的图像美学质量确定模型，得到美学分布分数集合。
在一些实施例中，上述执行主体可以将上述待评价图像和上述多样本参考图像集合对应的多样本图像特征集合输入至预先训练的图像美学质量确定模型，得到美学分布分数集合，其中，上述美学分布分数集合表征预定数目个评分值对应的美学分布分数。
可选地，图像美学质量确定模型可以通过以下步骤训练得到的：
第一步，获取训练图像集。其中，训练图像可以是人脸图像、风景图像等等。
第二步，构建多样本索引信息列表。其中，上述多样本索引信息列表中的多样本索引信息包括多样本图像，以及与多样本图像对应的美学质量分数。
第三步，对于上述训练图像集中的每个训练图像，基于上述训练图像和上述多样本索引信息列表，确定与上述训练图像对应的多样本参考图像集合。
第四步，对上述训练图像集进行数据处理，得到目标维度特征集合。其中，上述目标维度特征集合可以是6144维的特征集合。
第五步，对于上述训练图像集中的每个训练图像，执行以下目标美学表征生成步骤：
将上述训练图像对应的多样本参考图像集合构建为图结构{m，A，W}。其中，m表示上述训练图像对应的多样本参考图像集合的数量。A表示图结构中不同节点之间连接的边。W表示连接权重。
利用图卷积网络学习上述训练图像对应的多样本参考图像集合的内蕴关系和上述训练图像对应的目标维度特征，以及通过图结构，生成目标美学表征。
通过全连接确定美学分布分数。
第六步，设计用于网络训练的损失函数。
可选地，上述对于上述训练图像集中的每个训练图像，基于上述训练图像和上述多样本索引信息列表，确定与上述训练图像对应的多样本参考图像集合，可以包括以下步骤：
第一步，利用残差人工神经网络ResNet-50中的预训练模型ImageNet提取上述多样本索引信息列表中包括的各个多样本图像的2048维特征，以及上述训练图像的2048维特征，得到多样本图像特征集合和训练图像特征。
第二步，确定上述训练图像特征与上述多样本图像特征集合中每个多样本图像特征之间的欧氏距离，得到样本欧氏距离集合。
第三步，对上述样本欧氏距离集合进行排序，得到样本欧氏距离序列。其中，上述执行主体可以按照从小到大的顺序对上述样本欧氏距离集合进行排序。
第四步，将上述样本欧氏距离序列中的满足预设条件的样本欧氏距离，确定为目标欧氏距离集合。其中，上述预设条件可以是样本欧氏距离为按照从小到大的顺序对上述样本欧氏距离集合进行排序后，所得到的样本欧氏距离序列中的前m个样本欧氏距离。
第五步，将上述目标欧氏距离集合中各个目标欧氏距离对应的多样本图像，确定为与上述训练图像对应的多样本参考图像集合。
可选地，可以通过以下步骤，确定上述训练图像特征与上述多样本图像特征集合中每个多样本图像特征之间的欧氏距离：
利用以下公式，确定上述训练图像特征与上述多样本图像特征之间的欧氏距离：
其中，t表示训练图像的序号。It表征训练图像。i表示多样本参考图像集合中多样本参考图像的序号。Ii表征多样本图像。Sim(It,Ii)表示上述训练图像特征与上述多样本图像特征之间的欧氏距离。ft表示上述训练图像特征。‖ft‖表示归一化后的训练图像特征。fi表示上述多样本图像特征。‖fi‖表示归一化后的多样本图像特征。‖‖2表示求欧式距离。
可选地，在上述利用图卷积网络学习上述训练图像对应的多样本参考图像集合的内蕴关系和上述训练图像对应的目标维度特征中，可以利用以下公式表示图卷积网络学习更新过程：
其中，u表示图卷积网络层序号。Nu表示第u层图卷积网络更新输出的特征。表示图结构中不同节点之间连接的边的关系。/>表示第u层的图结构中不同节点之间连接的边的关系。u-1表示第u-1层图卷积网络层。N(u-1)表示第u-1层图卷积网络更新输出的特征。Wu表示第u层的图卷积参数更新。/>表示第u-1层的图结构中不同节点之间连接的边的关系。I表示单位矩阵。
作为示例，图卷积网络学习更新过程可以通过对上述训练图像对应的多样本参考图像集合构建图结构，进行多层推理，其中，第u层图卷积网络更新输出的特征为为了充分利用训练图像特征和多样本图像特征进行稳定训练，此处使用的残差连接为/>
可选地，可以通过以下步骤，通过全连接确定美学分布分数：
利用以下公式，确定美学分布分数：
其中，表示上述美学分布分数。MLP()表示多层感知机。C[]表示特征指定维度拼接。/>表示将输入特征转化为高维特征。Nu表示第u层图卷积网络更新输出的特征。H()表示特征聚合降维网络MLSP的输出结果。It表征训练图像。θ表示模型的初始参数。
由此，通过利用初始全局节点和局部节点度量关系来定义图卷积邻接矩阵的初始权重和连接关系，便于后续高效、准确的训练。利用图卷积神经网络推理不同节点之间关系，利用多样本的场景视觉相似性得到更加稳定美学表征。
可选地，上述用于网络训练的损失函数可以利用以下公式表示：
其中，t表示训练图像的序号。表示实际美学分布分数。Pt表示预测美学分布分数。/>表示用于网络训练的损失函数。EMDt表示求损失值。τ表示难易样本分类阈值。大于上述难易样本分类阈值为难样本。反之为简单样本。ρ表示累积更新系数。υ表示训练轮次。ρv表示第v轮的累积更新系数。α表示更新系数，用于控制ρ的更新速度。/>表示第v轮的损失值。ρ(v-1)表示第v-1轮的累积更新系数。
采用基于自适应损失函数AdaEMD损失函数作为损失函数，该损失函数根据图像样本训练难易程度给图像增加权重，即给推土机距离损失函数EMD损失函数加上一个比例系数，给定真实值的美学质量分布和预测值的概率密度Pt。对于美学质量评价中存在数据不平衡和困难样本难以准确预测分布结果的问题，使用改进的自适应损失函数AdaEMD损失函数，对困难样本进行权重自动调整，让训练过程中对前期对简易样本权重更大，专注于简单样本的学习；后期对困难样本权重更大，专注困难样本训练。通过对难样本加入权重(ρ+EMDt)并动态调整ρ的取值，达到对训练过程中不同难度样本学习权重调整的目的，从而保证整个模型更快收敛，得到更好的美学质量评价结果。
可选地，上述对上述美学分布分数集合进行求美学分布分数处理，得到目标美学分布分数，可以包括以下步骤：
其中，μ表示目标美学分布分数。q表示评分值。取值为1～10。表示评分值q对应的美学分布分数。
可选地，上述对上述训练图像集进行数据处理，得到目标维度特征集合，可以包括以下步骤：
第一步，利用卷积神经网络模型Inception-Resnet v2提取上述训练图像集的高维特征，得到高维特征集合。
第二步，利用特征聚合降维网络MLSP将高维特征集合中的特征维度降维至6144维，得到目标维度特征集合。
作为示例，在公共数据集上获取训练图像和相应标签，作为训练图像集。首先利用卷积神经网络模型Inception-Resnet v2提取训练图像的高维特征，所提取的高维特征为16928*5*5，这样能够更加精细的表达每张图像的美学表征。之后使用特征聚合降维网络MLSP将特征维度下降至6144维，便于进行高效训练。并将训练图像对应标签按公式1归一化得到图片的真实得分概率分布，本实施例使用美学图像质量评价数据集，其中，美学图像质量评价数据集中图像评分为1至10分，因此得到图像1至10分每一个得分的概率。
由此，可以将训练图像处理成满足网络结构模型要求的大小，同时保证训练的高效性。
可选地，可以利用图卷积网络和邻接矩阵，设计网络模型结构。其中，网络模型结构可以为：邻接矩阵(Adjacency matrix)，主干网络，主干网络后接全局平均池化层(Global Average Pooling)、全连接层和激活层Softmax层。其中，邻接矩阵(Adjacencymatrix)可以定义不同节点的连接关系和初始权重。主干网络可以使用图卷积网络(GraphConvolutional Network)。图卷积网络可以用于模拟人的美学感知，使用多相似场景样本学习以提高美学表征，减小单个样本主观性对结果的影响。
可选地，上述主干网络采用6层图卷积网络层，每一层都和邻接矩阵相乘。
可选地，上述邻接矩阵的初始权重根据面向全局节点初始权重方式计算，面向全局节点初始权重计算方式用于定义全局整体的图节点权重关系。面向全局节点初始权重计算方式可以包括以下步骤：
第一步，确定训练图像特征ft对应的协方差矩阵Oy和多样本图像特征fi对应的协方差矩阵Oi。
第二步，可以利用以下公式，对训练图像特征ft和多样本图像特征fi的全局节点初始权重进行表示：
其中，i表示多样本参考图像集合中多样本参考图像的序号。t表示训练图像的序号。A(i,t)表示节点i和节点t的初始特征距离。Oi表示上述多样本图像特征的协方差矩阵。表示上述多样本图像特征的协方差矩阵的-1/2。Ot表示上述训练图像特征的协方差矩阵。R表示图结构。N表示多样本参考图像集合中多样本参考图像的数量。
第三步，将第二步中得到的节点间相似性应用到训练图像和所有多样本参考图像，得到全局节点初始权重结果。
步骤105，对上述美学分布分数集合进行求美学分布分数处理，得到目标美学分布分数。
在一些实施例中，上述执行主体可以将待评价图像缩放至图像美学质量确定模型要求的大小，然后输入至图像美学质量确定模型，得到该待评价图像的每一个分数段的概率分布，最后，对上述美学分布分数集合进行求美学分布分数处理，得到目标美学分布分数。
图2是根据本公开的图像美学质量确定方法的又一些实施例的流程图。图2中，本公开可以包括两个阶段，两个阶段分别为：图像检索阶段和关系学习阶段。在图像检索阶段，输入训练图像，然后根据输入的训练图像和多样本索引信息列表，确定与输入的训练图像对应的多样本参考图像集合为[参考图1，参考图2，参考图3，参考图4]。在关系学习阶段，对训练图像和参考图1、参考图2、参考图3、参考图4进行特征编码，并利用图卷积神经网络学习参考图1、参考图2、参考图3、参考图4的内蕴关系和训练图像的美学特征。通过上述两个阶段，最终得到图像美学预测分布，作为美学分布分数集合。
图3是根据本公开的图像美学质量确定方法的再一些实施例的流程图。图3是图像检索阶段和关系学习阶段的详细流程。在阶段一：图像检索阶段，利用残差人工神经网络ResNet-50提取预先构建的多样本索引信息列表中包括的各个多样本图像的2048维特征，以及训练图像的2048维特征，得到多样本图像特征集合和训练图像特征。利用相似性度量方法为训练图像构造场景相似的多样本参考图像集合，所构造的多样本参考图像集合为[参考图1，参考图2，参考图3，参考图4]。在阶段二：关系学习阶段，利用卷积神经网络模型Inception-Resnet v2提取训练图像的高维特征，得到高维特征；并利用特征聚合降维网络MLSP将高维特征的特征维度降维至6144维，得到目标维度特征。接着，将[参考图1，参考图2，参考图3，参考图4]构建为图结构，并利用图卷积神经网络学习参考图1、参考图2、参考图3、参考图4的内蕴关系和训练图像的美学特征，以及通过图结构，生成目标美学表征。最后，通过多层感知机MLP确定美学分布分数。参考图1、参考图2、参考图3、参考图4以及预测结果和真实标签分布如图4所示。
图5是根据本公开的一些实施例的图像美学质量确定方法的创新点示意图。图5中，本公开可以包括四个项目流程，四个项目流程分别为：数据索引、特征提取、网络结构和损失函数。其中，数据索引中的创新点为高效检索。特征提取中的创新点为高维提取和降维表征。网络结构中的创新点为图卷积和初始化权重。损失函数中的创新点为自适应损失函数AdaEMD损失函数。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种图像美学质量确定方法，包括：
获取待评价图像；
利用残差人工神经网络ResNet-50中的预训练模型ImageNet提取预先构建的多样本索引信息列表中包括的各个多样本图像的2048维特征，以及所述待评价图像的2048维特征，得到多样本图像特征集合和待评价图像特征；
利用所述待评价图像特征与所述多样本图像特征集合中各个多样本图像特征之间的欧氏距离，确定与所述待评价图像特征对应的多样本参考图像集合；
将所述待评价图像和所述多样本参考图像集合对应的多样本图像特征集合输入至预先训练的图像美学质量确定模型，得到美学分布分数集合，其中，所述美学分布分数集合表征预定数目个评分值对应的美学分布分数；
对所述美学分布分数集合进行求美学分布分数处理，得到目标美学分布分数。
2.根据权利要求1所述的方法，其中，图像美学质量确定模型是通过以下步骤训练得到的：
获取训练图像集；
构建多样本索引信息列表，其中，所述多样本索引信息列表中的多样本索引信息包括多样本图像，以及与多样本图像对应的美学质量分数；
对于所述训练图像集中的每个训练图像，基于所述训练图像和所述多样本索引信息列表，确定与所述训练图像对应的多样本参考图像集合；
对所述训练图像集进行数据处理，得到目标维度特征集合；
对于所述训练图像集中的每个训练图像，执行以下目标美学表征生成步骤：
将所述训练图像对应的多样本参考图像集合构建为图结构{m，A，W}，其中，m表示所述训练图像对应的多样本参考图像集合的数量，A表示图结构中不同节点之间连接的边，W表示连接权重；
利用图卷积神经网络学习所述训练图像对应的多样本参考图像集合的内蕴关系和所述训练图像对应的目标维度特征，以及通过图结构，生成目标美学表征；
通过全连接确定美学分布分数；
设计用于网络训练的损失函数。
3.根据权利要求2所述的方法，其中，所述对于所述训练图像集中的每个训练图像，基于所述训练图像和所述多样本索引信息列表，确定与所述训练图像对应的多样本参考图像集合，包括：
利用残差人工神经网络ResNet-50中的预训练模型ImageNet提取所述多样本索引信息列表中包括的各个多样本图像的2048维特征，以及所述训练图像的2048维特征，得到多样本图像特征集合和训练图像特征；
确定所述训练图像特征与所述多样本图像特征集合中每个多样本图像特征之间的欧氏距离，得到样本欧氏距离集合；
对所述样本欧氏距离集合进行排序，得到样本欧氏距离序列；
将所述样本欧氏距离序列中的满足预设条件的样本欧氏距离，确定为目标欧氏距离集合；
将所述目标欧氏距离集合中各个目标欧氏距离对应的多样本图像，确定为与所述训练图像对应的多样本参考图像集合。
4.根据权利要求3所述的方法，其中，所述确定所述训练图像特征与所述多样本图像特征集合中每个多样本图像特征之间的欧氏距离，包括：
利用以下公式，确定所述训练图像特征与所述多样本图像特征之间的欧氏距离：
其中，t表示训练图像的序号，It表征训练图像，i表示多样本参考图像集合中多样本参考图像的序号，Ii表征多样本图像，Sim(It,Ii)表示所述训练图像特征与所述多样本图像特征之间的欧氏距离，ft表示所述训练图像特征，‖ft‖表示归一化后的训练图像特征，fi表示所述多样本图像特征，‖fi‖表示归一化后的多样本图像特征，‖ ‖2表示求欧式距离。
5.根据权利要求4所述的方法，其中，在所述利用图卷积网络学习所述训练图像对应的多样本参考图像集合的内蕴关系和所述训练图像对应的目标维度特征中，利用以下公式表示图卷积网络学习更新过程：
其中，u表示图卷积网络层序号，Nu表示第u层图卷积网络更新输出的特征，表示图结构中不同节点之间连接的边的关系，/>表示第u层的图结构中不同节点之间连接的边的关系，u-1表示第u-1层图卷积网络层，N(u-1)表示第u-1层图卷积网络更新输出的特征，Wu表示第u层的图卷积参数更新，/>表示第u-1层的图结构中不同节点之间连接的边的关系，I表示单位矩阵。
6.根据权利要求5所述的方法，其中，所述通过全连接确定美学分布分数，包括：
利用以下公式，确定美学分布分数：
其中，表示所述美学分布分数，MLP()表示多层感知机，C[]表示特征指定维度拼接，表示将输入特征转化为高维特征，Nu表示第u层图卷积网络更新输出的特征，H()表示特征聚合降维网络MLSP的输出结果，It表征训练图像，θ表示模型的初始参数。
7.根据权利要求6所述的方法，其中，所述用于网络训练的损失函数利用以下公式表示：
其中，t表示训练图像的序号，表示实际美学分布分数，Pt表示预测美学分布分数，表示用于网络训练的损失函数，EMDt表示求损失值，τ表示难易样本分类阈值，大于所述难易样本分类阈值为难样本，反之为简单样本，ρ表示累积更新系数，v表示训练轮次，ρv表示第v轮的累积更新系数，α表示更新系数，/>表示第v轮的损失值，ρ(v-1)表示第v-1轮的累积更新系数。
8.根据权利要求7所述的方法，其中，所述对所述美学分布分数集合进行求美学分布分数处理，得到目标美学分布分数，包括：
其中，μ表示目标美学分布分数，q表示评分值，取值为1～10，表示评分值q对应的美学分布分数。
9.根据权利要求8所述的方法，其中，所述图像美学质量确定模型采用6层图卷积网络，基于全局节点相似性权重，图卷积网络的邻接矩阵的初始化定义利用以下公式表示：
其中，i表示多样本参考图像集合中多样本参考图像的序号，t表示训练图像的序号，A(i,t)表示节点i和节点t的初始特征距离，Oi表示所述多样本图像特征的协方差矩阵，表示所述多样本图像特征的协方差矩阵的-1/2，Ot表示所述训练图像特征的协方差矩阵，R表示图结构，N表示多样本参考图像集合中多样本参考图像的数量。
10.根据权利要求9所述的方法，其中，所述对所述训练图像集进行数据处理，得到目标维度特征集合，包括：
利用卷积神经网络模型Inception-Resnet v2提取所述训练图像集的高维特征，得到高维特征集合；
利用特征聚合降维网络MLSP将高维特征集合中的特征维度降维至6144维，得到目标维度特征集合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310133872.4A CN116452904B (zh) | 2023-02-10 | 2023-02-10 | 图像美学质量确定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310133872.4A CN116452904B (zh) | 2023-02-10 | 2023-02-10 | 图像美学质量确定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116452904A true CN116452904A (zh) | 2023-07-18 |
| CN116452904B CN116452904B (zh) | 2023-09-15 |
Family
ID=87126225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310133872.4A Active CN116452904B (zh) | 2023-02-10 | 2023-02-10 | 图像美学质量确定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116452904B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116843690A (zh) * | 2023-09-01 | 2023-10-03 | 荣耀终端有限公司 | 图像质量评估方法、设备及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110473164A (zh) * | 2019-05-31 | 2019-11-19 | 北京理工大学 | 一种基于注意力机制的图像美学质量评价方法 |
| US20210182613A1 (en) * | 2017-12-15 | 2021-06-17 | Huawei Technologies Co., Ltd. | Image aesthetic processing method and electronic device |
| CN114612714A (zh) * | 2022-03-08 | 2022-06-10 | 西安电子科技大学 | 基于课程学习的无参考图像质量评价方法 |
-
2023
- 2023-02-10 CN CN202310133872.4A patent/CN116452904B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210182613A1 (en) * | 2017-12-15 | 2021-06-17 | Huawei Technologies Co., Ltd. | Image aesthetic processing method and electronic device |
| CN110473164A (zh) * | 2019-05-31 | 2019-11-19 | 北京理工大学 | 一种基于注意力机制的图像美学质量评价方法 |
| CN114612714A (zh) * | 2022-03-08 | 2022-06-10 | 西安电子科技大学 | 基于课程学习的无参考图像质量评价方法 |
Non-Patent Citations (1)
| Title |
|---|
| 杨文雅;宋广乐;崔超然;尹义龙;: "基于语义感知的图像美学质量评估方法", 计算机应用, no. 11 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116843690A (zh) * | 2023-09-01 | 2023-10-03 | 荣耀终端有限公司 | 图像质量评估方法、设备及系统 |
| CN116843690B (zh) * | 2023-09-01 | 2024-03-01 | 荣耀终端有限公司 | 图像质量评估方法、设备及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116452904B (zh) | 2023-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110334765B (zh) | 基于注意力机制多尺度深度学习的遥感影像分类方法 | |
| CN109147254B (zh) | 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法 | |
| WO2021134871A1 (zh) | 基于局部二值模式和深度学习的合成人脸图像取证方法 | |
| CN110633745B (zh) | 一种基于人工智能的图像分类训练方法、装置及存储介质 | |
| CN110598029A (zh) | 基于注意力转移机制的细粒度图像分类方法 | |
| CN109472284A (zh) | 一种基于无偏嵌入零样本学习的电芯缺陷分类方法 | |
| CN110851645A (zh) | 一种基于深度度量学习下相似性保持的图像检索方法 | |
| CN106022273A (zh) | 基于动态样本选择策略的bp神经网络手写体识别系统 | |
| CN110866134B (zh) | 一种面向图像检索的分布一致性保持度量学习方法 | |
| CN112507901A (zh) | 一种基于伪标签自纠正的无监督行人重识别方法 | |
| CN111783841A (zh) | 基于迁移学习和模型融合的垃圾分类方法、系统及介质 | |
| CN109919252A (zh) | 利用少数标注图像生成分类器的方法 | |
| CN116452904B (zh) | 图像美学质量确定方法 | |
| CN111401105B (zh) | 一种视频表情识别方法、装置及设备 | |
| CN112364747B (zh) | 一种有限样本下的目标检测方法 | |
| CN110135505A (zh) | 图像分类方法、装置、计算机设备及计算机可读存储介质 | |
| CN111833322B (zh) | 一种基于改进YOLOv3的垃圾多目标检测方法 | |
| CN111368900A (zh) | 一种图像目标物识别方法 | |
| CN111126155B (zh) | 一种基于语义约束生成对抗网络的行人再识别方法 | |
| CN109740672B (zh) | 多流特征距离融合系统与融合方法 | |
| CN112148994B (zh) | 信息推送效果评估方法、装置、电子设备及存储介质 | |
| CN107633527A (zh) | 基于全卷积神经网络的目标追踪方法及装置 | |
| CN115457269A (zh) | 一种基于改进DenseNAS的语义分割方法 | |
| Chen | Air quality index forecasting via deep dictionary learning | |
| CN116992944B (zh) | 基于可学习重要性评判标准剪枝的图像处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |