CN109801256B - 一种基于感兴趣区域和全局特征的图像美学质量评估方法 - Google Patents
一种基于感兴趣区域和全局特征的图像美学质量评估方法 Download PDFInfo
- Publication number
- CN109801256B CN109801256B CN201811537590.6A CN201811537590A CN109801256B CN 109801256 B CN109801256 B CN 109801256B CN 201811537590 A CN201811537590 A CN 201811537590A CN 109801256 B CN109801256 B CN 109801256B
- Authority
- CN
- China
- Prior art keywords
- region
- image
- interest
- network
- aesthetic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种基于感兴趣区域和全局特征的图像美学质量评估方法,包括步骤:感兴趣区域提取算法设计;数据集预处理;美学评估网络设计;渐进优化训练;预测输出;本发明的一种基于感兴趣区域和全局特征的图像美学质量评估方法,当用户给定图像后,系统能根据训练好的模型给出具有参考意义的美学评价,其评估结果不仅包含具体的期望分数,而且包含评分分数的分布,在现实场景下有比较强的指导意义。
Description
技术领域
本发明涉及图像处理、计算机视觉领域,具体涉及一种基于感兴趣区域和全局特征的图像美学质量评估方法。
背景技术
美的判断是否存在客观的标准?从感知层面分析,一幅美的图像,不仅依赖于符合特定的美学规则,如三分法则、色彩平衡、景深等,还依赖于图像传达出来的语义内容和情感信息。在计算机视觉领域,图像美学质量评估(Image Aesthetic Quality Assessment)希望通过计算机模拟人类的视觉系统和审美感知,实现对图片美感的自动判别,如判断图像高美感、低美感的分类,或者给出图像美学分数,或给出图像美学评级分布。
图像美学评估方法是一个复杂的任务,目前大部分研究关注于图像全局特征表示,这种方法不区分前景和背景,具有计算速度快,噪声容忍度高等优点。但是这类方法将图像中具有特定语义信息的区域和背景区域等同对待,认为图像是一个不可分割的整体,忽略了不同区域间所含信息量的差异性。
根据摄影学和认知神经科学的研究,人类在评估图像时会聚焦于引起其兴趣的区域,该区域往往包含了一定的语义意义。然而,如何在一张图像中发现感兴趣区域,是一个非常有挑战性的问题。一方面,现有的美学数据集中只有人工标注的美学标签,并没有相关区域级的语义标签。另一方面,由于不同内容图片的差异性极大,目前已有的内容检测算法不能处理多种不同类型的图像。其中,目标检测算法能够检测出图像中的特定类别的物体(一般为常见物体),并给出区域级标注,但是美学数据集中包含大量不常见物体,这些物体无法被检测出;已有的显著性检测算法能够发现出现中的显著性区域并给出显著度映射图,但是无法给出明确的区域级标注,而且当图像中背景较为复杂时,检测效果较差。
在美学质量评估领域,感兴趣区域特征虽然能够针对性地描述图像前景中的语义信息,但是图像全局特征对于图像整体理解也有着不可替代的作用。图像全局特征不仅包括图像的纹理、颜色等低层次信息,还包括图像构图、上下文信息等高层次信息。两种特征的结合能够克服单一特征对图像描述的不足,但是如何设计有效的美学评估模型用来同时学习两种特征,成为亟待解决的问题。
发明内容
有鉴于此,为解决上述现有技术中的问题,本发明提供了一种基于感兴趣区域和全局特征的图像美学质量评估方法,该方法能够对任意输入图片进行美学质量评估,预测一个1到10分的美学评分概率分布,该评分分布与人类评分分布相关性高,能够客观地描述图像美学质量。
为了实现上述目的,本发明的技术方案如下。
一种基于感兴趣区域和全局特征的图像美学质量评估方法,包括以下步骤:
步骤1、感兴趣区域提取算法设计;将原始图像作为全局图像输入;利用目标检测算法提取目标检测框,从全局图像中筛选出目标检测框,得到它们的中心点;利用显著性检测算法提取显著性映射图,对显著性映射图做二值化以分离出连通区域,提取所有连通区域的中心点;以所有提取到的中心点为中心,设置9个不同尺寸的候选区域;计算所有候选区域的区域语义性评分;根据区域语义性分数排序并使用非极大值抑制算法得到最终的感兴趣区域;
步骤2、数据集预处理;对感兴趣区域和全局图像进行归一化、镜像和随机裁剪操作;
步骤3、美学评估网络设计;美学评估网络包括感兴趣区域和全局图像输入、双通道并行卷积网络主体和Earth Mover′s Dis tance-based Loss损失函数;所述双通道并行卷积网络通过提取输入的感兴趣区域和全局图像中的局部特征和全局特征进行融合,再利用Earth Mover′s Dis tance-based Loss损失函数进行进行误差反向传播,最终输出一个美学分数概率分布;
步骤4、渐进优化训练;通过步骤1~步骤3训练获得初始收敛模型f1,利用初始收敛模型f1对训练集进行分类,剔除正确概率大于阈值的样本,得到新的训练集;在新的训练集上微调训练网络,优化模型,得到收敛模型f2;在收敛模型f2基础上,重复上述过程,得到收敛模型f3;将三个模型预测结果加权融合,获得最终的美学质量评估结果;
步骤5、预测输出;将任何目标图像使用已训练好的美学评分模型进行评估,得到相应的1~10分的美学分数概率分布以及最终的数学期望评分。
进一步,所述步骤1中包括以下步骤:
步骤11、通过目标检测算法提取目标检测框,删除面积小于全局图像总面积1/10或者置信度小于50%的检测框,剩余检测框根据置信度进行评分排序,选取置信度最高的前10%检测框的中心点作为第一初始化中心点;
步骤12、通过显著性检测算法提取显著性映射图,计算每张显著性映射图的均值,以此为阈值对显著性映射图做二值化,根据二值化后的显著性映射图计算连通区域,提取所有连通区域的中心点作为第二初始化中心点;
步骤13、合并第一初始化中心点和第二初始化中心点,以此为中心设置9个不同尺寸的候选区域;
步骤14、提取到候选区域后,计算所有候选区域的区域语义性评分,并根据语义性分数排序;
步骤15、用NMS非极大值抑制算法对排序候选区域进行处理,获得分数越高,说明该区域包含的语义信息量越大,得到分数最高的3个候选区域,作为最终的感兴趣区域。
进一步地,所述步骤14中,通过下列公式计算候选区域的语义性评分:
Score=α*Sa+β*Sb,α>0,β>0
其中Iroi为输入的候选区域,Sal(Iroi)为候选区域内所有像素点的显著值之和,Area(Iroi)为候选区域的面积;Sa为显著性/面积比,其值越高,代表局部区域单位面积内的显著性越高,Sb为面积约束项,防止局部区域的面积过小,α、β为调节Sa、Sb两项的参数。
进一步地,所述步骤2中采用大规模美学数据库AVA作为数据集,其中随机选择23万张图片作为训练集,2万张图片作为测试集;所述归一化操作是对感兴趣区域和全局图像进行同样的去均值和除方差处理。。
进一步地,所述步骤3中的双通道并行卷积网络主体选用了经典的卷积神经网络结构VGGNet,并将其在ImageNet上训练得到的网络模型迁移至美学评估网络中,所述双通道并行卷积网络主体包含特征提取网络和特征分类网络,所述特征提取网络是由两个分支组成的双通道网络,每个分支包含13个卷积层、5层池化层和第一全连接层,两个分支的第一全连接层拼接融合,输出至特征分类网络,所述特征分类网络由第二全连接层和第三全连接层组成。
进一步地,所述第一全连接层和第二全连接层中均包含4096个神经元,所述第三全连接层中包含10个神经元,所述第三全连接层经过softmax后得到1*10维的向量,用于表示图像属于1~10分之间任一分数的概率。
进一步地,所述步骤4中的渐进优化训练中,先使用含动量的随机梯度下降算法SGD-with-Momentum对美学评估网络进行训练,训练时特征提取网络中的13个卷积层和第一全连接层使用了迁移过程中学习得到的权值参数,将特征提取网络中的初始学习率设置为0.00005,特征分类网络中的初始学习率设置为0.0001,经过每10次整个数据集上的样本遍历,学习率降低10倍,直到收敛为止,获得收敛模型f1。
进一步地,所述步骤4中的渐进优化训练中,获得收敛模型f1后,用训练好的收敛模型f1对整个训练集进行评估,获得预测分数;计算预测分数与数据集中的真实分数的绝对分数差值,将差值最小的前10%的样本从训练集中删除,用剩下90%的样本对收敛模型f1进行微调,重复该过程两次,分别获得收敛模型f2和收敛模型f3。
与现有技术比较,本发明的一种基于感兴趣区域和全局特征的图像美学质量评估方法,当用户给定图像后,系统能根据训练好的模型给出具有参考意义的美学评价,其评估结果不仅包含具体的期望分数,而且包含评分分数的分布,在现实场景下有比较强的指导意义。
附图说明
图1为本发明的一种基于感兴趣区域和全局特征的图像美学质量评估方法的流程示意图。
图2为本发明的美学评估网络模型结构示意图。
图3为本发明的感兴趣区域提取算法流程示意图。
具体实施方式
下面将结合附图和具体的实施例对本发明的具体实施作进一步说明。需要指出的是,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
如图1所示,为本发明的一种基于感兴趣区域和全局特征的图像美学质量评估方法的流程示意图,包括以下步骤:
(1)感兴趣区域提取算法设计,如图3所示,为本发明的感兴趣区域提取算法流程示意图,包括以下步骤:
(1-1)本文使用了目标检测算法Faster RCNN(Ren S,He K,Girshick R,etal.Faster r-cnn:Towards real-time object detection with region proposalnetworks[C]//Advances in neural information processing systems.2015:91-99.)来获得初始的目标检测框;首先删除明显不合理的检测框,本发明中为面积小于全局图像总面积1/10或置信度低于50%的检测框,然后将剩余的检测框根据置信度进行评分排序,最后选取置信度最高的前10%检测框的中心点作为第一初始化中心点;
(1-2)使用显著区域提取算法Deep ConvNet(aka SalNet)(Pan J,Sayrol E,Giro-i-Nieto X,et a1.Shallow and deep convolutional networks for saliencyprediction[C]//Proceedings of the IEEE Conference on Computer Vision andPattern Recognition.2016:598-606.)来提取图像的显著性映射图,计算每张显著性映射图的均值,以此为阈值对显著性映射图做二值化操作,得到二值化图,计算二值化图中的连通区域,提取所有连通区域的中心点作为第二初始化中心点;
(1-3)合并第一初始化中心点和第二初始化中心点,得到k个中心点,以这些中心点为中心,设置5种面积,3种纵横比的候选区域,5种面积分别为全局图像面积的(0.3,0.4,0.5,0.6,0.7)倍,3种比例为(0.5,1,2)的纵横比,共设置k*5*3个候选区域;
(1-4)通过下列公式计算候选区域的语义性评分,并根据语义性分数排序:
Score=α*Sa+β*Sb,α>0,β>0
其中Iroi为输入的候选区域,Sal(Iroi)为候选区域内所有像素点的显著值之和,Area(Iroi)为候选区域的面积;Sa为显著性/面积比,其值越高,代表局部区域单位面积内的显著性越高,Sb为面积约束项,防止局部区域的面积过小,α、β为调节Sa、Sb两项的参数;取α=1.0,β=2.0;
(1-5)本发明使用两个区域之间的交并比(IoU)来判断两个区域之间的相对位置关系,IoU表示两个区域之间的重合度,IoU值越高,表明两个区域间的重合面积越大,当IoU为0时,两个区域不相交;
IoU的计算公式如下:
其中,Area1和Area2分别表示区域1和区域2的面积,Area1∩Area2表示区域1和区域2的交集的面积,Area1∪Area2表示区域1和区域2的并集的面积;
对得分大于某个阈值的所有候选区域,使用NMS(非极大值抑制)算法,合并相邻的候选区域,得到最终的3个感兴趣区域,每个区域有相应的分数来评估其语义性;NMS算法从语义性得分最高的候选区域开始,分别判断其他区域与该候选区域的重叠度IoU是否大于某个设定的阈值;如果存在与该候选区域的重叠度超过阈值的框,并且舍弃这些框;并标记该分数最高的候选区域为保留候选区域;接着继续从剩下的矩形框所有框中,选择概率最大的候选区域,重复上述步骤;通过NMS算法,可以只剔除IoU高于阈值,即高度重叠的候选区域,而不影响最终的效果;
(2)数据集预处理阶段,包括以下步骤:
(2-1)作为优选的技术方案,选择了大规模美学数据库AVA(N.Murray,L.Marchesotti,F.Perronnin,AVA:a large-scale dataset for aesthetic visualanalysis,in:Proceedings of the IEEE Conference on Computer Vision and PatternRecognition(CVPR),2012,pp.2408-2415.)来作为训练和评估模型的数据集;该数据库来源于图像分享网站Fickle,包含约25W+图片,每张图片有77~220位用户的评分,评分范围为1~10分,即可认为每张图片都拥有一个总体上正确客观的美学分数;
(2-2)原始输入图片会包含很多冗余的信息,为此,我们需要对数据进行去均值除方差的操作,由于后期将使用ImageNet数据集上训练的模型作为初始化权值,因此这里使用ImageNet数据集的均值和方差对训练数据集进行预处理;
(2-3)先对所有图片提取感兴趣区域,并提前存储到内存中;当对网络进行训练和测试时,先裁剪出输入图片的感兴趣区域,然后将感兴趣区域和全局图像均调整到256*256*3的尺寸,然后在小范围内进行随机镜像和随机裁剪至224*224*3,这样确保在保存输入图片信息的前提下,增加图片的多样性,减少网络的过拟合。
(3)美学评估网络设计,包括以下步骤:
(3-1)采用双通道并行卷积网络结构,并选用经典的卷积神经网络结构VGGNet(Simonyan K,Zisserman A.Very deep convolutional networks for large-scaleimage recognition[J].arXiv preprint arXiv:1409.1556,2014.),并将其在ImageNet上训练得到的网络模型迁移到我们的美学评估网络中来,迁移的部分包括13层卷积层、5层池化层以及1层全连接层;两路分支分别学习图像的全局特征和局部特征,并于第一个全连接层后拼接融合,再经过两个全连接层完成特征的提取;
(3-2)在前向传播阶段,两路分支输入分别为全局图像和感兴趣区域图,如图2所示,经过网络中的13个卷积层和1个全连接层后,得到两个4096维的特征,分别代表图片的全局特征和局部特征,通过决策融合,得到最终用于分类的特征,为了减少网络参数,降低网络的过拟合现象,本文中对两个通道的网络进行参数共享训练;
(3-3)网络中最后一层输出层由10个神经元组成,通过softmax映射函数,可以得到图片属于1~10分的概率,并最终得到图片的概率分布,而在反向传播阶段,预测概率分布为,其概率累积函数为,真实分布为y,其概率累积函数为,损失函数的目标是衡量预测分布于真实分布之间的相似性;为此本文选用EMD Loss作为损失函数,EMD Loss函数的计算如下:
(4)渐进优化训练,包括以下步骤:
(4-1)模型初始化:网络中前13个卷积层和1个全连接层设置成VGGNet在Imagenet数据集上训练后得到的参数,最后两层全连接层设置为高斯分布随机初始化;
(4-2)设置训练参数:本文采用带动量的随机梯度下降算法SGD-with-Momentum进行训练,网络中前13个卷积层和1个全连接层的初始学习率设置为0.00005,最后两个全连接层的初始化学习率设置为0.0001,。训练过程中为固定学习率下降,每10个批次,学习率降低10倍;
(4-3)加载训练数据:本文采用共约有25万张图像的大规模美学数据集AVA对网络模型进行训练,其中随机选择23万张图片作为训练集,2万张图片作为测试集;
所有样本进行如下操作:
(1)提取感兴趣区域并裁剪出来;
(2)去均值;
(3)去均值除方差归一化;
(4)设置图片大小为256*256;
(5)对(4)中得到的图片进行224*224的随机裁剪;
(4-4)采用随机梯度下降算法,对图2所示的深度卷积神经网络进行迭代训练,直到网络收敛,可以得到一个初始的判别模型,得到收敛模型f1;
(4-5)利用训练好的收敛模型f1对训练集进行评估,根据损失值对图片进行排序,分离出easy example,并将其从训练集中删除,删除比例可选,本文中删除比例为10%,将剩余图片作为训练集,再次微调模型直到收敛,得到收敛模型f2;
(4-6)利用训练好的收敛模型f2,再次重复(4-5)步骤,得到收敛模型f3;最终预测结果取三个模型融合后的结果。
(5)预测输出,通过学习图像美学评分的分布函数其中X为为输入图像,Y={yi,i∈[1,10]}为图像的真实评分分布,是一个1*10维的向量,yi代表该图片属于第i分的概率。则对于任意一张输入图片X,可以得到预测的评分分布/>
通过分布P计算平均分Escore的计算公式如下:
其中,pi为输入属于第i类的概率。
综上所述,本发明的一种基于感兴趣区域和全局特征的图像美学质量评估方法,当用户给定图像后,系统能根据训练好的模型给出具有参考意义的美学评价,其评估结果不仅包含具体的期望分数,而且包含评分分数的分布,在现实场景下有比较强的指导意义。
Claims (7)
1.一种基于感兴趣区域和全局特征的图像美学质量评估方法,其特征在于,包括以下步骤:
步骤1、感兴趣区域提取算法设计;将原始图像作为全局图像输入;利用目标检测算法提取目标检测框,从全局图像中筛选出目标检测框,得到它们的中心点;利用显著性检测算法提取显著性映射图,对显著性映射图做二值化以分离出连通区域,提取所有连通区域的中心点;以所有提取到的中心点为中心,设置9个不同尺寸的候选区域;计算所有候选区域的区域语义性评分;根据区域语义性分数排序并使用非极大值抑制算法得到最终的感兴趣区域;
步骤2、数据集预处理;对感兴趣区域和全局图像进行归一化、镜像和随机裁剪操作;
步骤3、美学评估网络设计;美学评估网络包括感兴趣区域和全局图像输入、双通道并行卷积网络主体和Earth Mover's Dis tance-based Loss损失函数;所述双通道并行卷积网络通过提取输入的感兴趣区域和全局图像中的局部特征和全局特征进行融合,再利用Earth Mover's Dis tance-based Loss损失函数进行误差反向传播,最终输出一个美学分数概率分布;
步骤4、渐进优化训练;通过步骤1~步骤3训练获得初始收敛模型f1,利用初始收敛模型f1对训练集进行分类,剔除正确概率大于阈值的样本,得到新的训练集;在新的训练集上微调训练网络,优化模型,得到收敛模型f2;在收敛模型f2基础上,重复上述过程,得到收敛模型f3;将三个模型预测结果加权融合,获得最终的美学质量评估结果;
步骤5、预测输出;将任何目标图像使用已训练好的美学评分模型进行评估,得到相应的1~10分的美学分数概率分布以及最终的数学期望评分;
其中,步骤3所述双通道并行卷积网络主体选用了经典的卷积神经网络结构VGGNet,并将其在ImageNet上训练得到的网络模型迁移至美学评估网络中,所述双通道并行卷积网络主体包含特征提取网络和特征分类网络,所述特征提取网络是由两个分支组成的双通道网络,每个分支包含13个卷积层、5层池化层和第一全连接层,两个分支的第一全连接层拼接融合,输出至特征分类网络,所述特征分类网络由第二全连接层和第三全连接层组成。
2.根据权利要求1所述的一种基于感兴趣区域和全局特征的图像美学质量评估方法,其特征在于,所述步骤1中包括以下步骤:
步骤11、通过目标检测算法提取目标检测框,删除面积小于全局图像总面积1/10或者置信度小于50%的检测框,剩余检测框根据置信度进行评分排序,选取置信度最高的前10%检测框的中心点作为第一初始化中心点;
步骤12、通过显著性检测算法提取显著性映射图,计算每张显著性映射图的均值,以此为阈值对显著性映射图做二值化,根据二值化后的显著性映射图计算连通区域,提取所有连通区域的中心点作为第二初始化中心点;
步骤13、合并第一初始化中心点和第二初始化中心点,以此为中心设置9个不同尺寸的候选区域;
步骤14、提取到候选区域后,计算所有候选区域的区域语义性评分,并根据语义性分数排序;
步骤15、用NMS非极大值抑制算法对排序候选区域进行处理,获得分数越高,说明该区域包含的语义信息量越大,得到分数最高的3个候选区域,作为最终的感兴趣区域。
4.根据权利要求1所述的一种基于感兴趣区域和全局特征的图像美学质量评估方法,其特征在于:所述步骤2中采用大规模美学数据库AVA作为数据集,其中随机选择23万张图片作为训练集,2万张图片作为测试集;所述归一化操作是对感兴趣区域和全局图像进行同样的去均值和除方差处理。
5.根据权利要求1所述的一种基于感兴趣区域和全局特征的图像美学质量评估方法,其特征在于:所述第一全连接层和第二全连接层中均包含4096个神经元,所述第三全连接层中包含10个神经元,所述第三全连接层经过softmax后得到1*10维的向量,用于表示图像属于1~10分之间任一分数的概率。
6.根据权利要求1所述的一种基于感兴趣区域和全局特征的图像美学质量评估方法,其特征在于:所述步骤4中的渐进优化训练中,先使用含动量的随机梯度下降算法SGD-with-Momentum对美学评估网络进行训练,训练时特征提取网络中的13个卷积层和第一全连接层使用了迁移过程中学习得到的权值参数,将特征提取网络中的初始学习率设置为0.00005,特征分类网络中的初始学习率设置为0.0001,经过每10次整个数据集上的样本遍历,学习率降低10倍,直到收敛为止,获得收敛模型f1。
7.根据权利要求1所述的一种基于感兴趣区域和全局特征的图像美学质量评估方法,其特征在于:所述步骤4中的渐进优化训练中,获得收敛模型f1后,用训练好的收敛模型f1对整个训练集进行评估,获得预测分数;计算预测分数与数据集中的真实分数的绝对分数差值,将差值最小的前10%的样本从训练集中删除,用剩下90%的样本对收敛模型f1进行微调,重复该过程两次,分别获得收敛模型f2和收敛模型f3。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811537590.6A CN109801256B (zh) | 2018-12-15 | 2018-12-15 | 一种基于感兴趣区域和全局特征的图像美学质量评估方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811537590.6A CN109801256B (zh) | 2018-12-15 | 2018-12-15 | 一种基于感兴趣区域和全局特征的图像美学质量评估方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109801256A CN109801256A (zh) | 2019-05-24 |
CN109801256B true CN109801256B (zh) | 2023-05-26 |
Family
ID=66556873
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811537590.6A Active CN109801256B (zh) | 2018-12-15 | 2018-12-15 | 一种基于感兴趣区域和全局特征的图像美学质量评估方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109801256B (zh) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110473164B (zh) * | 2019-05-31 | 2021-10-15 | 北京理工大学 | 一种基于注意力机制的图像美学质量评价方法 |
CN110223292B (zh) * | 2019-06-20 | 2022-01-25 | 厦门美图之家科技有限公司 | 图像评估方法、装置及计算机可读存储介质 |
CN110909724B (zh) * | 2019-10-08 | 2023-11-28 | 华北电力大学 | 一种多目标图像的缩略图生成方法 |
CN110827261B (zh) * | 2019-11-05 | 2022-12-06 | 泰康保险集团股份有限公司 | 图像质量检测方法及装置、存储介质及电子设备 |
WO2021092808A1 (zh) * | 2019-11-13 | 2021-05-20 | 深圳市欢太科技有限公司 | 网络模型的训练方法、图像的处理方法、装置及电子设备 |
CN110909193B (zh) * | 2019-11-22 | 2024-01-05 | 携程计算机技术(上海)有限公司 | 图像排序展示方法、系统、设备和存储介质 |
CN110910415A (zh) * | 2019-11-28 | 2020-03-24 | 重庆中星微人工智能芯片技术有限公司 | 抛物检测方法、装置、服务器和计算机可读介质 |
JP7188373B2 (ja) * | 2019-12-11 | 2022-12-13 | トヨタ自動車株式会社 | データ解析システム及びデータ解析方法 |
CN111179227B (zh) * | 2019-12-16 | 2022-04-05 | 西北工业大学 | 基于辅助诊断和主观美学的乳腺超声图像质量评价方法 |
CN111199541A (zh) * | 2019-12-27 | 2020-05-26 | Oppo广东移动通信有限公司 | 图像质量评价方法、装置、电子设备及存储介质 |
CN111161238A (zh) * | 2019-12-27 | 2020-05-15 | Oppo广东移动通信有限公司 | 图像质量评价方法及装置、电子设备、存储介质 |
CN111144497B (zh) * | 2019-12-28 | 2023-04-28 | 天津大学 | 基于美学分析的多任务深度网络下的图像显著性预测方法 |
CN111192258A (zh) * | 2020-01-02 | 2020-05-22 | 广州大学 | 一种图像质量评估方法及装置 |
CN111369124A (zh) * | 2020-02-27 | 2020-07-03 | 西安交通大学 | 一种基于自生成全局特征和注意力的图像美学预测方法 |
CN111507941B (zh) * | 2020-03-24 | 2023-06-02 | 杭州电子科技大学 | 一种用于美学质量评价的构图表征学习方法 |
CN111709906A (zh) * | 2020-04-13 | 2020-09-25 | 北京深睿博联科技有限责任公司 | 医学图像的质量评估方法和装置 |
CN113627419A (zh) * | 2020-05-08 | 2021-11-09 | 百度在线网络技术(北京)有限公司 | 兴趣区域评估方法、装置、设备和介质 |
CN111862061A (zh) * | 2020-07-27 | 2020-10-30 | 携程旅游网络技术(上海)有限公司 | 图片美学质量的评估方法、系统、设备和介质 |
CN111950655B (zh) * | 2020-08-25 | 2022-06-14 | 福州大学 | 一种基于多领域知识驱动的图像美学质量评价方法 |
CN114529495A (zh) * | 2020-11-09 | 2022-05-24 | 北京小米移动软件有限公司 | 图像处理方法、装置以及存储介质 |
CN112489093A (zh) * | 2020-11-19 | 2021-03-12 | 哈尔滨工程大学 | 声呐图像配准方法、装置、终端设备以及存储介质 |
CN113298763B (zh) * | 2021-05-09 | 2022-08-19 | 复旦大学 | 一种基于显著性窗口策略的图像质量评估方法 |
CN113255685B (zh) * | 2021-07-13 | 2021-10-01 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置、计算机设备以及存储介质 |
CN113672731B (zh) * | 2021-08-02 | 2024-02-23 | 北京中科闻歌科技股份有限公司 | 基于领域信息的情感分析方法、装置、设备及存储介质 |
CN113838017A (zh) * | 2021-09-16 | 2021-12-24 | 杭州逗酷软件科技有限公司 | 图像美学质量评价方法、装置、存储介质及电子设备 |
CN114170518A (zh) * | 2021-12-17 | 2022-03-11 | 青岛农业大学 | 一种基于计算机视觉的茶树冻害评估方法及系统 |
CN116567369A (zh) * | 2022-01-27 | 2023-08-08 | 腾讯科技(深圳)有限公司 | 一种视频处理方法、装置、设备及存储介质 |
CN114548382B (zh) * | 2022-04-25 | 2022-07-15 | 腾讯科技(深圳)有限公司 | 迁移训练方法、装置、设备、存储介质及程序产品 |
CN114842000A (zh) * | 2022-07-01 | 2022-08-02 | 杭州同花顺数据开发有限公司 | 一种内窥镜图像质量评估方法和系统 |
CN114863138B (zh) * | 2022-07-08 | 2022-09-06 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、存储介质及设备 |
CN115601772B (zh) * | 2022-12-15 | 2023-05-02 | 南京邮电大学 | 一种基于多模态学习的美学质量评价模型和方法 |
CN116664873B (zh) * | 2023-07-27 | 2024-04-26 | 腾讯科技(深圳)有限公司 | 图像信息处理方法、装置及存储介质 |
CN117315438B (zh) * | 2023-09-25 | 2024-06-18 | 北京邮电大学 | 基于兴趣点的图像色彩美学评估方法、装置及设备 |
CN117095006B (zh) * | 2023-10-20 | 2024-01-05 | 北京邮电大学 | 图像美学评估方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103218619A (zh) * | 2013-03-15 | 2013-07-24 | 华南理工大学 | 一种图像美学评价方法 |
CN106651830A (zh) * | 2016-09-28 | 2017-05-10 | 华南理工大学 | 一种基于并行卷积神经网络的图像质量测试方法 |
CN108449596A (zh) * | 2018-04-17 | 2018-08-24 | 福州大学 | 一种融合美学和舒适度的3d立体图像质量评估方法 |
-
2018
- 2018-12-15 CN CN201811537590.6A patent/CN109801256B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103218619A (zh) * | 2013-03-15 | 2013-07-24 | 华南理工大学 | 一种图像美学评价方法 |
CN106651830A (zh) * | 2016-09-28 | 2017-05-10 | 华南理工大学 | 一种基于并行卷积神经网络的图像质量测试方法 |
CN108449596A (zh) * | 2018-04-17 | 2018-08-24 | 福州大学 | 一种融合美学和舒适度的3d立体图像质量评估方法 |
Non-Patent Citations (2)
Title |
---|
An efficient image aesthetic analysis system using Hadoop;Weining Wang,et al;《Signal Processing: Image Communication 39 (2015) 》;20150728;全文 * |
Synthesized computational aesthetic evaluation of photos;Weining Wang,et al;《Neurocomputing 172 (2016)》;20131126;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109801256A (zh) | 2019-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109801256B (zh) | 一种基于感兴趣区域和全局特征的图像美学质量评估方法 | |
WO2020224424A1 (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
CN108898137B (zh) | 一种基于深度神经网络的自然图像字符识别方法及系统 | |
CN108830188B (zh) | 基于深度学习的车辆检测方法 | |
WO2019140767A1 (zh) | 安检识别系统及其控制方法 | |
CN108921083B (zh) | 基于深度学习目标检测的非法流动摊贩识别方法 | |
CN107016413B (zh) | 一种基于深度学习算法的烟叶在线分级方法 | |
CN103984943B (zh) | 一种基于贝叶斯概率框架的场景文本识别方法 | |
US11308714B1 (en) | Artificial intelligence system for identifying and assessing attributes of a property shown in aerial imagery | |
CN111291604A (zh) | 面部属性识别方法、装置、存储介质及处理器 | |
CN111160249A (zh) | 基于跨尺度特征融合的光学遥感图像多类目标检测方法 | |
CN108305260B (zh) | 一种图像中角点的检测方法、装置及设备 | |
CN104537647A (zh) | 一种目标检测方法及装置 | |
CN108537751B (zh) | 一种基于径向基神经网络的甲状腺超声图像自动分割方法 | |
CN110781829A (zh) | 一种轻量级深度学习的智慧营业厅人脸识别方法 | |
CN109903339B (zh) | 一种基于多维融合特征的视频群体人物定位检测方法 | |
CN112861970B (zh) | 一种基于特征融合的细粒度图像分类方法 | |
CN108846416A (zh) | 显著图像的提取处理方法及系统 | |
Xing et al. | Traffic sign recognition using guided image filtering | |
Li et al. | A review of deep learning methods for pixel-level crack detection | |
CN110516512B (zh) | 行人属性分析模型的训练方法、行人属性识别方法及装置 | |
CN111401343A (zh) | 识别图像中人的属性的方法、识别模型的训练方法和装置 | |
Rath et al. | Analysis of deep learning methods for detection of bird species | |
CN110097603B (zh) | 一种时尚图像主色调解析方法 | |
CN109859199B (zh) | 一种sd-oct图像的淡水无核珍珠质量检测的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |