CN107610123A - 一种基于深度卷积神经网络的图像美学质量评价方法 - Google Patents
一种基于深度卷积神经网络的图像美学质量评价方法 Download PDFInfo
- Publication number
- CN107610123A CN107610123A CN201710939293.3A CN201710939293A CN107610123A CN 107610123 A CN107610123 A CN 107610123A CN 201710939293 A CN201710939293 A CN 201710939293A CN 107610123 A CN107610123 A CN 107610123A
- Authority
- CN
- China
- Prior art keywords
- image
- mrow
- model
- msub
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 23
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 21
- 238000011156 evaluation Methods 0.000 claims abstract description 16
- 238000010801 machine learning Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 28
- 238000012360 testing method Methods 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000003062 neural network model Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000007935 neutral effect Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 210000004218 nerve net Anatomy 0.000 claims 1
- 230000001537 neural effect Effects 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 6
- 238000004088 simulation Methods 0.000 abstract description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 2
- 238000013480 data collection Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000023886 lateral inhibition Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提出了一种基于深度卷积神经网络的图像美学质量评价方法。利用机器学习的方法，使用大量的照片数据集训练出一个深度卷积神经网络模型，此模型能够利用卷积操作有效的提取出图像的美学特征，在网络模型的前几个层次对图像的基本特征进行提取，在后几个层次提取图像的深层次特征，最后网络把这些特征通过卷积运算更新模型的权重值，此模型能够自动的根据图像特征模拟输出图像打分的分布。当输入一个图像的时候，此回归模型综合考虑图像的这两种特征，对图像的美学质量做出评价结果。该方法很容易通过软件实现，本发明可广泛应用推广到计算机视觉、图像评价等中。
Description
技术领域
本发明属于图像分析、计算机视觉领域，特别是图像美学质量评价，具体地说是基于深度卷积神经网络的图像美学质量评价方法。
背景技术
随着照相机、摄像机、深度摄像机、智能手机快速普及，图像、视频、3D等可视内容数据与日俱增，可视内容感知理解已经成为可视计算、计算机视觉、计算摄像学等科学研究领域及其交叉方向国际前沿的研究方向。其中图像美学质量评价(Image AestheticQuality Assessment)是近期可视内容感知理解方向中的研究热点。
图像美学质量评价(Image Aesthetic Quality Assessment)旨在利用计算机模拟人类对美的感知与理解，自动评价图像的“美感”，即图像美学质量的客观化评价，主要针对拍摄或绘画的图像在构图、颜色、光影、景深、虚实等美学因素方面的效果形成的美感刺激。
随着国家大力推动社会主义文化建设，提高国家文化软实力，发挥文化引领风尚、教育人民、服务社会、推动发展，人们对美的追求和要求也越来越高。审美是人类与生俱来的智能活动和需求，相对于“教会”计算机识别物体、场景、事件等确定性识别类基本技能，如何让计算机也能感知“美”，进而能够自动发现“美”和生成“美”是人工智能、可视计算、计算机视觉、计算摄像学、计算美学、心理学等交叉研究方向的新挑战。
传统的图像质量评价旨在利用计算机模拟人类视觉系统自动评价图像的失真程度，主要是针对图像在采集、压缩、处理、传输及显示等过程中产生图像质量下降情况，通常包括成像条件差而引起的失真、有损压缩引起的失真、噪声、图像传输过程中受信道衰减影响引起的失真等。虽然目的都是获得与主观评价结果相一致的客观评价值，但图像美学质量评价旨在利用计算机模拟人类对美的感知与理解，让这种美感思维体现在计算机中，使计算机能够分别出高质量图像或者低质量图像。
发明内容
本发明的技术解决问题：克服现有技术中大部分只关注单纯的好坏分类以及简单分数，很少预测图片的打分分布，提供一种基于深度卷积神经网络的图像美学质量评价方法，卷积神经网络以其局部权值共享的特殊结构在图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，从而能够有效的模拟出人类对美学的感知。
本发明采用的技术方案为：一种基于深度卷积神经网络的图像美学质量评价方法，构建符合人类对美学的感知表示模型，利用机器学习的方法自动完成对图像的美学质量评价，其特征在于实现步骤：
(1)图像美学质量评价有一个专门的数据集，是从www.dpchallenge.com网站获取到编号靠前的25万张照片，其中每张照片都有一个人工评分结果，范围在1分到10分之间，把其中23万张照片当做训练集，随机抽取2万张照片当做测试集；
(2)对于训练集和测试集中的样本图像进行预处理，首先根据人工评分的结果，如果分数大于5分，则就把这张图像标记为高质量图像，反之，则标记为低质量图像。另外我们还要对原始图像进行大小变换和图像归一化，得到一个图像像素大小都一致的，有回归标签的训练集和测试集；
(3)根据图像的特征分布以及人对图像美学质量评价的标准，设计一个深度卷积神经网络模型，首先利用训练集中的样本图像进行学习训练，通过机器学习方法训练好这个卷积网络模型，实验证明这个模型能够有效的获取图像特征并且能模拟对图像进行打分；
(4)模型的测试和预测，首先对测试集中的样本图像调用步骤(2)获取的预处理后的图像，然后调用步骤(3)中得到的图像美学质量评价模型，通过模型输出的直方图分布数值，和人工评分的直方图结果进行对比测试检验模型准确率，同样可以对图像进行美学质量评价预测。
其中，步骤(1)所述数据集采集方法采取以下步骤：
(11)从www.dpchallenge.com网站获取到编号靠前的25万张照片，并且记录每张照片的得分分布；
(12)将25万张照片按照编号大小的23万张当做训练集，随机抽取2万张当做测试集。
其中，步骤(2)所述图像预处理方法采取以下步骤：
(21)将训练集和测试集中的样本图像根据评论人数和分值的投票数，计算出每张图片的直方图分布；
(22)将训练集中原始图像进行大小变换，将原始图像的像素大小变换到一个固定尺寸，这个尺寸和设计的深度卷积神经网络所要求的输入大小一致；
(23)将训练集中原始图像归一化，首先统计出训练集中的样本图像的均值，然后对每一个样本图像做去均值操作。
其中，步骤(3)所述深度卷积神经网络结构采取以下步骤：
(31)深度卷积神经网络模型包含七层有参数的网络层和四层没有参数的网络层，其中第一部分的预处理层是对图像进行卷积操作，分别使用了7*7,1*1和3*3的卷积核对图像进行处理；
(32)从第二层到第八层中，首先第二层采用最大值池化策略对网络规模进行控制，第三层与第四层是通过由卷积核组成密集成分来近似最优的局部稀疏结构，从而提升网络的计算能力，第五层与第二层功能相同，第六层与三四层的结构相同，最后的第八层采取平均池化操作再一次缩小网络规模；
(33)将上过程依次完成，在第八层进行一次1*1的卷积操作，后面连接一个全连接层，在第九层后面再接上第十层的一个全连接层的变换，神经网络最后一层，即第十一层的激活函数采用sigmoid函数；
(34)最后对最终结果进行误差计算，误差计算采用JSD误差计算公式进行计算，其中Y1代表真实打分的直方图，Y2代表预测产生的直方图，Z在这里代表分数上限10，i代表具体每个打分，具体公式如下：
(35)整个训练过程采用随机梯度下降法(SGD)寻找最优参数，训练神经网络模型，最终得到神经网络模型。
其中，步骤(4)所述模型的测试和预测采取以下步骤：
(41)将测试集中的样本图像进行预处理得到一个新的图像A；
(42)将图像A放到训练好的神经网络模型中，模型通过计算输出图像A的打分直方图数值，用模型输出结果和图像的真实分布结果作对比，从而测试模型的准确率，并用此模型预测一个新图像的美学质量评价图像的整体分数分布情况。
使用者提供目标图像，系统自动的调用图像美学质量评价神经网络模型，进行图像分布打分，给出图像打分的直方图。
本发明与现有的技术相比，其优势在于：
(1)方法提出了一种图像美学质量评价的具体可行的方法；
(2)方法提出的卷积网络模型，利用卷积特性，在网络模型的前几个层次对图像的基本特征进行提取，在后几个层次提取图像的深层次特征，最后网络把这些特征通过卷积运算更新模型的权重值，此模型能够自动的根据图像特征模拟输出图像打分的分布。给出了更合理的图像美学质量评价标准；
(3)方法简单有效，采用深度卷积神经网络，使图像的特征提取不需要人工干预，网络可以自动学习出图像的特征，避免了特征提取和回归过程中数据重建的复杂度。
附图说明
图1是本发明方法流程图；
图2是网络子模块详细结构图；
图3是网络模型整体结构图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明具体实现如下：
数据集采集过程：
图像美学质量评价有一个专门的数据集，是从www.dpchallenge.com网站获取到编号靠前的25万张照片，其中每张照片都有一个得分结果，范围在1分到10分之间，把其中23万张照片当做训练集，随机抽取2万张照片当做测试集。
图像预处理过程：
图像预处理过程主要包括图像的大小归一化和图像去均值。
首先训练集和测试集中的样本图像按照人工评分大小，用标签记录每张图片的分数分布情况。
由于深度卷积神经网络对输入图像的大小有一定的限制，因此根据设计的卷积神经网络对输入的大小要求，对初始图像做大小归一化处理(resize)。
利用机器学习的方法训练模型，需要对数据做去均值操作，这样可以保证训练集中的图像数据都分布在均值附近。
模型设计和训练过程：
卷积神经网络能够很好的提取出图像的特征，因此基于GoogLeNet的网络思想，提出了一种新的卷积神经网络结构，此模型能够利用卷积操作有效的提取出图像的美学特征，在网络模型的前几个层次对图像的基本特征进行提取，在后几个层次提取图像的深层次特征，最后网络把这些特征通过卷积运算更新模型的权重值，这些特征包含图像的颜色特征，纹理特征，形状特征等，这样模型就能够很好的提取出图像总体特征，然后就能很好的对图像美学质量做出评价。神经网络的最后一层激活函数采用sigmoid，对结果通过JSD误差计算公式进行误差计算，整个训练采用SGD随机梯度下降法寻找最优参数，训练回归模型。
图2是网络子模块详细结构图。其中左边的图像预处理阶段(图2中Pretreatment部分)分为以下几个步骤实现。
(1)图像经过步骤(22)的归一化处理之后，图像大小变为了256*256*3。其中256*256表示图像的分辨率大小，3表示图像有3个色彩通道，即RGB三通道。将固定大小的图像输入到预处理的layer层中，该层主要负责数据初始化，经过64个大小为7*7的不同卷积核，对应图2中Conv层，步长stride＝2，处理图像得到了114*114*64规模的图像特征，即64个大小为114*114的特征图。
(2)第一步处理的结果再经过池化操作，对应图2中的MaxPool层，其中池化大小是3*3，步长是2，这样处理之后就得到57*57*64的特征图。后面接了一个LRN层，也就是图2中的LocalRespNorm层，特征图的大小和数量没有发生改变，只是将输入的局部区域进行归一化，达到“侧抑制”的效果。
(3)第二步处理的结果再经过两个卷积操作，即对应图2上方的两个Conv层，卷积核的大小分别为1*1和3*3，个数都是192个，经过处理后就得到57*57*192的特征图。后面再紧接着一个LRN层，即图2左图中倒数第二层，起到局部区域归一化的作用，这样得到的结果就是预处理阶段得到的图像特征图，输出至最后的layer层中。预处理阶段包含了3层有参数的网络层。
图2的右边部分是一个Inception模块结构(图2中右侧Inception Module部分)，包含两层有参数的网络结构。其设计思想如下：
(1)采用不同大小的卷积核意味着不同大小的感受野，最后拼接意味着不同尺度特征的融合，图2中的很多Conv层就负责这部分工作，Previous layer层里面的之前网络的输出结果通过不同尺度的卷积操作，最后由Filter concatenation层负责融合不同尺度的特征。
(2)之所以卷积核大小采用1*1、3*3和5*5，主要是为了方便对齐。设定卷积步长stride＝1之后，只要分别设定pad＝0、1、2，那么卷积之后便可以得到相同维度的特征，然后这些特征就可以直接拼接在一起了。
(3)网络越到后面，特征越抽象，而且每个特征所涉及的感受野也更大了，因此随着层数的增加，3x3和5x5卷积的比例也要增加。
图3是网络模型整体结构图。其设计思想和实现步骤如下：
(1)网络的输入是一个256*256*3大小的图像，在图3中代表input层，网络的输出即为图片的打分分布直方图，对应图3中最后的Distribution层，通过直方图信息，就可以对图像的各方面美学信息进行综合的评价。
(2)网络输入一个256*256*3大小的图像后，首先经过上面描述的预处理阶段(图3中的Pretreatment)，共经过三层卷积核大小分别为7*7,1*1和3*3的卷积层，得到图像的一些特征，大小是57*57*192，表示得到了192个分辨率大小是57*57的特征图。将这些特征图首先经过一个池化操作，对应图3中的MaxPool层，策略是最大值降采样，池化大小是3*3，步长是2，得到了28*28*192的特征图。再将这些特征图经过两个Inception模块处理，就是网络的第三层和第四层的Inception Module层，就得到了图像的一些特征，由于这些特征是在网络的前面几层提取出来的，卷积核能感知的区域相对局部偏小，我们就把这一步提取出的特征称之为图像的局部特征。
(3)将步骤(2)得到的局部特征再经过两个Inception模块处理，就是网络的第六层到第九层，就又得到了两部分图像的特征图。由于这些特征图是在网络的后面提取到的，卷积核的积累能够使其感知到图像更大的区域。其中最后一个Inception模块处理得到的特征图还会经过一个大小是5*5，步长是3的池化操作以及网络的第八层即一个卷积核是1*1，步长是1的卷积操作层(对应图3中的AveragePool层和其后的Conv层)，策略为平均值降采样。这样经过多层网络的处理，得到的图像特征更加全面。
(4)将得到的特征融合在一起，通过一个全连接层，即图3中的倒数第二个FC层，得到一个特征集合，大小是1024*1*1。将这个特征经过网络的第十层即一个全连接层(FC层)，就是后面一层的每一个神经元和前面一层的每一个神经元都有连接。经过FC层的变化，神经网络最后一层即第十一层激活函数采用sigmoid函数，即图中Sigmoid层，对结果根据JSD误差计算公式进行误差计算。
整个网络的训练过程采用随机梯度下降法(SGD)寻找最优参数，调整网络每一层的参数，训练回归模型。
总之，本发明中提出的基于深度卷积神经网络的图像美学质量评价方法能够很好的模拟人类对美学的认知，自动对图像美学质量做出评价。本发明首次将图像的分布作为评价标准，对图像美学质量进行全方位评价。通过实验显示出本发明提出的方法能够很好的对图像美学质量做出评价，本发明可广泛应用计算机视觉和图像美学分析等中。
以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变换，均应属于本发明的保护范围。
Claims (4)
1.一种基于深度卷积神经网络的图像美学质量评价方法，其特征在于：实现步骤：
(1)对于训练集中的样本图像进行预处理，预处理包括图像大小变换和图像归一化，得到一个图像像素大小一致的，有回归标签的训练集和测试集；
(2)根据图像的特征分布以及人对图像美学质量评价的标准，设计一个深度卷积神经网络模型，首先利用训练集中的样本图像进行学习训练，通过机器学习方法训练好神经网络模型，作为图像美学质量评价模型；
(3)模型的测试和预测，首先对测试集中的样本图像调用步骤(1)获取的预处理后的图像，然后调用步骤(2)中得到的图像美学质量评价模型，通过所述模型输出的的概率值大小，从而预测出图像的直方图具体数值，将模型预测出来的照片打分和照片的真实打分进行对比测试检验模型准确率。
2.根据权利要求1所述的一种基于深度卷积神经网络的图像美学质量评价方法，其特征在于：步骤(1)所述图像预处理方法采取以下步骤：
(11)将训练集和测试集中的样本图像按照打分总人数和各个分值的投票数计算每张图片的直方图数据；
(12)将训练集中原始图像进行大小变换，将原始图像的像素大小变换到一个固定尺寸，这个尺寸和设计的深度卷积神经网络所要求的输入大小一致；
(13)将训练集中原始图像归一化，首先统计出训练集中的样本图像的均值，然后对每一个样本图像做去均值操作。
3.根据权利要求1所述的一种基于深度卷积神经网络的图像美学质量评价方法，其特征在于：步骤(2)所述深度卷积神经网络模型如下：
(21)深度卷积神经网络模型包含七层有参数的网络层和四层没有参数的网络层，其中第一部分的预处理层是对图像进行卷积操作，分别使用了7*7,1*1和3*3的卷积核对图像进行处理；
(22)从第二层到第八层中，首先第二层采用最大值池化策略对网络规模进行控制，第三层与第四层是通过由卷积核组成密集成分来近似最优的局部稀疏结构，从而提升网络的计算能力，第五层与第二层功能相同，第六层与三四层的结构相同，最后的第八层采取平均池化操作再一次缩小网络规模；
(23)将上过程依次完成，在第八层进行一次1*1的卷积操作，后面连接一个全连接层，在第九层后面再接上第十层的一个全连接层的变换，神经网络最后一层，即第十一层的激活函数采用sigmoid函数。
(24)最后对最终结果进行误差计算，误差计算采用JSD误差计算公式进行计算，其中Y1代表真实打分的直方图，Y2代表预测产生的直方图，Z在这里代表分数上限10，i代表具体每个打分，公式如下：
<mrow>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>&lsqb;</mo>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>Z</mi>
</msubsup>
<msub>
<mi>Y</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mi>log</mi>
<mfrac>
<mrow>
<msub>
<mi>Y</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<msub>
<mi>Y</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<msub>
<mi>Y</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>+</mo>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>Z</mi>
</msubsup>
<msub>
<mi>Y</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mi>log</mi>
<mfrac>
<mrow>
<msub>
<mi>Y</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<msub>
<mi>Y</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<msub>
<mi>Y</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>&rsqb;</mo>
</mrow>
(25)整个训练过程采用随机梯度下降法(SGD)寻找最优参数，训练神经网络模型，最终得到神经网络模型。
4.根据权利要求1所述的一种基于深度卷积神经网络的图像美学质量评价方法，其特征在于：步骤(3)所述模型的测试和预测采取以下步骤：
(31)将测试集中的样本图像进行预处理得到一个新的图像A；
(32)将图像A放到训练好的神经网络模型中，模型通过正向计算与反向传播过程产生直方图分布结果，用模型输出结果和图像的真实评分分布结果作对比，从而测试模型的准确率，并用此模型预测一个新图像的美学质量评价具体分布是怎么的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710939293.3A CN107610123A (zh) | 2017-10-11 | 2017-10-11 | 一种基于深度卷积神经网络的图像美学质量评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710939293.3A CN107610123A (zh) | 2017-10-11 | 2017-10-11 | 一种基于深度卷积神经网络的图像美学质量评价方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107610123A true CN107610123A (zh) | 2018-01-19 |
Family
ID=61067724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710939293.3A Pending CN107610123A (zh) | 2017-10-11 | 2017-10-11 | 一种基于深度卷积神经网络的图像美学质量评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107610123A (zh) |
Cited By (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108711008A (zh) * | 2018-05-17 | 2018-10-26 | 北京中软国际信息技术有限公司 | 一种基于卷积神经网络的多维度软件项目健康度评估方法 |
| CN108898591A (zh) * | 2018-06-22 | 2018-11-27 | 北京小米移动软件有限公司 | 图像质量的评分方法及装置、电子设备、可读存储介质 |
| CN108961245A (zh) * | 2018-07-06 | 2018-12-07 | 西安电子科技大学 | 基于双通道深度并行卷积网络的图像质量分类方法 |
| CN109002863A (zh) * | 2018-06-27 | 2018-12-14 | 佛山市顺德区中山大学研究院 | 一种面向资源受限系统的紧凑卷积神经网络 |
| CN109116312A (zh) * | 2018-07-20 | 2019-01-01 | 电子科技大学 | 基于qmfb与卷积神经网络的雷达信号分类方法 |
| CN109255374A (zh) * | 2018-08-27 | 2019-01-22 | 中共中央办公厅电子科技学院 | 一种基于密集卷积网络和多任务网络的美学属性评价方法 |
| CN109544524A (zh) * | 2018-11-15 | 2019-03-29 | 中共中央办公厅电子科技学院 | 一种基于注意力机制的多属性图像美学评价系统 |
| CN109583500A (zh) * | 2018-11-30 | 2019-04-05 | 中共中央办公厅电子科技学院 | 一种基于深度漂移-扩散方法的美学图像质量预测系统及方法 |
| CN109584326A (zh) * | 2018-11-07 | 2019-04-05 | 厦门欢乐逛科技股份有限公司 | 海报自动配色方法、介质、计算机设备及装置 |
| CN109615627A (zh) * | 2018-12-14 | 2019-04-12 | 国网山东省电力公司信息通信公司 | 一种输变电巡检图像质量评价方法及系统 |
| CN109815965A (zh) * | 2019-02-13 | 2019-05-28 | 腾讯科技（深圳）有限公司 | 一种图像过滤方法、装置及存储介质 |
| CN109886317A (zh) * | 2019-01-29 | 2019-06-14 | 中国科学院自动化研究所 | 基于注意力机制的通用图像美学评估方法、系统及设备 |
| CN109978840A (zh) * | 2019-03-11 | 2019-07-05 | 太原理工大学 | 一种基于卷积神经网络的含纹理图像质量的判别方法 |
| CN109993803A (zh) * | 2019-02-25 | 2019-07-09 | 复旦大学 | 城市色调的智能分析与评价方法 |
| CN110062173A (zh) * | 2019-03-15 | 2019-07-26 | 北京旷视科技有限公司 | 图像处理器与图像处理方法、设备、存储介质及智能终端 |
| CN110176050A (zh) * | 2019-05-30 | 2019-08-27 | 清华大学深圳研究生院 | 文本生成图像的美学优化方法 |
| CN110473164A (zh) * | 2019-05-31 | 2019-11-19 | 北京理工大学 | 一种基于注意力机制的图像美学质量评价方法 |
| CN110519509A (zh) * | 2019-08-01 | 2019-11-29 | 幻想动力(上海)文化传播有限公司 | 构图评价方法、摄影方法、装置、电子设备、存储介质 |
| CN110689523A (zh) * | 2019-09-02 | 2020-01-14 | 西安电子科技大学 | 基于元学习个性化图像信息评价方法、信息数据处理终端 |
| CN110751632A (zh) * | 2019-10-11 | 2020-02-04 | 浙江科技学院 | 基于卷积神经网络的多尺度图像质量检测方法 |
| CN110781633A (zh) * | 2019-10-30 | 2020-02-11 | 广东博智林机器人有限公司 | 基于深度学习模型的图文设计质量检测方法、装置及系统 |
| CN110782448A (zh) * | 2019-10-25 | 2020-02-11 | 广东三维家信息科技有限公司 | 渲染图像的评价方法及装置 |
| CN111199540A (zh) * | 2019-12-27 | 2020-05-26 | Oppo广东移动通信有限公司 | 图像质量评价方法、装置、电子设备及存储介质 |
| CN111340123A (zh) * | 2020-02-29 | 2020-06-26 | 韶鼎人工智能科技有限公司 | 一种基于深度卷积神经网络的图像分数标签预测方法 |
| CN111415304A (zh) * | 2020-02-26 | 2020-07-14 | 中国农业大学 | 基于级联深度网络的水下视觉增强方法和装置 |
| CN111553879A (zh) * | 2020-03-24 | 2020-08-18 | 上海交通大学 | 手机照片选区主观比较评价方法及系统 |
| CN112446561A (zh) * | 2019-08-13 | 2021-03-05 | 广东博智林机器人有限公司 | 广告设计图质量检测方法及装置 |
| CN112669270A (zh) * | 2020-12-21 | 2021-04-16 | 北京金山云网络技术有限公司 | 视频质量的预测方法、装置及服务器 |
| CN112839167A (zh) * | 2020-12-30 | 2021-05-25 | Oppo（重庆）智能科技有限公司 | 图像处理方法、装置、电子设备及计算机可读介质 |
| CN112967358A (zh) * | 2021-03-08 | 2021-06-15 | 上海微电机研究所(中国电子科技集团公司第二十一研究所) | 基于美学质量的数字相册筛选方法、装置和电子设备 |
| CN113537407A (zh) * | 2021-08-31 | 2021-10-22 | 平安医疗健康管理股份有限公司 | 基于机器学习的图像数据评价处理方法及装置 |
| CN113592812A (zh) * | 2021-07-29 | 2021-11-02 | 华南师范大学 | 一种素描图片评价方法及装置 |
| CN114283083A (zh) * | 2021-12-22 | 2022-04-05 | 杭州电子科技大学 | 一种基于解耦表示的场景生成模型的美学增强方法 |
| CN114494130A (zh) * | 2021-12-24 | 2022-05-13 | 吉林建筑大学 | 一种基于最优模型评价准则的产品美学评价体系 |
| CN115063343A (zh) * | 2022-05-07 | 2022-09-16 | 广东工业大学 | 一种用于美术作品的智能评分方法、装置、计算机设备及存储介质 |
| CN115187519A (zh) * | 2022-06-21 | 2022-10-14 | 上海市计量测试技术研究院 | 图像质量评价方法、系统及计算机可读介质 |
| CN116757534A (zh) * | 2023-06-15 | 2023-09-15 | 中国标准化研究院 | 一种基于神经训练网络的智能冰箱可靠性分析方法 |
| CN117197613A (zh) * | 2023-09-07 | 2023-12-08 | 上海乐元素世界科技有限公司 | 一种训练图像质量预测模型、图像质量预测的方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102576461A (zh) * | 2009-09-25 | 2012-07-11 | 伊斯曼柯达公司 | 评估数字图像的美学质量 |
| CN103544705A (zh) * | 2013-10-25 | 2014-01-29 | 华南理工大学 | 一种基于深度卷积神经网络的图像质量测试方法 |
| US20160034788A1 (en) * | 2014-07-30 | 2016-02-04 | Adobe Systems Incorporated | Learning image categorization using related attributes |
| CN106651830A (zh) * | 2016-09-28 | 2017-05-10 | 华南理工大学 | 一种基于并行卷积神经网络的图像质量测试方法 |
-
2017
- 2017-10-11 CN CN201710939293.3A patent/CN107610123A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102576461A (zh) * | 2009-09-25 | 2012-07-11 | 伊斯曼柯达公司 | 评估数字图像的美学质量 |
| CN103544705A (zh) * | 2013-10-25 | 2014-01-29 | 华南理工大学 | 一种基于深度卷积神经网络的图像质量测试方法 |
| US20160034788A1 (en) * | 2014-07-30 | 2016-02-04 | Adobe Systems Incorporated | Learning image categorization using related attributes |
| CN106651830A (zh) * | 2016-09-28 | 2017-05-10 | 华南理工大学 | 一种基于并行卷积神经网络的图像质量测试方法 |
Non-Patent Citations (1)
| Title |
|---|
| XIN JIN ETC: "Deep Image Aesthetics Classification using Inception Modules and Fine-tuning Connected Layer", 《2016 8TH INTERNATIONAL CONFERENCE ON WIRELESS COMMUNICATIONS & SIGNAL PROCESSING 》 * |
Cited By (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108711008A (zh) * | 2018-05-17 | 2018-10-26 | 北京中软国际信息技术有限公司 | 一种基于卷积神经网络的多维度软件项目健康度评估方法 |
| CN108898591A (zh) * | 2018-06-22 | 2018-11-27 | 北京小米移动软件有限公司 | 图像质量的评分方法及装置、电子设备、可读存储介质 |
| CN109002863A (zh) * | 2018-06-27 | 2018-12-14 | 佛山市顺德区中山大学研究院 | 一种面向资源受限系统的紧凑卷积神经网络 |
| CN108961245A (zh) * | 2018-07-06 | 2018-12-07 | 西安电子科技大学 | 基于双通道深度并行卷积网络的图像质量分类方法 |
| CN109116312A (zh) * | 2018-07-20 | 2019-01-01 | 电子科技大学 | 基于qmfb与卷积神经网络的雷达信号分类方法 |
| CN109255374A (zh) * | 2018-08-27 | 2019-01-22 | 中共中央办公厅电子科技学院 | 一种基于密集卷积网络和多任务网络的美学属性评价方法 |
| CN109584326A (zh) * | 2018-11-07 | 2019-04-05 | 厦门欢乐逛科技股份有限公司 | 海报自动配色方法、介质、计算机设备及装置 |
| CN109544524A (zh) * | 2018-11-15 | 2019-03-29 | 中共中央办公厅电子科技学院 | 一种基于注意力机制的多属性图像美学评价系统 |
| CN109544524B (zh) * | 2018-11-15 | 2023-05-23 | 中共中央办公厅电子科技学院 | 一种基于注意力机制的多属性图像美学评价系统 |
| CN109583500A (zh) * | 2018-11-30 | 2019-04-05 | 中共中央办公厅电子科技学院 | 一种基于深度漂移-扩散方法的美学图像质量预测系统及方法 |
| CN109615627A (zh) * | 2018-12-14 | 2019-04-12 | 国网山东省电力公司信息通信公司 | 一种输变电巡检图像质量评价方法及系统 |
| CN109886317A (zh) * | 2019-01-29 | 2019-06-14 | 中国科学院自动化研究所 | 基于注意力机制的通用图像美学评估方法、系统及设备 |
| CN109815965A (zh) * | 2019-02-13 | 2019-05-28 | 腾讯科技（深圳）有限公司 | 一种图像过滤方法、装置及存储介质 |
| CN109815965B (zh) * | 2019-02-13 | 2021-07-06 | 腾讯科技（深圳）有限公司 | 一种图像过滤方法、装置及存储介质 |
| CN109993803A (zh) * | 2019-02-25 | 2019-07-09 | 复旦大学 | 城市色调的智能分析与评价方法 |
| CN109978840A (zh) * | 2019-03-11 | 2019-07-05 | 太原理工大学 | 一种基于卷积神经网络的含纹理图像质量的判别方法 |
| CN110062173A (zh) * | 2019-03-15 | 2019-07-26 | 北京旷视科技有限公司 | 图像处理器与图像处理方法、设备、存储介质及智能终端 |
| CN110176050A (zh) * | 2019-05-30 | 2019-08-27 | 清华大学深圳研究生院 | 文本生成图像的美学优化方法 |
| CN110473164A (zh) * | 2019-05-31 | 2019-11-19 | 北京理工大学 | 一种基于注意力机制的图像美学质量评价方法 |
| CN110473164B (zh) * | 2019-05-31 | 2021-10-15 | 北京理工大学 | 一种基于注意力机制的图像美学质量评价方法 |
| CN110519509A (zh) * | 2019-08-01 | 2019-11-29 | 幻想动力(上海)文化传播有限公司 | 构图评价方法、摄影方法、装置、电子设备、存储介质 |
| CN112446561A (zh) * | 2019-08-13 | 2021-03-05 | 广东博智林机器人有限公司 | 广告设计图质量检测方法及装置 |
| CN110689523A (zh) * | 2019-09-02 | 2020-01-14 | 西安电子科技大学 | 基于元学习个性化图像信息评价方法、信息数据处理终端 |
| CN110751632A (zh) * | 2019-10-11 | 2020-02-04 | 浙江科技学院 | 基于卷积神经网络的多尺度图像质量检测方法 |
| CN110751632B (zh) * | 2019-10-11 | 2022-05-31 | 浙江科技学院 | 基于卷积神经网络的多尺度图像质量检测方法 |
| CN110782448A (zh) * | 2019-10-25 | 2020-02-11 | 广东三维家信息科技有限公司 | 渲染图像的评价方法及装置 |
| CN110781633A (zh) * | 2019-10-30 | 2020-02-11 | 广东博智林机器人有限公司 | 基于深度学习模型的图文设计质量检测方法、装置及系统 |
| CN111199540A (zh) * | 2019-12-27 | 2020-05-26 | Oppo广东移动通信有限公司 | 图像质量评价方法、装置、电子设备及存储介质 |
| CN111415304A (zh) * | 2020-02-26 | 2020-07-14 | 中国农业大学 | 基于级联深度网络的水下视觉增强方法和装置 |
| CN111340123A (zh) * | 2020-02-29 | 2020-06-26 | 韶鼎人工智能科技有限公司 | 一种基于深度卷积神经网络的图像分数标签预测方法 |
| CN111553879A (zh) * | 2020-03-24 | 2020-08-18 | 上海交通大学 | 手机照片选区主观比较评价方法及系统 |
| CN112669270A (zh) * | 2020-12-21 | 2021-04-16 | 北京金山云网络技术有限公司 | 视频质量的预测方法、装置及服务器 |
| CN112839167A (zh) * | 2020-12-30 | 2021-05-25 | Oppo（重庆）智能科技有限公司 | 图像处理方法、装置、电子设备及计算机可读介质 |
| CN112967358A (zh) * | 2021-03-08 | 2021-06-15 | 上海微电机研究所(中国电子科技集团公司第二十一研究所) | 基于美学质量的数字相册筛选方法、装置和电子设备 |
| CN113592812A (zh) * | 2021-07-29 | 2021-11-02 | 华南师范大学 | 一种素描图片评价方法及装置 |
| CN113537407A (zh) * | 2021-08-31 | 2021-10-22 | 平安医疗健康管理股份有限公司 | 基于机器学习的图像数据评价处理方法及装置 |
| CN113537407B (zh) * | 2021-08-31 | 2022-05-17 | 平安医疗健康管理股份有限公司 | 基于机器学习的图像数据评价处理方法及装置 |
| CN114283083A (zh) * | 2021-12-22 | 2022-04-05 | 杭州电子科技大学 | 一种基于解耦表示的场景生成模型的美学增强方法 |
| CN114283083B (zh) * | 2021-12-22 | 2024-05-10 | 杭州电子科技大学 | 一种基于解耦表示的场景生成模型的美学增强方法 |
| CN114494130A (zh) * | 2021-12-24 | 2022-05-13 | 吉林建筑大学 | 一种基于最优模型评价准则的产品美学评价体系 |
| CN115063343A (zh) * | 2022-05-07 | 2022-09-16 | 广东工业大学 | 一种用于美术作品的智能评分方法、装置、计算机设备及存储介质 |
| CN115187519A (zh) * | 2022-06-21 | 2022-10-14 | 上海市计量测试技术研究院 | 图像质量评价方法、系统及计算机可读介质 |
| CN116757534A (zh) * | 2023-06-15 | 2023-09-15 | 中国标准化研究院 | 一种基于神经训练网络的智能冰箱可靠性分析方法 |
| CN116757534B (zh) * | 2023-06-15 | 2024-03-15 | 中国标准化研究院 | 一种基于神经训练网络的智能冰箱可靠性分析方法 |
| CN117197613A (zh) * | 2023-09-07 | 2023-12-08 | 上海乐元素世界科技有限公司 | 一种训练图像质量预测模型、图像质量预测的方法及装置 |
| CN117197613B (zh) * | 2023-09-07 | 2024-04-09 | 上海乐元素世界科技有限公司 | 一种训练图像质量预测模型、图像质量预测的方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107610123A (zh) | 一种基于深度卷积神经网络的图像美学质量评价方法 | |
| CN105069746B (zh) | 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统 | |
| JP6788264B2 (ja) | 表情認識方法、表情認識装置、コンピュータプログラム及び広告管理システム | |
| CN110059741A (zh) | 基于语义胶囊融合网络的图像识别方法 | |
| CN110458844A (zh) | 一种低光照场景的语义分割方法 | |
| CN107437092A (zh) | 基于三维卷积神经网络的视网膜oct图像的分类算法 | |
| CN107977932A (zh) | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 | |
| CN107316015A (zh) | 一种基于深度时空特征的高精度面部表情识别方法 | |
| CN107220980A (zh) | 一种基于全卷积网络的mri图像脑肿瘤自动分割方法 | |
| CN107491726A (zh) | 一种基于多通道并行卷积神经网络的实时表情识别方法 | |
| CN108806792A (zh) | 深度学习面诊系统 | |
| CN107808132A (zh) | 一种融合主题模型的场景图像分类方法 | |
| CN109858506A (zh) | 一种面向卷积神经网络分类结果的可视化算法 | |
| CN106778506A (zh) | 一种融合深度图像和多通道特征的表情识别方法 | |
| CN107871101A (zh) | 一种人脸检测方法及装置 | |
| CN107729819A (zh) | 一种基于稀疏全卷积神经网络的人脸标注方法 | |
| CN110458060A (zh) | 一种基于对抗学习的车辆图像优化方法及系统 | |
| CN104103033B (zh) | 图像实时处理方法 | |
| CN103699904B (zh) | 多序列核磁共振影像的图像计算机辅助判断方法 | |
| CN106780434A (zh) | 水下图像视觉质量评价方法 | |
| CN107679522A (zh) | 基于多流lstm的动作识别方法 | |
| CN104517122A (zh) | 一种基于优化卷积架构的图像目标识别方法 | |
| CN105469100A (zh) | 基于深度学习的皮肤活检图像病理特性识别方法 | |
| CN106909887A (zh) | 一种基于cnn和svm的动作识别方法 | |
| CN109711401A (zh) | 一种基于Faster Rcnn的自然场景图像中的文本检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180119 |
|
| RJ01 | Rejection of invention patent application after publication |