CN111832639B - 一种基于迁移学习的绘画情感预测方法 - Google Patents

一种基于迁移学习的绘画情感预测方法 Download PDF

Info

Publication number
CN111832639B
CN111832639B CN202010621067.2A CN202010621067A CN111832639B CN 111832639 B CN111832639 B CN 111832639B CN 202010621067 A CN202010621067 A CN 202010621067A CN 111832639 B CN111832639 B CN 111832639B
Authority
CN
China
Prior art keywords
image
layer
emotion
layers
lbp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010621067.2A
Other languages
English (en)
Other versions
CN111832639A (zh
Inventor
白茹意
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanxi University
Original Assignee
Shanxi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanxi University filed Critical Shanxi University
Priority to CN202010621067.2A priority Critical patent/CN111832639B/zh
Publication of CN111832639A publication Critical patent/CN111832639A/zh
Application granted granted Critical
Publication of CN111832639B publication Critical patent/CN111832639B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像情感计算技术领域，一种基于迁移学习的绘画情感预测方法，解决绘画情感的自动预测。具体为：将绘画图像由RGB颜色空间转换成HSV模型，保留对绘画情感影响较大的H和S分量作为颜色特征图像。采用局部二值模式提取局部纹理特征。在AlexNet网络上采用迁移学习的方法，保留原始网络中全部卷积、池化和一个全连接的部分，并新增了5个全连接层。在对新模型进行参数微调时，将模型的前5层卷积层和第6层全连接层的网络参数作为目标模型的参数，新增全连接层(7‑11层)的参数采用随机初始化。将颜色分量H、S和LBP纹理图像分别进行归一化到[0,1]之间，作为绘画图像新的三个通道，并输入到迁移学习神经网络中。

Description

一种基于迁移学习的绘画情感预测方法
技术领域
本发明属于图像情感计算技术领域，具体涉及一种基于迁移学习的绘画情感预测方法。
背景技术
随着数字化技术和计算机视觉的发展，更多的研究者开始探索数字化绘画图像的情感。在心理学领域中，类别情感状态CES(categorical emotion states)把情感分为两大类，即表示积极的情感(激动、娱乐、满意、敬畏)和表示消极的情感(害怕、厌恶、悲伤、生气)。绘画作品是画家表达内心情感的重要表现手段。因此对绘画的情感研究是十分必要的，更也有助于我们更好的体会作画家的内心世界。
随着信息数字化的趋势，在网上可以很容易地找到绘画的数字图像。这使得计算机辅助绘画研究成为可能。人们通过直接探讨人的审美感知与计算视觉特征之间的关系，对绘画图像情感进行研究。目前研究中，绘画图像情感预测主要由两种方式：(1)提取与情感相关的底层特征，采用机器学习的方法实现情感预测；(2)采用深度学习的方法直接在原始图像的基础上进行情感预测。
与现有绘画情感识别的方法相比，本发明的优势在于：本发明提出的方法：(1)将绘画图像由RGB颜色空间转换成HSV模型(色调(H)，饱和度(S)，亮度(V))。在后面的运算中仅保留了对绘画情感影响较大的H和S分量作为颜色特征图像。(2)在现有AlexNet网络的基础上采用迁移学习的方法，保留原始网络中全部卷积、池化和一个全连接的部分，并新增了5个全连接层。在对新模型进行参数微调时，将模型的前5层卷积层和第6层全连接层的网络参数作为目标模型的参数，新增全连接层(7-11层)的参数采用随机初始化。该网络提高了计算准确率，同时也大大降低了计算量。(3)将颜色分量H、S和LBP纹理图像分别进行归一化到[0,1]之间，作为绘画图像新的三个通道，并输入到迁移学习神经网络中。既能更好的保留绘画的颜色和纹理特征，又能有效提高整个绘画情感预测系统的运算效率。
发明内容
本发明克服现有技术存在的不足，提供一种基于迁移学习的绘画情感预测方法。解决绘画图像的情感自动预测。
为了达到上述目的，本发明采用了下列技术方案：
一种基于迁移学习的绘画情感预测方法，包括以下具体步骤：
(1)将所有绘画图像调整为227×227大小；
(2)将绘画图像由RGB颜色空间转换成HSV模型(色调(H)，饱和度(S)，亮度(V))，在HSV模型中，绘画与摄影图片相比，明度(V)的比重很小，因此将颜色分量H和S作为绘画图像的颜色特征图像；
(3)采用局部二值模式将绘画图像转换成LBP纹理图像，具体步骤如下：
a、给定邻域半径R＝1，采用圆形LBP算子计算，得到邻域像素个数P＝8；
b、把3*3窗口中心像素的灰度值作为阈值，将该灰度值与其8个邻域像素的灰度值进行比较，若邻域像素的灰度值大于或等于中心像素的灰度值，则将邻域像素的灰度值置1，反之置0，计算公式如下：
每个像素的LBPP，R计算如下:
Figure GDA0002630825680000021
其中，n是邻域像素的编号，gn是邻域像素的灰度值，gc是中心像素的灰度值，s(x)是一个符号函数：
Figure GDA0002630825680000031
c、将b产生一个8位的二进制数，即为LBPP，R码，将此二进制数转化为十进制数，十进制数表征3*3窗口的LBP值，LBP值来反映3*3窗口的纹理信息，并用LBP值取代3*3窗口中心像素的灰度值；
(4)采用迁移学习方法使用AlexNet网络在ImageNet数据集训练的基础上，微调设置新的网络模型，具体步骤如下：
a、AlexNet网络的输入图像大小为227×227×3，AlexNet网络包含5个卷积层，激活函数采用ReLU，3个2×2的最大池化层和3个全连接层，在ImageNet数据集上进行训练；
b、选取AlexNet网络中的5个卷积层，3个池化层和第一个全连接层，在此之后增加5个全连接层，最后一层的激活函数为sigmoid；
c、对b中的新模型进行参数微调：将a中模型的前5层卷积层和第6层全连接层的网络参数作为目标模型的参数，新增全连接层7～11层的参数采用随机初始化；
(5)将颜色分量H、S和LBP纹理图像分别进行归一化到[0,1]之间，归一化算法为：
Figure GDA0002630825680000032
其中v为某个像素点的灰度值，vmax为所有像素点灰度值的最大值，vmin为所有像素点灰度值的最小值；
(6)将(5)中归一化后的颜色分量H、S和LBP纹理图像作为绘画图像新的三个通道，并输入到(4)中微调设置新的网络模型中，最终将绘画图像分为“积极”和“消极”两类，从而实现绘画图像情感的自动预测。
进一步，所述(2)中由RGB颜色空间转换成HSV模型的公式为：
Figure GDA0002630825680000041
Cmax＝max(R′，G′，B′)；Cmin＝min(R′,G′,B′)；Δ＝Cmax-Cmin
Figure GDA0002630825680000042
进一步，所述(3)a中采用圆形LBP算子计算，具体为：通过在位移(Rcos(2πn/P)，Rsin(2πn/P))处对绘画图像灰度进行插值，能这样可以满足不同尺度和频率采样的需要。
进一步，所述(4)中AlexNet网络的结构为：第1层为卷积层，卷积核个数为96，大小为11χ11，步长为4；第2层为卷积层，卷积核个数为256，大小为5χ5，步长为1；第3层为卷积层，卷积核个数为384，大小为3χ3，步长为1；第4层为卷积层，卷积核个数为384，大小为3χ3，步长为1；第5层为卷积层，卷积核个数为256，大小为3χ3，步长为1；第6-8层为全连接层，分别包含4096、4096和352个输出。
选取了绘画图像的颜色和纹理特征，作为表征绘画情感的基本要素，并采用迁移学习的方法提高了计算准确率，同时也大大降低了计算量。
将颜色分量H、S和LBP纹理图像分别进行归一化到[0,1]之间，作为绘画图像新的三个通道，并输入到迁移学习神经网络中。
再进一步，通过迁移学习方法设置的网络中，所述(4)b中增加5个全连接层的维度分别为：2048，1024，512，256和2。
与现有技术相比本发明具有以下优点：
(1)将绘画图像由RGB颜色空间转换成HSV模型(色调(H)，饱和度(S)，亮度(V))。由于绘画与摄影图片相比，明度(V)的比重很小，因此去掉了V分量，保留了对绘画情感影响较大的H和S分量作为颜色特征图像。(2)采用局部二值模式(LBP)提取局部纹理特征，具有旋转不变性和灰度不变性等显著的优点。(3)AlexNet网络模型是目前已有图像分类模型中较为简洁的一个网络结构,便于我们再此基础上进行进一步的拓展研究。在此网络上采用迁移学习的方法，保留原始网络中全部卷积、池化和一个全连接的部分，并新增了5个全连接层。在对新模型进行参数微调时，将模型的前5层卷积层和第6层全连接层的网络参数作为目标模型的参数，新增全连接层(7-11层)的参数采用随机初始化。该网络提高了计算准确率，同时也大大降低了计算量。(4)将颜色分量H、S和LBP纹理图像分别进行归一化到[0,1]之间，作为绘画图像新的三个通道，并输入到迁移学习神经网络中。既能更好的保留绘画的颜色和纹理特征，又能有效提高整个绘画情感预测系统的运算效率。
附图说明
图1为本发明绘画图像由RGB颜色空间转换成HSV模型的示意图；
图2为本发明LBP纹理特征图；
图3为本发明迁移学习网络模型；
图4为本发明绘画图像情感预测框架；
图5为本发明预测结果与受试者评分结果的对比。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，结合实施例和附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。下面结合实施例和附图详细说明本发明的技术方案，但保护范围不被此限制。
本发明选取来公开网站的绘画，进行实验，具体实施步骤如下：
S1：选取MART博物馆和网络Deviant Art数据集中的绘画，各500幅。其中还包含每幅绘画的情感标注，标注为1-7分，小于等于4的作为消极类别，大于4的为积极。
S2：将所有绘画图像调整为227×227大小。
S3：将绘画图像由RGB颜色空间转换成HSV模型(色调(H)，饱和度(S)，亮度(V))。在HSV模型中，绘画与摄影图片相比，明度(V)的比重很小，因此将H和S分量作为绘画的颜色特征图像，图1为绘画图像由RGB颜色空间转换成HSV模型的示意图。
绘画图像由RGB颜色空间转换成HSV模型的公式如下：
Figure GDA0002630825680000061
Cmax＝max(R′，G′，B′)；Cmin＝min(R′,G′,B′)；Δ＝Cmax-Cmin
Figure GDA0002630825680000062
S4：采用局部二值模式(LBP，Local Binary Pattern)将绘画图像转换成LBP纹理图像。图2为LBP纹理特征图。具体步骤如下：
S41：给定邻域半径R＝1，采用圆形LBP算子，通过在位移(Rcos(2πn/P)，Rsin(2πn/P))处对绘画图像灰度值进行插值，得到邻域像素个数P＝8(邻域R上的采样点数)。
S42：把3*3窗口中心像素的灰度值作为阈值，将该灰度值与其8个邻域像素的灰度值进行比较，若邻域像素的灰度值大于或等于中心点像素灰度值，则将该邻域像素的灰度值置1，反之置0。计算公式如下：
每个像素的LBPP，R计算如下:
Figure GDA0002630825680000071
其中，n是邻域像素的编号，gn是邻域像素的灰度值，gc是中心像素的灰度值，s(x)是一个符号函数：
Figure GDA0002630825680000072
S43：将b产生一个8位的二进制数，即为LBPP，R码，将此二进制数转化为十进制数，十进制数表征3*3窗口的LBP值，LBP值来反映3*3窗口的纹理信息，并用LBP值取代3*3窗口中心像素的灰度值；
S5：采用迁移学习方法使用AlexNet网络在ImageNet数据集训练的基础上，微调设置新的网络模型。图3为迁移学习网络模型。具体步骤如下：
S51：AlexNet网络的输入图像大小为227×227×3。网络包含5个卷积层，激活函数采用ReLU，3个2×2的最大池化层和3个全连接层。具体为：第1层为卷积层，卷积核个数为96，大小为11χ11，步长为4；第2层为卷积层，卷积核个数为256，大小为5χ5，步长为1；第3层为卷积层，卷积核个数为384，大小为3χ3，步长为1；第4层为卷积层，卷积核个数为384，大小为3χ3，步长为1；第5层为卷积层，卷积核个数为256，大小为3χ3，步长为1；第6-8层为全连接层，分别包含4096、4096和352个输出。将此网络在ImageNet数据集上进行训练。
S52：选取AlexNet网络中的5个卷积层，3个池化层和第一个全连接层，在此之后增加5个全连接层，最后一层的激活函数为sigmoid。其他参数设置：batch_size为128，学习率为0.001，Dropout为0.5，优化器为“随机梯度下降”。
S53：对S52中的新模型进行参数微调：将S51中模型的前5层卷积层和第6层全连接层的网络参数作为目标模型的参数，新增全连接层(7-11层)的参数采用随机初始化。
S6：将颜色分量H、S和LBP纹理图像分别进行归一化到[0,1]之间，归一化算法为：
Figure GDA0002630825680000081
其中v为某个像素点的灰度值，vmax为所有像素点灰度值的最大值，vmin为所有像素点灰度值的最小值；
S7:将S6中归一化后的颜色分量H、S和LBP作为绘画图像新的三个通道，并输入到S5中的网络中，最终将绘画分为“积极”和“消极”两类，从而实现绘画情感的自动预测。图4为绘画图像情感预测框架。
S8:在MART数据集和WikiArt数据集上分别进行实验，每种绘画各500幅。随机选取450幅绘画作为训练集原始图像，150幅绘画作为测试集。为了得到更准确的分类结果，采用10折交叉验证评估该分类模型。最终将绘画分为“积极”和“消极”两类，从而实现绘画情感的自动预测。
为充分验证本发明方法的有效性和适用性，我们对不同特征组合下，绘画情感识别的准确率进行了比较，实验结果如表1所示。本发明采用颜色和纹理特征进行融合的方式，得到的准确率是最高的，两个数据集分别是为74.38％和73.89％。
表1：
Figure GDA0002630825680000091
在迁移学习网络中对全连接的层数和维度对绘画情感的影响，进行了探讨。实验结果如表2所示。全连接的层数和维度对情感分类结果影响不大。虽然采用全连接6层和7层时的分类准确率略高，但是考虑到准确率与算法复杂性，我们考虑采用6层的全连接层。
表2：
Figure GDA0002630825680000092
此外分别使用SVM，朴素贝叶斯、逻辑回归进行实验，并与本发明的分类模型(AlexNet微调模型)进行比较，所得分类准确率如表3所示。实验结果表明本发明采用的微调模型的准确率最高。
表3：
Figure GDA0002630825680000093
Figure GDA0002630825680000101
在分类模型预测中，本发明把预测概率高的作为绘画的最终情感，从图5来看，第一幅绘画的情感类别很显然是“积极”的，第二幅绘画的情感类别也很明显，这两幅画的分类情况与受试者打分是一致。然而，第三幅绘画受试者认为是积极的，但分类器结果却为消极的，针对个别错分的绘画我们将进行进一步的研究。
本文发明在两个绘画数据集上进行了实验，并与目前相关研究进行了比较，分类效果显著。但是，绘画的情感研究，目前还处于初级阶段，仍有许多关键问题需要解决。
(1)可以提取绘画图像多方面的特征，将这些特征进行有效的融合，能更准确的表达绘画的内涵与情感。(2)目前的情感计算方法主要依靠人工标注的情感标签，未来我们可以依据互联网上丰富的上下文信息实现绘画图像的无监督分析。综合来看，本发明方法能够有效预测绘画的情感。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定专利保护范围。

Claims (5)

1.一种基于迁移学习的绘画情感预测方法，其特征在于，包括以下具体步骤：
(1)将所有绘画图像调整为227×227大小；
(2)将绘画图像由RGB颜色空间转换成HSV模型，将颜色分量H和S作为绘画图像的颜色特征图像；
(3)采用局部二值模式将绘画图像转换成LBP纹理图像，具体步骤如下：
a、给定邻域半径R＝1，采用圆形LBP算子计算，得到邻域像素个数P＝8；
b、把3*3窗口中心像素的灰度值作为阈值，将该灰度值与其8个邻域像素的灰度值进行比较，若邻域像素的灰度值大于或等于中心像素的灰度值，则将该邻域像素的灰度值置1，反之置0，计算公式如下：
每个像素的LBPP，R计算如下:
Figure FDA0003523914220000011
其中，n是邻域像素的编号，gn是邻域像素的灰度值，gc是中心像素的灰度值，s(x)是一个符号函数：
Figure FDA0003523914220000012
c、将(3)b产生一个8位的二进制数，即为LBPP，R码，将此二进制数转化为十进制数，十进制数表征3*3窗口的LBP值，LBP值来反映3*3窗口的纹理信息，并用LBP值取代3*3窗口中心像素的灰度值；
(4)采用迁移学习方法使用AlexNet网络在ImageNet数据集训练的基础上，微调设置新的网络模型，具体步骤如下：
a、AlexNet网络的输入图像大小为227×227×3，AlexNet网络包含5个卷积层，激活函数采用ReLU，3个2×2的最大池化层和3个全连接层，在ImageNet数据集上进行训练；
b、选取AlexNet网络中的5个卷积层，3个池化层和第一个全连接层，在此之后增加5个全连接层，最后一层的激活函数为sigmoid；
c、对(4)b中的新模型进行参数微调：将(4)a中模型的前5层卷积层和第6层全连接层的网络参数作为目标模型的参数，新增全连接层7～11层的参数采用随机初始化；
(5)将颜色分量H、S和LBP纹理图像分别进行归一化到[0,1]之间，归一化算法为：
Figure FDA0003523914220000021
其中v为某个像素点的灰度值，vmax为所有像素点灰度值的最大值，vmin为所有像素点灰度值的最小值；
(6)将(5)中归一化后的颜色分量H、S和LBP纹理图像作为绘画图像新的三个通道，并输入到(4)中微调设置新的网络模型中，最终将绘画图像分为“积极”和“消极”两类，从而实现绘画图像情感的自动预测。
2.根据权利要求1所述的一种基于迁移学习的绘画情感预测方法，其特征在于，所述(2)中由RGB颜色空间转换成HSV模型的公式为：
Figure FDA0003523914220000022
Cmax＝max(R′，G′，B′)；Cmin＝min(R′，G′，B′)；Δ＝Cmax-Cmin
Figure FDA0003523914220000023
3.根据权利要求1所述的一种基于迁移学习的绘画图像情感预测方法，其特征在于，所述(3)a中采用圆形LBP算子计算，具体为：通过在位移(Rcos(2πn/P)，Rsin(2πn/P))处对绘画图像灰度值进行插值。
4.根据权利要求1所述的一种基于迁移学习的绘画情感预测方法，其特征在于，所述(4)中AlexNet网络的结构为：第1层为卷积层，卷积核个数为96，大小为11χ11，步长为4；第2层为卷积层，卷积核个数为256，大小为5χ5，步长为1；第3层为卷积层，卷积核个数为384，大小为3χ3，步长为1；第4层为卷积层，卷积核个数为384，大小为3χ3，步长为1；第5层为卷积层，卷积核个数为256，大小为3χ3，步长为1；第6-8层为全连接层，分别包含4096、4096和352个输出。
5.根据权利要求1所述的一种基于迁移学习的绘画情感预测方法，其特征在于，所述(4)b中增加5个全连接层的维度分别为：2048，1024，512，256和2。
CN202010621067.2A 2020-06-30 2020-06-30 一种基于迁移学习的绘画情感预测方法 Active CN111832639B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010621067.2A CN111832639B (zh) 2020-06-30 2020-06-30 一种基于迁移学习的绘画情感预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010621067.2A CN111832639B (zh) 2020-06-30 2020-06-30 一种基于迁移学习的绘画情感预测方法

Publications (2)

Publication Number Publication Date
CN111832639A CN111832639A (zh) 2020-10-27
CN111832639B true CN111832639B (zh) 2022-05-31

Family

ID=72899998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010621067.2A Active CN111832639B (zh) 2020-06-30 2020-06-30 一种基于迁移学习的绘画情感预测方法

Country Status (1)

Country Link
CN (1) CN111832639B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022223A (zh) * 2016-05-10 2016-10-12 武汉理工大学 一种高维局部二值模式人脸识别方法及系统
CN106485251A (zh) * 2016-10-08 2017-03-08 天津工业大学 基于深度学习的鸡蛋胚胎分类
CN106504264A (zh) * 2016-10-27 2017-03-15 锐捷网络股份有限公司 视频前景图像提取方法和装置
CN106548160A (zh) * 2016-11-09 2017-03-29 浙江博天科技有限公司 一种人脸微笑检测方法
CN108334876A (zh) * 2018-05-09 2018-07-27 华南理工大学 基于图像金字塔局部二进制模式的疲劳表情识别方法
CN108491765A (zh) * 2018-03-05 2018-09-04 中国农业大学 一种蔬菜图像的分类识别方法及系统
CN108805140A (zh) * 2018-05-23 2018-11-13 国政通科技股份有限公司 一种基于lbp的特征快速提取方法及人脸识别系统
CN108985377A (zh) * 2018-07-18 2018-12-11 太原理工大学 一种基于深层网络的多特征融合的图像高级语义识别方法
CN109583349A (zh) * 2018-11-22 2019-04-05 北京市首都公路发展集团有限公司 一种用于在真实环境对目标车辆的颜色进行识别的方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI365416B (en) * 2007-02-16 2012-06-01 Ind Tech Res Inst Method of emotion recognition and learning new identification information
US9928406B2 (en) * 2012-10-01 2018-03-27 The Regents Of The University Of California Unified face representation for individual recognition in surveillance videos and vehicle logo super-resolution system
JP6752901B2 (ja) * 2016-12-28 2020-09-09 本田技研工業株式会社 情報提供システムおよびサーバ
WO2018133034A1 (en) * 2017-01-20 2018-07-26 Intel Corporation Dynamic emotion recognition in unconstrained scenarios
KR101771146B1 (ko) * 2017-03-22 2017-08-24 광운대학교 산학협력단 스테레오 카메라를 이용한 컨볼루션 신경망 기반의 보행자 및 차량 검출 방법 및 장치
CN109685143A (zh) * 2018-12-26 2019-04-26 上海市第十人民医院 一种甲状腺锝扫图像的识别模型构建方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022223A (zh) * 2016-05-10 2016-10-12 武汉理工大学 一种高维局部二值模式人脸识别方法及系统
CN106485251A (zh) * 2016-10-08 2017-03-08 天津工业大学 基于深度学习的鸡蛋胚胎分类
CN106504264A (zh) * 2016-10-27 2017-03-15 锐捷网络股份有限公司 视频前景图像提取方法和装置
CN106548160A (zh) * 2016-11-09 2017-03-29 浙江博天科技有限公司 一种人脸微笑检测方法
CN108491765A (zh) * 2018-03-05 2018-09-04 中国农业大学 一种蔬菜图像的分类识别方法及系统
CN108334876A (zh) * 2018-05-09 2018-07-27 华南理工大学 基于图像金字塔局部二进制模式的疲劳表情识别方法
CN108805140A (zh) * 2018-05-23 2018-11-13 国政通科技股份有限公司 一种基于lbp的特征快速提取方法及人脸识别系统
CN108985377A (zh) * 2018-07-18 2018-12-11 太原理工大学 一种基于深层网络的多特征融合的图像高级语义识别方法
CN109583349A (zh) * 2018-11-22 2019-04-05 北京市首都公路发展集团有限公司 一种用于在真实环境对目标车辆的颜色进行识别的方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Building a Large Scale Dataset for Image Emotion Recognition: The Fine Print;Quanzeng You;《arXiv》;20160509;第1-7页 *
卷积神经网络在煤岩图像识别中的应用研究;吕红杰;《万方数据》;20190101;第137-139页 *
基于多层次深度卷积神经网络的图像情感分类;王伟凝;《万方数据》;20190101;第39-50页 *
融合人类认知网络优化的中国画情感识别;盛家川;《万方数据》;20200228;第141-149页 *

Also Published As

Publication number Publication date
CN111832639A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN108062756B (zh) 基于深度全卷积网络和条件随机场的图像语义分割方法
CN110399821B (zh) 基于人脸表情识别的顾客满意度获取方法
CN108629338B (zh) 一种基于lbp和卷积神经网络的人脸美丽预测方法
CN109934173B (zh) 表情识别方法、装置及电子设备
CN109033994B (zh) 一种基于卷积神经网络的人脸表情识别方法
CN109711401B (zh) 一种基于Faster Rcnn的自然场景图像中的文本检测方法
CN109635150A (zh) 文本生成方法、装置以及存储介质
CN106599863A (zh) 一种基于迁移学习技术的深度人脸识别方法
Bhavana et al. Hand sign recognition using CNN
CN111126127B (zh) 一种多级空间上下文特征指导的高分辨率遥感影像分类方法
JP7111088B2 (ja) 画像検索装置、学習方法及びプログラム
CN111832573B (zh) 一种基于类激活映射和视觉显著性的图像情感分类方法
CN111986125A (zh) 一种用于多目标任务实例分割的方法
CN113221956B (zh) 基于改进的多尺度深度模型的目标识别方法及装置
CN111126389A (zh) 文本检测方法、装置、电子设备以及存储介质
CN112633288B (zh) 一种基于绘画笔触指导的人脸素描生成方法
CN110110724A (zh) 基于指数型挤压函数驱动胶囊神经网络的文本验证码识别方法
CN114565628B (zh) 一种基于边界感知注意的图像分割方法及系统
CN111652273A (zh) 一种基于深度学习的rgb-d图像分类方法
CN109508640A (zh) 一种人群情感分析方法、装置和存储介质
Lee et al. Property-specific aesthetic assessment with unsupervised aesthetic property discovery
Rawf et al. A comparative technique using 2D CNN and transfer learning to detect and classify Arabic-script-based sign language
CN111612090B (zh) 基于内容颜色交叉相关的图像情感分类方法
CN112016592B (zh) 基于交叉领域类别感知的领域适应语义分割方法及装置
CN111832639B (zh) 一种基于迁移学习的绘画情感预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant