CN109063772B

CN109063772B - 一种基于深度学习的图像个性化语义分析方法、装置及设备

Info

Publication number: CN109063772B
Application number: CN201810870503.2A
Authority: CN
Inventors: 何立健; 林穗; 翁海瑞
Original assignee: Guangdong University of Technology
Current assignee: Guangdong University of Technology
Priority date: 2018-08-02
Filing date: 2018-08-02
Publication date: 2022-05-10
Anticipated expiration: 2038-08-02
Also published as: CN109063772A

Abstract

本发明公开了一种基于深度学习的图像个性化语义分析方法，包括将原始图像信号导入卷积网络，生成高层抽象语义向量；将所述高层抽象语义向量进行相似度计算，得到一级语义向量；将所述一级语义向量进行序列到序列的转换，输出转换后的语义词向量；将所述语义词向量与特征词向量进行词向量融合，得到二级语义词向量；将所述二级语义词向量与先验集进行对照；当所述二级语义词向量在先验集限定的语义风格因子范围内时，输出所述二级语义词向量，得到图像语义的分析结果。本申请通过创新使用卷积神经网络与混合推荐，使系统对图像的自然语言解析更自然，更贴近我们基于本能的理解能力，并且能对不同的对象呈现不同的表达，即生成个性化语义分析。

Description

一种基于深度学习的图像个性化语义分析方法、装置及设备

技术领域

本发明涉及图像语义分析领域，特别是涉及一种基于深度学习的图像个性化语义分析方法、装置、设备及计算机可读存储介质。

背景技术

随着信息时代的来临，与日俱增的多媒体数据出现在人们日常的工作中、生活中。在人们日常的交流中，图像，音频，视频等作为主要的媒介，其中图像数据是人们信息沟通、情感表达的重要工具。图像数据从视觉上更加直观，情感表达上更加丰富。正是因为这样，人们在互联网上进行上传、下载的图像数据日益增加，这些大量的图像数据需要进行妥善的管理和存储，如何将图像自动的转化为我们熟悉的自然语言，便于各样理解与利用。同时，这些图像数据具有很大的挖掘价值，但它们大都没有标签批注，很难对其进行分类，所以需要对这些数据进行有效的自然语言转译。人工对图像数据进行自然语言标注，不仅消耗大量的时间和精力，同时效率也极其低下。因此，采用自动化的方式对图像数据进行自然语言转译等有效的管理和使用，一直是图像领域研究的人们话题。

近年来，对图像数据进行自然语言转译领域，虽有一些技术方案，比如基于深度学习的图像推荐系统，或图像自然语言描述，可依旧存在图像信号噪声大致使生成结果不准确和无法针对不同对象生成不同的个性化描述的问题。

发明内容

本发明的目的是提供一种基于深度学习的图像个性化语义分析方法、装置、设备及计算机可读存储介质，以解决现有技术中图像语义分析表达生硬，且对不同对象生成的表达类似的问题。

为解决上述技术问题，本发明提供一种基于深度学习的图像个性化语义分析方法，包括：

将原始图像信号导入卷积网络，生成高层抽象语义向量；

将所述高层抽象语义向量进行相似度计算，得到一级语义向量；

将所述一级语义向量进行序列到序列的转换，输出转换后的语义词向量；

将所述语义词向量与特征词向量进行词向量融合，得到二级语义词向量；

将所述二级语义词向量与先验集进行对照；

当所述二级语义词向量在先验集限定的语义风格因子范围内时，输出所述二级语义词向量，得到图像语义的分析结果。

可选的，在将所述二级语义词向量与输出环境的先验集进行对照之后，还包括：

当所述二级语义词向量不全在先验集限定的语义风格因子范围内时，对所述二级语义词向量进行中文分词替换或去掉不在所述先验集范围内的词向量分量，输出处理后的词向量，得到图像语义的分析结果。

当所述二级语义词向量不在先验集限定的语义风格因子范围内时，将所述二级语义词向量舍弃，并报错。

可选的，所述将所述语义词向量与特征词向量进行词向量融合包括：

将所述语义词向量与通过深度学习的推荐系统策略得出的特征词向量进行词向量融合。

可选的，所述将所述一级语义向量进行序列到序列的转换包括：

将所述一级语义向量通过长短时记忆网络进行序列到序列的转换。

可选的，在所述得到图像语义的分析结果之后，还包括：

输出所述二级语义词向量与先验集的匹配程度百分数。

本发明还提供了一种基于深度学习的图像个性化语义分析装置，包括：

卷积神经模块，用于将原始图像信号导入卷积网络，生成高层抽象语义向量；

相似度计算模块，用于将所述高层抽象语义向量进行相似度计算，得到一级语义向量；

序列转换模块，用于将所述一级语义向量进行序列到序列的转换，输出转换后的语义词向量；

融合模块，用于将所述语义词向量与通过深度学习的推荐系统策略得出的特征词向量，进行词向量融合，得到二级语义词向量；

对照模块，用于将所述二级语义词向量与输出环境的先验集进行对照，当所述二级语义词向量在先验集限定的语义风格因子范围内时，输出所述二级语义词向量，得到图像语义的分析结果。

可选的，所述对照模块还用于：

本发明一种基于深度学习的图像个性化语义分析设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述任一项所述的基于深度学习的图像个性化语义分析方法的步骤。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求上述任一项所述的基于深度学习的图像个性化语义分析方法的步骤。

本发明所提供的基于深度学习的图像个性化语义分析方法，通过将原始图像信号导入卷积网络，生成高层抽象语义向量；将所述高层抽象语义向量进行相似度计算，得到一级语义向量；将所述一级语义向量进行序列到序列的转换，输出转换后的语义词向量；将所述语义词向量与特征词向量进行词向量融合，得到二级语义词向量；将所述二级语义词向量与先验集进行对照；当所述二级语义词向量在先验集限定的语义风格因子范围内时，输出所述二级语义词向量，得到图像语义的分析结果。本申请通过在图像数据进行序列到序列的转换前，先通过卷积网络生成可以表示图像的紧致的高层语义信息，提升了语义分析的准确度，同时通过加入混合推荐，使经序列到序列的转换后得到的语义词向量能针对不同对象呈现不同的表达，实现图像的个性化语义分析。本申请还提供了一种具有上述技术优点的装置、设备及计算机可读存储介质。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的基于深度学习的图像个性化语义分析方法的具体实施方式1的流程图；

图2为本发明所提供的基于深度学习的图像个性化语义分析方法的具体实施方式2的流程图；

图3为本发明所提供的基于深度学习的图像个性化语义分析方法的具体实施方式3的流程图；

图4为本发明所提供的基于深度学习的图像个性化语义分析方法的具体实施方式4的流程图；

图5为本发明所提供的基于深度学习的图像个性化语义分析方法的具体实施方式5的流程图；

图6为本发明所提供的基于深度学习的图像个性化语义分析方法的具体实施方式6的流程图；

图7为本发明实施例所提供的基于深度学习的图像个性化语义分析装置的结构框图。

具体实施方式

本申请中的“个性化语义分析方法”，具体是指针对不同对象，能结合对象特点给出不同的语义分析。

在现代生活中，图像数据正越来越多的出现在人们的日常会话与情感表达中，人们在处理如此庞大的图像数据时不可避免地要面对两个问题，一是如此庞大的数据如何归类存储，如果动用人力为图像手动添加标签进行归类恐怕难以胜任，二是如何挖掘这些图像数据背后的价值，通过对人们发送的图像数据的解析，不难得出人们眼中的关注点。

问题一要求系统对图像的语义分析更加精准，能准确分析出图像内容，自动添加标签进行分类，问题二要求系统能够根据具体需求对不同对象导出不同结果，举例来说，使用者想知道现在市场上最受欢迎的宠物狗是什么种类，则系统在分析海量图像数据时，提取的分析结果要在一定程度上凸显图像中的狗的种类的描述，即实现对不同对象的个性化表达。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明的一种具体实施方式，本发明的核心是提供一种基于深度学习的图像个性化语义分析方法，其具体实施方式1的流程图如图1所示，该方法包括：

步骤S101：将原始图像信号导入卷积网络，生成高层抽象语义向量；

在此对卷积网络的优点做简要介绍：

首先要说明的是，与卷积相对的是全连接，网络中的神经元与相邻层上的每个神经元都建立连接，此种网络在处理图像时将每个像素都看成独立的输入点，只会记录每个像素点在图像整体上的位置，而忽略像素点与像素点之间的相对位置关系，这就使得当完全一样的物体图像出现在整幅图片的不同位置时，分析结果是有差别的，显然，这种结果不是我们想要的。

而卷积神经网络通过其特有的局部感受视野与共享权重和偏置，能够实现图像平移不变性，也就是说，图片上某对象的出现在不同位置，也不会影响系统对其的识别，举例来说，两图片中同样包含一茄子的图像，通过卷积神经网络的局部感受视野与共享权重和偏置特性，即使两图片中茄子图像的位置一个在右上角，一个在左下角，也完全不影响系统对其的识别，从而提高了识别的准确度。

除此之外，卷积神经系统会进一步对图像进行池化操作，池化操作的本质是对图片进行成比例的压缩，减轻后续网络处理的压力。

由上述分析可知，本申请中经由卷积神经网络处理过得到的高层抽象语义向量既提高了后续识别的准确度，又进行了压缩，使后面的网络处理压力大幅度减小。

卷积神经网络的具体操作可参考现有技术，本申请中不再详细描述。

步骤S102：将所述高层抽象语义向量进行相似度计算，得到一级语义向量；

此处对语义相似度计算进行简单解释：

任何两个词语的相似度取决于它们的共性和个性，从信息论角度的定义公式为

其中，分子表示描述A，B共性所需要的信息量；分母表示完整地描述A，B所需要的信息量。

总的来说，语义相似度就是两个词语在不同的上下文中可以互相替换使用而不改变文本的句法语义结构的程度。两个词语，如果在不同的上下文中可以互相替换且不改变文本的句法语义结构的可能性越大，二者的相似度就越高，否则相似度就越低。

综上所述，在本申请中，本步骤通过对所述的高层抽象语义向量进行相似度计算，目的是为了去除所述的高层抽象语义向量中的冗余，重复的部分，进一步减轻后续系统计算压力的同时，提高准确度。

相似度计算的具体操作可参考现有技术，本申请中不再详细描述。

步骤S103：将所述一级语义向量进行序列到序列的转换，输出转换后的语义词向量；

图像的自然语言识别，即本申请中的图像的语义分析，其本质和计算机翻译相同，都是从一段序列转换为另一段序列，而图像识别的神经网络学习可以用数学公式概括为：

其中I为图片，S为生成的句子，θ为网络需要学习的参数，这个公式的含义指的是：学习最佳的网络参数θ最大化在给定图片下其生成正确描述的概率。同时由于语言句子的长度是不定长的，所以一般将其概率用链式法则写成：

其中N为句子的长度，S_i为句子的每一个词。

在网络训练过程中，目标可以写为以下的损失函数：

其目标是更新序列到序列转换、卷积神经网络和词嵌入模型的参数，使得每一个正确的词出现的概率最大，也就是让此loss函数越小。

序列到序列转换的方法很多，请参照现有技术，此处不再赘述。

步骤S104：将所述语义词向量与特征词向量进行词向量融合，得到二级语义词向量；

本步骤具体为，将前面得到的语义词向量与表示相同或相似对象的特征词向量进行融合或者匹配，又或者是以所述特征词向量为基准进行筛选，具体操作可根据实际情况确定。

特征词向量的来源是多样的，可以来自预先的人为规定，也可以是系统通过预先设定的规则自行生成的。

步骤S105：将所述二级语义词向量与先验集进行对照；

步骤S106：当所述二级语义词向量在先验集限定的语义风格因子范围内时，输出所述二级语义词向量，得到图像语义的分析结果。

所述先验集是词向量集合，不过是前人已经做好的情感语义相关性，是“结巴(JIEBA)”工具的功能之一，引用成熟的中文词库(前人已经标注词性、词情感的中文词库，比较通用的词库)能计算词的情感，并进行代码归类，当我们选择相应的风格时，就会对词向量进行限定输出。

因此步骤S105和S106具体可为：

1、首先手工选择整体语义输出风格，得出语义风格因子范围；

2、使用JIEBA中文分词器对图片所得的语义词向量进行计算，如果所述二级词向量在限定的语义风格因子范围中，则所述二级词向量为整体输出词向量。

需要注意的是，上述方案仅为举例参考，在实际操作中，不适用JIEBA工具，而能实现类似先验集效果的，也在本申请的保护范围之内。

本实施例通过在图像数据进行序列到序列的转换前，先通过卷积网络生成可以表示图像的紧致的高层语义信息，提升了语义分析的准确度，同时通过加入混合推荐，即先与特征词向量融合，再与先验集对照，使经序列到序列的转换后得到的语义词向量能针对不同对象呈现不同的表达，实现图像的个性化语义分析。

图2为具体实施方式1中的另一种情况，称之为具体实施方式2，请结合图2理解本基于深度学习的图像个性化语义分析方法的具体实施方式：

步骤S201：将原始图像信号导入卷积网络，生成高层抽象语义向量；

步骤S202：将所述高层抽象语义向量进行相似度计算，得到一级语义向量；

步骤S203：将所述一级语义向量进行序列到序列的转换，输出转换后的语义词向量；

步骤S204：将所述语义词向量与特征词向量进行词向量融合，得到二级语义词向量；

步骤S205：将所述二级语义词向量与先验集进行对照；

步骤S201、S202、S203、S204及S205分别对应具体实施方式1中的S101、S102、S103、S104及S105，在此不再对其效果进一步赘述。

步骤S206：当所述二级语义词向量不全在先验集限定的语义风格因子范围内时，对所述二级语义词向量进行中文分词替换或去掉不在所述先验集范围内的词向量分量，输出处理后的词向量，得到图像语义的分析结果。

本步骤为所述二级语义词向量同先验集对比有偏差的情况，本情况应对不在限定的语义风格因子范围内的向量分量进行中文分词替换或者去掉该分量的操作，具体情况可按照实际需求变更。

本实施例为具体实施例1的另一种情况，有益效果相同故在此不做赘述。

图3为具体实施方式1中的又一种情况，称之为具体实施方式3，请结合图3理解本基于深度学习的图像个性化语义分析方法的具体实施方式：

步骤S301：将原始图像信号导入卷积网络，生成高层抽象语义向量；

步骤S302：将所述高层抽象语义向量进行相似度计算，得到一级语义向量；

步骤S303：将所述一级语义向量进行序列到序列的转换，输出转换后的语义词向量；

步骤S304：将所述语义词向量与特征词向量进行词向量融合，得到二级语义词向量；

步骤S305：将所述二级语义词向量与先验集进行对照；

步骤S301、S302、S303、S304及S305分别对应具体实施方式1中的S101、S102、S103、S104及S105，在此不再对其有益效果进一步赘述。

步骤S306：当所述二级语义词向量不在先验集限定的语义风格因子范围内时，将所述二级语义词向量舍弃，并报错。

本步骤为所述二级语义词向量同先验集对比后不匹配的情况，该种情况下需要向外界报错，等候问题排查。

需要注意的是，此处的“不在先验集限定的语义风格因子范围内”并非单指所述二级语义词向量同先验集完全不匹配的情况，也可以预先设定阈值，当所述二级词向量与先验集的匹配度低于阈值时，即可判定“所述二级语义词向量不在先验集限定的语义风格因子范围内”，并进入本步骤。

如图4为本发明所提供的基于深度学习的图像个性化语义分析方法的具体实施方式4的流程图所示，该方法包括：

步骤S401：将原始图像信号导入卷积网络，生成高层抽象语义向量；

步骤S402：将所述高层抽象语义向量进行相似度计算，得到一级语义向量；

步骤S403：将所述一级语义向量进行序列到序列的转换，输出转换后的语义词向量；

步骤S404：将所述语义词向量与通过深度学习的推荐系统策略得出的特征词向量进行词向量融合；

此处的特征词向量为系统通过深度学习自动根据网络相似图片进行词向量筛选后得到的特征词向量，换句话说，此处的特征词向量的得出分成两步：

1.系统通过深度学习确定待分析图片的大量相似图片；

2.分析获得上述大量相似图片的词向量后，取其词向量的交集作为特征词向量。

需要注意的是，上述获得特征词向量的获得手段不一定为取交集，也可以留一定的误差范围，具体设置需结合实际情况决定。

步骤S405：将所述二级语义词向量与先验集进行对照；

步骤S406：当所述二级语义词向量在先验集限定的语义风格因子范围内时，输出所述二级语义词向量，得到图像语义的分析结果。

本实施例运用了深度学习通过系统自动筛选相识图片，进行词向量矫正，省去了人工筛选，大大方便了操作，同时由于数据量十分庞大，也提升了语义分析准确度。

如图5为本发明所提供的基于深度学习的图像个性化语义分析方法的具体实施方式5的流程图所示，该方法包括：

步骤S501：将原始图像信号导入卷积网络，生成高层抽象语义向量；

步骤S502：将所述高层抽象语义向量进行相似度计算，得到一级语义向量；

步骤S503：将所述一级语义向量通过长短时记忆网络进行序列到序列的转换，输出转换后的语义词向量；

简单介绍一下长短时记忆网络：

最基本的序列到序列的转换是通过两个循环神经网络实现的，而两个循环神经网络的优化替代即为递归神经网络，但递归神经网络同样有相应的问题，即随着输入的增多，难以学习到连接之间的关系，产生长依赖问题，进而会发生梯度消失或者梯度爆炸现象。

而长短时记忆网络可以依靠自身的记忆细胞和门机制克服上述问题，因此，使用长短时记忆网络可以更准确地处理数据量更大的序列到序列的转换。

步骤S504：将所述语义词向量与特征词向量进行词向量融合；

步骤S505：将所述二级语义词向量与先验集进行对照；

步骤S506：当所述二级语义词向量在先验集限定的语义风格因子范围内时，输出所述二级语义词向量，得到图像语义的分析结果。

本实施例采用了长短时记忆网络实现序列到序列的转换，使系统可以更准确地处理数据量更大的序列到序列的转换。

如图6为本发明所提供的基于深度学习的图像个性化语义分析方法的具体实施方式6的流程图所示，该方法包括：

步骤S601：将原始图像信号导入卷积网络，生成高层抽象语义向量；

步骤S602：将所述高层抽象语义向量进行相似度计算，得到一级语义向量；

步骤S603：将所述一级语义向量进行序列到序列的转换，输出转换后的语义词向量；

步骤S604：将所述语义词向量与特征词向量进行词向量融合，得到二级语义词向量；

步骤S605：将所述二级语义词向量与先验集进行对照；

步骤S606：当所述二级语义词向量在先验集限定的语义风格因子范围内时，输出所述二级语义词向量，得到图像语义的分析结果。

步骤S601、S602、S603、S604、S605及S606分别对应具体实施方式1中的S101、S102、S103、S104、S105及S106，在此不再进一步赘述。

步骤S607：输出所述二级语义词向量与先验集的匹配程度百分数。

此步骤输出的匹配程度百分数可在输出后保存起来，在日后对系统升级，故障排查时作为重要参考，也可另设自检系统，将匹配程度百分数作为目标函数，让此函数函数值越大越好。

本发明所提供的基于深度学习的图像个性化语义分析方法，通过将原始图像信号导入卷积网络，生成高层抽象语义向量；将所述高层抽象语义向量进行相似度计算，得到一级语义向量；将所述一级语义向量进行序列到序列的转换，输出转换后的语义词向量；将所述语义词向量与特征词向量进行词向量融合，得到二级语义词向量；将所述二级语义词向量与先验集进行对照；当所述二级语义词向量在先验集限定的语义风格因子范围内时，输出所述二级语义词向量，得到图像语义的分析结果。本申请通过在图像数据进行序列到序列的转换前，先通过卷积网络生成可以表示图像的紧致的高层语义信息，提升了语义分析的准确度，同时通过加入混合推荐，使经序列到序列的转换后得到的语义词向量能针对不同对象呈现不同的表达，实现图像的个性化语义分析。

由上述分析易知，具体实施方式1-3为同一流程的不同情况，具体实施方式4-6各自为不同的流程，因此具体实施方式4-6之间相互组合或具体实施方式4-6与具体实施方式2或具体实施方式3的组合也在本发明的保护范围之内。

下面对本发明实施例提供的基于深度学习的图像个性化语义分析装置进行介绍，下文描述的基于深度学习的图像个性化语义分析装置与上文描述的基于深度学习的图像个性化语义分析方法可相互对应参照。

图7为本发明实施例提供的基于深度学习的图像个性化语义分析装置的结构框图，参照图7基于深度学习的图像个性化语义分析装置可以包括：

卷积神经模块100，用于将原始图像信号导入卷积网络，生成高层抽象语义向量；

相似度计算模块200，用于将所述高层抽象语义向量进行相似度计算，得到一级语义向量；

序列转换模块300，用于将所述一级语义向量进行序列到序列的转换，输出转换后的语义词向量；

融合模块400，用于将所述语义词向量与通过深度学习的推荐系统策略得出的特征词向量，进行词向量融合，得到二级语义词向量；

对照模块500，用于将所述二级语义词向量与输出环境的先验集进行对照，当所述二级语义词向量在先验集限定的语义风格因子范围内时，输出所述二级语义词向量，得到图像语义的分析结果。

作为一种具体实施方式，本发明所提供的基于深度学习的图像个性化语义分析装置中，上述对照模块具体用于：

作为一种具体实施方式，本发明所提供的基于深度学习的图像个性化语义分析装置中，上述融合模块具体用于：

作为一种具体实施方式，本发明所提供的基于深度学习的图像个性化语义分析装置中，上述序列转换模块具体用于：

输出所述二级语义词向量与先验集的匹配程度百分数。

本实施例的基于深度学习的图像个性化语义分析装置用于实现前述的基于深度学习的图像个性化语义分析方法，因此基于深度学习的图像个性化语义分析装置中的具体实施方式可见前文中的基于深度学习的图像个性化语义分析方法的实施例部分，例如，卷积神经模块100，相似度计算模块200，序列转换模块300，融合模块400，分别用于实现上述基于深度学习的图像个性化语义分析方法中步骤S101，S102，S103和S104，对照模块500用于实现上述基于深度学习的图像个性化语义分析方法中步骤S105和S106所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

本发明所提供的基于深度学习的图像个性化语义分析装置，通过将原始图像信号导入卷积网络，生成高层抽象语义向量；将所述高层抽象语义向量进行相似度计算，得到一级语义向量；将所述一级语义向量进行序列到序列的转换，输出转换后的语义词向量；将所述语义词向量与特征词向量进行词向量融合，得到二级语义词向量；将所述二级语义词向量与先验集进行对照；当所述二级语义词向量在先验集限定的语义风格因子范围内时，输出所述二级语义词向量，得到图像语义的分析结果。本装置在通过序列到序列进行图像语义转换前，先令图像数据通过卷积神经模块进行处理，得到紧致的高层语义信息，使之后生成的语义信息更准确，另外，将进行过序列到序列转换生成的语义词向量，先导入融合模块，初步提升其针对不同对象的个性化表达，再将其导入对照模块，与预先人为规定的先验集进行比对处理，进一步提升了图像语义分析的个性化。综上所述，使用本设备进行图像的语义分析，既可提升图像语义分析的准确度，又可生成个性化的语义分析结果。

本发明还提供了一种设备，所述系统内各组成部分可分工协作执行上述任一实施例中所介绍的基于深度学习的图像个性化语义分析方法。其与内容可参照现有技术，在此不再进行展开描述。

本发明另外提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一发明实施例中所介绍的基于深度学习的图像个性化语义分析方法。其余内容可以参照现有技术，在此不再进行展开描述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的基于深度学习的图像个性化语义分析方法、装置、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims

1.一种基于深度学习的图像个性化语义分析方法，其特征在于，包括：

将原始图像信号导入卷积网络，生成高层抽象语义向量；

将所述二级语义词向量与先验集进行对照；

当所述二级语义词向量在先验集限定的语义风格因子范围内时，输出所述二级语义词向量，得到图像语义的分析结果;

所述将所述语义词向量与特征词向量进行词向量融合包括：

将所述语义词向量与通过深度学习的推荐系统策略得出的特征词向量，进行词向量融合;

其中，所述特征词向量为通过深度学习自动根据网络相似图片进行词向量筛选后得到的特征词向量。

2.如权利要求1所述的基于深度学习的图像个性化语义分析方法，其特征在于，在将所述二级语义词向量与先验集进行对照之后，还包括：

3.如权利要求1所述的基于深度学习的图像个性化语义分析方法，其特征在于，在将所述二级语义词向量与先验集进行对照之后，还包括：

4.如权利要求1所述的基于深度学习的图像个性化语义分析方法，其特征在于，所述将所述一级语义向量进行序列到序列的转换包括：

5.如权利要求1、2、4中任一项所述的基于深度学习的图像个性化语义分析方法，其特征在于，在所述得到图像语义的分析结果之后，还包括：

输出所述二级语义词向量与先验集的匹配程度百分数。

6.一种基于深度学习的图像个性化语义分析装置，其特征在于，包括：

对照模块，用于将所述二级语义词向量与输出环境的先验集进行对照，当所述二级语义词向量在先验集限定的语义风格因子范围内时，输出所述二级语义词向量，得到图像语义的分析结果；

7.如权利要求6所述的基于深度学习的图像个性化语义分析装置，其特征在于，所述对照模块还用于：

8.一种基于深度学习的图像个性化语义分析设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述的基于深度学习的图像个性化语义分析方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的基于深度学习的图像个性化语义分析方法的步骤。