CN101261646A - 一种选择图像的方法及装置 - Google Patents

Abstract

本发明公开了一种选择图像的方法及装置，用于实现根据用户的指令选择与该指令所表示的情感有关的图像，以提高用户体验。所述方法为：获得用户输入的指令；对所述指令进行分析，并获得对应的情感类别；根据获得的情感类别及情感类别与图像的对应关系选择图像。本发明还公开了与选择图像的方法相应的装置。

Description

一种选择图像的方法及装置

技术领域

本发明涉及计算机及多媒体处理领域，特别是涉及选择图像的方法及装置。

背景技术

随着信息技术的快速发展、信息高速公路的建设和互联网技术的推广应用，人们正快步走近信息化社会。在信息化社会中，网络为用户提供了大量的可用资源，如文本、图像、视频、音频等。互联网资源也成为教育资源库建设的重要来源。但是互联网上的信息种类繁多，排列错综复杂，这就给相应的信息检索带来一定的困难。近几年来，基于内容的图像分类检索技术有了长足的发展，主要是基于低层次视觉特征的图像检索。在基于内容的多媒体信息分类检索技术研究中，基于理解的文本分类检索已经有比较好的研究成果，但基于视觉特征和语义特征的图像、音视频分类检索尚处于研究的初始阶段。目前，在图像分类方面，还没有比较成熟的方法能够对所有的图像类型都进行有效的分类。

图像分类就是利用计算机对图像进行定量分析，把图像或图像中的每个像元或区域划归为若干个类别中的某一种，以代替人的视觉判读。图像分类方法可分为：图像空间的分类方法——利用图像的灰度、颜色、纹理、形状、位置等底层特征对图像进行分类。

但目前各种图像分类方法中，尚无通过图像反映的情感进行图像分类的解决方案，以及无基于情感图像的应用。

发明内容

本发明实施例提供一种选择图像的方法及装置，用于实现根据用户的指令选择与该指令所表示的情感有关的图像，以提高用户体验。

一种选择图像的方法，包括以下步骤：

获得用户输入的指令；

对所述指令进行分析，并获得对应的情感类别；

根据获得的情感类别及情感类别与图像的对应关系选择图像。

一种用于选择图像的装置，包括：

接口模块，用于获得用户输入的指令；

分析模块，用于对所述指令进行分析，并获得对应的情感类别；

选择模块，用于根据获得的情感类别及情感类别与图像的对应关系选择图像。

本发明实施例通过提取图像中的颜色或颜色相间所构成的形状来分析该图像反映的情感，并将其归入相应的情感类别，实现了依据情感特征进行图像分类。适用于多种与情感有关的应用，以提高用户体验。

附图说明

图1为本发明实施例中用于图像分类的装置的结构图；

图2为本发明实施例中用于图像分类的装置的详细结构图；

图3为本发明实施例中用于选择图像的装置的结构图；

图4为本发明实施例中图像分类的主要方法流程图；

图5为本发明实施例中图像分类的具体方法流程图；

图6为本发明实施例中选择图像的主要方法流程图；

图7为本发明实施例中关于字符串的选择图像的具体方法流程图；

图8为本发明实施例中表达“柔和”情感的图片的示意图；

图9为本发明实施例中关于菜单选项的选择图像的具体方法流程图。

具体实施方式

本发明实施例通过提取图像中的颜色或颜色相间所构成的形状来分析该图像反映的情感，并将其归入相应的情感类别，实现了依据情感特征进行图像分类。

本发明实施例中的图像包括静态的图片和动态的视频图像等。多媒体文件包括图像文件和音频类文件(如歌曲)等。本发明实施例中的形状包括线条和线条围成的多边形。本发明实施例中的样本包括颜色类样本(称为样本颜色)、形状类样本(称为样本形状)和词语类样本(称为样本词)。

本实施例主要包括两个环节，一是根据用户的指令获得用户期望的情感类别，二是根据该情感类别选择相应的图像。其中需要预先建立情感类别与图像的对应关系，下面先介绍该对应关系的建立过程。

参见图1，本实施例中用于图像分类的装置100主要包括提取模块101、匹配模块102和分类模块103。

提取模块101用于获得图像内的颜色和/或颜色相间所构成的形状。可根据分类时采用的机制确定提取颜色、形状或提取颜色和形状。

匹配模块102用于将所述颜色和/或形状与样本颜色和/或样本形状进行匹配。具体应用时，根据提取模块101提取到的颜色、形状或提取颜色和形状与对应的样本进行匹配。

分类模块103用于在匹配成功时根据样本颜色和/或样本形状对应的情感类别，将所述图像归入该情感类别，同时形成了图像与归入的情感类别的对应关系。

装置100还可包括用于存储样本、图像和图像与情感类别的对应关系等的存储模块，参见图2所示。该存储模块可以是软盘、硬盘、光盘和闪存等存储介质。

装置100实现了将图像归入情感类别，有了这种基于情感的分类，可以在多种应用场景中采用该装置，如进一步根据图像对应的情感，输出与该情感有关的多媒体文件，或者如为用户提供输入接口，根据用户输入的情感方面的词语来选择图像。

针对根据用户输入的情感方面的词语来选择图像的情况，本实施例提供一种用于选择图像的装置300，参见图3所示，其包括存储模块301、接口模块302、分析模块303和选择模块304。装置300可具体是一种音乐播放器、图片浏览器或视频播放器中的插件等。

存储模块301用于保存图像与归入的情感类别的对应关系，该对应关系是根据图像内的颜色和/或颜色相间所构成的形状，确定所述图像归入的情感类别，并生成了该图像与归入的情感类别的对应关系。存储模块301可以与装置100中的存储模块是同一模块。

接口模块302用于获得用户输入的指令。该指令包括菜单的选择和字符串的输入。字符串包括中文和英文等与情感有关词语，视实际应用中用户的语言习惯而定。

分析模块303用于对所述指令进行分析，并获得对应的情感类别。当指令是菜单的选择时，需要对菜单命令进行分析；当指令是字符串的输入时，需要对字符串进行语义分析。对所述字符串进行语义分析，并获得对应的情感类别。分析模块303具体用于对所述字符串进行分词，得到至少一个词；将得到的词与样本词进行匹配，确定匹配成功的样本词；根据确定的样本词及样本词与情感类别的对应关系，获得确定的样本词所对应的情感类别，并进一步获得所述字符串对应的情感类别。

选择模块304用于根据获得的情感类别及情感类别与图像的对应关系选择图像。

以上主要介绍了本发明实施例中的装置部分，下面对具体实现过程进行介绍。

参见图4，本实施例中图像分类的主要方法流程如下：

步骤401：获得图像内的颜色和/或颜色相间所构成的形状。可根据分类时采用的机制确定提取颜色、形状或提取颜色和形状。

步骤402：将所述颜色和/或形状与样本颜色和/或样本形状进行匹配。具体应用时，根据提取到的颜色、形状或提取颜色和形状与对应的样本进行匹配。

步骤403：在匹配成功时根据样本颜色和/或样本形状对应的情感类别，将所述图像归入该情感类别，同时形成了图像与归入的情感类别的对应关系。

当没有与图像匹配成功的样本时，结束流程，也可将该图像作为一个样本，人为的归入一个情感类别，或为其新建一情感类别。

本实施例以3个情感类别为例进行说明，例如，依据人类的视觉体验，将红色和黄色作为“热烈”情感类别的样本颜色，将蓝色和绿色作为“柔和”情感类别的样本颜色，将黑色和白色作为“压抑”情感类别的样本颜色。

参见图5，关于颜色的情感分类的实现方法流程如下：

步骤501：获得一帧图像内的颜色。

步骤502：一帧图像内的颜色可能非常丰富，可通过各颜色占该帧图像数据的百分比和统一相似颜色等手段确定至少一种主要颜色。例如，将深绿(如RGB格式：0，106，3)、绿(如RGB格式：0，255，0)和浅绿(如RGB格式：5，255，0)都统一为绿，若只有深绿和浅绿，则将两者的色度取平均，得到绿色，或者依据两者占图像数据量的百分比取百分比较大的颜色。将占图像数据量百分比最大的颜色确定为主要颜色，也可确定更多的主要颜色。

步骤503：将确定的主要颜色与样本颜色进行匹配。例如，主要颜色为浅绿色，确定浅绿分别到红、黄、蓝、绿、黑和白的距离，最低的距离对应的样本颜色即为匹配到的颜色，如匹配到绿色。或者，预先设定相似度阈值，浅绿分别到红、黄、蓝、绿、黑和白的距离(相当于相似度)是否有大于相似度阈值，符合条件的距离对应的样本颜色即为匹配到的颜色。

步骤504：在匹配成功时根据样本颜色对应的情感类别，确定所述图像对应该情感类别。

步骤505：可能存在主要颜色与多个样本颜色匹配成功的情况，尤其是多个样本颜色对应不同的情感类别，至少将图像归入对应的情感类别中的一个。此时有多种处理方式，如将该图像归入匹配到的多个情感类别；或者将该图像归入其中一个情感类别。归入其中之一时，可以有多种选择方式，如随机选择，或者如选择靠近“热烈”情感类别的一项，或者如选择靠近“压抑”情感类别的一项，或者如选择中间的情感类别(如“柔和”情感类别)；还可以为各情感类别设定优先级，优先级越高越靠近“热烈”情感类别，将对应的多个情感类别的优先级取平均值，根据该平均值与各优先级的距离确定归入的情感类别。

根据形状的情感类别的归类与依据颜色的方法类似，比如，完全是直线的形状对应“压抑”情感类别，完全是曲线的形状对应“热烈”情感类别，两者之间的形状都对应“柔和”情感类别。

当同时依据颜色和形状来进行图像分类时，如果匹配的结果对应同一情感类别，则可将图像直接归入该情感类别；如果匹配的结果对应不同的情感类别，则处理方式可参见步骤505中的描述。

关于图像的情感分类方法不限于此，可对图像内容作深入分析。如通过模式识别获知图像中的具体内容，如其包含有大海、沙滩和白云等，本实施例将这类自然景观都归为“柔和”情感类别。如果分析得到图像中包含有人，可以进一步分析人脸表情或动作，如大笑归为“热烈”情感类别，微笑归为“柔和”情感类别，悲伤和哭泣归为“压抑”情感类别等。

针对根据用户输入的情感方面的词语来选择图像的情况，参见图6所示，本实施例中选择图像的主要方法流程如下：

步骤601：获得用户输入的指令。

步骤602：对所述指令进行分析，并获得对应的情感类别。

步骤603：根据获得的情感类别及情感类别与图像的对应关系选择图像。

其中，用户输入指令的形式包括菜单的选择和/或字符串的输入。

下面首先针对字符串的语义分析过程来详细描述选择图像的实现过程，参见图7所示，具体流程如下：

步骤701：通过与用户的接口获得用户输入的字符串。例如，字符串为“充满生机的”。

步骤702：根据词性对获得的字符串进行分词，得到至少一个词。例如，分词后得到“充满”和“生机的”。

主要是需要获得字符串中与情感有关的词，可以进一步去掉与情感无关的词，如去掉字符串中的代词。

步骤703：将得到的词与样本词进行匹配，确定匹配成功的样本词。样本词中“柔和”类如“生机”、“柔和”、“舒缓”和“轻松”等，“热烈”类如“热情”、“奔放”和“激情”等，“压抑”类如“压抑”、“郁闷”和“阴暗”等。此处的匹配主要指模糊匹配，如“生机”与“生机的”部分一致，即确定匹配成功。本实施例将上述与情感有关的词称为情感词。

步骤704：根据确定的样本词及样本词与情感类别的对应关系，获得确定的样本词所对应的情感类别，并进一步获得所述字符串对应的情感类别。例如，“生机”与“生机的”匹配成功，“生机”对应“柔和”情感类别，则“生机的”也对应“柔和”情感类别。

用户输入的字符串还包括词“充满”，该词虽然与情感无关，但影响着情感类别的确定，本实施例将这类词称为意愿词，如肯定类的意愿词：“充满”、“富有”和“是”等，否定类的意愿词：“不”、“非”和“未”等。若是字符串包含了否定类的意愿词，则需要确定与包含的情感词相反的情感词，或者确定与包含的情感词对应的情感类别相反的情感类别。本实施例中认为“柔和”情感类别和“热烈”情感类别的相反情感类别是“压抑”情感类别，“压抑”情感类别的相反情感类别是“柔和”情感类别。

步骤705：进一步输出选择的图像，输出的“柔和”情感类别的图像参见图8所示。输出的方式包括显示和刻录等。

在步骤701中，用户输入的字符串不限于情感类词语，也可以是环境类等其它词语，如“天气晴朗”，则可依据“晴朗”对应到“柔和”情感类别，如“乌云”则可对应到“压抑”情感类别等，只需预先建立关于环境的样本词即可。

当用户输入的指令是菜单选项时，有多种具体应用场景，如一种是该菜单中的选项为已设定的情感类别，形如：热烈、柔和和压抑等。如另一种是与其它的功能的选项结合，比如用户在播放音乐时选择关联图像，则在播放音乐的同时选择并输出与该音乐所表达的情感有关的背景图像；再比如，用户装有光照感应器，并选择光照与图像关联，则根据光照强调选择对应的图像，如强光对应“热烈”情感类别等，对于强光和弱光的界定可通过设定门限值来实现。下面以播放音乐场景为例，详细介绍播放音乐时选择图像的方法，参见图9所示，具体实现流程如下：

步骤901：用户打开音乐播放器。

步骤902：用户选择在播放音乐的同时输出图像。该选项需要预先设置在播放器中。用户可以每次播放音乐时均执行此步骤，也可以在一次设置后，在下次播放音乐时继续采用该设置，本实施例中默认采用关联图像的选项。

步骤903：确定正在播放的音乐。

步骤904：对当前音乐进行分析，获知其表达的情感，并对应到预设的情感类别。

步骤905：根据获得的情感类别选择与之对应的图像。

步骤906：输出所选择的图像。

在步骤904中，对当前音乐进行分析的过程如下：

从音乐文件的音频数据中提取播放速度、力度、节奏、旋律、音色等各种音乐基本元素；将从各音频数据中提取出的音乐基本元素分别与预设的各心理模型进行匹配，将解码后的音频数据对应到匹配的心理模型所对应的情感类别，并存储情感类别与该音乐文件的对应关系。以节奏为例，获得音乐与情感类别的对应关系的过程如下：

以帧为单位接收音频解码后的音频数据，对当前接收到的一帧音频数据(包括1024个采样点的时域信号)使用FFT变换将信号从时域编换到频域，得到频域复信号a_n+jb_n，n为大于等于0且小于等于511的正整数。

计算频域复信号的幅度 $A\left[n\right]=\sqrt{{a_n}^2+{b_n}^2}.$

按照预先划分的多个子带，分别计算每个子带的幅度，作为瞬时能量。

例如，可以按照50～200、200～400、400～800、800～1600、1600～3200、3200Hz以上，共划分6个子带。

实际应用中，瞬时能量可按照如下公式来计算： $\mathrm{EI}\left[i\right]=\frac{1}{W_i}\underset{n=S_i}{\overset{S_{i+1}}{\mathrm{\Σ}}}A\left[n\right],$ 其中，EI[i]表示第i个子带的瞬时能量、W_i表示第i个子带的宽度、S_i表示第i个子带的起始谱线，i为大于1的正整数。

每次执行每个子带的幅度计算之后，均存储当前帧的各子带瞬时能量，并按照先进先出的原则，删除最先存储的一个帧的各子带瞬时能量。

读取已存储的m个帧的各子带的瞬时能量EO[i]，分别计算m个帧在每个子带的瞬时能量EI[i]的平均值EA[i]和方差。

其中，m为1秒内缓存在历史能量缓冲子单元2054的帧数量，m的取值通常为43。

实际应用中，第i个子带的瞬时能量平均值EA[i]和第i个子带的瞬时能量方差EV[i]可以分别按照如下公式来计算： $\mathrm{EA}\left[i\right]=\frac{1}{M}\underset{j=0}{\overset{m-1}{\mathrm{\Σ}}}E{O}_j\left[i\right],$ j为大于等于1且小于等于m的正整数、EO_j[i]为读取的第j个帧的第i个子带的瞬时能量； $\mathrm{EV}\left[i\right]=\frac{1}{m}\underset{j=0}{\overset{m-1}{\mathrm{\Σ}}}{\left(E{O}_j\right[i]-\mathrm{EA}[i\left]\right)}^2.$

根据计算得到的EA[i]和EV[i]，判断当前帧每个子带的瞬时能量EI[i]是否为峰值能量，如果是，则将判断为峰值能量的EI[i]确定为提取的音乐基本元素并输出，即实现了音乐基本元素中节奏的提取。

其中，当EI[i]大于C×EA[i]、且EV[i]大于V时，判断EI[i]为峰值能量，C和V是两个由实验确定的常数，通常情况下，C＝250，V＝150。

用于实现本发明实施例的软件可存储于软盘、硬盘、光盘和闪存等存储介质中。

本发明实施例通过提取图像中的颜色或颜色相间所构成的形状来分析该图像反映的情感，并将其归入相应的情感类别，实现了依据情感特征进行图像分类。适用于多种与情感有关的应用，以提高用户体验。本发明实施例具体提供了用户输入情感类词语来选择已进行情感分类的图像的实现方式，及输出与图像表达的情感有关的多媒体文件。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若对本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (13)

1、一种选择图像的方法，其特征在于，包括以下步骤：

获得用户输入的指令；

对所述指令进行分析，并获得对应的情感类别；

根据获得的情感类别及情感类别与图像的对应关系选择图像。

2、如权利要求1所述的方法，其特征在于，用户输入指令的形式包括菜单的选择和/或字符串的输入。

3、如权利要求2所述的方法，其特征在于，当用户输入的指令为菜单的选择时，需要对菜单选项进行命令分析；当用户输入的指令为字符串的输入时，需要对字符串进行语义分析。

4、如权利要求3所述的方法，其特征在于，对所述字符串进行语义分析并获得对应的情感类别的步骤包括：

对所述字符串进行分词，得到至少一个词；

将得到的词与样本词进行匹配，确定匹配成功的样本词；

根据确定的样本词及样本词与情感类别的对应关系，获得确定的样本词所对应的情感类别，并进一步获得所述字符串对应的情感类别。

5、如权利要求4所述的方法，其特征在于，分词后得到的词包括意愿词和情感词；将情感词与样本词进行匹配并确定样本词所对应的情感类别，进一步根据意愿词和确定的样本词所对应的情感类别，获得所述字符串对应的情感类别。

6、如权利要求1至5中任一项所述的方法，其特征在于，所述情感类别与图像的对应关系包括手动建立或自动建立。

7、如权利要求6所述的方法，其特征在于，自动建立情感类别与图像的对应关系的步骤包括：

获得图像内的颜色和/或颜色相间所构成的形状；

将所述颜色和/或形状与样本颜色和/或样本形状进行匹配；

在匹配成功时根据样本颜色和/或样本形状对应的情感类别，将所述图像归入该情感类别。

8、如权利要求7所述的方法，其特征在于，将所述颜色与样本颜色进行匹配并匹配成功的步骤包括：确定所述颜色与样本颜色的相似度，并确定该相似度大于预设的相似度阈值。

9、如权利要求7所述的方法，其特征在于，所述样本颜色为多个；将所述颜色与样本颜色进行匹配并匹配成功的步骤包括：确定所述颜色到各样本颜色的距离，距离最近的样本颜色为匹配成功的样本颜色。

10、如权利要求7所述的方法，其特征在于，将所述形状与样本形状进行匹配并匹配成功的步骤包括：确定所述形状与样本形状的相似度，并确定该相似度大于预设的相似度阈值。

11、如权利要求7所述的方法，其特征在于，当所述颜色与样本颜色对应到第一情感类别、所述形状与样本形状对应到第二情感类别时，根据第一情感类别和第二情感类别的优先级确定所述图像归入该情感类别。

12、如权利要求11所述的方法，其特征在于，进一步输出选择的图像。

13、一种用于选择图像的装置，其特征在于，包括：

接口模块，用于获得用户输入的指令；

分析模块，用于对所述指令进行分析，并获得对应的情感类别；

选择模块，用于根据获得的情感类别及情感类别与图像的对应关系选择图像。

Images