CN101271528A - 一种输出图像的方法及装置 - Google Patents

Abstract

本发明公开了一种输出图像的方法，用于实现在输出图像时，根据图像表达的情感播放与这种情感相关的多媒体内容，提高了用户体验。所述方法为：分析获得的图像的内容，并确定该图像对应的情感类别；根据所述图像对应的情感类别及情感类别与多媒体内容的对应关系，确定需要的多媒体内容；在输出所述图像时输出确定的多媒体内容。本发明还公开了与输出图像的方法对应的装置。

Description

一种输出图像的方法及装置

技术领域

本发明涉及计算机及多媒体处理领域，特别是涉及输出图像的方法及装置。

背景技术

随着信息技术的快速发展、信息高速公路的建设和互联网技术的推广应用，人们正快步走近信息化社会。在信息化社会中，网络为用户提供了大量的可用资源，如文本、图像、视频、音频等。互联网资源也成为教育资源库建设的重要来源。但是互联网上的信息种类繁多，排列错综复杂，这就给相应的信息检索带来一定的困难。近几年来，基于内容的图像分类检索技术有了长足的发展，主要是基于低层次视觉特征的图像检索。在基于内容的多媒体信息分类检索技术研究中，基于理解的文本分类检索已经有比较好的研究成果，但基于视觉特征和语义特征的图像、音视频分类检索尚处于研究的初始阶段。目前，在图像分类方面，还没有比较成熟的方法能够对所有的图像类型都进行有效的分类。

图像分类就是利用计算机对图像进行定量分析，把图像或图像中的每个像元或区域划归为若干个类别中的某一种，以代替人的视觉判读。图像分类方法可分为：图像空间的分类方法——利用图像的灰度、颜色、纹理、形状、位置等底层特征对图像进行分类。

但目前各种图像分类方法中，尚无通过图像反映的情感进行图像分类的解决方案，以及无基于情感图像的应用。

发明内容

本发明实施例提供一种输出图像的方法及装置，用于实现在显示图像时，根据图像表达的情感播放与之相关的多媒体内容，以提高用户体验。

一种输出图像的方法，包括以下步骤：

分析获得的图像的内容，并确定该图像对应的情感类别；

根据所述图像对应的情感类别及情感类别与多媒体内容的对应关系，确定需要的多媒体内容；

在输出所述图像时输出确定的多媒体内容。

一种用于输出图像的装置，包括：

归类模块，用于分析获得的图像的内容，并将该图像归入相应的情感类别；

控制模块，用于根据所述图像归入的情感类别及情感类别与多媒体内容的对应关系，确定需要的多媒体内容；

输出模块，用于在输出所述图像时输出确定的多媒体内容。

本发明实施例通过分析图像的内容获知了图像所表达的情感，并输出与该情感有关的多媒体内容，以提高用户体验。

附图说明

图1为本发明实施例中用于图像分类的装置的结构图；

图2为本发明实施例中用于输出图像的装置的结构图；

图3为本发明实施例中用于输出图像的装置的详细结构图；

图4为本发明实施例中图像分类的主要方法流程图；

图5为本发明实施例中图像分类的具体方法流程图；

图6为本发明实施例中输出图像的主要方法流程图；

图7为本发明实施例中输出图像的具体方法流程图；

图8为本发明实施例中表达“柔和”情感的图片的示意图。

具体实施方式

本发明实施例通过提取图像中的颜色或颜色相间所构成的形状来分析该图像反映的情感，并将其归入相应的情感类别，实现了依据情感特征进行图像分类。

本发明实施例中的图像包括静态的图片和动态的视频图像等。多媒体内容包括文字、动画(如flash格式)、视频类和音频类(如歌曲)等。本发明实施例中的形状包括线条、图形和轮廓等。本发明实施例中的样本包括颜色类样本(称为样本颜色)、形状类样本(称为样本形状)和词语类样本(称为样本词)。

本发明实施例主要包括两个环节，一是分析图像从而得到相应的情感类别，二是输出与该情感类别有关的多媒体内容。下面首先介绍分析图像从而得到相应的情感类别的过程。

参见图1，本实施例中用于图像分类的装置100主要包括提取模块101、匹配模块102和分类模块103。

提取模块101用于获得图像内的颜色和/或形状。可根据分类时采用的机制确定提取颜色、形状或提取颜色和形状。

匹配模块102用于将所述颜色和/或形状与对应的样本颜色和/或样本形状进行匹配。具体应用时，根据提取模块101提取到的颜色、形状或提取颜色和形状与对应的样本进行匹配。

分类模块103用于在匹配成功时根据样本颜色和/或样本形状对应的情感类别，将所述图像归入该情感类别，同时形成了图像与归入的情感类别的对应关系。

装置100还可包括用于存储样本、图像和图像与情感类别的对应关系等的存储模块，本图未示出。该存储模块可以是软盘、硬盘、光盘和闪存等存储介质。

装置100实现了将图像归入情感类别，有了这种基于情感的分类，可以在多种应用场景中采用该装置，如进一步根据图像对应的情感，输出与该情感有关的多媒体内容，或者如为用户提供输入接口，根据用户输入的情感方面的词语来选择图像。

针对输出与该情感有关的多媒体内容的情况，本实施例提供一种用于输出图像的装置200，参见图2所示，其包括归类模块201、控制模块202和输出模块203。装置200可具体是一种用于浏览或播放图像的软件或插件等。

归类模块201用于分析获得的图像的内容，并将该图像归入相应的情感类别。归类模块201相当于装置100中的提取模块101、匹配模块102和分类模块103。

控制模块202用于根据所述图像归入的情感类别及情感类别与多媒体内容的对应关系，查找并确定多媒体内容。由于多媒体内容包括文字、动画、视频和音乐，所以控制模块202可同时查找到相应的文字、动画、视频和音乐内容。其中，情感类别与多媒体内容的对应关系是手工建立的，或者是自动识别和建立的。用于建立情感类别与动画或视频的对应关系的模块可参见归类模块201或装置100，本实施例提供用于建立情感类别与音乐的对应关系的音乐模块，及用于识别文字并建立情感类别与文字的对应关系的文字识别模块。该音乐模块从音乐的音频数据中提取出播放速度、力度、节奏、旋律、音色等各种音乐基本元素；将从音频数据中提取出的音乐基本元素与预设的各心理模型进行匹配，根据音频数据匹配到的心理模型分入相应的情感类别，并存储情感类别与音乐的对应关系。

输出模块203用于在输出所述图像时输出确定的多媒体内容。输出模块203具体用于显示文字、动画和视频等，以及播放音乐，并且这两个动作可同时进行。输出方式还可包括刻录等。

装置200还可包括用于存储图像、多媒体内容和情感类别与多媒体内容的对应关系等的存储模块。

装置200还可包括图像解码模块204、多媒体解码模块205、缓冲模块206和输出处理模块207，参见图3所示。

当所述图像是经过编码后的编码数据时，图像解码模块204用于将所述图像的编码数据解码成原始数据。

在输出确定的多媒体内容时，若所述多媒体内容是经过编码后的编码数据时，多媒体解码模块205用于将所述多媒体内容的编码数据解码成原始数据。

缓冲模块206用于缓存所述图像和/或所述多媒体内容。输出模块203从该缓冲模块中获得所述图像和/或所述多媒体内容并输出。缓冲模块206可被进一步细化，其包括第一缓冲单元和第二缓冲单元。第一缓冲单元，用于缓存所述图像；第二缓冲单元，用于缓存所述多媒体内容。

当所述多媒体内容包括文字、动画和视频中的至少一种内容时，输出处理模块207用于在输出所述图像和所述多媒体内容前，将所述多媒体内容叠加在所述图像上。叠加方式包括覆盖式(Overlay)和半透明式(Alpha blending)。

以上主要介绍了本发明实施例中的装置部分，下面对具体实现过程进行介绍。

参见图4，本实施例中图像分类的主要方法流程如下：

步骤401：获得图像内的颜色和/或形状。可根据分类时采用的机制确定提取颜色、形状或提取颜色和形状。

步骤402：将所述颜色和/或形状与对应的样本颜色和/或样本形状进行匹配。具体应用时，根据提取到的颜色、形状或提取颜色和形状与对应的样本进行匹配。

步骤403：在匹配成功时根据样本颜色和/或样本形状对应的情感类别，将所述图像归入该情感类别，同时形成了图像与归入的情感类别的对应关系。

当没有与图像匹配成功的样本时，结束流程，也可将该图像作为一个样本，人为的归入一个情感类别，或为其新建一情感类别。

本实施例以3个情感类别为例进行说明，例如，依据人类的视觉体验，将红色和黄色作为“热烈”情感类别的样本颜色，将蓝色和绿色作为“柔和”情感类别的样本颜色，将黑色和白色作为“压抑”情感类别的样本颜色。

参见图5，关于颜色的情感分类的实现方法流程如下：

步骤501：获得一帧图像内的颜色。

步骤502：一帧图像内的颜色可能非常丰富，可通过各颜色占该帧图像数据的百分比和统一相似颜色等手段确定至少一种主要颜色。例如，将不同程度的绿色，如RGB(0，100，0)、RGB(0，200，0)、RGB(50，200.25)等，都统一为RGB(0，200，0)，若只有RGB(0，100，0)和RGB(50，200.25)两种，则将两者的色度取平均，或者依据两者占图像数据量的百分比取百分比较大的颜色。将占图像数据量百分比最大的颜色确定为主要颜色，也可确定更多的主要颜色。

步骤503：将确定的主要颜色与样本颜色进行匹配。例如，主要颜色为浅绿色，确定浅绿分别到红、黄、蓝、绿、黑和白的距离，最低的距离对应的样本颜色即为匹配到的颜色，如匹配到绿色。或者，预先设定相似度阈值，浅绿分别到红、黄、蓝、绿、黑和白的距离(相当于相似度)是否有大于相似度阈值，符合条件的距离对应的样本颜色即为匹配到的颜色。

步骤504：在匹配成功时根据样本颜色对应的情感类别，确定所述图像对应该情感类别。

步骤505：可能存在主要颜色与多个样本颜色匹配成功的情况，尤其是多个样本颜色对应不同的情感类别，至少将图像归入对应的情感类别中的一个。此时有多种处理方式，如将该图像归入匹配到的多个情感类别；或者将该图像归入其中一个情感类别。归入其中之一时，可以有多种选择方式，如随机选择，或者如选择靠近“热烈”情感类别的一项，或者如选择靠近“压抑”情感类别的一项，或者如选择中间的情感类别(如“柔和”情感类别)；还可以为各情感类别设定优先级，优先级越高越靠近“热烈”情感类别，将对应的多个情感类别的优先级取平均值，根据该平均值与各优先级的距离确定归入的情感类别。

根据形状的情感类别的归类与依据颜色的方法类似，比如，完全是直线的形状对应“压抑”情感类别，完全是曲线的形状对应“热烈”情感类别，两者之间的形状都对应“柔和”情感类别。或者，例如，清晰的轮廓对应“明快直爽”(相当于“热烈”)的情感类别，而缓慢过渡的边缘对应“朦胧柔和”(相当于柔和)的情感类别等。

当同时依据颜色和形状来进行图像分类时，如果匹配的结果对应同一情感类别，则可将图像直接归入该情感类别；如果匹配的结果对应不同的情感类别，则处理方式可参见步骤505中的描述。

关于图像的情感分类方法不限于此，可对图像内容作深入分析。如通过模式识别获知图像中的具体内容，如其包含有大海、沙滩和白云等，本实施例将这类自然景观都归为“柔和”情感类别。如果分析得到图像中包含有人，可以进一步分析人脸表情或动作，如大笑归为“热烈”情感类别，微笑归为“柔和”情感类别，悲伤和哭泣归为“压抑”情感类别等。

与装置的描述对应的，针对输出与该情感有关的多媒体内容的情况，参见图6所示，本实施例中输出图像的主要方法流程如下：

步骤601：分析获得的图像的内容，并确定与该图像对应的情感类别。此步骤的具体实现过程可参见图4或图5所示的流程。

步骤602：根据所述图像对应的情感类别及情感类别与多媒体内容的对应关系，确定需要的多媒体内容。

步骤603：在输出所述图像时输出确定的多媒体内容。输出的形式包括显示、播放和刻录等。

多媒体内容的种类和个数都可能不唯一，所以在输出多媒体内容时有多种具体的处理方式，参见图7所示，具体输出图像的过程如下：

步骤701：获得图像并分析图像的内容。例如，参见图8所示，图像的内容主要是明媚的风景和可爱的动物。

步骤702：确定该图像对应的情感类别。例如，本实施例中确定风景和可爱的动物都属于“柔和”情感类别。

步骤703：根据图像对应的情感类别，查找情感类别与多媒体内容的对应关系，并获得相应的多媒体内容。若查找失败则可直接结束流程。例如，通过“柔和”情感类别查找到动画和曲调舒缓的音乐。本实施例是以获得与图像表达的情感一致的多媒体内容为例进行的说明，也可以获得与图像表达的情感相反的多媒体内容。

多媒体内容包括多种形式，获得的多媒体内容若至少存在两种，如既有视频又有音乐，则具体的处理方式有多种，继续步骤704。

步骤704：根据多媒体内容的性质确定输出多媒体内容的形式。如视频不不包括音乐，则可同时显示视频内容和播放音乐；若视频包括音乐，则优先输出视频内容，或者优先输出音乐。

步骤705：按照确定的方式输出获得的多媒体内容。例如，在用户浏览风景图片时，在图片的右下角显示使用户感到轻松的动画，并同时播放舒缓的音乐。

多媒体内容可能有多个，多个视频和多个音乐，此时可以随机输出该多个多媒体内容，或者循环输出该多个多媒体内容等。

其中，在步骤703中提到了情感类别与多媒体内容的对应关系，该对应关系可以是手工建立的，也可以是自动建立的。自动建立图像与情感类别的对应关系的方式可参见图4和图5所示的流程。下面简单介绍自动建立音乐与情感类别的对应关系。

从音频数据中提取播放速度、力度、节奏、旋律、音色等各种音乐基本元素；将从各音频数据中提取出的音乐基本元素分别与预设的各心理模型进行匹配，将解码后的音频数据对应到匹配的心理模型所对应的情感类别，并存储情感类别与该音乐的对应关系。以节奏为例，获得音乐与情感类别的对应关系的过程如下：

以帧为单位接收音频解码后的音频数据，对当前接收到的一帧音频数据(包括1024个采样点的时域信号)使用FFT变换将信号从时域编换到频域，得到频域复信号a_n+jb_n，n为大于等于0且小于等于511的正整数。

计算频域复信号的幅度 $A\left[n\right]=\sqrt{{a_n}^2+{b_n}^2}.$

按照预先划分的多个子带，分别计算每个子带的幅度，作为瞬时能量。例如，可以按照50～200、200～400、400～800、800～1600、1600～3200、3200Hz以上，共划分6个子带。

实际应用中，瞬时能量可按照如下公式来计算： $\mathrm{EI}\left[i\right]=\frac{1}{W_i}\underset{n=S_i}{\overset{S_{i+1}}{\mathrm{\Σ}}}A\left[n\right],$ 其中，EI[i]表示第i个子带的瞬时能量、W_i表示第i个子带的宽度、S_i表示第i个子带的起始谱线，i为大于1的正整数。

每次执行402c之后，均存储当前帧的各子带瞬时能量，并按照先进先出的原则，删除最先存储的一个帧的各子带瞬时能量。

读取已存储的m个帧的各子带的瞬时能量EO[i]，分别计算m个帧在每个子带的瞬时能量EI[i]的平均值EA[i]和方差。

其中，m为1秒内缓存在历史能量缓冲子单元2054的帧数量，m的取值通常为43。

实际应用中，第i个子带的瞬时能量平均值EA[i]和第i个子带的瞬时能量方差EV[i]可以分别按照如下公式来计算： $\mathrm{EA}\left[i\right]=\frac{1}{m}\underset{j=0}{\overset{m-1}{\mathrm{\Σ}}}{\mathrm{EO}}_j\left[i\right],$ j为大于等于1且小于等于m的正整数、EO_j[i]为读取的第j个帧的第i个子带的瞬时能量； $\mathrm{EV}\left[i\right]=\frac{1}{m}\underset{j=0}{\overset{m-1}{\mathrm{\Σ}}}{({\mathrm{EO}}_j\left[i\right]-\mathrm{EA}\left[i\right])}^2.$

根据计算得到的EA[i]和EV[i]，判断当前帧每个子带的瞬时能量EI[i]是否为峰值能量，如果是，则将判断为峰值能量的EI[i]确定为提取的音乐基本元素并输出，即实现了音乐基本元素中节奏的提取。

其中，当EI[i]大于C×EA[i]、且EV[i]大于V时，判断EI[i]为峰值能量，C和V是两个由实验确定的常数，通常情况下，C＝250，V＝150。

用于实现本发明实施例的软件可存储于软盘、硬盘、光盘和闪存等存储介质中。

本发明实施例通过分析图像的内容获知了图像所表达的情感，并输出与该情感有关的多媒体内容，以提高用户体验。本发明实施例具体提供了多种分析图像情感的方法，并且多媒体内容的形式多样，用户可根据实际需要随意选择。本发明实施例可在多种实际场景中应用，如电子相框、动画影视制作中的辅助工具等。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若对本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (15)

1、一种输出图像的方法，其特征在于，包括以下步骤：

分析获得的图像的内容，并确定该图像对应的情感类别；

根据所述图像对应的情感类别及情感类别与多媒体内容的对应关系，确定需要的多媒体内容；

在输出所述图像时输出确定的多媒体内容。

2、如权利要求1所述的方法，其特征在于，分析获得的图像的内容并确定与该图像对应的情感类别的步骤包括：

获得图像内的颜色和/或形状；

将所述颜色和/或形状与对应的样本颜色和/或样本形状进行匹配；

在匹配成功时根据样本颜色和/或样本形状对应的情感类别，将所述图像归入该情感类别。

3、如权利要求2所述的方法，其特征在于，将所述颜色与样本颜色进行匹配并匹配成功的步骤包括：确定所述颜色与样本颜色的相似度，并确定该相似度大于预设的相似度阈值。

4、如权利要求2所述的方法，其特征在于，所述样本颜色为多个；将所述颜色与样本颜色进行匹配并匹配成功的步骤包括：确定所述颜色到各样本颜色的距离，距离最近的样本颜色为匹配成功的样本颜色。

5、如权利要求2所述的方法，其特征在于，将所述形状与样本形状进行匹配并匹配成功的步骤包括：确定所述形状与样本形状的相似度，并确定该相似度大于预设的相似度阈值。

6、如权利要求2所述的方法，其特征在于，当所述颜色与样本颜色对应到第一情感类别、所述形状与样本形状对应到第二情感类别时，根据第一情感类别和第二情感类别的优先级确定所述图像归入该情感类别。

7、如权利要求1至6中任一项所述的方法，其特征在于，所述多媒体内容包括文字、动画、音频和视频中的至少一种内容。

8、如权利要求7中任一项所述的方法，其特征在于，当所述图像归入的情感类别对应至少两种多媒体内容时，同时输出该至少两种多媒体内容。

9、如权利要求1至6中任一项所述的方法，其特征在于，确定的多媒体内容为多个；随机输出该多个多媒体内容，或者循环输出该多个多媒体内容。

10、如权利要求1至6中任一项所述的方法，其特征在于，情感类别与多媒体内容的对应关系是自动识别和建立的；或者情感类别与多媒体内容的对应关系是手工建立的。

11、如权利要求1至6中任一项所述的方法，其特征在于，所述多媒体内容包括文字、动画和视频中的至少一种内容；以叠加显示的方式在所述图像上输出所述多媒体内容。

12、如权利要求11所述的方法，其特征在于，所述叠加显示的方式包括覆盖或半透明。

13、一种用于输出图像的装置，其特征在于，包括：

归类模块，用于分析获得的图像的内容，并将该图像归入相应的情感类别；

控制模块，用于根据所述图像归入的情感类别及情感类别与多媒体内容的对应关系，确定需要的多媒体内容；

输出模块，用于在输出所述图像时输出确定的多媒体内容。

14、如权利要求13所述的装置，其特征在于，所述多媒体内容包括文字、动画、音频和视频中的至少一种内容。

15、如权利要求14所述的装置，其特征在于，还至少包括下列模块之一：

用于分析音乐表达的情感，并建立情感类别与音乐内容的对应关系的模块；

用于分析动画或视频表达的情感，并建立情感类别与动画或视频内容的对应关系的模块；

用于分析文字表达的情感，并建立情感类别与文字内容的对应关系的模块。

Images