CN108470188B - 基于图像分析的交互方法及电子设备 - Google Patents

Abstract

本发明公开了一种基于图像分析的交互方法及电子设备，包括：获取待分析图像；分析所述待分析图像，得到所述待分析图像对应的情感状态信息；根据所述情感状态信息，完成与所述情感状态信息相关联的交互操作。本发明提出的基于图像分析的交互方法及电子设备，可以提升用户体验。

Description

基于图像分析的交互方法及电子设备

技术领域

本发明涉及数据处理技术领域，特别是指一种基于图像分析的交互方法及电子设备。

背景技术

情感计算的概念是在1997年由MIT媒体实验室Picard教授提出，是一个高度综合化的技术领域，通过研究人脸表情、姿态分析、语音的情感识别和表达方面，运用线性统计方法和神经网络模型，实现情感识别。

现有技术中已经存在一些机器人情感表现方式，例如：

美国麻省理工学院的科学家研制的Nexi机器人，可以通过面部识别的形式感知人类感情并控制面部自由活动装置表现情感。

Gowild公司生产的公子小白机器人，通过知识图谱的构建，可以让机器人识别句子当中包含的实体、概念、属性、关系、事件，甚至是对用户交互的语句进行结构化抽取，来逐步构建用户画像图谱，为自我认知和个性化问答提供了支持。

现在机器人发展进程中，人们对机器人的智慧性的认知停留在对话、肢体能力、第三方服务上，逐渐被视为一种效率工具。

随着群体性孤独的扩大，对机器人情感方面的需求越来越高，现有的基于NLP(Neuro-Linguistic Programming，神经语言程序学)的情感解决方案还不能满足用户期望。因此，在某个场景内深入研究，集中数据的方式更有利于机器人情感计算的发展，在用户体验层面也能收到好的结果。

绘本，英文称Picture Book，指一类以绘画为主，并附有少量文字的书籍。绘本不仅可用于讲故事、学知识，而且可以全面帮助孩子建构精神，培养多元智能。

传统的绘本识别方法有两种：一种是点读笔通过笔尖的光电识别器，将绘本上印制的肉眼不可见的二维码信息扫描，由笔内CPU处理识别成功后，从点读笔内存中挑出对应的音频由喇叭播放。另一种点读机使用的原理是在制作发音文件过程中，给发音文件预先设置好对应书本内容的“经纬位置”，使用者将课本置于机器平板上，用专用的笔点书本上的文字、图画、数字等内容，机器就会发出相对应的声音。

但是，在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

现有技术中的读绘本功能只是通过对绘本的识别结果匹配数据库中对应的音频文件进行播放，而不能根据绘本中所展示的场景进行相应地情感处理，从而造成传统绘本识别功能的用户体验不足的问题。

发明内容

有鉴于此，本发明实施例的目的之一，在于提出一种基于图像分析的交互方法及电子设备，可以提升用户体验。

基于上述目的，本发明实施例的第一个方面，提供了基于图像分析的交互方法，包括：

获取待分析图像；

分析所述待分析图像，得到所述待分析图像对应的情感状态信息；

根据所述情感状态信息，完成与所述情感状态信息相关联的交互操作。

可选的，分析所述待分析图像，得到所述待分析图像对应的情感状态信息，包括以下步骤中的一种或多种：

提取所述待分析图像中的文字，并计算文字的情感状态信息；

分析所述待分析图像中的颜色分布，并计算颜色分布的情感状态信息。

可选的，提取所述待分析图像中的文字，并计算文字的情感状态信息，包括：

导出所述待分析图像中的文字；

对所述文字进行分词处理，以提取所述文字中的情感关键词；

根据预先建立的关键词对照表，确定所述情感关键词的情感表现；

根据所述情感关键词及其出现频率，结合所述情感关键词的情感表现，计算得到所述文字的情感状态信息。

可选的，分析所述待分析图像中的颜色分布，并计算颜色分布的情感状态信息，包括：

从所述待分析图像中提取得到颜色信息；

根据所述颜色信息，计算得到所述待分析图像中的颜色分布；

根据预先建立的颜色对照表，确定各颜色的情感表现；

根据所述颜色分布和各颜色的情感表现，确定所述颜色分布的情感状态信息。

可选的，所述方法还包括：

根据文字的情感状态信息和/或颜色分布的情感状态信息，计算得到所述待分析图像对应的情感状态信息。

可选的，所述与所述情感状态信息相关联的交互操作，包括以下交互操作中的一种或多种：

播放与所述待分析图像和所述情感状态信息相关联的内容音频文件；

播放与所述情感状态信息相关联的背景乐音频文件；

播放与所述情感状态信息相关联的表情视频文件。

可选的，所述方法还包括：

播放与所述待分析图像相关联的提问音频文件；

获取新的待分析图像；

比对所述新的待分析图像与在先的待分析图像，确定遮盖位置；

根据比对结果，得出答题结果；

根据答题结果，播放评价音频文件。

可选的，所述方法还包括：

播放与所述待分析图像相关联的提问音频文件；

接收答题语音；

根据答题语音，得出答题结果；

根据答题结果，播放评价音频文件。

本发明实施例的第一个方面，提供了一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-9任一项所述的方法。

从上面所述可以看出，本发明提供的基于图像分析的交互方法及电子设备，通过对待分析图像进行分析以得出相应的情感状态信息，再根据所述情感状态信息进行相应的交互操作，从而使用户能够与待分析图像所表达的情感之间共鸣，提升了用户体验。

附图说明

图1为本发明提供的基于图像分析的交互方法的一个实施例的流程示意图；

图2为本发明提供的基于图像分析的交互方法的另一个实施例的流程示意图；

图3a为本发明提供的基于图像分析的交互方法实施例中情感状态信息为自然状态时显示装置的显示图像示意图；

图3b为本发明提供的基于图像分析的交互方法实施例中情感状态信息为喜悦状态时显示装置的显示图像示意图；

图3c为本发明提供的基于图像分析的交互方法实施例中另一情感状态信息时显示装置的显示图像示意图；

图3d为本发明提供的基于图像分析的交互方法实施例中又一情感状态信息时显示装置的显示图像示意图；

图3e为本发明提供的基于图像分析的交互方法实施例中又一情感状态信息时显示装置的显示图像示意图；

图3f为本发明提供的基于图像分析的交互方法实施例中答题正确时显示装置的显示图像示意图；

图4为本发明提供的基于图像分析的交互方法实施例中待分析图像的一个实施例的示意图；

图5为本发明提供的基于图像分析的交互方法实施例中待分析图像的一个实施例中的特征物被框选出的示意图；

图6为本发明提供的基于图像分析的交互装置的一个实施例的结构示意图；

图7为本发明提供的电子设备的一个实施例的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

基于上述目的，本发明实施例的第一个方面，提出了一种基于图像分析的交互方法的一个实施例，可以提升用户体验。如图1所示，为本发明提供的基于图像分析的交互方法的一个实施例的流程示意图。

所述基于图像分析的交互方法，包括：

步骤101：获取待分析图像。

所述待分析图像，可以是任何的能够从中提取出情感状态信息的图像；较佳的，所述待分析图像是指绘本的任一绘本页的图像。这里，所述待分析图像可以是通过摄像头采集得到的，所述摄像头可以是任何电子设备(如手机、平板电脑、相机等等)上具有的摄像头，也可以是基于本发明而专门设计的采集装置中安装的摄像头。

步骤102：分析所述待分析图像，得到所述待分析图像对应的情感状态信息。所述情感状态信息，可以是指与所述待分析图像相对应的经过计算后得出的所述待分析图像的情感得分、情感状态或者是情感状态的分布情况。

可选的，分析所述待分析图像，得到所述待分析图像对应的情感状态信息的步骤102，可包括以下步骤中的一种或多种：

提取所述待分析图像中的文字，并计算文字的情感状态信息；

分析所述待分析图像中的颜色分布，并计算颜色分布的情感状态信息。

步骤103：根据所述情感状态信息，完成与所述情感状态信息相关联的交互操作。

可选的，根据所述情感状态信息，完成与所述情感状态信息相关联的交互操作的步骤103，可包括以下交互操作中的一种或多种：

1)播放与所述待分析图像和所述情感状态信息相关联的内容音频文件；这里，所述内容音频文件可以是与所述待分析图像所对应的内容的音频文件，例如，根据绘本页本身包含的内容所需要相应地进行播放的音频文件；所述与所述待分析图像和所述情感状态信息相关联的内容音频文件，则是指，除了与绘本页本身包含的内容相对应外，还需要与相应的情感状态信息相对应，使得所述内容音频文件具有相应的情感因素；例如，当所述待分析图像的情感状态信息为“喜悦”时，这时所播放的内容音频文件除了需要与待分析图像本身包含的内容相对应外，还需要采用一种具有喜悦感的音频来进行表达。

2)播放与所述情感状态信息相关联的背景乐音频文件；例如，当所述待分析图像的情感状态信息为“喜悦”时，这时所播放的背景乐音频文件则需要采用一种具有喜悦感的音频来进行表达。一种可选的实施方式可以是预先选择一种具有喜悦感的音频文件作为与“喜悦”情感状态信息相关联的背景乐音频文件，当计算得出的情感状态信息为“喜悦”时，则直接播放该关联的具有喜悦感的背景乐音频文件。当然，所述情感状态信息可以不是一种情感状态，而是多个情感状态的综合信息，例如，喜悦和期待的组合，愤怒、恐惧和厌恶的组合，等等。因此，所述与所述情感状态信息相关联的背景乐音频文件，不仅可以包含与一种情感状态一一对应的音频文件，还可以包含与多种情感状态的组合相对应的音频文件。

3)播放与所述情感状态信息相关联的表情视频文件；例如，当所述待分析图像的情感状态信息为“喜悦”时，这时所播放的表情视频文件则需要采用一种能够表达喜悦感的表情视频文件来进行表达。举例来说，参考图3a和图3b，图中所示的机器人的双眼为显示屏，图3a所示为自然状态，当所述待分析图像的情感状态信息为“喜悦”时，机器人的双眼的显示画面从图3a变化至图3b所示的状态，这个显示图像变化过程，在后台即表现为所述表情视频文件的播放。当然，所述情感状态信息可以不是一种情感状态，而是多个情感状态的综合信息，例如，喜悦和期待的组合，愤怒、恐惧和厌恶的组合，等等。因此，所述与所述情感状态信息相关联的表情视频文件，不仅可以包含与一种情感状态一一对应的表情视频文件，还可以包含与多种情感状态的组合相对应的表情视频文件。图3c至图3e，示出了其他一些可选的表情视频文件的表达。

从上述实施例可以看出，本发明实施例提供的基于图像分析的交互方法，通过对待分析图像进行分析以得出相应的情感状态信息，再根据所述情感状态信息进行相应的交互操作，从而使用户能够与待分析图像所表达的情感之间共鸣，提升了用户体验。

本发明还提供了一种基于图像分析的交互方法的另一个实施例。如图2所示，为本发明提供的基于图像分析的交互方法的另一个实施例的流程示意图。

所述基于图像分析的交互方法，包括：

步骤201：获取待分析图像(可参考图4所示的图像)。

所述待分析图像，可以是任何的能够从中提取出情感状态信息的图像；较佳的，所述待分析图像是指绘本的任一绘本页的图像。这里，所述待分析图像可以是通过摄像头采集得到的，所述摄像头可以是任何电子设备(如手机、平板电脑、相机等等)上具有的摄像头，也可以是基于本发明而专门设计的采集装置中安装的摄像头，例如，图3a所示的机器人的双眼上方中心部位的摄像头。

步骤202：分析所述待分析图像，得到所述待分析图像对应的情感状态信息；包括：

步骤2021：提取所述待分析图像中的文字，并计算文字的情感状态信息；

可选的，所述步骤2021进一步包括：

步骤20211：导出所述待分析图像中的文字；可选的，导出文字的方法包括但不仅限OCR识别；

参考图4，导出的文字为：

【小猪对自己说：“别着急，好好干！我一定能行！”他从车里拽出一条大白床单，把床单的两个角系在车上，另两个角绑在小木棍上，双手高高举起木棍。

风把床单吹得鼓了起来，推动着小车往前跑了起来。哇！原来小猪用床单做了个风帆。耶！

一眨眼的工夫，小猪就超过了维尼和屹耳。

“耶，小猪好棒啊！”维尼欢呼着。】

步骤20212：对所述文字进行分词处理，以提取所述文字中的情感关键词；

其中，分词处理包括从文字中分析得到名词、形容词、动词和感叹词。

上述文字中的名词则可包括：猪、自己、我、车、床单、木棍、手、风、风帆、眼、工夫、维尼、屹耳；

形容词则可包括：小、着急、白、鼓、超过；

动词则可包括：说、干、行、拽、系、绑、举、吹、推、跑、做、眨、欢呼；

感叹词则可包括：哇、耶×2。

提取所述文字中的情感关键词，则可以是，从上述分词处理结果中提取得出情感关键词：着急、哇、耶×2、好棒、欢呼。

步骤20213：根据预先建立的关键词对照表(参考下表1)，确定所述情感关键词的情感表现；

表1

情感关键词	恐惧	喜悦	期待
				着急	+1
哇	+1		+1
				耶		+1x2＝+2
好棒		+1
				欢呼		+1
总计	2	4	1

从上表1可以看出，在关键词对照表的一个实施例中，“着急”对应的情感表现为“恐惧”，“哇”对应的情感表现为“恐惧”和“期待”，“耶”对应的情感表现为“喜悦”，“好棒”对应的情感表现为“喜悦”，而“欢呼”对应的情感表现则为“喜悦”。需要说明的是，这里仅仅是举例，实际上的关键词对照表可能会更加复杂，不同情感关键词对应的情感表现也可能有所不同。

步骤20214：根据所述情感关键词及其出现频率，结合所述情感关键词的情感表现，计算得到所述文字的情感状态信息。

从上表1可以看出，“着急”、“哇”、“好棒”和“欢呼”仅出现过一次，因此其系数为1，而由于“耶”出现过两次，所以需要乘以系数2；从而计算得到所述文字的情感状态信息为2分恐惧、4分喜悦和1分期待。这样，通过情感转移计算，得出图片中包含部分恐惧，部分喜悦和情感平稳的情景。

当然，需要说明的是，这里仅仅是举例，实际上的文字的情感状态信息可能会更加复杂或者并不采用这样的计算方式，例如，还可以采用赋权的方式来计算。

步骤2022：分析所述待分析图像中的颜色分布，并计算颜色分布的情感状态信息。

可选的，所述步骤2022还可进一步包括：

步骤20221：参考图4，从所述待分析图像中提取得到颜色信息；

步骤20222：根据所述颜色信息，计算得到所述待分析图像中的颜色分布；

步骤20223：根据预先建立的颜色对照表，确定各颜色的情感表现；

得到的各颜色的情感表现及其权重如下表2所示。

表2

步骤20224：根据所述颜色分布和各颜色的情感表现，确定所述颜色分布的情感状态信息；例如，令颜色权重低于50％不列入情感计算，因此，从颜色分析可知，待分析图像的颜色分布的情感状态信息为“自然、喜悦、期待”。当然，这仅仅只是举例，实际的颜色分布的情感表现可以根据需要进行设计。

步骤203：根据文字的情感状态信息和/或颜色分布的情感状态信息，计算得到所述待分析图像对应的情感状态信息。具体得分计算公式可以是：情感得分＝文字得分×10+颜色得分，可参考下表3所示。

表3

情感状态	情感得分	等级
			自然	0×10+(52+14)＝66	6级
喜悦	4×10+(12+52)＝104	10级
			期待	1×10+(17+52)＝79	7级
愤怒	0×10+12＝12	1级
			恐惧	2×10+5＝25	0级
悲伤	0×10+(5+14)＝19	1级
			厌恶	0×10+5＝5	0级
容纳	0×10+14＝14	1级

可以看出，通过前述处理步骤并经过最终计算，可以得出情感状态的相应权重，从而表达出待分析图像所对应的情感状态信息。

可选的，为了便于计算和处理，可以增设情感转移模型，将情感得分相应地处理为等级数据，具体的处理方式可以是将一定得分范围内的情感得分对应设置为一个等级，例如，将情感得分0～10的等级设为0级，将情感得分10～20的等级设为1级，将情感得分20～30的等级设为2级，依次类推，得出每个情感状态对应的等级，参见上表3所示。

其中，“自然”、“喜悦”、“期待”情感状态转移等级超过5级，为显性。因此，在后续完成交互操作时，则以与“自然”、“喜悦”、“期待”这个情感组合相关联的交互操作来进行。

可选的，上述情感转移模型中列举了8种情感状态，导入的组件数据通过线性统计的方式计算得出情感状态的转移方向，后续再根据情感状态信息，使用语言、音乐、表情来表现图像中所表达的情境。

需要说明的是，上述对于文字、特征物和颜色的情感分析，可通过大量的机器学习，标定相应的组件数据，来形成相应的情感识别库，从而完成情感分析。

步骤204：根据所述情感状态信息，完成与所述情感状态信息相关联的交互操作；包括：

步骤2041：播放与所述待分析图像和所述情感状态信息相关联的内容音频文件；例如，内容音频文件具有与情感状态信息相对应的语调、语气等等；

步骤2042：播放与所述情感状态信息相关联的背景乐音频文件；

步骤2043：播放与所述情感状态信息相关联的表情视频文件；可选的，所述表情视频文件可通过设备的显示器进行显示，具体可以参照图3a～3f所示的表情。

可选的，还包括构建场景的步骤，具体地，包括：

从所述待分析图像中识别出特征物；可选的，参考图4，可以得出图中特征物为驴、维尼、小猪、小车和床单。

根据步骤2021识别得到的文字和前述步骤识别得到的特征物，组成与待分析图像相应的简单场景。

例如，以图4为例，所构建得到的简单场景内容即为：驴推着小熊维尼的小车，小猪用床单做帆推着小车。其中的角色和物体都是可以通过特征物识别步骤得出的特征物。

这样，通过构建场景，使得待分析图像所展示的复杂信息得到简化，以便后续根据所述场景信息进行其他操作。

步骤205：播放与所述待分析图像相关联的提问音频文件；例如，特征物位置提问——“小熊维尼在哪？”，特征物逻辑提问——“小熊维尼在什么上面？”，场景提问——“驴在推着什么？”。这里，预设的提问音频文件的问题模式可包括前述几种方式中的一种或多种，且不仅限于这几种方式组成。

这时，在听到问题之后，用户会进行相应的操作，例如，用手指向维尼。

此时，步骤206：获取新的待分析图像；

步骤207：比对所述新的待分析图像与在先的待分析图像，确定遮盖位置(若是采用手指来回答问题，所述遮盖位置即手指指向的位置)；

这里，步骤207可以通过比对所述新的待分析图像与在先的待分析图像的方式，以确定图像变化部位，从而得出遮盖位置；也可以通过比对手指特征的方式来实现。

可选的，所述通过比对手指特征的方式来实现确定遮盖位置的实施方式包括：

预先录入手指特征；可选的，可以通过大量录入不同手指特征来实现，也可以在设备初始化时，仅录入用户的手指特征；

比对所述新的待分析图像与在先的待分析图像的区别；

比对所述区别与所述手指特征；

若二者匹配，则说明遮盖位置为该区别所在位置。

步骤208：根据比对结果，得出答题结果，例如手指指向的位置是维尼所在位置，答题结果即为答对；这里，可以通过所述遮盖位置与维尼所在位置对应的特征物所在区域(参见图5中的方框，该方框框选范围即为特定特征物的所在区域)相重合，来确定手指指向的位置是维尼所在位置；同理可推及其他特征物。

步骤209：根据答题结果，播放评价音频文件；例如“回答正确，你好棒！”这样的评价音频文件。

此外，可选的，还可以相应地播放评价视频文件。例如，答对时，在显示装置上显示答对的视频，参见图3f。

除了通过手指指向回答问题外，用户还可以通过语音回答问题。因此，上述方法还包括：

步骤210：接收答题语音；例如，“在车上/在小车上”；

步骤211：根据答题语音，得出答题结果；

步骤212：根据答题结果，播放评价音频文件；例如“回答正确，你好棒！”这样的评价音频文件。

此外，可选的，还可以相应地播放评价视频文件。例如，答对时，在显示装置上显示答对的视频，参见图3f。

当然，答错时也可以采用同样的方式来给予回应，例如“回答错误，下次加油！”

从上述实施例可以看出，本发明实施例提供的基于图像分析的交互方法，通过对待分析图像进行分析以得出相应的情感状态信息，再根据所述情感状态信息进行相应的交互操作，从而使用户能够与待分析图像所表达的情感之间共鸣，提升了用户体验。本发明实施例提供的基于图像分析的交互方法，基于对图像的深入分析，通过对图像中的元素、色调、场景分析，导入情感状态转移模型中，通过情感生成引擎，输出以下表现方式：感性的语言、符合情景的背景音乐和相应情感的表情(通过显示装置表达)，以多维的方式使机器人做出符合情境的情绪变化，从而使机器人和人类通过书籍描绘的感情产生共感。

需要说明的是，除了前述实施例外，可选的实施方式还可以是，不应用NLP技术，只通过对图像的识别，从数据库中找到已经预先编辑的语料和情感转移标签，并输出相应的感性的语言、符合情景的背景音乐和/或相应情感的表情，也可以达到同样的结果。因此，不应把本发明的保护范围限制在前述实施例上。

基于上述目的，本发明实施例的第二个方面，提出了一种基于图像分析的交互装置的一个实施例，可以提升用户体验。如图6所示，为本发明提供的基于图像分析的交互装置的一个实施例的结构示意图。

所述基于图像分析的交互装置，包括：

获取模块301，用于获取待分析图像；

分析模块302，用于分析所述待分析图像，得到所述待分析图像对应的情感状态信息；

交互模块303，用于根据所述情感状态信息，完成与所述情感状态信息相关联的交互操作。

可选的，所述分析模块302，用于处理以下步骤中的一种或多种：

提取所述待分析图像中的文字，并计算文字的情感状态信息；

识别所述待分析图像中的特征物，并计算特征物的情感状态信息；

分析所述待分析图像中的颜色分布，并计算颜色分布的情感状态信息。

可选的，所述提取所述待分析图像中的文字，并计算文字的情感状态信息，包括：

导出所述待分析图像中的文字；

对所述文字进行分词处理，以提取所述文字中的情感关键词；

根据预先建立的关键词对照表，确定所述情感关键词的情感表现；

根据所述情感关键词及其出现频率，结合所述情感关键词的情感表现，计算得到所述文字的情感状态信息。

可选的，所述识别所述待分析图像中的特征物，并计算特征物的情感状态信息，包括：

从所述待分析图像中识别出特征物；

根据预先建立的特征物对照表，确定所述特征物的情感表现；

根据所述特征物的情感表现，计算所述特征物的情感状态信息。

可选的，所述分析所述待分析图像中的颜色分布，并计算颜色分布的情感状态信息，包括：

从所述待分析图像中提取得到颜色信息；

根据所述颜色信息，计算得到所述待分析图像中的颜色分布；

根据预先建立的颜色对照表，确定各颜色的情感表现；

根据所述颜色分布和各颜色的情感表现，确定所述颜色分布的情感状态信息。

可选的，所述分析模块302，还用于：

根据文字的情感状态信息、特征物的情感状态信息和/或颜色分布的情感状态信息，计算得到所述待分析图像对应的情感状态信息。

可选的，所述交互模块303，用于执行以下交互操作中的一种或多种：

播放与所述待分析图像和所述情感状态信息相关联的内容音频文件；

播放与所述情感状态信息相关联的背景乐音频文件；

播放与所述情感状态信息相关联的表情视频文件。

可选的，所述交互模块303，还用于播放与所述待分析图像相关联的提问音频文件；

所述获取模块301，还用于获取新的待分析图像；

所述分析模块302，还用于比对所述新的待分析图像与在先的待分析图像；以及，根据比对结果，得出答题结果；

所述交互模块303，还用于根据答题结果，播放评价音频文件。

可选的，所述交互模块303，还用于播放与所述待分析图像相关联的提问音频文件；

所述获取模块301，还用于接收答题语音；

所述分析模块302，还用于根据答题语音，得出答题结果；

所述交互模块303，还用于根据答题结果，播放评价音频文件。

基于上述目的，本发明实施例的第三个方面，提出了一种执行所述基于图像分析的交互方法的装置的一个实施例。如图7所示，为本发明提供的执行所述基于图像分析的交互方法的装置的一个实施例的硬件结构示意图。

如图7所示，所述装置包括：

一个或多个处理器401以及存储器402，图7中以一个处理器401为例。

所述执行所述基于图像分析的交互方法的装置还可以包括：输入装置403和输出装置404。

处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接，图7中以通过总线连接为例。

存储器402作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的所述基于图像分析的交互方法对应的程序指令/模块(例如，附图6所示的获取模块301、分析模块302和交互模块303)。处理器401通过运行存储在存储器402中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的基于图像分析的交互方法。

存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据基于图像分析的交互装置的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至会员用户行为监控装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置403可接收输入的数字或字符信息，以及产生与基于图像分析的交互装置的用户设置以及功能控制有关的键信号输入。输出装置404可包括显示屏等显示设备。

所述一个或者多个模块存储在所述存储器402中，当被所述一个或者多个处理器401执行时，执行上述任意方法实施例中的基于图像分析的交互方法。所述执行所述基于图像分析的交互方法的装置的实施例，其技术效果与前述任意方法实施例相同或者类似。

本申请实施例提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的列表项操作的处理方法。所述非暂态计算机存储介质的实施例，其技术效果与前述任意方法实施例相同或者类似。

最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。所述计算机程序的实施例，其技术效果与前述任意方法实施例相同或者类似。

此外，典型地，本公开所述的装置、设备等可为各种电子终端设备，例如手机、个人数字助理(PDA)、平板电脑(PAD)、智能电视等，也可以是大型终端设备，如服务器等，因此本公开的保护范围不应限定为某种特定类型的装置、设备。本公开所述的客户端可以是以电子硬件、计算机软件或两者的组合形式应用于上述任意一种电子终端设备中。

此外，根据本公开的方法还可以被实现为由CPU执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被CPU执行时，执行本公开的方法中限定的上述功能。

此外，上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。

此外，应该明白的是，本文所述的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)以及直接RambusRAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现所述的功能，但是这种实现决定不应被解释为导致脱离本公开的范围。

结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里所述功能的下列部件来实现或执行：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器，但是可替换地，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP核、或任何其它这种配置。

结合这里的公开所描述的方法或算法的步骤可以直接包含在硬件中、由处理器执行的软件模块中或这两者的组合中。软件模块可以驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域已知的任何其它形式的存储介质中。示例性的存储介质被耦合到处理器，使得处理器能够从该存储介质中读取信息或向该存储介质写入信息。在一个替换方案中，所述存储介质可以与处理器集成在一起。处理器和存储介质可以驻留在ASIC中。ASIC可以驻留在用户终端中。在一个替换方案中，处理器和存储介质可以作为分立组件驻留在用户终端中。

在一个或多个示例性设计中，所述功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现，则可以将所述功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质，该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的，该计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储设备、磁盘存储设备或其它磁性存储设备，或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或专用计算机或者通用或专用处理器访问的任何其它介质。此外，任何连接都可以适当地称为计算机可读介质。例如，如果使用同轴线缆、光纤线缆、双绞线、数字用户线路(DSL)或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件，则上述同轴线缆、光纤线缆、双绞线、DSL或诸如红外先、无线电和微波的无线技术均包括在介质的定义。如这里所使用的，磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘、蓝光盘，其中磁盘通常磁性地再现数据，而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。

公开的示例性实施例，但是应当注公开的示例性实施例，但是应当注意，在不背离权利要求限定的本公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本公开的元素可以以个体形式描述或要求，但是也可以设想多个，除非明确限制为单数。

应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”(“a”、“an”、“the”)旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。

上述本公开实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上所述的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (8)

1.一种基于图像分析的交互方法，其特征在于，包括：

获取待分析图像；所述待分析图像包括绘本的任一绘本页的图像；

分析所述待分析图像，得到所述待分析图像对应的情感状态信息，具体包括：利用OCR识别，导出所述待分析图像中的文字；对所述文字进行分词处理，以提取所述文字中的情感关键词；根据预先建立的关键词对照表，确定所述情感关键词的情感表现；根据所述情感关键词及其出现频率，结合所述情感关键词的情感表现，计算得到所述文字的情感状态信息；

根据所述情感状态信息，完成与所述情感状态信息相关联的交互操作。

2.根据权利要求1所述的方法，其特征在于，分析所述待分析图像，得到所述待分析图像对应的情感状态信息，还包括：

分析所述待分析图像中的颜色分布，并计算颜色分布的情感状态信息。

3.根据权利要求2所述的方法，其特征在于，分析所述待分析图像中的颜色分布，并计算颜色分布的情感状态信息，包括：

从所述待分析图像中提取得到颜色信息；

根据所述颜色信息，计算得到所述待分析图像中的颜色分布；

根据预先建立的颜色对照表，确定各颜色的情感表现；

根据所述颜色分布和各颜色的情感表现，确定所述颜色分布的情感状态信息。

4.根据权利要求2或3所述的方法，其特征在于，还包括：

根据文字的情感状态信息和/或颜色分布的情感状态信息，计算得到所述待分析图像对应的情感状态信息。

5.根据权利要求1所述的方法，其特征在于，所述与所述情感状态信息相关联的交互操作，包括以下交互操作中的一种或多种：

播放与所述待分析图像和所述情感状态信息相关联的内容音频文件；

播放与所述情感状态信息相关联的背景乐音频文件；

播放与所述情感状态信息相关联的表情视频文件。

6.根据权利要求1所述的方法，其特征在于，还包括：

播放与所述待分析图像相关联的提问音频文件；

获取新的待分析图像；

比对所述新的待分析图像与在先的待分析图像；

根据比对结果，得出答题结果；

根据答题结果，播放评价音频文件。

7.根据权利要求1所述的方法，其特征在于，还包括：

播放与所述待分析图像相关联的提问音频文件；

接收答题语音；

根据答题语音，得出答题结果；

根据答题结果，播放评价音频文件。

8.一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-7任一项所述的方法。

Images