CN101593465B - 随表情变化的电子画及方法 - Google Patents

Abstract

本发明提出一种随表情变化的电子画，包含图像采集器；存储电路，存储有至少一幅图像数据；信息处理电路；柔性电子显示器；在所述存储电路建立表情状态、图像数据相对应的数据库；所述信息处理电路包含对于所述图像采集器所采集的图像数据处理的功能模块，识别出所采集的图像数据中人物的表情状态；所述图像采集器、存储电路、柔性电子显示器与所述信息处理电路连接；由所述信息处理电路根据表情状态来控制和/或选择输出到柔性电子显示器上显示的图像数据。实现当观看者的表情变化自动改变显示的图像。具有书画的特征，如书画一样携带和欣赏，而且所述电子画能够被卷曲成画卷，随意移动。

Description

随表情变化的电子画及方法

技术领域

本发明涉及随表情变化的电子画，特别是采用图像采集器采集的图像经数据处理识别出所采集的图像数据中人物的表情状态，然后信息处理电路根据表情状态来控制柔性电子显示器上显示的图像的电子画。 

背景技术

传统的画一般是画家在特定材料上描绘的内容，一旦确定就不会变化。为了保存，会将画固定在画轴上以便卷曲后存放和移动。 

随着电子技术的发展，人们推出了电子相册的产品，该产品可以根据人们的操作来改变所显示的画面。但这样的产品不会感知观看者的表情。因此它不会自动根据观看者的表情进行变化。因此产品没有与人自动做具有一定含义的智能交流。而且现有的电子相册无法像传统画一样可以卷曲，因而不方便存储或移动。 

发明内容

本发明所要解决的技术问题是如何设计出一种既可以类似传统画一样可以卷曲功能又具有自动感知观看者的表情状态改变所展示画面的智能交流能力的电子画。所采用的技术手段是采用图像传感器采集观看者的图像数据然后经过图像是别获得表情参数，并根据表情参数、显示图像建立的数据库提取出合适的显示图像展示在具有柔性可卷曲的电子显示器上。成为可以随表情变化的电子画。 

术语说明：表情参数，在本发明中是指用于表示面部表情的各种状态数值或各种特征值构成的区分不同表情的一组数据。 

对于表情参数的获得，通过图像传感器采集图像，然后从图像中识别出人的表情状态作为表情参数。在公开号为CN101004791公开日为2007年7月25日的中国发明专利申请名称为“一种基于二维偏最小二乘法的面部表情识别方法”公开文件中描述如何从图像中提取表情特征和识别面部表情的方法。本发明全文引用该公开文件的方法作为实现本发明的表情参数获取的一种手段。在公开号为CN1794265公开日为2006年6月28日的中国发明专利名称为“基于视频的面部表情识别方法及装置”公告文件中描述如何从图像中提取人脸和识别面部表情的方法。本发明全文引用该公开文件的方法作为实现本发明的表情参数获取的另一种手段。 

根据上述方法获得表情参数后，就可以建立表情参数与最终显示图像的对应数据库。当表情参数从一组参数值变化为另一组参数值时，从数据库中选取相对应的一幅图像显示出来。 

因此一种根据表情自动变化输出图像方法的第一种技术方案是： 

第一步：利用图像传感器采集图像，并用表情识别方法从所采集图像中获得表情参数； 

第二步：建立表情参数与图像数据的对应数据库； 

第三步：当表情参数变化时，从数据库中选取对应的图像数据进行显示； 

其中所述第一步、第二步的顺序无关。 

上述第一步、第二步、第三步的顺序可以任意变化。 

在上述方案中，可以做进一步改进，即对应的输出图像数据可以相同，但将输出图像送到显示器上进行显示时，可以对于输出图像按照一种对应的图像处理方法进行处理。也实现了表情参数变化时，实际显示的图像随之变化。比如输出图像数据是一幅风景画，当检测到表情参数下是观看者看到该幅风景十分高兴时，可以在输出图像数据中叠加所采集的观看者的图像，使观看者的图像与风景画合成为一幅像是观看者处于风景中的显示图像达到进一步愉悦观看者的目的和奇特的效果。图像处理方法可以设计出多种，分别对应不同的表情参数。 

因此一种根据表情自动变化输出图像方法的一种技术方案是： 

第一步：利用图像传感器采集图像，并用表情识别方法从所采集图像中获得表情参数； 

第二步：建立表情参数与图像数据和图像处理方法的对应数据库； 

第三步：当表情参数变化时，从数据库中选取对应的图像数据经过对应的图像处理方法处理后进行显示，所述图像处理方法包含多图像合成、添加图像边框、图像剪辑之一种或几种的组合； 

其中所述第一步、第二步的顺序无关。 

采用上述的技术方法，可以进一步设计出随表情变化的电子画。 

随表情变化的电子画的第一种技术方案是： 

一种随表情变化的电子画，包含如下部件： 

图像传感器； 

信息处理器； 

存储电路，存储有至少一幅图像数据，所述存储电路中存储有数据库，所述数据库包含表情参数、图像数据的对应关系； 

柔性电子显示器； 

所述信息处理器从图像传感器采集的图像中提取表情参数并根据获得的表情参数从数据库中检索到对应的图像数据送到柔性电子显示器显示； 

所述存储电路是所述信息处理器内部的数据存储体或所述存储电路独立于所述信息处理器并与所述信息处理器连接； 

所述图像传感器、柔性电子显示器的输出与信息处理器连接。 

进一步存储电路中存储有数据库，包含表情参数、输出图像数据的对应关系； 

所述数据库可以在信息处理器中内含的存储数据体，也可以是独立于信息处理器的存储体部件存储。如果包含存储部件，则所述存储部件与信息处理器连接。 

上述柔性电子显示器可以采用有机显示材料或者柔性电子纸材料，实现可以弯曲的电子画。 

上述柔性电子显示器采用有机发光材料作为显示单元或者采用具有双稳态特性的电子材料层作为显示单元；所述具有双稳态特性的电子材料层包含如下材料之一或组合：具有电泳效应的微胶囊电子墨水、具有电泳效应的微杯结构封装薄膜、旋转球(Gyricon)、具有电润湿效应的电子纸材料、双稳态的胆甾醇型液晶材料。 

上述电子画可以进一步包含画轴，将图像传感器、信息处理器置于画轴中，使采用有机显示材料或者柔性电子纸材料的柔性电子显示器可以像传统画一样绕画轴卷起来便于存储、移动和运输。 

上述电子画进一步包含与所述信息处理电路连接的通讯模块，所述通讯模块通过有线信号或无线信号与互联网络或局域网络进行信息交互。所述通讯模块通过有线信号或无线信号从互联网络或局域网络下载图像数据存储到所述存储电路中。或者所述通讯模块将表情状态通过有线信号或无线信号发送到互联网络或局域网络中的服务器中，从所属服务器中下载与表情状态相关的图像数据存储到所述存储电路中。 

上述信息处理电路包含表情识别功能模块，能够对所述图像采集器所采集获得的图像数据进行处理，识别出图像数据包含的人脸表情参数。 

上述提取出的表情参数至少可以表示如下七种表情之一或几种：愤怒、厌恶、恐 惧、高兴、中性、悲伤、惊讶。 

随表情变化的电子画的第二种技术方案是： 

一种随表情变化的电子画，包含如下部件： 

图像传感器； 

信息处理器； 

存储电路，存储有至少一幅图像数据，所述存储电路中存储有数据库，所述数据库包含表情参数、图像数据、图像处理方法的对应关系； 

柔性电子显示器； 

所述信息处理器从图像传感器采集的图像中提取表情参数并根据获得的表情参数从数据库中检索到对应的图像数据经过对应的图像处理方法处理后送到柔性电子显示器显示，所述图像处理方法包含多图像合成、添加图像边框、图像剪辑变换之一种或任意组合；

所述存储电路是所述信息处理器内部的数据存储体或所述存储电路独立于所述信息处理器并与所述信息处理器连接； 

所述图像传感器、柔性电子显示器的输出与信息处理器连接。 

进一步存储电路中存储有数据库，所述数据库，包含表情参数、输出图像数据、图像处理方法的对应关系； 

所述数据库可以在信息处理器中内含的存储数据体，也可以是独立于信息处理器的存储体部件存储。如果包含存储部件，则所述存储部件与信息处理器连接。 

上述柔性电子显示器可以采用有机显示材料或者柔性电子纸材料，实现可以弯曲的电子画。 

上述电子画可以进一步包含画轴，将图像传感器、信息处理器、存储体部件置于画轴中，使采用有机显示材料或者柔性电子纸材料的柔性电子显示器可以像传统画一样绕画轴卷起来便于存储、移动和运输。 

上述的图像处理方法包含多图像合成、添加图像边框、图像剪辑、图像变形、图像函数变换等。 

上述电子画进一步包含与所述信息处理电路连接的通讯模块，所述通讯模块通过有线信号或无线信号与互联网络或局域网络进行信息交互。所述通讯模块通过有线信号 或无线信号从互联网络或局域网络下载图像数据存储到所述存储电路中。或者所述通讯模块将表情参数通过有线信号或无线信号发送到互联网络或局域网络中的服务器中，从所属服务器中下载与表情参数相关的图像数据存储到所述存储电路中。 

上述信息处理电路包含表情识别功能模块，能够对所述图像采集器所采集获得的图像数据进行处理，识别出图像数据包含的人脸表情参数。 

上述提取出的表情参数至少可以表示如下七种表情之一或几种：愤怒、厌恶、恐惧、高兴、中性、悲伤、惊讶。 

上述柔性电子显示器采用有机发光材料作为显示单元或者采用具有双稳态特性的电子材料层作为显示单元；所述具有双稳态特性的电子材料层包含如下材料之一或组合：具有电泳效应的微胶囊电子墨水、具有电泳效应的微杯结构封装薄膜、旋转球(Gyricon)、具有电润湿效应的电子纸材料、双稳态的胆甾醇型液晶材料。 

本发明的有益效果：采用本发明的技术可以实现传统画一样可以卷曲功能又具有自动感知观看者的表情状态改变所展示画面的智能交流能力的电子画。所采用的具有柔性可卷曲的电子显示器上，使电子化十分方便携带、保存、移动、布置，成为一种一新的艺术品表现方式。同时由于画面可以随表情变化，使电子画更具有灵性和吸引力。 

附图说明：

图1是第一种实现随表情变化的电子画工作原理图。 

图2是第二种实现随表情变化的电子画工作原理图。 

图3是随表情变化的电子画产品示意图。 

具体实施方式：

下面结合附图进一步描述本发明的具体实施方案。 

图1是第一种实现随表情变化的电子画工作原理图。在该图中，电子画包含图像采集器102、存储电路103、信息处理电路105、柔性电子显示器104。所述图像采集器102观看者的图像信息送到信息处理电路105进行处理提取出表情参数，所采用的表情识别方法可以是在公开号为CN101004791公开日为2007年7月25日的中国发明专利申请名称为“一种基于二维偏最小二乘法的面部表情识别方法”公开文件中描述的从图像中提取表情特征和识别面部表情的方法；也可以是在公开号为CN1794265公开日为2006年6月28日的中国发明专利名称为“基于视频的面部表情识别方法及装置”公告 文件中描述的从图像中提取人脸和识别面部表情的方法。所述存储电路103种存储了用于显示的图像数据和一个数据库，所述数据库中存储了表情参数与要显示的图像数据的对应关系。所述信息处理电路105具有管理所述数据库的功能，可以根据获得的表情参数提取出需要显示的对应图像数据并输出到柔性电子显示器104上显示出来。当表情参数变化时，将根据数据库的对应关系显示新的图像。假定可识别的表情参数有7种情况，如愤怒、厌恶、恐惧、高兴、中性、悲伤、惊讶，则与输出图像的对应关系有7种。此时所显示的图像有7种变化。下表列举了其中几种表情参数与显示图像的对应关系举例。 

表情参数	输出图像
		高兴	一幅夏日海滩画面
惊讶	一幅后羿射日画面
		中性	一幅雨中漫步的画面
恐惧	一幅童话“三根火柴”

进一步的是根据表情参数，可以是对于特定的图像数据经过不同图像处理方法的处理后再输出显示，从而实现不同表情参数而呈现不同输出图像。此时的数据库是表情参数、图像数据、处理方法的对应关系。下表列举了其中几种表情参数、图像数据、处理方法的对应关系举例。

表情参数	图像数据	处理方法
			高兴	一幅夏日海滩画面	在画面中叠加一太阳  伞和躺椅
惊讶	一幅夏日海滩画面	在画面中叠加一鲨鱼  喷水景象
			中性	一幅夏日海滩画面	在画面中叠加雨花落  在海面上的场景
恐惧	一幅夏日海滩画面	在画面中叠加雪花

图2是第二种实现随表情变化的电子画工作原理图。相比于图1，本实施例中增加了通讯模块106与信息处理电路205连接，所述通讯模块106具有无限通讯功能和/或有线通讯功能。增加通讯模块106后，可以使信息处理电路205通过无线通讯网络或有线通讯网络从互联网络或局域网络或移动通讯网络中下载图像数据存储在存储电路 103中，增加可显示图像数据的来源并可实现更新。特别是，可以以表情参数作为在互联网络或局域网络或移动通讯网络中搜索关联图像的检索词或关键词，以搜索并下载与表情参数相关的图像数据。假定可识别的表情参数有7种情况，如愤怒、厌恶、恐惧、高兴、中性、悲伤、惊讶，则与输出图像的对应关系有7种。此时通过通讯模块106从互联网络或局域网络或移动通讯网络中搜索关联图像的检索词或关键词达到7个。使电子画的图像输出变化更多，数据信息源更多。

图3是随表情变化的电子画产品示意图。电子画产品包含画轴301、柔性电子纸显示器302。实现本发明的图像传感器、信息处理电路都布置在所述画轴301内部和表面。最优的是其中图像传感器的感光镜头304置于画轴301的正中间位置，便于有效地采集观察者的脸部图像信息。柔性电子纸显示器302显示的画面303可以随着图像传感器所检测到的表情参数而变化。进一步电子画中可以包含通讯模块，所述通讯模块置于画轴301内，通过有线通讯网络或无线通讯网络从互联网络或局域网络或移动通讯网络中下载图像数据，使图像的变化更多，图像的数据源也更多。 

Claims (16)

1.一种随表情变化的电子画，其特征是包含如下部件：

图像传感器；

信息处理电路；

存储电路，存储有至少一幅图像数据，所述存储电路中存储有数据库，所述数据库包含表情参数、图像数据、图像处理方法的对应关系；

柔性电子显示器；

所述信息处理电路从图像传感器采集的图像中提取表情参数并根据获得的表情参数从数据库中检索到对应的输出图像数据经过对应的图像处理方法处理后送到柔性电子显示器显示，所述图像处理方法包含多图像合成、添加图像边框、图像剪辑变换之一种或任意组合；

所述存储电路是所述信息处理电路内部的数据存储体或所述存储电路独立于所述信息处理电路并与所述信息处理电路连接；

所述图像传感器、柔性电子显示器的输出与信息处理电路连接。

2.根据权利要求1所述的电子画，其特征是进一步包含与所述信息处理电路连接的通讯模块，所述通讯模块通过有线信号或无线信号与互联网络或局域网络进行信息交互；所述通讯模块通过有线信号或无线信号从互联网络或局域网络下载图像数据存储到所述存储电路中；或者所述通讯模块将表情参数通过有线信号或无线信号发送到互联网络或局域网络中的服务器中，从所属服务器中下载与表情参数相关的图像数据存储到所述存储电路中。

3.根据权利要求1所述的电子画，其特征是所述信息处理电路包含表情识别功能模块，能够对所述图像传感器所采集获得的图像数据进行处理，识别出图像数据包含的人脸表情参数。

4.根据权利要求2所述的电子画，其特征是所述信息处理电路包含表情识别功能模块，能够对所述图像传感器所采集获得的图像数据进行处理，识别出图像数据包含的人脸表情参数。

5.根据权利要求1至4中任一项所述的电子画，其特征是所述信息处理电路包含管理所述数据库的功能模块。

6.根据权利要求1至4中任一项所述的电子画，其特征是所述柔性电子显示器采用有机发光材料作为显示单元或者采用具有双稳态特性的电子材料层作为显示单元。

7.根据权利要求5所述的电子画，其特征是所述柔性电子显示器采用有机发光材料作为显示单元或者采用具有双稳态特性的电子材料层作为显示单元。

8.根据权利要求1至4、7中任一项所述的电子画，其特征是所述电子画进一步包含画轴，将图像传感器、信息处理电路置于画轴中。

9.根据权利要求5所述的电子画，其特征是所述电子画进一步包含画轴，将图像传感器、信息处理电路置于画轴中。

10.根据权利要求6所述的电子画，其特征是所述电子画进一步包含画轴，将图像传感器、信息处理电路置于画轴中。

11.根据权利要求1至4、7、9、10中任一项所述的电子画，其特征是在输出图像数据中叠加所述图像传感器采集的观看者的图像。

12.根据权利要求5所述的电子画，其特征是在输出图像数据中叠加所述图像传感器采集的观看者的图像。

13.根据权利要求6所述的电子画，其特征是在输出图像数据中叠加所述图像传感器采集的观看者的图像。

14.根据权利要求8所述的电子画，其特征是在输出图像数据中叠加所述图像传感器采集的观看者的图像。

15.一种根据表情自动变化输出图像的方法，其特征是包含如下步骤：

第一步：利用图像传感器采集图像，并用表情识别方法从所采集图像中获得表情参数；

第二步：建立表情参数与图像数据和图像处理方法的对应数据库；

第三步：当表情参数变化时，从数据库中选取对应的图像数据经过对应的图像处理方法处理后进行显示，所述图像处理方法包含多图像合成、添加图像边框、图像剪辑之一种或几种的组合；

其中所述第一步、第二步的顺序无关。

16.根据权利要求15所述的方法，其特征是在所述第三步中显示的图像数据中叠加了所述图像传感器采集的观看者的图像。

Images