CN101604491B

CN101604491B - 随环境和表情变化的电子画

Info

Publication number: CN101604491B
Application number: CN2009100879785A
Authority: CN
Inventors: 须清
Original assignee: Beijing Paragon Technology Co Ltd
Current assignee: Beijing Paragon Technology Co Ltd
Priority date: 2009-07-06
Filing date: 2009-07-06
Publication date: 2011-12-07
Anticipated expiration: 2029-07-06
Also published as: CN101604491A

Abstract

本发明提出一种随环境和表情变化的电子画，包含环境检测传感器，检测环境参数；图像采集器；存储电路；信息处理电路；柔性电子显示器；在所述存储电路建立环境参数、表情状态、图像数据相对应的数据库；所述信息处理电路包含对于所述环境检测传感器的传感信号处理的功能模块；所述信息处理电路包含对于所述图像采集器所采集的图像数据处理识别出所采集的图像数据中人物的表情状态；所述环境检测传感器、图像采集器、存储电路、柔性电子显示器与所述信息处理电路连接；由所述信息处理电路根据环境参数、表情状态来控制柔性电子显示器上显示的图像。实现当环境变化或观看者的表情变化自动改变显示的图像。具有书画的特征，如书画一样携带和欣赏。

Description

随环境和表情变化的电子画

技术领域

本发明涉及随环境和表情变化的电子画，特别是采用环境检测传感器检测环境参数和采用图像采集器采集的图像经数据处理识别出所采集的图像数据中人物的表情状态，然后信息处理电路根据环境参数、表情状态来控制柔性电子显示器上显示的图像的电子画。

背景技术

传统的画一般是画家在特定材料上描绘的内容，一旦确定就不会变化。为了保存，会将画固定在画轴上以便卷曲后存放和移动。

随着电子技术的发展，人们推出了电子相册的产品，该产品可以根据人们的操作来改变所显示的画面。但这样的产品不会感知环境的变化，也不会感知观看者的表情。因此它不会自动根据环境或观看者的表情进行变化。因此产品没有与人或环境自动做具有一定含义的智能交流。而且现有的电子相册无法像传统画一样可以卷曲，因而不方便存储或移动。

发明内容

本发明所要解决的技术问题是如何设计出一种既可以类似传统画一样可以卷曲功能又具有自动感知环境和观看者的表情状态改变所展示画面的智能交流能力的电子画。所采用的技术手段是采用感知环境的传感器检测环参数和采用图像传感器采集观看者的图像数据然后经过图像是别获得表情参数，并根据环境参数、表情参数、显示图像建立的数据库提取出合适的显示图像展示在具有柔性可卷曲的电子显示器上。成为可以随环境和表情变化的电子画。

术语说明：表情参数，在本发明中是指用于表示面部表情的各种状态数值或各种特征值构成的区分不同表情的一组数据。

对于环境参数可以通过安装各种传感器，如环境温度传感器、环境湿度传感器、环境气压传感器、环境日照度传感器等。通过这些传感器之一或几种的组合可以分析出当前环境的状况，例如这些传感器给出的日照参数高、环境温度较高、环境湿度较低，表明是晴朗干燥的环境，天气晴；例如这些传感器给出的日照参数低、环境温度低、环境湿度很高，表明是阴冷潮湿的环境、天气为阴天或雨天。这些传感器给出信号的多种组合可以得到各种环境状况和天气状况。以此类推，可以根据常识、气象知识可以得到环境各种传感器的变化与特定环境和天气的对应关系。进一步如果增加日历的信息，可以进一步得到一年四季中与季节相关的环境各种传感器的变化与特定环境和天气的对应关系。

对于表情参数的获得，通过图像传感器采集图像，然后从图像中识别出人的表情状态作为表情参数。在公开号为CN101004791公开日为2007年7月25日的中国发明专利申请名称为“一种基于二维偏最小二乘法的面部表情识别方法”公开文件中描述如何从图像中提取表情特征和识别面部表情的方法。本发明全文引用该公开文件的方法作为实现本发明的表情参数获取的一种手段。在公开号为CN1794265公开日为2006年6月28日的中国发明专利名称为“基于视频的面部表情识别方法及装置”公告文件中描述如何从图像中提取人脸和识别面部表情的方法。本发明全文引用该公开文件的方法作为实现本发明的表情参数获取的另一种手段。

根据上述方法获得环境参数和表情参数后，就可以建立环境参数、表情参数与最终显示图像的对应数据库。当环境参数从一组参数值变化为另一组参数值时，从数据库中选取相对应的一幅图像显示出来；或者当表情参数从一组参数值变化为另一组参数值时，从数据库中选取相对应的一幅图像显示出来；或者当环境参数和表情参数都发生变化时，从数据库中选取相对应的一幅图像显示出来。

因此一种根据环境和表情自动变化输出图像方法的第一种技术方案是：

第一步：利用环境传感器获取环境参数；

第二步：利用图像传感器采集图像，并用表情识别方法从所采集图像中获得表情参数；

第三步：建立环境参数、表情参数与图像数据的对应数据库；

第四步：当环境参数和/或表情参数变化时，从数据库中选取对应的图像数据进行显示；

其中所述第一步、第二步、第三步的顺序无关。

上述第一步、第二步、第三步的顺序可以任意变化。

在上述方案中，可以做进一步改进，即对应的输出图像数据可以相同，但将输出图像送到显示器上进行显示时，可以对于输出图像按照一种对应的图像处理方法进行处理。也实现了环境参数和/或表情参数变化时，实际显示的图像随之变化。比如输出图像数据是一幅风景画，当检测到表情参数下是观看者看到该幅风景十分高兴时，可以在输出图像数据中叠加所采集的观看者的图像，使观看者的图像与风景画合成为一幅像是观看者处于风景中的显示图像达到进一步愉悦观看者的目的和奇特的效果。图像处理方法可以设计出多种，分别对应不同的环境参数和/或表情参数。

因此一种根据环境和表情自动变化输出图像方法的一种技术方案是：

第一步：利用环境传感器获取环境参数；

第三步：建立环境参数、表情参数与图像数据和图像处理方法的对应数据库；

第四步：当环境参数和/或表情参数变化时，从数据库中选取对应的图像数据经过对应的图像处理方法处理后进行显示；

其中所述第一步、第二步、第三步的顺序无关。

采用上述的技术方法，可以进一步设计出随环境和表情变化的电子画。

随环境和表情变化的电子画的第一种技术方案是：

一种随环境和表情变化的电子画，包含如下部件：

环境传感器；

图像传感器；

信息处理器；

存储电路，存储有至少一幅图像数据；

柔性电子显示器；

所述信息处理器从环境传感器检测到的信号中提取环境参数、从图像传感器采集的图像中提取表情参数并根据获得的环境参数、表情参数从数据库中检索到对应的图像数据送到柔性电子显示器显示；

所述存储电路是所述信息处理器内部的数据存储体或所述存储电路独立于所述信息处理器并与所述信息处理器连接；

所述环境传感器、图像传感器、柔性电子显示器与输出信息处理器连接。

进一步存储电路中存储有数据库，包含环境参数、表情参数、输出图像数据的对应关系；

所述数据库可以在信息处理器中内含的存储数据体，也可以是独立于信息处理器的存储体部件存储。如果包含存储部件，则所述存储部件与信息处理器连接。

上述柔性电子显示器可以采用有机显示材料或者柔性电子纸材料，实现可以弯曲的电子画。

上述柔性电子显示器采用有机发光材料作为显示单元或者采用具有双稳态特性的电子材料层作为显示单元；所述具有双稳态特性的电子材料层包含如下材料之一或组合：具有电泳效应的微胶囊电子墨水、具有电泳效应的微杯结构封装薄膜、旋转球(Gyricon)、具有电润湿效应的电子纸材料、双稳态的胆甾醇型液晶材料。

上述电子画可以进一步包含画轴，将环境传感器、图像传感器、信息处理器置于画轴中，使采用有机显示材料或者柔性电子纸材料的柔性电子显示器可以像传统画一样绕画轴卷起来便于存储、移动和运输。

上述电子画进一步包含与所述信息处理电路连接的通讯模块，所述通讯模块通过有线信号或无线信号与互联网络或局域网络进行信息交互。所述通讯模块通过有线信号或无线信号从互联网络或局域网络下载图像数据存储到所述存储电路中。或者所述通讯模块将环境参数、表情状态通过有线信号或无线信号发送到互联网络或局域网络中的服务器中，从所属服务器中下载与环境参数、表情状态相关的图像数据存储到所述存储电路中。

上述环境检测传感器包含检测如下信息之一或几种的一个或多个传感器：环境温度、气压、湿度、日照度。

上述信息处理电路包含表情识别功能模块，能够对所述图像采集器所采集获得的图像数据进行处理，识别出图像数据包含的人脸表情参数。

上述提取出的表情参数至少可以表示如下七种表情之一或几种：愤怒、厌恶、恐惧、高兴、中性、悲伤、惊讶。

随环境和表情变化的电子画的第二种技术方案是：

一种随环境和表情变化的电子画，包含如下部件：

环境传感器；

图像传感器；

信息处理器；

存储电路，存储有至少一幅图像数据；

柔性电子显示器；

所述信息处理器从环境传感器检测到的信号中提取环境参数、从图像传感器采集的图像中提取表情参数并根据获得的环境参数、表情参数从数据库中检索到对应的图像数据经过对应的图像处理方法处理后送到柔性电子显示器显示；

进一步存储电路中存储有数据库，所述数据库，包含环境参数、表情参数、输出图像数据、图像处理方法的对应关系；

上述电子画可以进一步包含画轴，将环境传感器、图像传感器、信息处理器、存储体部件置于画轴中，使采用有机显示材料或者柔性电子纸材料的柔性电子显示器可以像传统画一样绕画轴卷起来便于存储、移动和运输。

上述的图像处理方法包含多图像合成、添加图像边框、图像剪辑、图像变形、图像函数变换等。

本发明的有益效果：采用本发明的技术可以实现传统画一样可以卷曲功能又具有自动感知环境和观看者的表情状态改变所展示画面的智能交流能力的电子画。所采用的具有柔性可卷曲的电子显示器上，使电子化十分方便携带、保存、移动、布置，成为一种一新的艺术品表现方式。同时由于画面可以随环境和表情变化，使电子画更具有灵性和吸引力。

附图说明：

图1是第一种实现随环境和表情变化的电子画工作原理图。

图2是第二种实现随环境和表情变化的电子画工作原理图。

图3是随环境和表情变化的电子画产品示意图。

具体实施方式：

下面结合附图进一步描述本发明的具体实施方案。

图1是第一种实现随环境和表情变化的电子画工作原理图。在该图中，电子画包含环境检测传感器101、图像采集器102、存储电路103、信息处理电路105、柔性电子显示器104。所述环境检测传感器101检测环境的环境温度、气压、湿度、日照度的等信息送到信息处理电路105进行处理提取出环境参数，并进一步结合数字日历信息可以识别出环境的天气与气候作为环境参数。所述图像采集器102观看者的图像信息送到信息处理电路105进行处理提取出表情参数，所采用的表情识别方法可以是在公开号为CN101004791公开日为2007年7月25目的中国发明专利申请名称为“一种基于二维偏最小二乘法的面部表情识别方法”公开文件中描述的从图像中提取表情特征和识别面部表情的方法；也可以是在公开号为CN1794265公开日为2006年6月28日的中国发明专利名称为“基于视频的面部表情识别方法及装置”公告文件中描述的从图像中提取人脸和识别面部表情的方法。所述存储电路103种存储了用于显示的图像数据和一个数据库，所述数据库中存储了环境参数、表情参数与要显示的图像数据的对应关系。所述信息处理电路105具有管理所述数据库的功能，可以根据提取的环境参数和/或表情参数提取出需要显示的对应图像数据并输出到柔性电子显示器104上显示出来。当环境参数和/或表情参数变化时，将根据数据库的对应关系显示新的图像。假定可识别的表情参数有7种情况，如愤怒、厌恶、恐惧、高兴、中性、悲伤、惊讶；可识别的环境参数有10种情况，如高温晴朗、高温潮湿、高温干燥、雨天、雪天、雷雨天、温和气候、低温潮湿、低压闷热等，则与输出图像的对应关系有70种。此时所显示的图像有70种变化。下表列举了其中几种环境参数、表情参数与显示图像的对应关系举例。

环境参数	表情参数	输出图像
			晴天高温	高兴	一幅夏日海滩画面
晴天高温	惊讶	一幅后羿射日画面
			雨天	高兴	一幅雨中漫步的画面
雪天	恐惧	一幅童话“三根火柴”

进一步的是根据环境参数、表情参数，可以是对于特定的图像数据经过不同图像处理方法的处理后再输出显示，从而实现不同环境参数、表情参数而呈现不同输出图像。此时的数据库是环境参数、表情参数、图像数据、处理方法的对应关系。下表列举了其中几种环境参数、表情参数、图像数据、处理方法的对应关系举例。

环境参数	表情参数	图像数据	处理方法
				晴天高温	高兴	一幅夏日海滩画面	在画面中叠加一太阳伞和躺椅
晴天高温	惊讶	一幅夏日海滩画面	在画面中叠加一鲨鱼喷水景象
				雨天	高兴	一幅夏日海滩画面	在画面中叠加雨花落在海面上的场景
雪天	恐惧	一幅夏日海滩画面	在画面中叠加雪花

图2是第二种实现随环境和表情变化的电子画工作原理图。相比于图1，本实施例中增加了通讯模块106与信息处理电路205连接，所述通讯模块106具有无限通讯功能和/或有线通讯功能。增加通讯模块106后，可以使信息处理电路205通过无线通讯网络或有线通讯网络从互联网络或局域网络或移动通讯网络中下载图像数据存储在存储电路103中，增加可显示图像数据的来源并可实现更新。特别是，可以以环境参数、表情参数作为在互联网络或局域网络或移动通讯网络中搜索关联图像的检索词或关键词，以搜索并下载与环境参数、表情参数相关的图像数据。假定可识别的表情参数有7种情况，如愤怒、厌恶、恐惧、高兴、中性、悲伤、惊讶；可识别的环境参数有10种情况，如高温晴朗、高温潮湿、高温干燥、雨天、雪天、雷雨天、温和气候、低温潮湿、低压闷热等，则与输出图像的对应关系有70种。此时通过通讯模块106从互联网络或局域网络或移动通讯网络中搜索关联图像的检索词或关键词达到70个。使电子画的图像输出变化更多，数据信息源更多。

图3是随环境和表情变化的电子画产品示意图。电子画产品包含画轴301、柔性电子纸显示器302。实现本发明的环境传感器、图像传感器、信息处理电路都布置在所述画轴301内部和表面。最优的是其中图像传感器的感光镜头304置于画轴301的正中间位置，便于有效地采集观察者的脸部图像信息。柔性电子纸显示器302显示的画面303可以随着环境传感器、图像传感器所检测到的环境参数和表情参数而变化。进一步电子画中可以包含通讯模块，所述通讯模块置于画轴301内，通过有线通讯网络或无线通讯网络从互联网络或局域网络或移动通讯网络中下载图像数据，使图像的变化更多，图像的数据源也更多。

Claims

1.一种随环境和表情变化的电子画，其特征是包含如下部件：

环境传感器；

图像传感器；

信息处理电路；

存储电路，存储有至少一幅图像数据，所述存储电路中存储有数据库，所述数据库包含环境参数、表情参数、输出图像数据、图像处理方法的对应关系；

柔性电子显示器；

所述信息处理电路从环境传感器检测到的信号中提取环境参数、从图像传感器采集的图像中提取表情参数；当所述环境参数和/或表情参数发生变化时，所述信息处理电路根据获得的环境参数和表情参数从数据库中检索到对应的输出图像数据和对应的图像处理方法，将所对应的输出图像数据经过所对应的图像处理方法处理后送到柔性电子显示器显示；所述图像处理方法包含添加图像边框、图像剪辑、图像变形、图像函数变换之一；

所述存储电路是所述信息处理电路内部的数据存储体或所述存储电路独立于所述信息处理电路并与所述信息处理电路连接；

所述环境传感器、图像传感器、柔性电子显示器与所述信息处理电路连接。

2.根据权利要求1所述的电子画，其特征是进一步包含与所述信息处理电路连接的通讯模块，所述通讯模块通过有线信号或无线信号与互联网络或局域网络进行信息交互。

3.根据权利要求2所述的电子画，其特征是所述通讯模块通过有线信号或无线信号从互联网络或局域网络下载图像数据存储到所述存储电路中。

4.根据权利要求2所述的电子画，其特征是所述通讯模块将环境参数、表情参数通过有线信号或无线信号发送到互联网络或局域网络中的服务器中，从所述服务器中下载与环境参数、表情参数相关的图像数据存储到所述存储电路中。

5.根据权利要求1-4中任一项所述的电子画，其特征是所述环境传感器包含检测如下信息之一或几种的一个或多个传感器：环境温度、气压、湿度、日照度。

6.根据权利要求1-4中任一项所述的电子画，其特征是所述信息处理电路包含表情识别功能模块，能够对所述图像传感器所采集获得的图像数据进行处理，识别出图像数据包含的人脸表情参数。

7.根据权利要求5所述的电子画，其特征是所述信息处理电路包含表情识别功能模块，能够对所述图像传感器所采集获得的图像数据进行处理，识别出图像数据包含的人脸表情参数。

8.根据权利要求1至4、7中任一项所述的电子画，其特征是所述柔性电子显示器采用有机发光材料作为显示单元或者采用具有双稳态特性的电子材料层作为显示单元。

9.根据权利要求5所述的电子画，其特征是所述柔性电子显示器采用有机发光材料作为显示单元或者采用具有双稳态特性的电子材料层作为显示单元。

10.根据权利要求6所述的电子画，其特征是所述柔性电子显示器采用有机发光材料作为显示单元或者采用具有双稳态特性的电子材料层作为显示单元。

11.根据权利要求1至4、7、9、10中任一项所述的电子画，其特征是所述电子画进一步包含画轴，将环境传感器、图像传感器、信息处理电路置于画轴中。

12.根据权利要求5所述的电子画，其特征是所述电子画进一步包含画轴，将环境传感器、图像传感器、信息处理电路置于画轴中。

13.根据权利要求6所述的电子画，其特征是所述电子画进一步包含画轴，将环境传感器、图像传感器、信息处理电路置于画轴中。

14.根据权利要求8所述的电子画，其特征是所述电子画进一步包含画轴，将环境传感器、图像传感器、信息处理电路置于画轴中。

15.一种根据环境和表情自动变化输出图像的方法，其特征是包含如下步骤：

第一步：利用环境传感器获取环境参数；

第四步：当环境参数和/或表情参数变化时，根据获得的环境参数和表情参数从数据库中选取对应的图像数据和对应的图像处理方法，将所对应的图像数据经过所对应的图像处理方法处理后进行显示，所述图像处理方法包含添加图像边框、图像剪辑、图像变形、图像函数变换之一；

其中所述第一步、第二步、第三步的顺序无关。

16.根据权利要求15所述的方法，其特征是在所述第三步之前通过有线信号或无线信号从互联网络或局域网络下载得到所述图像数据。

17.根据权利要求15所述的方法，其特征是在所述第三步之前将所述环境参数、表情参数通过有线信号或无线信号发送到互联网络或局域网络中的服务器中，从所述服务器中下载得到与所述环境参数、表情参数相关的所述图像数据。