CN101739673A - 人的面部表情的制作系统及制作方法 - Google Patents

Abstract

本发明公开了一种人的面部表情的制作系统，其视频信号输出到显示器，包括中央控制器、表情模型库和真实人脸图片，表情模型库和真实人脸电子图片分别与中央控制器对应连接；所述表情模型库包括人脸局部模型库和亮度局部模型库；人脸局部模型库包括若干不同部位的人脸局部微变模型，亮度局部模型库包括若干不同部位的亮度局部微变模型。本发明还公开了一种人的面部表情的制作方法，通过软件来实现，在中央处理器的控制下，将表情模型库中与真实人脸图片相对应的人脸局部微变模型和亮度局部微变模型分别与真实人脸图片通过定位点定位的方式进行复合。本发明利用附加的表情变化元素使静止的真实人脸图片可以做出各种表情，具有很强的娱乐性。

Description

人的面部表情的制作系统及制作方法

技术领域

本发明涉及一种人的面部表情的制作系统及制作方法，尤其涉及一种利用附加的表情变化元素使静止的真实人脸图片可以做出各种表情的制作系统及制作方法。

背景技术

在现代社会，随着竞争的日趋激烈、人才的日趋饱和，人们的压力越来越大，也不得不花更多的时间在工作上，尤其是中年人，在“上有老，下有小”的家庭结构中扮演中流砥柱的角色，必须花更多的时间干事业才有可能过上比较理想的生活。然而，在忙碌的背后，必然会导致家庭生活的减少，特别是现在已经逐渐成为社会主流的独生子女一代，他们面临一个家庭、四个老人的状况，不但会担负更多的家庭责任，而且更是社会的重要发展力量。为了社会进步、家庭需要及个人发展，他们必然会将大部分时间用于工作，从而可能在无形中疏远与父母甚至子女的亲情关系，甚至造成不孝或不教等有违中国传统道德的不良事实，其实这是每个子女都不愿却又无奈的选择。

在这种背景下，父母(或子女)如果能有与自己的子女(或父母)的音容笑貌比较接近的“替身”陪伴在自己的身边，那么将会极大程度地改善上述不利于社会安定和家庭团结、和谐的状况，比如机器人。但从目前的技术和现实产品来看，机器人还远不能达到上述要求，特别是表情的变化。如果要获得一个比较理想的表情效果，就需要在技术最发达的公司去订制一个固定头像的机器人，不但价格非常昂贵，而且也只能变化数十种表情，另外还有以下弊端：其表情与本人的真实表情之间有较大差异；固定为某个人，无法更换(或花一大笔钱重新订制头像)；面部特征无法因时间改变而改变，而这些功能都是使用者所希望具备的。

所以，采用电子显示器作为机器人的脸部，通过软件实现上述功能将是一个比较有效的途径。但是，目前关于脸部表情的软件还无法实现上述功能，目前最新技术的相关软件也只有以下功能：将真实人脸图片进行点定位，然后进行定位点的位置移动，然后通过播放移动过程来表达某种表情的变化过程，这种方式与真正的表情及表情变化相去甚远，根本无法实现真实表情。

发明内容

本发明的目的就是为了解决上述问题而提供一种人的面部表情的制作系统及制作方法，这种系统和方法可以利用附加的表情变化元素使静止的真实人脸图片做出各种逼真的表情。

为了实现上述目的，本发明采用以下技术方案：

本发明中人的面部表情的制作系统，其视频信号输出到显示器，包括中央控制器、表情模型库和真实人脸图片，表情模型库和真实人脸图片分别与中央控制器对应连接；所述表情模型库包括人脸局部模型库和亮度局部模型库，所述真实人脸图片为电子图片；人脸局部模型库包括若干不同部位的人脸局部模型，人脸局部模型为无背景的、与某种表情相对应的人脸局部尺寸及边界，相邻的人脸局部模型之间为无缝连接；每个部位的人脸局部模型包括若干不同尺寸的人脸局部模型；每种不同尺寸的人脸局部模型包括若干人脸局部微变模型，人脸局部微变模型为某种表情中最深程度所需要尺寸及位置，与常态表情所需要的尺寸及位置之间的某个尺寸及位置的人脸局部模型；亮度局部模型库包括若干不同部位的亮度局部模型，亮度局部模型为无背景的、与某种表情相对应的人脸局部亮度组合，相邻的亮度局部模型之间为无缝连接；每个部位的亮度局部模型包括若干不同年龄的亮度局部模型；每个不同年龄的亮度局部模型包括若干亮度局部微变模型，亮度局部微变模型为某种表情中最深程度所需要的局部亮度组合与常态表情所需要的局部亮度组合之间的某个渐变局部亮度组合。

本发明的指导思想就是将真实表情及表情变化所需要的局部位置变化及亮度变化(其实象脸上的皱纹、酒窝、凸点等都是亮度变化所表现出来的平面效果)用另外的人脸局部微变模型和亮度局部微变模型来实现，然后与真实人脸图片相结合，把这些变化过程或变化结果反应在真实人脸图片上，就实现了真实的表情，也就是说，只需要使用者提供一张正面的真实人脸图片，本发明就能做出该人的各种表情并显示在显示屏上。人脸局部微变模型和亮度局部微变模型做得越真、越多、越细，表情就越准确、越丰富、越真实。

所述人脸局部模型库包括以下部位的人脸局部模型：左眉毛、右眉毛、左上眼皮、右上眼皮、左下眼皮、右下眼皮、上嘴皮、下嘴皮、口腔、牙齿、舌头、眼珠、眼白。上述部位是表情所需的人脸部位，把它们区分开来是因为不同的表情会使用不同的一个或几个部位，只有分开，才能使其变化多样，从而可以实现尽可能多的表情显示。

人脸局部微变模型是针对每个部位的若干变化表情模型，比如，“笑”(这里假设为脸两侧统一的笑)的表情中，从不笑的常态到“笑”的最深程度即“大笑”之间还有很多微变的“笑”，如“微笑”等。所以应该在人脸局部模型库储存众多的不同部位、同一部位不同尺寸、同部位同尺寸变化的不同阶段的人脸局部微变模型，供中央控制器选择。

所述亮度局部模型库包括以下部位的亮度局部模型：左眼及周围、右眼及周围、嘴巴及周围、额头、其它部位。眼睛、嘴巴、额头是表情变化需要动的部位，所以左眼及周围、右眼及周围、嘴巴及周围、额头的亮度变化比较明显，分别对待；其它部位变化相对较小，作为一个整体对待。

系统还包括与中央控制器对应连接的发型图库；发型图库包括若干不同发型。这样可以实现发型的改变，从而给人以新鲜的感觉。

本发明中人的面部表情的制作方法，通过软件来实现，在每一个人脸局部微变模型和亮度局部微变模型的边界上设置定位点，并在真实人脸图片上设置相对应的定位点，在中央处理器的控制下，先在表情模型库中选出与真实人脸图片相对应的人脸局部微变模型和亮度局部微变模型，然后选出的人脸局部微变模型和亮度局部微变模型分别与真实人脸图片通过定位点定位的方式进行复合，复合后，可通过改变人脸局部微变模型和亮度局部微变模型来改变真实人脸图片对应部位的尺寸大小和亮度，亮度局部微变模型位于人脸局部微变模型的前面；复合后的不同部位的人脸局部模型采用分层显示，在前一层的相邻复合人脸局部微变模型之间出现裂口后显示后一层复合人脸局部微变模型。

通过表情模型与真实人脸图片的复合，使真实人脸按既定的变化规则实现不同的表情及表情变化；而分层显示则会静止图片所没有的口腔、牙齿、眼珠等内层器官显示出来，在不提供真实内层器官的情况下，也可以根据描述在表情模型库中选择合适的器官代替，从而实现以前觉得不可能实现的表情功能。

所述复合后的不同部位的人脸局部模型采用以下方法分层：左眉毛、右眉毛、左上眼皮、右上眼皮、左下眼皮、右下眼皮、上嘴皮、下嘴皮为同一层，位于最前面的第一层；牙齿和眼珠为同一层，位于第二层；舌头和眼白为同一层，位于第三层；口腔位于第四层。

所述人脸局部微变模型按以下方式获取：在某种表情中，其最深程度所需要的某个人脸局部的尺寸及位置，与常态表情所需要的尺寸及位置之间的差，平均分成为若干等份，在常态表情所需要的尺寸及位置的基础上，每增加一等份即为一个人脸局部微变模型。

所述亮度局部微变模型按以下方式获取：在某种表情中，其最深程度所需要的某个人脸局部的亮度组合与常态表情所需要的亮度组合之间的差，平均分成为若干等份，在常态表情所需要的亮度组合的基础上，每增加一等份即为一个亮度局部微变模型。

在应用中，所用到的上述人脸局部微变模型与亮度局部微变模型应该有一一对应的关系，可以在预存时按对应的表情名称将二者对应起来，选择时，中央控制器只需提取相关的表情名称信息即可。

所述中央处理器选择人脸局部微变模型的方法是：按以下层进方式依次选择：人脸部位→尺寸→表情的微变阶段→确定；所述中央处理器选择亮度局部微变模型方法是：按以下层进方式依次选择：人脸部位→年龄→表情的微变阶段→确定。

在中央控制器的控制作用下，将发型图库内的发型复合到真实人脸图片的对应位置，发型位于最前面一层。

本发明的有益效果在于：

(1)通过本发明可以将尽可能多的表情特性附加于真实人脸图片，使需要的人可以在显示器上看到该图片对应的人的各种表情，甚至比真人更丰富的表情及表情变化，让人感觉图片上的人就在身边，而且这种情形可以永久保存；

(2)如果将本发明的视频信息输出到机器人的面部显示器，可以让使用机器人的人与显示器上的人亲切交流(一般都是最亲近的关系)，不但可以免去怀念之苦，而且在机器人上加装远程通讯后可以让使用者倾诉自己的真实想法，避免了使用者的心理疾病，并有利于问题的及时解决，从而有利于整个社会的安定、和谐；

(3)本发明的娱乐性也很强，可以将各种奇怪的表情附加在某个人的脸上，让他本人或旁人看到他从来没有出现过的表情，也是很有趣的事，这里要说明一下，通过本发明显示的各种表情是在瞬间改变的，而且也可以适当放慢以显示其表情变化过程，这与我们平时所用的用PHOTOSHOP等软件制作表情图片是完全不同的，其优越性显而易见；

(4)本发明还可以应用于将某些不在人世的人的音容笑貌永远保留下来，以作怀念，体现了浓浓的人间真情；

(5)通过将一种表情的图片演变为无数表情的图片，本发明还可以应用于表情再现的其它用途，如医疗(如病症的诊断等)、刑侦(如罪犯的比对等)等。

附图说明

图1是本发明中制作系统的系统方框图；

图2是本发明中人脸局部模型在真实人脸图片上的部位分区示意图；

图3是本发明中亮度局部模型在真实人脸图片上的部位分区示意图。

具体实施方式

下面结合附图对本发明作进一步具体说明：

如图1所示，本发明中人的面部表情的制作系统，包括中央控制器、表情模型库和真实人脸图片，表情模型库和真实人脸图片分别与中央控制器对应连接；所述表情模型库包括人脸局部模型库和亮度局部模型库，所述真实人脸图片为电子图片；人脸局部模型库包括若干不同部位的人脸局部模型，人脸局部模型为无背景的、与某种表情相对应的人脸局部尺寸及边界，相邻的人脸局部模型之间为无缝连接；每个部位的人脸局部模型包括若干不同尺寸的人脸局部模型；每种不同尺寸的人脸局部模型包括若干人脸局部微变模型，人脸局部微变模型为某种表情中最深程度所需要尺寸及位置，与常态表情所需要的尺寸及位置之间的某个尺寸及位置的人脸局部模型；亮度局部模型库包括若干不同部位的亮度局部模型，亮度局部模型为无背景的、与某种表情相对应的人脸局部亮度组合，相邻的亮度局部模型之间为无缝连接；每个部位的亮度局部模型包括若干不同年龄的亮度局部模型；每个不同年龄的亮度局部模型包括若干亮度局部微变模型，亮度局部微变模型为某种表情中最深程度所需要的局部亮度组合与常态表情所需要的局部亮度组合之间的某个渐变局部亮度组合。

如图2所示，本发明中制作系统的视频信号输出到显示器1上，显示器1一般为LCD显示器，也可以为投影显示器、弧行可塑显示器(目前时常上还没有)等，在真实人脸图片2(电子图片)上，人脸局部模型库包括以下部位的人脸局部模型：左眉毛部位3、右眉毛部位10、左上眼皮部位5、右上眼皮部位11、左下眼皮部位6、右下眼皮部位12、上嘴皮部位8、下嘴皮部位9、口腔部位、牙齿部位、舌头部位、眼珠部位、眼白部位(上述未标数字的部位在图中不可视)。上述部位是表情所需的人脸部位，把它们区分开来是因为不同的表情会使用不同的一个或几个部位，只有分开，才能使其变化多样，从而可以实现尽可能多的表情显示。

如图2所示，在真实人脸图片上，亮度局部模型库包括以下部位的亮度局部模型：左眼及周围部位15、右眼及周围部位19、嘴巴及周围部位18、额头部位13、其它部位16。眼睛、嘴巴、额头是表情变化需要动的部位，所以左眼及周围部位15、右眼及周围部位19、嘴巴及周围部位18、额头部位13的亮度变化比较明显，分别对待；其它部位16变化相对较小，作为一个整体对待。

如图1所示，系统还包括与中央控制器对应连接的发型图库；发型图库包括若干不同发型。这样可以实现发型的改变，从而给人以新鲜的感觉。

本发明中人的面部表情的制作方法，通过软件来实现，如图2和图3所示，在每一个人脸局部微变模型和亮度局部微变模型的边界上设置定位点20，并在真实人脸图片上设置相对应的定位点20，在中央处理器的控制下，先在表情模型库中选出与真实人脸图片2相对应的人脸局部微变模型和亮度局部微变模型，然后选出的人脸局部微变模型和亮度局部微变模型分别与真实人脸图片2通过定位点20定位的方式进行复合，复合后，可通过改变人脸局部微变模型和亮度局部微变模型来改变真实人脸图片2对应部位的尺寸大小和亮度，亮度局部微变模型位于人脸局部微变模型的前面；复合后的不同部位的人脸局部模型采用分层显示，其分层方法是：左眉毛、右眉毛、左上眼皮、右上眼皮、左下眼皮、右下眼皮、上嘴皮、下嘴皮为同一层，位于最前面的第一层；牙齿和眼珠为同一层，位于第二层；舌头和眼白为同一层，位于第三层；口腔位于第四层。在前一层的相邻复合人脸局部微变模型之间出现裂口后显示后一层复合人脸局部微变模型。

通过表情模型与真实人脸图片2的复合，使真实人脸按既定的变化规则实现不同的表情及表情变化；而分层显示则会静止图片所没有的口腔、牙齿、眼珠等内层器官显示出来，在不提供真实内层器官的情况下，也可以根据描述在表情模型库中选择合适的器官代替，从而实现以前觉得不可能实现的表情功能。

所述人脸局部微变模型按以下方式获取：在某种表情中，其最深程度所需要的某个人脸局部的尺寸及位置，与常态表情所需要的尺寸及位置之间的差，平均分成为若干等份，在常态表情所需要的尺寸及位置的基础上，每增加一等份即为一个人脸局部微变模型。

所述亮度局部微变模型按以下方式获取：在某种表情中，其最深程度所需要的某个人脸局部的亮度组合与常态表情所需要的亮度组合之间的差，平均分成为若干等份，在常态表情所需要的亮度组合的基础上，每增加一等份即为一个亮度局部微变模型。

在应用中，所用到的上述人脸局部微变模型与亮度局部微变模型应该有一一对应的关系，可以在预存时按对应的表情名称将二者对应起来，选择时，中央控制器只需提取相关的表情名称信息即可。

所述中央处理器选择人脸局部微变模型的方法是：按以下层进方式依次选择：人脸部位→尺寸→表情的微变阶段→确定；所述中央处理器选择亮度局部微变模型方法是：按以下层进方式依次选择：人脸部位→年龄→表情的微变阶段→确定。

如图2和图3所示，在中央控制器的控制作用下，将发型图库内的发型复合到真实人脸图片的对应位置，发型位于最前面一层。

人脸局部微变模型是针对每个部位的若干变化表情模型，比如，“笑”(这里假设为脸两侧统一的笑)的表情中，从不笑的常态到“笑”的最深程度即“大笑”之间还有很多微变的“笑”，如“微笑”等。所以应该在人脸局部模型库储存众多的不同部位、同一部位不同尺寸、同部位同尺寸变化的不同阶段的人脸局部微变模型，供中央控制器选择。

本发明的指导思想就是将真实表情及表情变化所需要的局部位置变化及亮度变化(其实象脸上的皱纹、酒窝、凸点等都是亮度变化所表现出来的平面效果)用另外的人脸局部微变模型和亮度局部微变模型来实现，然后与真实人脸图片2相结合，把这些变化过程或变化结果反应在真实人脸图片2上，就实现了真实的表情，也就是说，只需要使用者提供一张正面的真实人脸图片2，本发明就能做出该人的各种表情并显示在显示屏1上。人脸局部微变模型和亮度局部微变模型做得越真、越多、越细，表情就越准确、越丰富、越真实。

Claims (10)

1.一种人的面部表情的制作系统，其视频信号输出到显示器，其特征在于：包括中央控制器、表情模型库和真实人脸图片，表情模型库和真实人脸图片分别与中央控制器对应连接；所述表情模型库包括人脸局部模型库和亮度局部模型库，所述真实人脸图片为电子图片；人脸局部模型库包括若干不同部位的人脸局部模型，人脸局部模型为无背景的、与某种表情相对应的人脸局部尺寸及边界，相邻的人脸局部模型之间为无缝连接；每个部位的人脸局部模型包括若干不同尺寸的人脸局部模型；每种不同尺寸的人脸局部模型包括若干人脸局部微变模型，人脸局部微变模型为某种表情中最深程度所需要尺寸及位置，与常态表情所需要的尺寸及位置之间的某个尺寸及位置的人脸局部模型；亮度局部模型库包括若干不同部位的亮度局部模型，亮度局部模型为无背景的、与某种表情相对应的人脸局部亮度组合，相邻的亮度局部模型之间为无缝连接；每个部位的亮度局部模型包括若干不同年龄的亮度局部模型；每个不同年龄的亮度局部模型包括若干亮度局部微变模型，亮度局部微变模型为某种表情中最深程度所需要的局部亮度组合与常态表情所需要的局部亮度组合之间的某个渐变局部亮度组合。

2.根据权利要求1所述的人的面部表情的制作系统，其特征在于：所述人脸局部模型库包括以下部位的人脸局部模型：左眉毛部位、右眉毛部位、左上眼皮部位、右上眼皮部位、左下眼皮部位、右下眼皮部位、上嘴皮部位、下嘴皮部位、口腔部位、牙齿部位、舌头部位、眼珠部位、眼白部位。

3.根据权利要求1所述的人的面部表情的制作系统，其特征在于：所述亮度局部模型库包括以下部位的亮度局部模型：左眼及周围部位、右眼及周围部位、嘴巴及周围部位、额头部位、其它部位。

4.根据权利要求1所述的人的面部表情的制作系统，其特征在于：系统还包括与中央控制器对应连接的发型图库；发型图库包括若干不同发型。

5.一种应用于权利要求1所述的制作系统的人的面部表情的制作方法，通过软件来实现，其特征在于：在每一个人脸局部微变模型和亮度局部微变模型的边界上设置定位点，并在真实人脸图片上设置相对应的定位点，在中央处理器的控制下，先在表情模型库中选出与真实人脸图片相对应的人脸局部微变模型和亮度局部微变模型，然后选出的人脸局部微变模型和亮度局部微变模型分别与真实人脸图片通过定位点定位的方式进行复合，复合后，可通过改变人脸局部微变模型和亮度局部微变模型来改变真实人脸图片对应部位的尺寸大小和亮度，亮度局部微变模型位于人脸局部微变模型的前面；复合后的不同部位的人脸局部模型采用分层显示，在前一层的相邻复合人脸局部微变模型之间出现裂口后显示后一层复合人脸局部微变模型。

6.根据权利要求5所述的人的面部表情的制作方法，其特征在于：所述复合后的不同部位的人脸局部模型采用以下方法分层：左眉毛、右眉毛、左上眼皮、右上眼皮、左下眼皮、右下眼皮、上嘴皮、下嘴皮为同一层，位于最前面的第一层；牙齿和眼珠为同一层，位于第二层；舌头和眼白为同一层，位于第三层；口腔位于第四层。

7.根据权利要求5所述的人的面部表情的制作方法，其特征在于：所述人脸局部微变模型按以下方式获取：在某种表情中，其最深程度所需要的某个人脸局部的尺寸及位置，与常态表情所需要的尺寸及位置之间的差，平均分成为若干等份，在常态表情所需要的尺寸及位置的基础上，每增加一等份即为一个人脸局部微变模型。

8.根据权利要求5所述的人的面部表情的制作方法，其特征在于：所述亮度局部微变模型按以下方式获取：在某种表情中，其最深程度所需要的某个人脸局部的亮度组合与常态表情所需要的亮度组合之间的差，平均分成为若干等份，在常态表情所需要的亮度组合的基础上，每增加一等份即为一个亮度局部微变模型。

9.根据权利要求5所述的人的面部表情的制作方法，其特征在于：所述中央处理器选择人脸局部微变模型的方法是：按以下层进方式依次选择：人脸部位→尺寸→表情的微变阶段→确定；所述中央处理器选择亮度局部微变模型方法是：按以下层进方式依次选择：人脸部位→年龄→表情的微变阶段→确定。

10.根据权利要求5所述的人的面部表情的制作方法，其特征在于：在中央控制器的控制作用下，将发型图库内的发型复合到真实人脸图片的对应位置，发型位于最前面一层。

Images