CN102271241A - 一种基于面部表情/动作识别的图像通信方法及系统 - Google Patents

Abstract

本发明公开了一种基于面部表情/动作识别的图像通信方法及系统，所述基于面部表情识别的图像通信方法，首先在发送端采集图像，并确定图像中的面部区域；然后对所述面部区域内的面部表情特征参数进行提取；之后将所述提取出来的面部表情特征参数发送至接收端；最后在接收端利用所述面部表情特征参数对接收端本地的面部模型进行控制，以通过所述面部模型重现所述面部表情。应用本发明不仅可增强用户体验，而且可大大降低对视频承载网的信息传输速率的要求，实现更有效的视频通信，尤其适用于网络带宽和容量受限的无线通信网络。

Description

一种基于面部表情/动作识别的图像通信方法及系统

技术领域

本发明基于模式识别和宽带无线通信领域，尤其涉及人脸面部表情识别、动作识别、无线数据传输与表情重构技术领域。

背景技术

图像通信(或称视频通信)技术的发展由来已久。60年代初期，发达国家就开始研究模拟视频会议系统，并逐渐商用化。80年代中期，大规模集成电路技术飞速发展，图像编解码技术取得突破，信道费用降低，为视频通信真正走向实用提供了良好的发展条件。进入了90年代，计算机技术以及Intemet的飞速发展又加快了视频通信技术的发展速度。而视频通信真正获得迅猛的发展以及大规模部署，是在90年代中后期开始的。这一时期，处理器的处理能力迈上了新台阶，宽带网络技术较以往取得了长足的进步，使得网络中的视频业务量迅速增加，视频通信在有线网络中首次大规模成功商用。与此同时，借助于低功耗集成电路和无线通信技术的成果，无线视频通信技术迅速发展，无线通信网络已经能够提供高速视频图像业务。目前，随着网络通信技术的进一步发展、网络带宽的进一步增加以及视频编解码技术的不断进步和完善，视频通信业务的质量进一步提高，价格进一步下降，其带来的便利和效率开始惠及更多的终端用户，网络视频服务也开始变的更加大众化。人们对视频通信、视频电话、视频会议等业务的需求越来越高。

传统的视频通信技术主要将研究重点放在图像与视频的编解码技术以及通信承载网上。

图像与视频的编解码技术是视频通信中的关键技术。其目的可以概括为：在给定的限制条件以及具体的网络环境下，输出率失真最优的码流，或者说，既要压缩输出码率，又要保证压缩所产生的失真在可允许的范围内。这里的限制条件可以是最大时延，或者最大计算复杂度。1988年，国际电信联盟ITU-T颁布的H.261建议草案是第一个视频编码国际标准。其后直到今天，以这种混合编码技术为基础，各大国际标准组织相继制定出了一系列的视频编码标准，如ITU.T(国际电信联盟)的H.262，H.263，H.264，ISO(国际标准组织)的MPEG-1，MPEG-2，MPEG-4。

如果说编解码技术是视频通信的关键，则承载网则是视频通信的基础。视频通信业务可以承载在不同技术的底层网络上，从早期的公共电话交换网络PSTN(Public Switched Telephone Network)，到窄带综合业务数据网ISDN(Integrated Services Digital Network)，数字数据网DDN(Digital DataNetwork)，异步传输模式ATM(Asynchronous Transfer Mode)以及现在广泛使用的IP网络都可以成为视频通信业务的承载网。由于视频通信的实时性和图像传输的特点，要求承载网具备足够的带宽、短时延、低误码率等特点。按照承载网的不同发展阶段，就可以了解视频通信技术的发展脉络。

近年来随着无线通信技术的不断发展以及智能手机终端的普及，对基于移动终端的视频业务的需求激增。无线通信信道环境状况复杂，信道质量相对较差，要保证较高的QoS，就对视频的编码效率提出了更高的要求。已有的基于移动通信网络的视频传输业务的研究重点都是不断提高压缩效率，提高通信带宽，从而提供更好的视频通信质量。

由上述分析可知，在视频通信领域中，实现视频通信业务的思路主要在于：一方面通过视频编码技术对原始视频信息进行压缩，以在保证可接受的译码失真前提下尽量降低所需传输的数据量；另一方面，通过对承载网技术的改进，提高通信速率并保证低业务延迟。

另一方面，再来看面部特征识别技术，其是一种通过计算机提取人脸面部特征并根据这些特征进行身份验证的技术。关于人脸的机器识别研究开始于二十世纪七十年代，以Allen和Parke为代表，主要研究人脸识别所需要的面部特征。研究者用计算机实现了较高质量的人脸灰度图模型。这一阶段工作的特点是识别过程全部依赖于操作人员，不是一种可以完成自动识别的系统。人机交互式识别阶段起始于Harmon和Lesk用几何特征参数来表示人脸正面图像。他们采用多维特征矢量表示人脸面部特征，并设计了基于这一特征表示法的识别系统。Kaya和Kobayashi则采用了统计识别方法，用欧氏距离来表征人脸特征。但这类方法需要利用操作员的某些先验知识，仍然摆脱不了人的干预。20世纪90年代以来，随着高性能计算机的出现，人脸识别方法有了重大突破，才进入了真正的机器自动识别阶段，国外的一些高校(卡内基梅隆大学为首，麻省理工大学，英国的雷丁大学等)和公司(Visionics公司Facelt人脸识别系统、Viiage的FaceFINDER身份验证系统、Lau Tech公司Hunter系统、德国的BioID系统等)都进行了相关的学术和工程研究工作。在国内，2002年由北京大学高文教授领导的国家863项目“面像检测与识别核心技术”通过成果鉴定并初步应用，该系统可在1/10秒到1/20秒的时间内“捕获人脸”，并在1秒钟内完成识别，识别率达到96％。2005年1月18日，由清华大学电子系苏光大教授主持承担的国家攻关项目“人脸识别系统”通过了由公安部主持的专家鉴定。2006年国内首次在高速DSP平台上实现人脸识别算法的汉王科技于2011年3月推出了采用专用双摄像头及双目立体人脸识别算法的“人脸通”识别机，其识别成功率达到99％，更体现了我国人脸识别系统大规模商用的趋势。

可以说面部识别技术已经比较成熟，但基本是应用于身份识别与认定方面，譬如机关单位的安全和考勤、网络安全、银行、海关边检、物业管理、公安、智能身份证、智能门禁、司机驾照验证、计算机登录系统等。经过广泛调研，可知目前还没有将面部识别或动作识别与视频通信相结合的研究与应用。

发明内容

本发明所要解决的技术问题在于提供一种基于面部表情/动作识别的图像通信方法及系统，以克服现有技术下由于无线接入网速率受限所导致的图像通信单纯通过编码压缩的方式已经无法有效降低对通信速率的要求的问题。

为解决上述技术问题，本发明提供一种基于面部表情识别的图像通信方法，包括如下步骤：

在发送端采集图像，并确定图像中的面部区域；

对所述面部区域内的面部表情特征参数进行提取；

将所述提取出来的面部表情特征参数发送至接收端；

在接收端利用所述面部表情特征参数对接收端本地的面部模型进行控制，以通过所述面部模型重现所述面部表情。

其中，在所述对面部表情特征参数进行提取的步骤之前，还可以进一步包括：对所述面部区域图像进行预处理，以增强显示面部表情特征。

其中，所述发送端将面部表情特征参数可以经过量化编码后发送至接收端；所述接收端将接收到的信息经过解码后恢复出所述面部表情特征参数。

其中，所述利用面部表情特征参数对接收端本地的面部模型进行控制的步骤，包括：

在接收端预置面部模型，并在所述模型中的特征部位设置多个动作探针；

将接收到的面部表情特征参数通过模型接口传递至相应的模型，以控制所述模型特征部位的变化。

其中，所述利用面部表情特征参数对接收端本地的面部模型进行控制的步骤，包括：

获取特定对象的面部图像，并从中提取出对应的面部特征点；

计算面部特征点的位置，并建立特定对象面部模型；

根据接收到的面部表情特征参数对所述建立的面部模型进行控制。

本发明还提供一种基于面部表情识别的图像通信方法，包括如下步骤：

在发送端采集图像，并确定图像中的面部区域；

对所述面部区域内的面部表情特征参数进行提取；

对提取的所述面部表情特征参数进行趋势分析，以确定与所述面部表情特征相匹配的心情参数；

将所述心情参数发送至接收端，并在接收端根据所述心情参数展示相匹配的心情信息。

本发明另提供一种基于人体动作识别的图像通信方法，包括如下步骤：

在发送端采集图像，并确定图像中的人体区域；

对所述人体区域内的动作特征参数进行提取；

将所述提取出来的动作特征参数发送至接收端；

利用所述动作特征参数对接收端本地的人体模型进行控制，以通过所述人体模型重现所述动作。

本发明进而再提供一种基于模式识别的图像通信系统，包括：

采集模块，用于在发送端采集图像；

定位模块，用于在所述图像中确定目标区域；

提取模块，用于提取目标区域内的所关心的特征参数；

发送模块，用于将所述提取出来的特征参数发送至接收端；

接收模块，用于在接收端根据接收到的信息获得所述特征参数；

控制模块，用于在所述接收端利用所述特征参数重构并展示与发送端采集到的图像相匹配的信息。

本发明针对视频会议、视频电话等图像通信业务都是基于人脸面部表情或身体动作语言为视频内容这一特点，在发送端通过面部表情识别或身体动作识别来对视频内容进行信息提炼，在接收端通过表情和动作重构来进行信息恢复，从而可大大降低对视频承载网的信息传输速率的要求，实现更有效的视频通信，尤其适用于网络带宽和容量受限的无线通信网络。

附图说明

图1为本发明实施例所述的一种基于面部表情识别的图像通信方法流程示意图。

图2为根据本发明另一实施例所述的基于面部表情识别的图像通信方法流程示意图。

图3为根据本发明又一实施例所述的基于人体动作识别的图像通信方法流程示意图。

图4为根据本发明实施例所述的一种基于模式识别的图像通信系统示意图。

具体实施方式

本发明的核心在于通过在发送端对视频特征信息进行识别，提取所关心的特征值，将量化编码后的特征值发送到接收端，在接收端根据特征值重构出视频信息。

本发明提供的技术方案，首先在发送终端能够利用摄像头实时捕捉人脸表情或人体动作的视频数据，通过视频分帧操作提取出人脸表情图像或人体动作图像；然后对提取出的图像进行预处理，从而提高可辨识度；再通过计算此图像序列，得到人脸表情或人体动作的相应特征参数，或相应的变化数据；再对以上数据进行量化编码，传输给接收端；最后，接收端接收到数据，解码恢复出特征值，将此特征值应用于接收端本地特定模型上，通过特征值的变化控制模型的相应变化。

为了使本技术领域的人员更好地理解本发明方法及装置，下面结合附图，以实例对本发明作进一步的详细说明。

如图1所示，为本发明实施例所述的一种基于面部表情识别的图像通信方法流程示意图，首先，在发送端采集图像，并确定图像中的面部区域(步骤101)；然后，对所述面部区域内的面部表情特征参数进行提取(步骤102)；将所述提取出来的面部表情特征参数发送至接收端(步骤103)；最后，在接收端利用所述面部表情特征参数对接收端本地的面部模型进行控制，以通过所述面部模型重现所述面部表情(步骤104)。

其中，为了更准确的提取特征参数，在所述对面部表情特征参数进行提取的步骤之前，还可以进一步包括步骤：对所述面部区域图像进行预处理，以增强显示面部表情特征。

而所述发送端可以将面部表情特征参数经过量化编码后发送至接收端；所述接收端将接收到的信息经过解码后恢复出所述面部表情特征参数。

所述利用面部表情特征参数对接收端本地的面部模型进行控制的步骤，可以通过多种方式实现。例如，可以是首先在接收端预置面部模型，并在所述模型中的特征部位设置多个动作探针；然后将接收到的面部表情特征参数通过模型接口传递至相应的模型，以控制所述模型特征部位的变化。或者是首先获取特定对象的面部图像，并从中提取出对应的面部特征点；然后计算面部特征点的位置，并建立特定对象面部模型；再根据接收到的面部表情特征参数对所述建立的面部模型进行控制。

参考图2，为根据本发明另一实施例所示的基于面部表情识别的图像通信方法流程示意图。首先，在发送端采集图像，并确定图像中的面部区域(步骤201)；然后，对所述面部区域内的面部表情特征参数进行提取(步骤202)；对提取的所述面部表情特征参数进行趋势分析，以确定与所述面部表情特征相匹配的心情参数(步骤203)；最后，将所述心情参数发送至接收端，并在接收端根据所述心情参数展示相匹配的心情信息(步骤204)。

同样，在特征提取之前，可以对图像执行预处理，以将特征部分增强显示。

本实施例在发送端进行人脸表情识别时，可进一步分析人脸面部特征值的变化趋势来感知用户现在的心情，或者由发送者自行选择心情参数，从而实现发送者心情参数的传输。在接收端可通过窗口背景、人物表情等模型形态的变化等方式将发送者心情展示给接收者，进一步提高用户体验。

参考图3，为根据本发明又一实施例所述的基于人体动作识别的图像通信方法流程示意图，首先在发送端采集图像，并确定图像中的人体区域(步骤301)；然后，对所述人体区域内的动作特征参数进行提取(步骤302)；将所述提取出来的动作特征参数发送至接收端(步骤303)；最后，利用所述动作特征参数对接收端本地的人体模型进行控制，以通过所述人体模型重现所述动作(步骤304)。

同样，在对动作特征参数进行提取的步骤之前，还可以对所述人体区域图像进行预处理，以增强显示动作特征。

而所述发送端可以将动作特征参数经过量化编码后发送至接收端；所述接收端将接收到的信息经过解码后恢复出所述动作特征参数。

如图4所示，为根据本发明实施例所述的一种基于模式识别(例如包括面部表情、心情或人体动作等模式的识别)的图像通信系统示意图，包括采集模块401、识别模块402、发送模块403、控制模块404，其中：

采集模块401，用于在发送端采集图像；

定位模块402，用于在所述图像中确定目标区域；

提取模块403，用于提取目标区域内的所关心的特征参数；

发送模块404，用于将所述提取出来的特征参数发送至接收端；

接收模块405，用于在接收端根据接收到的信息获得所述特征参数；

控制模块406，用于在所述接收端利用所述特征参数重构并展示与发送端采集到的图像相匹配的信息。

在发送端还可以包括图像预处理模块407用以对图像进行预处理。

具体来说，采集模块401可以是例如摄像头的图像采集装置，从摄像头拍摄视频图像后获取图像序列，获取的图片可以在相关软件界面中显示出来以便进行识别。

对于定位模块402来说，譬如以人脸面部表情为识别目标的话，就是要获取图像中的人脸区域。这主要是根据双眼的特征来判别，通过假设图像中的边缘是有限的，根据特定算子求得梯度直方图，运用分割方法，选出可能的眼睛块，然后逐一考察这些块作为双眼的可能组合，计算出相似度，并判别人脸的区域。

图4所示提取模块403提取的特征参数可以包括面部表情特征参数和/或动作特征参数。提取模块403具体可包括特征定位、信息提取等子模块：

·特征定位子模块

譬如关心的是视频中的人脸表情，则需要将典型的脸部特征(如眼睛，鼻尖，嘴唇等等)标记出来。定位的特征是可以是眼睛，鼻尖、嘴和下巴。由于眼睛具有对称性，因此可以很快就能标记出来，而鼻子是在眼睛下面，且嘴和下巴在鼻子下面，所以各个标记是相关有关联的。

·信息提取子模块

譬如对于人脸面部表情的特征，可按以下几个步骤进行，其具体的算法都可由现有的面部识别技术实现：

-估计两个眼睛瞳孔中心位置；

-计算眼睛的倾角度；

-计算眼睛、鼻子、嘴和下巴的重心；

-估计眼睛、鼻子、嘴和下巴的轮廓边缘界点。

图4所示发送模块404，可以在得到特征信息之后，对其进行量化编码后发送至接收端。具体操作可采用现有的信源编码的方法。譬如基于时间相关性，可对图像序列中提取出的特征信息进行差分量化编码。

对上述编码后的信息如何在传输信道中进行传输，本发明对此不做限制。视频识别的信息可通过数据业务信道传输，也可占用部分语音业务信道进行传输。

图4所示接收模块405在接收端接收到发送信息后，进行译码获得原始的特征参数信息。

图4所示控制模块406在获得特征参数信息后，调用本地的模型函数接口，利用接收到的特征值控制本地模型相应的变化，从而实现视频信息的重构。所述控制模块406可以通过控制本地窗口背景和/或模型形态的变化来展示与发送端采集到的图像相匹配的信息。例如，控制模块获得的代表心情的特征参数后，可以根据该参数含义控制本地窗口背景颜色的变化，同时，控制模块还可以根据获得的表情特征参数控制本地模型的形态发生相应的变化，以重构发送端采集到的图像信息。

而对于实现重构的具体方式可以有多种，例如对于基于人脸面部表情变化的视频通信来说，可以使用以下两种方式。

一是采用非人脸建模方式实现用户面部表情恢复。预先载入一定数量的脸部3D模型供用户选择，例如动物头部模型或者明星头部模型等。在此类脸部模型中放置诸多动作探针，用来控制面部关键位置的变化。将接收到的人脸面部动作特征值，传递到相应模型的接口参数中，控制模型关键部位大小、长度变化，如眼睛、嘴巴、脸颊的变化，从而实现面部表情的重现。

二是采用人脸建模方式。需先利用发送端传递的人脸特征参数进行人脸重构，再利用人脸动画参数控制模型产生表情变化。基于图像的特定人脸建模方法需要接收端事先要获取不同角度的特定人脸图像，并从中提取出人脸的特征，即在不同人脸图像上标注对应的人脸特征点，如眼角、嘴角以及鼻尖等表情动画的关键部位；在接收端可利用计算机图形学相关算法计算人脸特征点的三维空间位置，并用于变形标准三维人脸模型，从而建立特定人脸的几何模型；进而，使用多角度人脸图像合成特定人脸的纹理图像并进行纹理映射，从而建立真实感三维特定人脸模型；最后利用人脸动画特征参数控制实现人脸模型表情的变化。

而预处理模块407的作用是对获取的人脸图像进行适当的处理，使所需特征信息能够在图像中明显的显现出来。预处理的操作可包括光线补偿、图像灰度化、高斯平滑处理及对比度增强等子模块，下面对其功能进行解释：

·光线补偿子模块：

光照问题是人脸检测和识别中的一个非常重要的问题，肤色等色彩信息经常受到光源颜色、图像采集设备的色彩偏差等因素的影响，而在整体上偏离本质色彩而向某一方向移动，即通常所说的色彩偏冷、偏暖、照片偏黄、偏蓝等等，因此需要对图像进行光线补偿以抵消这种光线偏差。要抵消整个图像中存在着的色彩偏差，可将整个图像中所有像素的亮度值从高到低进行排列，取前5％的像素，如果这些像素的数目足够多(例如，大于100)，就将它们的亮度作为“基准白”，也即将它们的色彩的R、G、B分量值都调整为255。整幅图像的其他像素点的色彩值也都按这一调整尺度进行补偿。

·图像灰度化子模块

图像灰度化的过程就是把彩色图像转换为灰度图像的过程，尽管这样做丢失图像信息，但却可以用简单的方式表现出复杂的信息。常用的进行灰度线性扩展的计算式为：

式中，f是原像素的灰度，g为变换后的灰度。该变换把属于[a，b]的灰度级变换至灰度区间[c，d]，而在[a，b]区间之外的原像素灰度将保持不变。这里a，b，c，d，f，g均为[0，255]之间的整数值。可见，a被映射为c，b被映射为d。

·平滑处理子模块

在图像采集过程中，由于各种因素的影响，图像往往会出现一些不规则的噪声，从而影响图像的质量。处理噪声的过程称为平滑。平滑可以降低图像的视觉噪声，同时除去图像中的高频信息后，那些本来不明显的低频成分更容易识别。平滑可以通过卷积来实现，平滑的频率截止点由卷积核的大小及卷积系数决定。常采用的高斯平滑算法是使用高斯卷积核，其优点是平滑后图像的失真少，算法更具备通用性，能去除不同的噪声干扰。

·对比度增强子模块

对图像的进一步处理，将对比度再一次拉开。其处理过程主要是通过增强函数对像素的灰度级进行运算并将运算结果作为该像素的新灰度值来实现的。通过改变选用的增强函数的解析表达式就可以得到不同的处理效果。

上述对于本发明各个模块的描述，其功能及运作步骤皆可以适用于本发明相应的方法步骤，本领域技术人员皆可理解，在此不再赘述。

由以上本发明的技术方案实施例可以看出，本方案巧妙利用了人脸识别的关键技术，通过特征值的提取，在保证用户表情信息传输的前提下，有效降低了传统视频通信的传输数据量。接收端可采用卡通形象、照片模型等形式，利用特征值控制此类现有模型的特征部位，从而实现人脸表情的恢复。其中，如果在接收端采用卡通形象展示，在发送端只需发送人脸动画参数即可，在接收端将人脸动画效果通过卡通形象显示；如果在接收端采用真实三维人脸建模，则发送端需将人脸表情参数与人脸构造参数同时发送给接收端，接收端首先根据人脸构造参数构造出大体的人脸模型，再根据人脸表情参数控制模型产生具体的表情变化。

本发明不仅可以传输人脸面部表情特征，还可以传输心情特征及人体动作特征等，或者多种特征组合同步传输，即在发送端可通过摄像头及相应软件识别用户表情、心情、动作/手势等特征信息，在接收端利用相应的模型恢复出发送端的信息。

本发明中对业务在传输信道中的传输方式不做限制。视频识别的信息可通过数据业务信道传输，在接收端与缓存中接收的语音信息同步后进行播放；也可占用部分语音业务信道进行传输；或者语音信息也完全数字化，与视频识别信息都通过数据业务信道进行传输。

Claims (10)

1.一种基于面部表情识别的图像通信方法，其特征在于，包括如下步骤：

在发送端采集图像，并确定图像中的面部区域；

对所述面部区域内的面部表情特征参数进行提取；

将所述提取出来的面部表情特征参数发送至接收端；

在接收端利用所述面部表情特征参数对接收端本地的面部模型进行控制，以通过所述面部模型重现所述面部表情。

2.如权利要求1所述的方法，其特征在于，在所述对面部表情特征参数进行提取的步骤之前，进一步包括：对所述面部区域图像进行预处理，以增强显示面部表情特征。

3.如权利要求1所述的方法，其特征在于，所述发送端将面部表情特征参数经过量化编码后发送至接收端；所述接收端将接收到的信息经过解码后恢复出所述面部表情特征参数。

4.如权利要求1所述的方法，其特征在于，所述利用面部表情特征参数对接收端本地的面部模型进行控制的步骤，包括：

在接收端预置面部模型，并在所述模型中的特征部位设置多个动作探针；

将接收到的面部表情特征参数通过模型接口传递至相应的模型，以控制所述模型特征部位的变化。

5.如权利要求1所述的方法，其特征在于，所述利用面部表情特征参数对接收端本地的面部模型进行控制的步骤，包括：

获取特定对象的面部图像，并从中提取出对应的面部特征点；

计算面部特征点的位置，并建立特定对象面部模型；

根据接收到的面部表情特征参数对所述建立的面部模型进行控制。

6.一种基于面部表情识别的图像通信方法，其特征在于，包括如下步骤：

在发送端采集图像，并确定图像中的面部区域；

对所述面部区域内的面部表情特征参数进行提取；

对提取的所述面部表情特征参数进行趋势分析，以确定与所述面部表情特征相匹配的心情参数；

将所述心情参数发送至接收端，并在接收端根据所述心情参数展示相匹配的心情信息。

7.一种基于人体动作识别的图像通信方法，其特征在于，包括如下步骤：

在发送端采集图像，并确定图像中的人体区域；

对所述人体区域内的动作特征参数进行提取；

将所述提取出来的动作特征参数发送至接收端；

利用所述动作特征参数对接收端本地的人体模型进行控制，以通过所述人体模型重现所述动作。

8.一种基于模式识别的图像通信系统，其特征在于，包括：

采集模块，用于在发送端采集图像；

定位模块，用于在所述图像中确定目标区域；

提取模块，用于提取目标区域内的所关心的特征参数；

发送模块，用于将所述提取出来的特征参数发送至接收端；

接收模块，用于在接收端根据接收到的信息获得所述特征参数；

控制模块，用于在所述接收端利用所述特征参数重构并展示与发送端采集到的图像相匹配的信息。

9.如权利要求8所述的系统，其特征在于，所述提取模块提取的特征参数包括面部表情特征参数和/或动作特征参数。

10.如权利要求8所述的系统，其特征在于，所述控制模块通过控制本地窗口背景和/或模型形态的变化来展示与发送端采集到的图像相匹配的信息。

Images