CN102238362A - 一种社区网络中图像传输方法及系统 - Google Patents

Abstract

本发明提供了一种社区网络中图像传输方法及系统：用户加载组件信息并访问所述组件时，所述组件通过所述即时通讯服务器获取围观所述组件的围观用户信息；所述围观用户之间通过所述组件上的所述围观用户信息，发送人脸位置及纹理信息和背景信息；所述即时通讯服务器对获得的信息进行分割处理，获得未经修饰的人脸位置及纹理信息和背景信息的分离信息并对所述未经修饰的人脸位置及纹理信息进行处理，获得修饰后的人脸位置及纹理信息；将修饰后的人脸位置及纹理信息与背景信息进行合成，将得到的视频信息传输给所述围观用户或将修饰后的人脸位置及纹理信息与背景信息分别传输给所述围观用户，为用户提供了对本方图像进行自我修饰的机会。

Description

一种社区网络中图像传输方法及系统

技术领域

本发明涉及互联网图像处理领域，尤其涉及一种社区网络中图像传输方法及系统。

背景技术

人脸检测(Faca Detection)是指在输入图像中确定所有存在的人脸的位置、大小、姿态的处理过程。人脸检测技术是人脸信息处理中的一项关键技术、人脸图像所包含的模式特征十分丰富，包括颜色特征(肤色、发色等)、轮廓特征、直方图特征、镶嵌图特征、结构特征、变换域特征、模板特征以及启发式特征，等等。这些模式特征中哪些是最有用的、如何利用这些模式特征，是人脸检测所要研究的一个关键问题，人脸模式具有复杂而细致的变化，因此一般需要将多种模式特征进行综合，如简单组合、统计推断、模糊决策、机器学习等。归纳起来。根据利用模式特征的颜色属性可以将人脸检测方法分为基于肤色特征的方法和基于灰度特征的方法两类。基于肤色特征的方法适于构造快速的人脸检测和人脸跟踪算法；基于灰度特征的方法利用了人脸区别于其他的更为本质的特征，是人脸检测领域研究的重点。根据模式特征综合时采用的不同模型，可以将基于灰度特征的方法分为两大类：基于启发式(知识)模型的方法和基于统计模型的方法。

人脸跟踪通常是在人脸检测的基础上对于视频序列中人脸运动位置的跟踪。人脸跟踪技术包括基于运动(Motion-based)的方法和基于模型(Model-based)的方法，基于运动的方法采用运动分割、光流、立体视觉等方法，利用时空梯度、卡尔曼滤波器等跟踪人脸运动；基于模型的方法首先获取目标的先验知识，构造目标模型，对输入的每一帧图像通过滑动窗口进行模型匹配。在人脸跟踪中，往往将这两种方法结合使用。

人脸合成是指根据已知某一姿态的人脸图像产生其它姿态的人脸图像的处理过程，这就是人脸图像的合成问题。人脸图像合成系统以数学建模基础，利用数学模型实现图像的变形、过滤和衰老化绘制。人脸合成技术中会应用到以上所述的人脸检测技术和人脸跟踪技术。

现有的人脸合成技术主要应用为：输入含人脸影像的照片或一段视频序列，经过处理后输出经过变化后的虚拟人脸图片(例如输出衰老后的相貌或子女的相貌等)或卡通图片(即人脸卡通画)，但是均未将人脸合成技术与视频通讯直接相结合。

发明内容

本发明提供了一种社区网络中图像传输方法及系统，为用户提供了对本方图像进行自我修饰的机会。

本发明提供了一种社区网络中图像传输方法，包括以下步骤：

用户依据注册信息，登录社区交互平台，请求即时通讯服务器，加载组件信息；用户通过社区交互平台访问所述组件时，所述组件通过所述即时通讯服务器获取围观所述组件的围观用户信息；

所述围观用户之间通过所述组件上的所述围观用户信息，在所述组件上，发送人脸位置及纹理信息和背景信息，其中，访问所述组件的用户为围观用户；

所述即时通讯服务器对获得的人脸位置及纹理信息和背景信息进行分割处理，获得未经修饰的人脸位置及纹理信息和背景信息的分离信息并根据建立的人脸的数学模型对所述未经修饰的人脸位置及纹理信息进行处理，获得修饰后的人脸位置及纹理信息；

所述即时通讯服务器将修饰后的人脸位置及纹理信息与背景信息进行合成，将得到的视频信息传输给所述围观用户或将修饰后的人脸位置及纹理信息与背景信息分别传输给所述围观用户。

本发明还提供了一种社区网络中图像传输系统，包括：用户、即时通讯服务器、围观用户：

用户依据注册信息，登录社区交互平台，请求即时通讯服务器，加载组件信息；用户通过社区交互平台访问所述组件时，所述组件通过所述即时通讯服务器获取围观所述组件的围观用户信息；

所述围观用户之间通过所述组件上的所述围观用户信息，在所述组件上，发送人脸位置及纹理信息和背景信息，其中，访问所述组件的用户为围观用户；

所述即时通讯服务器对获得的人脸位置及纹理信息和背景信息进行分割处理，获得未经修饰的人脸位置及纹理信息和背景信息的分离信息并根据建立的人脸的数学模型对所述未经修饰的人脸位置及纹理信息进行处理，获得修饰后的人脸位置及纹理信息；

所述即时通讯服务器将修饰后的人脸位置及纹理信息与背景信息进行合成，将得到的视频信息传输给所述围观用户或将修饰后的人脸位置及纹理信息与背景信息分别传输给所述围观用户。

本发明中，根据确定的用户期望的模式特征对未经修饰的人脸位置及纹理信息进行处理得到修饰后的人脸位置及纹理信息，然后对得到的视频信息进行传输，为用户提供了一个对本方视频进行自我修饰的机会，更好的满足特定用户的展示欲望，使用户具有更好的用户体验；并且为使用相应视频通信的业务带来增值潜力。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明社区网络中视频传输流程图；

图2是本发明即时通讯服务器的结构原理图；

图3是本发明的实现人脸检测和跟踪的原理示意图；

图4是本发明的系统原理结构图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

随着即时通信技术的普及和网络宽带的不断提升，为了增强互动性，越来越多的亲友之间开始使用摄像头进行视频聊天，但是目前的视频通信系统只是将摄像头捕获到得视频不加任何变化的输入视频编码器，进行编码后传输至接收端。但是，一般的用户通常具有对自己的外在表现都不会百分百满意的心理特点，如果可以为用户提供一个对本视频进行修饰的机会，应该能够具有更好的满意度，为此本发明给用户提供了一个自我修饰的机会，以期达到更好的用户体验。

本发明中，根据确定的用户期望的特征模式对未经修饰的人脸位置以及纹理信息进行处理得到修饰后的人脸位置及纹理信息，然后对得到的视频信息进行传输。

图1为本发明社区网络中视频传输流程图，包括以下步骤：

步骤101：用户A登录社区交互平台后，请求即时通讯服务器，加载组件信息，详细的过程如下：

用户A根据在社区交互平台的注册信息，进行登录，其中，社区交互平台包括但不限于：个人门户、网站；注册信息包括但不限于：邮箱、密码。

用户A登录社区交互平台后，请求即时通讯服务器，加载组件信息，其中，加载的组件可以是用户制作的组件，也可以是系统提供的组件。

其中，组件包括但不限于：文字、相册、图片、音频、视频。

步骤102：用户在视频通信前，向即时通讯服务器提供希望在本次视频通信中展现给对端的、含有某些模式特征的图片或视频序列，这些模式特征可以包括脸型、肤色、五官分布等；另外，用户还向即时通讯服务器提供自身的图片和/或视频序列，即时通讯服务器建立两者之间的对应关系，即为用户期望的特征模式，例如，眼睛的对应关系，肤色的对应关系，等等。另一种实现方式是：用户在即时通讯服务器中设置好期望的特征模式。模式特征是图片或视频序列所具有的具体特征，由一个或者多个模式特征组成一个特定的特征模式。

步骤103：即时通讯服务器根据建立的特征模式，计算出用户的脸部在各种采集角度的图像变化方案，建立人脸的数学模型。人脸数学模型可以采用目前任何一种公知的人脸建模方法来建立。

步骤104：用户A通过社区交互平台访问组件时，所述组件通过即时通讯服务器获取并加载围观所述组件的围观用户B信息、C信息，用户A与所述围观用户B、C之间或者围观用户B、C之间，在所述组件上，发送人脸位置及纹理信息和背景信息。

其中，用户A访问该组件时，即为该组件的围观用户A。

其中，用户A访问社区交互平台的方式，包括但不限于：登录访问、非登录访问。

其中，围观所述组件的围观用户B、C进行围观时，用户A会收到围观用户B、C上线的通知后，在用户A的人员列表中高亮显示B、C的在线状态，用户A与围观用户B、C针对所述组件，在所述组件上进行信息的交互。

其中，围观所述组件的围观用户B、C的状态是：在线；其中围观该组件的用户B、C的状态的判断方式为：用户B、C通过网页在登陆系统成功登录后，会记录用户B、C的登录状态，退出时清空此状态。

其中，登录的方式包括但不限于：自动登录、记录用户名密码、应用程序编程接口API接入、单点登录。

步骤105：即时通讯服务器对获得的人脸位置及纹理信息和背景信息的合成信息，进行分割处理，获得未经修饰的人脸位置及纹理信息和背景信息。

其中，即时通讯服务器获得人脸位置及纹理信息和背景信息的合成信息的方式包括但不限于：

即时通讯服务器对视频中人脸的面部特征及其变化进行检测和跟踪，得到人脸位置及纹理信息和背景信息的合成信息。首先，即时通讯服务器对用户发送的视频序列进行特征提取，提取的特征包括人脸肤色、轮廓、直方图、运动矢量等，这些特征数据均会存储于模型参数的数据库中。如果当前帧是首帧或者其他序几帧没有检测到人脸的情况下，则对当前帧进行人脸检测操作。这里可以采用快速的人脸检测方法，如基于肤色模型的人脸检测算法。对于当前帧进行人脸检测时，可以设定一些约定条件，例如，只检测画面中最大或者是最显要位置的人脸，或人脸的大小不能小于设定值。如果当前帧的前序帧中有检测到人脸，则对当前帧进行人脸跟踪操作。人脸跟踪是通过模型参数数据库提供的特征数据以及当前帧的视频画面内容联合分析得到的。最后，即时通讯服务器得到人脸位置及纹理信息和背景信息的合成信息。

步骤106：即时通讯服务器根据人脸的数学模型对未经修饰的人脸位置及纹理信息进行处理，得到修饰后的人脸位置及纹理信息。

即时通讯服务器根据人脸的位置及纹理信息，利用图像变化方法，采用任何一种公知的人脸合成技术将变换前人脸特征转化为用户期望的人脸特征，得到修饰后的人脸位置及纹理信息。

例如，用户期望的特征模式为某明星的脸型，则根据该特征模式建立人脸的数学模型。得到未经修饰的人脸位置以及纹理信息后，根据明星的脸型对用户的脸型进行修饰，将用户的脸型修饰成与明星的脸型相吻合，得到修饰后的人脸位置及纹理信息。

步骤107：即时通讯服务器将修饰后的人脸位置及纹理信息与背景信息进行合成，然后将得到的视频信息传输给围观组件的用户；另外，也可以不对人脸位置及纹理信息与背景信息进行合成，而是将人脸位置及纹理信息与背景信息分别传输给围观组件的用户。

视频信息的传输过程中可以选用任意的视频编码算法进行传输。

图2为本发明即时通讯服务器的结构原理图，包括：预处理单元、人脸建模单元、人脸合成单元、人脸检测与跟踪单元、视频分割单元、视频合成单元和视频通信单元。

其中，预处理单元用于确定用户期望的特征模式，并提供给人脸建模单元。

一种实现方式是：预处理单元采集用户期望的图片/或视频序列以及用户自身的图片和/或视频序列，并建立两者之间的对应关系，即为用户期望的特征模式，向人脸建模单元提供该特征模式。用户进行视频通讯前，向预处理单元提供希望在本次视频通信中展现给对端的、含有某些模式特征的图片或视频序列，这些模式特征可以包括脸型、肤色、五官分布等，另外，用户还向预处理单元提供自身的图片和/或视频序列，预处理单元建立两者之间的对应关系，即为用户期望的特征模式，例如，眼睛的对应关系，肤色的对应关系，等等。

另一种实现方式是：用户在预处理单元中设置好期望的特征模式。模式特征是图片或视频序列所具有的具体特征，由一个或者多个模式特征组成一个特定的特征模式。

人脸建模单元，用于根据预处理单元提供的特征模式，计算出用户的脸部在各种采集角度的图像变化方案，建立人脸的数学模型，然后向人脸合成单元提供该人脸的数学模型。人脸数学模型可以采用目前任何一种公知的人脸建模方法来建立。

人脸检测与跟踪单元用于视频中人脸的面部特征及其变化进行检测和跟踪，获得人脸位置及纹理信息和背景信息的合成信息。具体实现如图3所示。首先，人脸检测与跟踪单元对用户发送的视频序列进行特征提取，提取的特征包括人脸肤色、轮廓、直方图、运动矢量等，这些特征数据均会存储于模型参数的数据库中。如果当前帧是首帧或者其他序几帧没有检测到人脸的情况下，则对当前帧进行人脸检测操作。这里可以采用快速的人脸检测方法，如基于肤色模型的人脸检测算法。对于当前帧进行人脸检测时，可以设定一些约定条件，例如，只检测画面中最大或者是最显要位置的人脸，或人脸的大小不能小于设定值。如果当前帧的前序帧中有检测到人脸，则对当前帧进行人脸跟踪操作。人脸跟踪是通过模型参数数据库提供的特征数据以及当前帧的视频画面内容联合分析得到的。最后，向视频分割单元提供得到的人脸位置及纹理信息和背景信息的合成信息。

视频分割单元用于对人脸检测与跟踪单元提供的人脸位置以及纹理信息和背景信息的合成信息进行分割处理，然后向人脸合成单元提供未经修饰的人脸位置及纹理信息，向视频合成单元提供背景信息。由于人脸检测与跟踪单元是以完整视频的形式提供人脸位置及纹理信息和背景信息，因此，需要视频分割单元分割出人脸位置及纹理信息、背景信息。

人脸合成单元用于根据人脸建模单元提供的人脸的数学模型对视频分割单元提供的未经修饰的人脸位置及纹理信息进行处理，得到修饰后的人脸位置及纹理信息，并提供给视频合成单元。人脸合成单元根据人脸的位置及纹理信息，利用图像变化方法，采用任何一种公知的人脸合成技术将变换前人脸特征转化为用户期望的人脸特征，得到修饰后的人脸位置及纹理信息。

例如，用户期望的特征模式为某明星的脸型，则根据该特征模式建立人脸的数学模型。得到未经修饰的人脸位置以及纹理信息后，根据明星的脸型对用户的脸型进行修饰，将用户的脸型修饰成与明星的脸型相吻合，得到修饰后的人脸位置及纹理信息。

视频合成单元用于将人脸合成单元提供的修饰后的人脸位置及纹理信息与视频分割单元提供的背景信息进行合成，然后提供给视频通信单元。

视频通信单元用于向围观组件的用户即围观用户发送视频合成单元提供的视频信息。

以上即时通讯服务器中，预处理单元、人脸建模单元和人脸检测与跟踪单元作为预先的处理单元在实现人脸合成视频传输的即时通讯服务器中的主要结构中可省略，即实现人脸合成视频传输的即时通讯服务器的主要结构中主要包括人脸合成单元、视频分割单元和视频通信单元。

另外，在处理中，也可以不需要视频合成单元。此时，视频分割单元直接向视频通信单元提供背景信息，从而人脸合成单元直接向视频通信单元提供修饰后的人脸位置及纹理信息。视频通信单元可以选用任意的视频编码算法对得到的视频信息进行传输，此处的视频信息可为修饰后的人脸位置及纹理信息和背景信息合成后的视频信息，也可为分离的修饰后的人脸位置及纹理信息和背景信息。

图4是本发明的系统原理结构图，包括：用户、即时通讯服务器、围观用户：

用户依据注册信息，登录社区交互平台，请求即时通讯服务器，加载组件信息；用户通过社区交互平台访问所述组件时，所述组件通过所述即时通讯服务器获取围观所述组件的围观用户信息；

所述围观用户之间通过所述组件上的所述围观用户信息，在所述组件上，发送人脸位置及纹理信息和背景信息，其中，访问所述组件的用户为围观用户；

所述即时通讯服务器对获得的人脸位置及纹理信息和背景信息进行分割处理，获得未经修饰的人脸位置及纹理信息和背景信息的分离信息并根据建立的人脸的数学模型对所述未经修饰的人脸位置及纹理信息进行处理，获得修饰后的人脸位置及纹理信息；

所述即时通讯服务器将修饰后的人脸位置及纹理信息与背景信息进行合成，将得到的视频信息传输给所述围观用户或将修饰后的人脸位置及纹理信息与背景信息分别传输给所述围观用户。

其中，用户访问社区交互平台的方式，包括但不限于：登录访问、非登录访问。

其中，所述围观用户信息包括但不限于：围观人员列表信息、围观人员数量。

其中，围观所述组件的围观用户进行围观时，用户会收到围观用户上线的通知，此时，围观用户会在用户的人员列表中高亮显示在线状态。

其中，所述注册信息包括但不限于：邮箱、密码。

其中，所述社区交互平台包括但不限于：个人门户、网站。

其中，围观所述组件的围观用户的状态是：在线；其中围观该组件的用户的状态的判断方式为：用户通过网页在登陆系统成功登录后，会记录用户的登录状态，退出时清空此状态。

其中，登录的方式包括但不限于：自动登录、记录用户名密码、应用程序编程接口API接入、单点登录。

其中，所述图像信息包括但不限于：图片、视频。

本发明中，根据确定的用户期望的模式特征对未经修饰的人脸位置及纹理信息进行处理得到修饰后的人脸位置及纹理信息，然后对得到的视频信息进行传输，为用户提供了一个对本方视频进行自我修饰的机会，更好的满足特定用户的展示欲望，使用户具有更好的用户体验；并且为使用相应视频通信的业务带来增值潜力。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种社区网络中图像传输方法，其特征在于，

用户依据注册信息，登录社区交互平台，请求即时通讯服务器，加载组件信息；用户通过社区交互平台访问所述组件时，所述组件通过所述即时通讯服务器获取围观所述组件的围观用户信息；

所述围观用户之间通过所述组件上的所述围观用户信息，在所述组件上，发送人脸位置及纹理信息和背景信息，其中，访问所述组件的用户为围观用户；

所述即时通讯服务器对获得的人脸位置及纹理信息和背景信息进行分割处理，获得未经修饰的人脸位置及纹理信息和背景信息的分离信息并根据建立的人脸的数学模型对所述未经修饰的人脸位置及纹理信息进行处理，获得修饰后的人脸位置及纹理信息；

所述即时通讯服务器将修饰后的人脸位置及纹理信息与背景信息进行合成，将得到的视频信息传输给所述围观用户或将修饰后的人脸位置及纹理信息与背景信息分别传输给所述围观用户。

2.根据权利要求1所述的方法，其特征在于：用户访问社区交互平台的方式，包括但不限于：登录访问、非登录访问。

3.根据权利要求2所述的方法，其特征在于：所述围观用户信息包括但不限于：围观人员列表信息、围观人员数量。

4.根据权利要求1所述的方法，其特征在于：围观所述组件的围观用户进行围观时，用户会收到围观用户上线的通知，此时，围观用户会在用户的人员列表中高亮显示在线状态。

5.根据权利要求1所述的方法，其特征在于：所述注册信息包括但不限于：邮箱、密码。

6.根据权利要求1所述的方法，其特征在于：所述社区交互平台包括但不限于：个人门户、网站。

7.根据权利要求1所述的方法，其特征在于：围观所述组件的围观用户的状态是：在线；其中围观该组件的用户的状态的判断方式为：用户通过网页在登陆系统成功登录后，会记录用户的登录状态，退出时清空此状态。

8.根据权利要求7所述的方法，其特征在于：登录的方式包括但不限于：自动登录、记录用户名密码、应用程序编程接口API接入、单点登录。

9.根据权利要求1所述的方法，其特征在于：所述图像信息包括但不限于：图片、视频。

10.一种社区网络中图像传输系统，其特征在于，包括：用户、即时通讯服务器、围观用户：

用户依据注册信息，登录社区交互平台，请求即时通讯服务器，加载组件信息；用户通过社区交互平台访问所述组件时，所述组件通过所述即时通讯服务器获取围观所述组件的围观用户信息；

所述围观用户之间通过所述组件上的所述围观用户信息，在所述组件上，发送人脸位置及纹理信息和背景信息，其中，访问所述组件的用户为围观用户；

所述即时通讯服务器对获得的人脸位置及纹理信息和背景信息进行分割处理，获得未经修饰的人脸位置及纹理信息和背景信息的分离信息并根据建立的人脸的数学模型对所述未经修饰的人脸位置及纹理信息进行处理，获得修饰后的人脸位置及纹理信息；

所述即时通讯服务器将修饰后的人脸位置及纹理信息与背景信息进行合成，将得到的视频信息传输给所述围观用户或将修饰后的人脸位置及纹理信息与背景信息分别传输给所述围观用户。

Images