CN107347144A - 一种人脸特征点的编解码方法、设备及系统 - Google Patents

Abstract

本发明公开了一种人脸特征点的编解码方法、设备及系统，属于视频编解码领域。所述方法包括：发送方获取当前视频帧中整个人脸的特征点信息；计算半部分人脸的特征点信息与另外半部分人脸的特征点信息之间的差值；发送方对半部分人脸的特征点信息及差值进行编码；发送方将编码后的半部分人脸的特征点信息及差值发送至接收方；接收方解码编码后的半部分人脸的特征点信息及差值；以及接收方根据解码后的半部分人脸的特征点信息及差值，生成对应的人脸。本发明通过对半部分人脸的特征点信息及差值进行编码，降低了人脸特征点编解码的空间冗余，降低了视频编码数据，提高了编码效率，减少了传输过程中了对带宽的占用。

Description

一种人脸特征点的编解码方法、设备及系统

技术领域

本发明涉及视频编解码领域，特别涉及一种人脸特征点的编解码方法、设备及系统。

背景技术

近年来，随着视频行业及智能手机的高速发展，例如Facetime、Tango等的应用使多媒体通信在移动终端上普及，通过视频通话实现与他人之间的交互将会越来越普及。但是视频电话使得多媒体数据急剧增长，并且在传输过程中占用大量带宽，所以需要能够一种降低视频通话过程中的数据量，减少码流对传输带宽的占用的编解码方法。

现有技术中，为了提高对视频帧中人脸的压缩效率，有研究人员针对人脸视频的特征，提出了一系列基于模型的视频编码方法。这类方法通过对人脸建模，实现对视频中人脸的参数化表征，使得在传输视频时只需要传输模型的一些参数就可以在接收端利用人脸模型重建出目标。与一般通用视频编码方法相比，这种方法通过利用模型的先验信息降低了视频传输数据量，节省了带宽资源。

但是，使用这种压缩方法压缩得出的模型参数向量在时域变化缓慢，视频中前后帧的人脸模型参数仍然具有很大的冗余度和压缩空间，仍不能满足用户对视频通话降低数据量以及减少码流对传输带宽的占用的要求。

发明内容

为了降低人脸特征点编解码的空间冗余，降低视频编码数据，提高编码效率，本发明实施例提供了一种人脸特征点的编解码方法、设备及系统。所述技术方案如下：

第一方面，提供了一种人脸特征点的编解码方法，所述方法包括：

发送方获取当前视频帧中整个人脸的特征点信息；

计算半部分人脸的特征点信息与另外半部分人脸的特征点信息之间的差值，所述半部分人脸包括人脸的左半部分或右半部分；

所述发送方对所述半部分人脸的特征点信息及所述差值进行编码；

所述发送方将编码后的所述半部分人脸的特征点信息及所述差值发送至接收方；

所述接收方解码所述编码后的所述半部分人脸的特征点信息及所述差值；以及

所述接收方根据所述解码后的所述半部分人脸的特征点信息及所述差值，生成对应的人脸。

结合第一方面，在第一种可能的实现方式中，所述特征点信息用于描述所述人脸的轮廓、眉毛、眼睛、鼻子及嘴巴中的至少一个。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述计算半部分人脸的特征点信息与另外半部分人脸的特征点信息之间的差值包括：

计算所述半部分人脸的每个特征点信息与另外半部分人脸的对应特征点信息之间的差值。

结合第一方面，在第三种可能的实现方式中，所述接收方根据所述解码后的所述半部分人脸的特征点信息及所述差值，生成对应的人脸包括：

所述接收方根据所述解码后的所述半部分人脸的特征点信息以及所述差值，预测所述另外半部分人脸的特征点信息；

所述接收方根据所述解码后的所述半部分人脸的特征点信息，以及预测的所述另外半部分人脸的特征点信息，生成所述对应的人脸。

第二方面，提供了一种人脸特征点的编码方法，所述方法包括：

获取当前视频帧中整个人脸的特征点信息；

计算半部分人脸的特征点信息与另外半部分人脸的特征点信息之间的差值，所述半部分人脸包括人脸的左半部分或右半部分；

对所述半部分人脸的特征点信息及所述差值进行编码；

将编码后的所述半部分人脸的特征点信息及所述差值发送至其他设备。

结合第二方面，在第一种可能的实现方式中，所述特征点信息用于描述所述人脸的轮廓、眉毛、眼睛、鼻子及嘴巴中的至少一个。

结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述计算半部分人脸的特征点信息与另外半部分人脸的特征点信息之间的差值包括：

计算所述半部分人脸的每个特征点信息与另外半部分人脸的对应特征点信息之间的差值。

第三方面，提供了一种人脸特征点的解码方法，所述方法包括：

接收其他设备发送的编码后的半部分人脸的特征点信息及差值，所述半部分人脸包括人脸的左半部分或右半部分；

解码所述编码后的半部分人脸的特征点信息及差值；以及

根据所述解码后的所述半部分人脸的特征点信息及所述差值，生成对应的人脸。

结合第三方面，在第一种可能的实现方式中，所述特征点信息用于描述所述人脸的轮廓、眉毛、眼睛、鼻子及嘴巴中的至少一个。

结合第三方面的第一种可能的实现方式，在第二种可能的实现方式中，所述根据所述解码后的所述半部分人脸的特征点信息及所述差值，生成对应的人脸包括：

根据所述解码后的所述半部分人脸的特征点信息以及所述差值，预测所述另外半部分人脸的特征点信息；

根据所述解码后的所述半部分人脸的特征点信息，以及预测的所述另外半部分人脸的特征点信息，生成所述对应的人脸。

第四方面，提供了一种电子设备，所述设备包括：

特征点信息获取模块，用于获取当前视频帧中整个人脸的特征点信息；

差值计算模块，用于计算半部分人脸的特征点信息与另外半部分人脸的特征点信息之间的差值，所述半部分人脸包括人脸的左半部分或右半部分；

编码模块，用于对所述半部分人脸的特征点信息及所述差值进行编码；

发送模块，用于发送编码后的所述半部分人脸的特征点信息及所述差值。

结合第四方面，在第一种可能的实现方式中，所述特征点信息用于描述所述人脸的轮廓、眉毛、眼睛、鼻子及嘴巴中的至少一个。

结合第四方面的第一种可能的实现方式，在第二种可能的实现方式中，所述差值计算模块具体用于：

计算所述半部分人脸的每个特征点信息与另外半部分人脸的对应特征点信息之间的差值。

第五方面，提供了一种电子设备，所述设备包括：

接收模块，用于接收其他设备发送的编码后的半部分人脸的特征点信息及差值，所述半部分人脸包括人脸的左半部分或右半部分；

解码模块，用于解码所述编码后的半部分人脸的特征点信息及差值；以及

人脸生成模块，用于根据所述解码后的所述半部分人脸的特征点信息及所述差值，生成对应的人脸。

结合第五方面，在第一种可能的实现方式中，所述特征点信息用于描述所述人脸的轮廓、眉毛、眼睛、鼻子及嘴巴中的至少一个。

结合第五方面的第一种可能的实现方式，在第二种可能的实现方式中，所述人脸生成模块包括：

预测子模块，用于根据所述解码后的所述半部分人脸的特征点信息以及所述差值，预测所述另外半部分人脸的特征点信息；

人脸生成子模块，用于根据所述解码后的所述半部分人脸的特征点信息，以及预测的所述另外半部分人脸的特征点信息，生成所述对应的人脸。

第六方面，提供了一种电子设备，所述电子设备包括显示屏、摄像头、发送/接收模块、存储器以及与所述显示屏、所述摄像头、所述发送/接收模块、所述存储器连接的处理器，其中，所述存储器用于存储一组程序代码，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：

获取当前视频帧中整个人脸的特征点信息；

计算半部分人脸的特征点信息与另外半部分人脸的特征点信息之间的差值，所述半部分人脸包括人脸的左半部分或右半部分；

对所述半部分人脸的特征点信息及所述差值进行编码；

将编码后的所述半部分人脸的特征点信息及所述差值发送至其他设备。

结合第六方面，在第一种可能的实现方式中，所述特征点信息用于描述所述人脸的轮廓、眉毛、眼睛、鼻子及嘴巴中的至少一个。

结合第六方面的第一种可能的实现方式，在第二种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：

计算所述半部分人脸的每个特征点信息与另外半部分人脸的对应特征点信息之间的差值。

第七方面，提供了一种电子设备，所述电子设备包括显示屏、摄像头、发送/接收模块、存储器以及与所述显示屏、所述摄像头、所述发送/接收模块、所述存储器连接的处理器，其中，所述存储器用于存储一组程序代码，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：

接收其他设备发送的编码后的半部分人脸的特征点信息及差值，所述半部分人脸包括人脸的左半部分或右半部分；

解码所述编码后的半部分人脸的特征点信息及差值；以及

根据所述解码后的所述半部分人脸的特征点信息及所述差值，生成对应的人脸。

结合第七方面，在第一种可能的实现方式中，所述特征点信息用于描述所述人脸的轮廓、眉毛、眼睛、鼻子及嘴巴中的至少一个。

结合第七方面的第一种可能的实现方式，在第二种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：

根据所述解码后的所述半部分人脸的特征点信息以及所述差值，预测所述另外半部分人脸的特征点信息；

根据所述解码后的所述半部分人脸的特征点信息，以及预测的所述另外半部分人脸的特征点信息，生成所述对应的人脸。

第八方面，提供了一种人脸特征点的编解码系统，所述系统包括第一电子设备和第二电子设备，其中，

所述第一电子设备包括：

特征点信息获取模块，用于获取当前视频帧中整个人脸的特征点信息；

差值计算模块，用于计算半部分人脸的特征点信息与另外半部分人脸的特征点信息之间的差值，所述半部分人脸包括人脸的左半部分或右半部分；

编码模块，用于对所述半部分人脸的特征点信息及所述差值进行编码；

发送模块，用于发送编码后的所述半部分人脸的特征点信息及所述差值；

所述第二电子设备包括：

接收模块，用于接收编码后的半部分人脸的特征点信息及差值，所述半部分人脸包括人脸的左半部分或右半部分；

解码模块，用于解码所述编码后的半部分人脸的特征点信息及差值；以及

人脸生成模块，用于根据所述解码后的所述半部分人脸的特征点信息及所述差值，生成对应的人脸。

结合第八方面，在第一种可能的实现方式中，所述特征点信息用于描述所述人脸的轮廓、眉毛、眼睛、鼻子及嘴巴中的至少一个。

结合第八方面的第一种可能的实现方式，在第二种可能的实现方式中，所述差值计算模块具体用于：

计算所述半部分人脸的每个特征点信息与另外半部分人脸的对应特征点信息之间的差值。

结合第八方面，在第三种可能的实现方式中，人脸生成模块包括：

预测子模块，用于根据所述解码后的所述半部分人脸的特征点信息以及所述差值，预测所述另外半部分人脸的特征点信息；

人脸生成子模块，用于根据所述解码后的所述半部分人脸的特征点信息，以及预测的所述另外半部分人脸的特征点信息，生成所述对应的人脸。

本发明实施例提供了一种人脸特征点的编解码方法、设备及系统。所述方法通过对半部分人脸的特征点信息及差值进行编码，降低了人脸特征点编解码的空间冗余，降低了视频编码数据，提高了编码效率，减少了传输过程中了对带宽的占用；另外，通过对半部分人脸的特征点信息及差值进行编码，相较于对整个人脸的特征点信息进行编码来说，对半部分人脸进行编码降低了对当前视频帧中人脸特征点进行编码的空间冗余和编码长度，从而降低了视频编码数据，提高了编码效率，同时因为差值的数据量相较于半部分人脸完整的特征点信息而言，数据值较小，从而进一步减少了编码的数据量，提高了编码效率；同时，将编码后的所述半部分人脸的特征点信息及所述差值发送至接收方，因为编码的数据量较少，从而编码后的码流对带宽的占用较少，从而提高了传输效率；另外，通过计算半部分人脸的特征点信息与另外半部分人脸的特征点信息之间的差值，使得通过所述差值和所述半部分人脸的特征点信息能够准确预测另外半部分人脸的特征点信息，从而使得接收方根据所述解码后的所述半部分人脸的特征点信息及所述差值，准确的生成对应的人脸，避免了生成的人脸失真问题，保证了当前视频帧画面的质量，提高了用户体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种人脸特征点的编解码方法流程图；

图2是本发明实施例提供的一种人脸特征点的编解码方法流程图；

图2(a)是本发明实施例提供的一种获取的人脸特征点的示意图；

图3是本发明实施例提供的一种人脸特征点的编解码方法流程图；

图4是本发明实施例提供的一种人脸特征点的编解码方法流程图；

图5是本发明实施例提供的一种电子设备结构示意图；

图6是本发明实施例提供的一种电子设备结构示意图；

图7是本发明实施例提供的一种电子设备结构示意图；

图8是本发明实施例提供的一种电子设备结构示意图；

图9是本发明实施例提供的一种人脸特征点的编解码系统示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本发明实施例提供了一种人脸特征点的编解码方法，参照图1所示，所述方法包括：

101、发送方获取当前视频帧中整个人脸的特征点信息。

其中，所述特征点信息用于描述所述人脸的轮廓、眉毛、眼睛、鼻子及嘴巴中的至少一个。

102、计算半部分人脸的特征点信息与另外半部分人脸的特征点信息之间的差值，所述半部分人脸包括人脸的左半部分或右半部分。

具体的，计算所述半部分人脸的每个特征点信息与另外半部分人脸的对应特征点信息之间的差值。

103、所述发送方对所述半部分人脸的特征点信息及所述差值进行编码。

104、所述发送方将编码后的所述半部分人脸的特征点信息及所述差值发送至接收方。

105、所述接收方解码所述编码后的所述半部分人脸的特征点信息及所述差值。

106、所述接收方根据所述解码后的所述半部分人脸的特征点信息及所述差值，生成对应的人脸。

具体的，所述接收方根据所述解码后的所述半部分人脸的特征点信息以及所述差值，预测所述另外半部分人脸的特征点信息；

所述接收方根据所述解码后的所述半部分人脸的特征点信息，以及预测的所述另外半部分人脸的特征点信息，生成所述对应的人脸。

本发明实施例提供了一种人脸特征点的编解码方法，通过对半部分人脸的特征点信息及差值进行编码，降低了人脸特征点编解码的空间冗余，降低了视频编码数据，提高了编码效率，减少了传输过程中了对带宽的占用；另外，通过对半部分人脸的特征点信息及差值进行编码，相较于对整个人脸的特征点信息进行编码来说，对半部分人脸进行编码降低了对当前视频帧中人脸特征点进行编码的空间冗余和编码长度，从而降低了视频编码数据，提高了编码效率，同时因为差值的数据量相较于半部分人脸完整的特征点信息而言，数据值较小，从而进一步减少了编码的数据量，提高了编码效率；同时，将编码后的所述半部分人脸的特征点信息及所述差值发送至接收方，因为编码的数据量较少，从而编码后的码流对带宽的占用较少，从而提高了传输效率；另外，通过计算半部分人脸的特征点信息与另外半部分人脸的特征点信息之间的差值，使得通过所述差值和所述半部分人脸的特征点信息能够准确预测另外半部分人脸的特征点信息，从而使得接收方根据所述解码后的所述半部分人脸的特征点信息及所述差值，准确的生成对应的人脸，避免了生成的人脸失真问题，保证了当前视频帧画面的质量，提高了用户体验。

实施例二

本发明实施例提供了一种人脸特征点的编解码方法，参照图2所示，所述方法包括：

201、发送方获取当前视频帧中整个人脸的特征点信息。

其中，所述特征点信息用于描述所述人脸的轮廓、眉毛、眼睛、鼻子及嘴巴中的至少一个。

所述方法包括发送方电子设备。

整个人脸可以包括整个人脸的轮廓、眉毛、眼睛、鼻子及嘴巴，也可以是包括整个人脸的轮廓、眼睛及嘴巴，还可以是整个人脸的轮廓、眼睛、鼻子及嘴巴，还可以是眼睛及嘴巴，还可以是眼睛、鼻子及嘴巴，所述整个人脸还可以是其他，本发明实施例对具体的人脸不加以限定；所述人脸可以是当前视频帧中通过摄像头等获取的用户的真实的人脸，也可以是用户将真实的人脸表情映射到其他物体或卡通人物上的人脸，并通过所述其他物体或卡通人物的人脸进行视频的人脸。

具体的，发送方电子设备通过自身的或运行的应用程序的检测模块检测当前即时当前视频帧中的人脸，根据检测的人脸获取能够用于描述整个人脸的多个特征点信息；比如，获取当前即时视频中用于描述整个人脸的外围轮廓、眉毛、眼睛、鼻子及嘴巴的97个特征点信息。

所述特征点信息包括的信息内容包括特征点的坐标、光照参数、灰度值、亮度值及像素值中的一个或多个。

202、计算半部分人脸的特征点信息与另外半部分人脸的特征点信息之间的差值。

所述半部分人脸包括人脸的左半部分或右半部分。

获取所述左半部分或右半部分人脸的特征点信息，以及另外半部分人脸的特征点信息，所述左半部分或右半部分人脸的特征点信息用于描述所述左半部分或右半部分人脸，即以鼻子中线为界，获取描述所述左侧半部分人脸轮廓、左侧眉毛、左眼、左侧鼻子，左侧嘴巴中的至少一个的特征点信息，及获取描述右侧半部分人脸轮廓、右侧眉毛、右眼、右侧鼻子、右侧嘴巴中的至少一个的特征点信息。

具体的，计算所述半部分人脸的每个特征点信息与另外半部分人脸的对应特征点信息之间的差值。

若所述半部分人脸为左半部分人脸，则计算所述左半部分人脸的每个特征点信息与右半部分人脸的对应特征点信息之间的差值；

若所述半部分人脸为右半部分人脸，则计算所述右半部分人脸的每个特征点信息与左半部分人脸的对应特征点信息之间的差值；

若所述特征点信息包括特征点的坐标、光照参数、灰度值、亮度值及像素值中的一个或多个，则分别计算所述半部分人脸的每个特征点的坐标、光照参数、灰度值、亮度值及像素值中的一个或多个与另外半部分人脸的对应的特征点的坐标、光照参数、灰度值、亮度值及像素值中的一个或多个的差值。

因为差值的数据量相较于半部分人脸完整的特征点信息而言，数据值较小，从而进一步减少了编码的数据量，提高了编码效率；同时通过计算半部分人脸的特征点信息与另外半部分人脸的特征点信息之间的差值，使得通过所述差值和所述半部分人脸的特征点信息能够准确预测另外半部分人脸的特征点信息，避免了不能准确的生成对应的人脸的问题。

203、所述发送方对所述半部分人脸的特征点信息及所述差值进行编码。

具体的，所述发送方对所述半部分人脸的特征点信息及所述差值的中包含的特征点坐标、光照参数、灰度值、亮度值及像素值中的一个或多个的数据进行压缩编码，本发明实施例对具体的编码方式不加以限定，其中，可以通过编码器进行编码。

通过对半部分人脸的特征点信息及差值进行编码，相较于对整个人脸的特征点信息进行编码来说，对半部分人脸进行编码降低了对当前视频帧中人脸特征点进行编码的空间冗余和编码长度，从而降低了视频编码数据，提高了编码效率。

204、所述发送方将编码后的所述半部分人脸的特征点信息及所述差值发送至接收方。

接收方包括接收方电子设备。

具体的，根据编码后的所述半部分人脸的特征点信息及所述差值所占用的带宽大小，分配码流，发送至接收方电子设备。

通过将编码后的所述半部分人脸的特征点信息及所述差值发送至接收方，因为编码的数据量较少，从而编码后的码流对带宽的占用较少，从而提高了传输效率。

205、所述接收方解码所述编码后的所述半部分人脸的特征点信息及所述差值。

具体的，所述接收方电子设备可以通过解码器对编码后的所述半部分人脸的特征点信息及所述差值进行解码，获取具体的所述半部分人脸的特征点信息及所述差值的坐标、光照参数、灰度值、亮度值及像素值中的一个或多个的数据。

206、所述接收方根据所述解码后的所述半部分人脸的特征点信息以及所述差值，预测所述另外半部分人脸的特征点信息。

具体的，获取解码后的所述半部分人脸的特征点信息及所述差值，将所述半部分人脸的每个特征点信息中的坐标、光照参数、灰度值、亮度值及像素值中的一个或多个的数据和对应的差值的坐标、光照参数、灰度值、亮度值及像素值中的一个或多个的数据分别进行相加，获取另外半部分人脸的特征点信息。

207、所述接收方根据所述解码后的所述半部分人脸的特征点信息，以及预测的所述另外半部分人脸的特征点信息，生成所述对应的人脸。

具体的，所述接收方电子设备根据解码后的所述半部分人脸的特征点信息，以及预测的另外半部分人脸的特征点信息，获取整个人脸的特征点信息，根据整个人脸的特征点信息生成对应的人脸。

需要说明的是，步骤206是步骤207是实现所述接收方根据所述解码后的所述半部分人脸的特征点信息及所述差值，生成对应的人脸的过程，除了上述方式之外，还可以通过其他方式实现所述过程，本发明实施例对具体的方式不加以限定。

通过计算半部分人脸的特征点信息与另外半部分人脸的特征点信息之间的差值，使得通过所述差值和所述半部分人脸的特征点信息能够准确预测另外半部分人脸的特征点信息，从而使得接收方根据所述解码后的所述半部分人脸的特征点信息及所述差值，准确的生成对应的人脸，避免了生成的人脸失真问题，保证了当前视频帧画面的质量，提高了用户体验。

为了进一步说明本发明实施例所述编码过程，下面通过具体的示例对所述编码过程进行说明，参照图2(a)所示，为获取的当前视频帧中整个人脸的特征点信息，即获取用于描述人脸轮廓、眉毛、眼睛、鼻子及嘴巴的特征点信息，其中，以人脸轮廓上侧中点编号35、鼻子中线编号为50-53及64、嘴唇中线编号为4-5、13及19、以及人脸轮廓下侧中点编号32，共11个特征点为左右脸的中线；则获取的左半部分人脸的轮廓编号为35-40及25-32，眉毛编号为42-46，左眼编号为54-63及48-49，鼻子编号为50-53、47、64-65，嘴巴编号为20-24、13、19、8-12及4-5，需要说明的是，将中线的人脸特征点包括在需要编码的一侧人脸中，此处为左半部分人脸；剩余的为用于描述右半部分人脸的除去中线之外的特征点；则计算左半部分人脸的每个特征点信息与右半部分人脸的对应特征点信息之间的差值，比如计算左半部分人脸的轮廓特征点36对应的为右半部分人脸的轮廓特征点75、左侧眉毛的特征点46对应的为右侧人脸的眉毛的特征点83、左眼的特征点54对应的为右眼的特征点87、左侧鼻子的特征点47对应的为右侧鼻子的特征点84、左侧嘴唇特征点22对应的为右侧嘴唇特征点16；则将所述左半部分人脸的每个特征点信息和所述差值进行编码，即为每个特征点分配编码存储空间，比如在实际编码中对一个特征点信息进行编码需要32bit或64bit大小的存储空间，为所述每个差值分配编码存储空间，比如实际编码中对一个差值进行编码需要8bit或16bit大小的存储空间；这样，一个差值编码所占的存储空间比一个特征点编码所占的存储空间小24bit或48bit，参照图中所示，右半部分人脸除去中线之外有41个特征点，则对41个差值进行编码所占的存储空间远远小于对右半部分人脸除去中线的特征点之外的41个特征点进行编码所占的存储空间；还可以是获取右半部分人脸，计算右半部分人脸与左半部分人脸的差值，对右半部分人脸的每个特征点和每个差值进行编码，本发明实施例对此不加以限定。

需要说明的是，此处对于获取的人脸特征点只是示例性的，还可以是其他数目或位置的特征点，本发明实施例对此不加以限定。

本发明实施例提供了一种人脸特征点的编解码方法，通过对半部分人脸的特征点信息及差值进行编码，降低了人脸特征点编解码的空间冗余，降低了视频编码数据，提高了编码效率，减少了传输过程中了对带宽的占用；另外，通过对半部分人脸的特征点信息及差值进行编码，相较于对整个人脸的特征点信息进行编码来说，对半部分人脸进行编码降低了对当前视频帧中人脸特征点进行编码的空间冗余和编码长度，从而降低了视频编码数据，提高了编码效率，同时因为差值的数据量相较于半部分人脸完整的特征点信息而言，数据值较小，从而进一步减少了编码的数据量，提高了编码效率；同时，将编码后的所述半部分人脸的特征点信息及所述差值发送至接收方，因为编码的数据量较少，从而编码后的码流对带宽的占用较少，从而提高了传输效率；另外，通过计算半部分人脸的特征点信息与另外半部分人脸的特征点信息之间的差值，使得通过所述差值和所述半部分人脸的特征点信息能够准确预测另外半部分人脸的特征点信息，从而使得接收方根据所述解码后的所述半部分人脸的特征点信息及所述差值，准确的生成对应的人脸，避免了生成的人脸失真问题，保证了当前视频帧画面的质量，提高了用户体验。

实施例三

本发明实施例提供了一种人脸特征点的编码方法，参照图3所示，所述方法包括：

301、获取当前视频帧中整个人脸的特征点信息。

其中，所述特征点信息用于描述所述人脸的轮廓、眉毛、眼睛、鼻子及嘴巴中的至少一个。

具体的，所述步骤与实施例二中的步骤201步骤类似，此处不再加以赘述，其中，获取当前视频帧中的整个人脸的特征点信息的主体可以是发送方电子设备，也可以是接收方电子设备，还可以是其他进行电子设备，本发明实施例对此不加以限定。

302、计算半部分人脸的特征点信息与另外半部分人脸的特征点信息之间的差值。

所述半部分人脸包括人脸的左半部分或右半部分。

具体的，所述步骤与实施例二中的步骤202类似，此处不再加以赘述。

其中计算所述半部分人脸的每个特征点信息与另外半部分人脸的对应特征点信息之间的差值的步骤与实施例二中步骤202中的该步骤相同。

303、对所述半部分人脸的特征点信息及所述差值进行编码。

具体的，所述步骤与实施例二中的步骤203类似，此处不再加以赘述。

304、将编码后的所述半部分人脸的特征点信息及所述差值发送至其他设备。

具体的，所述步骤与实施例二中的步骤204类似，此处不再加以赘述。

本发明实施例提供了一种人脸特征点的编码方法，通过对半部分人脸的特征点信息及差值进行编码，降低了人脸特征点编解码的空间冗余，降低了视频编码数据，提高了编码效率，减少了传输过程中了对带宽的占用；另外，通过对半部分人脸的特征点信息及差值进行编码，相较于对整个人脸的特征点信息进行编码来说，对半部分人脸进行编码降低了对当前视频帧中人脸特征点进行编码的空间冗余和编码长度，从而降低了视频编码数据，提高了编码效率，同时因为差值的数据量相较于半部分人脸完整的特征点信息而言，数据值较小，从而进一步减少了编码的数据量，提高了编码效率；同时，将编码后的所述半部分人脸的特征点信息及所述差值发送至其他电子设备，因为编码的数据量较少，从而编码后的码流对带宽的占用较少，从而提高了传输效率。

实施例四

本发明实施例提供了一种人脸特征点的解码方法，参照图4所示，所述方法包括：

401、接收其他设备发送的编码后的半部分人脸的特征点信息及差值。

所述半部分人脸包括人脸的左半部分或右半部分。

具体的，通过电子设备或应用程序的接收模块接收其他设备发送的编码后的半部分人脸的特征点信息及差值。

402、解码所述编码后的半部分人脸的特征点信息及差值。

具体的，所述步骤与实施例二中的步骤205类似，此处不再加以赘述。

403、根据所述解码后的所述半部分人脸的特征点信息及所述差值，生成对应的人脸。

具体的，通过以下过程实现所述过程：

根据所述解码后的所述半部分人脸的特征点信息以及所述差值，预测所述另外半部分人脸的特征点信息。

具体的，所述过程与实施例二中的步骤206类似，此处不再加以赘述。

根据所述解码后的所述半部分人脸的特征点信息，以及预测的所述另外半部分人脸的特征点信息，生成所述对应的人脸。

具体的，所述过程与实施例二中的步骤207类似，此处不再加以赘述。

本发明实施例提供了一种人脸特征点的解码方法，因为通过计算半部分人脸的特征点信息与另外半部分人脸的特征点信息之间的差值，使得通过所述半部分人脸的特征点信息和所述差值能够准确预测预测另外半部分人脸的特征点信息，从而使得接收方根据所述解码后的所述半部分人脸的特征点信息及所述差值，准确的生成对应的人脸，避免了生成的人脸失真问题，保证了当前视频帧画面的质量，提高了用户体验；另外，因为解码的是编码后的所述半部分人脸的特征点信息及所述差值，其数据量较少，所以降低了解码的时间耗费，提高了解码效率。

实施例五

本发明实施例提供了一种电子设备5，参照图5所示，所述设备包括：

特征点信息获取模块51，用于获取当前视频帧中整个人脸的特征点信息；

差值计算模块52，用于计算半部分人脸的特征点信息与另外半部分人脸的特征点信息之间的差值，所述半部分人脸包括人脸的左半部分或右半部分；

编码模块53，用于对所述半部分人脸的特征点信息及所述差值进行编码；

发送模块54，用于发送编码后的所述半部分人脸的特征点信息及所述差值。

可选的，所述特征点信息用于描述所述人脸的轮廓、眉毛、眼睛、鼻子及嘴巴中的至少一个。

可选的，所述差值计算模块52具体用于：

计算所述半部分人脸的每个特征点信息与另外半部分人脸的对应特征点信息之间的差值。

本发明实施例提供了一种电子设备，所述电子设备通过对半部分人脸的特征点信息及差值进行编码，降低了人脸特征点编解码的空间冗余，降低了视频编码数据，提高了编码效率，减少了传输过程中了对带宽的占用；另外，通过对半部分人脸的特征点信息及差值进行编码，相较于对整个人脸的特征点信息进行编码来说，对半部分人脸进行编码降低了对当前视频帧中人脸特征点进行编码的空间冗余和编码长度，从而降低了视频编码数据，提高了编码效率，同时因为差值的数据量相较于半部分人脸完整的特征点信息而言，数据值较小，从而进一步减少了编码的数据量，提高了编码效率；同时，将编码后的所述半部分人脸的特征点信息及所述差值发送至其他电子设备，因为编码的数据量较少，从而编码后的码流对带宽的占用较少，从而提高了传输效率。

实施例六

本发明实施例提供了一种电子设备6，参照图6所示，所述设备包括：

接收模块61，用于接收其他设备发送的编码后的半部分人脸的特征点信息及差值，所述半部分人脸包括人脸的左半部分或右半部分；

解码模块62，用于解码所述编码后的半部分人脸的特征点信息及差值；以及

人脸生成模块63，用于根据所述解码后的所述半部分人脸的特征点信息及所述差值，生成对应的人脸。

可选的，所述特征点信息用于描述所述人脸的轮廓、眉毛、眼睛、鼻子及嘴巴中的至少一个。

可选的，所述人脸生成模块63包括：

预测子模块631，用于根据所述解码后的所述半部分人脸的特征点信息以及所述差值，预测所述另外半部分人脸的特征点信息；

人脸生成子模块632，用于根据所述解码后的所述半部分人脸的特征点信息，以及预测的所述另外半部分人脸的特征点信息，生成所述对应的人脸。

本发明实施例提供了一种电子设备，因为通过计算半部分人脸的特征点信息与另外半部分人脸的特征点信息之间的差值，使得所述电子设备通过所述半部分人脸的特征点信息和所述差值能够准确预测预测另外半部分人脸的特征点信息，从而使得接收方根据所述解码后的所述半部分人脸的特征点信息及所述差值，准确的生成对应的人脸，避免了生成的人脸失真问题，保证了当前视频帧画面的质量，提高了用户体验；另外，因为解码的是编码后的所述半部分人脸的特征点信息及所述差值，其数据量较少，所以降低了解码的时间耗费，提高了解码效率。

实施例七

本发明实施例提供了一种电子设备7，参照图7所示，所述设备包括显示屏71、摄像头72、发送/接收模块73、存储器74以及与所述显示屏71、所述摄像头72、所述发送/接收模块73、所述存储器74连接的处理器75，其中，所述存储器74用于存储一组程序代码，所述处理器75调用所述存储器74所存储的程序代码用于执行以下操作：

获取当前视频帧中整个人脸的特征点信息；

计算半部分人脸的特征点信息与另外半部分人脸的特征点信息之间的差值，所述半部分人脸包括人脸的左半部分或右半部分；

对所述半部分人脸的特征点信息及所述差值进行编码；

将编码后的所述半部分人脸的特征点信息及所述差值发送至其他设备。

可选的，所述特征点信息用于描述所述人脸的轮廓、眉毛、眼睛、鼻子及嘴巴中的至少一个。

可选的，所述处理器75调用所述存储器74所存储的程序代码用于执行以下操作：

计算所述半部分人脸的每个特征点信息与另外半部分人脸的对应特征点信息之间的差值。

本发明实施例提供了一种电子设备，所述电子设备通过对半部分人脸的特征点信息及差值进行编码，降低了人脸特征点编解码的空间冗余，降低了视频编码数据，提高了编码效率，减少了传输过程中了对带宽的占用；另外，通过对半部分人脸的特征点信息及差值进行编码，相较于对整个人脸的特征点信息进行编码来说，对半部分人脸进行编码降低了对当前视频帧中人脸特征点进行编码的空间冗余和编码长度，从而降低了视频编码数据，提高了编码效率，同时因为差值的数据量相较于半部分人脸完整的特征点信息而言，数据值较小，从而进一步减少了编码的数据量，提高了编码效率；同时，将编码后的所述半部分人脸的特征点信息及所述差值发送至其他电子设备，因为编码的数据量较少，从而编码后的码流对带宽的占用较少，从而提高了传输效率。

实施例八

本发明实施例提供了一种电子设备，参照图8所示，电子设备包括显示屏81、发送/接收模块82、存储器83以及与所述显示屏81、所述发送/接收模块82、所述存储器83连接的处理器84，其中，所述存储器83用于存储一组程序代码，所述处理器84调用所述存储器83所存储的程序代码用于执行以下操作：

接收其他设备发送的编码后的半部分人脸的特征点信息及差值，所述半部分人脸包括人脸的左半部分或右半部分；

解码所述编码后的半部分人脸的特征点信息及差值；以及

根据所述解码后的所述半部分人脸的特征点信息及所述差值，生成对应的人脸。

可选的，所述特征点信息用于描述所述人脸的轮廓、眉毛、眼睛、鼻子及嘴巴中的至少一个。

可选的，所述处理器84调用所述存储器83所存储的程序代码用于执行以下操作：

根据所述解码后的所述半部分人脸的特征点信息以及所述差值，预测所述另外半部分人脸的特征点信息；

根据所述解码后的所述半部分人脸的特征点信息，以及预测的所述另外半部分人脸的特征点信息，生成所述对应的人脸。

本发明实施例提供了一种电子设备，因为通过计算半部分人脸的特征点信息与另外半部分人脸的特征点信息之间的差值，使得所述电子设备通过所述半部分人脸的特征点信息和所述差值能够准确预测预测另外半部分人脸的特征点信息，从而使得接收方根据所述解码后的所述半部分人脸的特征点信息及所述差值，准确的生成对应的人脸，避免了生成的人脸失真问题，保证了当前视频帧画面的质量，提高了用户体验；另外，因为解码的是编码后的所述半部分人脸的特征点信息及所述差值，其数据量较少，所以降低了解码的时间耗费，提高了解码效率。

实施例九

本发明实施例提供了一种人脸特征点的编解码系统，参照图9所示，所述系统包括第一电子设备91和第二电子设备92，其中，

所述第一电子设备91包括：

特征点信息获取模块911，用于获取当前视频帧中整个人脸的特征点信息；

差值计算模块912，用于计算半部分人脸的特征点信息与另外半部分人脸的特征点信息之间的差值，所述半部分人脸包括人脸的左半部分或右半部分；

编码模块913，用于对所述半部分人脸的特征点信息及所述差值进行编码；

发送模块914，用于发送编码后的所述半部分人脸的特征点信息及所述差值；

所述第二电子设备92包括：

接收模块921，用于接收编码后的半部分人脸的特征点信息及差值，所述半部分人脸包括人脸的左半部分或右半部分；

解码模块922，用于解码所述编码后的半部分人脸的特征点信息及差值；以及

人脸生成模块923，用于根据所述解码后的所述半部分人脸的特征点信息及所述差值，生成对应的人脸。

可选的，所述特征点信息用于描述所述人脸的轮廓、眉毛、眼睛、鼻子及嘴巴中的至少一个。

可选的，所述差值计算模块912具体用于：

计算所述半部分人脸的每个特征点信息与另外半部分人脸的对应特征点信息之间的差值。

可选的，人脸生成模块923包括：

预测子模块9231，用于根据所述解码后的所述半部分人脸的特征点信息以及所述差值，预测所述另外半部分人脸的特征点信息；

人脸生成子模块9232，用于根据所述解码后的所述半部分人脸的特征点信息，以及预测的所述另外半部分人脸的特征点信息，生成所述对应的人脸。

本发明实施例提供了一种人脸特征点的编解码系统，所述系统通过对半部分人脸的特征点信息及差值进行编码，降低了人脸特征点编解码的空间冗余，降低了视频编码数据，提高了编码效率，减少了传输过程中了对带宽的占用；另外，通过对半部分人脸的特征点信息及差值进行编码，相较于对整个人脸的特征点信息进行编码来说，对半部分人脸进行编码降低了对当前视频帧中人脸特征点进行编码的空间冗余和编码长度，从而降低了视频编码数据，提高了编码效率，同时因为差值的数据量相较于半部分人脸完整的特征点信息而言，数据值较小，从而进一步减少了编码的数据量，提高了编码效率；同时，将编码后的所述半部分人脸的特征点信息及所述差值发送至接收方，因为编码的数据量较少，从而编码后的码流对带宽的占用较少，从而提高了传输效率；另外，通过计算半部分人脸的特征点信息与另外半部分人脸的特征点信息之间的差值，使得通过所述差值和所述半部分人脸的特征点信息能够准确预测另外半部分人脸的特征点信息，从而使得接收方根据所述解码后的所述半部分人脸的特征点信息及所述差值，准确的生成对应的人脸，避免了生成的人脸失真问题，保证了当前视频帧画面的质量，提高了用户体验。

上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。

需要说明的是：上述实施例提供的电子设备在执行人脸特征点的编解码方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的电子设备与人脸特征点的编解码方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种人脸特征点的编解码方法，其特征在于，所述方法包括：

发送方获取当前视频帧中整个人脸的特征点信息；

计算半部分人脸的特征点信息与另外半部分人脸的特征点信息之间的差值，所述半部分人脸包括人脸的左半部分或右半部分；

所述发送方对所述半部分人脸的特征点信息及所述差值进行编码；

所述发送方将编码后的所述半部分人脸的特征点信息及所述差值发送至接收方；

所述接收方解码所述编码后的所述半部分人脸的特征点信息及所述差值；以及

所述接收方根据所述解码后的所述半部分人脸的特征点信息及所述差值，生成对应的人脸。

2.根据权利要求1所述的方法，其特征在于，所述特征点信息用于描述所述人脸的轮廓、眉毛、眼睛、鼻子及嘴巴中的至少一个。

3.根据权利要求2所述的方法，其特征在于，所述计算半部分人脸的特征点信息与另外半部分人脸的特征点信息之间的差值包括：

计算所述半部分人脸的每个特征点信息与另外半部分人脸的对应特征点信息之间的差值。

4.根据权利要求1所述的方法，其特征在于，所述接收方根据所述解码后的所述半部分人脸的特征点信息及所述差值，生成对应的人脸包括：

所述接收方根据所述解码后的所述半部分人脸的特征点信息以及所述差值，预测所述另外半部分人脸的特征点信息；

所述接收方根据所述解码后的所述半部分人脸的特征点信息，以及预测的所述另外半部分人脸的特征点信息，生成所述对应的人脸。

5.一种人脸特征点的编码方法，其特征在于，所述方法包括：

获取当前视频帧中整个人脸的特征点信息；

计算半部分人脸的特征点信息与另外半部分人脸的特征点信息之间的差值，所述半部分人脸包括人脸的左半部分或右半部分；

对所述半部分人脸的特征点信息及所述差值进行编码；

将编码后的所述半部分人脸的特征点信息及所述差值发送至其他设备。

6.根据权利要求5所述的方法，其特征在于，所述特征点信息用于描述所述人脸的轮廓、眉毛、眼睛、鼻子及嘴巴中的至少一个。

7.根据权利要求6所述的方法，其特征在于，所述计算半部分人脸的特征点信息与另外半部分人脸的特征点信息之间的差值包括：

计算所述半部分人脸的每个特征点信息与另外半部分人脸的对应特征点信息之间的差值。

8.一种人脸特征点的解码方法，其特征在于，所述方法包括：

接收其他设备发送的编码后的半部分人脸的特征点信息及差值，所述半部分人脸包括人脸的左半部分或右半部分；

解码所述编码后的半部分人脸的特征点信息及差值；以及

根据所述解码后的所述半部分人脸的特征点信息及所述差值，生成对应的人脸。

9.根据权利要求8所述的方法，其特征在于，所述特征点信息用于描述所述人脸的轮廓、眉毛、眼睛、鼻子及嘴巴中的至少一个。

10.根据权利要求9所述的方法，其特征在于，所述根据所述解码后的所述半部分人脸的特征点信息及所述差值，生成对应的人脸包括：

根据所述解码后的所述半部分人脸的特征点信息以及所述差值，预测所述另外半部分人脸的特征点信息；

根据所述解码后的所述半部分人脸的特征点信息，以及预测的所述另外半部分人脸的特征点信息，生成所述对应的人脸。