CN106919891B - 一种图像处理方法及装置 - Google Patents

Abstract

本发明实施例提供一种图像处理方法及装置，其中的方法可包括：在待处理视频所包含的每一帧图像中检测人脸区域，并从所述人脸区域中定位唇部区域；从所述每一帧图像中提取唇部区域的特征列像素构建唇部变化图；根据所述唇部变化图的纹理特征进行唇动识别，获得识别结果。本发明依据图像在时间跨度上的唇部变化识别唇动，能够避免唇部变化幅度的影响，提升识别结果准确性，提升图像处理的实用性。

Description

一种图像处理方法及装置

技术领域

本发明涉及互联网技术领域，具体涉及视频图像处理技术领域，尤其涉及一种图像处理方法及装置。

背景技术

某些互联网场景通常会涉及唇部识别的过程，例如：在身份认证场景中，为了避免非法用户采用静态图片混淆视听，通常需要录制用户说话的视频图像，然后对该视频图像进行唇动识别等处理来确认合法用户身份。现有技术中对图像进行唇动识别处理的其中一种方案为：计算视频中每一帧图像中的唇部区域的面积大小，再通过帧图像之间唇部区域的面积差确认是否发生唇动。另一种方案为：提取视频中每一帧图像中唇部开闭状态，依据开闭幅度来检测是否发生唇动。现有技术均依赖于唇部变化幅度，若唇部变化幅度较小，其唇部区域的面积变化及唇部开闭状态的幅度都不够明显，从而会影响唇动识别结果的准确性，影响现有技术方案的实用性。

发明内容

本发明实施例提供一种图像处理方法及装置，依据图像在时间跨度上的唇部变化识别唇动，能够避免唇部变化幅度的影响，提升识别结果准确性，提升图像处理的实用性。

本发明实施例第一方面提供一种图像处理方法，可包括：

在待处理视频所包含的每一帧图像中检测人脸区域，并从所述人脸区域中定位唇部区域；

从所述每一帧图像中提取唇部区域的特征列像素构建唇部变化图；

根据所述唇部变化图的纹理特征进行唇动识别，获得识别结果。

优选地，所述在待处理视频所包含的每一帧图像中检测人脸区域，并从所述人脸区域中定位唇部区域，包括：

对待处理视频进行解析获得至少一帧图像；

采用人脸检测算法在每一帧图像中检测人脸区域；

采用人脸配准算法从所述人脸区域中定位唇部区域。

优选地，所述从所述每一帧图像中提取唇部区域的特征列像素构建唇部变化图，包括：

在每一帧图像中截取唇部区域图；

从所述唇部区域图中提取特征列像素图；

按照每一帧图像的时间顺序对所提取的特征列像素图进行拼接处理，获得唇部变化图。

优选地，所述从所述唇部区域图中提取特征列像素图，包括：

在所述唇部区域图中确定预设位置；

沿所述预设位置绘制纵轴；

提取由所述唇部区域图中位于所述纵轴的所有像素点构成的一列像素图作为特征列像素图。

优选地，所述预设位置为所述唇部区域图的中心像素点位置。

优选地，所述根据所述唇部变化图的纹理特征进行唇动识别，获得识别结果，包括：

计算所述唇部变化图的纹理特征，所述纹理特征包括LBP特征和/或HOG特征；

采用预设分类算法对所述纹理特征进行分类，获得唇动识别结果，所述识别结果包括：发生唇动或未发生唇动。

本发明实施例第二方面提供一种图像处理装置，可包括：

定位单元，用于在待处理视频所包含的每一帧图像中检测人脸区域，并从所述人脸区域中定位唇部区域；

构建单元，用于从所述每一帧图像中提取唇部区域的特征列像素构建唇部变化图；

唇动识别单元，用于根据所述唇部变化图的纹理特征进行唇动识别，获得识别结果。

优选地，所述定位单元包括：

解析单元，用于对待处理视频进行解析获得至少一帧图像；

人脸检测单元，用于采用人脸检测算法在每一帧图像中检测人脸区域；

人脸配准单元，用于采用人脸配准算法从所述人脸区域中定位唇部区域。

优选地，所述构建单元包括：

截取单元，用于在每一帧图像中截取唇部区域图；

提取单元，用于从所述唇部区域图中提取特征列像素图；

拼接处理单元，用于按照每一帧图像的时间顺序对所提取的特征列像素图进行拼接处理，获得唇部变化图。

优选地，所述提取单元包括：

位置确定单元，用于在所述唇部区域图中确定预设位置；

纵轴确定单元，用于沿所述预设位置绘制纵轴；

特征列像素提取单元，用于提取由所述唇部区域图中位于所述纵轴的所有像素点构成的一列像素图作为特征列像素图。

优选地，所述预设位置为所述唇部区域图的中心像素点位置。

优选地，所述唇动识别单元包括：

计算单元，用于计算所述唇部变化图的纹理特征，所述纹理特征包括LBP(LocalBinary Patterns，局部二值模式)特征和/或HOG(Histogram of Oriented Gradient，方向梯度直方图)特征；

分类单元，用于采用预设分类算法对所述纹理特征进行分类，获得唇动识别结果，所述识别结果包括：发生唇动或未发生唇动。

实施本发明实施例，具有如下有益效果：

本发明实施例中，对视频所包含的每一帧图像进行人脸区域检测及唇部区域定位，并且从每一帧图像中提取唇部区域的特征列像素构建唇部变化图，由于唇部变化图来自于每一帧图像，这使得唇部变化图能够整体反映各图像组成的时间跨度；通过唇部变化图的纹理特征进行唇动识别获得识别结果，也就是依据时间跨度上的唇部变化识别唇动，能够避免唇部变化幅度的影响，识别效率较高且识别结果准确度较高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像处理方法的流程图；

图2为本发明实施例提供的一种互联网设备的结构示意图；

图3为本发明实施例提供的一种图像处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例中，对视频所包含的每一帧图像进行人脸区域检测及唇部区域定位，并且从每一帧图像中提取唇部区域的特征列像素构建唇部变化图，由于唇部变化图来自于每一帧图像，这使得唇部变化图能够整体反映各图像组成的时间跨度；通过唇部变化图的纹理特征进行唇动识别获得识别结果，也就是依据时间跨度上的唇部变化识别唇动，能够避免唇部变化幅度的影响，识别效率较高且识别结果准确度较高。

本发明实施例的图像处理方法可以被应用于许多互联网场景中，例如：在语音输入场景中，可通过对用户说话视频进行唇动识别来控制语音的获取过程；再如：在身份认证场景中，可通过对用户说话视频进行唇动识别来确认合法用户身份，避免非法用户采用静态图片混淆视听；等等。同理，本发明实施例的图像处理装置可以被应用于互联网场景中的各个设备中，例如：可被应用于终端中，或者被应用于服务器中。

基于上述描述，本发明实施例提供了一种图像处理方法，请参见图1，该方法可执行以下步骤S101-S103。

S101，在待处理视频所包含的每一帧图像中检测人脸区域，并从所述人脸区域中定位唇部区域。

待处理视频可以是实时录制的视频，例如：用户向终端发起语音输入请求时，终端可实时录制用户说话视频作为待处理视频。待处理视频也可以是接收到的实时视频，例如：服务器对终端侧用户进行身份认证时，服务器可接收终端实时录制的用户说话视频作为待处理视频。人脸检测技术是指采用一定的策略扫描确定所给定的图像中是否含有人脸，在确定含有后能够确定人脸在图像中的位置、大小和姿态。人脸配准技术是指采用一定的算法依据人脸的位置、大小和姿态清晰分辨出人脸的眼、鼻、唇部等轮廓。本实施例的方法在执行步骤S101的过程中具体涉及人脸检测技术和人脸配准技术；具体地，该方法在执行步骤S101时执行如下步骤s11-s13：

s11，对待处理视频进行解析获得至少一帧图像。视频是由一帧一帧图像按照时间顺序构成的，因此，对待处理视频进行分帧处理即可得到一帧一帧图像。

s12，采用人脸检测算法在每一帧图像中检测人脸区域。

人脸检测算法可包括但不限于：PCA(Principal Component Analysis，基于主成分分析)算法、基于弹性模型的方法、隐马尔可夫模型方法(Hidden Markov Model)等等。针对视频分帧处理获得的每一帧图像，采用人脸检测算法可确定出人脸区域，该人脸区域用于展示人脸在每一帧图像中的位置、大小及姿态。

s13，采用人脸配准算法从所述人脸区域中定位唇部区域。

人脸配准算法可包括但不限于：Lasso整脸回归配准算法、小波域算法等等。针对每一帧图像中的人脸区域所展示的人脸位置、大小及姿态，采用人脸配准算法可精确定位唇部区域。

S102，从所述每一帧图像中提取唇部区域的特征列像素构建唇部变化图。

所述唇部变化图要求从时间跨度上整体反映唇部变化。由于视频是由一帧一帧图像按照时间顺序构成，并且视频在该各帧图像组成的时间跨度上能够动态反映唇部变化情况，因此，本步骤可以采用每一帧图像中的唇部区域的变化特征来构建唇部变化图。具体实现中，该方法在执行步骤S101时具体执行如下步骤s21-s23：

s21，在每一帧图像中截取唇部区域图。由于已从每一帧图像中精确定位唇部区域，本步骤s21中可从每一帧图像中直接截取唇部区域图，那么，第一帧图像中可截取到第一幅唇部区域图，第二帧图像中可截取到第二幅唇部区域图，以此类推。

s22，从所述唇部区域图中提取特征列像素图。

特征列像素点是指一帧图像中能够反映唇部变化特点的一列像素点，该特征列像素点形成的图像称为特征列像素图。具体实现中，该方法在执行步骤s22时具体执行如下步骤ss221-ss223：

ss221，在所述唇部区域图中确定预设位置。

所述预设位置可以为唇部区域图中任意像素点的位置，由于唇动时唇部中央的变化最为明显，因此，本发明实施例优选地，所述预设位置为所述唇部区域图的中心像素点位置。

ss222，沿所述预设位置绘制纵轴。

ss223，提取由所述唇部区域图中位于所述纵轴的所有像素点构成的一列像素图作为特征列像素图。

唇动时唇部变化的直接表现为唇部张开，这属于唇部的纵向变化，因此步骤ss222-ss223中，可以沿预设位置纵向提取特征列像素图；可以理解的是，若该预设位置为唇部区域图的中心像素点位置，所提取的特征列像素图即为唇部区域中央的一列像素图。

s23，按照每一帧图像的时间顺序对所提取的特征列像素图进行拼接处理，获得唇部变化图。

经过上述步骤s22可以从每一帧图像中的预设位置提取出特征列像素图，步骤s23将从各帧图像提取到的特征列像素图拼接后获得的唇部变化图，也反映了唇部的预设位置处的变化情况。以预设位置为唇部区域图的中心像素点位置为例：从第一帧图像中提取到唇部区域中央列像素图，可称为第一中央列像素图；从第二帧图像中也提取到唇部区域中央列像素图，可称为第二中央列像素图；以此类推；那么，本步骤s23中的拼接处理可以为：将第二中央列像素图横向拼接于第一中央列像素图之后，将第三中央列像素图横向拼接于第二中央列像素图之后，以此类推从而形成唇部变化图，此唇部变化图反映了唇部中央的变化情况。

S103，根据所述唇部变化图的纹理特征进行唇动识别，获得识别结果。

唇动识别是确认是否发生唇动的过程。该方法在执行步骤S103时具体执行如下步骤s31-s32：

s31，计算所述唇部变化图的纹理特征，所述纹理特征包括但不限于：LBP特征和/或HOG特征。

LBP特征可有效描述和度量图像局部的纹理信息，具备旋转不变性和灰度不变性等显著的优点；该方法在执行步骤s31的过程中，可以采用LBP算法来计算唇部变化图的LBP特征。HOG特征是一种在图像处理中用于进行物体检测的特征描述子；该方法在执行步骤s31的过程中，可以采用HOG算法来计算唇部变化图的HOG特征。可以理解的是，所述纹理特征还可包括诸如SIFT特征等其他特征，因此该方法在执行步骤s31的过程中还可采用其他算法来计算唇部变化图的纹理特征。

s32，采用预设分类算法对所述纹理特征进行分类，获得唇动识别结果，所述识别结果包括：发生唇动或未发生唇动。

所述预设分类算法可包括但不限于：贝叶斯算法、逻辑回归算法及SVM(SupportVector Machine，支持向量机)算法。以SVM算法为例，将所述纹理特征作为输入参数代入SVM算法分类器中，则SVM算法分类器则可以输出分类结果(即唇动识别结果)。

本发明实施例通过运行图像处理方法，对视频所包含的每一帧图像进行人脸区域检测及唇部区域定位，并且从每一帧图像中提取唇部区域的特征列像素构建唇部变化图，由于唇部变化图来自于每一帧图像，这使得唇部变化图能够整体反映各图像组成的时间跨度；通过唇部变化图的纹理特征进行唇动识别获得识别结果，也就是依据时间跨度上的唇部变化识别唇动，能够避免唇部变化幅度的影响，识别效率较高且识别结果准确度较高。

基于上述实施例所示的图像处理方法，本发明实施例还提供了一种互联网设备，该互联网设备可以为终端或服务器；请参见图2，该互联网设备的内部结构可包括但不限于：处理器、用户接口、网络接口及存储器。其中，互联网设备内的处理器、用户接口、网络接口及存储器可通过总线或其他方式连接，在本发明实施例所示图2中以通过总线连接为例。

其中，用户接口是实现用户与该互联网设备进行交互和信息交换的媒介，其具体体现可以包括用于输出的显示屏(Display)以及用于输入的键盘(Keyboard)等等，需要说明的是，此处的键盘既可以为实体键盘，也可以为触屏虚拟键盘，还可以为实体与触屏虚拟相结合的键盘。处理器(或称CPU(Central Processing Unit，中央处理器))是互联网设备的计算核心以及控制核心，其可以解析互联网设备内的各类指令以及处理各类数据。存储器(Memory)是互联网设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的存储器可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的存储装置。存储器提供存储空间，该存储空间存储了互联网设备的操作系统，还存储了图像处理装置。

在本发明实施例中，互联网设备通过运行存储器中的图像处理装置可以执行上述图1所示方法流程的相应步骤。请一并参见图3，该图像处理装置运行如下单元：

定位单元101，用于在待处理视频所包含的每一帧图像中检测人脸区域，并从所述人脸区域中定位唇部区域。

构建单元102，用于从所述每一帧图像中提取唇部区域的特征列像素构建唇部变化图。

唇动识别单元103，用于根据所述唇部变化图的纹理特征进行唇动识别，获得识别结果。

具体实现中，该图像处理装置在运行定位单元101的过程中，具体运行如下单元：

解析单元1001，用于对待处理视频进行解析获得至少一帧图像。

人脸检测单元1002，用于采用人脸检测算法在每一帧图像中检测人脸区域。

人脸配准单元1003，用于采用人脸配准算法从所述人脸区域中定位唇部区域。

具体实现中，该图像处理装置在运行构建单元102的过程中，具体运行如下单元：

截取单元2001，用于在每一帧图像中截取唇部区域图。

提取单元2002，用于从所述唇部区域图中提取特征列像素图。

拼接处理单元2003，用于按照每一帧图像的时间顺序对所提取的特征列像素图进行拼接处理，获得唇部变化图。

具体实现中，该图像处理装置在运行提取单元2002的过程中，具体运行如下单元：

位置确定单元2221，用于在所述唇部区域图中确定预设位置；优选地，所述预设位置为所述唇部区域图的中心像素点位置。

纵轴确定单元2222，用于沿所述预设位置绘制纵轴。

特征列像素提取单元2223，用于提取由所述唇部区域图中位于所述纵轴的所有像素点构成的一列像素图作为特征列像素图。

具体实现中，该图像处理装置在运行唇动识别单元103的过程中，具体运行如下单元：

计算单元3001，用于计算所述唇部变化图的纹理特征，所述纹理特征包括LBP特征和/或HOG特征。

分类单元3002，用于采用预设分类算法对所述纹理特征进行分类，获得唇动识别结果，所述识别结果包括：发生唇动或未发生唇动。

与图2所示的方法同理，本发明实施例通过运行图像处理装置，对视频所包含的每一帧图像进行人脸区域检测及唇部区域定位，并且从每一帧图像中提取唇部区域的特征列像素构建唇部变化图，由于唇部变化图来自于每一帧图像，这使得唇部变化图能够整体反映各图像组成的时间跨度；通过唇部变化图的纹理特征进行唇动识别获得识别结果，也就是依据时间跨度上的唇部变化识别唇动，能够避免唇部变化幅度的影响，识别效率较高且识别结果准确度较高。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (8)

1.一种图像处理方法，其特征在于，包括：

在待处理视频所包含的每一帧图像中检测人脸区域，并从所述人脸区域中定位唇部区域；

在每一帧图像中截取唇部区域图；

在所述唇部区域图中确定预设位置；

沿所述预设位置绘制纵轴；

提取由所述唇部区域图中位于所述纵轴的所有像素点构成的一列像素图作为特征列像素图；

按照每一帧图像的时间顺序对所提取的特征列像素图进行拼接处理，获得唇部变化图；

根据所述唇部变化图的纹理特征进行唇动识别，获得识别结果。

2.如权利要求1所述的方法，其特征在于，所述在待处理视频所包含的每一帧图像中检测人脸区域，并从所述人脸区域中定位唇部区域，包括：

对待处理视频进行解析获得至少一帧图像；

采用人脸检测算法在每一帧图像中检测人脸区域；

采用人脸配准算法从所述人脸区域中定位唇部区域。

3.如权利要求1所述的方法，其特征在于，所述预设位置为所述唇部区域图的中心像素点位置。

4.如权利要求1-3任一项所述的方法，其特征在于，所述根据所述唇部变化图的纹理特征进行唇动识别，获得识别结果，包括：

计算所述唇部变化图的纹理特征，所述纹理特征包括LBP特征和/或HOG特征；

采用预设分类算法对所述纹理特征进行分类，获得唇动识别结果，所述识别结果包括：发生唇动或未发生唇动。

5.一种图像处理装置，其特征在于，包括：

定位单元，用于在待处理视频所包含的每一帧图像中检测人脸区域，并从所述人脸区域中定位唇部区域；

构建单元，用于从所述每一帧图像中提取唇部区域的特征列像素构建唇部变化图；

唇动识别单元，用于根据所述唇部变化图的纹理特征进行唇动识别，获得识别结果；

所述构建单元包括：

截取单元，用于在每一帧图像中截取唇部区域图；

提取单元，用于从所述唇部区域图中提取特征列像素图；

拼接处理单元，用于按照每一帧图像的时间顺序对所提取的特征列像素图进行拼接处理，获得唇部变化图；

所述提取单元包括：

位置确定单元，用于在所述唇部区域图中确定预设位置；

纵轴确定单元，用于沿所述预设位置绘制纵轴；

特征列像素提取单元，用于提取由所述唇部区域图中位于所述纵轴的所有像素点构成的一列像素图作为特征列像素图。

6.如权利要求5所述的装置，其特征在于，所述定位单元包括：

解析单元，用于对待处理视频进行解析获得至少一帧图像；

人脸检测单元，用于采用人脸检测算法在每一帧图像中检测人脸区域；

人脸配准单元，用于采用人脸配准算法从所述人脸区域中定位唇部区域。

7.如权利要求5所述的装置，其特征在于，所述预设位置为所述唇部区域图的中心像素点位置。

8.如权利要求5-7任一项所述的装置，其特征在于，所述唇动识别单元包括：

计算单元，用于计算所述唇部变化图的纹理特征，所述纹理特征包括LBP特征和/或HOG特征；

分类单元，用于采用预设分类算法对所述纹理特征进行分类，获得唇动识别结果，所述识别结果包括：发生唇动或未发生唇动。