CN109344775A - 一种全自动和面机的智能唇读识别控制方法 - Google Patents

Abstract

本发明公开了一种全自动和面机的智能唇读识别控制方法。主要包括：获取人脸面部图像，用二维小波变换构造人脸图像的小波系数矩阵，对阈值化处理后的小波系数进行逆变换获得重构图像，达到去除噪声的目的；对重构面部图像进行约束性的Fisher线性变换，并根据唇色统计特性阈值检测人脸图像中的嘴唇状态；获取嘴唇形状的二值化图像，构造图像的多元线性方程，利用方程预测变形模板参数，完成图像与模板的实时定位匹配，实现和面机的智能唇读识别控制。该方法具有良好的实时性和准确性，并可根据嘴唇在人脸区域的几何分布特性，快速准确地进行唇动定位，稳定可靠地完成和面机的智能控制任务。

Description

一种全自动和面机的智能唇读识别控制方法

技术领域

本发明涉及人工智能、图像处理和计算机领域，具体涉及一种全自动和面机的智能唇读识别控制方法。

背景技术

随着智能技术的快速发展，在全自动和面机上得到了广泛的应用。由于技术的不完善，当前的智能和面机还存在许多问题：在面粉弥漫的环境中系统因无法准确识别人脸面部图像，从而无法准确检测唇动状态；唇读系统不能快速、准确完成嘴唇地检测、定位；和面机控制系统不能根据嘴唇形状实时控制和面机的操作等等，这些因素都会使和面机无法正常工作，不仅提高了生产成本，还会影响生产效率以及产品质量。

发明内容

为解决上述问题，本发明的目的在于提供一种自身具有优化能力，并且实时性、准确性好的唇读识别智能控制方法。

本发明的技术方案为：

一种全自动和面机的智能唇读识别控制方法，所述方法包括以下步骤：

A.获取人脸面部图像，用二维小波变换构造人脸图像的小波系数矩阵，对阈值化处理后的小波系数进行逆变换获得重构图像，达到去除噪声的目的；

B.对重构面部图像进行约束性的Fisher线性变换，并根据唇色统计特性阈值检测人脸图像中的嘴唇状态；

C.获取嘴唇形状的二值化图像，构造图像的多元线性方程，利用方程预测变形模板参数，完成图像与模板的实时定位匹配，实现和面机的智能唇读识别控制。

进一步的，所述步骤A包括：

(1)获取含噪声的人脸面部原始图像，通过二维小波变换，获得小波系数矩阵；

①假设人脸面部原图像为Img(m,n)，图像中所含噪声为高斯白噪声

Noise(m,n)服从正态分布，即Noise(m,n)～N(0,σ²)，则含噪声图像P(m,n)可表示为：

P(m,n)＝Img(m,n)+Noise(m,n)m＝1,2,…M,n＝1,2,…N

其中M,N为图像像素个数，σ表示噪声标准差；

②利用二维小波变换：

其中，P(x)为图像信号，a为图像作伸缩变换时的伸缩因子，b为图像平移变换使得平移因子，f(x)为小波变换时的基小波函数,f′(x)为f(x)的复共轭，

F(a,b)为小波变换系数，对含噪声图像P(m,n)进行变换，获得小波系数矩阵:

C(P(a,b))＝C(Img(a,b))+C(Noise(a,b))

其中C(P(a,b))表示含噪图像小波系数矩阵，C(Img(a,b))表示原图像小波系数矩阵，C(Noise(a,b))表示噪声小波系数矩阵；

(2)用软阈值函数对小波系数进行阈值化处理，通过全局阈值去除噪声小波系数，对图像信号的小波系数进行逆变换获得重构图像；

①用于阈值化处理的软阈值函数为：

其中C′_wave为阈值化后的小波系数，C_wave为小波系数，ω为阈值；

②采用全局阈值对图像分解各层的小波系数进行统一处理，将含噪声图像信号的小波系数的模与阈值ω进行比较，对大于阈值和小于阈值相反数的小波系数分别进行不同的收缩变换，对于模小于阈值的小波系数将其置为0，全局阈值为：

其中N为图像信号的长度，σ为高斯白噪声的标准差；

③对阈值化后的图像信号进行小波逆变换

获得去除噪声的重构面部图像，其中f′(x)为基小波函数f(x)的复共轭，a为伸缩因子，b为平移因子，P(a,b)为图像P(m,n)经过小波变换后的小波变换系数。

进一步的，所述步骤B包括：

(1)对去噪后的面部图像进行有约束的Fisher线性变换，加强嘴唇颜色；

①首先选取面部图像中的某个像素值作为平均肤色，利用该值对图像进行Fisher变换，若不足以突出唇色，则选取更大的像素值进行变换；

②有约束性的Fisher线性变换可表示为：

其中，F表示变换后的图像，x表示图像进行Fisher变换的二维矢量，I₁为人脸肤色均值，I₂为唇色均值，N₁，N₂分别为人脸肤色和唇色的类内分布矩阵，表示有约束的肤色均值，T表示转置，A表示肤色范围，B表示唇色范围；

③进行Fisher变换时的类内分布矩阵可通过下列算式进行计算：

其中N_j表示类内分布矩阵，L_j表示面部图像划分的类，X_j表示面部图像类的范围，表示有约束的肤色或唇色的均值，j＝1表示人脸肤色，j＝2表示唇色，z_j表示肤色或唇色的颜色个数，T表示转置，x表示图像进行Fisher变换的二维矢量；

(2)利用统计特性阈值对经过变换的图像进行二值化，检测出图像中的嘴唇形状；

①面部图像经过Fisher变换后嘴唇图像成为图像中最暗的部分，假设变换后的图像灰度值成一维正态分布，则利用二值化阈值T：

T＝μ-1.65σ

区分嘴唇颜色与面部肤色，其中μ表示图像灰度均值，σ表示方差；

②面部图像经过二值化区分后可得到比较完整的嘴唇形状，从图像中可识别嘴唇外轮廓的关键点。

进一步的，所述步骤C包括：

(1)用一阶微分算子索贝尔算子对二值化图像进行预处理，加强图像的边缘信息，并根据嘴唇图像信息构造嘴唇高度与外嘴唇变形模板之间的多元线性方程；

①根据索贝尔算子：

利用2个卷积核dm和dn对图像边缘的敏感特性完成二值化图像的预处理，加强嘴唇图像的边缘信息；

②利用二值化图像构建嘴唇变形模板，模板分为内唇和外唇两部分，其中外唇用两条四次曲线拟合：

内唇用两条抛物线拟合：

其中Mouth_out为嘴唇外轮廓，high_out为外唇的高度，上嘴唇高度为

下嘴唇高度为I为曲线参数，上唇参数为I₁，下唇参数为I₂，2width_out为外唇横向宽度，Mouth_in为嘴唇内轮廓，high_in为内唇高度，上嘴唇高度为下嘴唇高度为2width_in为内唇横向宽度，x为图像信息；

③假设嘴唇运动时嘴唇高度与外嘴唇变形模板之间存在线性关系，构造多元线性方程：

high_in＝α×high_out+β×I+γ×width_out

其中，high_in为内唇高度，high_out为外唇的高度，

α表示内唇高度与外唇高度之间的线性关系，β表示内唇高度与外唇变形模板中外唇曲线参数I之间的线性关系，γ表示内唇高度与外唇宽度之间的线性关系，width_out为外唇模板横向宽度的一半；

(2)根据外唇的初始化参数和步骤C-(1)-③中的多元线性方程：

high_in＝α×high_out+β×I+γ×width_out

计算嘴唇运动时的内唇高度，并将该值作为定位内唇的初始值，根据内唇初始值和步骤C-(1)-②中的抛物线方程：

计算变形模板内唇曲线，根据读取的内唇曲线值和内外唇高度值所在的阈值范围，确定与之匹配的唇形模板，从而识别唇形状态；

(3)根据唇形识别结果，实时控制和面机的工作状态，实现和面机的智能唇读识别控制。

本发明的有益效果是：

在复杂多变且偶发性强的唇读识别智能控制任务中，本发明能够实时、准确地完成智能控制任务，并可根据嘴唇在人脸区域的几何分布特性，快速准确地进行唇动定位，具有稳定可靠的有益效果。

附图说明

图1为一种全自动和面机的智能唇读识别控制方法的整体流程图；

图2为嘴唇外轮廓关键点识别图像；

图3为智能唇读识别控制和面机的工作原理图。

具体实施方式

参照图1，本发明所述的方法包括以下步骤：

A.获取人脸面部图像，用二维小波变换构造人脸图像的小波系数矩阵，对阈值化处理后的小波系数进行逆变换获得重构图像，达到去除噪声的目的；

(1)获取含噪声的人脸面部原始图像，通过二维小波变换，获得小波系数矩阵；

①假设人脸面部原图像为Img(m,n)，图像中所含噪声为高斯白噪声

Noise(m,n)服从正态分布，即Noise(m,n)～N(0,σ²)，则含噪声图像P(m,n)可表示为：

P(m,n)＝Img(m,n)+Noise(m,n)m＝1,2,…M,n＝1,2,…N

其中M,N为图像像素个数，σ表示噪声标准差；

②利用二维小波变换：

其中，P(x)为图像信号，a为图像作伸缩变换时的伸缩因子，b为图像平移变换使得平移因子，f(x)为小波变换时的基小波函数,f′(x)为f(x)的复共轭，F(a,b)为小波变换系数。对含噪声图像P(m,n)进行变换，获得小波系数矩阵:

C(P(a,b))＝C(Img(a,b))+C(Noise(a,b))

其中C(P(a,b))表示含噪图像小波系数矩阵，C(Img(a,b))表示原图像小波系数矩阵，C(Noise(a,b))表示噪声小波系数矩阵；

(2)用软阈值函数对小波系数进行阈值化处理，通过全局阈值去除噪声小波系数，对图像信号的小波系数进行逆变换获得重构图像；

①用于阈值化处理的软阈值函数为：

其中C′_wave为阈值化后的小波系数，C_wave为小波系数，ω为阈值；

②采用全局阈值对图像分解各层的小波系数进行统一处理，将含噪声图像信号的小波系数的模与阈值ω进行比较，对大于阈值和小于阈值相反数的小波系数分别进行不同的收缩变换，对于模小于阈值的小波系数将其置为0，全局阈值为：

其中N为图像信号的长度，σ为高斯白噪声的标准差；

③对阈值化后的图像信号进行小波逆变换

获得去除噪声的重构面部图像，其中f′(x)为基小波函数f(x)的复共轭，a为伸缩因子，b为平移因子，P(a,b)为图像P(m,n)经过小波变换后的小波变换系数；

B.对重构面部图像进行约束性的Fisher线性变换，并根据唇色统计特性阈值检测人脸图像中的嘴唇状态；

(1)对去噪后的面部图像进行有约束的Fisher线性变换，加强嘴唇颜色；

①首先选取面部图像中的某个像素值作为平均肤色，利用该值对图像进行Fisher变换，若不足以突出唇色，则选取更大的像素值进行变换；

②有约束性的Fisher线性变换可表示为：

其中，F表示变换后的图像，x表示图像进行Fisher变换的二维矢量，I₁为人脸肤色均值，I₂为唇色均值，N₁，N₂分别为人脸肤色和唇色的类内分布矩阵，表示有约束的肤色均值，T表示转置，A表示肤色范围，B表示唇色范围；

③进行Fisher变换时的类内分布矩阵可通过下列算式进行计算：

其中N_j表示类内分布矩阵，L_j表示面部图像划分的类，X_j表示面部图像类的范围，表示有约束的肤色或唇色的均值，j＝1表示人脸肤色，j＝2表示唇色，z_j表示肤色或唇色的颜色个数，T表示转置，x表示图像进行Fisher变换的二维矢量；

(2)利用统计特性阈值对经过变换的图像进行二值化，检测出图像中的嘴唇形状；

①面部图像经过Fisher变换后嘴唇图像成为图像中最暗的部分，假设变换后的图像灰度值成一维正态分布，则利用二值化阈值T：

T＝μ-1.65σ

区分嘴唇颜色与面部肤色，其中μ表示图像灰度均值，σ表示方差；

②面部图像经过二值化区分后可得到比较完整的嘴唇形状，从图像中可识别嘴唇外轮廓的关键点；

C.获取嘴唇形状的二值化图像，构造图像的多元线性方程，利用方程预测变形模板参数，完成图像与模板的实时定位匹配，实现和面机的智能唇读识别控制。

(1)用一阶微分算子索贝尔算子对二值化图像进行预处理，加强图像的边缘信息，并根据嘴唇图像信息构造嘴唇高度与外嘴唇变形模板之间的多元线性方程；

①根据索贝尔算子：

利用2个卷积核dm和dn对图像边缘的敏感特性完成二值化图像的预处理，加强嘴唇图像的边缘信息；

②利用二值化图像构建嘴唇变形模板，模板分为内唇和外唇两部分，其中外唇用两条四次曲线拟合：

内唇用两条抛物线拟合：

其中Mouth_out为嘴唇外轮廓，high_out为外唇的高度，上嘴唇高度为下嘴唇高度为I为曲线参数，上唇参数为I₁，下唇参数为I₂，2width_out为外唇横向宽度，Mouth_in为嘴唇内轮廓，high_in为内唇高度，上嘴唇高度为下嘴唇高度为2width_in为内唇横向宽度，x为图像信息；

③假设嘴唇运动时嘴唇高度与外嘴唇变形模板之间存在线性关系，构造多元线性方程：

high_in＝α×high_out+β×I+γ×width_out

其中，high_in为内唇高度，high_out为外唇的高度，

α表示内唇高度与外唇高度之间的线性关系，β表示内唇高度与外唇变形模板中外唇曲线参数I之间的线性关系，γ表示内唇高度与外唇宽度之间的线性关系，width_out为外唇模板横向宽度的一半；

(2)根据外唇的初始化参数和步骤C-(1)-③中的多元线性方程：

high_in＝α×high_out+β×I+γ×width_out

计算嘴唇运动时的内唇高度，并将该值作为定位内唇的初始值，根据内唇初始值和步骤C-(1)-②中的抛物线方程：

计算变形模板内唇曲线，根据读取的内唇曲线值和内外唇高度值所在的阈值范围，确定与之匹配的唇形模板，从而识别唇形状态；

(3)根据唇形识别结果，实时控制和面机的工作状态，实现和面机的智能唇读识别控制，和面机的工作原理如图3所示。

综上所述，便实现了一种全自动和面机的智能唇读识别控制方法。在复杂多变且偶发性强的唇读识别智能控制任务中，本发明能够实时、准确地完成智能控制任务，并可根据嘴唇在人脸区域的几何分布特性，快速准确地进行唇动定位，具有稳定可靠的有益效果。

Claims (4)

1.一种全自动和面机的智能唇读识别控制方法，其特征在于，所述方法包括以下步骤：

A.获取人脸面部图像，用二维小波变换构造人脸图像的小波系数矩阵，对阈值化处理后的小波系数进行逆变换获得重构图像，达到去除噪声的目的；

B.对重构面部图像进行约束性的Fisher线性变换，并根据唇色统计特性阈值检测人脸图像中的嘴唇状态；

C.获取嘴唇形状的二值化图像，构造图像的多元线性方程，利用方程预测变形模板参数，完成图像与模板的实时定位匹配，实现和面机的智能唇读识别控制。

2.如权利要求1所述的全自动和面机的智能唇读识别控制方法，其特征在于，所述步骤A包括：

(1)获取含噪声的人脸面部原始图像，通过二维小波变换，获得小波系数矩阵；

①假设人脸面部原图像为Img(m，n)，图像中所含噪声为高斯白噪声Noise(m，n)服从正态分布，即Noise(m，n)～N(0，σ²)，则含噪声图像P(m，n)可表示为：

P(m，n)＝Img(m，n)+Noise(m，n) m＝1,2，...M，n＝1,2，...N

其中M，N为图像像素个数，σ表示噪声标准差；

②利用二维小波变换：

其中，P(x)为图像信号，a为图像作伸缩变换时的伸缩因子，b为图像平移变换使得平移因子，f(x)为小波变换时的基小波函数，f′(x)为f(x)的复共轭，F(a，b)为小波变换系数，对含噪声图像P(m，n)进行变换，获得小波系数矩阵：

C(P(a，b))＝C(Img(a，b))+C(Noise(a，b))

其中C(P(a，b))表示含噪图像小波系数矩阵，C(Img(a，b))表示原图像小波系数矩阵，C(Noise(a，b))表示噪声小波系数矩阵；

(2)用软阈值函数对小波系数进行阈值化处理，通过全局阈值去除噪声小波系数，对图像信号的小波系数进行逆变换获得重构图像；

①用于阈值化处理的软阈值函数为：

其中C′_wave为阈值化后的小波系数，C_wave为小波系数，ω为阈值；

②采用全局阈值对图像分解各层的小波系数进行统一处理，将含噪声图像信号的小波系数的模与阈值ω进行比较，对大于阈值和小于阈值相反数的小波系数分别进行不同的收缩变换，对于模小于阈值的小波系数将其置为0，全局阈值为：

其中N为图像信号的长度，σ为高斯白噪声的标准差；

③对阈值化后的图像信号进行小波逆变换

获得去除噪声的重构面部图像，其中f′(x)为基小波函数f(x)的复共轭，a为伸缩因子，b为平移因子，P(a，b)为图像P(m，n)经过小波变换后的小波变换系数。

3.如权利要求2所述的全自动和面机的智能唇读识别控制方法，其特征在于，所述步骤B包括：

(1)对去噪后的面部图像进行有约束的Fisher线性变换，加强嘴唇颜色；

①首先选取面部图像中的某个像素值作为平均肤色，利用该值对图像进行Fisher变换，若不足以突出唇色，则选取更大的像素值进行变换；

②有约束性的Fisher线性变换可表示为：

其中，F表示变换后的图像，x表示图像进行Fisher变换的二维矢量，I₁为人脸肤色均值，I₂为唇色均值，N₁，N₂分别为人脸肤色和唇色的类内分布矩阵，表示有约束的肤色均值，T表示转置，A表示肤色范围，B表示唇色范围；

③进行Fisher变换时的类内分布矩阵可通过下列算式进行计算：

其中N_j表示类内分布矩阵，L_j表示面部图像划分的类，X_j表示面部图像类的范围，表示有约束的肤色或唇色的均值，j＝1表示人脸肤色，j＝2表示唇色，z_j表示肤色或唇色的颜色个数，T表示转置，x表示图像进行Fisher变换的二维矢量；

(2)利用统计特性阈值对经过变换的图像进行二值化，检测出图像中的嘴唇形状；

①面部图像经过Fisher变换后嘴唇图像成为图像中最暗的部分，假设变换后的图像灰度值成一维正态分布，则利用二值化阈值T：

T＝μ-1.65σ

区分嘴唇颜色与面部肤色，其中μ表示图像灰度均值，σ表示方差；

②面部图像经过二值化区分后可得到比较完整的嘴唇形状，从图像中可识别嘴唇外轮廓的关键点。

4.如权利要求3所述的全自动和面机的智能唇读识别控制方法，其特征在于，所述步骤C包括：

(1)用一阶微分算子索贝尔算子对二值化图像进行预处理，加强图像的边缘信息，并根据嘴唇图像信息构造嘴唇高度与外嘴唇变形模板之间的多元线性方程；

①根据索贝尔算子：

利用2个卷积核dm和dn对图像边缘的敏感特性完成二值化图像的预处理，加强嘴唇图像的边缘信息；

②利用二值化图像构建嘴唇变形模板，模板分为内唇和外唇两部分，其中外唇用两条四次曲线拟合：

内唇用两条抛物线拟合：

其中Mouth_out为嘴唇外轮廓，high_out为外唇的高度，上嘴唇高度为下嘴唇高度为I为曲线参数，上唇参数为I₁，下唇参数为I₂，2width_out为外唇横向宽度，Mouth_in为嘴唇内轮廓，high_in为内唇高度，上嘴唇高度为下嘴唇高度为2width_in为内唇横向宽度，x为图像信息；

③假设嘴唇运动时嘴唇高度与外嘴唇变形模板之间存在线性关系，构造多元线性方程：

high_in＝α×high_out+β×I+γ×width_out

其中，high_in为内唇高度，high_out为外唇的高度，

α表示内唇高度与外唇高度之间的线性关系，β表示内唇高度与外唇变形模板中外唇曲线参数I之间的线性关系，γ表示内唇高度与外唇宽度之间的线性关系，width_out为外唇模板横向宽度的一半；

(2)根据外唇的初始化参数和步骤C-(1)-③中的多元线性方程：

high_in＝α×high_out+β×I+γ×width_out

计算嘴唇运动时的内唇高度，并将该值作为定位内唇的初始值，根据内唇初始值和步骤C-(1)-②中的抛物线方程：

计算变形模板内唇曲线，根据读取的内唇曲线值和内外唇高度值所在的阈值范围，确定与之匹配的唇形模板，从而识别唇形状态；

(3)根据唇形识别结果，实时控制和面机的工作状态，实现和面机的智能唇读识别控制。