CN102663450B - 基于稀疏表示的新生儿疼痛与非疼痛表情分类识别方法 - Google Patents

Abstract

本发明公开了一种基于稀疏表示的新生儿疼痛与非疼痛表情分类识别方法，该方法使用训练样本构建冗余字典，将测试样本看成冗余字典中训练样本的线性组合，利用其特有的稀疏性进行疼痛与非疼痛表情分类识别，能有效地识别出微笑、安静、非疼痛时的哭、轻度疼痛、剧烈疼痛状态下的表情，并对新生儿面部图像的噪声与遮挡问题具有很好的鲁棒性，为开发新生儿疼痛自动评估系统提供了一种新的方法和途径。

Description

基于稀疏表示的新生儿疼痛与非疼痛表情分类识别方法

技术领域

本发明属于图像处理与模式识别领域，涉及一种人脸表情识别方法，特别涉及一种基于稀疏表示的新生儿疼痛与非疼痛表情分类识别方法。

背景技术

近年的研究证实，不论是足月儿还是早产儿，出生后即具有疼痛感受能力。新生儿，尤其是早产儿和危重儿的疼痛主要来自侵入性操作，包括足底采血、动静脉穿刺、皮下和肌肉注射等。反复经历的疼痛刺激会对新生儿，尤其对早产儿和危重儿，产生一系列近期和远期的严重影响，其中包括急性生理反应，对中枢神经系统的永久损伤、发育迟缓和情感紊乱等。

疼痛评估是控制疼痛的重要一环，对任何存在疾病状态的新生儿，都应进行常规和反复的评估，是否需要进行疼痛治疗的干预以及评价治疗的效果如何，关键均在于对疼痛的准确评估。疼痛是一种包括感觉和情感的主观感受，自我评估被认为是最可靠的评估疼痛方法。由于新生儿不能像成人一样用语言表达疼痛的感受，疼痛评估成为新生儿科学中最具挑战性的一个难题。新生儿时期自主神经系统并不完善，一些生理指标如心率、血压变化差异较大，病理情况时反应也各异，可能导致测量结果不确定，所以不能仅用生理指标来评估新生儿疼痛，必须与行为评估方法联合应用。新生儿在疼痛时会表现出行为变化，包括哭声、面部表情、呻吟、肢体活动及行为状态的改变。疼痛引起的哭声往往高尖、持续时间长、频繁。但早产儿很少哭，即使受到疼痛刺激，哭闹时间也很短；危重儿因衰竭无力很少哭，或因气管插管导致声门阻塞而无法哭。因此，哭声并不是早产儿或危重儿疼痛评估有效、可靠的指标。在常用的新生儿疼痛评估工具中，“面部表情”被认为是最可靠的疼痛监测指标。

目前，国际上对新生儿疼痛的评估都是由受过专门训练并熟悉各项监测指标的医护人员进行人工评估。其缺点是耗时费力，有时还无法在现场实时做出评估，而且评估结果更多地依赖于个人的知识与经验，并受个人的情绪等主观因素的影响，不能完全客观反映新生儿疼痛程度。因此，开发一种基于面部表情分析的新生儿疼痛自动评估系统，为临床提供客观准确的疼痛评估，对医护人员及时采取相应的镇痛措施，减轻新生儿和婴儿的疼痛具有非常重要的意义和价值。

但是，目前在人脸表情识别的研究方面，一般都是针对普通成年人，将人脸表情划分为6种基本类型：高兴、悲伤、生气、恐惧、惊讶和厌恶，很少有研究者从事新生儿疼痛与非疼痛表情的分类识别研究。本发明针对开发新生儿疼痛自动评估系统的需求，提出一种基于稀疏表示的新生儿疼痛与非疼痛表情分类识别方法。

发明内容

技术问题：针对开发新生儿疼痛自动评估系统的需求，提出一种基于稀疏表示的新生儿疼痛与非疼痛表情分类识别方法，解决现有技术不能准确、自动识别新生儿疼痛表情的问题，为临床提供客观准确的疼痛评估工具开辟一条新的途径。

技术方案：本发明的基于稀疏表示的新生儿疼痛与非疼痛表情分类识别方法，其特征在于该方法包括以下步骤：

A、将经医护人员按疼痛程度分类并作校准归一化的k类新生儿表情图像作为训练样本；

B、对每一个训练样本、测试样本进行降维处理，分别用一个d维的特征向量来表示；

C、由k个类别的n个训练样本的特征向量构建稀疏表示模型中的一个d行n列的过完备字典矩阵A；n＞＞d；

D、对过完备字典矩阵A和测试样本的特征向量y分别进行归一化，得到

和

具体步骤如下：

D1、在所有n个训练样本的d维特征向量中，求出每一维特征的最大值，即

${\mathrm{\λ}}_{j,\max }=\underset{p}{\max }\left(A_{j,p}\right)$ j＝1，2，3，…，d；p＝1，2，3，…，n 

其中，Ａ_j，p表示过完备字典矩阵A的第j行第p列元素，λ_j，max表示过完备字典矩阵A中第j行的最大元素值，即第j维特征的最大值；

D2、用λ_j，max对过完备字典矩阵A的第j行作归一化处理，即

${\stackrel{\‾}{A}}_{j,p}=\frac{A_{j,p}}{{\mathrm{\λ}}_{j,\max }}$ j＝1，2，3，…，d；p＝1，2，3，…，n 

其中，

表示归一化的过完备字典矩阵A的第j行第p列元素；

D3、依据每一维特征的λ_j，max，对测试样本的特征向量y的每一维特征作归一化处理，即

${\stackrel{\‾}{y}}_j=\frac{y_j}{{\mathrm{\λ}}_{j,\max }}$ j＝1，2，3，…，d 

其中，y_j表示测试样本的特征向量y的第j维特征，表示归一化的y_j；

E、给定误差容限ε，令θ表示测试样本稀疏表示的重构系数向量，

为θ的最优近似解，||·||₁表示l₁范数，||·||₂表示l₂范数，通过求解如下l₁范数最小化问题：

得到最优的测试样本重构系数向量

F、对于任意的第i类，首先定义一个

函数，用于选取中与第i类相关的系数，即

函数将重构系数向量

中与第i类相关的所有元素乘以1，其余元素乘以0；然后，用第i类训练样本的归一化特征向量来重构测试样本的归一化特征向量，得到测试样本归一化特征向量的重构近似值y^*：

$y^{*}=\stackrel{\‾}{A}{\mathrm{\δ}}_i\left(\widehat{\mathrm{\θ}}\right)$ i＝1，2，3，…，k 

计算测试样本的归一化特征向量与其重构近似值y^*的残差r_i(y)：

$r_i\left(y\right)={\left|\right|\stackrel{\‾}{y}-y^{*}\left|\right|}_2={\left|\right|\stackrel{\‾}{y}-\stackrel{\‾}{A}{\mathrm{\δ}}_i\left(\widehat{\mathrm{\θ}}\right)\left|\right|}_2$ i＝1，2，3，…，k 

G、判定测试样本的类别为：

$\mathrm{identity}\left(y\right)=\arg \underset{i}{\min }{r}_i\left(y\right)$ i＝1，2，3，…，k 

即，在k个残差中寻找最小值，将残差最小的i所对应的类别作为测试样本的分类结果，用identity(y)表示。

有益效果：实验结果表明，本发明通过引入压缩感知理论中的稀疏表示方法，将其运用于新生儿疼痛与非疼痛表情分类识别工作中，能有效地识别出微笑、安静、非疼痛时的哭、轻度疼痛、剧烈疼痛状态下的表情，为开发新生儿疼痛自动评估系统提供了一种新的方法和途径。

与现有的方法相比，本发明的优点在于：

(1)基于计算机自动面部表情识别的新生儿疼痛评估结果，不受评估人员的知识、经验、情绪等主观因素的影响，具有较高的准确性和客观性。

(2)引入压缩感知理论中的稀疏表示方法，使用训练样本构建冗余字典，将测试样本看成冗余字典中训练样本的线性组合，利用其特有的稀疏性进行疼痛与非疼痛表情分类识别，对新生儿面部图像的噪声与遮挡问题具有很好的鲁棒性。

附图说明

图1是本发明的基于稀疏表示的新生儿疼痛与非疼痛表情分类识别方法流程图。

图2是新生儿面部表情图像库中的部分图像。

具体实施方式

本发明的基于稀疏表示的新生儿疼痛与非疼痛表情分类识别方法的实现主要包含以下步骤：

步骤1：建立新生儿面部表情图像库

在对新生儿、早产儿进行常规的致痛性操作(如疫苗接种、采血)过程中，用数码照相机拍摄新生儿的面部图像。由受过专门培训的医生和护士，采用国际上公认的新生儿疼痛评估工具——新生儿面部编码系统(Neonatal Facial Coding System，NFCS)，并结合其他生理指标，对采集到的新生儿面部图像进行疼痛程度的评估，按照疼痛的程度给予从1到10的评分，将评分值介于1～5的表情归类为轻度疼痛表情，评分值介于6～10的表情归类为剧烈疼痛表情。此外，再分别拍摄新生儿微笑时、处于安静状态下、因饥饿等原因引起哭闹时的非疼痛表情图像。最后对采集到的上述5类表情图像进行裁剪、对齐、尺度归一化和灰度均衡化等图像预处理操作，使得所有的图像校准为如图2所示的112×92像素的灰度图像，并对每幅图像按所属类别进行标号(在本实施例中，微笑表情用1进行标号，安静表情用2进行标号，非疼痛状态下的哭的表情用3进行标号，轻度疼痛表情用4进行标号，剧烈疼痛表情用5进行标号)，建立新生儿面部表情图像库。

步骤2：构建稀疏表示模型中的过完备字典

从新生儿面部表情图像库中选取第i类(i＝1，2，3，…，k，在本实施例中，k＝5)表情图像n_i幅作为训练样本。对每一个训练样本和测试样本，其原始的维度为m维(在本实施例中，m＝112×92＝10304)，通过降维处理映射到特征空间，用一个d维(d＜m)的特征向量λ＝[λ₁，λ₂，...，λ_d]^T(T表示转置)来表示。将给定的第i类表情图像的n_i个训练样本的特征向量作为稀疏表示模型中过完备字典中的列集由k个类别的所有训练样本的特征向量构成过完备字典矩阵A，即

其中

表示实数集，

为k个类别的所有训练样本的个数，d为特征向量的维数，d＜＜n。

步骤3：对过完备字典矩阵A和测试样本的特征向量y分别进行归一化，得到和

首先，在所有n个训练样本的d维特征向量中，求出每一维特征的最大值，即

${\mathrm{\λ}}_{j,\max }=\underset{p}{\max }\left(A_{j,p}\right)$ j＝1，2，3，…，d；p＝1，2，3，…，n    (2) 

其中，A_j，p表示过完备字典矩阵A的第j行第p列元素，λ_j，max表示过完备字典矩阵A中第j行的最大元素值，即第j维特征的最大值；

然后，用λ_j，max对过完备字典矩阵A的第j行作归一化处理，即

${\stackrel{\‾}{A}}_{j,p}=\frac{A_{j,p}}{{\mathrm{\λ}}_{j,\max }}$ j＝1，2，3，…，d；p＝1，2，3，…，n    (3) 

其中，

表示归一化的过完备字典矩阵A的第j行第p列元素；

在A的归一化矩阵

中，训练样本每一维特征的数据取值均在[0，1]区间，处于同一个量纲。

相应地，依据每一维特征的λ_j，max，对测试样本的特征向量y的每一维特征作归一化处理，即

${\stackrel{\‾}{y}}_j=\frac{y_j}{{\mathrm{\λ}}_{j,\max }}$ j＝1，2，3，…，d    (4) 

其中，y_j表示测试样本的特征向量y的第j维特征，

表示归一化的y_j。

步骤4：求解最优的测试样本重构系数向量θ

假定任意的第i类都有足够多的训练样本(即n_i足够大)，则根据线性子空间原理，来自同一类别的测试样本可以被该类训练样本的线性组合逼近，即

的线性组合表示可写成

$\stackrel{\‾}{y}=\stackrel{\‾}{A}\mathrm{\θ}---\left(5\right)$

式中，θ是重构系数向量，

在理想情况下，除了该测试样本在所属类别的投影系数

(j＝1，2，3，…，n_i)为非0，其余的大部分系数是0或接近0，即样本重构的组合系数是稀疏的。因此通过对θ中非0项的分析可以很容易地对测试样本图像进行分类。

由于d＜＜n，线性方程组

通常是欠定的，θ有多个解。当前，稀疏表示和压缩感知的研究理论表明，如果解θ是稀疏的，可通过l₁范数最小化来求解式(5)：

式中，||·||₁表示l₁范数，||·||₂表示l₂范数，为θ的近似解，ε为指定的误差容限。

步骤5：计算测试样本的归一化特征向量

与其重构近似值y^*的残差r_i(y) 

由于噪音和建模误差的干扰，

在相应类别的投影系数非0，而在其他类别的投影系数也有少量不为0。对于任意的第i类，定义一个函数，用于选取

中与第i类相关的系数，即

函数将系数向量

中与第i类相关的所有元素乘以1，其余元素乘以0。因此，如果判别

归属于第i类时，用

来近似于是，测试样本的归一化特征向量与用第i类训练样本的归一化特征向量重构得到的近似值y^*之间的残差为

$r_i\left(y\right)={\left|\right|\stackrel{\‾}{y}-y^{*}\left|\right|}_2={\left|\right|\stackrel{\‾}{y}-\stackrel{\‾}{A}{\mathrm{\δ}}_i\left(\widehat{\mathrm{\θ}}\right)\left|\right|}_2$ i＝1，2，3，…，k    (7) 

步骤6：判定测试样本的类别

y^*与

越相近，则测试样本归属于第i类的可靠性越高。因此，测试样本的分类问题就转化为如下的优化问题：

$\mathrm{identity}\left(y\right)=\arg \underset{i}{\min }{r}_i\left(y\right)$ i＝1，2，3，…，k    (8) 

即，在k个残差中寻找最小值，将残差最小的i所对应的类别作为测试样本的分类结果，用identity(y)表示。

Claims (1)

1.一种基于稀疏表示的新生儿疼痛与非疼痛表情分类识别方法，其特征在于该方法包括以下步骤：

A、将经医护人员按疼痛程度分类并作校准归一化的k类新生儿表情图像作为训练样本；

B、对每一个训练样本、测试样本进行降维处理，分别用一个d维的特征向量来表示；

C、由k个类别的n个训练样本的特征向量构建稀疏表示模型中的一个d行n列的过完备字典矩阵A；n＞＞d；

D、对过完备字典矩阵A和测试样本的特征向量y分别进行归一化，得到

和

具体步骤如下：

D1、在所有n个训练样本的d维特征向量中，求出每一维特征的最大值，即

${\mathrm{\λ}}_{j,\max }=\underset{p}{\max }\left(A_{j,p}\right)$ j＝1，2，3，…，d；p＝1，2，3，…，n

其中，A_j，p表示过完备字典矩阵A的第j行第p列元素，λ_j，max表示过完备字典矩阵A中第j行的最大元素值，即第j维特征的最大值；

D2、用λ_j，max对过完备字典矩阵A的第j行作归一化处理，即

${\stackrel{\‾}{A}}_{j,p}=\frac{A_{j,p}}{{\mathrm{\λ}}_{j,\max }}$ j＝1，2，3，…，d；p＝1，2，3，…，n

其中，表示归一化的过完备字典矩阵A的第j行第p列元素；

D3、依据每一维特征的λ_j，max，对测试样本的特征向量y的每一维特征作归一化处理，即

${\stackrel{\‾}{y}}_j=\frac{y_j}{{\mathrm{\λ}}_{j,\max }}$ j＝1，2，3，…，d

其中，y_j表示测试样本的特征向量y的第j维特征，

表示归一化的y_j；

E、给定误差容限ε，令θ表示测试样本稀疏表示的重构系数向量，为θ的最优近似解，||·||₁表示l₁范数，||·||₂表示l₂范数，通过求解如下l₁范数最小化问题：

得到最优的测试样本重构系数向量

F、对于任意的第i类，首先定义一个

函数，用于选取

中与第i类相关的系数，即

函数将重构系数向量

中与第i类相关的所有元素乘以1，其余元素乘以0；然后，用第i类训练样本的归一化特征向量来重构测试样本的归一化特征向量，得到测试样本归一化特征向量的重构近似值y^*：

$y^{*}=\stackrel{\‾}{A}{\mathrm{\δ}}_i\left(\widehat{\mathrm{\θ}}\right)$ i＝1，2，3，…，k

计算测试样本的归一化特征向量

与其重构近似值y^*的残差r_i(y)：

$r_i\left(y\right)={\left|\right|\stackrel{\‾}{y}-y^{*}\left|\right|}_2={\left|\right|\stackrel{\‾}{y}-\stackrel{\‾}{A}{\mathrm{\δ}}_i\left(\widehat{\mathrm{\θ}}\right)\left|\right|}_2$ i＝1，2，3，…，k

G、判定测试样本的类别为：

$\mathrm{identity}\left(y\right)=\arg \underset{i}{\min }{r}_i\left(y\right)$ i＝1，2，3，…，k

即，在k个残差中寻找最小值，将残差最小的i所对应的类别作为测试样本的分类结果，用identity(y)表示。

Images