CN106682616A - 基于双通道特征深度学习的新生儿疼痛表情识别方法 - Google Patents
基于双通道特征深度学习的新生儿疼痛表情识别方法 Download PDFInfo
- Publication number
- CN106682616A CN106682616A CN201611231363.1A CN201611231363A CN106682616A CN 106682616 A CN106682616 A CN 106682616A CN 201611231363 A CN201611231363 A CN 201611231363A CN 106682616 A CN106682616 A CN 106682616A
- Authority
- CN
- China
- Prior art keywords
- layer
- convolutional neural
- neural networks
- dual pathways
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了一种基于双通道特征深度学习的新生儿疼痛表情识别方法。该方法首先对新生儿面部图像进行灰度化,提取局部二值模式(Local Binary Pattern,LBP)特征图谱;然后用一个双通道卷积神经网络对并行输入的新生儿面部图像的灰度图及其LBP特征图两个通道的特征进行深度学习;最后采用基于softmax的分类器对两个通道的融合特征进行表情分类,分为平静、哭、轻度疼痛、剧烈疼痛四类表情。该方法结合灰度图像及其LBP特征图谱两个通道的特征信息,能够有效地识别出平静、哭、轻度疼痛、剧烈疼痛等表情,并对新生儿面部图像的光照、噪声与遮挡问题具有很好的鲁棒性,为开发出新生儿疼痛表情识别系统提供了一种新的方法和途径。
Description
技术领域
本发明涉及一种基于双通道特征深度学习的新生儿疼痛表情识别方法,属于图像处理与情感识别领域。
背景技术
疼痛是人体常见的一种不舒适症状,它不仅使人遭受痛苦,还会带来一系列生理和心理上的不良影响。研究表明,新生儿出生后便具有感受疼痛的能力,能够对有害的刺激传递、感知、回应甚至记忆。从一出生就开始接受的各项检查和治疗,都会给新生儿带来疼痛刺激。疼痛刺激可以引起机体的全身反应,如呼吸、免疫改变,心血管机能不稳定等;这种疼痛感还可能导致新生儿发育迟缓、中枢神经系统永久损伤以及情感紊乱等远期影响。早期反复的操作性疼痛刺激会引起颅内压的波动,使新生儿对疼痛的反应性和敏感性降低,致使其应急调控系统发生改变,严重影响脑的发育。疼痛的对新生儿的健康成长有很大的影响,所以对新生儿疼痛的研究日益受到关注。
尽快发现,越早进行疼痛干预,就能越早的减少疼痛应激对新生儿成长发育的不良影响。疼痛评估是进行疼痛管理的第一步。目前新生儿的疼痛评估主要是人为判断,由经验丰富并受过专业培训的医护人员评定新生儿的疼痛程度。该方法耗时耗力,不宜推广,且评估结果很可能受到评估人员主观性影响。因此开发出一种客观、准确、高效的新生儿疼痛自动评估系统对临床上对新生儿的疼痛干预,以及新生儿健康成长具有重要意义。
新生儿疼痛时会引起一系列面部表情的变化,面部表情被认为是评估新生儿疼痛的一种有效方式。目前新生儿疼痛表情识别一般采用人工设计特征的方法对新生儿面部图像进行特征学习,然后训练分类器。由于人工设计的特征本身具有局限性,对特征提取不充分,所以导致分类效果不理想,并且识别率的进一步提高也遇到瓶颈。
发明内容
针对开发新生儿疼痛自动评估系统的需求,本发明提供一种基于双通道特征深度学习的新生儿疼痛表情识别方法,解决传统方法对新生儿面部表情图像特征提取不充分,不能获得较为准确的识别结果的问题,为临床提供客观准确的疼痛自动评估工具开辟一条新的途径。
本发明为解决上述技术问题采用以下技术方案:
本发明提供一种基于双通道特征深度学习的新生儿疼痛表情识别方法,具体步骤如下:
A,采集新生儿面部图像,并由专业医护人员按疼痛程度将其分为n类表情,建立新生儿面部表情图像库;
B,对新生儿面部表情图像库中的样本进行预处理,得到l×l像素大小的图像;
C,将预处理过后的新生儿面部表情图像灰度化,提取其局部二值模式LBP特征图谱;
D,构建双通道卷积神经网络,用于对并行输入的灰度图像及其LBP特征图谱两个通道的图像特征进行深度学习;
E,将步骤3中新生儿面部表情图像的灰度图像及其LBP特征图输入双通道卷积神经网络,对网络进行训练、调优,并保存训练好的网络模型;
F,利用训练好的双通道卷积神经网络模型对输入的测试样本进行疼痛表情分类识别。
作为本发明的进一步优化方案,步骤D中,构建双通道卷积神经网络的具体如下:
双通道卷积神经网络的第一部分为特征提取网络,由两个相互独立的卷积神经网络分支构成,其中,两个卷积神经网络分支的网络结构相同,由输入层、三个卷积层和两个池化层构成;第二部分包括串接层、全连接层和分类层,串接层将两个卷积神经网络分支的输出进行串接;双通道卷积神经网络的具体结构如下:
D1、双通道卷积神经网络的第一层为输入层,包含两个通道,第一个通道用于输入样本图像的灰度图,第二个通道用于输入样本图像的LBP特征图谱;
D2、双通道卷积神经网络的第二层为卷积层,在两个卷积神经网络分支中,分别采用n1个h1×h1维的卷积核对输入图像进行二维卷积,卷积响应的和经过非线性激励函数ReLU,映射得到n1个l1×l1维的特征图;
D3、双通道卷积神经网络的第三层为池化层,在两个卷积神经网络分支中,分别将上层卷积层输出的每个l1×l1维的特征图平均分割成为l2×l2个不重叠的矩形子区域,取每个子区域的最大值进行降采样操作,生成n1个l2×l2维的特征图;
D4、双通道卷积神经网络的第四层为卷积层,在两个卷积神经网络分支中,分别采用n2个h2×h2维的卷积核对上层池化层的输出图像进行二维卷积,卷积响应的和经过非线性激励函数ReLU,映射得到n2个l3×l3维的特征图;
D5、双通道卷积神经网络的第五层为池化层,在两个卷积神经网络分支中,分别将上层卷积层输出的每个l3×l3维的特征图平均分割成为l4×l4个不重叠的矩形子区域,取每个子区域的最大值进行降采样操作,生成n2个l4×l4维的特征图;
D6、双通道卷积神经网络的第六层为卷积层,在两个卷积神经网络分支中,分别采用n3个h3×h3维的卷积核对上层池化层的输出图像进行二维卷积,卷积响应的和经过非线性激励函数ReLU,映射得到n3个l5×l5维的特征图;
D7、双通道卷积神经网络的第七层为串接层,将两个卷积神经网络分支的输出进行串接,得到n3+n3个l5×l5维的特征图;
D8、双通道卷积神经网络的第八层为全连接层,将上层的n3+n3个特征图全连接到n4个神经元,经过非线性激励函数ReLU,映射得到一个n4维的特征向量,该向量即为融合了输入样本两个通道特征的融合特征向量;另外采用Dropout方法控制隐藏层节点的工作方式;
D9、双通道卷积神经网络的第九层为分类层,采用softmax回归分类器,将上层全连接层输出的特征向量全连接到n个输出节点,每个节点对应数据库中的一类表情,经过softmax回归后得到一个n维列向量,向量中每一个维度的数代表输入样本属于该类别的概率。
作为本发明的进一步优化方案,非线性激励函数ReLU的表达式为ReLU(·)=max(0,·)。
作为本发明的进一步优化方案,步骤D9中,softmax回归的假设函数定义为:
其中,j=1,2,...,n,n为表情类别数,ωj为分类器权值矩阵ω的第j列,x为第八层全连接层输出的特征向量,即,输入样本的融合特征向量,为输入样本属于第j类的概率;
输入样本最终所属的类别表示为:在n个概率中寻找最大值,最大概率hω(x)j所对应的j即为输入样本的分类结果,用class(x)表示:
作为本发明的进一步优化方案,步骤E中,步骤3中将新生儿面部表情图像的灰度图像及其LBP特征图输入双通道卷积神经网络,对网络进行训练、调优,具体步骤如下:
E1、首先将双通道卷积神经网络的权值初始化为均值为0、方差为常数的高斯分布,偏置参数初始化为0;
E2、将训练数据的灰度图像由第一个通道输入,其LBP特征图谱由第二个通道输入,计算网络实际输出与相应的理想输出的误差,按极小化误差的方法反向传播,调整权值矩阵;其中,训练过程中两个分支网络独立更新自己的参数;
E3、重复迭代训练,Softmax分类器的损失函数值趋于稳定时结束训练,保存训练好的网络模型。
作为本发明的进一步优化方案,Softmax分类器的损失函数定义为:
其中,i=1,2,...,m,j=1,2,...,n,m为样本数,n为表情类别数,x(i)为第i个输入样本的融合特征向量,y(i)=1,2,...,n为第i个输入样本对应的标签,ωj为分类器权值矩阵ω的第j列,1{·}为指示函数,大括号中值为真时,函数值取1,反之取0。
作为本发明的进一步优化方案,步骤B中对新生儿面部表情图像库中的样本进行预处理包括对样本进行裁剪、对齐、尺度归一化。
本发明采用以上技术方案与现有技术相比,本发明通过引入基于双通道特征深度学习的新生儿疼痛表情识别方法,将其运用于新生儿疼痛表情分类识别工作中,能有效地识别出平静、哭、轻度疼痛、剧烈疼痛等四种表情,为开发新生儿疼痛自动评估系统提供了一种新的方法和途径。与现有的方法相比,本发明的优点在于:
(1)融合面部表情图像的灰度图及其LBP特征图两个通道的特征,相比于提取单通道特征的方法,所提取的特征更具有稳定性,对新生儿面部图像中的光照、噪声与遮挡问题也具有很好的鲁棒性;
(2)利用卷积神经网络在提取图像特征方面的优势,发掘新生儿面部表情图像更具代表性的深层特征,来进行新生儿疼痛表情分类识别。
附图说明
图1是本发明的基于双通道特征深度学习的新生儿疼痛表情识别方法流程图。
图2是新生儿面部表情图像库中的部分图像。
图3是新生儿面部表情图像的灰度图及其LBP特征图。
图4是双通道卷积神经网络结构图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明:
本发明提供一种基于双通道特征深度学习的新生儿疼痛表情识别方法,如图1所示,具体步骤如下:
A,采集新生儿面部图像,并由专业医护人员按疼痛程度将其分为n类表情,建立新生儿面部表情图像库。
B,对新生儿面部表情图像库中的样本进行裁剪、对齐、尺度归一化等预处理,得到l×l像素大小的图像。
C,将预处理过后的新生儿面部表情图像灰度化,提取其局部二值模式(LocalBinaryPattern,LBP)特征图谱。
D,构建双通道卷积神经网络,用于对并行输入的灰度图像及其LBP特征图谱两个通道的图像特征进行深度学习。
双通道卷积神经网络的第一部分为特征提取网络,由两个相互独立的卷积神经网络分支构成,其中,两个卷积神经网络分支的网络结构相同,由输入层、三个卷积层和两个池化层构成;第二部分包括串接层、全连接层和分类层,串接层将两个卷积神经网络分支的输出进行串接;双通道卷积神经网络的具体结构如下:
D1、双通道卷积神经网络的第一层为输入层,包含两个通道,第一个通道用于输入样本图像的灰度图,第二个通道用于输入样本图像的LBP特征图谱;
D2、双通道卷积神经网络的第二层为卷积层,在两个卷积神经网络分支中,分别采用n1个h1×h1维的卷积核对输入图像进行二维卷积,卷积响应的和经过非线性激励函数ReLU(ReLU(·)=max(0,·)),映射得到n1个l1×l1维的特征图;
D3、双通道卷积神经网络的第三层为池化层,在两个卷积神经网络分支中,分别将上层卷积层输出的每个l1×l1维的特征图平均分割成为l2×l2个不重叠的矩形子区域,取每个子区域的最大值进行降采样操作,生成n1个l2×l2维的特征图;
D4、双通道卷积神经网络的第四层为卷积层,在两个卷积神经网络分支中,分别采用n2个h2×h2维的卷积核对上层池化层的输出图像进行二维卷积,卷积响应的和经过非线性激励函数ReLU,映射得到n2个l3×l3维的特征图;
D5、双通道卷积神经网络的第五层为池化层,在两个卷积神经网络分支中,分别将上层卷积层输出的每个l3×l3维的特征图平均分割成为l4×l4个不重叠的矩形子区域,取每个子区域的最大值进行降采样操作,生成n2个l4×l4维的特征图;
D6、双通道卷积神经网络的第六层为卷积层,在两个卷积神经网络分支中,分别采用n3个h3×h3维的卷积核对上层池化层的输出图像进行二维卷积,卷积响应的和经过非线性激励函数ReLU,映射得到n3个l5×l5维的特征图;
D7、双通道卷积神经网络的第七层为串接层,将两个卷积神经网络分支的输出进行串接,得到n3+n3个l5×l5维的特征图;
D8、双通道卷积神经网络的第八层为全连接层,将上层的n3+n3个特征图全连接到n4个神经元,经过非线性激励函数ReLU,映射得到一个n4维的特征向量,该向量即为融合了输入样本两个通道特征的融合特征向量;另外采用Dropout方法控制隐藏层节点的工作方式;
D9、双通道卷积神经网络的第九层为分类层,采用softmax回归分类器,将上层全连接层输出的特征向量全连接到n个输出节点,每个节点对应数据库中的一类表情,经过softmax回归后得到一个n维列向量,向量中每一个维度的数代表输入样本属于该类别的概率;
softmax回归的假设函数定义为:
其中,j=1,2,...,n,n为表情类别数,ωj为分类器权值矩阵ω的第j列,x为第八层全连接层输出的特征向量,即,输入样本的融合特征向量,为输入样本属于第j类的概率;
输入样本最终所属的类别表示为:在n个概率中寻找最大值,最大概率hω(x)j所对应的j即为输入样本的分类结果,用class(x)表示:
E,将步骤3中新生儿面部表情图像的灰度图像及其LBP特征图输入双通道卷积神经网络,对网络进行训练、调优,并保存训练好的网络模型,具体为:
E1、首先将双通道卷积神经网络的权值初始化为均值为0、方差为常数的高斯分布,偏置参数初始化为0;
E2、将训练数据的灰度图像由第一个通道输入,其LBP特征图谱由第二个通道输入,计算网络实际输出与相应的理想输出的误差,按极小化误差的方法反向传播,调整权值矩阵;其中,训练过程中两个分支网络独立更新自己的参数;
Softmax分类器的损失函数定义为:
其中,i=1,2,...,m,j=1,2,...,n,m为样本数,n为表情类别数,x(i)为第i个输入样本的融合特征向量,y(i)=1,2,...,n为第i个输入样本对应的标签,ωj为分类器权值矩阵ω的第j列,1{·}为指示函数,大括号中值为真时,函数值取1,反之取0。
E3、重复迭代训练,Softmax分类器的损失函数值趋于稳定时结束训练,保存训练好的网络模型。
F,利用训练好的双通道卷积神经网络模型对输入的测试样本进行疼痛表情分类识别。
下面通过具体实施例对本发明的技术方案作进一步阐述:
本发明的基于双通道特征深度学习的新生儿疼痛表情识别方法的实现主要包含以下步骤:
步骤1:建立新生儿面部表情数据库:
用摄像机或者数码照相机记录新生儿、早产儿进行常规的致痛性操作(如疫苗接种、采血)时的面部表情变化过程及静态面部图像。将采集来的新生儿视频截取成图像帧,对视频中婴儿脸部无遮挡或遮挡较轻时刻的图像采用人工截取的方式保存。由专业人士采用国际上公认的新生儿疼痛评估工具——新生儿面部编码系统(Neonatal Facial CodingSystem,NFCS),并结合其他生理指标,按照1到10的疼痛评分标准对采集的新生儿图像进行评估,将评分值介于1~5的表情归类为轻度疼痛表情,评分值介于6~10的表情归类为剧烈疼痛表情。此外,再分别拍摄新生儿处于安静状态下、因饥饿等原因引起哭闹时的非疼痛表情图像。最后对采集到的每幅图像按所属类别标注标签(在本实施例中,1代表安静,2代表非疼痛状态下的哭,3代表轻度疼痛,4代表剧烈疼痛),建立新生儿面部表情图像库。
步骤2:对新生儿面部表情图像库中的样本进行预处理操作:
对新生儿面部表情库中的样本进行裁剪、对齐、尺度归一化等预处理,使得所有的图像校准为如图2所示的256×256像素大小;
步骤3:提取新生儿面部表情图像的灰度图及其LBP特征图:
本实施例中采用加权平均的方法将预处理过后的新生儿面部彩色图像转化为灰度图像,然后采用一个3×3维的LBP算子提取灰度图像的LBP特征图谱,图像的LBP特征图谱如图3所示;
步骤4:构建双通道卷积神经网络,如图4所示:
本实施例设计的双通道卷积神经网络的第一部分为特征提取网络,由两个相互独立的卷积神经网络分支构成,其中,两个卷积神经网络分支的网络结构相同,由输入层、三个卷积层和两个池化层构成;第二部分包括串接层、全连接层和分类层,串接层将两个卷积神经网络分支的输出进行串接;
双通道卷积神经网络的第一层为输入层,包含两个通道,第一个通道用于输入新生儿面部图像的灰度图,第二个通道用于输入其对应的LBP特征图;
双通道卷积神经网络的第二层为卷积层,在两个卷积神经网络分支中,分别采用50个11×11维的卷积核、以5为步长对输入图像进行二维卷积,卷积响应的和经过非线性激励函数ReLU(ReLU(·)=max(0,·)),映射得到50个50×50维的特征图;
双通道卷积神经网络的第三层为池化层(max-pooling),在两个卷积神经网络分支中,分别将上层卷积层输出的每个50×50维的特征图平均分割成为25×25个不重叠的矩形子区域,取每个子区域的最大值进行降采样操作,生成50个25×25维的特征图;
双通道卷积神经网络的第四层为卷积层,在两个卷积神经网络分支中,分别采用80个3×3维的卷积核、以2为步长对上层的输出图像进行二维卷积,卷积响应的和经过非线性激励函数ReLU,映射得到80个12×12维的特征图;
双通道卷积神经网络的第五层为池化层(max-pooling),在两个卷积神经网络分支中,分别将上层卷积层输出的每个12×12维的特征图平均分割成为6×6个不重叠的矩形子区域,取每个子区域的最大值进行降采样操作,生成80个6×6维的特征图;
双通道卷积神经网络的第六层为卷积层,在两个卷积神经网络分支中,分别采用128个3×3维的卷积核、以2为步长对上层的输出图像进行二维卷积,卷积响应的和经过非线性激励函数ReLU,映射得到128个4×4维的特征图;
双通道卷积神经网络的第七层为串接层,将两个卷积神经网络分支的输出进行串接,得到256个4×4维的特征图;
双通道卷积神经网络的第八层为全连接层,将上一层生成的256个特征图全连接到500个神经元,经过非线性激励函数ReLU,映射得到一个500维的特征向量,并采用Dropout方法控制隐藏层节点的工作方式,以减轻过拟合问题;
双通道卷积神经网络的第九层为分类层,采用softmax回归分类器,将上层全连接层输出的特征向量全连接到4个输出节点,每个节点对应数据库中的一类表情,经过softmax回归后得到一个4维列向量,向量中每一个维度的数代表输入样本属于该类别的概率;
步骤5:将训练数据输入双通道深度网络,对网络进行训练、调优;
本实施例中首先将双通道卷积神经网络的权值初始化为均值为0、方差为常数的高斯分布,偏置参数初始化为0;然后将预处理过后的新生儿面部图像的灰度图及其LBP特征图输入步骤4所构造的双通道卷积神经网络,灰度图像由第一个通道输入,其LBP特征图谱由第二个通道输入,计算网络实际输出与相应的理想输出的误差,按极小化误差的方法反向传播,调整权值矩阵,训练过程中两个分支网络独立更新自己的参数;重复迭代训练,softmax损失函数的值趋于稳定时结束训练,保存训练好的网络模型;
步骤6:利用训练好的双通道卷积神经网络模型对输入的测试样本进行疼痛表情分类识别。
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (7)
1.基于双通道特征深度学习的新生儿疼痛表情识别方法,其特征在于,具体步骤如下:
A,采集新生儿面部图像,并由专业医护人员按疼痛程度将其分为n类表情,建立新生儿面部表情图像库;
B,对新生儿面部表情图像库中的样本进行预处理,得到l×l像素大小的图像;
C,将预处理过后的新生儿面部表情图像灰度化,提取其局部二值模式LBP特征图谱;
D,构建双通道卷积神经网络,用于对并行输入的灰度图像及其LBP特征图谱两个通道的图像特征进行深度学习;
E,将步骤3中新生儿面部表情图像的灰度图像及其LBP特征图输入双通道卷积神经网络,对网络进行训练、调优,并保存训练好的网络模型;
F,利用训练好的双通道卷积神经网络模型对输入的测试样本进行疼痛表情分类识别。
2.根据权利要求1所述的基于双通道特征深度学习的新生儿疼痛表情识别方法,其特征在于,步骤D中,构建双通道卷积神经网络的具体如下:
双通道卷积神经网络的第一部分为特征提取网络,由两个相互独立的卷积神经网络分支构成,其中,两个卷积神经网络分支的网络结构相同,由输入层、三个卷积层和两个池化层构成;第二部分包括串接层、全连接层和分类层,串接层将两个卷积神经网络分支的输出进行串接;双通道卷积神经网络的具体结构如下:
D1、双通道卷积神经网络的第一层为输入层,包含两个通道,第一个通道用于输入样本图像的灰度图,第二个通道用于输入样本图像的LBP特征图谱;
D2、双通道卷积神经网络的第二层为卷积层,在两个卷积神经网络分支中,分别采用n1个h1×h1维的卷积核对输入图像进行二维卷积,卷积响应的和经过非线性激励函数ReLU,映射得到n1个l1×l1维的特征图;
D3、双通道卷积神经网络的第三层为池化层,在两个卷积神经网络分支中,分别将上层卷积层输出的每个l1×l1维的特征图平均分割成为l2×l2个不重叠的矩形子区域,取每个子区域的最大值进行降采样操作,生成n1个l2×l2维的特征图;
D4、双通道卷积神经网络的第四层为卷积层,在两个卷积神经网络分支中,分别采用n2个h2×h2维的卷积核对上层池化层的输出图像进行二维卷积,卷积响应的和经过非线性激励函数ReLU,映射得到n2个l3×l3维的特征图;
D5、双通道卷积神经网络的第五层为池化层,在两个卷积神经网络分支中,分别将上层卷积层输出的每个l3×l3维的特征图平均分割成为l4×l4个不重叠的矩形子区域,取每个子区域的最大值进行降采样操作,生成n2个l4×l4维的特征图;
D6、双通道卷积神经网络的第六层为卷积层,在两个卷积神经网络分支中,分别采用n3个h3×h3维的卷积核对上层池化层的输出图像进行二维卷积,卷积响应的和经过非线性激励函数ReLU,映射得到n3个l5×l5维的特征图;
D7、双通道卷积神经网络的第七层为串接层,将两个卷积神经网络分支的输出进行串接,得到n3+n3个l5×l5维的特征图;
D8、双通道卷积神经网络的第八层为全连接层,将上层的n3+n3个特征图全连接到n4个神经元,经过非线性激励函数ReLU,映射得到一个n4维的特征向量,该向量即为融合了输入样本两个通道特征的融合特征向量;另外采用Dropout方法控制隐藏层节点的工作方式;
D9、双通道卷积神经网络的第九层为分类层,采用softmax回归分类器,将上层全连接层输出的特征向量全连接到n个输出节点,每个节点对应数据库中的一类表情,经过softmax回归后得到一个n维列向量,向量中每一个维度的数代表输入样本属于该类别的概率。
3.根据权利要求2所述的基于双通道特征深度学习的新生儿疼痛表情识别方法,其特征在于,非线性激励函数ReLU的表达式为ReLU(·)=max(0,·)。
4.根据权利要求2所述的基于双通道特征深度学习的新生儿疼痛表情识别方法,其特征在于,步骤D9中,softmax回归的假设函数定义为:
其中,j=1,2,...,n,n为表情类别数,ωj为分类器权值矩阵ω的第j列,x为第八层全连接层输出的特征向量,即,输入样本的融合特征向量,为输入样本属于第j类的概率;
输入样本最终所属的类别表示为:在n个概率中寻找最大值,最大概率hω(x)j所对应的j即为输入样本的分类结果,用class(x)表示:
5.根据权利要求1所述的基于双通道特征深度学习的新生儿疼痛表情识别方法,其特征在于,步骤E中,将步骤3中新生儿面部表情图像的灰度图像及其LBP特征图输入双通道卷积神经网络,对网络进行训练、调优,具体步骤如下:
E1、首先将双通道卷积神经网络的权值初始化为均值为0、方差为常数的高斯分布,偏置参数初始化为0;
E2、将训练数据的灰度图像由第一个通道输入,其LBP特征图谱由第二个通道输入,计算网络实际输出与相应的理想输出的误差,按极小化误差的方法反向传播,调整权值矩阵;其中,训练过程中两个分支网络独立更新自己的参数;
E3、重复迭代训练,Softmax分类器的损失函数值趋于稳定时结束训练,保存训练好的网络模型。
6.根据权利要求5所述的基于双通道特征深度学习的新生儿疼痛表情识别方法,其特征在于,Softmax分类器的损失函数定义为:
其中,i=1,2,...,m,j=1,2,...,n,m为样本数,n为表情类别数,x(i)为第i个输入样本的融合特征向量,y(i)=1,2,...,n为第i个输入样本对应的标签,ωj为分类器权值矩阵ω的第j列;1{·}为指示函数,{·}中“·”值为真时函数值取1,反之取0。
7.根据权利要求1所述的基于双通道特征深度学习的新生儿疼痛表情识别方法,其特征在于,步骤B中对新生儿面部表情图像库中的样本进行预处理包括对样本进行裁剪、对齐、尺度归一化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611231363.1A CN106682616B (zh) | 2016-12-28 | 2016-12-28 | 基于双通道特征深度学习的新生儿疼痛表情识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611231363.1A CN106682616B (zh) | 2016-12-28 | 2016-12-28 | 基于双通道特征深度学习的新生儿疼痛表情识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106682616A true CN106682616A (zh) | 2017-05-17 |
CN106682616B CN106682616B (zh) | 2020-04-21 |
Family
ID=58871756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611231363.1A Active CN106682616B (zh) | 2016-12-28 | 2016-12-28 | 基于双通道特征深度学习的新生儿疼痛表情识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106682616B (zh) |
Cited By (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107194371A (zh) * | 2017-06-14 | 2017-09-22 | 易视腾科技股份有限公司 | 基于层次化卷积神经网络的用户专注度识别方法及系统 |
CN107463948A (zh) * | 2017-07-13 | 2017-12-12 | 西安电子科技大学 | 基于双通道多特征融合网络的多光谱图像分类方法 |
CN107480723A (zh) * | 2017-08-22 | 2017-12-15 | 武汉大学 | 基于局部二进制阈值学习网络的纹理识别方法 |
CN107491726A (zh) * | 2017-07-04 | 2017-12-19 | 重庆邮电大学 | 一种基于多通道并行卷积神经网络的实时表情识别方法 |
CN107491740A (zh) * | 2017-07-28 | 2017-12-19 | 北京科技大学 | 一种基于面部表情分析的新生儿疼痛识别方法 |
CN107742117A (zh) * | 2017-11-15 | 2018-02-27 | 北京工业大学 | 一种基于端到端模型的人脸表情识别方法 |
CN107944483A (zh) * | 2017-11-17 | 2018-04-20 | 西安电子科技大学 | 基于双通道dcgan和特征融合的多光谱图像分类方法 |
CN108261178A (zh) * | 2018-01-12 | 2018-07-10 | 平安科技(深圳)有限公司 | 动物疼痛指数判断方法、装置及存储介质 |
CN108363979A (zh) * | 2018-02-12 | 2018-08-03 | 南京邮电大学 | 基于双通道三维卷积神经网络的新生儿疼痛表情识别方法 |
CN108446666A (zh) * | 2018-04-04 | 2018-08-24 | 平安科技(深圳)有限公司 | 双通道神经网络模型训练及人脸比对方法、终端及介质 |
CN108491835A (zh) * | 2018-06-12 | 2018-09-04 | 常州大学 | 面向面部表情识别的双通道卷积神经网络 |
CN108615010A (zh) * | 2018-04-24 | 2018-10-02 | 重庆邮电大学 | 基于平行卷积神经网络特征图融合的人脸表情识别方法 |
CN108830157A (zh) * | 2018-05-15 | 2018-11-16 | 华北电力大学(保定) | 基于注意力机制和3d卷积神经网络的人体行为识别方法 |
CN109034079A (zh) * | 2018-08-01 | 2018-12-18 | 中国科学院合肥物质科学研究院 | 一种用于人脸非标准姿态下的面部表情识别方法 |
CN109033107A (zh) * | 2017-06-09 | 2018-12-18 | 腾讯科技(深圳)有限公司 | 图像检索方法和装置、计算机设备和存储介质 |
CN109063643A (zh) * | 2018-08-01 | 2018-12-21 | 中国科学院合肥物质科学研究院 | 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法 |
CN109299671A (zh) * | 2018-09-04 | 2019-02-01 | 上海海事大学 | 一种级联式由粗到精的卷积神经网络船舶类型识别方法 |
CN110110662A (zh) * | 2019-05-07 | 2019-08-09 | 济南大学 | 驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备 |
CN110136103A (zh) * | 2019-04-24 | 2019-08-16 | 平安科技(深圳)有限公司 | 医学影像解释方法、装置、计算机设备及存储介质 |
CN110222647A (zh) * | 2019-06-10 | 2019-09-10 | 大连民族大学 | 一种基于卷积神经网络的人脸活体检测方法 |
CN110287990A (zh) * | 2019-05-21 | 2019-09-27 | 山东大学 | 微型藻类图像分类方法、系统、设备及存储介质 |
CN110309816A (zh) * | 2019-07-12 | 2019-10-08 | 南京邮电大学 | 一种由粗到精的新生儿面部检测方法与系统 |
CN110321827A (zh) * | 2019-06-27 | 2019-10-11 | 嘉兴深拓科技有限公司 | 一种基于人脸疼痛表情视频的疼痛水平评估方法 |
CN110610228A (zh) * | 2018-06-15 | 2019-12-24 | 松下电器(美国)知识产权公司 | 信息处理装置、信息处理方法及记录介质 |
CN110663971A (zh) * | 2018-07-02 | 2020-01-10 | 天津工业大学 | 基于双分支深度融合卷积神经网络的红枣品质分类方法 |
CN110689039A (zh) * | 2019-08-19 | 2020-01-14 | 浙江工业大学 | 一种基于四通道卷积神经网络的树干纹理识别方法 |
CN111401430A (zh) * | 2020-03-12 | 2020-07-10 | 四川大学 | 一种基于双通道深度神经网络的图像在线分类方法 |
CN112541422A (zh) * | 2020-12-08 | 2021-03-23 | 北京科技大学 | 光照和头部姿态鲁棒的表情识别方法、设备及存储介质 |
CN112766220A (zh) * | 2021-02-01 | 2021-05-07 | 西南大学 | 双通道微表情识别方法、系统、存储介质、计算机设备 |
CN113139581A (zh) * | 2021-03-23 | 2021-07-20 | 广东省科学院智能制造研究所 | 一种基于多图融合的图像分类方法和系统 |
CN113191171A (zh) * | 2020-01-14 | 2021-07-30 | 四川大学 | 一种基于特征融合的疼痛强度评估方法 |
CN113180594A (zh) * | 2021-03-09 | 2021-07-30 | 山西三友和智慧信息技术股份有限公司 | 一种多维时空深度学习评估新生儿术后疼痛方法 |
CN113807217A (zh) * | 2021-09-02 | 2021-12-17 | 浙江师范大学 | 人脸表情识别模型训练、识别方法、系统、装置及介质 |
CN117038055A (zh) * | 2023-07-05 | 2023-11-10 | 广州市妇女儿童医疗中心 | 一种基于多专家模型的疼痛评估方法、系统、装置及介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113642447B (zh) * | 2021-08-09 | 2022-03-08 | 杭州弈胜科技有限公司 | 卷积神经网络级联的监控图像车辆检测方法及其系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663450A (zh) * | 2012-03-21 | 2012-09-12 | 南京邮电大学 | 基于稀疏表示的新生儿疼痛与非疼痛表情分类识别方法 |
WO2012139271A1 (en) * | 2011-04-11 | 2012-10-18 | Intel Corporation | Smile detection techniques |
CN104680141A (zh) * | 2015-02-13 | 2015-06-03 | 华中师范大学 | 基于运动单元分层的人脸表情识别方法及系统 |
CN105373777A (zh) * | 2015-10-30 | 2016-03-02 | 中国科学院自动化研究所 | 一种用于人脸识别的方法及装置 |
CN105825235A (zh) * | 2016-03-16 | 2016-08-03 | 博康智能网络科技股份有限公司 | 一种基于多特征图深度学习的图像识别方法 |
CN106096728A (zh) * | 2016-06-03 | 2016-11-09 | 南京航空航天大学 | 一种基于深层极限学习机的危险源识别方法 |
CN108182447A (zh) * | 2017-12-14 | 2018-06-19 | 南京航空航天大学 | 一种基于深度学习的自适应粒子滤波目标跟踪方法 |
-
2016
- 2016-12-28 CN CN201611231363.1A patent/CN106682616B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012139271A1 (en) * | 2011-04-11 | 2012-10-18 | Intel Corporation | Smile detection techniques |
CN102663450A (zh) * | 2012-03-21 | 2012-09-12 | 南京邮电大学 | 基于稀疏表示的新生儿疼痛与非疼痛表情分类识别方法 |
CN104680141A (zh) * | 2015-02-13 | 2015-06-03 | 华中师范大学 | 基于运动单元分层的人脸表情识别方法及系统 |
CN105373777A (zh) * | 2015-10-30 | 2016-03-02 | 中国科学院自动化研究所 | 一种用于人脸识别的方法及装置 |
CN105825235A (zh) * | 2016-03-16 | 2016-08-03 | 博康智能网络科技股份有限公司 | 一种基于多特征图深度学习的图像识别方法 |
CN106096728A (zh) * | 2016-06-03 | 2016-11-09 | 南京航空航天大学 | 一种基于深层极限学习机的危险源识别方法 |
CN108182447A (zh) * | 2017-12-14 | 2018-06-19 | 南京航空航天大学 | 一种基于深度学习的自适应粒子滤波目标跟踪方法 |
Cited By (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109033107A (zh) * | 2017-06-09 | 2018-12-18 | 腾讯科技(深圳)有限公司 | 图像检索方法和装置、计算机设备和存储介质 |
CN109033107B (zh) * | 2017-06-09 | 2021-09-17 | 腾讯科技(深圳)有限公司 | 图像检索方法和装置、计算机设备和存储介质 |
CN107194371A (zh) * | 2017-06-14 | 2017-09-22 | 易视腾科技股份有限公司 | 基于层次化卷积神经网络的用户专注度识别方法及系统 |
CN107194371B (zh) * | 2017-06-14 | 2020-06-09 | 易视腾科技股份有限公司 | 基于层次化卷积神经网络的用户专注度识别方法及系统 |
CN107491726A (zh) * | 2017-07-04 | 2017-12-19 | 重庆邮电大学 | 一种基于多通道并行卷积神经网络的实时表情识别方法 |
CN107463948A (zh) * | 2017-07-13 | 2017-12-12 | 西安电子科技大学 | 基于双通道多特征融合网络的多光谱图像分类方法 |
CN107491740A (zh) * | 2017-07-28 | 2017-12-19 | 北京科技大学 | 一种基于面部表情分析的新生儿疼痛识别方法 |
CN107491740B (zh) * | 2017-07-28 | 2020-03-17 | 北京科技大学 | 一种基于面部表情分析的新生儿疼痛识别方法 |
CN107480723A (zh) * | 2017-08-22 | 2017-12-15 | 武汉大学 | 基于局部二进制阈值学习网络的纹理识别方法 |
CN107480723B (zh) * | 2017-08-22 | 2019-11-08 | 武汉大学 | 基于局部二进制阈值学习网络的纹理识别方法 |
CN107742117A (zh) * | 2017-11-15 | 2018-02-27 | 北京工业大学 | 一种基于端到端模型的人脸表情识别方法 |
CN107944483B (zh) * | 2017-11-17 | 2020-02-07 | 西安电子科技大学 | 基于双通道dcgan和特征融合的多光谱图像分类方法 |
CN107944483A (zh) * | 2017-11-17 | 2018-04-20 | 西安电子科技大学 | 基于双通道dcgan和特征融合的多光谱图像分类方法 |
CN108261178B (zh) * | 2018-01-12 | 2020-08-28 | 平安科技(深圳)有限公司 | 动物疼痛指数判断方法、装置及存储介质 |
CN108261178A (zh) * | 2018-01-12 | 2018-07-10 | 平安科技(深圳)有限公司 | 动物疼痛指数判断方法、装置及存储介质 |
CN108363979A (zh) * | 2018-02-12 | 2018-08-03 | 南京邮电大学 | 基于双通道三维卷积神经网络的新生儿疼痛表情识别方法 |
CN108446666A (zh) * | 2018-04-04 | 2018-08-24 | 平安科技(深圳)有限公司 | 双通道神经网络模型训练及人脸比对方法、终端及介质 |
WO2019192121A1 (zh) * | 2018-04-04 | 2019-10-10 | 平安科技(深圳)有限公司 | 双通道神经网络模型训练及人脸比对方法、终端及介质 |
CN108615010A (zh) * | 2018-04-24 | 2018-10-02 | 重庆邮电大学 | 基于平行卷积神经网络特征图融合的人脸表情识别方法 |
CN108615010B (zh) * | 2018-04-24 | 2022-02-11 | 重庆邮电大学 | 基于平行卷积神经网络特征图融合的人脸表情识别方法 |
CN108830157A (zh) * | 2018-05-15 | 2018-11-16 | 华北电力大学(保定) | 基于注意力机制和3d卷积神经网络的人体行为识别方法 |
CN108491835A (zh) * | 2018-06-12 | 2018-09-04 | 常州大学 | 面向面部表情识别的双通道卷积神经网络 |
CN110610228A (zh) * | 2018-06-15 | 2019-12-24 | 松下电器(美国)知识产权公司 | 信息处理装置、信息处理方法及记录介质 |
CN110663971A (zh) * | 2018-07-02 | 2020-01-10 | 天津工业大学 | 基于双分支深度融合卷积神经网络的红枣品质分类方法 |
CN110663971B (zh) * | 2018-07-02 | 2022-03-29 | 天津工业大学 | 基于双分支深度融合卷积神经网络的红枣品质分类方法 |
CN109063643B (zh) * | 2018-08-01 | 2021-09-28 | 中国科学院合肥物质科学研究院 | 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法 |
CN109063643A (zh) * | 2018-08-01 | 2018-12-21 | 中国科学院合肥物质科学研究院 | 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法 |
CN109034079A (zh) * | 2018-08-01 | 2018-12-18 | 中国科学院合肥物质科学研究院 | 一种用于人脸非标准姿态下的面部表情识别方法 |
CN109299671A (zh) * | 2018-09-04 | 2019-02-01 | 上海海事大学 | 一种级联式由粗到精的卷积神经网络船舶类型识别方法 |
CN110136103A (zh) * | 2019-04-24 | 2019-08-16 | 平安科技(深圳)有限公司 | 医学影像解释方法、装置、计算机设备及存储介质 |
CN110110662A (zh) * | 2019-05-07 | 2019-08-09 | 济南大学 | 驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备 |
CN110287990A (zh) * | 2019-05-21 | 2019-09-27 | 山东大学 | 微型藻类图像分类方法、系统、设备及存储介质 |
CN110222647A (zh) * | 2019-06-10 | 2019-09-10 | 大连民族大学 | 一种基于卷积神经网络的人脸活体检测方法 |
CN110222647B (zh) * | 2019-06-10 | 2022-05-10 | 大连民族大学 | 一种基于卷积神经网络的人脸活体检测方法 |
CN110321827A (zh) * | 2019-06-27 | 2019-10-11 | 嘉兴深拓科技有限公司 | 一种基于人脸疼痛表情视频的疼痛水平评估方法 |
CN110309816B (zh) * | 2019-07-12 | 2021-06-11 | 南京邮电大学 | 一种由粗到精的新生儿面部检测方法与系统 |
CN110309816A (zh) * | 2019-07-12 | 2019-10-08 | 南京邮电大学 | 一种由粗到精的新生儿面部检测方法与系统 |
CN110689039A (zh) * | 2019-08-19 | 2020-01-14 | 浙江工业大学 | 一种基于四通道卷积神经网络的树干纹理识别方法 |
CN113191171B (zh) * | 2020-01-14 | 2022-06-17 | 四川大学 | 一种基于特征融合的疼痛强度评估方法 |
CN113191171A (zh) * | 2020-01-14 | 2021-07-30 | 四川大学 | 一种基于特征融合的疼痛强度评估方法 |
CN111401430A (zh) * | 2020-03-12 | 2020-07-10 | 四川大学 | 一种基于双通道深度神经网络的图像在线分类方法 |
CN111401430B (zh) * | 2020-03-12 | 2022-04-01 | 四川大学 | 一种基于双通道深度神经网络的图像在线分类方法 |
CN112541422A (zh) * | 2020-12-08 | 2021-03-23 | 北京科技大学 | 光照和头部姿态鲁棒的表情识别方法、设备及存储介质 |
CN112541422B (zh) * | 2020-12-08 | 2024-03-12 | 北京科技大学 | 光照和头部姿态鲁棒的表情识别方法、设备及存储介质 |
CN112766220A (zh) * | 2021-02-01 | 2021-05-07 | 西南大学 | 双通道微表情识别方法、系统、存储介质、计算机设备 |
CN112766220B (zh) * | 2021-02-01 | 2023-02-24 | 西南大学 | 双通道微表情识别方法、系统、存储介质、计算机设备 |
CN113180594A (zh) * | 2021-03-09 | 2021-07-30 | 山西三友和智慧信息技术股份有限公司 | 一种多维时空深度学习评估新生儿术后疼痛方法 |
CN113139581A (zh) * | 2021-03-23 | 2021-07-20 | 广东省科学院智能制造研究所 | 一种基于多图融合的图像分类方法和系统 |
CN113139581B (zh) * | 2021-03-23 | 2023-09-01 | 广东省科学院智能制造研究所 | 一种基于多图融合的图像分类方法和系统 |
CN113807217A (zh) * | 2021-09-02 | 2021-12-17 | 浙江师范大学 | 人脸表情识别模型训练、识别方法、系统、装置及介质 |
CN113807217B (zh) * | 2021-09-02 | 2023-11-21 | 浙江师范大学 | 人脸表情识别模型训练、识别方法、系统、装置及介质 |
CN117038055A (zh) * | 2023-07-05 | 2023-11-10 | 广州市妇女儿童医疗中心 | 一种基于多专家模型的疼痛评估方法、系统、装置及介质 |
CN117038055B (zh) * | 2023-07-05 | 2024-04-02 | 广州市妇女儿童医疗中心 | 一种基于多专家模型的疼痛评估方法、系统、装置及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN106682616B (zh) | 2020-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106682616A (zh) | 基于双通道特征深度学习的新生儿疼痛表情识别方法 | |
CN108806792B (zh) | 深度学习面诊系统 | |
CN107007257B (zh) | 面部不自然度的自动评级方法和装置 | |
CN108257135A (zh) | 基于深度学习方法解读医学图像特征的辅助诊断系统 | |
CN106296699A (zh) | 基于深度神经网络和多模态mri图像的脑肿瘤分割方法 | |
CN109522973A (zh) | 基于生成式对抗网络与半监督学习的医疗大数据分类方法及系统 | |
CN107958257A (zh) | 一种基于深度神经网络的中药材识别方法 | |
CN107909095A (zh) | 一种基于深度学习的图像识别方法 | |
CN108388890A (zh) | 一种基于面部表情识别的新生儿疼痛程度评估方法及系统 | |
CN109620211A (zh) | 一种基于深度学习的智能化异常心电辅助诊断方法 | |
CN108021916A (zh) | 基于注意力机制的深度学习糖尿病视网膜病变分类方法 | |
CN107464250A (zh) | 基于三维mri图像的乳腺肿瘤自动分割方法 | |
CN107506797A (zh) | 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法 | |
CN107609503A (zh) | 智能癌变细胞识别系统及方法、云平台、服务器、计算机 | |
CN109726751A (zh) | 基于深度卷积神经网络识别脑电成像图的方法 | |
CN106446533A (zh) | 一种人体健康数据处理系统及其方法 | |
CN109544518A (zh) | 一种应用于骨骼成熟度评估的方法及其系统 | |
CN106845401A (zh) | 一种基于多空间卷积神经网络的害虫图像识别方法 | |
CN108717869A (zh) | 基于卷积神经网络的糖尿病视网膜并发症诊断辅助系统 | |
CN112472048B (zh) | 用于心血管疾病患者脉象识别的神经网络的实现方法 | |
CN108363979A (zh) | 基于双通道三维卷积神经网络的新生儿疼痛表情识别方法 | |
CN107016438A (zh) | 一种基于中医辨证人工神经网络算法模型的系统 | |
CN108256453A (zh) | 一种基于一维ecg信号提取二维cnn特征的方法 | |
CN107330393A (zh) | 一种基于视频分析的新生儿疼痛表情识别方法 | |
CN104298974A (zh) | 一种基于深度视频序列的人体行为识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |