CN108363979A - 基于双通道三维卷积神经网络的新生儿疼痛表情识别方法 - Google Patents

基于双通道三维卷积神经网络的新生儿疼痛表情识别方法 Download PDF

Info

Publication number
CN108363979A
CN108363979A CN201810145292.6A CN201810145292A CN108363979A CN 108363979 A CN108363979 A CN 108363979A CN 201810145292 A CN201810145292 A CN 201810145292A CN 108363979 A CN108363979 A CN 108363979A
Authority
CN
China
Prior art keywords
layer
characteristic pattern
pattern group
dimensional convolution
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810145292.6A
Other languages
English (en)
Inventor
卢官明
耿惠惠
李晓南
闫静杰
卢峻禾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201810145292.6A priority Critical patent/CN108363979A/zh
Publication of CN108363979A publication Critical patent/CN108363979A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双通道三维卷积神经网络的新生儿疼痛表情识别方法，该方法包括以下步骤：(1)采集新生儿不同状态下的视频片段，按疼痛程度将视频分为n类表情，建立新生儿面部表情视频库；(2)将所述面部表情视频库中的每一个视频片段剪辑成l帧长的帧序列，对每一帧图像进行灰度化，并提取LBP特征图；(3)构造一种双通道三维卷积神经网络；(4)将所述灰度图序列及LBP特征图序列输入所述双通道三维卷积神经网络，对网络进行训练、调优，保存已训练的网络模型。该方法将深度卷积神经网络拓展应用到新生儿疼痛表情识别领域，以提高新生儿疼痛评估的准确性，为开发一种新生儿疼痛评估辅助系统提供技术支撑。

Description

基于双通道三维卷积神经网络的新生儿疼痛表情识别方法
技术领域
本发明涉及一种表情识别方法，具体涉及一种基于双通道三维卷积神经网络的新生儿疼痛表情识别方法。
背景技术
在临床过程中，医护人员实施的许多操作可引发新生儿的疼痛，如肌肉注射、足底采血、动静脉穿刺及插管等。长期以来，新生儿疼痛常常被忽略，大多没有得到适当的处理。研究表明，新生儿反复遭受疼痛刺激，会对他们的发育和将来的行为产生不良影响，可能会造成中枢神经系统损伤、急性生理反应、情感紊乱、发育迟缓等症状。因此，采取相应的镇痛措施，以减轻新生儿的疼痛，具有重要的临床意义。
疼痛评估是疼痛管理的关键，只有对疼痛进行准确的评估后，才能进一步判断是否需要进行疼痛治疗的干预，减少疼痛刺激对新生儿发育产生的不良影响。疼痛是个体的主观感受，语言表述被认为是最可靠的疼痛评估方法。但新生儿缺乏语言能力，无叙述疼痛能力，只能通过专业的评估方法进行诊断。目前在临床实践中，由受过专门训练的医务人员采用新生儿疼痛量表等评估工具进行人工评估。在这些评估工具中，都将“面部表情”作为一项重要的监测指标。然而，人工评估不仅耗时费力，而且评估结果依赖于医务人员的经验，并受个人情绪等主观因素的影响。
近年来，深度卷积神经网络在人脸识别、图像分类和识别等方面取得了突破性的进展，其强大的特征学习能力引起了广泛的关注。通过卷积神经网络自主学习得到的特征相对于人工设计特征具有更强的表征能力和泛化能力，从而最终提升分类识别或预测的准确性。
发明内容
发明目的：为了克服现有技术的不足，本发明提供一种基于双通道三维卷积神经网络的新生儿疼痛表情识别方法，该方法将深度卷积神经网络拓展应用到新生儿疼痛表情识别领域，以提高新生儿疼痛评估的准确性，为开发一种新生儿疼痛评估辅助系统提供技术支撑。
技术方案：本发明所述的基于双通道三维卷积神经网络的新生儿疼痛表情识别方法，该方法包括以下步骤：
(1)采集新生儿不同状态下的视频片段，按疼痛程度将视频分为n类表情，其中，n为正整数，建立新生儿面部表情视频库；
(2)将所述面部表情视频库中的每一个视频片段剪辑成l帧长的帧序列，对每一帧图像进行灰度化，并提取LBP特征图；
(3)构造一种双通道三维卷积神经网络；
(4)将所述灰度图序列及LBP特征图序列输入所述双通道三维卷积神经网络，对网络进行训练、调优，保存已训练的网络模型；
(5)将测试视频片段输入到已训练的网络模型进行疼痛表情分类，输出识别结果。
优选的，步骤(3)中，所述双通道三维卷积神经网络包括特征提取部分和特征融合与分类识别部分。
优选的，所述特征提取部分包括三维卷积神经网络通道一和三维卷积神经网络通道二构成，所述通道一和通道二由输入层、卷积层1、池化层1、卷积层2、池化层2、卷积层3、池化层3、卷积层4、池化层4、卷积层5、池化层5、全连接层组成，其中所述通道一用于对l帧长的灰度图序列进行处理，所述通道二对l帧长的LBP特征图序列进行处理；所述特征融合和分类识别部分包括串接层和分类层。
优选的，所述通道一和通道二的具体结构为：
第一层为输入层，将输入的每一帧灰度图或LBP特征图归一化成h×w像素，其中，h、w为正整数；
第二层为卷积层1，采用n1个d1×k1×k1的三维卷积核对l帧长的灰度图序列或LBP特征图序列进行卷积运算，输出n1个特征图组，每个特征图组包含l1个大小为h1×w1的特征图，其中，d1为时间维大小，k1×k1为空间维大小，n1、d1、k1、l1、h1、w1为正整数；
第三层为池化层1，采用d2×k2×k2的池化核对卷积层1输出的特征图组进行下采样操作，输出n1个特征图组，每个特征图组包含l2个大小为h2×w2的特征图，其中，d2为时间维大小，k2×k2为空间维大小，d2、k2、l2、h2、w2为正整数；
第四层为卷积层2，采用n2个d1×k1×k1的三维卷积核对池化层1输出的特征图组进行卷积运算，同时进行补零操作，输出n2个特征图组，每个特征图组包含l2个大小为h2×w2的特征图，其中，n2为正整数；
第五层为池化层2，采用d2×k2×k2的池化核对卷积层2输出的特征图组进行下采样操作，输出n2个特征图组，每个特征图组包含l3个大小为h3×w3的特征图，其中，l3、h3、w3为正整数；
第六层为卷积层3，采用n3个d1×k1×k1的三维卷积核对池化层2输出的特征图组进行卷积运算，同时进行补零操作，输出n3个特征图组，每个特征图组包含l3个大小为h3×w3的特征图，其中，n3为正整数；
第七层为池化层3，采用d2×k2×k2的池化核对卷积层3输出的特征图组进行下采样操作，输出n3个特征图组，每个特征图组包含l4个大小为h4×w4的特征图，其中，l4、h4、w4为正整数；
第八层为卷积层4，采用n3个d1×k1×k1的三维卷积核对池化层3输出的特征图组进行卷积运算，同时进行补零操作，输出n3个特征图组，每个特征图组包含l4个大小为h4×w4的特征图；
第九层为池化层4，采用d2×k2×k2的池化核对卷积层4输出的特征图组进行下采样操作，输出n3个特征图组，每个特征图组包含l5个大小为h5×w5的特征图，其中，l5、h5、w5为正整数；
第十层为卷积层5，采用n3个d1×k1×k1的三维卷积核对池化层3输出的特征图组进行卷积运算，同时进行补零操作，输出n3个特征图组，每个特征图组包含l5个大小为h5×w5的特征图；
第十一层为池化层5，采用d2×k2×k2的池化核对卷积层5输出的特征图组进行下采样操作，输出n3个h6×w6的特征图，其中，h6、w6为正整数；
第十二层为全连接层，将池化层5的输出全连接至本层的n4个神经元，输出一个n4维的特征向量，其中，n4为正整数。
优选的，所述串接层和分类层具体结构为：
第十三层为串接层，将所述三维卷积神经网络通道的第十二层全连接层输出的n4维特征向量进行串接，得到一个2n4维的特征向量；
第十四层为分类层，采用softmax回归分类器，输出节点数为n，每个节点与上层串接层的2n4维的特征向量全连接，输出一个n维列向量，向量中每一个维度的数代表输入样本属于该类别的概率，最大概率所对应的维度即为输入样本的分类类别。
优选的，步骤(4)中，所述网络训练、调优的方法为反向传播算法，直到所述分类层softmax输出的损失函数值下降并收敛时结束训练。
有益效果：本发明与现有技术相比，其显著优点是：1、本发明采用三维卷积神经网络，通过三维卷积核提取视频片段的时域和空域特征，将特征提取从静态图像拓展到图像序列及LBP特征图序列，提取能够反映时间信息的动态特征，更好地表征面部表情的变化；2、采用双通道的网络结构，除了从新生儿面部图像序列中提取表情特征之外，还从新生儿面部图像的LBP特征图序列中提取表情特征，并对从两个通道提取的特征进行融合，相比于从单通道提取的特征，融合特征对面部受遮挡、姿态倾斜、光照变化具有较强的鲁棒性。
附图说明
图1是本发明的方法流程图；
图2是新生儿面部表情视频库中视频提取视频帧后的部分图像；
图3是新生儿面部表情视频帧的灰度图及LBP特征图；
图4是本发明双通道三维卷积神经网络结构图。
具体实施方式
实施例1
如图1，该方法包括以下步骤：
A、采集新生儿处于安静、啼哭状态以及致痛性操作引起轻度疼痛、剧烈疼痛等不同状态下的视频片段，由医护人员按疼痛程度将视频分为平静、哭、轻度疼痛、剧烈疼痛等n类表情，建立新生儿面部表情视频库。
B、将新生儿面部表情视频库中的每一个视频片段剪辑成l帧长的帧序列，对每一帧图像进行灰度化，并提取其局部二值模式(Local Binary Pattern，LBP)特征图，其中，l为正整数，在16、24、32数值中选取；
C、构造一种双通道三维卷积神经网络；
所构造双通道三维卷积神经网络分为两部分：第一部分用于特征提取，第二部分用于特征融合与分类识别，它们的具体结构如下：
C1、第一部分由两个相互独立的三维卷积神经网络通道构成，第一个通道对l帧长的灰度图序列进行处理，第二个通道对l帧长的LBP特征图序列进行处理，两个通道的网络结构相同，分别由输入层、卷积层1、池化层1、卷积层2、池化层2、卷积层3、池化层3、卷积层4、池化层4、卷积层5、池化层5、全连接层组成，但网络模型参数不同，这两个通道的三维卷积神经网络的具体结构如下：
C1.1、第一层为输入层，将输入的每一帧灰度图或LBP特征图归一化成h×w像素，其中，h、w为正整数，取值范围为[64，256]；
C1.2、第二层为卷积层1，采用n1个d1×k1×k1(其中，d1为时间维大小，k1×k1为空间维大小)的三维卷积核对l帧长的灰度图序列或LBP特征图序列进行卷积运算，输出n1个特征图组，每个特征图组包含l1个大小为h1×w1的特征图，其中，n1、d1、k1、l1、h1、w1为正整数，n1在32、64、128数值中选取，d1、k1在3、5、7数值中选取，l1在16、24、32数值中选取，h1、w1的取值范围为[64，256]；
C1.3、第三层为池化层1，采用d2×k2×k2(d2为时间维大小，k2×k2为空间维大小)的池化核对卷积层1输出的特征图组进行下采样操作，输出n1个特征图组，每个特征图组包含l2个大小为h2×w2的特征图，其中，d2、k2、l2、h2、w2为正整数，d2、k2在1、2、3数值中选取，l2在16、24、32数值中选取，h2、w2的取值范围为[32，128]；
C1.4、第四层为卷积层2，采用n2个d1×k1×k1的三维卷积核对池化层1输出的特征图组进行卷积运算，同时进行补零(Zero Padding)操作，输出n2个特征图组，每个特征图组包含l2个大小为h2×w2的特征图，其中，n2为正整数，在64、128、256数值中选取；
C1.5、第五层为池化层2，采用d2×k2×k2的池化核对卷积层2输出的特征图组进行下采样操作，输出n2个特征图组，每个特征图组包含l3个大小为h3×w3的特征图，其中，l3、h3、w3为正整数，l3在8、12、16数值中选取，h3、w3的取值范围为[16，64]；
C1.6、第六层为卷积层3，采用n3个d1×k1×k1的三维卷积核对池化层2输出的特征图组进行卷积运算，同时进行补零操作，输出n3个特征图组，每个特征图组包含l3个大小为h3×w3的特征图，其中，n3为正整数，在128、256、512数值中选取；
C1.7、第七层为池化层3，采用d2×k2×k2的池化核对卷积层3输出的特征图组进行下采样操作，输出n3个特征图组，每个特征图组包含l4个大小为h4×w4的特征图，其中，l4、h4、w4为正整数，l4在4、6、8数值中选取，h4、w4的取值范围为[8，32]；
C1.8、第八层为卷积层4，采用n3个d1×k1×k1的三维卷积核对池化层3输出的特征图组进行卷积运算，同时进行补零操作，输出n3个特征图组，每个特征图组包含l4个大小为h4×w4的特征图；
C1.9、第九层为池化层4，采用d2×k2×k2的池化核对卷积层4输出的特征图组进行下采样操作，输出n3个特征图组，每个特征图组包含l5个大小为h5×w5的特征图，其中，l5、h5、w5为正整数，l5在2、3、4数值中选取，h5、w5的取值范围为[4，16]；
C1.10、第十层为卷积层5，采用n3个d1×k1×k1的三维卷积核对池化层3输出的特征图组进行卷积运算，同时进行补零操作，输出n3个特征图组，每个特征图组包含l5个大小为h5×w5的特征图；
C1.11、第十一层为池化层5，采用d2×k2×k2的池化核对卷积层5输出的特征图组进行下采样操作，输出n3个h6×w6的特征图，其中，h6、w6为正整数，取值范围为[2，8]；
C1.12、第十二层为全连接层，将池化层5的输出全连接至本层的n4个神经元，输出一个n4维的特征向量，其中，n4为正整数，在256、512、1024数值中选取；
C2、第二部分由串接层和分类层构成，具体结构如下：
C2.1、第十三层为串接层，将两个三维卷积神经网络通道第十二层全连接层输出的n4维特征向量进行串接，得到一个2n4维的特征向量；
C2.2、第十四层为分类层，采用softmax回归分类器，输出节点数为n，每个节点与上层串接层的2n4维的特征向量全连接，输出一个n维列向量，向量中每一个维度的数代表输入样本属于该类别的概率，其中，最大概率所对应的维度即为输入样本的分类类别
D、将l帧长的灰度图序列及LBP特征图序列输入双通道三维卷积神经网络，利用反向传播算法对网络进行训练、调优，将l帧长的灰度图序列及LBP特征图序列输入双通道三维卷积神经网络，利用反向传播算法对网络进行训练、调优，直到分类层softmax输出的损失函数值下降并收敛时结束训练，保存训练好的网络模型，保存已训练的网络模型。
E、将测试视频片段输入到已训练的双通道三维卷积神经网络进行疼痛表情分类，输出识别结果。
实施例2
实际应用中，优选的具体操作如下：步骤1：建立新生儿面部表情视频库
在医护人员对新生儿进行常规致痛性操作(如打针，采血)过程中，用高清数码相机拍摄新生儿疼痛表情视频，同时拍摄新生儿处于安静状态下和由于饥饿等原因引起哭闹时的非疼痛表情视频。由受过专业培训的医护人员，采用国际上公认的新生儿疼痛评估工具，对采集到的新生儿疼痛表情视频进行疼痛等级评估，按照疼痛的程度给予从1到10的评分，将评分值介于1～5的表情归类为轻度疼痛表情，评分值介于6～10的表情归类为剧烈疼痛表情。对采集到的上述4类视频进行标号，安静表情对应标号1，哭表情对应标号2，轻度疼痛表情对应标号3，剧烈疼痛表情对应标号4，并依次建立相对应表情的文件夹，将对应标记的新生儿表情视频依次放入，建立新生儿面部表情视频库。
步骤2：对新生儿面部表情视频库中视频进行预处理
将新生儿面部表情视频库中的每一个视频片段剪辑成16帧长的帧序列，对每一帧图像进行灰度化，然后采用LBP算子提取其的LBP特征图，得到预处理后的新生儿面部表情视频库。新生儿面部表情视频库中视频提取视频帧后的部分图像如图2所示，其灰度图及LBP特征图如图3所示。
步骤3：构造如图4所示的双通道三维卷积神经网络
所构造双通道三维卷积神经网络分为两部分：第一部分用于特征提取，第二部分用于特征融合与分类识别，它们的具体结构如下：
第一部分由两个相互独立的三维卷积神经网络通道构成，第一个通道对16帧长的灰度图序列进行处理，第二个通道对16帧长的LBP特征图序列进行处理，两个通道的网络结构相同，分别由输入层、卷积层1、池化层1、卷积层2、池化层2、卷积层3、池化层3、卷积层4、池化层4、卷积层5、池化层5、全连接层组成；
第一层为输入层，将输入的每一帧灰度图或LBP特征图归一化成112×112像素；
第二层为卷积层1，采用64个3×3×3的三维卷积核对16帧长的灰度图序列或LBP特征图序列进行卷积运算，同时进行补零(Zero Padding)操作，输出64个特征图组，每个特征图组包含16个大小为112×112的特征图；
第三层为池化层1，采用1×2×2的池化核对卷积层1输出的特征图组进行下采样操作，输出64个特征图组，每个特征图组包含16个大小为56×56的特征图；
第四层为卷积层2，采用128个3×3×3的三维卷积核对池化层1输出的特征图组进行卷积运算，同时进行补零操作，输出128个特征图组，每个特征图组包含16个大小为56×56的特征图；
第五层为池化层2，采用2×2×2的池化核对卷积层2输出的特征图组进行下采样操作，输出128个特征图组，每个特征图组包含8个大小为28×28的特征图；
第六层为卷积层3，采用256个3×3×3的三维卷积核对池化层2输出的特征图组进行卷积运算，同时进行补零操作，输出256个特征图组，每个特征图组包含8个大小为28×28的特征图；
第七层为池化层3，采用2×2×2的池化核对卷积层3输出的特征图组进行下采样操作，输出256个特征图组，每个特征图组包含4个大小为14×14的特征图；
第八层为卷积层4，采用256个3×3×3的三维卷积核对池化层3输出的特征图组进行卷积运算，同时进行补零操作，输出256个特征图组，每个特征图组包含4个大小为14×14的特征图；
第九层为池化层4，采用2×2×2的池化核对卷积层4输出的特征图组进行下采样操作，输出256个特征图组，每个特征图组包含2个大小为7×7的特征图；
第十层为卷积层5，采用256个3×3×3的三维卷积核对池化层4输出的特征图组进行卷积运算，同时进行补零操作，输出256个特征图组，每个特征图组包含2个大小为7×7的特征图；
第十一层为池化层5，采用2×2×2的池化核对卷积层5输出的特征图组进行下采样操作，输出256个大小为3×3的特征图；
第十二层为全连接层，全连接层输出节点数为512，每个节点与池化层5输出的每个特征图全连接，输出一个512维的特征向量；
第二部分由串接层和分类层构成，具体结构如下：
第十三层为串接层，将两个三维卷积神经网络通道第十二层全连接层输出的特征向量进行串接，得到一个1024维的特征向量，该向量即为融合了输入样本两个通道特征的融合特征向量；
第十四层为分类层，采用softmax回归分类器，输出节点数为4，每个节点与上层串接层的1024维的特征向量全连接，得到一个4维列向量，向量中每一个维度的数代表输入样本属于该类别的概率，最大概率所对应的维度即为输入样本的分类类别。
步骤4：网络训练与优化
将16帧长的灰度图序列及LBP特征图序列输入双通道三维卷积神经网络，利用反向传播算法，计算实际输出与样本标签对应的理想输出的误差，按极小化误差的方法，调整矩阵权值，对网络进行训练，直到网络分类层softmax输出的损失函数值下降并收敛时结束训练，保存训练好的网络模型。
步骤5：表情识别
将测试视频片段输入到已训练的双通道三维卷积神经网络进行疼痛表情分类，将其分为平静、哭、轻微疼痛、剧烈疼痛这四种表情。

Claims (6)

1.一种基于双通道三维卷积神经网络的新生儿疼痛表情识别方法，其特征在于，该方法包括以下步骤：
(1)采集新生儿不同状态下的视频片段，按疼痛程度将视频分为n类表情，其中，n为正整数，建立新生儿面部表情视频库；
(2)将所述面部表情视频库中的每一个视频片段剪辑成l帧长的帧序列，对每一帧图像进行灰度化，并提取LBP特征图；
(3)构造一种双通道三维卷积神经网络；
(4)将所述灰度图序列及LBP特征图序列输入所述双通道三维卷积神经网络，对网络进行训练、调优，保存已训练的网络模型；
(5)将测试视频片段输入到已训练的网络模型进行疼痛表情分类，输出识别结果。
2.根据权利要求1所述的基于双通道三维卷积神经网络的新生儿疼痛表情识别方法，其特征在于，步骤(3)中，所述双通道三维卷积神经网络包括特征提取部分和特征融合与分类识别部分。
3.根据权利要求2所述的基于双通道三维卷积神经网络的新生儿疼痛表情识别方法，其特征在于，所述特征提取部分包括三维卷积神经网络通道一和三维卷积神经网络通道二构成，所述通道一和通道二由输入层、卷积层1、池化层1、卷积层2、池化层2、卷积层3、池化层3、卷积层4、池化层4、卷积层5、池化层5、全连接层组成，其中所述通道一用于对l帧长的灰度图序列进行处理，所述通道二对l帧长的LBP特征图序列进行处理；所述特征融合和分类识别部分包括串接层和分类层。
4.根据权利要求3所述的基于双通道三维卷积神经网络的新生儿疼痛表情识别方法，其特征在于，所述通道一和通道二的具体结构为：
第一层为输入层，将输入的每一帧灰度图或LBP特征图归一化成h×w像素，其中，h、w为正整数；
第二层为卷积层1，采用n1个d1×k1×k1的三维卷积核对l帧长的灰度图序列或LBP特征图序列进行卷积运算，输出n1个特征图组，每个特征图组包含l1个大小为h1×w1的特征图，其中，d1为时间维大小，k1×k1为空间维大小，n1、d1、k1、l1、h1、w1为正整数；
第三层为池化层1，采用d2×k2×k2的池化核对卷积层1输出的特征图组进行下采样操作，输出n1个特征图组，每个特征图组包含l2个大小为h2×w2的特征图，其中，d2为时间维大小，k2×k2为空间维大小，d2、k2、l2、h2、w2为正整数；
第四层为卷积层2，采用n2个d1×k1×k1的三维卷积核对池化层1输出的特征图组进行卷积运算，同时进行补零操作，输出n2个特征图组，每个特征图组包含l2个大小为h2×w2的特征图，其中，n2为正整数；
第五层为池化层2，采用d2×k2×k2的池化核对卷积层2输出的特征图组进行下采样操作，输出n2个特征图组，每个特征图组包含l3个大小为h3×w3的特征图，其中，l3、h3、w3为正整数；
第六层为卷积层3，采用n3个d1×k1×k1的三维卷积核对池化层2输出的特征图组进行卷积运算，同时进行补零操作，输出n3个特征图组，每个特征图组包含l3个大小为h3×w3的特征图，其中，n3为正整数；
第七层为池化层3，采用d2×k2×k2的池化核对卷积层3输出的特征图组进行下采样操作，输出n3个特征图组，每个特征图组包含l4个大小为h4×w4的特征图，其中，l4、h4、w4为正整数；
第八层为卷积层4，采用n3个d1×k1×k1的三维卷积核对池化层3输出的特征图组进行卷积运算，同时进行补零操作，输出n3个特征图组，每个特征图组包含l4个大小为h4×w4的特征图；
第九层为池化层4，采用d2×k2×k2的池化核对卷积层4输出的特征图组进行下采样操作，输出n3个特征图组，每个特征图组包含l5个大小为h5×w5的特征图，其中，l5、h5、w5为正整数；
第十层为卷积层5，采用n3个d1×k1×k1的三维卷积核对池化层3输出的特征图组进行卷积运算，同时进行补零操作，输出n3个特征图组，每个特征图组包含l5个大小为h5×w5的特征图；
第十一层为池化层5，采用d2×k2×k2的池化核对卷积层5输出的特征图组进行下采样操作，输出n3个h6×w6的特征图，其中，h6、w6为正整数；
第十二层为全连接层，将池化层5的输出全连接至本层的n4个神经元，输出一个n4维的特征向量，其中，n4为正整数。
5.根据权利要求3所述的基于双通道三维卷积神经网络的新生儿疼痛表情识别方法，其特征在于，所述串接层和分类层具体结构为：
第十三层为串接层，将所述三维卷积神经网络通道的第十二层全连接层输出的n4维特征向量进行串接，得到一个2n4维的特征向量；
第十四层为分类层，采用softmax回归分类器，输出节点数为n，每个节点与上层串接层的2n4维的特征向量全连接，输出一个n维列向量，向量中每一个维度的数代表输入样本属于该类别的概率，最大概率所对应的维度即为输入样本的分类类别。
6.根据权利要求1所述的基于双通道三维卷积神经网络的新生儿疼痛表情识别方法，其特征在于，步骤(4)中，所述网络训练、调优的方法为反向传播算法，直到所述分类层softmax回归分类器输出的损失函数值下降并收敛时结束训练。
CN201810145292.6A 2018-02-12 2018-02-12 基于双通道三维卷积神经网络的新生儿疼痛表情识别方法 Pending CN108363979A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810145292.6A CN108363979A (zh) 2018-02-12 2018-02-12 基于双通道三维卷积神经网络的新生儿疼痛表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810145292.6A CN108363979A (zh) 2018-02-12 2018-02-12 基于双通道三维卷积神经网络的新生儿疼痛表情识别方法

Publications (1)

Publication Number Publication Date
CN108363979A true CN108363979A (zh) 2018-08-03

Family

ID=63006038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810145292.6A Pending CN108363979A (zh) 2018-02-12 2018-02-12 基于双通道三维卷积神经网络的新生儿疼痛表情识别方法

Country Status (1)

Country Link
CN (1) CN108363979A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086753A (zh) * 2018-10-08 2018-12-25 新疆大学 基于双通道卷积神经网络的交通标志识别方法、装置
CN109410242A (zh) * 2018-09-05 2019-03-01 华南理工大学 基于双流卷积神经网络的目标跟踪方法、系统、设备及介质
CN109543526A (zh) * 2018-10-19 2019-03-29 谢飞 基于深度差异性特征的真假面瘫识别系统
CN109614974A (zh) * 2018-12-24 2019-04-12 浙江大学常州工业技术研究院 一种数字水表的数据识别方法
CN110059598A (zh) * 2019-04-08 2019-07-26 南京邮电大学 基于姿态关节点的长时程快慢网络融合的行为识别方法
CN110321827A (zh) * 2019-06-27 2019-10-11 嘉兴深拓科技有限公司 一种基于人脸疼痛表情视频的疼痛水平评估方法
CN110363187A (zh) * 2019-08-29 2019-10-22 上海云从汇临人工智能科技有限公司 一种人脸识别方法、装置、机器可读介质及设备
CN111401117A (zh) * 2019-08-14 2020-07-10 南京邮电大学 基于双流卷积神经网络的新生儿疼痛表情识别方法
CN111429407A (zh) * 2020-03-09 2020-07-17 清华大学深圳国际研究生院 基于双通道分离网络的胸部x光疾病检测装置及方法
CN111860064A (zh) * 2019-04-30 2020-10-30 杭州海康威视数字技术股份有限公司 基于视频的目标检测方法、装置、设备及存储介质
CN113807217A (zh) * 2021-09-02 2021-12-17 浙江师范大学 人脸表情识别模型训练、识别方法、系统、装置及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682616A (zh) * 2016-12-28 2017-05-17 南京邮电大学 基于双通道特征深度学习的新生儿疼痛表情识别方法
CN107330393A (zh) * 2017-06-27 2017-11-07 南京邮电大学 一种基于视频分析的新生儿疼痛表情识别方法
CN107590432A (zh) * 2017-07-27 2018-01-16 北京联合大学 一种基于循环三维卷积神经网络的手势识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682616A (zh) * 2016-12-28 2017-05-17 南京邮电大学 基于双通道特征深度学习的新生儿疼痛表情识别方法
CN107330393A (zh) * 2017-06-27 2017-11-07 南京邮电大学 一种基于视频分析的新生儿疼痛表情识别方法
CN107590432A (zh) * 2017-07-27 2018-01-16 北京联合大学 一种基于循环三维卷积神经网络的手势识别方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410242A (zh) * 2018-09-05 2019-03-01 华南理工大学 基于双流卷积神经网络的目标跟踪方法、系统、设备及介质
CN109410242B (zh) * 2018-09-05 2020-09-22 华南理工大学 基于双流卷积神经网络的目标跟踪方法、系统、设备及介质
CN109086753A (zh) * 2018-10-08 2018-12-25 新疆大学 基于双通道卷积神经网络的交通标志识别方法、装置
CN109543526A (zh) * 2018-10-19 2019-03-29 谢飞 基于深度差异性特征的真假面瘫识别系统
CN109614974A (zh) * 2018-12-24 2019-04-12 浙江大学常州工业技术研究院 一种数字水表的数据识别方法
CN109614974B (zh) * 2018-12-24 2022-09-27 浙江大学常州工业技术研究院 一种数字水表的数据识别方法
CN110059598A (zh) * 2019-04-08 2019-07-26 南京邮电大学 基于姿态关节点的长时程快慢网络融合的行为识别方法
CN111860064A (zh) * 2019-04-30 2020-10-30 杭州海康威视数字技术股份有限公司 基于视频的目标检测方法、装置、设备及存储介质
CN111860064B (zh) * 2019-04-30 2023-10-20 杭州海康威视数字技术股份有限公司 基于视频的目标检测方法、装置、设备及存储介质
CN110321827A (zh) * 2019-06-27 2019-10-11 嘉兴深拓科技有限公司 一种基于人脸疼痛表情视频的疼痛水平评估方法
CN111401117B (zh) * 2019-08-14 2022-08-26 南京邮电大学 基于双流卷积神经网络的新生儿疼痛表情识别方法
CN111401117A (zh) * 2019-08-14 2020-07-10 南京邮电大学 基于双流卷积神经网络的新生儿疼痛表情识别方法
CN110363187A (zh) * 2019-08-29 2019-10-22 上海云从汇临人工智能科技有限公司 一种人脸识别方法、装置、机器可读介质及设备
CN111429407A (zh) * 2020-03-09 2020-07-17 清华大学深圳国际研究生院 基于双通道分离网络的胸部x光疾病检测装置及方法
CN113807217A (zh) * 2021-09-02 2021-12-17 浙江师范大学 人脸表情识别模型训练、识别方法、系统、装置及介质
CN113807217B (zh) * 2021-09-02 2023-11-21 浙江师范大学 人脸表情识别模型训练、识别方法、系统、装置及介质

Similar Documents

Publication Publication Date Title
CN108363979A (zh) 基于双通道三维卷积神经网络的新生儿疼痛表情识别方法
CN106682616A (zh) 基于双通道特征深度学习的新生儿疼痛表情识别方法
CN108388890A (zh) 一种基于面部表情识别的新生儿疼痛程度评估方法及系统
CN109543526B (zh) 基于深度差异性特征的真假面瘫识别系统
CN109726751A (zh) 基于深度卷积神经网络识别脑电成像图的方法
CN109345538A (zh) 一种基于卷积神经网络的视网膜血管分割方法
CN111772619B (zh) 一种基于深度学习的心搏识别方法、终端设备及存储介质
CN106778657A (zh) 基于卷积神经网络的新生儿疼痛表情分类方法
CN106296699A (zh) 基于深度神经网络和多模态mri图像的脑肿瘤分割方法
CN107506761A (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及系统
CN107492099A (zh) 医学图像分析方法、医学图像分析系统以及存储介质
CN107909095A (zh) 一种基于深度学习的图像识别方法
CN108446730A (zh) 一种基于深度学习的ct肺结节检测方法
CN107886503A (zh) 一种消化道解剖位置识别方法及装置
CN108510502A (zh) 基于深度神经网络的黑色素瘤图片组织分割方法和系统
CN106780482A (zh) 一种医学图像分类方法
CN108682009A (zh) 一种阿尔茨海默症预测方法、装置、设备及介质
CN108596069A (zh) 基于深度3d残差网络的新生儿疼痛表情识别方法及系统
CN110335653A (zh) 基于openEHR病历格式的非标准病历解析方法
CN110070540A (zh) 图像生成方法、装置、计算机设备及存储介质
CN106529110A (zh) 一种用户数据分类的方法和设备
CN111785366B (zh) 患者治疗方案的确定方法、装置及计算机设备
CN107145885A (zh) 一种基于卷积神经网络的单字图文字识别方法及装置
CN110046550A (zh) 基于多层特征学习的行人属性识别系统及方法
CN113095382B (zh) 基于ct图像的可解释性肺结核分类网络识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180803