CN108363969A - 一种基于移动终端的新生儿疼痛评估方法 - Google Patents

一种基于移动终端的新生儿疼痛评估方法 Download PDF

Info

Publication number
CN108363969A
CN108363969A CN201810105264.1A CN201810105264A CN108363969A CN 108363969 A CN108363969 A CN 108363969A CN 201810105264 A CN201810105264 A CN 201810105264A CN 108363969 A CN108363969 A CN 108363969A
Authority
CN
China
Prior art keywords
layer
characteristic pattern
convolution
convolutional
convolutional layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810105264.1A
Other languages
English (en)
Other versions
CN108363969B (zh
Inventor
卢官明
孔凯霆
李晓南
闫静杰
卢峻禾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201810105264.1A priority Critical patent/CN108363969B/zh
Publication of CN108363969A publication Critical patent/CN108363969A/zh
Application granted granted Critical
Publication of CN108363969B publication Critical patent/CN108363969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Error Detection And Correction (AREA)

Abstract

本发明公开了一种基于移动终端的新生儿疼痛评估方法，该方法包括：(1)采集新生儿疼痛表情图像，将所述表情图像分类，将所述表情图像裁剪成a×a像素的彩色图像；(2)构建一个包含1个数据层、19个卷积层、1个池化层、1个全连接层和1个分类层的卷积神经网络；(3)将数据库分为训练集和验证集，对卷积神经网络进行训练，得到优化后的网络模型；(4)将训练好的网络模型移植到移动终端，生成新生儿疼痛评估应用程序；(5)开启所述新生儿疼痛评估应用程序，并将识别结果显示在移动终端上。本发明针对智能手机等移动终端的处理能力，优化设计了深度卷积神经网络的结构，采用深度学习方法来提取新生儿疼痛表情特征，分类识别准确率高。

Description

一种基于移动终端的新生儿疼痛评估方法
技术领域
本发明涉及一种人脸表情识别方法，特别涉及一种基于移动终端的新生儿疼痛评估方法。
背景技术
科学研究表明，新生儿从出生开始就具有感知疼痛的能力，并且在早期的成长发育过程中，新生儿或多或少都会接触到一些外界的疼痛刺激，如足底采血、动静脉穿刺、皮下和肌肉注射等。反复经历的疼痛刺激会对新生儿产生一系列近期和远期的严重影响。由于新生儿不具有语言表达能力，他们只会通过哭闹来表达自己的感受，而年轻的父母无法区分新生儿的哭闹是因饥饿或者害怕，还是疼痛引起的，所以正确评估和积极处理新生儿疼痛具有重要的临床意义。
目前，在临床应用中，医护人员将新生儿“面部表情”作为评估疼痛的一项重要的监测指标。然而，由医护人员进行的人工疼痛评估不仅耗时费力，而且评估结果依赖于个人的知识与经验，并受个人的情绪等主观因素的影响。因此，开发一种新生儿疼痛自动评估系统，为医护人员提供辅助诊断，以便及时采取相应的镇痛措施，减轻新生儿的疼痛。
近年来，随着智能手机等移动终端的处理能力越来越强大，以及深度卷积神经网络在图像识别等领域的应用越来越深入，将基于深度卷积神经网络的新生儿疼痛表情识别算法移植到智能手机等移动终端上成为可能。
发明内容
发明目的：为了克服现有技术的不足，本发明提供一种基于移动终端的新生儿疼痛评估方法，该方法解决了现有的算法中缺少适合运行在手机等移动终端的用于新生儿疼痛评估的卷积神经网络，以及传统的机器学习方法不能获得较为准确的识别结果的问题。
技术方案：本发明所述的基于移动终端的新生儿疼痛评估方法，包括以下步骤：
(1)采集新生儿疼痛表情图像，将所述表情图像分类，将所述表情图像裁剪成a×a像素的彩色图像，建立新生儿疼痛表情图像数据库，其中a为正整数，取值范围为[128，512]；
(2)构建一个包含1个数据层、19个卷积层、1个池化层、1个全连接层和1个分类层的卷积神经网络；
(3)将所述表情图像数据库分为训练集和验证集，对所述卷积神经网络进行训练，通过调整参数，得到优化后的网络模型；
(4)将训练好的网络模型移植到移动终端，生成新生儿疼痛评估应用程序；
(5)开启所述新生儿疼痛评估应用程序，调用所述移动终端的摄像头拍摄新生儿的面部图像，同时进行疼痛表情分类识别，并将识别结果显示在移动终端上。
优选的，所述步骤(2)中的数据层为卷积神经网络的第一层，用于将所述图像数据库中的图像的R、G、B分量堆叠成一个a×a×3的图像组，作为第二层卷积层1的输入。
优选的，所述步骤(2)中的19个卷积层为卷积神经网络的第二层至第二十层，其具体功能如下：
第二层为卷积层1，采用n1个大小为k×k×3的卷积核，卷积步长为s，对第一层输出的a×a×3图像组进行卷积运算，同时进行补零操作，得到n1个f1×f1的特征图，其中n1为正整数，一般取16、32、64，k一般取3、5、7(实验表明k取3时最优)，s一般取1、2、3，f1为正整数，取值范围为[64，512]；
第三层为卷积层2，采用n1个大小为k×k的卷积核，卷积步长为1，分别对第二层卷积层1输出的特征图进行卷积运算，同时进行补零操作，得到n1个f1×f1的特征图，并将这些特征图堆叠成一个f1×f1×n1的特征图组，作为第四层卷积层3的输入；
第四层为卷积层3，采用n2个大小为1×1×n1的卷积核，卷积步长为1，对第三层卷积层2输出的f1×f1×n1特征图组进行卷积运算，得到n2个f1×f1的特征图，其中n2为正整数，一般取32、64、128；
第五层为卷积层4，采用n2个大小为k×k的卷积核，卷积步长为s，分别对第四层卷积层3输出的特征图进行卷积运算，得到n2个f2×f2的特征图，并将这些特征图堆叠成一个f2×f2×n2的特征图组，作为第六层卷积层5的输入，其中f2为正整数，取值范围为[32，256]；
第六层为卷积层5，采用n3个大小为1×1×n2的卷积核，卷积步长为1，对第五层卷积层4输出的f2×f2×n2特征图组进行卷积运算，得到n3个f2×f2的特征图，其中n3为正整数，一般取64、128、256；
第七层为卷积层6，采用n3个大小为k×k的卷积核，卷积步长为1，分别对第六层卷积层5输出的特征图进行卷积运算，同时进行补零操作，得到n3个f2×f2的特征图，并将这些特征图堆叠成一个f2×f2×n3的特征图组，作为第八层卷积层7的输入；
第八层为卷积层7，采用n3个大小为1×1×n3的卷积核，卷积步长为1，对第七层卷积层6输出的f2×f2×n3特征图组进行卷积运算，得到n3个f2×f2的特征图；
第九层为卷积层8，采用n3个大小为k×k的卷积核，卷积步长为s，分别对第八层卷积层7输出的特征图进行卷积运算，得到n3个f3×f3的特征图，并将这些特征图堆叠成一个f3×f3×n3的特征图组，作为第十层卷积层9的输入，其中，其中f3为正整数，取值范围为[16，128]；
第十层为卷积层9，采用n4个大小为1×1×n3的卷积核，卷积步长为1，对第九层卷积层8输出的f3×f3×n3特征图组进行卷积运算，得到n4个f3×f3的特征图，其中n4为正整数，一般取128、256、512；
第十一层为卷积层10，采用n4个大小为k×k的卷积核，卷积步长为1，分别对第十层卷积层9输出的特征图进行卷积运算，同时进行补零操作，得到n4个f3×f3的特征图，并将这些特征图堆叠成一个f3×f3×n4的特征图组，作为第十二层卷积层11的输入；
第十二层为卷积层11，采用n4个大小为1×1×n4的卷积核，卷积步长为1，对第十一层卷积层10输出的f3×f3×n4特征图组进行卷积运算，得到n4个f3×f3的特征图；
第十三层为卷积层12，采用n4个大小为k×k的卷积核，卷积步长为s，对第十二层卷积层11输出的特征图进行卷积运算，得到n4个f4×f4的特征图，并将这些特征图堆叠成一个f4×f4×n4的特征图组，作为第十四层卷积层13的输入，其中f4为正整数，取值范围为[8，64]；
第十四层为卷积层13，采用n5个大小为1×1×n4的卷积核，卷积步长为1，对第十三层卷积层12输出的f4×f4×n4特征图组进行卷积运算，得到n5个f4×f4的特征图，其中n5为正整数，一般取256、512、1024；
第十五层为卷积层14，采用n5个大小为k×k的卷积核，卷积步长为1，对第十四层卷积层13输出的特征图进行卷积运算，同时进行补零操作，得到n5个f4×f4的特征图，并将这些特征图堆叠成一个f4×f4×n5的特征图组，作为第十六层卷积层15的输入；
第十六层为卷积层15，采用n5个大小为1×1×n5的卷积核，卷积步长为1，对第十五层卷积层14输出的f4×f4×n5特征图组进行卷积运算，得到n5个f4×f4的特征图；
第十七层为卷积层16，采用n5个大小为k×k的卷积核，卷积步长为s，分别对第二十四层卷积层23输出的特征图进行卷积运算，得到n5个f5×f5的特征图，并将这些特征图堆叠成一个f5×f5×n5的特征图组，作为第十八层卷积层17的输入，其中f5为正整数，取值范围为[4，32]；
第十八层为卷积层17，采用n6个大小为1×1×n5卷积核，卷积步长为1，对第十七层卷积层16输出的f5×f5×n5特征图组进行卷积运算，得到n6个f5×f5的特征图，其中n6为正整数，一般取512、1024、2048；
第十九层为卷积层18，采用n6个大小为k×k的卷积核，卷积步长为s，分别对第十八层卷积层17输出的特征图进行卷积运算，同时进行补零操作，得到n6个f5×f5的特征图，并将这些特征图堆叠成一个f5×f5×n6的特征图组，作为第二十层卷积层19的输入；
第二十层为卷积层19，采用n6个大小为1×1×n6的卷积核，卷积步长为1，对第十九层卷积层18输出的f5×f5×n6特征图组进行卷积运算，得到n6个f5×f5的特征图。
所述步骤(2)中的池化层为卷积神经网络的第二十一层，采用均值池化，用f5×f5大小的窗口，以步长1对第二十层卷积层19输出的特征图进行下采样，得到n6个1×1的特征图。
优选的，所述步骤(2)中的全连接层为卷积神经网络的第二十二层，用于将第二十一层池化层输出的特征图全连接至本层的n7个输出神经元，构成一个n7维的特征向量，其中n7为正整数，取值范围为[512，2048]。
优选的，所述步骤(2)中的分类层为卷积神经网络的第二十三层，采用Softmax分类器对第二十二层全连接层输出的n7维特征向量进行分类识别。
有益效果：本发明与现有技术相比，其显著优点是：1、针对移动终端的处理能力，优化设计了深度卷积神经网络的结构，采用三维卷积核对多个特征图堆叠而成的特征图组进行一次3D卷积运算，降低了深度卷积神经网络的模型，减少了模型参数和计算量；2、本发明将基于卷积神经网络的深度学习技术应用到新生儿疼痛表情识别领域，提高在面部受遮挡、姿态倾斜、光照变化等复杂情况下的识别率和鲁棒性。
附图说明
图1是本发明的方法流程图；
图2-5是新生儿疼痛表情图像数据库中的部分图像；
图6-9是本发明的新生儿疼痛评估应用程序实时识别结果显示界面。
具体实施方式
实施例1
如图1，本发明所述的基于移动终端的新生儿疼痛评估方法，包括以下步骤：
(1)采集新生儿疼痛表情图像，将表情图像分类，将表情图像裁剪成a×a像素的彩色图像，建立新生儿疼痛表情图像数据库，其中a为正整数，取值范围为[128，512]；；
(2)构建一个包含1个数据层、19个卷积层、1个池化层、1个全连接层和1个分类层的卷积神经网络；
(3)将表情图像数据库分为训练集和验证集，对卷积神经网络进行训练，通过调整参数，得到优化后的网络模型；
(4)将训练好的网络模型移植到移动终端，生成新生儿疼痛评估应用程序；
(5)开启新生儿疼痛评估应用程序，调用移动终端的摄像头拍摄新生儿的面部图像，同时进行疼痛表情分类识别，并将识别结果显示在移动终端上。
步骤(2)中的数据层为卷积神经网络的第一层，用于将图像数据库中的图像的R、G、B分量堆叠成一个a×a×3的“图像组”，作为第二层卷积层1的输入。
步骤(2)中的19个卷积层为卷积神经网络的第二层至第二十层，其具体功能如下：
第二层为卷积层1，采用n1个大小为k×k×3的卷积核，卷积步长为s，对第一层输出的a×a×3“图像组”进行卷积运算，同时进行补零操作，得到n1个f1×f1的特征图，其中n1为正整数，一般取16、32、64，k一般取3、5、7，优选的，k取3，s一般取1、2、3，f1为正整数，取值范围为[64，512]；
第三层为卷积层2，采用n1个大小为k×k的卷积核，卷积步长为1，分别对第二层卷积层1输出的特征图进行卷积运算，同时进行补零操作，得到n1个f1×f1的特征图，并将这些特征图堆叠成一个f1×f1×n1的“特征图组”，作为第四层卷积层3的输入；
第四层为卷积层3，采用n2个大小为1×1×n1的卷积核，卷积步长为1，对第三层卷积层2输出的f1×f1×n1“特征图组”进行卷积运算，得到n2个f1×f1的特征图，其中n2为正整数，一般取32、64、128；
第五层为卷积层4，采用n2个大小为k×k的卷积核，卷积步长为s，分别对第四层卷积层3输出的特征图进行卷积运算，得到n2个f2×f2的特征图，并将这些特征图堆叠成一个f2×f2×n2的“特征图组”，作为第六层卷积层5的输入，其中f2为正整数，取值范围为[32，256]；
第六层为卷积层5，采用n3个大小为1×1×n2的卷积核，卷积步长为1，对第五层卷积层4输出的f2×f2×n2“特征图组”进行卷积运算，得到n3个f2×f2的特征图，其中n3为正整数，一般取64、128、256；
第七层为卷积层6，采用n3个大小为k×k的卷积核，卷积步长为1，分别对第六层卷积层5输出的特征图进行卷积运算，同时进行补零操作，得到n3个f2×f2的特征图，并将这些特征图堆叠成一个f2×f2×n3的“特征图组”，作为第八层卷积层7的输入；
第八层为卷积层7，采用n3个大小为1×1×n3的卷积核，卷积步长为1，对第七层卷积层6输出的f2×f2×n3“特征图组”进行卷积运算，得到n3个f2×f2的特征图；
第九层为卷积层8，采用n3个大小为k×k的卷积核，卷积步长为s，分别对第八层卷积层7输出的特征图进行卷积运算，得到n3个f3×f3的特征图，并将这些特征图堆叠成一个f3×f3×n3的“特征图组”，作为第十层卷积层9的输入，其中，其中f3为正整数，取值范围为[16，128]；
第十层为卷积层9，采用n4个大小为1×1×n3的卷积核，卷积步长为1，对第九层卷积层8输出的f3×f3×n3“特征图组”进行卷积运算，得到n4个f3×f3的特征图，其中n4为正整数，一般取128、256、512；
第十一层为卷积层10，采用n4个大小为k×k的卷积核，卷积步长为1，分别对第十层卷积层9输出的特征图进行卷积运算，同时进行补零操作，得到n4个f3×f3的特征图，并将这些特征图堆叠成一个f3×f3×n4的“特征图组”，作为第十二层卷积层11的输入；
第十二层为卷积层11，采用n4个大小为1×1×n4的卷积核，卷积步长为1，对第十一层卷积层10输出的f3×f3×n4“特征图组”进行卷积运算，得到n4个f3×f3的特征图；
第十三层为卷积层12，采用n4个大小为k×k的卷积核，卷积步长为s，对第十二层卷积层11输出的特征图进行卷积运算，得到n4个f4×f4的特征图，并将这些特征图堆叠成一个f4×f4×n4的“特征图组”，作为第十四层卷积层13的输入，其中f4为正整数，取值范围为[8，64]；
第十四层为卷积层13，采用n5个大小为1×1×n4的卷积核，卷积步长为1，对第十三层卷积层12输出的f4×f4×n4“特征图组”进行卷积运算，得到n5个f4×f4的特征图，其中n5为正整数，一般取256、512、1024；
第十五层为卷积层14，采用n5个大小为k×k的卷积核，卷积步长为1，对第十四层卷积层13输出的特征图进行卷积运算，同时进行补零操作，得到n5个f4×f4的特征图，并将这些特征图堆叠成一个f4×f4×n5的“特征图组”，作为第十六层卷积层15的输入；
第十六层为卷积层15，采用n5个大小为1×1×n5的卷积核，卷积步长为1，对第十五层卷积层14输出的f4×f4×n5“特征图组”进行卷积运算，得到n5个f4×f4的特征图；
第十七层为卷积层16，采用n5个大小为k×k的卷积核，卷积步长为s，分别对第二十四层卷积层23输出的特征图进行卷积运算，得到n5个f5×f5的特征图，并将这些特征图堆叠成一个f5×f5×n5的“特征图组”，作为第十八层卷积层17的输入，其中f5为正整数，取值范围为[4，32]；
第十八层为卷积层17，采用n6个大小为1×1×n5卷积核，卷积步长为1，对第十七层卷积层16输出的f5×f5×n5“特征图组”进行卷积运算，得到n6个f5×f5的特征图，其中n6为正整数，一般取512、1024、2048；
第十九层为卷积层18，采用n6个大小为k×k的卷积核，卷积步长为s，分别对第十八层卷积层17输出的特征图进行卷积运算，同时进行补零操作，得到n6个f5×f5的特征图，并将这些特征图堆叠成一个f5×f5×n6的“特征图组”，作为第二十层卷积层19的输入；
第二十层为卷积层19，采用n6个大小为1×1×n6的卷积核，卷积步长为1，对第十九层卷积层18输出的f5×f5×n6“特征图组”进行卷积运算，得到n6个f5×f5的特征图。
步骤(2)中的池化层为卷积神经网络的第二十一层，采用均值池化，用f5×f5大小的窗口，以步长1对第二十层卷积层19输出的特征图进行下采样，得到n6个1×1的特征图。
步骤(2)中的全连接层为卷积神经网络的第二十二层，用于将第二十一层池化层输出的特征图全连接至本层的n7个输出神经元，构成一个n7维的特征向量，其中n7为正整数，取值范围为[512，2048]。
步骤(2)中的分类层为卷积神经网络的第二十三层，采用Softmax分类器对第二十二层全连接层输出的n7维特征向量进行分类识别。
实施例2
在具体实验过程中，首先，采集、分类、预处理新生儿疼痛表情图像，建立新生儿疼痛表情图像数据库，如图2到5，由专业的医护人员进行疼痛评估，分为安静、哭闹、轻度疼痛和重度疼痛四类。
采用南京邮电大学卢官明教授领导的课题组所建立的新生儿疼痛表情图像数据库并进行相应的预处理操作。目前该数据库包含从儿童医院采集的约12000张新生儿疼痛表情图像，每张图像都有对应的标签，这些标签由专业的医护人员，按照国际认可的新生儿面部表情评价标准进行分类标注。其中，标记为安静的图像有3000张，标记为哭闹的图像有3000张，标记为轻度疼痛的图像有3000张，标记为重度疼痛的图像有3000张，这四类图像分别放在四个文件夹中。将这些图像全部裁剪成224×224像素的彩色图像，并将格式统一转换为Jpeg格式。至此本发明所采用的新生儿疼痛表情图像数据库已建成。
其次，构建用于识别新生儿疼痛表情的卷积神经网络。
构建一个包含1个数据层、19个卷积层、1个池化层、1个全连接层和1个分类层的卷积神经网络。
第一层为数据层，将新生儿疼痛表情图像数据库中大小为224×224像素的彩色图像的R、G、B三个分量堆叠成一个224×224×3的“图像组”，作为第二层卷积层1的输入；
本次实验k取3，第二层为卷积层1，采用32个大小为3×3×3的卷积核，卷积步长为2，对第一层输出的224×224×3“图像组”进行卷积运算，同时进行补零操作，得到32个112×112的特征图；
第三层为卷积层2，采用32个大小为3×3的卷积核，卷积步长为1，分别对第二层卷积层1输出的特征图进行卷积运算，同时进行补零操作，得到32个112×112的特征图，并将这些特征图堆叠成一个112×112×32的“特征图组”，作为第四层卷积层3的输入；
第四层为卷积层3，采用64个大小为1×1×32的卷积核，卷积步长为1，对第三层卷积层2输出的112×112×32“特征图组”进行卷积运算，得到64个112×112的特征图；
第五层为卷积层4，采用64个大小为3×3的卷积核，卷积步长为2，分别对第四层卷积层3输出的特征图进行卷积运算，得到64个56×56的特征图，并将这些特征图堆叠成一个56×56×64的“特征图组”，作为第六层卷积层5的输入；
第六层为卷积层5，采用128个大小为1×1×64的卷积核，卷积步长为1，对第五层卷积层4输出的56×56×64“特征图组”进行卷积运算，得到128个56×56的特征图；
第七层为卷积层6，采用128个大小为3×3的卷积核，卷积步长为1，分别对第六层卷积层5输出的特征图进行卷积运算，同时进行补零操作，得到128个56×56的特征图，并将这些特征图堆叠成一个56×56×128的“特征图组”，作为第八层卷积层7的输入；
第八层为卷积层7，采用128个大小为1×1×128的卷积核，卷积步长为1，对第七层卷积层6输出的56×56×128“特征图组”进行卷积运算，得到128个56×56的特征图；
第九层为卷积层8，采用128个大小为3×3的卷积核，卷积步长为2，分别对第八层卷积层7输出的特征图进行卷积运算，得到128个28×28的特征图，并将这些特征图堆叠成一个28×28×128的“特征图组”，作为第十层卷积层9的输入；
第十层为卷积层9，采用256个大小为1×1×128的卷积核，卷积步长为1，对第九层卷积层8输出的28×28×128“特征图组”进行卷积运算，得到256个28×28的特征图；
第十一层为卷积层10，采用256个大小为3×3的卷积核，卷积步长为1，分别对第十层卷积层9输出的特征图进行卷积运算，同时进行补零操作，得到256个28×28的特征图，并将这些特征图堆叠成一个28×28×256的“特征图组”，作为第十二层卷积层11的输入；
第十二层为卷积层11，采用256个大小为1×1×256的卷积核，卷积步长为1，对第十一层卷积层10输出的28×28×256“特征图组”进行卷积运算，得到256个28×28的特征图；
第十三层为卷积层12，采用256个大小为3×3的卷积核，卷积步长为2，对第十二层卷积层11输出的特征图进行卷积运算，得到256个14×14的特征图，并将这些特征图堆叠成一个14×14×256的“特征图组”，作为第十四层卷积层13的输入；
第十四层为卷积层13，采用512个大小为1×1×256的卷积核，卷积步长为1，对第十三层卷积层12输出的14×14×256“特征图组”进行卷积运算，得到512个14×14的特征图；
第十五层为卷积层14，采用512个大小为3×3的卷积核，卷积步长为1，对第十四层卷积层13输出的特征图进行卷积运算，同时进行补零操作，得到512个14×14的特征图，并将这些特征图堆叠成一个14×14×512的“特征图组”，作为第十六层卷积层15的输入；
第十六层为卷积层15，采用512个大小为1×1×512的卷积核，卷积步长为1，对第十五层卷积层14输出的14×14×512“特征图组”进行卷积运算，得到512个14×14的特征图；
第十七层为卷积层16，采用512个大小为3×3的卷积核，卷积步长为2，分别对第二十四层卷积层23输出的特征图进行卷积运算，得到512个7×7的特征图，并将这些特征图堆叠成一个7×7×512的“特征图组”，作为第十八层卷积层17的输入；
第十八层为卷积层17，采用1024个大小为1×1×512的卷积核，卷积步长为1，对第十七层卷积层16输出的7×7×512“特征图组”进行卷积运算，得到1024个7×7的特征图；
第十九层为卷积层18，采用1024个大小为3×3的卷积核，卷积步长为2，分别对第十八层卷积层17输出的特征图进行卷积运算，同时进行补零操作，得到1024个7×7的特征图，并将这些特征图堆叠成一个7×7×1024的“特征图组”，作为第二十层卷积层19的输入；
第二十层为卷积层19，采用1024个大小为1×1×1024的卷积核，卷积步长为1，对第十九层卷积层18输出的7×7×1024“特征图组”进行卷积运算，得到1024个7×7的特征图；
第二十一层为池化层，采用均值池化，用7×7大小的窗口，以步长1对第二十层卷积层19输出的特征图进行下采样，得到1024个1×1的特征图；
第二十二层为全连接层，将第二十一层池化层输出的特征图全连接至本层的1000个输出神经元，构成一个1000维的特征向量；
第二十三层为分类层，采用Softmax分类器对第二十二层全连接层输出的1000维特征向量进行分类识别。
然后，将新生儿疼痛表情图像数据库分为训练集和验证集，对卷积神经网络进行训练，通过调整网络的初始学习率、权重衰减系数、训练迭代次数等参数，得到优化后的网络模型。
将步骤1得到的新生儿疼痛表情图像数据库的每一类图像分为训练集和验证集，其中训练集占每类的70％，即2100张图片，验证集占每类的30％，即900张图片。利用训练集和验证集对步骤2设计的卷积神经网络进行训练，通过调整网络的初始学习率、权重衰减系数、训练迭代次数等参数，得到优化后的网络模型。
进一步，将训练好的网络模型移植到Android手机、Iphone手机或者pad等移动终端中，生成新生儿疼痛评估应用程序。
最后，如图6到图9，开启新生儿疼痛评估应用程序调用手机摄像头拍摄新生儿的面部图像进行实时的识别，得到此时刻拍摄到的新生儿面部图像属于各类的概率值，将最大的概率值对应的类别作为识别结果实时的显示在手机屏幕上。

Claims (6)

1.一种基于移动终端的新生儿疼痛评估方法，其特征在于，该方法包括以下步骤：
(1)采集新生儿疼痛表情图像，将所述表情图像分类，将所述表情图像裁剪成a×a像素的彩色图像，建立新生儿疼痛表情图像数据库，其中，a为正整数，取值范围为[128，512]；
(2)构建一个包含1个数据层、19个卷积层、1个池化层、1个全连接层和1个分类层的卷积神经网络；
(3)将所述表情图像数据库分为训练集和验证集，对所述卷积神经网络进行训练，通过调整参数，得到优化后的网络模型；
(4)将训练好的网络模型移植到移动终端，生成新生儿疼痛评估应用程序；
(5)开启所述新生儿疼痛评估应用程序，调用所述移动终端的摄像头拍摄新生儿的面部图像，同时进行疼痛表情分类识别，并将识别结果显示在移动终端上。
2.根据权利要求1所述的基于移动终端的新生儿疼痛评估方法，其特征在于，所述步骤(2)中的数据层为卷积神经网络的第一层，用于将所述图像数据库中的图像的R、G、B分量堆叠成一个a×a×3的图像组，作为第二层卷积层1的输入。
3.根据权利要求1所述的基于移动终端的新生儿疼痛评估方法，其特征在于，所述步骤(2)中的19个卷积层为卷积神经网络的第二层至第二十层，其具体功能如下：
第二层为卷积层1，采用n1个大小为k×k×3的卷积核，卷积步长为s，对第一层输出的a×a×3图像组进行卷积运算，同时进行补零操作，得到n1个f1×f1的特征图，其中n1为正整数，取16、32、64中的一个，k取3、5、7中的一个，s取1、2、3中的一个，f1为正整数，取值范围为[64，512]；
第三层为卷积层2，采用n1个大小为k×k的卷积核，卷积步长为1，分别对第二层卷积层1输出的特征图进行卷积运算，同时进行补零操作，得到n1个f1×f1的特征图，并将这些特征图堆叠成一个f1×f1×n1的特征图组，作为第四层卷积层3的输入；
第四层为卷积层3，采用n2个大小为1×1×n1的卷积核，卷积步长为1，对第三层卷积层2输出的f1×f1×n1特征图组进行卷积运算，得到n2个f1×f1的特征图，其中n2为正整数，取32、64、128中的一个；
第五层为卷积层4，采用n2个大小为k×k的卷积核，卷积步长为s，分别对第四层卷积层3输出的特征图进行卷积运算，得到n2个f2×f2的特征图，并将这些特征图堆叠成一个f2×f2×n2的特征图组，作为第六层卷积层5的输入，其中f2为正整数，取值范围为[32，256]；
第六层为卷积层5，采用n3个大小为1×1×n2的卷积核，卷积步长为1，对第五层卷积层4输出的f2×f2×n2特征图组进行卷积运算，得到n3个f2×f2的特征图，其中n3为正整数，取64、128、256中的一个；
第七层为卷积层6，采用n3个大小为k×k的卷积核，卷积步长为1，分别对第六层卷积层5输出的特征图进行卷积运算，同时进行补零操作，得到n3个f2×f2的特征图，并将这些特征图堆叠成一个f2×f2×n3的特征图组，作为第八层卷积层7的输入；
第八层为卷积层7，采用n3个大小为1×1×n3的卷积核，卷积步长为1，对第七层卷积层6输出的f2×f2×n3特征图组进行卷积运算，得到n3个f2×f2的特征图；
第九层为卷积层8，采用n3个大小为k×k的卷积核，卷积步长为s，分别对第八层卷积层7输出的特征图进行卷积运算，得到n3个f3×f3的特征图，并将这些特征图堆叠成一个f3×f3×n3的特征图组，作为第十层卷积层9的输入，其中，f3为正整数，取值范围为[16，128]；
第十层为卷积层9，采用n4个大小为1×1×n3的卷积核，卷积步长为1，对第九层卷积层8输出的f3×f3×n3特征图组进行卷积运算，得到n4个f3×f3的特征图，其中n4为正整数，取128、256、512中的一个；
第十一层为卷积层10，采用n4个大小为k×k的卷积核，卷积步长为1，分别对第十层卷积层9输出的特征图进行卷积运算，同时进行补零操作，得到n4个f3×f3的特征图，并将这些特征图堆叠成一个f3×f3×n4的特征图组，作为第十二层卷积层11的输入；
第十二层为卷积层11，采用n4个大小为1×1×n4的卷积核，卷积步长为1，对第十一层卷积层10输出的f3×f3×n4“特征图组”进行卷积运算，得到n4个f3×f3的特征图；
第十三层为卷积层12，采用n4个大小为k×k的卷积核，卷积步长为s，对第十二层卷积层11输出的特征图进行卷积运算，得到n4个f4×f4的特征图，并将这些特征图堆叠成一个f4×f4×n4的特征图组，作为第十四层卷积层13的输入，其中，f4为正整数，取值范围为[8，64]；
第十四层为卷积层13，采用n5个大小为1×1×n4的卷积核，卷积步长为1，对第十三层卷积层12输出的f4×f4×n4特征图组进行卷积运算，得到n5个f4×f4的特征图，其中n5为正整数，取256、512、1024中的一个值；
第十五层为卷积层14，采用n5个大小为k×k的卷积核，卷积步长为1，对第十四层卷积层13输出的特征图进行卷积运算，同时进行补零操作，得到n5个f4×f4的特征图，并将这些特征图堆叠成一个f4×f4×n5的特征图组，作为第十六层卷积层15的输入；
第十六层为卷积层15，采用n5个大小为1×1×n5的卷积核，卷积步长为1，对第十五层卷积层14输出的f4×f4×n5特征图组进行卷积运算，得到n5个f4×f4的特征图；
第十七层为卷积层16，采用n5个大小为k×k的卷积核，卷积步长为s，分别对第二十四层卷积层23输出的特征图进行卷积运算，得到n5个f5×f5的特征图，并将这些特征图堆叠成一个f5×f5×n5的特征图组，作为第十八层卷积层17的输入，其中f5为正整数，取值范围为[4，32]；
第十八层为卷积层17，采用n6个大小为1×1×n5卷积核，卷积步长为1，对第十七层卷积层16输出的f5×f5×n5特征图组进行卷积运算，得到n6个f5×f5的特征图，其中n6为正整数，取512、1024、2048中的一个；
第十九层为卷积层18，采用n6个大小为k×k的卷积核，卷积步长为s，分别对第十八层卷积层17输出的特征图进行卷积运算，同时进行补零操作，得到n6个f5×f5的特征图，并将这些特征图堆叠成一个f5×f5×n6的特征图组，作为第二十层卷积层19的输入；
第二十层为卷积层19，采用n6个大小为1×1×n6的卷积核，卷积步长为1，对第十九层卷积层18输出的f5×f5×n6特征图组进行卷积运算，得到n6个f5×f5的特征图。
4.根据权利要求1所述的基于移动终端的新生儿疼痛评估方法，其特征在于，所述步骤(2)中的池化层为卷积神经网络的第二十一层，采用均值池化，用f5×f5大小的窗口，以步长1对第二十层卷积层19输出的特征图进行下采样，得到n6个1×1的特征图。
5.根据权利要求1所述的基于移动终端的新生儿疼痛评估方法，其特征在于，所述步骤(2)中的全连接层为卷积神经网络的第二十二层，用于将第二十一层池化层输出的特征图全连接至本层的n7个输出神经元，构成一个n7维的特征向量，其中n7为正整数，取值范围为[512，2048]。
6.根据权利要求1所述的基于移动终端的新生儿疼痛评估方法，其特征在于，所述步骤(2)中的分类层为卷积神经网络的第二十三层，采用Softmax分类器对第二十二层全连接层输出的n7维特征向量进行分类识别。
CN201810105264.1A 2018-02-02 2018-02-02 一种基于移动终端的新生儿疼痛评估方法 Active CN108363969B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810105264.1A CN108363969B (zh) 2018-02-02 2018-02-02 一种基于移动终端的新生儿疼痛评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810105264.1A CN108363969B (zh) 2018-02-02 2018-02-02 一种基于移动终端的新生儿疼痛评估方法

Publications (2)

Publication Number Publication Date
CN108363969A true CN108363969A (zh) 2018-08-03
CN108363969B CN108363969B (zh) 2022-08-26

Family

ID=63004319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810105264.1A Active CN108363969B (zh) 2018-02-02 2018-02-02 一种基于移动终端的新生儿疼痛评估方法

Country Status (1)

Country Link
CN (1) CN108363969B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110251079A (zh) * 2019-05-23 2019-09-20 江苏中科西北星信息科技有限公司 一种用于移动设备的病患疼痛检测方法及系统
CN110321827A (zh) * 2019-06-27 2019-10-11 嘉兴深拓科技有限公司 一种基于人脸疼痛表情视频的疼痛水平评估方法
CN110473630A (zh) * 2019-09-28 2019-11-19 马学磊 一种肿瘤患者心理痛苦评估仪及其评估方法
CN110660454A (zh) * 2019-09-28 2020-01-07 马学磊 一种癌痛实时评估仪及其评估方法
CN111084648A (zh) * 2019-12-31 2020-05-01 青岛市妇女儿童医院（青岛市妇幼保健院、青岛市残疾儿童医疗康复中心、青岛市新生儿疾病筛查中心） 一种医疗护理领域的新生儿脐带结扎用装置
CN111401117A (zh) * 2019-08-14 2020-07-10 南京邮电大学 基于双流卷积神经网络的新生儿疼痛表情识别方法
CN113057599A (zh) * 2021-04-21 2021-07-02 常州市武进人民医院 一种快速评估疼痛的机器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488293A (zh) * 2013-09-12 2014-01-01 北京航空航天大学 一种基于表情识别的人机情感交互系统及方法
CN106778657A (zh) * 2016-12-28 2017-05-31 南京邮电大学 基于卷积神经网络的新生儿疼痛表情分类方法
CN107292256A (zh) * 2017-06-14 2017-10-24 西安电子科技大学 基于辅任务的深度卷积小波神经网络表情识别方法
CN107330393A (zh) * 2017-06-27 2017-11-07 南京邮电大学 一种基于视频分析的新生儿疼痛表情识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488293A (zh) * 2013-09-12 2014-01-01 北京航空航天大学 一种基于表情识别的人机情感交互系统及方法
CN106778657A (zh) * 2016-12-28 2017-05-31 南京邮电大学 基于卷积神经网络的新生儿疼痛表情分类方法
CN107292256A (zh) * 2017-06-14 2017-10-24 西安电子科技大学 基于辅任务的深度卷积小波神经网络表情识别方法
CN107330393A (zh) * 2017-06-27 2017-11-07 南京邮电大学 一种基于视频分析的新生儿疼痛表情识别方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110251079A (zh) * 2019-05-23 2019-09-20 江苏中科西北星信息科技有限公司 一种用于移动设备的病患疼痛检测方法及系统
CN110321827A (zh) * 2019-06-27 2019-10-11 嘉兴深拓科技有限公司 一种基于人脸疼痛表情视频的疼痛水平评估方法
CN111401117A (zh) * 2019-08-14 2020-07-10 南京邮电大学 基于双流卷积神经网络的新生儿疼痛表情识别方法
CN111401117B (zh) * 2019-08-14 2022-08-26 南京邮电大学 基于双流卷积神经网络的新生儿疼痛表情识别方法
CN110473630A (zh) * 2019-09-28 2019-11-19 马学磊 一种肿瘤患者心理痛苦评估仪及其评估方法
CN110660454A (zh) * 2019-09-28 2020-01-07 马学磊 一种癌痛实时评估仪及其评估方法
CN111084648A (zh) * 2019-12-31 2020-05-01 青岛市妇女儿童医院（青岛市妇幼保健院、青岛市残疾儿童医疗康复中心、青岛市新生儿疾病筛查中心） 一种医疗护理领域的新生儿脐带结扎用装置
CN113057599A (zh) * 2021-04-21 2021-07-02 常州市武进人民医院 一种快速评估疼痛的机器

Also Published As

Publication number Publication date
CN108363969B (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
CN108363969A (zh) 一种基于移动终端的新生儿疼痛评估方法
CN106778657A (zh) 基于卷积神经网络的新生儿疼痛表情分类方法
CN110287805B (zh) 基于三流卷积神经网络的微表情识别方法及系统
CN104835507B (zh) 一种串并结合的多模式情感信息融合与识别方法
CN109993093A (zh) 基于面部和呼吸特征的路怒监测方法、系统、设备及介质
CN111462841B (zh) 一种基于知识图谱的抑郁症智能诊断装置及系统
CN108388890A (zh) 一种基于面部表情识别的新生儿疼痛程度评估方法及系统
CN109635727A (zh) 一种人脸表情识别方法及装置
CN108363979A (zh) 基于双通道三维卷积神经网络的新生儿疼痛表情识别方法
CN107066514A (zh) 老年人的情绪识别方法和系统
CN107403142A (zh) 一种微表情的检测方法
CN109615574A (zh) 基于gpu和双尺度图像特征比对的中药识别方法及系统
CN110503076A (zh) 基于人工智能的视频分类方法、装置、设备和介质
CN108596069A (zh) 基于深度3d残差网络的新生儿疼痛表情识别方法及系统
CN110399821A (zh) 基于人脸表情识别的顾客满意度获取方法
CN111785366B (zh) 患者治疗方案的确定方法、装置及计算机设备
CN108205684A (zh) 图像消歧方法、装置、存储介质和电子设备
CN109508755B (zh) 一种基于图像认知的心理测评方法
CN111126280B (zh) 基于融合手势识别的失语症患者辅助康复训练系统及方法
CN109240786A (zh) 一种主题更换方法及电子设备
CN110287918A (zh) 活体识别方法及相关产品
CN112307975A (zh) 融合语音与微表情的多模态情感识别方法及系统
CN108960171B (zh) 一种基于特征迁移学习的转换手势识别到身份识别的方法
CN110135244A (zh) 一种基于脑-机协同智能的表情识别方法
CN104679967B (zh) 一种判断心理测试可靠性的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant