CN115349828A - 一种基于计算机深度学习的新生儿疼痛评估系统 - Google Patents

一种基于计算机深度学习的新生儿疼痛评估系统 Download PDF

Info

Publication number
CN115349828A
CN115349828A CN202211000576.9A CN202211000576A CN115349828A CN 115349828 A CN115349828 A CN 115349828A CN 202211000576 A CN202211000576 A CN 202211000576A CN 115349828 A CN115349828 A CN 115349828A
Authority
CN
China
Prior art keywords
pain
feature
clustering
evaluation
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202211000576.9A
Other languages
English (en)
Inventor
谌绍林
马军亮
柯希贤
刘英杰
程学超
宋永祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Affiliated Hospital of Zunyi Medical University
Original Assignee
Affiliated Hospital of Zunyi Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Affiliated Hospital of Zunyi Medical University filed Critical Affiliated Hospital of Zunyi Medical University
Priority to CN202211000576.9A priority Critical patent/CN115349828A/zh
Publication of CN115349828A publication Critical patent/CN115349828A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4824—Touch or pain perception evaluation
    • A61B5/4827—Touch or pain perception evaluation assessing touch sensitivity, e.g. for evaluation of pain threshold
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Abstract

本发明公开了一种基于计算机深度学习技术的新生儿疼痛评估系统，通过样本数据采集，样本分类及处理，测试集的处理，训练集的处理，建立评估系统服务端，建立评估系统使用终端，系统信效度评估；从新生儿疼痛管理中的难点——新生儿疼痛评估入手，应用计算机深度学习建立一套快速、客观、方便、自动、标准化评估新生儿疼痛评估系统，且将疼痛分为6个级别，突破了目前对计算机辅助疼痛评分仅分为重度疼痛、轻度疼痛、无痛三个级别的缺点，更具有临床适用性；建立新生儿疼痛评估系统的服务端和终端，方便医护人员/非医护人员使用，并能对数据进行实时分析和储存；对该评估系统进行临床应用的信效度评价，以保障该评估工具的准确性和客观性。

Description

一种基于计算机深度学习的新生儿疼痛评估系统
技术领域
本发明属于疼痛评估技术领域，具体涉及一种基于计算机深度学习的新生儿疼痛评估系统。
背景技术
新生儿反复致痛性操作所致疼痛会对其生长发育造成严重影响，可影响其大脑神经系统发育，甚至会引起后期的注意力缺陷、视觉、认知障碍，因此，新生儿疼痛管理工作尤为重要。而新生儿疼痛评估是基础，但目前虽有一些成熟的经信效度评价的量表来进行评估，但普遍存在工具种类多样、方法复杂、需专门培训、不便掌握、费时费力，不同人评估可能结果也不一致，主观性强，且需专业人员专人持续评估、但临床医护人员匮乏等缺点，导致这些工具临床使用率低，新生儿疼痛得不到及时地发现与治疗。因此，急需找到一种自动、客观、快捷、标准化的新生儿疼痛评估新工具。
计算机深度学习是计算机学习样本数据的内在规律和表示层次，它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。它是一个复杂的机器学习算法，在语音和图像识别方面有明显的优势，目前在医学影像诊断学方向应用较多。
新生儿疼痛反应有行为(面部表情、啼哭、肢体活动等)、生理学表现和生化反应三个方面，因此，新生儿疼痛评估主要以一维或多维的测评量表为主。目前临床常用的有新生儿面部编码系统(neonatal facial Coding system,NFCS)、新生儿疼痛评分量表(neonatal infant pain scale,NIPS)、早产儿疼痛评分量表(preterm infant painprofile,PIPP)、CRIES新生儿术后疼痛测量工具(Neonatal Postoperative PainMeasurement Tool)等。但这些量表同时需观察3-10个以上的项目，会耗费大量的时间及人力，而且有时还无法在现场做出实时评估，评估结果受个人的知识、经验、情绪等主观因素的影响，不能完全客观反映新生儿疼痛程度。在临床工作中，新生儿科护士无法耗费太多时间来观察婴幼儿的疼痛特征，造成这些评估工具使用率低。
发明内容
为了解决上述技术问题，本发明提供了一种基于计算机深度学习技术的新生儿疼痛评估系统，为临床医护人员和非专业人员提供一种自动、客观、快捷、标准化的新生儿疼痛评估新工具，减少医护人员工作量，有助于医护人员及时识别新生儿疼痛或评价疼痛管理效果，以降低反复致痛性操作或检查所致的新生儿疼痛及疼痛对新生儿生长发育的影响；
为了达到上述技术目的，本发明是通过以下技术方案实现的：一种基于计算机深度学习技术的新生儿疼痛评估系统，包括以下步骤：
S1：样本数据采集：使用一组100度夹角无畸变双目摄像头模组，在距离受试婴儿面部40-60cm处拍摄分辨率为720*1280，帧速率为30.00帧/秒的新生儿足跟采血所致疼痛面容视频；
S2：样本分类及处理：随机抽取20个视频样本作为测试集，其余的作为训练集；
S3：测试集的处理：将随机抽取的20例视频样本，每秒随机抽取1帧图片，共360张，作为测试图片数据集，由两名经培训的专业人员对该图片采用人工NFCS量表评分，若评分不一致，咨询第三名专业人员，共同商讨确定评分，并将该评分作为该图片疼痛评分(0-9分)进行图片数据标记。再将两分为一个步长分为6个等级(0、1-2、3-4、5-6、7-8、9)，将测试图片分6类，作为数据集，以作为后期检测模型可信度的标准；该测试数据集样本不纳入建模样本；
S4：训练集的处理：基于深度学习的聚类算法模型，将深度学习和聚类技术结合起来；首先用深层神经网络结构对原始数据进行特征学习，然后对学习到的特征表示进行预聚类，最后在微调模块中进行特征和聚类的优化；训练集的处理总体为分为三大部分：特征点及特征向量的提取、聚类法生成模型、验证聚类法生成的模型；
S5：建立评估系统服务端：将研究取得的模型及有关运算逻辑上传至云端并运行，作为评估系统的服务端；
S6：建立评估系统使用终端：通过任意带有视频拍摄功能并具备网络视频传输功能的终端，用微信新生儿疼痛评估小程序自动拍摄疼痛面容并上传至评估系统服务端，而后自动从评估系统服务端拉取并显示对应的疼痛评分及级别信息，同时给出处理推荐意见；
S7：系统信效度评估：用新生儿评估系统和2名专业人员用NFCS量表同时评估100例足跟采血操作的新生儿疼痛水平，收集数据，分析效标关联效度、区分效度、重测信度、准确度、敏感度和特异度、ROC曲线(受试者工作特征曲线)和AUC(ROC曲线下的面积)；通过ROC曲线和AUC以发现最佳临界值指标和诊断准确性；
优选的，所述S2中样本数据处理方法为：将原始视频，利用消息摘要算法(Message-Digest Algorithm)生成唯一的MD5码，作为该视频的唯一标识；同时将原始视频逐帧提取为以MD5码加时间戳形式命名的JPEG格式图片序列，剔除无效帧，从而形成全局图片数据库；
优选的，所述NFCS量表评分包括皱眉、挤眼、鼻唇沟加深、张口、嘴垂直伸展、嘴水平伸展、舌紧绷(呈杯状)、下颌颤动、缩唇、伸舌(仅用于早产儿)10项，每项有评分1分，无评0分，总分0-10分(早产儿)或0-9分(新生儿)；得分越高疼痛程度越重；
优选的，所述训练集处理中特征点及特征向量提取方法为：采用基于计算机深度学习技术的OpenFace_2.2.0面部特征点分析软件包对所采集的视频进行特征点和特征向量的提取；用该软件进行逐帧分析，用深层神经网络结构对原始数据进行特征学习，经过人脸转正、光流直方图生成、面部特征点标记、特征点活动强度判断，最终以单个视频文件为单位生成逗号分隔符(Comma-Separated Values,CSV)文件；该CSV文件以时间戳(timestamp)的形式对帧在单个视频文件内进行唯一标识，并包含了帧内的特征向量、特征点(feature points)参数，人脸识别置信度(confidence)，人脸识别成功(success)逻辑值等内容；
优选的，所述训练集处理中聚类法生成模型方法为：采用K-均值聚类算法(K-Means)及其改进算法对训练集中的特征向量进行划分聚类从而生成包含6个聚类中心的模型，采用以下算法实现：首先从n个数据对象中任意选择k个特征点作为初始聚类中心；而对于所剩下的其它特征点，则根据他们与这些聚类中心的相似度(距离)，分别将他们分配给与其最相似的(聚类中心所代表的)聚类；然后再计算每个所新聚类的聚类中心(该聚类中所有特征点的均值)；不断重复这一过程直到标准测度函数开始收敛为止；采用均方差作为标准测度函数，具体定义：
Figure BDA0003807200370000051
其中，E为训练集中所有特征向量的均方差之和；P为特征向量所构成的特征空间中的一个点；mi为聚类Ci的均值(P和mi均是多维的)；
经过上述聚类过程后可生成一个包含六个聚类中心的聚类模型，聚类中心是其所在类别在特征空间中的质心，对应的是该类别中特异性最强的新生儿疼痛面容图片；由两名经培训的专业人员对该6张图片采用人工NFCS量表评分和分级，若评分不一致，咨询第三名专业人员，共同商讨确定评分和分级，并将最终确定的疼痛等级分别作为6个聚类中心疼痛等级，为6个聚类进行命名，作为6种疼痛等级在特征点及特征向量层面的划分标准；
优选的，所述验证聚类法生成的模型方法为：将与待测新生儿疼痛面容特征向量的欧氏距离最近的聚类中心的等级作为待测新生儿疼痛面容的疼痛等级；欧氏距离在n维空间的计算公式为：
Figure BDA0003807200370000052
优选的，所述评估系统服务端采用一台配置为CPU：2核8GiB GPU：1*P4的华为云云计算实例作为计算服务器，一台配置为1核|2GB的华为云MySQL数据库实例用于评估结果存储；
优选的，所述评估系统使用终端采集的视频在RTP协议下实时传输至评估系统服务端，再通过调用OpenFace_2.2.0面部特征点分析软件包对接收到的视频以30帧每秒的速度进行特征点及特征向量的提取，并将其传输给评估模型进行实时或准实时的疼痛等级评估；评估模型会对每一帧有效帧进行评分并实时返回结果至评估系统使用终端；在每次评估完一段视频后选取置信度大于80％且疼痛等级最高的评分作为整体评分。
本发明的有益效果是：
1)本发明从新生儿疼痛管理中的难点——新生儿疼痛评估入手，应用计算机深度学习建立一套快速、客观、方便、自动、标准化评估新生儿疼痛评估系统，且将疼痛分为6个级别，突破了目前对计算机辅助疼痛评分仅分为重度疼痛、轻度疼痛、无痛三个级别的缺点，更具有临床适用性；
2)建立新生儿疼痛评估系统的服务端和终端，方便医护人员/非医护人员使用，并能对数据进行实时分析和储存；
3)对该评估系统进行临床应用的信效度评价，以保障该评估工具的准确性和客观性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的模型构建技术路线示意图；
图2是本发明的婴儿疼痛面容(人脸转正处理)示意图；
图3是本发明的婴儿疼痛面容(光流直方图)；
图4是本发明面部特征点提取示意图；
图5是本发明特征点活动强度示意图；
图6是本发明训练集划分聚类过程；
图7是本发明终端显示界面示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围；
实施例1
一种基于计算机深度学习技术的新生儿疼痛评估系统，包括以下步骤：
S1：样本数据采集：使用一组100度夹角无畸变双目摄像头模组，在距离受试婴儿面部40-60cm处拍摄分辨率为720*1280，帧速率为30.00帧/秒的新生儿足跟采血所致疼痛面容视频；
S2：样本分类及处理：随机抽取20个视频样本作为测试集，其余的作为训练集；
S3：测试集的处理：将随机抽取的20例视频样本，每秒随机抽取1帧图片，共360张，作为测试图片数据集，由两名经培训的专业人员对该图片采用人工NFCS量表评分，若评分不一致，咨询第三名专业人员，共同商讨确定评分，并将该评分作为该图片疼痛评分(0-9分)进行图片数据标记。再将两分为一个步长分为6个等级(0、1-2、3-4、5-6、7-8、9)，将测试图片分6类，作为数据集，以作为后期检测模型可信度的标准；该测试数据集样本不纳入建模样本；
S4：训练集的处理：基于深度学习的聚类算法模型，将深度学习和聚类技术结合起来；首先用深层神经网络结构对原始数据进行特征学习，然后对学习到的特征表示进行预聚类，最后在微调模块中进行特征和聚类的优化；训练集的处理总体为分为三大部分：特征点及特征向量的提取、聚类法生成模型、验证聚类法生成的模型；
S5：建立评估系统服务端：将研究取得的模型及有关运算逻辑上传至云端并运行，作为评估系统的服务端；
S6：建立评估系统使用终端：通过任意带有视频拍摄功能并具备网络视频传输功能的终端，用微信新生儿疼痛评估小程序自动拍摄疼痛面容并上传至评估系统服务端，而后自动从评估系统服务端拉取并显示对应的疼痛评分及级别信息，同时给出处理推荐意见；
S7：系统信效度评估：用新生儿评估系统和2名专业人员用NFCS量表同时评估100例足跟采血操作的新生儿疼痛水平，收集数据，分析效标关联效度、区分效度、重测信度、准确度、敏感度和特异度、ROC曲线(受试者工作特征曲线)和AUC(ROC曲线下的面积)；通过ROC曲线和AUC以发现最佳临界值指标和诊断准确性；
优选的，所述S2中样本数据处理方法为：将原始视频，利用消息摘要算法(Message-Digest Algorithm)生成唯一的MD5码，作为该视频的唯一标识；同时将原始视频逐帧提取为以MD5码加时间戳形式命名的JPEG格式图片序列，剔除无效帧，从而形成全局图片数据库；
优选的，所述NFCS量表评分包括皱眉、挤眼、鼻唇沟加深、张口、嘴垂直伸展、嘴水平伸展、舌紧绷(呈杯状)、下颌颤动、缩唇、伸舌(仅用于早产儿)10项，每项有评分1分，无评0分，总分0-10分(早产儿)或0-9分(新生儿)；得分越高疼痛程度越重；
优选的，所述训练集处理中特征点及特征向量提取方法为：采用基于计算机深度学习技术的OpenFace_2.2.0面部特征点分析软件包对所采集的视频进行特征点和特征向量的提取；用该软件进行逐帧分析，用深层神经网络结构对原始数据进行特征学习，经过人脸转正、光流直方图生成、面部特征点标记、特征点活动强度判断，最终以单个视频文件为单位生成逗号分隔符(Comma-Separated Values,CSV)文件；该CSV文件以时间戳(timestamp)的形式对帧在单个视频文件内进行唯一标识，并包含了帧内的特征向量、特征点(feature points)参数，人脸识别置信度(confidence)，人脸识别成功(success)逻辑值等内容；
优选的，所述训练集处理中聚类法生成模型方法为：采用K-均值聚类算法(K-Means)及其改进算法对训练集中的特征向量进行划分聚类从而生成包含6个聚类中心的模型，采用以下算法实现：首先从n个数据对象中任意选择k个特征点作为初始聚类中心；而对于所剩下的其它特征点，则根据他们与这些聚类中心的相似度(距离)，分别将他们分配给与其最相似的(聚类中心所代表的)聚类；然后再计算每个所新聚类的聚类中心(该聚类中所有特征点的均值)；不断重复这一过程直到标准测度函数开始收敛为止；采用均方差作为标准测度函数，具体定义：
Figure BDA0003807200370000101
其中，E为训练集中所有特征向量的均方差之和；P为特征向量所构成的特征空间中的一个点；mi为聚类Ci的均值(P和mi均是多维的)；
经过上述聚类过程后可生成一个包含六个聚类中心的聚类模型，聚类中心是其所在类别在特征空间中的质心，对应的是该类别中特异性最强的新生儿疼痛面容图片；由两名经培训的专业人员对该6张图片采用人工NFCS量表评分和分级，若评分不一致，咨询第三名专业人员，共同商讨确定评分和分级，并将最终确定的疼痛等级分别作为6个聚类中心疼痛等级，为6个聚类进行命名，作为6种疼痛等级在特征点及特征向量层面的划分标准；
优选的，所述验证聚类法生成的模型方法为：将与待测新生儿疼痛面容特征向量的欧氏距离最近的聚类中心的等级作为待测新生儿疼痛面容的疼痛等级；欧氏距离在n维空间的计算公式为：
Figure BDA0003807200370000111
优选的，所述评估系统服务端采用一台配置为CPU：2核8GiB GPU：1*P4的华为云云计算实例作为计算服务器，一台配置为1核|2GB的华为云MySQL数据库实例用于评估结果存储；
优选的，所述评估系统使用终端采集的视频在RTP协议下实时传输至评估系统服务端，再通过调用OpenFace_2.2.0面部特征点分析软件包对接收到的视频以30帧每秒的速度进行特征点及特征向量的提取，并将其传输给评估模型进行实时或准实时的疼痛等级评估；评估模型会对每一帧有效帧进行评分并实时返回结果至评估系统使用终端；在每次评估完一段视频后选取置信度大于80％且疼痛等级最高的评分作为整体评分。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (8)

1.一种基于计算机深度学习技术的新生儿疼痛评估系统，其特征在于，包括以下步骤：
S1：样本数据采集：使用一组100度夹角无畸变双目摄像头模组，在距离受试婴儿面部40-60cm处拍摄分辨率为720*1280，帧速率为30.00帧/秒的新生儿足跟采血所致疼痛面容视频；
S2：样本分类及处理：随机抽取20个视频样本作为测试集，其余的作为训练集；
S3：测试集的处理：将随机抽取的20例视频样本，每秒随机抽取1帧图片，共360张，作为测试图片数据集，由两名经培训的专业人员对该图片采用人工NFCS量表评分，若评分不一致，咨询第三名专业人员，共同商讨确定评分，并将0-9分作为该图片疼痛评分进行图片数据标记；再将两分为一个步长分为6个等级分别为：0、1-2、3-4、5-6、7-8、9，将测试图片分6类，作为数据集，以作为后期检测模型可信度的标准；该测试数据集样本不纳入建模样本；
S4：训练集的处理：基于深度学习的聚类算法模型，将深度学习和聚类技术结合起来；首先用深层神经网络结构对原始数据进行特征学习，然后对学习到的特征表示进行预聚类，最后在微调模块中进行特征和聚类的优化；训练集的处理总体为分为三大部分：特征点及特征向量的提取、聚类法生成模型、验证聚类法生成的模型；
S5：建立评估系统服务端：将研究取得的模型及有关运算逻辑上传至云端并运行，作为评估系统的服务端；
S6：建立评估系统使用终端：通过任意带有视频拍摄功能并具备网络视频传输功能的终端，用微信新生儿疼痛评估小程序自动拍摄疼痛面容并上传至评估系统服务端，而后自动从评估系统服务端拉取并显示对应的疼痛评分及级别信息，同时给出处理推荐意见；
S7：系统信效度评估：用新生儿评估系统和2名专业人员用NFCS量表同时评估100例足跟采血操作的新生儿疼痛水平，收集数据，分析效标关联效度、区分效度、重测信度、准确度、敏感度和特异度、ROC曲线和AUC；通过ROC曲线和AUC以发现最佳临界值指标和诊断准确性。
2.根据权利要求1所述一种基于计算机深度学习技术的新生儿疼痛评估系统，其特征在于，所述S2中样本数据处理方法为：将原始视频，利用消息摘要算法—Message-DigestAlgorithm生成唯一的MD5码，作为该视频的唯一标识；同时将原始视频逐帧提取为以MD5码加时间戳形式命名的JPEG格式图片序列，剔除无效帧，从而形成全局图片数据库。
3.根据权利要求1所述一种基于计算机深度学习技术的新生儿疼痛评估系统，其特征在于，所述NFCS量表评分包括皱眉、挤眼、鼻唇沟加深、张口、嘴垂直伸展、嘴水平伸展、舌紧绷、下颌颤动、缩唇、伸舌10项，每项有评分1分，无评0分，早产儿总分0-10分或新生儿0-9分；得分越高疼痛程度越重。
4.根据权利要求1所述一种基于计算机深度学习技术的新生儿疼痛评估系统，其特征在于，所述训练集处理中特征点及特征向量提取方法为：采用基于计算机深度学习技术的OpenFace_2.2.0面部特征点分析软件包对所采集的视频进行特征点和特征向量的提取；用该软件进行逐帧分析，用深层神经网络结构对原始数据进行特征学习，经过人脸转正、光流直方图生成、面部特征点标记、特征点活动强度判断，最终以单个视频文件为单位生成逗号分隔符CSV文件；该CSV文件以时间戳的形式对帧在单个视频文件内进行唯一标识，并包含了帧内的特征向量、特征点参数，人脸识别置信度，人脸识别成功逻辑值等内容。
5.根据权利要求1所述一种基于计算机深度学习技术的新生儿疼痛评估系统，其特征在于，所述训练集处理中聚类法生成模型方法为：采用K-均值聚类算法—K-Means及其改进算法对训练集中的特征向量进行划分聚类从而生成包含6个聚类中心的模型，采用以下算法实现：首先从n个数据对象中任意选择k个特征点作为初始聚类中心；而对于所剩下的其它特征点，则根据他们与这些聚类中心的相似度，分别将他们分配给与其最相似的聚类；然后再计算每个所新聚类的聚类中心；不断重复这一过程直到标准测度函数开始收敛为止；采用均方差作为标准测度函数，具体定义：
Figure FDA0003807200360000031
其中，E为训练集中所有特征向量的均方差之和；P为特征向量所构成的特征空间中的一个点；mi为聚类Ci的均值，P和mi均是多维的；
经过上述聚类过程后可生成一个包含六个聚类中心的聚类模型，聚类中心是其所在类别在特征空间中的质心，对应的是该类别中特异性最强的新生儿疼痛面容图片；由两名经培训的专业人员对该6张图片采用人工NFCS量表评分和分级，若评分不一致，咨询第三名专业人员，共同商讨确定评分和分级，并将最终确定的疼痛等级分别作为6个聚类中心疼痛等级，为6个聚类进行命名，作为6种疼痛等级在特征点及特征向量层面的划分标准。
6.根据权利要求1所述一种基于计算机深度学习技术的新生儿疼痛评估系统，其特征在于，所述验证聚类法生成的模型方法为：将与待测新生儿疼痛面容特征向量的欧氏距离最近的聚类中心的等级作为待测新生儿疼痛面容的疼痛等级；欧氏距离在n维空间的计算公式为：
Figure FDA0003807200360000041
7.根据权利要求1所述一种基于计算机深度学习技术的新生儿疼痛评估系统，其特征在于，所述评估系统服务端采用一台配置为CPU：2核8GiB GPU：1*P4的华为云云计算实例作为计算服务器，一台配置为1核|2GB的华为云MySQL数据库实例用于评估结果存储。
8.根据权利要求1所述一种基于计算机深度学习技术的新生儿疼痛评估系统，其特征在于，所述评估系统使用终端采集的视频在RTP协议下实时传输至评估系统服务端，再通过调用OpenFace_2.2.0面部特征点分析软件包对接收到的视频以30帧每秒的速度进行特征点及特征向量的提取，并将其传输给评估模型进行实时或准实时的疼痛等级评估；评估模型会对每一帧有效帧进行评分并实时返回结果至评估系统使用终端；在每次评估完一段视频后选取置信度大于80％且疼痛等级最高的评分作为整体评分。
CN202211000576.9A 2022-08-19 2022-08-19 一种基于计算机深度学习的新生儿疼痛评估系统 Withdrawn CN115349828A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211000576.9A CN115349828A (zh) 2022-08-19 2022-08-19 一种基于计算机深度学习的新生儿疼痛评估系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211000576.9A CN115349828A (zh) 2022-08-19 2022-08-19 一种基于计算机深度学习的新生儿疼痛评估系统

Publications (1)

Publication Number Publication Date
CN115349828A true CN115349828A (zh) 2022-11-18

Family

ID=84003117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211000576.9A Withdrawn CN115349828A (zh) 2022-08-19 2022-08-19 一种基于计算机深度学习的新生儿疼痛评估系统

Country Status (1)

Country Link
CN (1) CN115349828A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117038055A (zh) * 2023-07-05 2023-11-10 广州市妇女儿童医疗中心 一种基于多专家模型的疼痛评估方法、系统、装置及介质
CN117153424A (zh) * 2023-11-01 2023-12-01 北京遥领医疗科技有限公司 中心化疗效评估方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117038055A (zh) * 2023-07-05 2023-11-10 广州市妇女儿童医疗中心 一种基于多专家模型的疼痛评估方法、系统、装置及介质
CN117038055B (zh) * 2023-07-05 2024-04-02 广州市妇女儿童医疗中心 一种基于多专家模型的疼痛评估方法、系统、装置及介质
CN117153424A (zh) * 2023-11-01 2023-12-01 北京遥领医疗科技有限公司 中心化疗效评估方法及系统
CN117153424B (zh) * 2023-11-01 2024-02-23 北京遥领医疗科技有限公司 中心化疗效评估方法及系统

Similar Documents

Publication Publication Date Title
CN115349828A (zh) 一种基于计算机深度学习的新生儿疼痛评估系统
CN112861624A (zh) 一种人体姿态检测方法、系统、存储介质、设备及终端
CN113069080B (zh) 一种基于人工智能的困难气道评估方法及装置
CN110135242B (zh) 基于低分辨率红外热成像深度感知的情绪识别装置及方法
Wang et al. Screening early children with autism spectrum disorder via response-to-name protocol
WO2021068781A1 (zh) 一种疲劳状态识别方法、装置和设备
CN114209324B (zh) 基于图像视觉认知的心理测评数据获取方法及vr系统
CN111528859A (zh) 基于多模态深度学习技术的儿童adhd筛查评估系统
CN109508755B (zh) 一种基于图像认知的心理测评方法
CN107887032A (zh) 一种数据处理方法及装置
CN111887867A (zh) 基于表情识别与心理学测试生成性格的分析方法及系统
CN114358194A (zh) 基于姿态跟踪的孤独症谱系障碍异常肢体行为检测方法
CN111428655A (zh) 一种基于深度学习的头皮检测方法
CN115120196A (zh) 一种用于评估认知障碍的数字生物标志物
WO2023012818A1 (en) A non-invasive multimodal screening and assessment system for human health monitoring and a method thereof
CN114550299A (zh) 基于视频的老年人日常生活活动能力评估系统和方法
CN110364260A (zh) 基于指示性语言范式的孤独症早期评估装置及系统
Wang et al. Student physical fitness test system and test data analysis system based on computer vision
CN111341444B (zh) 智能绘画评分方法及系统
CN107194918B (zh) 数据分析方法及装置
Lu et al. Video-based neonatal pain expression recognition with cross-stream attention
CN115661101A (zh) 基于随机采样和深度学习的早产儿视网膜病变检测系统
CN115444422A (zh) 一种基于眼动数据的真实环境心理负荷评估方法和系统
WO2022142368A1 (en) Rapid screen system based on eye region image
Yao et al. An intelligent augmented lifelike avatar app for virtual physical examination of suspected strokes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20221118

WW01 Invention patent application withdrawn after publication