CN110660454A - 一种癌痛实时评估仪及其评估方法 - Google Patents

一种癌痛实时评估仪及其评估方法 Download PDF

Info

Publication number
CN110660454A
CN110660454A CN201910928604.5A CN201910928604A CN110660454A CN 110660454 A CN110660454 A CN 110660454A CN 201910928604 A CN201910928604 A CN 201910928604A CN 110660454 A CN110660454 A CN 110660454A
Authority
CN
China
Prior art keywords
face image
real
patient
cancer pain
extracting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910928604.5A
Other languages
English (en)
Inventor
马学磊
王健
宋心迪
周家豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910928604.5A priority Critical patent/CN110660454A/zh
Publication of CN110660454A publication Critical patent/CN110660454A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Primary Health Care (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)

Abstract

本发明公开了一种癌痛实时评估仪及其评估方法，其包括：S1、确定研究对象，提取其临床参数，并基于量表评估结果构建研究对象的临床数据库；S2、获取研究对象人脸图像和对应的标定真实值；S3、处理研究对象人脸图像资料，采用特征提取算法提取患者面部表情特征数据集；S4、采用精确度测试验证训练结果，构建卷积神经网络算法模型；S5、输入患者人脸图像，提取其面部表情特征，并基于训练完成的卷积神经网络算法模型输出患者心理痛苦程度。

Description

一种癌痛实时评估仪及其评估方法
技术领域
本发明属于心理评估的技术领域，具体涉及一种癌痛实时评估仪及其评估方法。
背景技术
癌症疼痛指癌症及其相关性病变所致的疼痛。据WHO统计，癌症患者疼痛发生率约30％-50％，晚期癌症患者疼痛的发生率高达75％以上。癌痛治疗方案的制定基于对患者疼痛程度的评估，但目前的评估手段比较局限，主要通过患者填写量表进行自我评估。这种方法易受患者心理精神状况和其他外界因素影响，主观性强，准确性欠佳、相对耗时耗力、结果有不稳定的重复性。这是造成临床上癌痛患者未能得到足够止痛治疗的现象普遍存在的一大重要原因。寻求客观、准确、稳定的疼痛程度评估新技术十分迫切。
研究显示，面部表情能很好地反映患者的疼痛，且不受患者的年龄、性别、认知水平和疼痛类型影响，与患者自评分数有相关性。
目前临床上使用患者自填的疼痛评估量表进行癌痛程度评估，最常用的为数字分级法(numerical rating scale,NRS)：用0-10代表不同程度的疼痛，0为无痛，10为剧痛。让患者自己圈出一个最能代表自身疼痛程度的数字。1-3为轻度疼痛，4-6为中度疼痛，7-10为重度疼痛。
患者通过填写量表进行疼痛程度的自我评估，这种方法易受患者心理精神状况和其他外界因素影响，主观性强，准确性欠佳、相对耗时耗力、结果有不稳定的重复性。癌症侵及中枢神经系统可导致意识障碍、精神障碍，相当一部分癌症患者为老年人或儿童，这些患者可能无法正确评估自身感受，也无法很好地进行交流，更加大了癌痛评估的难度。
发明内容
本发明的目的在于针对现有技术中的上述不足，提供一种癌痛实时评估仪及其评估方法，以解决现有临床癌痛患者疼痛程度自我评估量表结果主观性强、准确性不足、结果不稳定、易受患者心理精神状况和其他外界因素影响的问题。
为达到上述目的，本发明采取的技术方案是：
一种癌痛实时评估评估方法，其包括：
S1、确定研究对象，提取其临床参数，并基于量表评估结果构建研究对象的临床数据库；
S2、获取研究对象人脸图像和对应的标定真实值；
S3、处理研究对象人脸图像资料，采用特征提取算法提取患者面部表情特征数据集；
S4、采用精确度测试验证训练结果，构建卷积神经网络算法模型；
S5、输入患者人脸图像，提取其面部表情特征，并基于训练完成的卷积神经网络算法模型输出患者心理痛苦程度。
优选地，研究对象临床参数包括：年龄、性别、组织学类型、肿瘤大小和分期。
优选地，卷积神经网络算法模型训练的步骤包括：
对研究对象的人脸图像做人脸检测，获得人脸在图像中的坐标位置和区域大小，进而提取出人脸框图片；
检测人脸面部表情显著特征点位置，对人脸图像做人脸对齐；
裁剪人脸图像并输入到卷积神经网络算法模型中，提取面部表情特征，并以人工标注的分级信息为图像标签；
训练特征提取器和分类器，分类器将对输入人脸图像的分级信息进行预测。
一种癌痛实时评估方法，包括设置于装置本体上的微处理器、摄像头和显示屏；摄像头和显示屏均与微处理器电性连接；微处理器分别与键盘、电源和存储模块相连；摄像头设置于装置本体的一侧，显示屏和键盘设置于装置本体的另一侧。
优选地，微处理器为STM32F4单片机。
优选地，摄像头为OV7725型号摄像头。
优选地，显示屏为OLED显示屏。
本发明提供的癌痛实时评估仪及其评估方法，具有以下有益效果：
本发明通过构建临床数据库进行CNN算法模型训练，并对训练结果的正确性进行验证，实现对肿瘤患者心理痛苦等级的评估分级，解决了传统临床肿瘤患者心理痛苦程度自我评估量表结果主观性强、准确性不足、结果不稳定、易受患者各种内、外界因素影响的问题。
附图说明
图1为肿瘤患者心理痛苦评估方法的流程图。
图2为肿瘤患者心理痛苦评估仪的原理框图。
图3为肿瘤患者心理痛苦评估仪的外部结构图。
图4为摄像头接口电路图。
图5为按键电路图。
图6为微处理器及其外围电路图。
图7为显示屏接口电路图。
图8为模型输出效果图。
其中，1、装置本体；2、显示屏；3、键盘；4、摄像头。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
根据本申请的一个实施例，参考图2-7，本方案的癌痛实时评估仪及其评估方法，包括装置本体1，微处理器嵌入装置本体1内部，装置本体1上设置摄像头4、显示屏2和键盘3。
摄像头4、显示屏2和键盘3均与微处理器电性连接，微处理器分别与电源和存储模块相连。
摄像头4设置于装置本体1的一侧，显示屏2和键盘3设置于装置本体1的另一侧。
其中，微处理器选用STM32F4单片机。
摄像头4为OV7725型号摄像头4，用于拍摄患者脸部图像信息。
显示屏2为OLED显示屏2，用于显示当前患者的心理痛苦等级。
本方案的工作原理为：
当微处理器接收到按键按下信号时，微处理器向摄像头4发送拍照命令，摄像头4拍取患者脸部图像信息，微处理器接受该图片信息，利用微处理器内部已经训练完成的CNN(卷积神经网络算法)算法模型，完成患者的心理评估，并实时地将心理痛苦等级显示在显示屏2上。
当患者自述感到内心痛苦时，将装置本体1上的摄像头4对准患者面部进行拍摄，该仪器可自动识别患者人脸图像中的面部表情特征，在显示屏2上显示出该患者心理痛苦程度的分级。
根据本申请一个实施例，参考图1和图8，一种癌痛实时评估仪及其评估方法，其包括：
S1、确定研究对象，提取其临床参数，并基于量表评估结果构建研究对象的临床数据库；
S2、获取研究对象人脸图像和对应的标定真实值；
S3、处理研究对象人脸图像资料，采用特征提取算法提取患者面部表情特征数据集；
S4、采用精确度测试验证训练结果，构建卷积神经网络算法模型；
S5、输入患者人脸图像，提取其面部表情特征，并基于训练完成的卷积神经网络算法模型输出患者心理痛苦程度。
以下对上述步骤进行详细说明：
构建临床数据库
本发明数据来自四川大学华西医院肿瘤病房，共计纳入500例癌症患者。临床参数包括年龄、性别、组织学类型、肿瘤大小和分期等均被记录在内。
纳入标准为：经病理诊断确诊为癌症。
排除标准为：①无法准确观察到面部表情的患者，如面部神经损伤、面部肌肉损伤、颜面部有大面积缺损等。②无法交流的患者，如意识障碍等。③不愿意配合的患者。
癌症患者人脸图像由摄像机拍摄获得，包括视频文件和静态图像，内容为患者填写相关量表时的面部表情。
图像对应的癌症疼痛程度标签由患者填写的数字分级法疼痛评估量表(numerical rating scale,NRS)获得，量表评估结果用于建立临床数据库。
模型训练和验证
基于临床数据库进行CNN算法模型训练。
首先对人脸图像做人脸检测，获得人脸在图像中的坐标位置和区域大小等关键信息(Facial landmark)，从而提取出人脸框图片。
检测人脸面部表情的显著特征点的位置(嘴巴、鼻子、眼睛、眉毛和脸部轮廓等)，由于采集图像中人脸角度、姿态各异，需再对人脸图像做人脸对齐(Facial alignment)。
将裁剪出来的人脸图像，输入到模型中，提取面部表情特征，并以人工标注的分级信息为图像标签。
训练特征提取器和分类器，分类器将对输入人脸图像的分级信息进行预测，使用精确度测试(Accuracy Test)评价其根据患者面部表情进行癌痛程度的分级能力。
完成模型训练后，能实时智能识别肿瘤患者的人脸图像，根据其面部表情特征判断其心理痛苦程度。当患者自述感到内心痛苦时，将仪器摄像头4对准患者面部进行拍摄，该仪器可自动识别患者人脸图像中的面部表情特征，在屏幕上显示出该患者心理痛苦程度的分级。
本发明通过构建临床数据库进行CNN算法模型训练，并对训练结果的正确性进行验证，实现对肿瘤患者心理痛苦等级的评估分级，解决了传统临床肿瘤患者心理痛苦程度自我评估量表结果主观性强、准确性不足、结果不稳定、易受患者各种内、外界因素影响的问题。
虽然结合附图对发明的具体实施方式进行了详细地描述，但不应理解为对本专利的保护范围的限定。在权利要求书所描述的范围内，本领域技术人员不经创造性劳动即可做出的各种修改和变形仍属本专利的保护范围。

Claims (7)

1.一种癌痛实时评估方法，其特征在于，包括：
S1、确定研究对象，提取其临床参数，并基于量表评估结果构建研究对象的临床数据库；
S2、获取研究对象人脸图像和对应的标定真实值；
S3、处理研究对象人脸图像资料，采用特征提取算法提取患者面部表情特征数据集；
S4、采用精确度测试验证训练结果，构建卷积神经网络算法模型；
S5、输入患者人脸图像，提取其面部表情特征，并基于训练完成的卷积神经网络算法模型输出患者心理痛苦程度。
2.根据权利要求1所述的癌痛实时评估方法，其特征在于：研究对象临床参数包括：年龄、性别、组织学类型、肿瘤大小和分期。
3.根据权利要求1所述的癌痛实时评估方法，其特征在于，所述卷积神经网络算法模型训练的步骤包括：
对研究对象的人脸图像做人脸检测，获得人脸在图像中的坐标位置和区域大小，进而提取出人脸框图片；
检测人脸面部表情显著特征点位置，对人脸图像做人脸对齐；
裁剪人脸图像并输入到卷积神经网络算法模型中，提取面部表情特征，并以人工标注的分级信息为图像标签；
训练特征提取器和分类器，分类器将对输入人脸图像的分级信息进行预测。
4.一种用于权利要求1-3任一所述的癌痛实时评估方法的评估仪，其特征在于：包括设置于装置本体上的微处理器、摄像头和显示屏；所述摄像头和显示屏均与微处理器电性连接；所述微处理器分别与键盘、电源和存储模块相连；所述摄像头设置于装置本体的一侧，显示屏和键盘设置于装置本体的另一侧。
5.根据权利要求4所述的癌痛实时评估，其特征在于：所述微处理器为STM32F4单片机。
6.根据权利要求4所述的癌痛实时评估，其特征在于：所述摄像头为OV7725型号摄像头。
7.根据权利要求4所述的癌痛实时评估，其特征在于：所述显示屏为OLED显示屏。
CN201910928604.5A 2019-09-28 2019-09-28 一种癌痛实时评估仪及其评估方法 Pending CN110660454A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910928604.5A CN110660454A (zh) 2019-09-28 2019-09-28 一种癌痛实时评估仪及其评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910928604.5A CN110660454A (zh) 2019-09-28 2019-09-28 一种癌痛实时评估仪及其评估方法

Publications (1)

Publication Number Publication Date
CN110660454A true CN110660454A (zh) 2020-01-07

Family

ID=69039622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910928604.5A Pending CN110660454A (zh) 2019-09-28 2019-09-28 一种癌痛实时评估仪及其评估方法

Country Status (1)

Country Link
CN (1) CN110660454A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112164436A (zh) * 2020-10-10 2021-01-01 杭州福嵩科技有限责任公司 一种基于人脸识别的人工智能实时医疗方案调整系统及其方法
CN112704510A (zh) * 2020-12-18 2021-04-27 上海联影医疗科技股份有限公司 乳腺x射线成像方法及系统
CN113057599A (zh) * 2021-04-21 2021-07-02 常州市武进人民医院 一种快速评估疼痛的机器
CN114224286A (zh) * 2020-09-08 2022-03-25 上海联影医疗科技股份有限公司 一种乳腺检查的压迫方法、装置、终端和介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358180A (zh) * 2017-06-28 2017-11-17 江苏爱朋医疗科技股份有限公司 一种人脸表情的疼痛评估方法
CN107463790A (zh) * 2017-08-22 2017-12-12 青海缘杰心理咨询服务有限公司 一种心理健康医疗系统
CN107595304A (zh) * 2017-09-11 2018-01-19 杨文君 一种情绪测试方法和系统
CN108108677A (zh) * 2017-12-12 2018-06-01 重庆邮电大学 一种基于改进的cnn人脸表情识别方法
CN108363969A (zh) * 2018-02-02 2018-08-03 南京邮电大学 一种基于移动终端的新生儿疼痛评估方法
CN108388890A (zh) * 2018-03-26 2018-08-10 南京邮电大学 一种基于面部表情识别的新生儿疼痛程度评估方法及系统
CN108564042A (zh) * 2018-04-17 2018-09-21 谭红春 一种基于肝豆状核变性患者的人脸表情识别系统
CN109036519A (zh) * 2018-07-24 2018-12-18 四川大学华西医院 虚拟体验减压方法及装置
CN208625678U (zh) * 2018-03-28 2019-03-22 郑州大学第二附属医院 一种新型疼痛评估尺
CN109934204A (zh) * 2019-03-22 2019-06-25 重庆邮电大学 一种基于卷积神经网络的人脸表情识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358180A (zh) * 2017-06-28 2017-11-17 江苏爱朋医疗科技股份有限公司 一种人脸表情的疼痛评估方法
CN107463790A (zh) * 2017-08-22 2017-12-12 青海缘杰心理咨询服务有限公司 一种心理健康医疗系统
CN107595304A (zh) * 2017-09-11 2018-01-19 杨文君 一种情绪测试方法和系统
CN108108677A (zh) * 2017-12-12 2018-06-01 重庆邮电大学 一种基于改进的cnn人脸表情识别方法
CN108363969A (zh) * 2018-02-02 2018-08-03 南京邮电大学 一种基于移动终端的新生儿疼痛评估方法
CN108388890A (zh) * 2018-03-26 2018-08-10 南京邮电大学 一种基于面部表情识别的新生儿疼痛程度评估方法及系统
CN208625678U (zh) * 2018-03-28 2019-03-22 郑州大学第二附属医院 一种新型疼痛评估尺
CN108564042A (zh) * 2018-04-17 2018-09-21 谭红春 一种基于肝豆状核变性患者的人脸表情识别系统
CN109036519A (zh) * 2018-07-24 2018-12-18 四川大学华西医院 虚拟体验减压方法及装置
CN109934204A (zh) * 2019-03-22 2019-06-25 重庆邮电大学 一种基于卷积神经网络的人脸表情识别方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114224286A (zh) * 2020-09-08 2022-03-25 上海联影医疗科技股份有限公司 一种乳腺检查的压迫方法、装置、终端和介质
CN112164436A (zh) * 2020-10-10 2021-01-01 杭州福嵩科技有限责任公司 一种基于人脸识别的人工智能实时医疗方案调整系统及其方法
CN112704510A (zh) * 2020-12-18 2021-04-27 上海联影医疗科技股份有限公司 乳腺x射线成像方法及系统
CN113057599A (zh) * 2021-04-21 2021-07-02 常州市武进人民医院 一种快速评估疼痛的机器

Similar Documents

Publication Publication Date Title
CN110660454A (zh) 一种癌痛实时评估仪及其评估方法
EP2721994B1 (en) Eyeball movement monitoring method and device
CN111326253A (zh) 自闭症谱系障碍患者的多模态情感认知能力的评估方法
EP2829221A1 (en) Asperger's diagnosis assistance method and system, and asperger's diagnosis assistance device
CN109615633A (zh) 一种基于深度学习的肠镜下克罗恩病辅助诊断系统及方法
CN110197169A (zh) 一种非接触式的学习状态监测系统及学习状态检测方法
CN105825189A (zh) 一种用于大学生到课率及上课专注度自动分析的装置
US20150305662A1 (en) Remote assessment of emotional status
KR101634730B1 (ko) 안면 마비 평가 장치 및 그 방법
CN111523445B (zh) 一种基于改进的Openpose模型和面部微表情的考试行为检测方法
CN110338759B (zh) 一种正面疼痛表情数据采集方法
CN112370018A (zh) 一种预测困难气道的计算机应用软件及气道管理数据系统
CN112420141A (zh) 一种中医健康评估系统及其应用
CN115607153B (zh) 一种基于眼动追踪的心理量表回答质量评估系统及方法
CN108652587A (zh) 一种认知功能障碍预防监测装置
CN110755091A (zh) 一种个人心理健康监测系统及方法
CN112562852A (zh) 基于肢体动作的颈椎病筛查装置
Gaber et al. Automated grading of facial paralysis using the Kinect v2: a proof of concept study
CN110473630A (zh) 一种肿瘤患者心理痛苦评估仪及其评估方法
CN114220543B (zh) 一种肿瘤患者身心痛苦指数评估方法以及系统
Feng et al. Using eye aspect ratio to enhance fast and objective assessment of facial paralysis
CN110175522A (zh) 考勤方法、系统及相关产品
CN201200409Y (zh) 带有视觉刺激检测功能的测谎系统
CN111048202A (zh) 一种智能化中医诊断系统及其方法
CN110600127A (zh) 通过视频激发面部表情实现认知障碍筛查功能的视频采集分析系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200107