CN117558411A - 基于增强现实的疼痛管理系统和设备 - Google Patents
基于增强现实的疼痛管理系统和设备 Download PDFInfo
- Publication number
- CN117558411A CN117558411A CN202311389717.5A CN202311389717A CN117558411A CN 117558411 A CN117558411 A CN 117558411A CN 202311389717 A CN202311389717 A CN 202311389717A CN 117558411 A CN117558411 A CN 117558411A
- Authority
- CN
- China
- Prior art keywords
- pain
- user
- image
- micro
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000036407 pain Effects 0.000 title claims abstract description 268
- 208000002193 Pain Diseases 0.000 title claims abstract description 242
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 26
- 230000002452 interceptive effect Effects 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000004088 simulation Methods 0.000 claims abstract description 22
- 230000014509 gene expression Effects 0.000 claims abstract description 21
- 238000011156 evaluation Methods 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 33
- 238000011282 treatment Methods 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 24
- 230000000638 stimulation Effects 0.000 claims description 21
- 230000007246 mechanism Effects 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims description 7
- 238000000968 medical method and process Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 13
- 238000010195 expression analysis Methods 0.000 abstract description 3
- 230000002829 reductive effect Effects 0.000 abstract description 2
- 230000008451 emotion Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000037324 pain perception Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000008058 pain sensation Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000011269 treatment regimen Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 239000003814 drug Substances 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 229940079593 drug Drugs 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 208000035824 paresthesia Diseases 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000001225 therapeutic effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 230000003040 nociceptive effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000009901 attention process Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 229940124583 pain medication Drugs 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000001671 psychotherapy Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Social Psychology (AREA)
- Developmental Disabilities (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Child & Adolescent Psychology (AREA)
- Psychology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于增强现实的疼痛管理系统和设备，包括：疼痛模拟模块，用于生成虚拟疼痛场景，并为用户施加与所述虚拟疼痛场景相对应强度的疼痛刺激，采集用户在感受不同强度疼痛刺激时的微表情图像；疼痛评估模块，用于基于所述微表情图像训练改进的BERT识别模型，基于训练好的BERT识别模型评估用户的疼痛等级；疼痛缓解模块，用于基于用户的疼痛等级，生成交互式虚拟环境，根据所述交互式虚拟环境缓解用户疼痛。根据本申请实施例提供的系统和设备，结合微表情分析和增强现实技术，能够准确评估用户的疼痛等级，减少了传统主观性评估的局限性，且结合虚拟现实环境，能够创造出身临其境的疼痛缓解体验。
Description
技术领域
本申请涉及医疗设备技术领域，具体而言，涉及一种基于增强现实的疼痛管理系统和设备。
背景技术
现代医学所谓的疼痛，是一种复杂的生理心理活动，是临床上最常见的症状之一。它包括伤害性刺激作用于机体所引起的痛感觉，以及机体对伤害性刺激的痛反应。痛觉可作为机体受到伤害的一种警告，引起机体一系列防御性保护反应。而某些长期的剧烈疼痛，对机体已成为一种难以忍受的折磨。由于疼痛给人造成的多方面损害，世界卫生组织已将疼痛列为继血压、呼吸、脉搏、体温之后的第五大生命体征。
临床治疗和护理过程中，疼痛评估对采取合适的治疗方法和护理措施具有重要的临床意义。但是对于疼痛的评估都是由受过专门训练并熟悉各项监测指标的医护人员进行人工评估，评估结果更多地依赖于个人的知识与经验，并受个人的情绪等主观因素的影响，不能完全客观反映病患疼痛程度。
且目前临床对疼痛的处理方式存在明显不足，急需一种新型的非药物处理方式，要求临床使用方便，具有较强的疼痛缓解效果，能够成为药物镇痛的补充治疗方式。
发明内容
本申请实施例提供了一种基于增强现实的疼痛管理系统和设备，以至少解决相关技术中疼痛评估不准确的技术问题。
根据本申请实施例的一个方面，提供了一种基于增强现实的疼痛管理系统，包括：
疼痛模拟模块，用于生成虚拟疼痛场景，并为用户施加与所述虚拟疼痛场景相对应强度的疼痛刺激，采集用户在感受不同强度疼痛刺激时的微表情图像；
疼痛评估模块，用于基于所述微表情图像训练改进的BERT识别模型，基于训练好的BERT识别模型评估用户的疼痛等级；
疼痛缓解模块，用于基于用户的疼痛等级，生成交互式虚拟环境，根据所述交互式虚拟环境缓解用户疼痛。
在一个可选地实施例中，所述疼痛模拟模块，包括：
疼痛场景模拟单元，用于生成多个不同强度的虚拟疼痛场景，不同强度的虚拟疼痛场景包含不同的视觉和听觉元素；
疼痛刺激模拟单元，用于生成不同强度的疼痛刺激，所述疼痛刺激的强度与所述虚拟疼痛场景的强度相对应，所述疼痛刺激包括电刺激、热刺激、机械痛刺激中的一种或多种；
疼痛强度调整单元，用于通过语音、遥控器或手势调控疼痛强度。
在一个可选地实施例中，所述疼痛模拟模块，还包括：
图像采集单元，用于采集用户在感受不同强度疼痛刺激时的微表情图像；
数据记录单元，用于记录所述微表情图像对应的刺激参数以及疼痛强度。
在一个可选地实施例中，所述疼痛评估模块，包括：
BERT识别模型训练单元，用于获取采集的所述微表情图像，为每个微表情图像添加疼痛强度标签；根据添加标签的微表情图像得到训练数据集，根据所述训练数据集训练改进的BERT识别模型；
疼痛评估单元，用于获取用户医疗过程中的微表情图像，将所述医疗过程中的微表情图像输入训练好的BERT识别模型，得到评估的疼痛等级。
在一个可选地实施例中，所述改进的BERT识别模型，包括：
图像块划分单元、编码单元、图像块交换单元、注意力处理单元、解码单元、图像预处理单元、图像分类神经网络单元以及输出单元。
在一个可选地实施例中，将所述医疗过程中的微表情图像输入训练好的BERT识别模型，得到评估的疼痛等级，包括：
将输入图像划分为多个不重叠的图像块；
对所述图像块进行编码，交换任意两帧图像的图像块；
根据交换后的图像向量进行注意力处理，得到经过注意力机制计算后的向量；
根据经过注意力机制计算后的向量进行解码，得到重建图像；
将所述重建图像输入图像分类神经网络单元，得到输出的疼痛等级。
在一个可选地实施例中，所述疼痛缓解模块，包括：
交互式虚拟环境生成单元，用于生成与不同疼痛强度对应的多个交互式虚拟环境，所述交互式虚拟环境包括视觉元素、听觉元素、交互式元素中的一种或多种；
智能人工助手单元，用于与用户进行语音交互，为用户提供个性化的疼痛缓解方案，并根据互动结果调整所述疼痛缓解方案。
在一个可选地实施例中，所述疼痛缓解模块，还包括：
反馈单元，用于生成疼痛治疗反馈报告，所述疼痛治疗反馈报告包括用户的疼痛变化趋势以及微表情变化趋势。
根据本申请实施例的另一方面，提供了一种基于增强现实的疼痛管理设备，包括：
摄像头、疼痛刺激模块以及中央处理模块；
所述中央处理模块用于生成虚拟疼痛场景，控制疼痛刺激模块为用户施加与所述虚拟疼痛场景相对应强度的疼痛刺激，控制摄像头采集用户在感受不同强度疼痛刺激时的微表情图像；
还用于基于所述微表情图像训练改进的BERT识别模型，基于训练好的BERT识别模型评估用户的疼痛等级；
还用于基于用户的疼痛等级，生成交互式虚拟环境，根据所述交互式虚拟环境缓解用户疼痛。
在一个可选地实施例中，所述基于增强现实的疼痛管理设备为一种AR头盔。
本申请实施例提供的技术方案可以包括以下有益效果：
本申请实施例提供的疼痛管理系统，可以基于增强现实技术采集用户处于不同强度疼痛时的微表情，基于采集的微表情以及改进的BERT模型，准确评估用户的疼痛程度。能够从用户的微表情变化中捕捉更准确的疼痛感受，减少了传统主观性评估的局限性，有助于医护人员更精准地了解用户的疼痛程度。
且通过增强现实技术提供交互式虚拟环境，能够创造出身临其境的疼痛缓解体验。用户可以在虚拟环境中通过音乐、视觉效果等方式分散注意力，减轻疼痛感，实现更好的疼痛缓解。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种可选的基于增强现实的疼痛管理系统的结构示意图；
图2是根据本申请实施例的一种可选的用户戴AR头盔示意图；
图3是根据本申请实施例的一种可选的AR头盔结构示意图；
图4是根据本申请实施例的一种电刺激/热刺激接触片示意图；
图5是根据本申请实施例的一种AR头盔结构示意图；
图6是根据本申请实施例的一种改进的BERT模型的训练方法示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
疼痛是许多患者面临的严重问题，传统的疼痛评估方法往往受限于主观性和客观性的局限，而且疼痛治疗也常常面临个性化难题。
目前的增强现实技术可以创造虚拟环境，提供更丰富的感官体验，有潜力在疼痛缓解发挥作用。微表情分析技术则能够从面部微小的表情变化中获取疼痛感受的信息，为疼痛评估和治疗提供了更具客观性的数据。综合利用增强现实技术和微表情分析技术，开发智能疼痛管理系统有望提高疼痛评估的准确性和个性化程度，同时改善疼痛治疗的效果。
本申请实施例提供了一种基于增强现实的疼痛管理系统，下面结合附图1对本申请实施例的疼痛管理系统详细描述。如图1所示，该系统包括：
疼痛模拟模块，用于生成虚拟疼痛场景，并为用户施加与虚拟疼痛场景相对应强度的疼痛刺激，采集用户在感受不同强度疼痛刺激时的微表情图像。
在本申请实施例中，通过增强现实技术，在虚拟环境中模拟疼痛场景，如手术、外伤等，在虚拟环境中包含视觉、听觉元素，以营造逼真的疼痛感受，让使用者感受虚拟疼痛。硬件设备给使用者电刺激和热刺激来模拟真实疼痛。并通过设备上的摄像头采集使用者面部微表情变化，获取更准确的疼痛评估数据。
具体地，疼痛模拟模块包括疼痛场景模拟单元，用于生成多个不同强度的虚拟疼痛场景，不同强度的虚拟疼痛场景包含不同的视觉和听觉元素。
虚拟疼痛场景需要考虑如何与疼痛强度相匹配，以确保用户能够在虚拟环境中感受到与所期望的疼痛强度相对应的体验。考虑用户在虚拟环境中的情境，为用户提供与疼痛类型相关的背景信息，以增强他们对虚拟疼痛场景的沉浸感。
根据疼痛强度的变化，逐步调整虚拟场景中的刺激强度。在基准刺激参数设置的基础上，通过增加或减少刺激元素的强度，使用户逐渐感受到更强或更轻的疼痛。考虑用户可能在不同疼痛强度下的情感变化。在虚拟场景中引入情感元素，如紧张感、焦虑感等，以更好地模拟真实的疼痛体验。用户在虚拟环境中能够感受到与所期望的疼痛强度相对应的体验，可以更准确地捕捉他们的微表情变化。
在一个示例性场景中，虚拟疼痛场景包括轻微疼痛场景，轻微疼痛场景可包括：温和的阳光透过窗户洒在病房内，环境安静舒适。此时对应的刺激可为轻微刺激：在场景中添加一个隐约的微弱电刺激，类似轻轻的刺痛。用户在这个温馨的环境中感受到微弱的刺痛，微表情可能表现为轻微的皱眉或眼神的微妙变化。
虚拟疼痛场景包括中等疼痛场景，中等疼痛场景可包括：医院的手术室，充斥着医疗设备和人员，环境较为紧张。此时添加中等强度刺激：适度增加电刺激，模拟中等强度的刺痛感觉。用户在手术室的环境中感受到较明显的刺痛，微表情可能显现出更深的皱眉、眉毛紧锁等。
虚拟疼痛场景包括剧烈疼痛场景，剧烈疼痛场景可包括：模拟外伤事故现场，周围有紧急处理人员，环境紧张恐怖。此时可添加剧烈强度刺激：在紧张的情境中，加入高强度的电刺激或热刺激等，造成剧烈的疼痛感觉。用户在紧急情况下感受到强烈的刺痛，可能表现出明显的痛苦表情，如紧闭的嘴巴和眼睛，脸部扭曲等。
本领域技术人员还可以设置其他虚拟疼痛场景，本申请实施例不做具体限制。
疼痛模拟模块还包括疼痛刺激模拟单元，用于生成不同强度的疼痛刺激，疼痛刺激的强度与虚拟疼痛场景的强度相对应，疼痛刺激包括电刺激、热刺激、机械痛刺激中的一种或多种。
在本申请实施例中，可以事先收集关于实验者的基本信息，如年龄、性别和疼痛感知的经历，并通过问卷或访谈方式了解每个志愿者对疼痛的感受程度。根据收集到的信息，选择一个初始的电刺激和热刺激参数，以创建一个中等强度的疼痛感受。这些参数包括电刺激的强度和频率，以及热刺激的温度。这个基准设置将作为一个参考点，其他刺激参数将围绕着这个基准进行调整。
例如，在用户进行疼痛模拟时，根据设置的中等强度刺激的参数，给予中等强度的刺激。然后在模拟过程中基于这个参数进行调整，往上调增加强度，往下调降低强度，使用户感受不同强度的刺激。
还可以包括疼痛强度调整单元，用于通过语音、遥控器或手势调控疼痛强度。
在一个可能的实施方式中，系统包括三个等级的疼痛强度，用户可以通过语音调整，例如发出“调到中等强度”的语音指令，设备根据接收到的语音指令自动调整到中等强度。用户还可以通过遥控器或AR设备上的虚拟键盘进行调整，还可以根据手势信息进行调整，例如做出“1”、“2”、“3”的手势信息，分别表示轻度、中度、重度的强度。
疼痛模拟模块，还包括：图像采集单元，用于采集用户在感受不同强度疼痛刺激时的微表情图像。在一种可能的实现方式中，在AR头盔上设置摄像头，用于采集用户的脸部微表情图像。
还包括数据记录单元，用于记录微表情图像对应的刺激参数以及疼痛强度。在一种实施方式中，得到采集的微表情图像后，记录此时的微表情图像对应的施加的疼痛强度以及刺激参数。为后续的疼痛治疗和干预提供数据支持。从而得到多张微表情图像以及每张图像对应的疼痛强度。将多张微表情图像以及对应的疼痛强度作为后续微表情识别模型的训练数据。
本申请通过虚拟场景模拟，可以让实验者更深入地体验到不同类型和强度的疼痛，通过嵌入的摄像头采集实验者的面部表情和微表情变化数据，同时记录微表情对应的刺激参数(如电流值，温度值)和疼痛强度。将采集的图像和数据作为训练数据。这有助于更准确地评估实验者的疼痛感受，为后续的模型训练、疼痛治疗和干预提供有价值的数据支持。
本系统还包括疼痛评估模块，用于基于微表情图像训练改进的BERT识别模型，基于训练好的BERT识别模型评估用户的疼痛等级。
疼痛评估模块，包括：BERT识别模型训练单元，用于获取采集的微表情图像，为每个微表情图像添加疼痛强度标签；根据添加标签的微表情图像得到训练数据集，根据训练数据集训练改进的BERT识别模型。
微表情识别是情感计算中最具挑战性的课题之一。它的目的是识别人类难以在短时间内(0.25到0.5秒)感知到的微小面部运动。面部表情是针对给定刺激的有意识反应的复杂混合物。它们涉及到经验、行为和生理元素。一般来说，面部表情问题可以分为两大类，宏表情(macro-expression)，和微表情(micro-expression)。两者之间的主要区别是面部表情强度和持续时间：持续时间小于0.5秒的表情，通常称为微表情(转瞬即逝)。与之相对的，持续时间稍长的表情，在1s～5s之间，称为宏表情。微表情可以被用于识别疼痛或者疼痛相关的情绪，虽然微表情在短暂的时间内难以察觉，但它们常常透露出隐藏在情感掩饰之下的真实感受。
本申请提出一种基于改进的BERT模型识别微表情的方法。改进的BERT识别模型，包括：图像块划分单元、编码单元、图像块交换单元、注意力处理单元、解码单元、图像预处理单元、图像分类神经网络单元以及输出单元。
使用虚拟疼痛场景模拟时采集的多张微表情图像，使用对应的疼痛强度作为标签，进行模型训练。算法步骤包括：
(1)使用opencv视频处理库，将虚拟疼痛模拟与数据采集模块中的原始视频逐帧提取图像，构建一个图像帧序列。图像帧表示为其中H、W、C分别为图像的高度、宽度和图像通道的数量。模型输入序列相近的两帧图像It和It+δ。
(2)图像块划分单元，用于将输入图像划分为若干个不重叠的图像块。以图像帧It为例，计算公式如下：
|Pt|＝HW/(ps2)
其中H、W、C分别为通道的高度、宽度和数量。pt i是图像块，ps×ps是图像块的分辨率。
(3)编码单元，用于给两帧图像It和It+δ的图像块进行编码。首先每个图像块pi∈Pt被线性投影到一个维数为d的中间隐藏向量(latent vector)中，表示为以图像帧It为例，图像帧It可以被表示为：
其中α和e是投影嵌入网络和位置嵌入，pt i是图像块(图像帧It被划分为不重叠的图像块)。投影嵌入网络是一个深度学习中的概念，用于将输入数据投影到一个低维度的表示空间，以便进行特征学习和数据降维。具体步骤是：将图像块中的每个像素值与一个权重矩阵相乘，以将其映射到潜在空间中。这个映射的结果是一个中间隐藏向量，其中i表示图像块的索引，t表示时间步骤。位置嵌入是一种用于处理序列数据的技术，主要作用是为输入序列中的每个位置分配一个唯一的嵌入向量，以便模型能够识别不同位置之间的关系。
进一步的使用编码器对中间隐藏向量Zt进行处理输出最终隐藏向量Pt。编码器由连续块组成，记作ε。每个块包含多层多头注意(MHA)和多层感知机(MLP)，多头自注意力(Multi-Head Attention，MHA)是一种广泛使用的注意力机制，用于处理输入序列中不同位置之间的关联性。在输入MHA和MLP之前，进行归一化，记为(Layer Norm，LN)。以图像帧It为例，It被处理为中间向量Zt，输入中间向量Zt编码器计算过程如下：
x'l＝xl-1+MHA(LN(xl-1))
xl＝x'l+MLP(LN(x'l))
x0＝Zt1≤l≤Le
其中，Le是ε中的块的数量，Zt为图像线性投影后的中间隐藏向量。给定Zt，输出最终隐藏向量Pt表示为：
以上过程将图像块pt i表示为中间隐藏向量Zt，经过图像块编码器编码为最终隐藏向量。
(4)图像块交换单元，用于对于随机两帧图像It和It+δ，进行图像块交换。图像上看，将两帧图像分成若干个块，然后随机交换这些块，从而生成一组新的图像对。这些新的图像对包含了原始图像中的微小运动信息，可以用来训练模型以更好地识别微表情。模型可以学习到更多的局部特征，从而提高对微表情的识别准确性。图像块交换具体操作是，随机交换上一步输出最终隐藏向量Pt和Pt+δ的内部编码，图像块索引根据位置嵌入向量。交换后的向量表示为Pt/s和Pt+δ/s。
(5)注意力处理单元，用于将交换后的2个向量Pt/s和Pt+δ/s。进行注意力处理机制，输出新的经过注意力机制计算后的向量Pdma。通过注意力处理机制，模型可以学习到连续图像帧之间更多的微小运动变化，从而提高对微表情的识别准确性。以上一步中的最终隐藏向量Pt+δ和块交换后的Pt+δ/s为例，注意力处理机制计算步骤如下：
Pdma＝diag(A)×V(Pt+δ/s)
其中A表示Pt+δ/s与Pt+δ之间的注意力分布矩阵。Pdma为经过注意力机制计算后的向量。计算描述如下：
注意力机制是一种在深度学习中常用的技术，它模拟了人类在感知和理解信息时的注意力过程。这个机制允许模型动态地关注输入数据的不同部分，以便更好地执行任务。关键概念和步骤：查询(Q)：用于指定关注输入的哪些部分，这里是指代Pt+δ隐藏向量。键(K)：用于表示输入的特征。类似于查询，键这里是块交换后的Pt+δ/s向量。数值(V)：包含了实际的信息，通常也是一个向量或矩阵。数值与键对应，表示了关于输入的详细信息。这里是Pt+δ隐藏向量。
首先计算注意力分数，注意力分数反映了查询(Q)和键(K)之间的相似性，使用点积计算相似性得分，计算的结果是一个分数矩阵，其中每个元素表示查询和键之间的相似性。进一步的应用softmax函数：将注意力分数输入到softmax函数中，以获得注意力权重。softmax函数将注意力分数归一化为概率分布，确保所有权重的总和等于1，这产生了一个与输入长度相同的注意力分布矩阵(A)，其中每个元素表示了与查询相关的键的重要性。。diag(A)表示注意力分布矩阵中重要特征的权重(通过比较预设权重与元素值的比较，选出概率分布较大的元素作为重要特征)。
Pdma为经过注意力机制计算后的向量，×表示元素乘法运算符。
(6)解码单元，用于解码重建图像，将上一步的Pdma重建为图像。本方法中提出的自编码器是对称的设计。这意味着解码器部分(表示为D)与编码器ε具有相似的结构。解码信号表示为：
Qt＝D(Pdma)
添加一个线性层来将Qt插值到一个中间信号yt
其中y't是重建后的图像，其中H、W、C分别为通道的高度、宽度和数量。ps×ps是图像块的分辨率。
(7)图像预处理单元，用于将重建后图像进行图像预处理，包括图像的大小调整、归一化(将像素值缩放到0到1之间)。
(8)图像分类神经网络单元，用于使用深度学习框架(PyTorch)导入预训练的ResNet-50模型。修改ResNet-50模型的输出层，以便它能够输出与疼痛强度级别数相匹配的类别预测。替换最后一层全连接层。
在一种可能的实现方式中，使用深度神经网络ResNet-50，对重建图像进行疼痛强度分类，得到识别出的疼痛等级。
(9)输出单元，加一个适合疼痛强度分类任务的新输出层，其输出维度等于疼痛强度级别数。在这个新输出层之后，使用softmax激活函数来确保输出是一个概率分布。
设置训练的超参数，包括学习率、批量大小、训练轮数等。选择适当的损失函数(交叉熵损失)和优化器(Adam)。在每个训练迭代中，模型将接收图像作为输入并尝试预测相应的疼痛强度级别。训练过程将根据损失函数的梯度逐渐调整模型的权重。训练完成后，使用测试集数据对模型进行评估。使用准确度、精确度、召回率和F1分数评估模型的性能指标。
疼痛评估单元，用于获取用户在实际医疗过程中的微表情图像，将实际医疗过程中的微表情图像输入训练好的BERT识别模型，得到评估的疼痛等级。
得到训练好的BERT识别模型之后，将医疗过程中的微表情图像输入训练好的BERT识别模型，得到评估的疼痛等级。
如图6所示，本申请实施例提供的算法，将输入图像划分为多个不重叠的图像块；对图像块进行编码，交换任意两帧图像的图像块；根据交换后的图像向量进行注意力处理，得到经过注意力机制计算后的向量；根据经过注意力机制计算后的向量进行解码，得到重建图像；将重建图像输入图像分类神经网络单元，得到输出的疼痛等级。
本申请的识别算法，可以先对图像序列进行分块、交换图像块、注意力机制处理，然后解码重建图像。通过进行图像重建，这些新的图像对包含了原始图像中的微小运动信息，可以用来训练模型以更好地识别微表情。模型可以学习到更多的局部特征，从而提高对微表情的识别准确性。
通过图像分块重建，把不同帧里的表情变化提取出来，因为微表情变化小。重建这个变化以后再使用分类神经网络进行疼痛等级分类训练就会更准确。
疼痛缓解模块，用于基于用户的疼痛等级，生成交互式虚拟环境，根据交互式虚拟环境缓解用户疼痛。
在本申请实施例中，可以基于增强现实技术，提供交互式虚拟环境，缓解用户疼痛。
疼痛缓解模块，包括：交互式虚拟环境生成单元，用于生成与不同疼痛强度对应的多个交互式虚拟环境，交互式虚拟环境包括视觉元素、听觉元素、交互式元素中的一种或多种。
当患者面临疼痛时，情绪和心理状态的管理至关重要。利用增强现实技术，系统可以创造出丰富多样的虚拟环境，为患者提供舒缓和愉悦的体验，从而帮助他们更好地处理疼痛感知。
例如，可以在AR设备中设置多个交互式虚拟环境，包括轻度疼痛对应的虚拟环境、中度疼痛对应的虚拟环境、重度疼痛对应的虚拟环境。每种程度也可设置不同种类的虚拟环境，例如，有的是优美的自然风光、有的是欢乐的游乐园、有的是沉浸式游戏场景等。用户可自行选择感兴趣的虚拟场景。
在一种可能的实现方式中，轻度疼痛对应的虚拟环境包括优美的草原、蓝天白云以及优美的音乐。重度的虚拟环境在设置场景时，还可以加入交互式元素，例如在虚拟环境中加入可点击的物体，患者可以通过触摸或手势与这些物体进行互动。交互性元素可以增加患者在虚拟环境中的参与感，帮助他们分散对疼痛的注意力。系统可以根据患者疼痛强度调整虚拟环境中的元素，以更好地适应他们的需求，当疼痛感较强时，可以加入更多分散注意力的元素，减轻疼痛感知。
还可以在模块中设置智能人工助手单元，用于与用户进行语音交互，为用户提供个性化的疼痛缓解方案，并根据互动结果调整疼痛缓解方案。
在本申请实施例中，系统内置了人工智能助手，该助手可以与患者进行互动。例如与用户进行聊天，分散用户注意力，给用户讲解注意事项。
助手还会根据微表情分析结果，为每个患者设计个性化的疼痛管理方案。这些方案包括放松练习、注意力分散方法等，旨在减轻疼痛感受。助手可以与患者定期互动，了解他们的疼痛感受变化。根据互动的结果，助手可以调整治疗方案，确保其适应患者的需求。助手可以记录患者的治疗进度，包括疼痛感受的减轻等。这有助于患者和医护人员更好地了解治疗效果。
疼痛缓解模块，还包括：反馈单元，用于生成疼痛治疗反馈报告，疼痛治疗反馈报告包括用户的疼痛变化趋势以及微表情变化趋势。
本申请实施例中，系统可以为医护人员生成疼痛治疗反馈报告。报告可以包括患者疼痛感受趋势以及与之相关的微表情模式的分析。在一个示例性场景中，系统为用户生成反馈报告，反馈报告包括用户的姓名信息、年龄信息、性别信息、疾病信息、疼痛开始时间、疼痛程度变化趋势表、人工智能助手反馈的用户感受信息、表情图像信息等。
基于生成的反馈报告，系统可以为医护人员提供针对性的调整建议。这些建议可能包括调整药物剂量、改变治疗方法、增加情感支持等，以确保治疗方案的有效性。医护人员可以根据系统提供的反馈报告和建议，持续监测患者的状况。随着治疗的进行，他们可以根据实际效果对治疗方案进行调整和优化。
本申请实施例提供的基于增强现实的疼痛管理系统，包含如下
有益效果：
(1)更准确的疼痛评估：结合改进的BERT微表情分析模型和增强现实技术，系统能够从患者的微表情变化中捕捉更准确的疼痛感受，减少了传统主观性评估的局限性，有助于医护人员更精准地了解患者的疼痛程度。BERT模型改进的算法通过图像分块重建，把不同帧里的表情变化提取出来，因为微表情变化小。重建这个变化以后再使用分类神经网络进行疼痛等级分类训练就会更准确。
(2)个性化治疗方案：基于微表情分析的结果，系统可以提供个性化的疼痛治疗方案，针对不同患者的疼痛感受进行调整。这有助于优化治疗策略，提高治疗效果。
(3)沉浸式疼痛缓解体验：增强现实技术结合虚拟现实环境，能够创造出身临其境的疼痛缓解体验。患者可以在虚拟环境中通过音乐、视觉效果等方式分散注意力，减轻疼痛感，实现更好的疼痛缓解，且有助于避免疼痛药物治疗的副作用。
(4)情感支持和心理治疗：系统内置人工智能助手，为患者提供情感支持和心理治疗。这可以帮助患者在治疗过程中更好地应对情绪和心理压力，提升整体的治疗效果。
(5)提高患者参与度：通过增强现实技术和虚拟现实环境的创造，患者可以更积极地参与治疗过程。这有助于增加患者对治疗的信心和动力，提高治疗的成功率。
根据本申请实施例的另一个方面，还提供了一种基于增强现实的疼痛管理设备。在一种可能的实现方式中，该设备为一种AR头盔。
用户可以佩戴本申请实施例提供的AR头盔，图2是根据本申请实施例的一种可选的用户戴AR头盔示意图。通过AR头盔进行微表情采集和疼痛识别，以及AR虚拟场景的疼痛缓解。
图3是根据本申请实施例的一种可选的AR头盔结构示意图；图5是根据本申请实施例的一种AR头盔结构示意图。如图3和5所示，包括摄像头、疼痛刺激模块以及中央处理模块。头盔可以内置摄像头，采集用户的人脸图像，将采集的人脸微表情图像发送到中央处理模块。
如图4所示，疼痛刺激包括电刺激和热刺激，可以设置在头盔的左右两侧。通过接触片给用户施加刺激。
中央处理模块用于生成虚拟疼痛场景，控制疼痛刺激模块为用户施加与虚拟疼痛场景相对应强度的疼痛刺激，控制摄像头采集用户在感受不同强度疼痛刺激时的微表情图像；还用于基于微表情图像训练改进的BERT识别模型，基于训练好的BERT识别模型评估用户的疼痛等级；还用于基于用户的疼痛等级，生成交互式虚拟环境，根据交互式虚拟环境缓解用户疼痛。
需要说明的是，上述实施例提供的疼痛管理设备和疼痛管理系统属于相同的构思，具有相同的技术效果。其体现实现过程详见系统实施例，这里不再赘述。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于增强现实的疼痛管理系统，其特征在于，包括：
疼痛模拟模块，用于生成虚拟疼痛场景，并为用户施加与所述虚拟疼痛场景相对应强度的疼痛刺激，采集用户在感受不同强度疼痛刺激时的微表情图像；
疼痛评估模块，用于基于所述微表情图像训练改进的BERT识别模型，基于训练好的BERT识别模型评估用户的疼痛等级；
疼痛缓解模块，用于基于用户的疼痛等级，生成交互式虚拟环境，根据所述交互式虚拟环境缓解用户疼痛。
2.根据权利要求1所述的系统，其特征在于，所述疼痛模拟模块，包括：
疼痛场景模拟单元，用于生成多个不同强度的虚拟疼痛场景，不同强度的虚拟疼痛场景包含不同的视觉和听觉元素；
疼痛刺激模拟单元，用于生成不同强度的疼痛刺激，所述疼痛刺激的强度与所述虚拟疼痛场景的强度相对应，所述疼痛刺激包括电刺激、热刺激、机械痛刺激中的一种或多种；
疼痛强度调整单元，用于通过语音、遥控器或手势调控疼痛强度。
3.根据权利要求1或2所述的系统，其特征在于，所述疼痛模拟模块，还包括：
图像采集单元，用于采集用户在感受不同强度疼痛刺激时的微表情图像；
数据记录单元，用于记录所述微表情图像对应的刺激参数以及疼痛强度。
4.根据权利要求1所述的系统，其特征在于，所述疼痛评估模块，包括：
BERT识别模型训练单元，用于获取采集的所述微表情图像，为每个微表情图像添加疼痛强度标签；根据添加标签的微表情图像得到训练数据集，根据所述训练数据集训练改进的BERT识别模型；
疼痛评估单元，用于获取用户医疗过程中的微表情图像，将所述医疗过程中的微表情图像输入训练好的BERT识别模型，得到评估的疼痛等级。
5.根据权利要求1或4所述的系统，其特征在于，所述改进的BERT识别模型，包括：
图像块划分单元、编码单元、图像块交换单元、注意力处理单元、解码单元、图像预处理单元、图像分类神经网络单元以及输出单元。
6.根据权利要求5所述的系统，其特征在于，将所述医疗过程中的微表情图像输入训练好的BERT识别模型，得到评估的疼痛等级，包括：
将输入图像划分为多个不重叠的图像块；
对所述图像块进行编码，交换任意两帧图像的图像块；
根据交换后的图像向量进行注意力处理，得到经过注意力机制计算后的向量；
根据经过注意力机制计算后的向量进行解码，得到重建图像；
将所述重建图像输入图像分类神经网络单元，得到输出的疼痛等级。
7.根据权利要求1所述的系统，其特征在于，所述疼痛缓解模块，包括：
交互式虚拟环境生成单元，用于生成与不同疼痛强度对应的多个交互式虚拟环境，所述交互式虚拟环境包括视觉元素、听觉元素、交互式元素中的一种或多种；
智能人工助手单元，用于与用户进行语音交互，为用户提供个性化的疼痛缓解方案，并根据互动结果调整所述疼痛缓解方案。
8.根据权利要求1或7所述的系统，其特征在于，所述疼痛缓解模块，还包括：
反馈单元，用于生成疼痛治疗反馈报告，所述疼痛治疗反馈报告包括用户的疼痛变化趋势以及微表情变化趋势。
9.一种基于增强现实的疼痛管理设备，其特征在于，包括：
摄像头、疼痛刺激模块以及中央处理模块；
所述中央处理模块用于生成虚拟疼痛场景，控制疼痛刺激模块为用户施加与所述虚拟疼痛场景相对应强度的疼痛刺激，控制摄像头采集用户在感受不同强度疼痛刺激时的微表情图像；
还用于基于所述微表情图像训练改进的BERT识别模型，基于训练好的BERT识别模型评估用户的疼痛等级；
还用于基于用户的疼痛等级，生成交互式虚拟环境，根据所述交互式虚拟环境缓解用户疼痛。
10.根据权利要求9所述的设备，其特征在于，所述基于增强现实的疼痛管理设备为一种AR头盔。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311389717.5A CN117558411A (zh) | 2023-10-24 | 2023-10-24 | 基于增强现实的疼痛管理系统和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311389717.5A CN117558411A (zh) | 2023-10-24 | 2023-10-24 | 基于增强现实的疼痛管理系统和设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117558411A true CN117558411A (zh) | 2024-02-13 |
Family
ID=89822359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311389717.5A Pending CN117558411A (zh) | 2023-10-24 | 2023-10-24 | 基于增强现实的疼痛管理系统和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117558411A (zh) |
-
2023
- 2023-10-24 CN CN202311389717.5A patent/CN117558411A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11617559B2 (en) | Augmented reality systems and methods for user health analysis | |
| Pioggia et al. | An android for enhancing social skills and emotion recognition in people with autism | |
| Moosaei et al. | Using facially expressive robots to calibrate clinical pain perception | |
| Huang et al. | Virtual reality safety training using deep EEG-net and physiology data | |
| KR102388595B1 (ko) | 뇌 상태를 판단하고, 디지털 컨텐츠 기반의 치료 정보를 제공하는 장치 | |
| Ricciardi et al. | Rehabilitation of hypomimia in Parkinson’s disease: a feasibility study of two different approaches | |
| Hernandez-Melgarejo et al. | A framework to model and control the state of presence in virtual reality systems | |
| Lv et al. | Virtual reality neurorehabilitation | |
| Gonzalez et al. | Fear levels in virtual environments, an approach to detection and experimental user stimuli sensation | |
| CN117558411A (zh) | 基于增强现实的疼痛管理系统和设备 | |
| CA3176236C (en) | Method and system for using sensor data from rehabilitation or exercise equipment to treat patients via telemedicine | |
| Valenza et al. | The EXPERIENCE Project: Unveiling Extended-Personal Reality Through Automated VR Environments and Explainable Artificial Intelligence | |
| Cons et al. | Intelligent virtual environment for treating anxiety exploring the Eye Movement Desensitization and Reprocessing technique | |
| Ružický et al. | Virtual System for Rehabilitation-Case Study | |
| Folgieri et al. | Boosting physical and psychological well-being in rehabilitation through cognitive technologies preliminary results | |
| Spahn et al. | Augmented and virtual reality mirror therapy system for hand rehabilitation in stroke patients | |
| Alvear-Suárez et al. | Implementation of Virtual Reality for the Treatment of People with Functional Disability | |
| Csukly et al. | Evaluating psychiatric patients using high fidelity animated faces | |
| Megha | MITIGATING PUBLIC SPEAKING ANXIETY USING VIRTUAL REALITY AND POPULATION-SPECIFIC MODELS | |
| Guy | Evaluation and Manipulation of Virtual Embodiment | |
| van Spaandonk | The relationship between the subscales scores of the Trait Meta-Mood Scale and Dental Anxiety in females | |
| Gerry | Virtual reality and empathy | |
| Mehra et al. | Virtual humans in healthcare | |
| Hernández | A Brain-Computer Interface for walking using EEG | |
| Cavazza et al. | Virtual agents in brain-computer interfaces |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |