CN115282477A - 远程医疗设备、医疗系统及计算机可读存储介质 - Google Patents
远程医疗设备、医疗系统及计算机可读存储介质 Download PDFInfo
- Publication number
- CN115282477A CN115282477A CN202210938692.9A CN202210938692A CN115282477A CN 115282477 A CN115282477 A CN 115282477A CN 202210938692 A CN202210938692 A CN 202210938692A CN 115282477 A CN115282477 A CN 115282477A
- Authority
- CN
- China
- Prior art keywords
- patient
- doctor
- data
- pressure
- physician
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 84
- 230000008569 process Effects 0.000 claims abstract description 34
- 238000003825 pressing Methods 0.000 claims abstract description 31
- 230000003993 interaction Effects 0.000 claims abstract description 24
- 230000000638 stimulation Effects 0.000 claims description 119
- 238000012549 training Methods 0.000 claims description 73
- 208000002193 Pain Diseases 0.000 claims description 63
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 47
- 201000010099 disease Diseases 0.000 claims description 41
- 238000013136 deep learning model Methods 0.000 claims description 24
- 210000003414 extremity Anatomy 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 230000000007 visual effect Effects 0.000 claims description 14
- 210000000707 wrist Anatomy 0.000 claims description 14
- 238000001727 in vivo Methods 0.000 claims description 12
- 230000006399 behavior Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 7
- 230000003278 mimic effect Effects 0.000 claims description 6
- 238000003745 diagnosis Methods 0.000 abstract description 13
- 238000001514 detection method Methods 0.000 abstract description 8
- 239000003795 chemical substances by application Substances 0.000 description 34
- 230000006870 function Effects 0.000 description 31
- 238000005516 engineering process Methods 0.000 description 25
- 230000009471 action Effects 0.000 description 22
- 230000000694 effects Effects 0.000 description 21
- 210000001519 tissue Anatomy 0.000 description 21
- 238000004088 simulation Methods 0.000 description 14
- 210000004556 brain Anatomy 0.000 description 10
- 230000002787 reinforcement Effects 0.000 description 9
- 210000003127 knee Anatomy 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 208000035475 disorder Diseases 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 5
- 238000002600 positron emission tomography Methods 0.000 description 5
- 208000024891 symptom Diseases 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 210000001513 elbow Anatomy 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 210000005036 nerve Anatomy 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 208000019901 Anxiety disease Diseases 0.000 description 3
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 3
- 208000021384 Obsessive-Compulsive disease Diseases 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 210000003811 finger Anatomy 0.000 description 3
- 230000005021 gait Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 210000003141 lower extremity Anatomy 0.000 description 3
- 238000004171 remote diagnosis Methods 0.000 description 3
- 210000001364 upper extremity Anatomy 0.000 description 3
- 208000024827 Alzheimer disease Diseases 0.000 description 2
- 206010003805 Autism Diseases 0.000 description 2
- 208000020706 Autistic disease Diseases 0.000 description 2
- 208000020925 Bipolar disease Diseases 0.000 description 2
- 208000023105 Huntington disease Diseases 0.000 description 2
- 208000026139 Memory disease Diseases 0.000 description 2
- 208000019022 Mood disease Diseases 0.000 description 2
- 208000018737 Parkinson disease Diseases 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 2
- 230000036506 anxiety Effects 0.000 description 2
- 210000000617 arm Anatomy 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000005013 brain tissue Anatomy 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000000205 computational method Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000036461 convulsion Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 208000024714 major depressive disease Diseases 0.000 description 2
- 230000006996 mental state Effects 0.000 description 2
- 230000007383 nerve stimulation Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 208000028173 post-traumatic stress disease Diseases 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 208000020016 psychiatric disease Diseases 0.000 description 2
- 230000009257 reactivity Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 208000007442 rickets Diseases 0.000 description 2
- 210000000278 spinal cord Anatomy 0.000 description 2
- 239000003826 tablet Substances 0.000 description 2
- 238000002560 therapeutic procedure Methods 0.000 description 2
- 230000007384 vagal nerve stimulation Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 206010010904 Convulsion Diseases 0.000 description 1
- 208000019695 Migraine disease Diseases 0.000 description 1
- 208000016285 Movement disease Diseases 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000025966 Neurological disease Diseases 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 208000028683 bipolar I disease Diseases 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 244000309466 calf Species 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 210000001159 caudate nucleus Anatomy 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000012377 drug delivery Methods 0.000 description 1
- 206010013663 drug dependence Diseases 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 206010015037 epilepsy Diseases 0.000 description 1
- 201000006517 essential tremor Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000001723 extracellular space Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 210000005224 forefinger Anatomy 0.000 description 1
- 210000003194 forelimb Anatomy 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000001872 metatarsal bone Anatomy 0.000 description 1
- 206010027599 migraine Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000000926 neurological effect Effects 0.000 description 1
- 210000001009 nucleus accumben Anatomy 0.000 description 1
- 210000002640 perineum Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000000578 peripheral nerve Anatomy 0.000 description 1
- 210000002637 putamen Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 208000011117 substance-related disease Diseases 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 210000003371 toe Anatomy 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4824—Touch or pain perception evaluation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/02—Details
- A61N1/025—Digital circuitry features of electrotherapy devices, e.g. memory, clocks, processors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/02—Details
- A61N1/04—Electrodes
- A61N1/05—Electrodes for implantation or insertion into the body, e.g. heart electrode
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Physiology (AREA)
- Cardiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Hospice & Palliative Care (AREA)
- Pain & Pain Management (AREA)
- Psychiatry (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Electrotherapy Devices (AREA)
Abstract
本申请提供了远程医疗设备、医疗系统及计算机可读存储介质,远程医疗设备包括处理器,处理器被配置成实现以下步骤:S1:利用穿戴于医生体外的医生VR设备的压力感测组件感测得到医生压力数据;S2:利用穿戴于患者体外的患者VR设备的驱动组件模拟医生的按压操作并施加于患者;S3:利用患者VR设备的压力感测组件感测得到患者压力数据;S4:利用医生VR设备的驱动组件模拟患者的压力反馈并施加于医生;S5:利用医生VR设备的交互组件接收医生的程控操作,生成对应的程控指令并发送至患者VR设备;S6:利用患者VR设备将程控指令发送至植入于患者体内的刺激器。实现面对面诊断时的触感反馈,解决当前远程程控过程中无法进行肢体接触相关检测的问题。
Description
技术领域
本申请涉及虚拟现实、远程医疗、植入式器械、电刺激治疗的技术领域,尤其涉及远程医疗设备、医疗系统及计算机可读存储介质。
背景技术
虚拟现实技术(英文名称:Virtual Reality,缩写为VR),又称虚拟实境或灵境技术,是20世纪发展起来的一项全新的实用技术。虚拟现实技术囊括计算机、电子信息、仿真技术,其基本实现方式是以计算机技术为主,利用并综合三维图形技术、多媒体技术、仿真技术、显示技术、伺服技术等多种高科技的最新发展成果,借助计算机等设备产生一个逼真的三维视觉、触觉、嗅觉等多种感官体验的虚拟世界,从而使处于虚拟世界中的人产生一种身临其境的感觉。
随着科技发展和社会进步,患者渴望通过各种治疗手段来提高生命质量,其中医疗器械,尤其是植入式器械的应用前景非常广阔。植入式器械是指借助手术全部或者部分进入人体内或腔道(口)中,或者用于替代人体上皮表面或眼表面,并且在手术过程结束后留在人体内30日(含)以上或者被人体吸收的医疗器械。刺激器是植入式器械的一种,刺激器通常包括IPG(Implantable Pulse Generator,植入式脉冲发生器)、延伸导线和电极导线,能够为患者提供参数可控的精细化电刺激治疗,在市场上受到众多消费者的欢迎。
在电刺激治疗领域,原有的医疗模式是患者线下前往医院就诊或者医患双方进行线上的远程医疗,其中远程医疗的方式通过视频实现医生端和患者端之间的数据交互,虽然能够为医患双方实时显示视频画面,但是无法进行肢体接触相关的检测,例如扳手腕、诊脉等中医常见诊断操作,也无法使用听诊器这样的西医常见医学仪器进行检测。
专利CN109243597A公开了远程医疗设备、信息获取设备以及远程医疗系统及方法,其中,远程医疗设备与远程医疗信息获取设备连接,所述远程医疗设备包括:通信单元,操作单元,所述通信单元被配置为与所述远程医疗信息获取设备进行通信,并从所述远程医疗信息获取设备接收患者的生理体征信息;所述操作单元被配置为根据所述通信单元接收到的所述生理体征信息,对所述生理体征信息的至少部分进行还原。该技术方案不涉及植入式器械的应用领域,没有利用VR技术对触觉进行感知和仿真。
基于此,本申请提供了远程医疗设备、医疗系统及计算机可读存储介质,以解决上述现有技术中存在的问题。
发明内容
本申请的目的在于提供远程医疗设备、医疗系统及计算机可读存储介质,基于VR技术和远程医疗技术,在远程程控过程中实现面对面诊断时的触感反馈,解决当前远程程控过程中无法进行肢体接触相关检测的问题,提高远程程控的治疗效果。
本申请的目的采用以下技术方案实现:
第一方面,本申请提供了一种远程医疗设备,所述远程医疗设备包括处理器,所述处理器被配置成实现以下步骤:
S1:利用穿戴于医生体外的医生VR设备的压力感测组件感测得到医生压力数据,所述医生压力数据包括所述医生做出按压操作时作用于所述医生VR设备的压力感测组件的压力数据、姿态数据和作用部位数据;
S2:基于所述医生压力数据,利用穿戴于患者体外的患者VR设备的驱动组件模拟所述医生的按压操作并施加于所述患者;
S3:利用所述患者VR设备的压力感测组件感测得到患者压力数据,所述患者压力数据包括所述医生做出按压操作时所述患者作用于所述患者VR设备的压力感测组件的压力数据、姿态数据和反馈部位数据;
S4:基于所述患者压力数据,利用所述医生VR设备的驱动组件模拟所述患者的压力反馈并施加于所述医生;
S5:利用所述医生VR设备的交互组件接收所述医生的程控操作,生成对应的程控指令并发送至所述患者VR设备;
S6:利用所述患者VR设备将所述程控指令发送至植入于所述患者体内的刺激器,以配置所述刺激器的刺激参数,所述刺激器用于向所述患者的体内组织递送与所述刺激参数相应的电刺激。
该技术方案的有益效果在于:基于VR技术和远程医疗技术,在远程程控过程中实现面对面诊断时的触感反馈,解决当前远程程控过程中无法进行肢体接触相关检测的问题,提高远程程控的治疗效果。
具体而言,医生和患者分别穿戴有可穿戴设备,首先在医生端通过医生VR设备的压力感测组件检测医生压力数据并上传,在患者端利用患者VR设备的驱动组件进行动作模拟,再在患者端感测患者施加于患者VR设备的压力感测组件的压力反馈,将这种压力反馈传达给医生端,并利用医生VR设备的驱动组件模拟患者的压力反馈,实现医患双方的远程触觉模拟功能,医生可以在医生端施加一次或多次压力,并实时接收患者的相应压力反馈,从而辅助医生决策如何配置刺激器的刺激参数,在远程程控过程中为患者进行精准的电刺激治疗。
一方面,为医患双方提供远程触觉模拟功能,解决远程程控过程中无法进行肢体接触相关检测的问题,虽然医生和患者不处于同一真实空间(例如医生在医院,患者在家中),但能够还原双方处于同一真实空间的诊断过程,提高远程程控过程的电刺激治疗效果;另一方面,医生VR设备集成了医生程控设备的功能,医生可以直接通过医生VR设备发送程控指令给患者VR设备,由患者VR设备将程控指令发送至刺激器以控制患者体内的刺激器的刺激参数,不需要医生分别操作医生VR设备和医生程控设备,降低了医生操作的难度和复杂程度,便于推广。
在一些可选的实施方式中,所述处理器还被配置成实现以下步骤:
在S2之后,利用所述患者VR设备的疼痛感测组件感测得到患者疼痛数据并显示在所述医生VR设备的显示组件上,以辅助所述医生进行程控操作,所述患者疼痛数据包括所述医生做出按压操作时所述患者的疼痛程度数据。
该技术方案的有益效果在于:将患者感受到的疼痛程度数据实时告知医生,便于医生有针对性地配置适合于患者当前状态的刺激参数。
在一些可选的实施方式中,所述处理器还被配置成实现以下步骤:
基于所述医生压力数据、所述患者压力数据、所述患者疼痛数据以及所述患者的疾病信息,生成参数配置信息并显示在所述医生VR设备的显示组件上,以辅助所述医生进行程控操作;
所述参数配置信息用于指示所述刺激器的刺激参数。
该技术方案的有益效果在于:自动生成参数配置信息作为辅助医生决策的参考信息,医生可以在智能获取的参数配置信息的基础上进行程控操作;程控操作例如可以是针对参数配置信息的确认操作,确认参数配置信息中的一个或多个刺激参数并据此生成程控指令;程控操作例如可以是针对参数配置信息的调整操作,对参数配置信息中的一个或多个刺激参数进行调整,根据调整后的刺激参数生成程控指令。这样做的好处是,以智能化的参数配置方式为医生决策提供参考,当自动生成的参数配置信息的精准度较高时,能够有效缩小城乡之间的医疗水平差距,实现医疗公平;另外,缩短了医生进行程控操作的决策时间,提高了远程程控效率,尽快降低或缓解患者痛苦。
在一些可选的实施方式中,所述参数配置信息的获取过程包括:
将所述医生压力数据、所述患者压力数据、所述患者疼痛数据和所述患者的疾病信息输入至参数配置模型,以得到所述参数配置信息;
其中,所述参数配置模型的训练过程包括:
获取训练集,所述训练集包括多个训练数据,每个所述训练数据包括样本患者对应的医生压力数据、患者压力数据、患者疼痛数据和所述样本患者的疾病信息以及对应的参数配置信息的标注数据;
针对所述训练集中的每个训练数据,执行以下处理:
将所述训练数据中的样本患者对应的医生压力数据、患者压力数据、患者疼痛数据和所述样本患者的疾病信息输入预设的深度学习模型,以得到对应的参数配置信息的预测数据;
基于对应的参数配置信息的预测数据和标注数据,对所述深度学习模型的模型参数进行更新;
检测是否满足预设的训练结束条件;如果是,则将训练出的所述深度学习模型作为所述参数配置模型;如果否,则利用下一个所述训练数据继续训练所述深度学习模型。
该技术方案的有益效果在于:通过设计,建立适量的神经元计算节点和多层运算层次结构,选择合适的输入层和输出层,就可以得到预设的深度学习模型,通过该深度学习模型的学习和调优,建立起从输入到输出的函数关系,虽然不能100%找到输入与输出的函数关系,但是可以尽可能地逼近现实的关联关系,由此训练得到的参数配置模型,可以基于患者的疾病信息以及(实时获取的)医生压力数据、患者压力数据、患者疼痛数据获取对应的参数配置信息,适用范围广,且计算结果准确性高、可靠性高。
在一些可选的实施方式中,所述处理器还被配置成实现以下步骤:
配置用于模仿所述医生的行为的智能体;
利用所述智能体做出步骤S1中的所述按压操作以及步骤S5中的所述程控操作。
该技术方案的有益效果在于:智能体是指驻留在某一环境下,能持续自主地发挥作用,具备驻留性、反应性、社会性、主动性等特征的计算实体,以云为基础,以AI为核心,是一个立体感知、全域协同、精准判断、持续进化、开放的智能系统。配置驻留于电刺激治疗场所的智能体,使用该智能体自主利用VR技术和远程程控技术为患者提供远程医疗服务,具体而言,利用智能体做出真实医生作用于医生VR设备的按压操作和程控操作,由于该智能体在面对同一外界条件时能够做出和真实医生一致的行为(或者说反应),因此可以用来替代真实医生,这样做的好处是,能够进一步降低雇佣真实医生的人力成本,并且智能体不需要休息,能够全天候为患者提供服务。
在一些可选的实施方式中,所述处理器还被配置成实现以下步骤:
利用所述医生的历史数据分别训练预设的第一神经网络和第二神经网络,以得到医生压力模型和医生程控模型;
利用所述医生压力模型生成步骤S1中的所述医生压力数据,
利用所述医生程控模型生成步骤S5中的所述程控指令。
该技术方案的有益效果在于:使用医生压力模型和医生程控模型生成原本依赖于真实医生才能获取的医生压力数据和程控指令,由于该医生压力模型和医生程控模型是利用真实医生的历史数据对预设的第一神经网络和第二神经网络进行训练得到的,当医生压力模型和医生程控模型具有高精准度时,可以用来替代真实医生,这样做的好处是,能够进一步降低雇佣真实医生的人力成本,并且能够全天候为患者提供服务。
在一些可选的实施方式中,所述处理器还被配置成实现以下步骤:
利用图像采集设备采集得到所述患者的全身图像数据;
将所述患者的全身图像数据输入至姿态估计模型,以得到所述患者的姿态估计数据;
基于所述患者的三维模型和姿态估计数据,生成患者全身图像;
对所述患者全身图像进行部分重建,从而在重建后的患者全身图像中显示所述刺激器的电极导线、递送电刺激的所述电极导线的电极触点及其周围的体内组织以及所递送的电刺激的可视化效果;
利用所述医生VR设备的显示组件显示所述重建后的患者全身图像。
该技术方案的有益效果在于:借助VR技术扩大远程诊断时的视野范围,医生可以看到患者全身图像,便于观察患者肢体状态、步态是否正常等,解决现有的远程医疗过程中视频画面范围受限(例如只能看到患者上半身)的问题。具体而言,图像采集设备可以实时采集患者的全身图像数据,对全身图像数据进行姿态估计,就能够得到患者的姿态估计数据(例如是各关节角度数据或者各部位姿态数据,用于判断患者是站立还是坐着,身体挺直还是佝偻,手臂伸展还是向上抬高等),其后基于姿态估计数据,利用患者的三维模型模拟出患者的实时姿态,生成对应的患者全身图像并利用医生VR设备显示,使医生能够直观看到患者全身图像。由于患者全身图像是利用分辨率不高的三维模型和姿态估计数据生成的,因此患者全身图像的数据量大大小于患者的全身图像数据的数据量,医生VR设备不需要获取患者的全身图像数据,大大减少了医生VR设备的数据运算量,进一步提高了远程医疗效率。另外,对患者全身图像进行部分重建,重建后的患者全身图像中能够显示面对面诊断治疗时无法通过肉眼观测的内容,例如刺激器的电极导线、递送电刺激的电极导线的电极触点及其周围的体内组织以及所递送的电刺激的可视化效果。这些虚拟的可视化效果本身非实体,是一种效果模拟,因此无法通过肉眼观测;而实体的电极导线、电极触点由于植入于人体内部,因此也无法通过肉眼观测,而且医生也无法观测患者的体内组织(例如脑内的核团、靶点等)。利用医生VR设备的显示组件为医生显示重建后的患者全身图像,医生就能够直接观察到刺激器的电极导线、电极导线上递送电刺激的电极触点及其周围接受电刺激治疗的体内组织,还能够直接观察到这种电刺激的作用范围、作用强度、作用频率的可视化效果,结合患者的压力反馈、疼痛反馈、实时姿态、电生理信号等反馈数据,在远程程控过程中辅助医生做出决策,配置出适合患者当前状态的刺激参数以对患者进行电刺激治疗,而患者接受电刺激治疗后又会生成新的反馈数据,新的反馈数据又辅助医生做出新的决策,通过这种闭环控制过程,为患者提供精准的电刺激治疗,提高刺激器的治疗效果。
第二方面,本申请提供了一种远程医疗方法,所述方法包括:
S1:利用穿戴于医生体外的医生VR设备的压力感测组件感测得到医生压力数据,所述医生压力数据包括所述医生做出按压操作时作用于所述医生VR设备的压力感测组件的压力数据、姿态数据和作用部位数据;
S2:基于所述医生压力数据,利用穿戴于患者体外的患者VR设备的驱动组件模拟所述医生的按压操作并施加于所述患者;
S3:利用所述患者VR设备的压力感测组件感测得到患者压力数据,所述患者压力数据包括所述医生做出按压操作时所述患者作用于所述患者VR设备的压力感测组件的压力数据、姿态数据和反馈部位数据;
S4:基于所述患者压力数据,利用所述医生VR设备的驱动组件模拟所述患者的压力反馈并施加于所述医生;
S5:利用所述医生VR设备的交互组件接收所述医生的程控操作,生成对应的程控指令并发送至所述患者VR设备;
S6:利用所述患者VR设备将所述程控指令发送至植入于所述患者体内的刺激器,以配置所述刺激器的刺激参数,所述刺激器用于向所述患者的体内组织递送与所述刺激参数相应的电刺激。
在一些可选的实施方式中,所述方法还包括:
在S2之后,利用所述患者VR设备的疼痛感测组件感测得到患者疼痛数据并显示在所述医生VR设备的显示组件上,以辅助所述医生进行程控操作,所述患者疼痛数据包括所述医生做出按压操作时所述患者的疼痛程度数据。
在一些可选的实施方式中,所述方法还包括:
基于所述医生压力数据、所述患者压力数据、所述患者疼痛数据以及所述患者的疾病信息,生成参数配置信息并显示在所述医生VR设备的显示组件上,以辅助所述医生进行程控操作;
所述参数配置信息用于指示所述刺激器的刺激参数。
在一些可选的实施方式中,所述参数配置信息的获取过程包括:
将所述医生压力数据、所述患者压力数据、所述患者疼痛数据和所述患者的疾病信息输入至参数配置模型,以得到所述参数配置信息;
其中,所述参数配置模型的训练过程包括:
获取训练集,所述训练集包括多个训练数据,每个所述训练数据包括样本患者对应的医生压力数据、患者压力数据、患者疼痛数据和所述样本患者的疾病信息以及对应的参数配置信息的标注数据;
针对所述训练集中的每个训练数据,执行以下处理:
将所述训练数据中的样本患者对应的医生压力数据、患者压力数据、患者疼痛数据和所述样本患者的疾病信息输入预设的深度学习模型,以得到对应的参数配置信息的预测数据;
基于对应的参数配置信息的预测数据和标注数据,对所述深度学习模型的模型参数进行更新;
检测是否满足预设的训练结束条件;如果是,则将训练出的所述深度学习模型作为所述参数配置模型;如果否,则利用下一个所述训练数据继续训练所述深度学习模型。
在一些可选的实施方式中,所述方法还包括:
配置用于模仿所述医生的行为的智能体;
利用所述智能体做出步骤S1中的所述按压操作以及步骤S5中的所述程控操作。
在一些可选的实施方式中,所述方法还包括:
利用所述医生的历史数据分别训练预设的第一神经网络和第二神经网络,以得到医生压力模型和医生程控模型;
利用所述医生压力模型生成步骤S1中的所述医生压力数据,
利用所述医生程控模型生成步骤S5中的所述程控指令。
在一些可选的实施方式中,所述方法还包括:
利用图像采集设备采集得到所述患者的全身图像数据;
将所述患者的全身图像数据输入至姿态估计模型,以得到所述患者的姿态估计数据;
基于所述患者的三维模型和姿态估计数据,生成患者全身图像;
对所述患者全身图像进行部分重建,从而在重建后的患者全身图像中显示所述刺激器的电极导线、递送电刺激的所述电极导线的电极触点及其周围的体内组织以及所递送的电刺激的可视化效果;
利用所述医生VR设备的显示组件显示所述重建后的患者全身图像。
第三方面,本申请提供了一种医疗系统,所述医疗系统包括:
上述任一项远程医疗设备;
医生VR设备,所述医生VR设备设置有压力感测组件、驱动组件、交互组件和显示组件;
患者VR设备,所述患者VR设备设置有压力感测组件、驱动组件和疼痛感测组件。
在一些可选的实施方式中,所述患者VR设备的压力感测组件包括患者躯干压力传感器、患者手腕压力传感器和患者四肢压力传感器。
第四方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项方法的步骤或者实现上述任一项远程医疗设备的功能。
附图说明
下面结合附图和实施方式对本申请进一步说明。
图1示出了本申请实施例提供的一种医疗系统的结构框图。
图2示出了本申请实施例提供的一种远程医疗方法的流程示意图。
图3示出了本申请实施例提供的一种显示患者全身图像的流程示意图。
图4示出了本申请实施例提供的一种远程医疗设备的结构框图。
图5示出了本申请实施例提供的一种程序产品的结构示意图。
具体实施方式
下面将结合本申请的说明书附图以及具体实施方式,对本申请中的技术方案进行描述,需要说明的是,在不相冲突的前提下,以下描述的各实施方式之间或各技术特征之间可以任意组合形成新的实施方式。
在本申请实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,a和b,a和c,b和c,a和b和c,其中a、b和c可以是单个,也可以是多个。值得注意的是,“至少一项(个)”还可以解释成“一项(个)或多项(个)”。
还需说明的是,本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施方式或设计方案不应被解释为比其他实施方式或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
下面,首先对本申请实施例的其中一个应用领域(即植入式器械)进行简单说明。
植入式神经刺激系统(一种植入式医疗系统)主要包括植入患者体内的刺激器以及设置于患者体外的程控设备。现有的神经调控技术主要是通过立体定向手术在体内特定结构(即靶点)植入电极,并由植入患者体内的刺激器经电极向靶点发放电脉冲,调控相应神经结构和网络的电活动及其功能,从而改善症状、缓解病痛。其中,刺激器可以是植入式神经电刺激装置、植入式心脏电刺激系统(又称心脏起搏器)、植入式药物输注装置(Implantable Drug Delivery System,简称I DDS)和导线转接装置中的任意一种。植入式神经电刺激装置例如是脑深部电刺激系统(Deep Brain Stimulation,简称DBS)、植入式脑皮层刺激系统(Cortical Nerve Stimulation,简称CNS)、植入式脊髓电刺激系统(SpinalCord Stimulation,简称SCS)、植入式骶神经电刺激系统(Sacral Nerve Stimulation,简称SNS)、植入式迷走神经电刺激系统(Vagus Nerve Stimulation,简称VNS)等。
刺激器可以包括IPG、延伸导线和电极导线,IPG(implantable pulse generator,植入式脉冲发生器)设置于患者体内,响应于程控设备发送的程控指令,依靠密封电池和电路向体内组织提供可控制的电刺激能量,通过植入的延伸导线和电极导线,为体内组织的特定区域递送一路或两路可控制的特定电刺激。延伸导线配合IPG使用,作为电刺激信号的传递媒体,将IPG产生的电刺激信号,传递给电极导线。电极导线通过多个电极触点,向体内组织的特定区域递送电刺激。刺激器设置有单侧或双侧的一路或多路电极导线,电极导线上设置有多个电极触点,电极触点可以均匀排列或者非均匀排列在电极导线的周向上。作为一个示例,电极触点可以以4行3列的阵列(共计12个电极触点)排列在电极导线的周向上。电极触点可以包括刺激电极触点和/或采集电极触点。电极触点例如可以采用片状、环状、点状等形状。
在一些可能的实施方式中,受刺激的体内组织可以是患者的脑组织,受刺激的部位可以是脑组织的特定部位。当患者的疾病类型不同时,受刺激的部位一般来说是不同的,所使用的刺激触点(单源或多源)的数量、一路或多路(单通道或多通道)特定电刺激信号的运用以及刺激参数数据也是不同的。本申请实施例对适用的疾病类型不做限定,其可以是脑深部刺激(DBS)、脊髓刺激(SCS)、骨盆刺激、胃刺激、外周神经刺激、功能性电刺激所适用的疾病类型。其中,DBS可以用于治疗或管理的疾病类型包括但不限于:痉挛疾病(例如,癫痫)、疼痛、偏头痛、精神疾病(例如,重度抑郁症(MDD))、躁郁症、焦虑症、创伤后压力心理障碍症、轻郁症、强迫症(OCD)、行为障碍、情绪障碍、记忆障碍、心理状态障碍、移动障碍(例如,特发性震颤或帕金森氏病)、亨廷顿病、阿尔茨海默症、药物成瘾症、孤独症或其他神经学或精神科疾病和损害。
本申请实施例中,程控设备和刺激器建立程控连接时,可以利用程控设备调整刺激器的刺激参数(不同的刺激参数所对应的电刺激信号不同),也可以通过刺激器感测患者脑深部的电生理活动以采集得到电生理信号,并可以通过所采集到的电生理信号来继续调节刺激器的刺激参数。
刺激参数可以包括以下至少一种:刺激触点标识(例如可以是2#电极触点和3#电极触点)、频率(例如是单位时间1s内的电刺激脉冲信号个数,单位为Hz)、脉宽(每个脉冲的持续时间,单位为μs)、幅值(一般用电压表述,即每个脉冲的强度,单位为V)、时序(例如可以是连续或者簇发,簇发是指多个过程组成的不连续的时序行为)、刺激模式(包括电流模式、电压模式、定时刺激模式和循环刺激模式中的一种或多种)、医生控制上限及下限(医生可调节的范围)和患者控制上限及下限(患者可自主调节的范围)。
在一个具体应用场景中,可以在电流模式或者电压模式下对刺激器的各刺激参数进行调节。
程控设备可以是医生程控设备(即医生使用的程控设备)或者患者程控设备(即患者使用的程控设备)。医生程控设备例如可以是搭载有程控软件的平板电脑、笔记本电脑、台式计算机、手机等智能终端设备。患者程控设备例如可以是搭载有程控软件的平板电脑、笔记本电脑、台式计算机、手机等智能终端设备,患者程控设备还可以是其他具有程控功能的电子设备(例如是具有程控功能的充电器、数据采集设备)。
本申请实施例对医生程控设备和刺激器的数据交互不进行限制,当医生远程程控时,医生程控设备可以通过服务器、患者程控设备与刺激器进行数据交互。当医生线下和患者面对面进行程控时,医生程控设备可以通过患者程控设备与刺激器进行数据交互,医生程控设备还可以直接与刺激器进行数据交互。
在一些可选的实施方式中,患者程控设备可以包括(与服务器通信的)主机和(与刺激器通信的)子机,主机和子机可通信的连接。其中,医生程控设备可以通过3G/4G/5G网络与服务器进行数据交互,服务器可以通过3G/4G/5G网络与主机进行数据交互,主机可以通过蓝牙协议/WIFI协议/USB协议与子机进行数据交互,子机可以通过401MHz-406MHz工作频段/2.4GHz-2.48GHz工作频段与刺激器进行数据交互,医生程控设备可以通过401MHz-406MHz工作频段/2.4GHz-2.48GHz工作频段与刺激器直接进行数据交互。
除了上述植入式器械的应用领域,本申请实施例还可以应用于其他医疗器械甚至非医疗器械的技术领域,本申请实施例不对此设限,只要涉及远程医疗的场合均可应用,且医生VR设备发送至患者VR设备的指令可以不局限于程控指令。
(系统实施例)
参见图1,图1示出了本申请实施例提供的一种医疗系统的结构框图。
本申请实施例提供了一种医疗系统,所述医疗系统包括:
远程医疗设备10;
医生VR设备20,所述医生VR设备20设置有压力感测组件21、驱动组件22、交互组件23和显示组件24;
患者VR设备30,所述患者VR设备30设置有压力感测组件31、驱动组件32和疼痛感测组件33。
本申请实施例对医生VR设备20和患者VR设备30不作限定,其能够构建虚拟环境和可视化的虚拟对象,并提供模拟视觉、触觉、嗅觉等多种感官体验的功能。医生VR设备20和患者VR设备30例如可以具有眼镜、头盔、运动背心、腰带、护肘、护腕、护膝、护踝、按摩椅中的一种或多种的组合形状。
另外,本申请实施例中,医生VR设备20集成了程控设备的功能。医生VR设备20搭载有程控软件,用于实现远程程控功能。也就是说,医生和患者可以不处于同一真实空间,例如双方可以分别处于相距2000公里的两个城市。具体而言,医生VR设备20可以通过患者VR设备30向患者体内的刺激器40发送程控指令,以配置刺激器40的刺激参数。
在一些可选的实施方式中,远程医疗设备10和医生VR设备20结合为一体。
在另一些可选的实施方式中,远程医疗设备10和患者VR设备30结合为一体。
压力感测组件21用于感测医生做出按压操作时作用于压力感测组件21的压力数据、姿态数据和作用部位数据。
压力感测组件31用于感测医生做出按压操作时患者各部位作用于压力感测组件31的压力数据、姿态数据和反馈部位数据。
压力感测组件21、压力感测组件31例如可以采用压力传感器。
压力数据例如可以用于指示部位的压力大小,姿态数据例如可以用于指示部位的姿态角(包括俯仰角、倾斜角和横滚角),作用部位数据例如可以用于指示医生施加作用的患者部位,反馈部位数据例如可以用于指示患者作出压力反馈的部位。
驱动组件22、驱动组件32例如可以采用电机或者气缸。气缸的驱动方式例如可以是电动、气动或者液动,相应地,驱动组件22、驱动组件32可以采用电动气缸、气动气缸或者液动气缸。
交互组件23例如可以采用键盘、鼠标、触控笔、触控板、按钮、旋钮、麦克风、摄像头等。本申请对利用交互组件23接收人工操作的方式不作限定。按照输入方式划分操作,例如可以包括文本输入操作、音频输入操作、视频输入操作、按键操作、鼠标操作、键盘操作、智能触控笔操作等。上述人工操作例如可以包括程控操作、范围配置操作、选择操作、查询操作等。
显示组件24例如可以采用显示屏或者显示器。
在一些可选的实施方式中,交互组件23和显示组件24可以结合为一体,也就是说,医生VR设备20可以采用触控显示屏来同时提供交互功能和显示功能。
疼痛感测组件33例如可以包括电生理采集单元和信号处理单元,电生理采集单元用于采集患者的电生理信号,信号处理单元用于对电生理信号进行处理,以得到对应的疼痛程度数据。电生理信号例如可以包括脑电生理信号、肌电生理信号、眼电生理信号、心电生理信号中的一种或多种。其中,脑电生理信号例如可以是利用刺激器40的电极导线42感测患者的电生理活动得到的。
在一些可选的实施方式中,所述患者VR设备30的压力感测组件31包括患者躯干压力传感器、患者手腕压力传感器和患者四肢压力传感器。
躯干压力传感器用于感测患者躯干各部位的压力数据、姿态数据和部位数据。躯干各部位例如可以包括胸部、腹部、背部、盆部、会阴部等。作为一个示例,设置于患者胸部的躯干压力传感器能够感测患者的心跳。
手腕压力传感器用于感测患者手腕各部位的压力数据、姿态数据和部位数据。手腕各部位例如可以包括左手腕和右手腕。作为一个示例,设置于患者左手腕的手腕压力传感器能够感测患者的脉搏。
四肢压力传感器用于感测患者四肢各部位的压力数据、姿态数据和部位数据。四肢各部位例如可以包括左上肢、右上肢、左下肢和右下肢,还可以包括四肢对应的下级部位,例如每个上肢包括肩、腋窝、上臂、肘、前臂、腕、手、手指(拇指、食指、中指、无名指、小指)等下级部位,每个下肢包括臀部、髋部、大腿、膝、小腿、踝、脚(趾、跖、足弓、踵)。作为一个示例,设置于患者左肘的四肢压力传感器能够感测患者的左肘姿态。作为另一个示例,设置于患者右膝的四肢压力传感器能够感测患者的右膝姿态,这样,当患者右膝被敲击时,就能够实现实时的膝跳传感功能,从而在医生端模仿患者的膝跳反馈,对医生来说,与医患面对面诊断时的触觉反馈完全一致。
继续参见图1,在一些可选的实施方式中,所述医疗系统还包括:
刺激器40,所述刺激器40用于接收程控指令,向患者的体内组织递送所述刺激参数相应的电刺激,以及感测患者的电生理活动;
所述医生VR设备20用于接收范围配置操作,响应于所述范围配置操作,确定所述刺激器40的每个刺激参数对应的可调整的数值范围;
所述刺激器40用于在每个刺激参数对应的可调整的数值范围里进行自适应调整。
其中,自适应调整刺激参数的过程例如可以包括:
基于患者的电生理信号,获取患者的状态分类结果;
基于患者的状态分类结果,获取自适应参数配置信息,所述自适应参数配置信息用于指示所述刺激器40的每个刺激参数;
控制所述刺激器40生成所述自适应参数配置信息对应的刺激脉冲信号,以对患者的电生理信号形成闭环控制。
本申请实施例对患者的状态分类结果不作限定,其例如可以分类为病情得到控制、病情未得到控制,或者可以分类为发病中、即将发病、未发病,或者可以分类为无症状、轻度症状、中度症状、重度症状,或者可以分类为睡眠、运动中、其他,或者可以分类为高兴、伤心、焦虑等。针对不同的状态分类结果,所对应的自适应参数配置信息往往是不同的。
由此,医生可以通过医生VR设备20配置允许刺激器40自适应调整刺激参数的数值范围,保障电刺激治疗的安全性。医生可以根据不同患者的病情严重程度,为各患者设置不同的数值范围,兼顾安全性和治疗效果。
本申请实施例中,所述刺激器40可以包括脉冲发生器41和至少一个电极导线42。所述刺激器40还可以包括至少一个延伸导线43,每个延伸导线43设置于一个电极导线42和脉冲发生器41之间,用于实现二者之间的电连接。当脉冲发生器41和电极导线42均植入于患者颅内时,刺激器40也可以不包括延伸导线43,而只包括脉冲发生器41和电极导线42。
本申请实施例中,脉冲发生器41和电极导线42可通信地连接,二者之间可以直接通信,也可以通过延伸导线43实现数据交互。
本申请实施例中,电极导线42可以植入于患者颅内或者体内其他位置。电极导线42的数量例如可以是1、2、3、4、5、6等。每个电极导线42的电极触点的数量例如可以是4、6、8、9、10、12、15、18等。当患者颅内植入有多个电极导线42时,多个电极导线42可以植入于大脑的同一侧半球,也可以分别植入于大脑的两个半球。
本申请实施例中,电极导线42可以用于感测单细胞和/或多细胞的电生理活动,以得到单细胞的电生理信号和/或局部场电位。局部场电位(Local Field Potential,LFP)是一类特殊的电生理信号。在生物体内,具有一定体积的生物组织中的树突突触活动会引发电流,当这股电流流经具有一定阻抗的细胞外空间时,就形成了一定的电压分布,在某一点记录到的局部电压值就叫做局部场电位。
在一些可选的实施方式中,所述患者的疾病包括以下至少一种:
痉挛疾病、抑郁症、躁郁症、焦虑症、创伤后压力心理障碍症、强迫症、行为障碍、情绪障碍、记忆障碍、心理状态障碍、震颤、帕金森氏病、亨廷顿病、阿尔茨海默症、成瘾性疾病和孤独症。
由此,电刺激治疗直接对神经靶点(例如是伏隔核、内囊前肢、尾状核、豆状核、壳核等组织、核团、纤维束等)进行电刺激,能够有效控制上述疾病的病情,减轻患者的症状,缓解患者的痛苦。
在一个具体应用场景中,电极导线42植入于患者颅内,电极导线42的电极触点同时具备感测电生理活动和递送电刺激的功能;脉冲发生器能够利用电极导线42感测患者脑部局部场电位,在患者即将发病或发病时,通过智能化、自动化的方式及时向患者脑部发出精确的、间隙性刺激信号。
本申请实施例中,所述远程医疗设备10可以被配置成实现远程医疗方法的步骤,下文将先对远程医疗方法进行说明,再对远程医疗设备10进行说明。
(方法实施例)
参见图2,图2示出了本申请实施例提供的一种远程医疗方法的流程示意图。
本申请实施例提供了一种远程医疗方法,所述方法包括:
S1:利用穿戴于医生体外的医生VR设备的压力感测组件感测得到医生压力数据,所述医生压力数据包括所述医生做出按压操作时作用于所述医生VR设备的压力感测组件的压力数据、姿态数据和作用部位数据;
S2:基于所述医生压力数据,利用穿戴于患者体外的患者VR设备的驱动组件模拟所述医生的按压操作并施加于所述患者;
S3:利用所述患者VR设备的压力感测组件感测得到患者压力数据,所述患者压力数据包括所述医生做出按压操作时所述患者作用于所述患者VR设备的压力感测组件的压力数据、姿态数据和反馈部位数据;
S4:基于所述患者压力数据,利用所述医生VR设备的驱动组件模拟所述患者的压力反馈并施加于所述医生;
S5:利用所述医生VR设备的交互组件接收所述医生的程控操作,生成对应的程控指令并发送至所述患者VR设备;
S6:利用所述患者VR设备将所述程控指令发送至植入于所述患者体内的刺激器,以配置所述刺激器的刺激参数,所述刺激器用于向所述患者的体内组织递送与所述刺激参数相应的电刺激。
由此,基于VR技术和远程医疗技术,在远程程控过程中实现面对面诊断时的触感反馈,解决当前远程程控过程中无法进行肢体接触相关检测的问题,提高远程程控的治疗效果。
具体而言,医生和患者分别穿戴有可穿戴设备,首先在医生端通过医生VR设备的压力感测组件检测医生压力数据并上传,在患者端利用患者VR设备的驱动组件进行动作模拟,再在患者端感测患者施加于患者VR设备的压力感测组件的压力反馈,将这种压力反馈传达给医生端,并利用医生VR设备的驱动组件模拟患者的压力反馈,实现医患双方的远程触觉模拟功能,医生可以在医生端施加一次或多次压力,并实时接收患者的相应压力反馈,从而辅助医生决策如何配置刺激器的刺激参数,在远程程控过程中为患者进行精准的电刺激治疗。
一方面,为医患双方提供远程触觉模拟功能,解决远程程控过程中无法进行肢体接触相关检测的问题,虽然医生和患者不处于同一真实空间(例如医生在医院,患者在家中),但能够还原双方处于同一真实空间的诊断过程,提高远程程控过程的电刺激治疗效果;另一方面,医生VR设备集成了医生程控设备的功能,医生可以直接通过医生VR设备发送程控指令给患者VR设备,由患者VR设备将程控指令发送至刺激器以控制患者体内的刺激器的刺激参数,不需要医生分别操作医生VR设备和医生程控设备,降低了医生操作的难度和复杂程度,便于推广。
作为一个示例,医生压力数据是“压力:50N;俯仰角:30度、倾斜角:45度、横滚角:60度;作用部位:右膝”,对应的患者压力数据是“压力:150N;俯仰角:33度、倾斜角:56度、横滚角:78度;反馈部位:右膝”。
在一个具体应用场景中,刺激参数被配置为“用于递送电刺激的刺激触点标识是2#和3#,刺激脉冲信号的电压幅值是4.9V、脉宽是60μs、频率是130Hz”。
在一些可选的实施方式中,所述方法还包括:
在S2之后,利用所述患者VR设备的疼痛感测组件感测得到患者疼痛数据并显示在所述医生VR设备的显示组件上,以辅助所述医生进行(步骤S5中的)程控操作,所述患者疼痛数据包括所述医生做出按压操作时所述患者的疼痛程度数据。
由此,将患者感受到的疼痛程度数据实时告知医生,便于医生有针对性地配置适合于患者当前状态的刺激参数。
疼痛程度数据例如可以采用数值或者等级来表示。当采用数值时,例如可以采用百分制表示,13、45、66、78、99等。当采用等级时,例如可以包括高、中、低三个等级。
在一些可选的实施方式中,所述方法还包括:
基于所述医生压力数据、所述患者压力数据、所述患者疼痛数据以及所述患者的疾病信息,生成参数配置信息并显示在所述医生VR设备的显示组件上,以辅助所述医生进行(步骤S5中的)程控操作;
所述参数配置信息用于指示所述刺激器的刺激参数。
由此,自动生成参数配置信息作为辅助医生决策的参考信息,医生可以在智能获取的参数配置信息的基础上进行程控操作;程控操作例如可以是针对参数配置信息的确认操作,确认参数配置信息中的一个或多个刺激参数并据此生成程控指令;程控操作例如可以是针对参数配置信息的调整操作,对参数配置信息中的一个或多个刺激参数进行调整,根据调整后的刺激参数生成程控指令。
这样做的好处是,以智能化的参数配置方式为医生决策提供参考,当自动生成的参数配置信息的精准度较高时,能够有效缩小城乡之间的医疗水平差距,实现医疗公平;另外,缩短了医生进行程控操作的决策时间,提高了远程程控效率,尽快降低或缓解患者痛苦。
在一个具体应用场景中,参数配置信息是“刺激脉冲信号的电压幅值是3.9V、脉宽是65μs、频率是125Hz”。
在一些可选的实施方式中,所述参数配置信息的获取过程包括:
将所述医生压力数据、所述患者压力数据、所述患者疼痛数据和所述患者的疾病信息输入至参数配置模型,以得到所述参数配置信息;
其中,所述参数配置模型的训练过程包括:
获取训练集,所述训练集包括多个训练数据,每个所述训练数据包括样本患者对应的医生压力数据、患者压力数据、患者疼痛数据和所述样本患者的疾病信息以及对应的参数配置信息的标注数据;
针对所述训练集中的每个训练数据,执行以下处理:
将所述训练数据中的样本患者对应的医生压力数据、患者压力数据、患者疼痛数据和所述样本患者的疾病信息输入预设的深度学习模型,以得到对应的参数配置信息的预测数据;
基于对应的参数配置信息的预测数据和标注数据,对所述深度学习模型的模型参数进行更新;
检测是否满足预设的训练结束条件;如果是,则将训练出的所述深度学习模型作为所述参数配置模型;如果否,则利用下一个所述训练数据继续训练所述深度学习模型。
由此,通过设计,建立适量的神经元计算节点和多层运算层次结构,选择合适的输入层和输出层,就可以得到预设的深度学习模型,通过该深度学习模型的学习和调优,建立起从输入到输出的函数关系,虽然不能100%找到输入与输出的函数关系,但是可以尽可能地逼近现实的关联关系,由此训练得到的参数配置模型,可以基于患者的疾病信息以及(实时获取的)医生压力数据、患者压力数据、患者疼痛数据获取对应的参数配置信息,适用范围广,且计算结果准确性高、可靠性高。
在一些可选的实施方式中,本申请实施例可以训练得到参数配置模型,在另一些可选的实施方式中,本申请可以采用预先训练好的参数配置模型。
在一些可选的实施方式中,例如可以对历史数据进行数据挖掘,以获取训练集中的样本患者的相关数据(对应的医生压力数据、患者压力数据、患者疼痛数据和自身的疾病信息)等。也就是说,这些样本患者可以是真实的患者。当然,样本患者的相关数据也可以是利用GAN模型的生成网络自动生成的。
其中,GAN模型即生成对抗网络(Generative Adversarial Network),由一个生成网络与一个判别网络组成。生成网络从潜在空间(latent space)中随机采样作为输入,其输出结果需要尽量模仿训练集中的真实样本。判别网络的输入则为真实样本或生成网络的输出,其目的是将生成网络的输出从真实样本中尽可能分辨出来。而生成网络则要尽可能地欺骗判别网络。两个网络相互对抗、不断调整参数,最终目的是使判别网络无法判断生成网络的输出结果是否真实。使用GAN模型可以生成多个样本患者的相关数据,用于参数配置模型的训练过程,能有效降低原始数据采集的数据量,大大降低数据采集和标注的成本。
本申请对标注数据的获取方式不作限定,例如可以采用人工标注的方式,也可以采用自动标注或者半自动标注的方式。当样本患者是真实患者时,可以通过关键词提取的方式从历史数据中获取真实数据作为标注数据。
本申请对参数配置模型的训练过程不作限定,其例如可以采用上述监督学习的训练方式,或者可以采用半监督学习的训练方式,或者可以采用无监督学习的训练方式。
本申请对预设的训练结束条件不作限定,其例如可以是训练次数达到预设次数(预设次数例如是1次、3次、10次、100次、1000次、10000次等),或者可以是训练集中的训练数据都完成一次或多次训练,或者可以是本次训练得到的总损失值不大于预设损失值。
在一些可选的实施方式中,所述方法还包括:
配置用于模仿所述医生的行为的智能体;
利用所述智能体做出步骤S1中的所述按压操作以及步骤S5中的所述程控操作。
智能体是指驻留在某一环境下,能持续自主地发挥作用,具备驻留性、反应性、社会性、主动性等特征的计算实体,以云为基础,以AI为核心,是一个立体感知、全域协同、精准判断、持续进化、开放的智能系统。
配置驻留于电刺激治疗场所的智能体,使用该智能体自主利用VR技术和远程程控技术为患者提供远程医疗服务,具体而言,利用智能体做出真实医生作用于医生VR设备的按压操作和程控操作,由于该智能体在面对同一外界条件时能够做出和真实医生一致的行为(或者说反应),因此可以用来替代真实医生,这样做的好处是,能够进一步降低雇佣真实医生的人力成本,并且智能体不需要休息,能够全天候为患者提供服务。
上述智能体可以通过强化学习确定自身应当作出的行为(或者说动作)。
强化学习(Reinforcement Learning,RL)是机器学习中的一个领域,是学习“做什么(即如何把当前的情景映射成动作)才能使得数值化的收益信号最大化”。学习者不会被告知应该采取什么动作,而是必须自己通过尝试去发现哪些动作会产生最丰厚的收益。智能体必须开发已有的经验来获取收益,同时也要进行试探,使得未来可以获得更好的动作选择空间(即从错误中学习)。
在强化学习中,有两个可以进行交互的对象:智能体(Agnet)和环境(Environment)。智能体可以感知环境的状态(State),并根据反馈的奖励(Rewar d)学习选择一个合适的动作(Action),来最大化长期总收益。环境会接收智能体执行的一系列动作,对这一系列动作进行评价并转换为一种可量化的信号反馈给智能体。
除了智能体和环境之外,强化学习系统有四个核心要素:策略(Policy)、回报函数(收益信号,Reward Function)、价值函数(Value Function)和环境模型(EnvironmentModel),其中环境模型是可选的。
策略:定义了智能体在特定时间的行为方式。策略是环境状态到动作的映射。
回报函数:定义了强化学习问题中的目标。在每一步中,环境向智能体发送一个称为收益的标量数值。
价值函数:表示了从长远的角度看什么是好的。一个状态的价值是一个智能体从这个状态开始,对将来累积的总收益的期望。
环境模型:是一种对环境的反应模式的模拟,它允许对外部环境的行为进行推断。
强化学习是一种对目标导向的学习与决策问题进行理解和自动化处理的计算方法。它强调智能体通过与环境的直接互动来学习,而不需要可效仿的监督信号或对周围环境的完全建模,因而与其他的计算方法相比具有不同的范式。
强化学习使用马尔可夫决策过程的形式化框架,使用状态,动作和收益定义学习型智能体与环境的互动过程。
价值与价值函数是强化学习方法的重要特征,价值函数对于策略空间的有效搜索来说十分重要。相比于进化方法以对完整策略的反复评估为引导对策略空间进行直接搜索,使用价值函数是强化学习方法与进化方法的不同之处。
在一些可选的实施方式中,所述方法还包括:
利用所述医生的历史数据分别训练预设的第一神经网络和第二神经网络,以得到医生压力模型和医生程控模型;
利用所述医生压力模型生成步骤S1中的所述医生压力数据,
利用所述医生程控模型生成步骤S5中的所述程控指令。
由此,使用医生压力模型和医生程控模型生成原本依赖于真实医生才能获取的医生压力数据和程控指令,由于该医生压力模型和医生程控模型是利用真实医生的历史数据对预设的第一神经网络和第二神经网络进行训练得到的,当医生压力模型和医生程控模型具有高精准度时,可以用来替代真实医生,这样做的好处是,能够进一步降低雇佣真实医生的人力成本,并且能够全天候为患者提供服务。
其中,预设的第一神经网络例如可以是机器学习网络或者深度学习网络,预设的第二神经网络例如可以是机器学习网络或者深度学习网络。
医生压力模型的输入数据例如可以是所述患者的疾病信息,输出数据是医生压力数据。
医生程控模型的输入数据例如可以是所述医生压力数据、所述患者压力数据、所述患者疼痛数据以及所述患者的疾病信息,输出数据是程控指令。
本申请实施例对疾病信息不作限定,其例如可以包括患者的基本信息、病史信息、医学影像信息、预先录制视频信息、实时视频信息、程控记录和音视频记录中的一个或多个。患者的基本信息可以包括患者的年龄、性别、疾病类型等。
本申请实施例中的医学影像信息例如可以包括CT数据、MR数据、PET数据、X光数据、PET-CT数据、PET-MR数据等。相应的,所使用的医学扫描设备例如可以是CT设备、MR设备、PET设备、X光设备、PET-CT设备、PET-MR设备等。其中,CT(Computed Tomography)即电子计算机断层扫描,MR(M agnetic Resonance)即磁共振,PET(Positron EmissionTomography)即正电子发射断层扫描。
参见图3,图3示出了本申请实施例提供的一种显示患者全身图像的流程示意图。
在一些可选的实施方式中,所述方法还包括:
步骤S7:利用图像采集设备采集得到所述患者的全身图像数据;
步骤S8:将所述患者的全身图像数据输入至姿态估计模型,以得到所述患者的姿态估计数据;
步骤S9:基于所述患者的三维模型和姿态估计数据,生成患者全身图像;
步骤S10:对所述患者全身图像进行部分重建,从而在重建后的患者全身图像中显示所述刺激器的电极导线、递送电刺激的所述电极导线的电极触点及其周围的体内组织以及所递送的电刺激的可视化效果;
步骤S11:利用所述医生VR设备的显示组件显示所述重建后的患者全身图像。
由此,借助VR技术扩大远程诊断时的视野范围,医生可以看到患者全身图像,便于观察患者肢体状态、步态是否正常等,解决现有的远程医疗过程中视频画面范围受限(例如只能看到患者上半身)的问题。
具体而言,图像采集设备可以实时采集患者的全身图像数据,对全身图像数据进行姿态估计,就能够得到患者的姿态估计数据(例如是各关节角度数据或者各部位姿态数据,用于判断患者是站立还是坐着,身体挺直还是佝偻,手臂伸展还是向上抬高等),其后基于姿态估计数据,利用患者的三维模型模拟出患者的实时姿态,生成对应的患者全身图像并利用医生VR设备显示,使医生能够直观看到患者全身图像。
由于患者全身图像是利用分辨率不高的三维模型和姿态估计数据生成的,因此患者全身图像的数据量大大小于患者的全身图像数据的数据量,医生VR设备不需要获取患者的全身图像数据,大大减少了医生VR设备的数据运算量,进一步提高了远程医疗效率。
另外,对患者全身图像进行部分重建,重建后的患者全身图像(或者说患者对应的数字人)中能够显示面对面诊断治疗时无法通过肉眼观测的内容,例如刺激器的电极导线、递送电刺激的电极导线的电极触点及其周围的体内组织以及所递送的电刺激的可视化效果。这些虚拟的可视化效果本身非实体,是一种效果模拟,因此无法通过肉眼观测;而实体的电极导线、电极触点由于植入于人体内部,因此也无法通过肉眼观测,而且医生也无法观测患者的体内组织(例如脑内的核团、靶点等)。
利用医生VR设备的显示组件为医生显示重建后的患者全身图像,医生就能够直接观察到刺激器的电极导线、电极导线上递送电刺激的电极触点及其周围接受电刺激治疗的体内组织,还能够直接观察到这种电刺激的作用范围、作用强度、作用频率的可视化效果,结合患者的压力反馈、疼痛反馈、实时姿态、电生理信号等反馈数据,在远程程控过程中辅助医生做出决策,配置出适合患者当前状态的刺激参数以对患者进行电刺激治疗,而患者接受电刺激治疗后又会生成新的反馈数据,新的反馈数据又辅助医生做出新的决策,通过这种闭环控制过程,为患者提供精准的电刺激治疗,提高刺激器的治疗效果。
本申请实施例中,患者的三维模型的获取过程例如可以包括:
基于所述患者的图像数据和/或医学影像数据,生成所述患者的三维模型。
其中,图像数据例如可以是利用摄像头拍摄所述患者得到的,摄像头例如可以包括光学摄像头和/或红外摄像头。
在使用患者的图像数据生成患者的三维模型时,例如可以将患者的图像数据输入2D转3D模型,以得到患者的三维模型。
在一些可选的实施方式中,所述方法还可以包括:记录患者VR治疗的病程、患者的疾病信息、医生的治疗资料和处方。
在一些可选的实施方式中,所述方法还可以包括:建立VR医疗资料库,总结VR治疗经验,总结疾病的治疗规律和诊断规律。
在一些可选的实施方式中,所述方法还可以包括:结合大数据医疗经验以及机器学习技术,建立虚拟医生模型(例如可以包含上述医生压力模型和医生程控模型),实现对患者的智能医疗。
在一个具体应用场景中,医生和患者分别穿戴有可穿戴的VR设备(即医生VR设备和患者VR设备),在医生端通过医生VR设备上传检测到的医生压力数据,在患者端利用患者VR设备的驱动组件模拟医生的按压操作,再接收患者端的患者压力数据,利用医生VR设备的驱动组件模拟患者的压力反馈,从而实现医患双方的远程触觉模拟功能,让远程诊断实现面对面诊断时的触感反馈。医生VR设备可以借助VR技术扩大远程诊断时的视野范围,医生可看到患者全身,便于观察患者肢体状态、步态是否正常。医生VR设备包含显示屏,可显示患者基本信息及既往病史等。
在患者端模拟来自医生的压力:医生按压操作的压力数据、姿态数据、部位(或者说位置)数据通过医生VR设备的压力感测组件上传至云端,再进云端通过网络传输至患者VR设备的驱动组件,由患者VR设备的驱动组件和设定程序模拟医生的操作。
在医生端模拟来自患者的压力反馈:患者给予医生的压力反馈,包括压力数据、姿态数据、部位(或者说位置)数据通过患者VR设备的压力感测组件上传至云端,再进云端通过网络传输至医生VR设备的驱动组件,由医生VR设备的驱动组件和设定程序模拟患者的行为。
在医生端显示来自患者的疼痛反馈:患者VR设备包含疼痛等级识别组件(即疼痛感测组件),将疼痛等级数据告知医生。
其中,患者VR设备的压力感测组件可以包括患者躯干压力传感器、患者手腕压力传感器、患者四肢压力传感器。患者躯干压力传感器实现心跳传感,并反馈至医生VR设备;患者手腕压力传感器实现脉搏传感,并反馈给医生,并反馈至医生VR设备;患者四肢压力传感器实现四肢姿态改变、膝跳传感,并反馈至医生VR设备。
(设备实施例)
本申请实施例还提供了一种远程医疗设备,其具体实施方式与上述方法实施例中记载的实施方式、所达到的技术效果一致,部分内容不再赘述。
所述远程医疗设备包括处理器,所述处理器被配置成实现以下步骤:
S1:利用穿戴于医生体外的医生VR设备的压力感测组件感测得到医生压力数据,所述医生压力数据包括所述医生做出按压操作时作用于所述医生VR设备的压力感测组件的压力数据、姿态数据和作用部位数据;
S2:基于所述医生压力数据,利用穿戴于患者体外的患者VR设备的驱动组件模拟所述医生的按压操作并施加于所述患者;
S3:利用所述患者VR设备的压力感测组件感测得到患者压力数据,所述患者压力数据包括所述医生做出按压操作时所述患者作用于所述患者VR设备的压力感测组件的压力数据、姿态数据和反馈部位数据;
S4:基于所述患者压力数据,利用所述医生VR设备的驱动组件模拟所述患者的压力反馈并施加于所述医生;
S5:利用所述医生VR设备的交互组件接收所述医生的程控操作,生成对应的程控指令并发送至所述患者VR设备;
S6:利用所述患者VR设备将所述程控指令发送至植入于所述患者体内的刺激器,以配置所述刺激器的刺激参数,所述刺激器用于向所述患者的体内组织递送与所述刺激参数相应的电刺激。
在一些可选的实施方式中,所述处理器还被配置成实现以下步骤:
在S2之后,利用所述患者VR设备的疼痛感测组件感测得到患者疼痛数据并显示在所述医生VR设备的显示组件上,以辅助所述医生进行程控操作,所述患者疼痛数据包括所述医生做出按压操作时所述患者的疼痛程度数据。
在一些可选的实施方式中,所述处理器还被配置成实现以下步骤:
基于所述医生压力数据、所述患者压力数据、所述患者疼痛数据以及所述患者的疾病信息,生成参数配置信息并显示在所述医生VR设备的显示组件上,以辅助所述医生进行程控操作;
所述参数配置信息用于指示所述刺激器的刺激参数。
在一些可选的实施方式中,所述参数配置信息的获取过程包括:
将所述医生压力数据、所述患者压力数据、所述患者疼痛数据和所述患者的疾病信息输入至参数配置模型,以得到所述参数配置信息;
其中,所述参数配置模型的训练过程包括:
获取训练集,所述训练集包括多个训练数据,每个所述训练数据包括样本患者对应的医生压力数据、患者压力数据、患者疼痛数据和所述样本患者的疾病信息以及对应的参数配置信息的标注数据;
针对所述训练集中的每个训练数据,执行以下处理:
将所述训练数据中的样本患者对应的医生压力数据、患者压力数据、患者疼痛数据和所述样本患者的疾病信息输入预设的深度学习模型,以得到对应的参数配置信息的预测数据;
基于对应的参数配置信息的预测数据和标注数据,对所述深度学习模型的模型参数进行更新;
检测是否满足预设的训练结束条件;如果是,则将训练出的所述深度学习模型作为所述参数配置模型;如果否,则利用下一个所述训练数据继续训练所述深度学习模型。
在一些可选的实施方式中,所述处理器还被配置成实现以下步骤:
配置用于模仿所述医生的行为的智能体;
利用所述智能体做出步骤S1中的所述按压操作以及步骤S5中的所述程控操作。
在一些可选的实施方式中,所述处理器还被配置成实现以下步骤:
利用所述医生的历史数据分别训练预设的第一神经网络和第二神经网络,以得到医生压力模型和医生程控模型;
利用所述医生压力模型生成步骤S1中的所述医生压力数据,
利用所述医生程控模型生成步骤S5中的所述程控指令。
在一些可选的实施方式中,所述处理器还被配置成实现以下步骤:
利用图像采集设备采集得到所述患者的全身图像数据;
将所述患者的全身图像数据输入至姿态估计模型,以得到所述患者的姿态估计数据;
基于所述患者的三维模型和姿态估计数据,生成患者全身图像;
对所述患者全身图像进行部分重建,从而在重建后的患者全身图像中显示所述刺激器的电极导线、递送电刺激的所述电极导线的电极触点及其周围的体内组织以及所递送的电刺激的可视化效果;
利用所述医生VR设备的显示组件显示所述重建后的患者全身图像。
参见图4,图4示出了本申请实施例提供的一种远程医疗设备的结构框图。
远程医疗设备例如可以包括至少一个存储器210、至少一个处理器220以及连接不同平台系统的总线230。
存储器210可以包括易失性存储器形式的可读介质,例如随机存取存储器(R AM)211和/或高速缓存存储器212,还可以进一步包括只读存储器(ROM)213。
其中,存储器210还存储有计算机程序,计算机程序可以被处理器220执行,使得处理器220实现上述任一项方法的步骤,其具体实施方式与上述方法实施例中记载的实施方式、所达到的技术效果一致,部分内容不再赘述。
存储器210还可以包括具有至少一个程序模块215的实用工具214,这样的程序模块215包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例的每一个或某种组合中可能包括网络环境的实现。
相应的,处理器220可以执行上述计算机程序,以及可以执行实用工具214。
处理器220可以采用一个或多个应用专用集成电路(ASIC,Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD,ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD,Complex Programmable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)或其他电子元件。
总线230可以为表示几类总线结构的一种或多种,包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构的任意总线结构的局域总线。
远程医疗设备也可以与一个或多个外部设备240例如键盘、指向设备、蓝牙设备等通信,还可与一个或者多个能够与该远程医疗设备交互的设备通信,和/或与使得该远程医疗设备能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入输出接口250进行。并且,远程医疗设备还可以通过网络适配器260与一个或者多个网络(例如局域网(L AN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器260可以通过总线230与远程医疗设备的其它模块通信。应当明白,尽管图中未示出,可以结合远程医疗设备使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
(介质实施例)
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项方法的步骤或者实现上述任一项远程医疗设备的功能,其具体实施方式与上述方法实施例中记载的实施方式、所达到的技术效果一致,部分内容不再赘述。
参见图5,图5示出了本申请实施例提供的一种程序产品的结构示意图。
程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本申请实施例中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等,或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,程序设计语言包括面向对象的程序设计语言诸如Java、C++等,还包括常规的过程式程序设计语言诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本申请从使用目的上,效能上,进步及新颖性等观点进行阐述,已符合专利法所强调的功能增进及使用要件,本申请以上的说明书及说明书附图,仅为本申请的较佳实施例而已,并非以此局限本申请,因此,凡一切与本申请构造,装置,特征等近似、雷同的,即凡依本申请专利申请范围所作的等同替换或修饰等,皆应属本申请的专利申请保护的范围之内。
Claims (10)
1.一种远程医疗设备,其特征在于,所述远程医疗设备包括处理器,所述处理器被配置成实现以下步骤:
S1:利用穿戴于医生体外的医生VR设备的压力感测组件感测得到医生压力数据,所述医生压力数据包括所述医生做出按压操作时作用于所述医生VR设备的压力感测组件的压力数据、姿态数据和作用部位数据;
S2:基于所述医生压力数据,利用穿戴于患者体外的患者VR设备的驱动组件模拟所述医生的按压操作并施加于所述患者;
S3:利用所述患者VR设备的压力感测组件感测得到患者压力数据,所述患者压力数据包括所述医生做出按压操作时所述患者作用于所述患者VR设备的压力感测组件的压力数据、姿态数据和反馈部位数据;
S4:基于所述患者压力数据,利用所述医生VR设备的驱动组件模拟所述患者的压力反馈并施加于所述医生;
S5:利用所述医生VR设备的交互组件接收所述医生的程控操作,生成对应的程控指令并发送至所述患者VR设备;
S6:利用所述患者VR设备将所述程控指令发送至植入于所述患者体内的刺激器,以配置所述刺激器的刺激参数,所述刺激器用于向所述患者的体内组织递送与所述刺激参数相应的电刺激。
2.根据权利要求1所述的远程医疗设备,其特征在于,所述处理器还被配置成实现以下步骤:
在S2之后,利用所述患者VR设备的疼痛感测组件感测得到患者疼痛数据并显示在所述医生VR设备的显示组件上,以辅助所述医生进行程控操作,所述患者疼痛数据包括所述医生做出按压操作时所述患者的疼痛程度数据。
3.根据权利要求2所述的远程医疗设备,其特征在于,所述处理器还被配置成实现以下步骤:
基于所述医生压力数据、所述患者压力数据、所述患者疼痛数据以及所述患者的疾病信息,生成参数配置信息并显示在所述医生VR设备的显示组件上,以辅助所述医生进行程控操作;
所述参数配置信息用于指示所述刺激器的刺激参数。
4.根据权利要求3所述的远程医疗设备,其特征在于,所述参数配置信息的获取过程包括:
将所述医生压力数据、所述患者压力数据、所述患者疼痛数据和所述患者的疾病信息输入至参数配置模型,以得到所述参数配置信息;
其中,所述参数配置模型的训练过程包括:
获取训练集,所述训练集包括多个训练数据,每个所述训练数据包括样本患者对应的医生压力数据、患者压力数据、患者疼痛数据和所述样本患者的疾病信息以及对应的参数配置信息的标注数据;
针对所述训练集中的每个训练数据,执行以下处理:
将所述训练数据中的样本患者对应的医生压力数据、患者压力数据、患者疼痛数据和所述样本患者的疾病信息输入预设的深度学习模型,以得到对应的参数配置信息的预测数据;
基于对应的参数配置信息的预测数据和标注数据,对所述深度学习模型的模型参数进行更新;
检测是否满足预设的训练结束条件;如果是,则将训练出的所述深度学习模型作为所述参数配置模型;如果否,则利用下一个所述训练数据继续训练所述深度学习模型。
5.根据权利要求1所述的远程医疗设备,其特征在于,所述处理器还被配置成实现以下步骤:
配置用于模仿所述医生的行为的智能体;
利用所述智能体做出步骤S1中的所述按压操作以及步骤S5中的所述程控操作。
6.根据权利要求1所述的远程医疗设备,其特征在于,所述处理器还被配置成实现以下步骤:
利用所述医生的历史数据分别训练预设的第一神经网络和第二神经网络,以得到医生压力模型和医生程控模型;
利用所述医生压力模型生成步骤S1中的所述医生压力数据,
利用所述医生程控模型生成步骤S5中的所述程控指令。
7.根据权利要求1所述的远程医疗设备,其特征在于,所述处理器还被配置成实现以下步骤:
利用图像采集设备采集得到所述患者的全身图像数据;
将所述患者的全身图像数据输入至姿态估计模型,以得到所述患者的姿态估计数据;
基于所述患者的三维模型和姿态估计数据,生成患者全身图像;
对所述患者全身图像进行部分重建,从而在重建后的患者全身图像中显示所述刺激器的电极导线、递送电刺激的所述电极导线的电极触点及其周围的体内组织以及所递送的电刺激的可视化效果;
利用所述医生VR设备的显示组件显示所述重建后的患者全身图像。
8.一种医疗系统,其特征在于,所述医疗系统包括:
权利要求1-7任一项所述的远程医疗设备;
医生VR设备,所述医生VR设备设置有压力感测组件、驱动组件、交互组件和显示组件;
患者VR设备,所述患者VR设备设置有压力感测组件、驱动组件和疼痛感测组件。
9.根据权利要求8所述的医疗系统,其特征在于,所述患者VR设备的压力感测组件包括患者躯干压力传感器、患者手腕压力传感器和患者四肢压力传感器。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7任一项所述远程医疗设备的功能。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210938692.9A CN115282477A (zh) | 2022-08-05 | 2022-08-05 | 远程医疗设备、医疗系统及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210938692.9A CN115282477A (zh) | 2022-08-05 | 2022-08-05 | 远程医疗设备、医疗系统及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115282477A true CN115282477A (zh) | 2022-11-04 |
Family
ID=83827848
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210938692.9A Pending CN115282477A (zh) | 2022-08-05 | 2022-08-05 | 远程医疗设备、医疗系统及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115282477A (zh) |
-
2022
- 2022-08-05 CN CN202210938692.9A patent/CN115282477A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11944446B2 (en) | Apparatus, method, and system for pre-action therapy | |
Yang et al. | Homecare robotic systems for healthcare 4.0: Visions and enabling technologies | |
US20210202068A1 (en) | System and method for pre-action training and control | |
US11904101B2 (en) | Digital virtual limb and body interaction | |
US11331565B2 (en) | Digital anatomical virtual extremities for pre-training physical movement | |
CN115054828B (zh) | 脉冲发生器、医疗系统及计算机可读存储介质 | |
US20230290274A9 (en) | Methods and apparatuses for pre-action gaming | |
US20220323766A1 (en) | Systems and methods for providing neurostimulation therapy according to machine learning operations | |
CN114842956B (zh) | 控制设备、医疗系统及计算机可读存储介质 | |
JP2009531077A (ja) | エフェクターのリアル・タイム制御のための装置と方法 | |
Martinez-Martin et al. | Rehabilitation technology: assistance from hospital to home | |
CN113362946A (zh) | 视频处理装置、电子设备及计算机可读存储介质 | |
CN115501481A (zh) | 应急程控设备、医疗系统及计算机可读存储介质 | |
CN113393946B (zh) | 基于虚拟现实技术的医药临床试验辅助系统及方法 | |
Xiong et al. | Intuitive Human-Robot-Environment Interaction With EMG Signals: A Review | |
WO2024001695A1 (zh) | 数据采集方法、装置、系统及计算机可读存储介质 | |
CN113035000A (zh) | 一种面向中枢整合康复治疗技术的虚拟现实训练系统 | |
CN116895065A (zh) | 核团标注装置及方法、可穿戴的xr设备、相关装置 | |
CN115282477A (zh) | 远程医疗设备、医疗系统及计算机可读存储介质 | |
Wang et al. | Design of sports rehabilitation training system based on EEMD algorithm | |
US11673042B2 (en) | Digital anatomical virtual extremities for pre-training physical movement | |
Meder et al. | Biomimetic and Biohybrid Systems: 12th International Conference, Living Machines 2023, Genoa, Italy, July 10–13, 2023, Proceedings, Part I | |
Secciani | SEMG-based Control Strategy for a Hand Exoskeleton System | |
WO2022047377A1 (en) | Digital virtual limb and body interaction | |
CN115019948A (zh) | 控制设备、远程会诊系统和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 215000 building C16, bio nano Park, 218 Xinghu street, Suzhou Industrial Park, Jiangsu Province Applicant after: Jingyu Medical Technology (Suzhou) Co.,Ltd. Address before: 215000 building C16, bio nano Park, 218 Xinghu street, Suzhou Industrial Park, Jiangsu Province Applicant before: SCENERAY Co.,Ltd. |
|
CB02 | Change of applicant information |