CN115177291B - 用于识别重症监护病房获得性肌无力的方法和装置 - Google Patents
用于识别重症监护病房获得性肌无力的方法和装置 Download PDFInfo
- Publication number
- CN115177291B CN115177291B CN202210918584.5A CN202210918584A CN115177291B CN 115177291 B CN115177291 B CN 115177291B CN 202210918584 A CN202210918584 A CN 202210918584A CN 115177291 B CN115177291 B CN 115177291B
- Authority
- CN
- China
- Prior art keywords
- data
- feature vector
- memory network
- muscle
- patient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 206010028417 myasthenia gravis Diseases 0.000 title abstract description 7
- 210000003205 muscle Anatomy 0.000 claims abstract description 80
- 230000015654 memory Effects 0.000 claims abstract description 71
- 208000010428 Muscle Weakness Diseases 0.000 claims abstract description 32
- 206010028372 Muscular weakness Diseases 0.000 claims abstract description 32
- 238000002604 ultrasonography Methods 0.000 claims abstract description 25
- 239000013598 vector Substances 0.000 claims description 99
- 239000008280 blood Substances 0.000 claims description 14
- 210000004369 blood Anatomy 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 12
- 101100339496 Caenorhabditis elegans hop-1 gene Proteins 0.000 claims description 10
- 102000007469 Actins Human genes 0.000 claims description 9
- 108010085238 Actins Proteins 0.000 claims description 9
- 101001025416 Homo sapiens Homologous-pairing protein 2 homolog Proteins 0.000 claims description 9
- 102100037898 Homologous-pairing protein 2 homolog Human genes 0.000 claims description 9
- 108010074051 C-Reactive Protein Proteins 0.000 claims description 7
- 102100032752 C-reactive protein Human genes 0.000 claims description 7
- 238000004868 gas analysis Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 4
- 239000000758 substrate Substances 0.000 claims 5
- 239000000523 sample Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008451 emotion Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000002567 electromyography Methods 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 2
- 210000002808 connective tissue Anatomy 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000001087 myotubule Anatomy 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 210000002027 skeletal muscle Anatomy 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 230000008733 trauma Effects 0.000 description 2
- 210000000689 upper leg Anatomy 0.000 description 2
- 206010003694 Atrophy Diseases 0.000 description 1
- 206010020880 Hypertrophy Diseases 0.000 description 1
- 208000029578 Muscle disease Diseases 0.000 description 1
- 208000029549 Muscle injury Diseases 0.000 description 1
- 206010071759 Muscle oedema Diseases 0.000 description 1
- 201000002481 Myositis Diseases 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 206010052428 Wound Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000037444 atrophy Effects 0.000 description 1
- 210000000852 deltoid muscle Anatomy 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003746 feather Anatomy 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003834 intracellular effect Effects 0.000 description 1
- 230000002438 mitochondrial effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 210000003314 quadriceps muscle Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000002099 shear wave elastography Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0858—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving measuring tissue layers, e.g. skin, interfaces
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/053—Measuring electrical impedance or conductance of a portion of the body
- A61B5/0531—Measuring skin impedance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/053—Measuring electrical impedance or conductance of a portion of the body
- A61B5/0535—Impedance plethysmography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4519—Muscles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
- A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
- A61B2505/03—Intensive care
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Theoretical Computer Science (AREA)
- Dermatology (AREA)
- Hematology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Rheumatology (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本说明书实施例提供了一种用于识别重症监护病房获得性肌无力的方法,包括:获取病人的肌肉超声数据、医学文本数据和临床检查数据;基于所述肌肉超声数据、所述医学文本数据和所述临床检查数据,通过预设的多交互记忆网络,识别所述病人的重症监护病房获得性肌无力的病情。本申请提供的技术方案用以解决现有技术不能尽早识别患者是否患有重症监护病房获得性肌无力的问题。
Description
技术领域
本文件涉及人工智能领域,尤其涉及一种用于识别重症监护病房获得性肌无力的方法和装置。
背景技术
重症监护病房获得性肌无力(intensive care unit acquired muscleweakness,ICU-AW)近年来备受关注,是一种常见的重症监护病房并发症。
现有的ICU-AW识别方法包括:肌力检查、肌电图检查和病理检查。
然而,肌力检查困难、肌电图与肌肉病理有创且不可反复进行,都使得大量的ICU-AW患者得不到及时诊治。
发明内容
鉴于上述的分析,本申请旨在提出一种用于识别重症监护病房获得性肌无力的方法和装置,以解决现有技术不能尽早识别患者是否患有重症监护病房获得性肌无力的问题。
第一方面,本说明书一个或多个实施例提供了一种用于识别重症监护病房获得性肌无力的方法,包括:
获取病人的肌肉超声数据、医学文本数据和临床检查数据;
基于所述肌肉超声数据、所述医学文本数据和所述临床检查数据,通过预设的多交互记忆网络,识别所述病人的重症监护病房获得性肌无力的病情。
进一步,所述临床检查数据包括:病人的血常规数据、生化检查数据、血气分析数据、C反应蛋白数据和电阻抗肌动描记EIM数据中的一个或多个。
进一步,所述基于所述肌肉超声数据、所述医学文本数据和所述临床检查数据,通过预设的多交互记忆网络,识别所述病人的重症监护病房获得性肌无力的病情,包括:
将所述肌肉超声数据转化成第一特征向量;
将所述医学文本数据转化成第二特征向量;
将所述临床检查数据转化第三特征向量;
将所述第一特征向量、所述第二特征向量和所述第三特征向量输入到所述多交互记忆网络,识别所述病人的重症监护病房获得性肌无力的病情。
进一步,所述将所述肌肉超声数据转化成第一特征向量,包括:
将所述肌肉超声数据输入到第一单模态特征提取器,得到所述第一特征向量。
进一步,所述将所述医学文本数据转化成第二特征向量,包括:
将所述医学文本数据输入到第二单模态特征提取器,得到所述第二特征向量。
进一步,所述将所述临床检查数据转化成第三特征向量,包括:
将所述临床检查数据输入到第三单模态特征提取器,得到所述第三特征向量。
进一步,所述将所述第一特征向量、所述第二特征向量和所述第三特征向量输入到所述多交互记忆网络,识别所述病人的重症监护病房获得性肌无力的病情,包括:
所述多交互记忆网络包括:第一记忆网络和第二记忆网络;
所述第一特征向量和所述第三特征向量输入所述第一记忆网络;
所述第二特征向量和所述第三特征向量输入所述第二记忆网络。
第二方面,本申请实施例提供了一种用于识别重症监护病房获得性肌无力的装置,其特征在于,包括:肌肉超声检测设备,电阻抗肌动描记设备,电子病历系统和计算机;
所述肌肉超声检测设备用于获取病人的肌肉超声数据;
所述电阻抗肌动描记设备用于获取临床检查数据;
所述电子病历系统用于获取医学文本数据;
所述计算机用于基于所述肌肉超声数据、所述医学文本数据和所述临床检查数据,通过预设的多交互记忆网络,识别所述病人的重症监护病房获得性肌无力的病情。
进一步,所述计算机包括:第一单模态特征提取器、第二单模态特征提取器和第三单模态特征提取器;
所述第一单模态特征提取器用于将所述肌肉超声数据转化成第一特征向量;
所述第二单模态特征提取器用于将所述医学文本数据转化成第二特征向量;
所述第三单模态特征提取器用于将所述临床检查数据转化成第三特征向量。
进一步,所述计算机包括:多交互记忆网络;
所述多交互记忆网络基于所述第一特征向量、所述第二特征向量和所述第三特征向量,识别所述病人的重症监护病房获得性肌无力的病情。
与现有技术相比,本申请至少能实现以下技术效果:
1、采集肌肉超声数据需要使用探头,使用探头不会造成肌肉创伤。医学文本数据来自于医生询问病人病情后的病历记录与医嘱,显然不会造成肌肉创伤。临床检查数据包括:病人的血常规、生化、血气分析、C反应蛋白和EIM数据。其中采集EIM数据时,需要在肌肉表面设置电极,因而不会造成肌肉创伤。因此,本申请提供的技术方案可以实现在不产生肌肉创伤的情况下,识别病人的重症监护病房获得性肌无力病情及严重程度,从而实现尽早对ICU-AW患者进行诊治。
2、结合病人的肌肉超声数据、医学文本数据和临床检查数据,可以更好地识别病人的病情,从而提高识别ICU-AW患者的准确度。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书一个或多个实施例提供的一种用于识别重症监护病房获得性肌无力的方法的流程图;
图2为本说明书一个或多个实施例提供的第一单模态特征提取器的结构示意图;
图3为本说明书一个或多个实施例提供的第二单模态特征提取器的结构示意图;
图4为本说明书一个或多个实施例提供的第三单模态特征提取器的结构示意图;
图5为本说明书一个或多个实施例提供的多交互记忆网络的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案,下面将结合本说明书一个或多个实施例中的附图,对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书的一部分实施例,而不是全部的实施例。基于本说明书一个或多个实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本文件的保护范围。
肌肉超声(muscle ultrasound,MU)是在超声图像基础上,通过肌肉的羽状角、肌纤维长度、灰阶级、定量背散射分析、剪切波弹力成像等定量数据,来反映肌肉的肌肉厚度、肌肉横截面积、回波强度等,从而客观的评价肌肉的病变范围、性质与程度,例如萎缩或肥大程度、脂肪与结缔组织增生程度以及水肿情况等。由于MU克服了肌电图在临床应用中的很多局限性,例如床边识别困难、部分指标存在主观性、有创性、病人不能配合和耐受、识别部位局限等,因此采用MU可以提高识别ICU-AW患者的准确度。
临床检查数据包括:病人的血常规数据、生化检查数据、血气分析数据和C反应蛋白数据中的一个或多个。上述数据与肌力密切相关,因此本申请将病人的血常规数据、生化检查数据、血气分析数据和C反应蛋白数据合并为临床检查数据,用于识别重症监护病房获得性肌无力的病情。
优选地,临床检查数据还可以加入EIM数据。EIM(Electrical impedancemyography,电阻抗肌动描记法)是利用激发电极给予所测肌肉组织高频、低强度交变电流,通过分析检测电极提取的肌肉组织电压信号(V),得到该肌肉组织的电阻抗参数:电阻(R),电抗(X)和相位角(θ),从而得到电阻抗(Z)。
EIM指标变化可反映肌肉的结构、成分以及分子生物学变化,不仅能反映肌纤维的大小,还能敏感的反映肌肉中的脂肪与结缔组织成分的多少、肌肉水肿和炎症、细胞内成分改变(如线粒体数量改变)等等。同时,EIM无创、便捷、敏感性高,不需患者配合,仅将电极置于皮肤表面即可,十分适合ICU患者,指标还与MU具有较强的相关性,因此本申请将EIM数据作为优选方案用来识别重症监护病房获得性肌无力的病情。
医学文本数据为医生询问病人病情后记录的文本,例如病历、医嘱。由此可知,医学文本数据是病人感受和医生经验的结合。其特点为直观、针对性强、信息全面,但准确性不高。例如,医生会在病历里记载病人的症状,并记录检测项目、检测结果,甚至结合病人的各项数据给出综合性的建议,但上述数据均为医生根据经验给出的,因此准确性存在缺陷。虽然医学文本数据存在准确性不高的缺陷,但其优点不可忽视。通常情况下,医生都是先查看病人,再围绕病人的症状、体征、已有检测结果给出相应医嘱,确定做哪个检测项目,最后根据检测项目对应的数据确定疾病种类。即医学文本数据与MU数据和EIM数据存在相关关系。
基于上述分析,本申请结合肌肉超声数据、医学文本数据和临床检查数据对重症监护病房获得性肌无力病情进行识别。本申请实施例提供了一种用于识别重症监护病房获得性肌无力的方法,包括以下步骤:
步骤1、获取病人的肌肉超声数据、医学文本数据和临床检查数据。
在本申请实施例中,获取肌肉超声数据时,应用MDX-1090(DWL公司,德国)5-12MHZ高频线阵探头进行肌肉超声检测,探头均放置于肌腹,所测肌肉包括:双侧三角肌、肱二头肌、肱三头肌、肱桡肌、前臂屈肌、股直肌、股外侧肌、股内侧肌、胫前肌和腓肠肌中的一个或多个,采集肌肉横截面图像,图像导出为JPEG文件。
对于医学文本数据,医生先通过医院的病历系统将信息写入病历,之后可以通过病历系统获取医学文本数据。
对于临床检查数据,病人进行血常规检查、生化检查、血气分析和C反应蛋白可以获取血常规数据、生化检查数据、血气分析数据和C反应蛋白数据。此外,采用EIM1103系统(Myolex,Inc,San Francisco,CA)进行多频的EIM检测,所测肌肉包括:双侧三角肌、肱二头肌、肱三头肌、肱桡肌、前臂屈肌、股外侧肌、股内侧肌、胫前肌、拇趾伸肌、腓肠肌,每块肌肉均会测得一组电阻抗原始数据(电阻R、电抗X、相位角θ)。
步骤2、基于肌肉超声数据、医学文本数据和临床检查数据,通过预设的多交互记忆网络,识别病人的重症监护病房获得性肌无力的病情。
在本申请实施例中,步骤2包括:
A1、将肌肉超声数据转化成第一特征向量。
在本申请实施例中,将肌肉超声数据输入到第一单模态特征提取器,得到所述第一特征向量。其中,在迁移学习模型训练过程中的特征层后加入自适应层,用来计算源域和目标域的距离,并将其加入网络的损失中进行训练,偏重学习任务强相关的指定特征,最终生成重症监护病房获得性肌无力专用的第一单模态特征提取器。
具体地,用卷积神经网络(Convolutional Neural Networks,CNN)AlexNet模型,第一单模态特征提取器选择AlexNet网络的第8层。为了更好的学习到样本数据的特定特征,在第8层上加入了自适应的度量。自适应度量方法采用了被广泛使用的最大均值差异(Maximum Mean Discrepancy,MMD)准则。该工作中使用的MMD距离定义为:
损失函数定义为:
其中:X为特征集,y为是否为重症监护病房获得性肌无力,Xs为源域特征集,Xt为目标域特征集,Lc(X,y)为源域的分类损失,Dmmd(Xs,Xt)为最大均值差异。
AlexNet网络的结构如图2所示,包括:卷积层(conv1-conv5)、全连接层(fc6-fc8)、适应层(fc_adapt)。其中,左边为模型训练阶段,右边为训练好的模型。
具体训练过程为:
基于图2模型结构进行训练,输入大量的其它肌肉病超声样本数据和少量的肌无力超声样本数据,固定AlexNet网络的前7层参数,训练整个网络结构形成特征提取模型,最终的特征提取器直接提取第8层的参数做为特征。
A2、将医学文本数据转化成第二特征向量。
在本申请实施例中,将医学文本数据输入到第二单模态特征提取器,得到第二特征向量。其中,第二单模态特征提取器为双向长短期记忆网络模型。第二单模态特征提取器的具体结构如图3所示,包括:输入层,Fw_lstm,前向长短期记忆层;bw_lstm,反向长短期记忆层;attention,注意机制层,其中attention weight为注意机制权重,x为特征;fc,全连接层;softmax,分类函数。
第二单模态特征提取器具体训练过程为:
使用Word2vec模型从病历、医嘱等文档医学文本数据中训练出词向量,把句中的词向量拼接成一个序列表示句子信息,每一个词向量代表某一时刻的输入状态,通过双向长短期记忆网络模型(Bi-Long Short-Term Memory,LSTM)对序列化的病历数据进行处理和训练。
A3、将临床检查数据转化第三特征向量。
在本申请实施例中,将临床检查数据输入到第三单模态特征提取器,得到第三特征向量。其中,第三单模态特征提取器的结构如图4所示,包括输入层两个特征层和一个分类层。在使用阶段,第三单模态特征提取器获取图4中特征层2的参数。
A4、将第一特征向量、第二特征向量和第三特征向量输入到多交互记忆网络,识别病人的重症监护病房获得性肌无力的病情。
在本申请实施例中,将第一特征向量、第二特征向量和第三特征向量输入到多交互记忆网络中,利用多交互记忆网络实现多模态的融合。
具体地,本申请实施例中,多交互记忆网络如图5所示,包括:平均池化层,AVGpool;融合层,Concat;分类层,SoftMax;第一记忆网络,视觉记忆网络;第二记忆网络,文本记忆网络。其中,视觉记忆网络和文本记忆网络的结构相同,包括:多个Hop层,每一个HOP层包括GRU,门控循环单元;attention层。肌肉超声图像特征集为第一特征向量,属性为图像向量;临床文本资料特征集为第二特征向量,属性为文本向量;EIM与检验信息特征集为第三特征向量,属性为结构化向量。
多交互记忆网络(Multi-Interactive Memory Network,MIMN)用于实现利用多个模态(如文本、图像)的数据信息去分析情感极性。通常结合文本、图像和方面级情感对数据信息进行分析。文本情感分析一般分为三个层次,文档级、句子级和方面级。其中,文档级和句子级假设整个文本或句子只表达了一种情感,方面级则针对某一句子中不同的属性表达的不同的情感倾向。而对于本申请而言,肌肉超声数据、医学文本数据和临床检查数据为一个病人下不同模态数据,共同反应了病人病情,因此如何有效结合病人不同模态数据,发现数据间相关性,从而提升检测效果为本申请考虑的首要问题。因此本申请采用多交互记忆网络的结构以实现肌肉超声数据、医学文本数据和临床检查数据的融合。具体地,第一特征向量和第三特征向量输入视觉记忆网络以实现在Hop1中完成肌肉超声数据和临床检查数据的融合,第二特征向量和第三特征向量输入文本记忆网络以实现在Hop1中完成医学文本数据和临床检查数据的融合。为了充分捕捉数据之间的相关性,把视觉记忆网络Hop1的输出指向下一层文本记忆网络Hop2,把文本记忆网络Hop1的输出指向下一层视觉记忆网络Hop2,实现数据的交换融合。依次类推,在Hop2、Hop3中逐步实现肌肉超声数据、医学文本数据和临床检查数据的融合。
需要说明的是,实际使用过程中三种数据相互结合的顺序可以是两两组合。但医学文本数据通常是对病情的汇总,肌肉超声数据只是整个检查中的一项,临床检查数据通常包含医生指定的全部检查项目,因此临床检查数据与医学文本数据相关性更强。同时,在临床检查数据引入EIM数据,由于EIM数据与肌肉超声数据较强的相关性,因此通过注意力机制可以实现临床检查数据与肌肉超声数据的融合。综上所述,本申请提出的数据融合次序是最优的方案。而该方案的数据结构刚好匹配多交互记忆网络,因此采用多交互记忆网络作为本申请融合数据阶段的神经网络模型。
在本申请实施例中,步骤A4的具体过程为,第三特征向量经平均池化层后得到两个向量vi和vt,vi和第一特征向量在视觉记忆网络的Hop1中生成vi1,vt和第一特征向量在文本记忆网络的Hop1中生成vt1。之后,vi1和vt1进入文本记忆网络的Hop2,同时vi1和vt1进入视觉记忆网络的Hop2中,如此逐步实现肌肉超声数据、医学文本数据和临床检查数据的融合。最后,在融合层将视觉记忆网络得到的vii和文本记忆网络得到vti进行融合,至此完成肌肉超声数据、医学文本数据和临床检查数的最终融合。
本申请实施例提供了一种用于识别重症监护病房获得性肌无力的装置,包括:肌肉超声检测设备,电阻抗肌动描记设备,电子病历系统和计算机;
所述肌肉超声检测设备用于获取病人的肌肉超声数据;
所述电阻抗肌动描记设备用于获取临床检查数据;
所述电子病历系统用于获取医学文本数据;
所述计算机用于基于所述肌肉超声数据、所述医学文本数据和所述临床检查数据,通过预设的多交互记忆网络,识别所述病人的重症监护病房获得性肌无力的病情。
在本申请实施例中,所述计算机包括:第一单模态特征提取器、第二单模态特征提取器和第三单模态特征提取器;
所述第一单模态特征提取器用于将所述肌肉超声数据转化成第一特征向量;
所述第二单模态特征提取器用于将所述医学文本数据转化成第二特征向量;
所述第三单模态特征提取器用于将所述临床检查数据转化成第三特征向量。
在本申请实施例中,所述计算机包括:多交互记忆网络;
所述多交互记忆网络基于所述第一特征向量、所述第二特征向量和所述第三特征向量,识别所述病人的重症监护病房获得性肌无力的病情。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本文件的实施例而已,并不用于限制本文件。对于本领域技术人员来说,本文件可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本文件的权利要求范围之内。
Claims (9)
1.一种用于识别重症监护病房获得性肌无力的方法,其特征在于,包括:
获取病人的肌肉超声数据、医学文本数据和临床检查数据;
基于所述肌肉超声数据、所述医学文本数据和所述临床检查数据,通过预设的多交互记忆网络,识别所述病人的重症监护病房获得性肌无力的病情;
所述基于所述肌肉超声数据、所述医学文本数据和所述临床检查数据,通过预设的多交互记忆网络,识别所述病人的重症监护病房获得性肌无力的病情,包括:
基于预先设有自适应的度量的AlexNet网络的第8层,将所述肌肉超声数据转化成第一特征向量;
基于Word2vec模型和双向长短期记忆网络模型,将所述医学文本数据转化成第二特征向量;
将所述临床检查数据转化第三特征向量;
将所述第一特征向量、所述第二特征向量和所述第三特征向量输入到所述多交互记忆网络,识别所述病人的重症监护病房获得性肌无力的病情;
第三特征向量经平均池化层后得到两个向量vi和vt,vi和第一特征向量在视觉记忆网络的Hop1中生成vi1,vt和第一特征向量在文本记忆网络的Hop1中生成vt1;之后,vi1和vt1进入文本记忆网络的Hop2,同时vi1和vt1进入视觉记忆网络的Hop2中,如此逐步实现肌肉超声数据、医学文本数据和临床检查数据的融合。
2.根据权利要求1所述的方法,其特征在于,
所述临床检查数据包括:病人的血常规数据、生化检查数据、血气分析数据、C反应蛋白数据和电阻抗肌动描记EIM数据中的一个或多个。
3.根据权利要求1所述的方法,其特征在于,
所述将所述肌肉超声数据转化成第一特征向量,包括:
将所述肌肉超声数据输入到第一单模态特征提取器,得到所述第一特征向量。
4.根据权利要求1所述的方法,其特征在于,
所述将所述医学文本数据转化成第二特征向量,包括:
将所述医学文本数据输入到第二单模态特征提取器,得到所述第二特征向量。
5.根据权利要求1所述的方法,其特征在于,
所述将所述临床检查数据转化成第三特征向量,包括:
将所述临床检查数据输入到第三单模态特征提取器,得到所述第三特征向量。
6.根据权利要求1所述的方法,其特征在于,
所述将所述第一特征向量、所述第二特征向量和所述第三特征向量输入到所述多交互记忆网络,识别所述病人的重症监护病房获得性肌无力的病情,包括:
所述多交互记忆网络包括:第一记忆网络和第二记忆网络;
所述第一特征向量和所述第三特征向量输入所述第一记忆网络;
所述第二特征向量和所述第三特征向量输入所述第二记忆网络。
7.一种用于识别重症监护病房获得性肌无力的装置,其特征在于,包括:肌肉超声检测设备,电阻抗肌动描记设备,电子病历系统和计算机;
所述肌肉超声检测设备用于获取病人的肌肉超声数据;
所述电阻抗肌动描记设备用于获取临床检查数据;
所述电子病历系统用于获取医学文本数据;
所述计算机用于基于所述肌肉超声数据、所述医学文本数据和所述临床检查数据,通过预设的多交互记忆网络,识别所述病人的重症监护病房获得性肌无力的病情;
所述计算机具体用于基于预先设有自适应的度量的AlexNet网络的第8层,将所述肌肉超声数据转化成第一特征向量;基于Word2vec模型和双向长短期记忆网络模型,将所述医学文本数据转化成第二特征向量;将所述临床检查数据转化第三特征向量;将所述第一特征向量、所述第二特征向量和所述第三特征向量输入到所述多交互记忆网络,识别所述病人的重症监护病房获得性肌无力的病情;第三特征向量经平均池化层后得到两个向量vi和vt,vi和第一特征向量在视觉记忆网络的Hop1中生成vi1,vt和第一特征向量在文本记忆网络的Hop1中生成vt1;之后,vi1和vt1进入文本记忆网络的Hop2,同时vi1和vt1进入视觉记忆网络的Hop2中,如此逐步实现肌肉超声数据、医学文本数据和临床检查数据的融合。
8.根据权利要求7所述的装置,其特征在于,
所述计算机包括:第一单模态特征提取器、第二单模态特征提取器和第三单模态特征提取器;
所述第一单模态特征提取器用于将所述肌肉超声数据转化成第一特征向量;
所述第二单模态特征提取器用于将所述医学文本数据转化成第二特征向量;
所述第三单模态特征提取器用于将所述临床检查数据转化成第三特征向量。
9.根据权利要求8所述的装置,其特征在于,
所述计算机包括:多交互记忆网络;
所述多交互记忆网络基于所述第一特征向量、所述第二特征向量和所述第三特征向量,识别所述病人的重症监护病房获得性肌无力的病情。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210918584.5A CN115177291B (zh) | 2022-08-01 | 2022-08-01 | 用于识别重症监护病房获得性肌无力的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210918584.5A CN115177291B (zh) | 2022-08-01 | 2022-08-01 | 用于识别重症监护病房获得性肌无力的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115177291A CN115177291A (zh) | 2022-10-14 |
CN115177291B true CN115177291B (zh) | 2023-11-10 |
Family
ID=83522266
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210918584.5A Active CN115177291B (zh) | 2022-08-01 | 2022-08-01 | 用于识别重症监护病房获得性肌无力的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115177291B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1914617A (zh) * | 2004-02-03 | 2007-02-14 | 美国西门子医疗解决公司 | 与心脏有关的疾病和病症的自动诊断和决策支持系统和方法 |
JP2009092561A (ja) * | 2007-10-10 | 2009-04-30 | Kanazawa Univ | ジヒドロピリジン受容体抗体レベルに基づく胸腺腫合併重症筋無力症の診断方法 |
CN104205155A (zh) * | 2012-03-16 | 2014-12-10 | 亚力克恩制药公司 | 给接受补体抑制剂的患者分配补体抑制药物的方法 |
CN104622511A (zh) * | 2015-01-26 | 2015-05-20 | 首都医科大学附属北京天坛医院 | 一种利用超声波检测骨骼肌机械力学参数的装置及超声波检测方法 |
CN107391901A (zh) * | 2017-05-05 | 2017-11-24 | 陈昕 | 建立普通病房患者病情评估模型的方法和服务器 |
CN207458597U (zh) * | 2017-04-19 | 2018-06-05 | 王旭杰 | 一种新型破伤风临床监测预警系统 |
CN109558896A (zh) * | 2018-11-06 | 2019-04-02 | 中山大学附属第医院 | 基于超声组学和深度学习的疾病智能化分析方法及系统 |
CN110694149A (zh) * | 2019-10-16 | 2020-01-17 | 山东大学齐鲁医院 | 一种超声辅助肌肉识别方法、系统及辅助注射装置 |
CN110693526A (zh) * | 2019-11-11 | 2020-01-17 | 深圳先进技术研究院 | 一种肌肉疾病评估方法、系统及电子设备 |
CN111214255A (zh) * | 2020-01-12 | 2020-06-02 | 刘涛 | 一种医学超声图像计算机辅助诊断方法 |
CN111985350A (zh) * | 2020-07-30 | 2020-11-24 | 平安科技(深圳)有限公司 | 基于机器学习的面部信息识别监控方法及装置 |
CN114241187A (zh) * | 2021-11-25 | 2022-03-25 | 深圳高性能医疗器械国家研究院有限公司 | 基于超声双模态影像的肌肉疾病诊断系统、设备及介质 |
WO2022095254A1 (zh) * | 2020-11-06 | 2022-05-12 | 深圳先进技术研究院 | 一种肌肉超声图像检测方法、系统、终端以及存储介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7433827B2 (en) * | 1999-06-23 | 2008-10-07 | Visicu, Inc. | System and method for displaying a health status of hospitalized patients |
US7395216B2 (en) * | 1999-06-23 | 2008-07-01 | Visicu, Inc. | Using predictive models to continuously update a treatment plan for a patient in a health care location |
US6551243B2 (en) * | 2001-01-24 | 2003-04-22 | Siemens Medical Solutions Health Services Corporation | System and user interface for use in providing medical information and health care delivery support |
US7244230B2 (en) * | 2002-11-08 | 2007-07-17 | Siemens Medical Solutions Usa, Inc. | Computer aided diagnostic assistance for medical imaging |
EP1636757A2 (en) * | 2003-06-25 | 2006-03-22 | Siemens Medical Solutions USA, Inc. | Systems and methods for providing automated regional myocardial assessment for cardiac imaging |
US7733224B2 (en) * | 2006-06-30 | 2010-06-08 | Bao Tran | Mesh network personal emergency response appliance |
US20140335021A1 (en) * | 2013-05-13 | 2014-11-13 | Mustafa A.M. Salih | Ocular Neostigmine Drops for Diagnosing Myasthenia Gravis |
WO2015200494A1 (en) * | 2014-06-25 | 2015-12-30 | Mayo Foundation For Medical Education And Research | System and method for quantitative muscle ultrasound for diagnosis of neuromuscular disease |
US20160070880A1 (en) * | 2014-10-09 | 2016-03-10 | Iqg Llc Dba Iqgateway | Method and system for predicting continous cardiac output (cco) of a patient based on physiological data |
GB201615051D0 (en) * | 2016-09-05 | 2016-10-19 | Kheiron Medical Tech Ltd | Multi-modal medical image procesing |
US10485502B2 (en) * | 2016-12-20 | 2019-11-26 | General Electric Company | System and method for assessing muscle function of a patient |
JP7082993B2 (ja) * | 2018-01-24 | 2022-06-09 | 富士フイルム株式会社 | 医療画像処理装置、方法及びプログラム、診断支援装置、方法及びプログラム並びに医療支援システム及び方法 |
WO2019197427A1 (en) * | 2018-04-09 | 2019-10-17 | Koninklijke Philips N.V. | Ultrasound system with artificial neural network for retrieval of imaging parameter settings for recurring patient |
US11678862B2 (en) * | 2019-09-16 | 2023-06-20 | Siemens Medical Solutions Usa, Inc. | Muscle contraction state triggering of quantitative medical diagnostic ultrasound |
-
2022
- 2022-08-01 CN CN202210918584.5A patent/CN115177291B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1914617A (zh) * | 2004-02-03 | 2007-02-14 | 美国西门子医疗解决公司 | 与心脏有关的疾病和病症的自动诊断和决策支持系统和方法 |
JP2009092561A (ja) * | 2007-10-10 | 2009-04-30 | Kanazawa Univ | ジヒドロピリジン受容体抗体レベルに基づく胸腺腫合併重症筋無力症の診断方法 |
CN104205155A (zh) * | 2012-03-16 | 2014-12-10 | 亚力克恩制药公司 | 给接受补体抑制剂的患者分配补体抑制药物的方法 |
CN104622511A (zh) * | 2015-01-26 | 2015-05-20 | 首都医科大学附属北京天坛医院 | 一种利用超声波检测骨骼肌机械力学参数的装置及超声波检测方法 |
CN207458597U (zh) * | 2017-04-19 | 2018-06-05 | 王旭杰 | 一种新型破伤风临床监测预警系统 |
CN107391901A (zh) * | 2017-05-05 | 2017-11-24 | 陈昕 | 建立普通病房患者病情评估模型的方法和服务器 |
CN109558896A (zh) * | 2018-11-06 | 2019-04-02 | 中山大学附属第医院 | 基于超声组学和深度学习的疾病智能化分析方法及系统 |
CN110694149A (zh) * | 2019-10-16 | 2020-01-17 | 山东大学齐鲁医院 | 一种超声辅助肌肉识别方法、系统及辅助注射装置 |
CN110693526A (zh) * | 2019-11-11 | 2020-01-17 | 深圳先进技术研究院 | 一种肌肉疾病评估方法、系统及电子设备 |
CN111214255A (zh) * | 2020-01-12 | 2020-06-02 | 刘涛 | 一种医学超声图像计算机辅助诊断方法 |
CN111985350A (zh) * | 2020-07-30 | 2020-11-24 | 平安科技(深圳)有限公司 | 基于机器学习的面部信息识别监控方法及装置 |
WO2022095254A1 (zh) * | 2020-11-06 | 2022-05-12 | 深圳先进技术研究院 | 一种肌肉超声图像检测方法、系统、终端以及存储介质 |
CN114241187A (zh) * | 2021-11-25 | 2022-03-25 | 深圳高性能医疗器械国家研究院有限公司 | 基于超声双模态影像的肌肉疾病诊断系统、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115177291A (zh) | 2022-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Miller et al. | Reliability and validity of ultrasound elastography for evaluating muscle stiffness in neurological populations: a systematic review and meta-analysis | |
Guo et al. | Towards the application of one-dimensional sonomyography for powered upper-limb prosthetic control using machine learning models | |
Kowalska et al. | Normal and sonographic anatomy of selected peripheral nerves. Part I: sonohistology and general principles of examination, following the example of the median nerve | |
Alarcón-Paredes et al. | Computer-aided diagnosis based on hand thermal, RGB images, and grip force using artificial intelligence as screening tool for rheumatoid arthritis in women | |
Treacher et al. | Deep learning convolutional neural networks for the estimation of liver fibrosis severity from ultrasound texture | |
Ngo et al. | Federated deep learning for the diagnosis of cerebellar ataxia: Privacy preservation and auto-crafted feature extractor | |
CN116798635B (zh) | 运动功能障碍程度评价模型、评价装置及评价系统 | |
Limbert et al. | Finite element analysis of the human ACL subjected to passive anterior tibial loads | |
CN115177291B (zh) | 用于识别重症监护病房获得性肌无力的方法和装置 | |
Wang et al. | Tissue self-attention network for the segmentation of optical coherence tomography images on the esophagus | |
Antunes et al. | A morphology-based feature set for automated Amyotrophic Lateral Sclerosis diagnosis on surface electromyography | |
Zamanian et al. | Application of artificial intelligence techniques for non-alcoholic fatty liver disease diagnosis: A systematic review (2005-2023) | |
WO2005102159A1 (en) | Method and apparatus for assessing oral mucositis | |
Młyńczak et al. | Obstetric Anal Sphincter Injury Detection Using Impedance Spectroscopy with the ONIRY Probe | |
Pauk et al. | A computational method to differentiate rheumatoid arthritis patients using thermography data | |
Soares et al. | Diagnostic ultrasound assessment of deep fascia sliding mobility in vivo: A scoping review–Part 1: Thoracolumbar and abdominal fasciae | |
Obuchowicz et al. | Influence of load and transducer bandwidth on the repeatability of in vivo tendon stiffness evaluation using shear wave elastography | |
Cheng et al. | Smart handheld device with flexible wrist and electrical bioimpedance sensor for tissue inspection | |
CN112656403A (zh) | 一种骨关节受损信息的检测装置及检测方法 | |
Chin et al. | CWD2GAN: Generative adversarial network of chronic wound depth detection for predicting chronic wound depth | |
Karademir et al. | Morphometry of thenar muscles by water bath ultrasonography in trapeziometacarpal osteoarthritis: intra-and inter-rater reliability | |
Aswini et al. | For Effective, Earlier and Simplified Diagnosis of Retinopathy of Prematurity (RoP), a Probe through Digital Image Processing Algorithm in B-Scan | |
Zheng et al. | Liver Fat Assessment with Body Shape | |
Xu et al. | Wearable psychological stress monitoring equipment and data analysis based on a wireless sensor | |
Stegman et al. | Doppler ultrasound-based measurement of tendon velocity and displacement for application toward detecting user-intended motion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |