CN113571183A - Covid-19患者管理的风险预测 - Google Patents

Covid-19患者管理的风险预测 Download PDF

Info

Publication number
CN113571183A
CN113571183A CN202110464498.7A CN202110464498A CN113571183A CN 113571183 A CN113571183 A CN 113571183A CN 202110464498 A CN202110464498 A CN 202110464498A CN 113571183 A CN113571183 A CN 113571183A
Authority
CN
China
Prior art keywords
patient
disease
features
data
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110464498.7A
Other languages
English (en)
Other versions
CN113571183B (zh
Inventor
P·沙马
I·施穆克廷
S·格尔比奇
D·科马尼丘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthineers AG
Original Assignee
Siemens Healthineers AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthineers AG filed Critical Siemens Healthineers AG
Publication of CN113571183A publication Critical patent/CN113571183A/zh
Application granted granted Critical
Publication of CN113571183B publication Critical patent/CN113571183B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00ICT specially adapted for the handling or processing of medical references
    • G16H70/20ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00ICT specially adapted for the handling or processing of medical references
    • G16H70/60ICT specially adapted for the handling or processing of medical references relating to pathologies
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Fuzzy Systems (AREA)
  • Bioethics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明一般涉及患者管理的风险预测,并且特别涉及疑似或确认为患有COVID‑19(2019冠状病毒病)的患者的患者管理的综合风险预测。本发明提供了用于预测与评估或治疗患者疾病相关联的医疗事件的风险的系统和方法。接收患者的输入医学成像数据和患者数据。输入医学成像数据包括与疾病相关联的异常模式。使用经训练的基于机器学习的特征提取网络,从输入医学成像数据中提取成像特征。对所提取成像特征中的一个或多个进行归一化。使用经训练的基于机器学习的编码器网络,将一个或多个归一化的所提取成像特征和患者数据编码为特征。基于编码特征来预测与评估或治疗患者疾病相关联的医疗事件的风险。

Description

COVID-19患者管理的风险预测
相关申请的交叉引用
本申请要求2020年4月28日提交的美国临时申请号63/016,324的权益,该美国临时申请的公开内容以其整体通过引用并入本文。
技术领域
本发明一般涉及患者管理的风险预测,并且特别涉及疑似或确认为患有COVID-19(2019冠状病毒病)的患者的患者管理的综合风险预测。
背景技术
COVID-19(2019冠状病毒病)是一种由严重急性呼吸道症状冠状病毒2型(SARS-Cov2)引起的传染疾病。COVID-19的常见症状包括发烧、咳嗽和呼吸困难。在大多数情况下,感染COVID-19的患者会经历轻度至中度症状,不需要住院治疗。然而,在严重的情况下,COVID-19可以引起肺炎、严重急性呼吸道综合症、多器官衰竭和死亡。
在当前的临床工作流程中,典型地对疑似患有COVID-19的患者执行诊断性成像,以使COVID-19在肺和其他器官中的范围和严重程度可视化。这样的成像包括大量的定量和定性信息。然而,从成像中提取所有信息是具有挑战性的。此外,由放射科医生对成像进行视觉评估以确定定性信息是主观的,并且经常是关注范围狭隘的。因此,这样的来自成像数据的定量和定性信息当前并未充分用于疑似或确认为患有COVID-19的患者的患者管理。
发明内容
根据一个或多个实施例,提供了用于预测与评估或治疗患者疾病相关联的医疗事件的风险的系统和方法。接收患者的输入医学成像数据和患者数据。输入医学成像数据包括与疾病相关联的异常模式。使用经训练的基于机器学习的特征提取网络,从输入医学成像数据中提取成像特征。对所提取成像特征中的一个或多个进行归一化。使用经训练的基于机器学习的编码器网络,将一个或多个归一化的所提取成像特征和患者数据编码为特征。基于编码特征来预测与评估或治疗患者疾病相关联的医疗事件的风险。
在一个实施例中,疾病是COVID-19(2019冠状病毒病),并且异常模式包括GGO(肺内磨玻璃密度影)、实变和铺路石征中的至少一种。在另一实施例中,疾病是肺炎。
在一个实施例中,对一个或多个所提取的成像特征进行归一化包括关于所提取成像特征中的其他成像特征对一个或多个所提取的成像特征进行归一化,或者关于从事件发生开始的时间对一个或多个所提取的成像特征进行时间上的归一化。事件可以包括从疾病发作开始的时间、从与疾病相关联的并发症发作开始的时间和从发起与疾病相关联的治疗开始的时间中的一个或多个。
在一个实施例中,从输入医学成像数据中提取成像特征包括从输入医学成像数据中提取表示肺受疾病影响的总容积百分比的不透光百分比度量。
在一个实施例中,预测与评估或治疗患者疾病相关联的医疗事件的风险包括预测用于评估或治疗患者的一系列动作的风险,或预测用于评估或治疗患者的资源利用的风险。
通过参考以下详细描述和随附附图,本发明的这些和其他优点对于本领域技术人员而言应当是显而易见的。
附图说明
图1示出根据一个或多个实施例的针对疑似或确认为患有COVID-19(2019冠状病毒病)的患者的示例性临床工作流程;
图2示出根据一个或多个实施例的用于预测与评估或治疗患者疾病相关联的医疗事件的风险的方法;
图3示出根据一个或多个实施例的可以从患者的输入医学成像数据中提取的各种成像特征;
图4示出根据一个或多个实施例的用于训练一个或多个基于机器学习的系统的框架,该系统用于预测与评估或治疗患者疾病相关联的医疗事件的风险;
图5示出可以用于实现本文中所述的一个或多个实施例的示例性人工神经网络;
图6示出可以用于实现本文中所述的一个或多个实施例的卷积神经网络;以及
图7示出可以用于实现本文中所述的一个或多个实施例的计算机的高级框图。
具体实施方式
本发明一般涉及用于COVID-19(2019冠状病毒病)患者管理的风险预测的方法和系统。在本文中描述了本发明的实施例,以给出对这样的方法和系统的视觉理解。数字图像经常由一个或多个对象(或形状)的数字表示组成。在本文中经常在标识和操纵对象方面来描述对象的数字表示。这样的操纵是在计算机系统的存储器或其他电路/硬件中完成的虚拟操纵。因此,应当理解,可以使用存储在计算机系统内的数据在计算机系统内执行本发明的实施例。
COVID-19是一种传染疾病,典型地呈现出各种各样的症状,范围从无症状到轻度、中度、重度和严重症状不等。在COVID-19的进程中,患者可能会在两周或更长的时间段内经历一波又一波的改善和恶化。在该时间段内,患者状况可能会(例如,在数小时内)极大地改变,并且可能需要紧急措施,诸如像气管插管以便机械通气。这样的紧急措施涉及对患者的风险(例如,健康风险)和对护理者的风险(例如,感染风险)这二者。鉴于COVID-19的新颖性质及其指数级扩散,缺乏用于疑似或确认为患有COVID-19的患者的患者管理的数据、既定协议和工作流程。
本文中所述实施例使用一个或多个基于机器学习的系统提供了用于对疑似或确认为患有COVID-19的患者的患者管理的综合风险预测。本文中所述实施例将患者的医学成像数据以及其他患者数据用于在患者管理的不同阶段处的风险预测。有利地,本文中所述实施例提供了对COVID-19患者管理的综合风险预测,以不仅预测与患者状况和治疗相关联的风险,而且还预测与操作和后勤措施(例如,医院的资源利用)相关联的风险。
图1示出了根据一个或多个实施例的用于疑似或确认为患有COVID-19的患者的示例性临床工作流程100。图1中示出了在临床工作流程100的各种阶段处的可能预测。可以根据本文中所述实施例来预测这样的预测。
如图1所示,患者到达医院或另一临床护理场所(例如,紧急护理中心、初级护理室、远程医疗)(框102),在那里,患者入院(框104)或者出院(框106)。在患者入院的情况下(框104),可能的预测包括需要补充氧气或需要进一步检验(例如,成像)。在患者出院的情况下(框106),可能的预测包括是否需要隔离或患者是否可以恢复正常活动。一旦入院,患者就可能被安置在病房中(框108)或ICU(重症监护室)110中。在将患者安置在病房中的情况下(框108),可能的预测包括需要进一步检验(例如,成像)或需要ICU。一旦将患者安置在病房中(框108),患者就可能被安置在ICU中(框110)或出院(框112)。在将患者安置在ICU中的情况下(框110),可能的预测包括需要通气(无创或有创)或ECMO(体外膜肺氧合)。在患者出院的情况下(框112),可能的预测包括是否需要隔离或患者是否可以恢复正常活动。一旦将患者安置在ICU中(框110),患者就可能从ICU中出来(框114)、出院(框116)或死亡(框118)。
图2示出了根据一个或多个实施例的用于预测与评估或治疗患者疾病相关联的医疗事件的风险的方法200。可以由一个或多个计算设备(诸如像图7的计算机702)来执行图2的方法200的步骤。
在步骤202处,接收患者的输入医学成像数据和患者数据。患者可能疑似或确认为患有疾病。在一个实施例中,该疾病是冠状病毒家族的成员。在一个实施例中,该疾病为COVID-19。如本文中所使用的,COVID-19包括COVID-19病毒的突变(可以使用不同的术语来指代)。然而,该疾病可以包括任何疾病。例如,该疾病可以是其他类型的病毒性肺炎(例如,SARS(严重急性呼吸综合征)、MERS(中东呼吸综合征)等)、细菌性肺炎、真菌性肺炎、支原体肺炎或其他类型的肺炎或其他类型的疾病。
在一个实施例中,输入医学成像数据是患者胸部(包括肺和心脏)的数据。然而,输入医学成像数据可以是患者的任何解剖结构或区域的数据。输入医学成像数据可以描绘与患者的肺部疾病相关联的放射学异常模式。例如,在疾病为COVID-19的情况下,异常模式可以包括不透光,诸如例如GGO(肺内磨玻璃密度影)、实变、铺路石征、肺不张、小叶间隔增厚、胸腔积液、支气管扩张、晕征等。
在一个实施例中,输入医学成像数据可以包括CT输入医学成像数据或x射线输入医学成像数据。然而,输入医学成像数据可以具有任何合适的模态,诸如例如MRI(磁共振成像)、US(超声)或任何其他模态或模态的组合。输入医学成像数据可以包括2D图像或3D体积,并且可以包括单个图像或多个图像(例如,随时间推移采集的图像序列)。输入医学成像数据可以在采集输入医学成像数据时直接从图像采集设备(诸如例如CT或x射线扫描仪)接收,或者可以通过从计算机系统的存储装置或存储器加载先前采集的输入医学成像数据或从远程计算机系统接收输入医学成像数据来接收。
患者数据可以包括与患者相关联的任何数据。可以从与一个或多个临床场所相关联的一个或多个医疗数据库中检索患者数据。示例性医疗数据库包括EMR(电子医疗记录)、EHR(电子健康记录)、RIS'(放射信息系统)、HIS(医院信息系统),PACS(图片存档及通信系统)等。
患者数据可以包括例如患者的人口统计信息、检查结果、症状、实验室检验结果、共存病、治疗和病史。人口统计信息可以包括例如患者的年龄、性别、种族、位置和/或地理特征。检查结果可以包括,例如,温度、呼吸率、血压、心率、体重(肥胖)、当前或曾经吸烟者、患者的氧饱和度(在检查室、补充氧气或通气条件下)、病毒载量(例如,存在的病毒颗粒数)以及患者的检验或诊断结果。在一个实施例中,检验结果包括COVID-19抗体检验结果。症状可以包括例如患者经历的呼吸短促、温度、咳嗽和肌肉疼痛。实验室检验结果可以包括,例如,针对COVID-19的RT-PCR(逆转录聚合酶链反应),针对其他病毒性呼吸道感染疾病的检验(例如,排除目标),用以确认或排除继发性细菌感染的血液培养,包括淋巴细胞计数在内的全血计数,诸如肌酐、铁蛋白,C-反应蛋白、降钙素原、D-二聚体、炎性细胞因子、白细胞介素等的生物标记物和肌钙蛋白。共存病可以包括,例如,糖尿病、高血压、心脏病、肾病、慢性透析、癌症、哮喘、慢性阻塞性肺疾病等。治疗可以包括,例如,抗病毒治疗、抗生素、抗炎治疗、呼吸治疗(包括机械通气特性)、ECMO治疗,并且可以包括与发病相关的开始日期、剂量和长度)。病史可以包括,例如,既往检验、既往检查、既往诊断、既往治疗和家族史。
在一个实施例中,患者数据可以包括对受疾病影响的器官或系统的标识。在一个示例中,器官或系统包括肺。COVID-19是一种呼吸道疾病,典型地呈现为咳嗽、呼吸短促和肺炎。在另一示例中,器官或系统包括心脏和心血管系统。患有潜在心血管疾病的COVID-19患者风险较高,并且一般预后不良(包括死亡)。此外,在COVID-19患者中已注意到心脏损伤(例如,心肌炎、心律失常),并且许多抗病毒治疗具有涉及心血管系统的副作用。在另一示例中,器官或系统包括血栓栓塞并发症。COVID-19患者可能发生肺栓塞和深部静脉血栓,并且需要仔细选择和监测抗凝治疗。在另一示例中,器官或系统包括肾脏(例如,针对肾衰竭)。
在步骤204处,从输入医学成像数据中提取成像特征。在一个实施例中,可以使用经训练的基于机器学习的特征提取网络来从输入医学成像数据中自动提取成像特征。然而,可以附加地或可替代地由放射科医生或任何其他用户从输入医学成像数据中手动提取成像特征(作为放射学报告)。在一个实施例中,可以使用根据已知技术训练的基于机器学习的系统从成像数据中自动提取成像特征。
图3示出了根据一个或多个实施例的可以从患者的输入医学成像数据中提取的各种成像特征300。图3所示的成像特征300可以是在图2的方法200的步骤204处提取的成像特征。成像特征300可以使用经训练的基于机器学习的系统从成像数据中自动提取或者由放射科医生从成像数据中手动提取。成像特征300包括肺部感染特征302、气道特征304、肺循环特征306、炎症或其他特征308。
肺部感染特征302包括,例如,空间异常模式(例如,不透光)的存在、异常模式的大小、异常模式的位置、异常模式的程度、异常模式的分布(例如,局灶性、多灶性或分布性;中心性或周边性,双侧等)、肺(例如,肺叶、肺段或肺的其他定义区域)受异常模式影响的百分比(例如,表示肺受疾病影响的总百分比容积的POO(不透光百分比)度量,或表示跨肺的每个肺叶的肺部疾病累及程度的累积量度的LSS(肺部严重程度评分)度量),以及异常模式的放射照相外观(例如,GGO、实变、铺路石征、肺不张、小叶间间隔增厚、胸腔积液、支气管扩张、晕征等)。在一个实施例中,肺部感染特征302包括在两个或多个时间点处的异常模式(在整个肺中,特别是在肺叶中,或在肺的任何其他具体区域中)的直方图的比较。例如,可以确定KL(Kullback-Leibler)散度以比较异常模式的直方图。
气道特征304包括例如患者肺部气道的大小、增厚和分布。
肺循环特征306包括,例如,肺动脉大小、右心室与左心室(RV/LV)直径比、右心房与左心房(RA/LA)面积比、上腔静脉大小、心室内中隔弯曲、以及任何肺栓塞的大小、程度、位置(节段性、亚节段性)和总血栓负荷。
炎症和其他特征308包括,例如,心外膜、心包脂肪和脂肪组织、冠状动脉和主动脉钙、心包积液、肺气肿(空间中的低衰减)、主动脉上钙、颈动脉等。
在一个实施例中,成像特征300包括肺部感染特征302、气道特征304、肺循环特征306、炎症或其他特征308随时间推移的改变率。
在步骤206处,对所提取成像特征中的一个或多个进行归一化。一个或多个所提取的成像特征的归一化将所提取成像特征的值调整为标准尺度。
在一个实施例中,关于所提取的成像特征中的其他成像特征对一个或多个所提取的成像特征进行归一化。例如,可以通过将肺受不透光影响的百分比除以肺栓塞的大小来关于肺栓塞的大小对肺受不透光影响的百分比进行归一化。在另一实施例中,可以关于异常模式的大小对总肺容积进行归一化。在一个实施例中,可以关于与其他器官或系统相关联的所提取成像特征中的其他成像特征对一个或多个所提取的成像特征进行归一化。
在一个实施例中,关于从医疗事件的发生开始的时间对所述一个或多个所提取的成像特征进行时间上的归一化。例如,可以关于从疾病发作开始的时间,诸如例如从患者经历咳嗽和发烧(这是表示COVID-19发作的典型第1天症状)开始的时间对所述一个或多个所提取的成像特征进行归一化。例如,异常模式的大小可以除以从COVID-19发作开始的天数。在另一示例中,可以关于从与疾病相关联的并发症发作(诸如例如呼吸困难(呼吸短促,这是COVID-19的典型第7天症状)的发作、缺氧(降低的氧饱和度,可能是患者在病房或补充氧气的情况下)的发作、主要并发症(例如,多器官衰竭或感染性休克)的发作)开始的时间对所述一个或多个所提取的成像特征进行归一化。在另一示例中,可以关于从发起与疾病相关联的治疗(诸如像抗病毒治疗、抗炎治疗、机械通气或ECMO)开始的时间对所述一个或多个所提取的成像特征进行归一化。还考虑了其他医疗事件,诸如例如入住重症监护室或特定病毒载量(存在的病毒颗粒数量)。
在一个实施例中,关于多个患者对所述一个或多个所提取的成像特征进行归一化。
在一个实施例中,通过调控在步骤208处利用的编码器网络的权重来对提取成像特征进行归一化。
在步骤208处,使用经训练的基于机器学习的编码器网络,将一个或多个归一化的所提取成像特征和患者数据编码为特征。在一个实施例中,输入医学成像数据也可以通过编码器网络被编码为特征。所编码的特征是潜在空间中的低维特征,其大小实质上小于输入到编码器网络中的数据(即归一化的提取成像特征、患者数据以及可能的输入医学成像数据)的大小。在先前的离线或训练阶段期间,编码器网络与解码器网络一起进行训练。一旦被训练,就在在线或推理阶段期间在步骤208处应用编码器网络。下面参考图4进一步描述编码器网络的训练。
在步骤210处,基于编码特征来预测与评估或治疗患者疾病相关联的医疗事件的风险。在一个实施例中,使用经训练的机器学习风险预测网络来预测风险。对风险预测网络进行训练,以在先前的离线或训练阶段期间将特征映射到特定医疗事件的预测风险。一旦被训练,就在在线或推理阶段期间在步骤210处应用风险预测网络。下面参考图4进一步描述风险预测网络的训练。
可以针对与评估或治疗患者以进行患者管理相关联的任何医疗事件来对风险预测网络进行训练或再训练。在一个实施例中,医疗事件包括用于评估或治疗患者的一系列动作。例如,该一系列动作可以是住院或出院、隔离或恢复正常活动、转移到重症监护室、检验、治疗(例如,补充氧气、通气(有创、无创或需要气管切开术的长期通气)、抗病毒治疗(包括缺乏确定功效或存在严重副作用风险的同情使用治疗)、抗炎治疗、ECMO治疗(如果机械通气不足的话))。在一个实施例中,医疗事件包括患者的医疗状况。例如,医疗状况可以是在应用一系列动作之后患者的预测医疗状况。在一个实施例中,医疗事件包括用于评估或治疗患者的操作度量或资源利用。例如,资源利用可以是在医院或重症监护室的住院时间,再入院的可能性,护士、医生或其他医疗人员的数量以及医疗资源的使用。
在一个实施例中,风险预测网络可以基于地理区域(例如,按国家、州或县)适配以计及不同的患者群体,或者基于关于与疾病相关联的医疗事件的时间(例如,COVID-19大流行的相对时间)适配以计及不同的症状。
在一个实施例中,风险预测网络可以是基于LSTM(长短期记忆)的网络,以在训练阶段期间从训练数据(具有时间戳)学习异常模式分布的时间改变,并且在推理阶段期间在步骤210处应用时间改变。
在步骤212处,输出预测风险。例如,可以通过在计算机系统的显示设备上显示预测风险,将预测风险存储在计算机系统的存储器或存储装置中,或者通过将预测风险传输到远程计算机系统来输出预测风险。
图4示出了根据一个或多个实施例的用于训练一个或多个基于机器学习的系统的框架400,该系统用于预测与评估或治疗患者疾病相关联的医疗事件的风险。框架400包括编码器网络410、解码器网络414和风险预测网络418。在离线或训练阶段期间,根据框架400训练编码器网络410、解码器网络414和风险预测网络418。一旦经过训练,就可以在在线或推理阶段应用编码器网络410和风险预测网络418。在一个实施例中,在图2的方法200的步骤208处应用编码器网络410,并且在图2的方法200的步骤210处应用风险预测网络418。解码器网络414仅在训练阶段期间利用,以便约束和规范化编码器网络410,而不在推理阶段期间应用。
编码器网络410和解码器网络414一起训练并形成自动编码器。编码器网络410接收包括从训练成像数据402提取的放射学报告406和图像导出测量值408(定性和定量测量值)的输入训练数据。可以将来自放射学报告406和图像导出测量值408的特征归一化。输入训练数据还包括训练患者数据404,其可以包括患者的人口统计学信息、症状、既往暴露史、实验室检验、既往病史和共存病。在一些实施例中,输入训练数据还包括训练成像数据402。编码器网络410包括多个层,所述多个层将输入训练数据编码为潜在空间中的低级特征412。特征412的大小实质上小于输入训练数据大小。解码器网络414包括多个层,所述多个层对特征412重新编码以生成表示对输入到编码器网络410中的训练输入数据的重构的重构数据416。
风险预测网络418可以是任何基于机器学习的网络(例如,神经网络或深度神经网络)。使用训练数据集训练风险预测网络418,以学习特征和医疗事件的预测风险之间的映射。训练数据集包括具有对应基准真值的特征(例如,特征412)。基准真值是标识对应特征的预期结果(针对特定医疗事件)的标记。
编码器网络410/解码器网络414和风险预测网络418可以单独地进行训练或以端到端的方式一起训练。
关于所要求保护的系统以及关于所要求保护的方法描述了本文中所述实施例。本文中的特征、优点或替代实施例可以分派给其他要求保护的对象,并且反之亦然。换句话说,可以利用在方法的上下文中描述或要求保护的特征改进针对系统的权利要求。在这种情况下,该方法的功能特征由提供系统的目标单元体现。
更进一步地,关于用于使用经训练的基于机器学习的生成器网络对COVID-19患者管理进行风险预测的方法和系统,以及关于用于训练基于机器学习的生成器网络以便对COVID-19患者管理进行风险预测的方法和系统描述了本文中所述实施例。本文中的特征、优点或替代实施例可以分派给其他要求保护的对象,并且反之亦然。换句话说,可以利用在用于利用经训练的基于机器学习的网络的方法和系统的上下文中描述或要求保护的特征来改进针对用于训练基于机器学习的网络的方法和系统的权利要求,并且反之亦然。
特别地,可以通过用于训练基于机器学习的生成器网络以对COVID-19患者管理进行风险预测的方法和系统来适配用于COVID-19患者管理的风险预测的方法和系统的经训练的基于机器学习的网络。更进一步地,经训练的基于机器学习的网络的输入数据可以包括训练输入数据的有利特征和实施例,并且反之亦然。更进一步地,经训练的基于机器学习的网络的输出数据可以包括输出训练数据的有利特征和实施例,并且反之亦然。
一般地,经训练的基于机器学习的网络模仿人类与其他人类思想关联的认知功能。特别地,通过基于训练数据的训练,经训练的基于机器学习的网络能够适应新的情况并检测和推断模式。
一般地,可以借助于训练来适配基于机器学习的网络的参数。特别地,可以使用有监督训练、半监督训练、无监督训练、强化学习和/或主动学习。更进一步地,可以使用表示学习(替代术语是“特征学习”)。特别地,可以通过几个训练步骤来迭代地适配经训练的基于机器学习的网络的参数。
特别地,经训练的基于机器学习的网络可以包括神经网络、支持向量机、决策树和/或贝叶斯网络,和/或经训练的基于机器学习的网络可以基于k均值聚类、Q学习、遗传算法和/或关联规则。特别地,神经网络可以是深度神经网络、卷积神经网络或卷积深度神经网络。更进一步地,神经网络可以是对抗网络、深度对抗网络和/或生成对抗网络。
图5示出了根据一个或多个实施例的人工神经网络500的实施例。“人工神经网络”的替代术语是“神经网络”、“人工神经网”或“神经网”。可以使用人工神经网络500来实现本文中所述的机器学习网络,诸如例如在图2的步骤204处应用的基于机器学习的系统,在图2的步骤208处应用的基于机器学习的编码器网络,在图2的步骤210处应用的风险预测网络,以及图4的编码器网络410、解码器网络414和风险预测网络418。
人工神经网络500包括节点502-522和边532、534、…、536,其中每个边532、534、…、536是从第一节点502-522到第二节点502-522的定向连接。一般地,第一节点502-522和第二节点502-522是不同的节点502-522,第一节点502-522和第二节点502-522也可以是相同的。例如,在图5中,边532是从节点502到节点506的定向连接,而边534是从节点504到节点506的定向连接。从第一节点502-522到第二节点502-522的边532、534、…、536也被标示为第二节点502-522的“入边”和第一节点502-522的“出边”522。
在本实施例中,人工神经网络500的节点502-522可以布置在层524-530中,其中所述层可以包括由节点502-522之间的边532、534、…、536引入的固有顺序。特别地,边532、534、…、536可以仅存在于节点的相邻层之间。在图5所示的实施例中,存在仅包括节点502和504而没有入边的输入层524、仅包括节点522而没有出边的输出层530以及介于输入层524和输出层530之间的隐藏层526、528。一般地,可以任意选取隐藏层526、528的数量。输入层524内节点502和504的数量通常与神经网络500的输入值的数量有关,并且输出层530内节点522的数量通常与神经网络500的输出值的数量有关。
特别地,可以将(实)数作为值分派给神经网络500的每个节点502-522。这里,x(n) i标示第n层524-530的第i节点502-522的值。输入层524的节点502-522的值等同于神经网络500的输入值,输出层530的节点522的值等同于神经网络500的输出值。更进一步地,每个边532、534、…、536可以包括作为实数的权重,特别地,所述权重是区间[-1,1]内或区间[0,1]内的实数。这里,w(m,n) i,j标示第m层524-530的第i节点502-522和第n层524-530的第j节点502-522之间的边的权重。更进一步地,为权重w(n,n+1) i,j定义缩写w(n) i,j
特别地,为了计算神经网络500的输出值,输入值通过神经网络传播。特别地,可以基于第n层524-530的节点502-522的值,通过以下等式计算第(n+1)层524-530的节点502-522的值:
Figure 275906DEST_PATH_IMAGE001
在本文中,函数f是传递函数(另一术语是“激活函数”)。已知传递函数是阶跃函数,sigmoid函数(例如,logistic函数、广义logistic函数、双曲正切、反正切函数、误差函数、平滑步长函数)或整流器(rectifier)函数。传递函数主要用于归一化的目的。
特别地,这些值通过神经网络逐层传播,其中输入层524的值由神经网络500的输入给出,其中第一隐藏层526的值可以基于神经网络的输入层524的值来计算,其中第二隐藏层528的值可以基于第一隐藏层526的值来计算,等等。
为了设置边的值w(m,n) i,j,必须使用训练数据来训练神经网络500。特别地,训练数据包括训练输入数据和训练输出数据(表示为ti)。对于训练步骤,将神经网络500应用于训练输入数据以生成所计算的输出数据。特别地,训练数据和所计算的输出数据包括许多值,所述数量等于输出层的节点数量。
特别地,所计算的输出数据与训练数据之间的比较用于递归地适配神经网络500内的权重(反向传播算法)。特别地,权重根据以下等式而改变:
Figure 130729DEST_PATH_IMAGE002
其中γ是学习速率,并且如果第(n+1)层不是输出层的话,数δ(n) j可以基于δ(n+1) j递归地计算为:
Figure 598882DEST_PATH_IMAGE003
以及,如果第(n+1)层是输出层530的话,
Figure 994091DEST_PATH_IMAGE004
其中f'是激活函数的一阶导数,并且y(n+1) j是输出层530的第j节点的比较训练值。
图6示出了根据一个或多个实施例的卷积神经网络600的实施例。可以使用卷积神经网络600来实现本文中所述的机器学习网络,诸如例如在图2的步骤204处应用的基于机器学习的系统,在图2的步骤208处应用的基于机器学习的编码器网络,在图2的步骤210处应用的风险预测网络,以及图4的编码器网络410、解码器网络414,风险预测网络418。
在图6所示的实施例中,卷积神经网络600包括输入层602、卷积层604、池化层606、全连接层608和输出层610。可替代地,卷积神经网络600可以包括若干个卷积层604、若干个池化层606和若干个全连接层608,以及其他类型的层。可以任意选取层的顺序,通常,全连接层608用作输出层610之前的最后一个层。
特别地,在卷积神经网络600内,一个层602-610的节点612-620可以被视为被布置为d维矩阵或d维图像。特别地,在二维情况下,在第n层602-610中利用i和j索引的节点612-620的值可以标示为x(n) [i,j]。然而,一个层602-610的节点612-620的布置对卷积神经网络600内照此执行的计算没有影响,因为这些计算仅由边的结构和权重给出。
特别地,卷积层604的特征在于,入边的结构和权重基于一定数量的核(kernel)形成卷积运算。特别地,选取入边的结构和权重,使得卷积层604的节点614的值x(n) k基于前一层602的节点612的值x(n-1)被计算为卷积x(n) k = Kk * x(n-1) ,其中在二维情况下,卷积*被定义为:
Figure 808464DEST_PATH_IMAGE005
这里,第k个核Kk是d维矩阵(在本实施例中是二维矩阵),其与节点612-618的数量(例如,3x3矩阵或5x5矩阵)相比,通常较小。特别地,这意味着入边的权重不是独立的,而是被选取为使得它们产生所述卷积方程。特别地,对于为3×3矩阵的核,仅存在9个独立权重(核矩阵的每个条目对应于一个独立权重),与相应层602-610中节点612-620的数量无关。特别地,对于卷积层604,卷积层中节点614的数量等同于前一层602中节点612的数量乘以核的数量。
如果前一层602的节点612被布置为d维矩阵,则使用多个核可被解释为添加另一维度(标示为“深度”维度),使得卷积层614的节点614被布置为(d+1)维矩阵。如果前一层602的节点612已经被布置为包括深度维度的(d+1)维矩阵,则使用多个核可以被解释为沿着深度维度扩展,使得卷积层604的节点614也被布置为(d+1)维矩阵,其中(d+1)维矩阵相对于深度维度的大小是前一层602中的核的数量倍。
使用卷积层604的优点在于,通过在相邻层的节点之间实施局部连接性模式,特别是通过每个节点只连接到前一层节点的一个很小的区域,可以利用输入数据的空间局部相关性。
在图6所示的实施例中,输入层602包括36个节点612,被布置为二维6x6矩阵。卷积层604包括72个节点614,被布置为两个二维6x6矩阵,所述两个矩阵中的每一个是输入层的值与核卷积的结果。等效地,卷积层604的节点614可以被解释为布置为三维6x6x2矩阵,其中最后一个维度是深度维度。
池化层606的特征在于,入边的结构和权重以及其节点616的激活函数基于非线性池化函数f形成池化操作。例如,在二维情况下,可以根据下式基于前一层604的节点614的值x(n-1) 来计算池化层606的节点616的值x(n)
Figure 568609DEST_PATH_IMAGE006
换句话说,通过使用池化层606,通过将前一层604中d1•d2数量的相邻节点614替换为根据池化层中所述数量的相邻节点的值而计算出的单个节点616,可以减少节点614、616的数量。特别地,池化函数f可以是最大值函数、平均值或L2-范数。特别地,对于池化层606,入边的权重是固定的,并且不通过训练来修改。
使用池化层606的优点在于,减少了节点614、616的数量和参数的数量。这导致网络中的计算量减少,并控制了过拟合。
在图6所示的实施例中,池化层606是最大池化,仅利用一个节点替换四个相邻节点,值是四个相邻节点的值中的最大值。最大池化应用于前一层的每个d维矩阵;在本实施例中,最大池化应用于所述两个二维矩阵中的每一个,从而将节点数量从72个减少到18个。
全连接层608的特征在于,在前一层606的节点616和全连接层608的节点618之间存在大多数、特别是所有边的事实,并且其中每个边的权重可以单独进行调整。
在本实施例中,全连接层608的前一层606的节点616显示为二维矩阵,并且附加地显示为非相关节点(指示为一行节点,其中为了更好的呈现性而减少了节点数量)这两者。在本实施例中,全连接层608中节点618的数量等于前一层606中节点616的数量。可替代地,节点616、618的数量可以不同。
更进一步地,在本实施例中,通过将Softmax函数应用于前一层608的节点618的值来确定输出层610的节点620的值。通过应用Softmax函数,输出层610的所有节点620的值之和为1,并且输出层的所有节点620的所有值均为0到1之间的实数。
卷积神经网络600还可以包括ReLU(整流线性单元)层。特别地,ReLU层中包含的节点数量和节点结构等同于前一层中包含的节点数量和节点结构。特别地,通过对前一层的对应节点的值应用整流函数来计算ReLU层中每个节点的值。整流函数的示例为f(x)=max(0,x)、正切双曲函数或sigmoid函数。
特别地,可以基于反向传播算法来训练卷积神经网络600。为了防止过拟合,可以使用正则化方法,例如,丢弃节点612-620、随机池化、使用人工数据、基于L1或L2范数的权重衰减或者最大范数约束。
本文中所述的系统、装置和方法可以使用数字电路来实现,或者使用利用公知的计算机处理器、存储器单元、存储设备、计算机软件和其他组件的一个或多个计算机来实现。典型地,计算机包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储器。计算机还可以包括或耦合到一个或多个大容量存储设备,诸如一个或多个磁盘、内部硬盘和可移动磁盘、磁光盘、光盘等。
本文中所述的系统、装置和方法可以使用以客户端-服务器关系操作的计算机来实现。典型地,在这样的系统中,客户端计算机位于远离服务器计算机的位置,并且经由网络进行交互。客户端-服务器关系可以由在相应的客户端和服务器计算机上运行的计算机程序定义和控制。
本文中所述的系统、装置和方法可以在基于网络的云计算系统内实现。在这样的基于网络的云计算系统中,连接到网络的服务器或另一处理器经由网络与一个或多个客户端计算机通信。客户端计算机可以经由例如驻留在客户端计算机上并在其上操作的网络浏览器应用来与服务器通信。客户端计算机可以将数据存储在服务器上并经由网络访问数据。客户端计算机可以经由网络向服务器传送数据请求或在线服务请求。服务器可以执行所请求的服务并向(一个或多个)客户端计算机提供数据。服务器还可以传输适于引起客户端计算机执行指定功能(例如,执行计算、在屏幕上显示指定数据等)的数据。例如,服务器可以传输适于引起客户端计算机执行本文中所述方法和工作流程中的一个或多个步骤或功能(包括图2的一个或多个步骤或功能)的请求。本文中所述方法和工作流程的某些步骤或功能(包括图2的一个或多个步骤或功能)可以由服务器或基于网络的云计算系统中的另一处理器执行。本文中所述方法和工作流程的某些步骤或功能(包括图2的一个或多个步骤)可以由基于网络的云计算系统中的客户端计算机执行。本文中所述方法和工作流程的某些步骤或功能(包括图2的一个或多个步骤)可以由服务器和/或由基于网络的云计算系统中的客户端计算机以任何组合来执行。
本文中所述的系统、装置和方法可以使用有形地体现在信息载体中(例如,在非暂时性机器可读存储设备中)以用于由可编程处理器执行的计算机程序产品来实现;并且本文中所述的方法和工作流程步骤(包括图2的一个或多个步骤或功能)可以使用可由这样的处理器执行的一个或多个计算机程序来实现。计算机程序是一组计算机程序指令,其可以在计算机中直接或间接地用于执行某一活动或引起某一结果。计算机程序可以以任何形式的编程语言(包括编译或解释语言)书写,并且其可以以任何形式部署,包括作为独立程序或作为模块、组件、子程序或适合在计算环境中使用的其他单元部署。
图7中描绘了可以用于实现本文中所述系统、装置和方法的示例计算机702的高级框图。计算机702包括可操作地耦合到数据存储设备712和存储器710的处理器704。处理器704通过执行定义这样的操作的计算机程序指令来控制计算机702的整体操作。计算机程序指令可以存储在数据存储设备712或其他计算机可读介质中,并且在期望执行计算机程序指令时将其加载到存储器710中。因此,图2的方法和工作流程步骤或功能可以由存储在存储器710和/或数据存储设备712中的计算机程序指令定义,并且由执行计算机程序指令的处理器704控制。例如,计算机程序指令可以实现为由本领域技术人员编程以执行图2的方法和工作流程步骤或功能的计算机可执行代码。因此,通过执行计算机程序指令,处理器704执行图2的方法和工作流程步骤或功能。计算机702还可以包括一个或多个网络接口706,以用于经由网络与其他设备通信。计算机702还可以包括使用户能够与计算机702交互的一个或多个输入/输出设备708(例如,显示器、键盘、鼠标、扬声器、按钮等)。
处理器704可以包括通用微处理器和专用微处理器这两者,并且可以是计算机702的唯一处理器或多个处理器中的一个。例如,处理器704可以包括一个或多个中央处理单元(CPU)。处理器704、数据存储设备712和/或存储器710可以包括一个或多个专用集成电路(ASIC)和/或一个或多个现场可编程门阵列(FPGA),由其补充或并入其中。
数据存储设备712和存储器710每个包括有形的非暂时性计算机可读存储介质。数据存储设备712和存储器710每个可以包括高速随机存取存储器,诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双数据速率同步动态随机存取存储器(DDR RAM)或其他随机存取固态存储器设备,并且可以包括非易失性存储器,诸如一个或多个磁盘存储设备(诸如内部硬盘和可移动磁盘)、磁光盘存储设备、光盘存储设备、闪速存储器设备、半导体存储器设备,诸如可擦可编程只读存储器(EPROM),电可擦可编程只读存储器(EEPROM)、压缩盘只读存储器(CD-ROM)、数字多功能光盘只读存储器(DVD-ROM)磁盘或其他非易失性固态存储设备。
输入/输出设备708可以包括外围设备,诸如打印机、扫描仪、显示屏等。例如,输入/输出设备708可以包括用于向用户显示信息的诸如阴极射线管(CRT)或液晶显示器(LCD)监视器之类的显示设备、键盘和用户通过其可以向计算机702提供输入的诸如鼠标或轨迹球之类的指针设备。
图像采集设备714可以连接到计算机702,以将图像数据(例如,医学图像)输入到计算机702。可以将图像采集设备714和计算机702实现为一个设备。图像采集设备714和计算机702也可以通过网络无线通信。在可能的实施例中,计算机702可以相对于图像采集设备714远离地定位。
可以使用一个或多个计算机(诸如计算机702)来实现本文中所讨论的系统和装置中的任一个或全部,包括在图2的步骤204处应用的基于机器学习的系统,在图2的步骤208处应用的基于机器学习的编码器网络,在图2的步骤210处应用的风险预测网络,图4的编码器网络410、解码器网络414和风险预测网络418,图5的人工神经网络500,以及图6的卷积神经网络600。
本领域技术人员应当认识到,实际计算机或计算机系统的实现可以具有其他结构并且也可以包含其他组件,并且为了说明的目的,图7是这样的计算机的一些组件的高级表示。
上述具体实施方式应理解为在各个方面是说明性和示例性的,而非限制性的,并且本文中公开的发明的范围不应由具体实施方式确定,而是相反由如根据专利法允许的全部范围所解释的权利要求确定。应当理解,本文中示出和描述的实施例对本发明的原理仅是说明性的,并且在不脱离本发明的范围和精神的情况下,本领域技术人员可以实现各种修改。本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种其他特征组合。

Claims (20)

1.一种计算机实现的方法,包括:
接收患者的输入医学成像数据和患者数据,所述输入医学成像数据包括与疾病相关联的异常模式;
使用经训练的基于机器学习的特征提取网络,从所述输入医学成像数据中提取成像特征;
对所提取成像特征中的一个或多个进行归一化;
使用经训练的基于机器学习的编码器网络,将所述一个或多个归一化的所提取成像特征和所述患者数据编码为特征;以及
基于所述编码特征来预测与评估或治疗所述患者疾病相关联的医疗事件的风险。
2.根据权利要求1所述的计算机实现的方法,其中所述疾病是COVID-19(2019冠状病毒病),并且所述异常模式包括GGO(肺内磨玻璃密度影)、实变和铺路石征中的至少一种。
3.根据权利要求1所述的计算机实现的方法,其中对所提取成像特征中的一个或多个进行归一化包括:
关于所提取成像特征中的其他成像特征对一个或多个所提取成像特征进行归一化。
4.根据权利要求1所述的计算机实现的方法,其中对所提取成像特征中的一个或多个进行归一化包括:
关于从事件发生开始的时间对一个或多个所提取成像特征进行时间上的归一化。
5.根据权利要求4所述的计算机实现的方法,其中所述事件包括从所述疾病发作开始的时间、从与所述疾病相关联的并发症发作开始的时间和从发起与所述疾病相关联的治疗开始的时间中的一个或多个。
6.根据权利要求1所述的计算机实现的方法,其中使用经训练的基于机器学习的特征提取网络从所述输入医学成像数据中提取成像特征包括:
从所述输入医学成像数据中提取表示肺受所述疾病影响的总百分比容积的不透光百分比度量。
7.根据权利要求1所述的计算机实现的方法,其中基于所述编码特征来预测与评估或治疗所述患者疾病相关联的医疗事件的风险包括:
预测用于评估或治疗所述患者的一系列动作的风险。
8.根据权利要求1所述的计算机实现的方法,其中基于所述编码特征来预测与评估或治疗所述患者疾病相关联的医疗事件的风险包括:
预测用于评估或治疗所述患者的资源利用的风险。
9.根据权利要求1所述的计算机实现的方法,其中所述疾病是肺炎。
10.一种装置,包括:
用于接收患者的输入医学成像数据和患者数据的部件,所述输入医学成像数据包括与疾病相关联的异常模式;
用于使用经训练的基于机器学习的特征提取网络从所述输入医学成像数据中提取成像特征的部件;
用于对所提取成像特征中的一个或多个进行归一化的部件;
用于使用经训练的基于机器学习的编码器网络将所述一个或多个归一化的所提取成像特征和所述患者数据编码为特征的部件;以及
用于基于所述编码特征来预测与评估或治疗所述患者疾病相关联的医疗事件的风险的部件。
11.根据权利要求10所述的装置,其中所述疾病是COVID-19(2019冠状病毒病),并且所述异常模式包括GGO(肺内磨玻璃密度影)、实变和铺路石征中的至少一种。
12.根据权利要求10所述的装置,其中对所提取成像特征中的一个或多个进行归一化的所述部件包括:
用于关于所提取成像特征中的其他成像特征对一个或多个所提取成像特征进行归一化的部件。
13.根据权利要求10所述的装置,其中对所提取成像特征中的一个或多个进行归一化的所述部件包括:
用于关于从事件发生开始的时间对一个或多个所提取成像特征进行时间上的归一化的部件。
14.根据权利要求13所述的装置,其中所述事件包括从所述疾病发作开始的时间、从与所述疾病相关联的并发症发作开始的时间和从发起与所述疾病相关联的治疗开始的时间中的一个或多个。
15.一种非暂时性计算机可读介质,其存储计算机程序指令,所述计算机程序指令在由处理器执行时引起所述处理器执行以下操作:
接收患者的输入医学成像数据和患者数据,所述输入医学成像数据包括与疾病相关联的异常模式;
使用经训练的基于机器学习的特征提取网络,从所述输入医学成像数据中提取成像特征;
对所提取成像特征中的一个或多个进行归一化;
使用经训练的基于机器学习的编码器网络,将所述一个或多个归一化的所提取成像特征和所述患者数据编码为特征;以及
基于所述编码特征来预测与评估或治疗所述患者疾病相关联的医疗事件的风险。
16.根据权利要求15所述的非暂时性计算机可读介质,其中所述疾病是COVID-19(2019冠状病毒病),并且所述异常模式包括GGO(肺内磨玻璃密度影)、实变和铺路石征中的至少一种。
17.根据权利要求15所述的非暂时性计算机可读介质,其中使用经训练的基于机器学习的特征提取网络从所述输入医学成像数据中提取成像特征包括:
从所述输入医学成像数据中提取表示肺受所述疾病影响的总百分比容积的不透光百分比度量。
18.根据权利要求15所述的非暂时性计算机可读介质,其中基于所述编码特征来预测与评估或治疗所述患者疾病相关联的医疗事件的风险包括:
预测用于评估或治疗所述患者的一系列动作的风险。
19.根据权利要求15所述的非暂时性计算机可读介质,其中基于所述编码特征来预测与评估或治疗所述患者疾病相关联的医疗事件的风险包括:
预测用于评估或治疗所述患者的资源利用的风险。
20.根据权利要求15所述的非暂时性计算机可读介质,其中所述疾病是肺炎。
CN202110464498.7A 2020-04-28 2021-04-28 Covid-19患者管理的风险预测 Active CN113571183B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063016324P 2020-04-28 2020-04-28
US63/016324 2020-04-28
US16/891,309 US11830606B2 (en) 2020-04-28 2020-06-03 Risk prediction for COVID-19 patient management
US16/891309 2020-06-03

Publications (2)

Publication Number Publication Date
CN113571183A true CN113571183A (zh) 2021-10-29
CN113571183B CN113571183B (zh) 2024-07-09

Family

ID=75936664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110464498.7A Active CN113571183B (zh) 2020-04-28 2021-04-28 Covid-19患者管理的风险预测

Country Status (3)

Country Link
US (1) US11830606B2 (zh)
EP (1) EP3905257A1 (zh)
CN (1) CN113571183B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115719647A (zh) * 2023-01-09 2023-02-28 之江实验室 融合主动学习和对比学习的血透并发心血管疾病预测系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114708983B (zh) * 2021-12-17 2022-12-27 华中科技大学 基于关联规则和复杂网络的院内感染风险分析方法及系统
WO2023139009A1 (en) 2022-01-20 2023-07-27 Englmeier Ludwig A simple assay for identifying defective signaling pathways upstream of nfkb

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080233576A1 (en) * 1998-05-01 2008-09-25 Jason Weston Method for feature selection in a support vector machine using feature ranking
US20110295621A1 (en) * 2001-11-02 2011-12-01 Siemens Medical Solutions Usa, Inc. Healthcare Information Technology System for Predicting and Preventing Adverse Events
CA2894317A1 (en) * 2015-06-15 2016-12-15 Deep Genomics Incorporated Systems and methods for classifying, prioritizing and interpreting genetic variants and therapies using a deep neural network
CN107220506A (zh) * 2017-06-05 2017-09-29 东华大学 基于深度卷积神经网络的乳腺癌风险评估分析系统
US20180121626A1 (en) * 2016-10-27 2018-05-03 International Business Machines Corporation Risk assessment based on patient similarity determined using image analysis
US20190333210A1 (en) * 2018-04-26 2019-10-31 Siemens Healthcare Gmbh Tissue-to-Flow Image Generation in Medical Imaging
US20190371450A1 (en) * 2018-05-30 2019-12-05 Siemens Healthcare Gmbh Decision Support System for Medical Therapy Planning
US20200069973A1 (en) * 2018-05-30 2020-03-05 Siemens Healthcare Gmbh Decision Support System for Individualizing Radiotherapy Dose

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10039513B2 (en) * 2014-07-21 2018-08-07 Zebra Medical Vision Ltd. Systems and methods for emulating DEXA scores based on CT images
WO2019157214A2 (en) * 2018-02-07 2019-08-15 Ai Technologies Inc. Deep learning-based diagnosis and referral of diseases and disorders
US10811135B2 (en) * 2018-12-27 2020-10-20 General Electric Company Systems and methods to determine disease progression from artificial intelligence detection output

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080233576A1 (en) * 1998-05-01 2008-09-25 Jason Weston Method for feature selection in a support vector machine using feature ranking
US20110295621A1 (en) * 2001-11-02 2011-12-01 Siemens Medical Solutions Usa, Inc. Healthcare Information Technology System for Predicting and Preventing Adverse Events
CA2894317A1 (en) * 2015-06-15 2016-12-15 Deep Genomics Incorporated Systems and methods for classifying, prioritizing and interpreting genetic variants and therapies using a deep neural network
US20180121626A1 (en) * 2016-10-27 2018-05-03 International Business Machines Corporation Risk assessment based on patient similarity determined using image analysis
CN107220506A (zh) * 2017-06-05 2017-09-29 东华大学 基于深度卷积神经网络的乳腺癌风险评估分析系统
US20190333210A1 (en) * 2018-04-26 2019-10-31 Siemens Healthcare Gmbh Tissue-to-Flow Image Generation in Medical Imaging
US20190371450A1 (en) * 2018-05-30 2019-12-05 Siemens Healthcare Gmbh Decision Support System for Medical Therapy Planning
US20200069973A1 (en) * 2018-05-30 2020-03-05 Siemens Healthcare Gmbh Decision Support System for Individualizing Radiotherapy Dose

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
GUILLAUME CHASSAGNON等: "AI-driven CT-based quantification, staging and short-term outcome prediction of COVID-19 pneumonia", 《MEDICAL IMAGE ANALYSIS》, pages 1 - 16 *
OPHIR GOZES等: "Rapid AI development cycle for the coronavirus(COVID-19) Pandemic:initial results for automated detection& patient monitoring using deep learning CT image analysis", 《ARTIFICIAL INTELLIGENCE FOR POSSIBLE PUBLICATION》 *
WEIJIE GUAN: "clincal characteristics of coronavirus diseae 2019 in China", 《NEW ENGLAND JOURNAL OF MEDICINE》 *
YU-HUAN WU等: "JCS: an explainable COVID-19 diagnosis system by joint classification and segmentation", 《IEEE T然撒抽屉ONSONIMAGEPROCESSING》 *
俞龙;彭伟;朱丹;: "老年新型冠状病毒感染肺炎临床特征", 中国老年学杂志, no. 08 *
王智;刘薇;兰燕;: "基于BP神经网络的脑血管疾病院内感染风险预测模型研究", 重庆医学, no. 12 *
蒋正锋;许昕;: "基于CT影像的COVID-19智能辅助诊断方法", 分子影像学杂志, no. 02 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115719647A (zh) * 2023-01-09 2023-02-28 之江实验室 融合主动学习和对比学习的血透并发心血管疾病预测系统

Also Published As

Publication number Publication date
US11830606B2 (en) 2023-11-28
US20210330269A1 (en) 2021-10-28
CN113571183B (zh) 2024-07-09
EP3905257A1 (en) 2021-11-03

Similar Documents

Publication Publication Date Title
US11957507B2 (en) Systems and methods for a deep neural network to enhance prediction of patient endpoints using videos of the heart
CN113571183B (zh) Covid-19患者管理的风险预测
US20190164642A1 (en) Computer-based diagnostic system
JP6906347B2 (ja) 医用画像分類装置、方法およびプログラム
US20180315505A1 (en) Optimization of clinical decision making
US11717233B2 (en) Assessment of abnormality patterns associated with COVID-19 from x-ray images
EP3896702A1 (en) Cardiovascular assessment of patients suspected of having covid-19
Hill et al. Cardiogenic shock classification and associated mortality risk
WO2020044735A1 (ja) 類似度決定装置、方法およびプログラム
Wang et al. Artificial intelligence measuring the aortic diameter assist in identifying adverse blood pressure status including masked hypertension
Sarkar et al. Pulmonary contusion: automated deep learning-based quantitative visualization
Yuan et al. Pulmonary arteries segmentation from CT images using PA‐Net with attention module and contour loss
WO2020044840A1 (ja) 領域分割装置、方法およびプログラム、類似度決定装置、方法およびプログラム、並びに特徴量導出装置、方法およびプログラム
Tandon Artificial intelligence in pediatric and congenital cardiac magnetic resonance imaging
US20230253117A1 (en) Estimating patient risk of cytokine storm using knowledge graphs
Iqbal et al. AIM in Oncology
Susanto et al. How Well Do AI-Enabled Decision Support Systems Perform in Clinical Settings?
CN116386877B (zh) 一种肺动脉高压发生概率的确认方法、辅助决策系统
Yu et al. DrasCLR: A Self-supervised Framework of Learning Disease-related and Anatomy-specific Representation for 3D Medical Images
박형복 Development of various-type feature-based artificial intelligence gatekeeper solution for the screening of coronary artery disease
KR20230108213A (ko) 인공지능 모델에 기반하여 석회화에 대한 진단을 보조하기 위한 방법 및 장치
KR20240008030A (ko) 심장 기능 예측에 대한 정보 제공 방법 및 이를 이용한 심장 기능 예측에 대한 정보 제공용 장치
KR20230131068A (ko) 흉부 방사선 영상을 이용하는 폐질환 환자의 생존 정보 예측 시스템 및 생존 정보 예측 방법
Zeleznik Deep learning in cardiovascular imaging: Using A1 to improve risk predictions and optimize clinical workflows
Iqbal et al. AIM in Oncology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant