CN116913476A - 用于医学成像研究的语义图像分析的心脏ai智能助手 - Google Patents
用于医学成像研究的语义图像分析的心脏ai智能助手 Download PDFInfo
- Publication number
- CN116913476A CN116913476A CN202310395594.XA CN202310395594A CN116913476A CN 116913476 A CN116913476 A CN 116913476A CN 202310395594 A CN202310395594 A CN 202310395594A CN 116913476 A CN116913476 A CN 116913476A
- Authority
- CN
- China
- Prior art keywords
- medical imaging
- imaging studies
- metadata
- machine learning
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002059 diagnostic imaging Methods 0.000 title claims abstract description 125
- 238000010191 image analysis Methods 0.000 title claims abstract description 28
- 230000000747 cardiac effect Effects 0.000 title claims description 24
- 238000010801 machine learning Methods 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000003384 imaging method Methods 0.000 claims description 40
- 238000004590 computer program Methods 0.000 claims description 14
- 230000002526 effect on cardiovascular system Effects 0.000 claims description 13
- 210000003484 anatomy Anatomy 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 36
- 238000013528 artificial neural network Methods 0.000 description 31
- 238000013473 artificial intelligence Methods 0.000 description 26
- 238000012549 training Methods 0.000 description 26
- 239000011159 matrix material Substances 0.000 description 18
- 230000015654 memory Effects 0.000 description 17
- 238000011176 pooling Methods 0.000 description 15
- 238000013527 convolutional neural network Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 9
- 238000012552 review Methods 0.000 description 9
- 238000005259 measurement Methods 0.000 description 8
- 238000013500 data storage Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000001303 quality assessment method Methods 0.000 description 4
- 210000005241 right ventricle Anatomy 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 210000004115 mitral valve Anatomy 0.000 description 3
- 208000003017 Aortic Valve Stenosis Diseases 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 2
- 206010002906 aortic stenosis Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 210000005246 left atrium Anatomy 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 210000005245 right atrium Anatomy 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000000591 tricuspid valve Anatomy 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000002861 ventricular Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/96—Management of image or video recognition tasks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Pathology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
提供了用于确定医学成像研究的语义图像理解的系统和方法。提供与多个医学成像模态相关联的多个医学成像研究。通过使用一个或多个基于机器学习的网络执行多个语义图像分析任务,来生成与所述多个医学成像研究中的每一个相关联的元数据。输出与所述多个医学成像研究中的每一个相关联的元数据。
Description
技术领域
本发明总体上涉及心脏AI(人工智能)智能助手,且具体涉及用于医学成像研究的语义图像分析以用于心血管成像工作流程中的自动化图像准备的心脏AI智能助手。
背景技术
医学成像对于许多心血管疾病的诊断和治疗而言是重要的。例如,在CVSL(心血管服务专线)中,使用利用不同成像模态而获取的大量医学图像来提供用于诊断和治疗心血管疾病的心血管服务和项目。在另一示例中,通过获取大量医学图像来执行成像研究以对心脏的解剖构造和功能完全成像。在超声心动图中,例如,这可以包括捕获不同视图,并且,可以利用变化的参数多次重复视图中的一些,直到获得具有解剖构造的良好图像质量和覆盖的剪辑,这在回顾研究时进一步增加了手动工作量。传统上,向临床医生给出少量时间以手动评估医学图像。然而,该时间中的许多时间被临床医生花费以搜索图像、导航图像并将图像布置到适于临床回顾的布局中。相应地,医学图像的这种手动评估是耗时的、低效的且昂贵的。
可以使用CVIS(心血管成像和信息系统)以管理医学成像和临床数据。CVIS支持过程报告的创建,并遍及保健企业而实现图像的临床回顾。然而,CVIS中的用于回顾医学图像的许多步骤需要被手动执行。进一步地,有时,存在使临床医生回顾CVIS中存储的在先研究的需要。这种在先研究的回顾进一步增加了临床医生的工作量。
发明内容
根据一个或多个实施例,提供了一种心脏AI智能助手,以生成与医学成像研究相关联的元数据。这种元数据表示医学成像研究的语义理解。医学成像研究的元数据促进由临床医生对医学成像研究的更高效回顾以及提高的诊断准确度。
在一个实施例中,提供了用于确定医学成像研究的语义图像理解的系统和方法。提供与多个医学成像模态相关联的多个医学成像研究。通过使用一个或多个基于机器学习的网络执行多个语义图像分析任务,来生成与所述多个医学成像研究中的每一个相关联的元数据。输出与所述多个医学成像研究中的每一个相关联的元数据。所述多个医学成像研究可以包括多个心血管成像研究。
在一个实施例中,所述元数据包括下述各项中的一个或多个:所述多个医学成像研究的视图分类;在所述多个医学成像研究中检测到的解剖标志的识别;在所述多个医学成像研究中检测到的解剖结构的识别;所述多个医学成像研究的缩放水平的分类;在所述多个医学成像研究中示出的心相的分类;所述多个医学成像研究中的对比度增强的存在的分类;所述多个医学成像研究的图像质量的评定;或者与所述多个医学成像研究相关联的得分。
在一个实施例中,所述一个或多个基于机器学习的网络包括利用用于同时执行所述多个语义图像分析任务的多任务学习而训练的单个基于机器学习的网络。在另一实施例中,所述一个或多个基于机器学习的网络包括各自用于执行所述多个语义图像分析任务中相应的一个的多个基于机器学习的网络。
在一个实施例中,使用第二基于机器学习的网络基于所述元数据来执行医学分析任务。在另一实施例中,使用基于规则的引擎来在所述元数据上应用一个或多个预定义规则。
在一个实施例中,传输用于完成医学成像研究的获取的反馈。在另一实施例中,将所述元数据存储在医学信息系统中,所述医学信息系统诸如例如是CVIS(心血管信息系统)。
通过参考以下详细描述和附图,本发明的这些和其他优势对本领域技术人员来说将明显。
附图说明
图1示出了根据一个或多个实施例的用于确定医学成像研究的语义理解的方法;
图2示出了根据一个或多个实施例的用于确定医学成像研究的语义理解的系统的示意图;
图3示出了可以用于实现一个或多个实施例的示例性人工神经网络;
图4示出了可以用于实现一个或多个实施例的卷积神经网络;以及
图5示出了可以用于实现一个或多个实施例的计算机的高级框图。
具体实施方式
本发明总体上涉及用于医学成像研究的语义图像分析的方法和系统。本文描述了本发明的实施例,以给出这种方法和系统的视觉理解。数字图像常常由一个或多个对象(或形状)的数字表示组成。本文常常在识别和操控对象方面描述对象的数字表示。这种操控是在计算机系统的存储器或其他电路/硬件中完成的虚拟操控。相应地,应当理解,可以使用在计算机系统内存储的数据来在计算机系统内执行本发明的实施例。
本文描述的实施例提供了用于促进在CVIS(心血管信息系统)中存储的成像研究的自动化图像准备的心脏AI(人工智能)智能助手。心脏AI智能助手利用一个或多个基于机器学习的网络以执行语义图像分析,以生成与成像研究相关联的元数据。元数据表示成像研究的语义图像理解。有利地,元数据促进由临床医生对医学成像研究的更高效回顾以及提高的诊断准确度。进一步地,可以在针对临床工作流程的下游医学分析任务中利用元数据。
图1示出了根据一个或多个实施例的用于确定医学成像研究的语义理解的方法100。图2示出了根据一个或多个实施例的用于确定医学成像研究的语义理解的系统的示意图200。图1和图2将被一起描述。方法100的步骤可以由一个或多个合适计算设备(诸如例如图5的计算机502)执行。在一个示例中,图2的心脏AI智能助手210可以由计算设备(诸如例如图5的计算机502)实现,并且图1的方法100的步骤由心脏AI智能助手210执行。
在图1的步骤102处,接收与多个医学成像模态相关联的多个医学成像研究。医学成像研究包括患者的医学图像和其他医学数据。例如,该其他医学数据可以包括DICOM(医学数字成像和通信)头部数据、由临床医生在图像上执行的测量、在CVIS中存储的信息、具有研究结果和印象的过程报告、用于比较的在先成像研究等。DICOM头部数据可以包括例如制造商和模型、矩阵大小、帧的数目、图像压缩等。由临床医生在图像上执行的测量可以包括例如注释和量化结果。测量可以是在图像被传送到信息系统之前在图像获取期间(例如,在手推车上)执行的和/或当图像在信息系统中可用时在手推车外执行的。测量结果可以在DICOM SR(结构化报告)对象中被传送到信息系统。CVIS中存储的信息可以包括例如将图像识别(例如,由用户)为成像研究内的“关键图像”。在一个示例中,医学成像研究是患者的心血管成像研究。然而,医学成像研究可以是患者的任何其他合适成像研究。
在一个示例中,如图2中所示,医学成像研究可以是患者的传入成像研究204或患者的所存储的成像研究214。传入成像研究204包括由CVIS 208接收的患者的传入成像研究。所存储的成像研究214包括:患者的先前获取的成像研究,被存储在CVIS 208的储存器或存储器中,且是通过从储存器或存储器检索所存储的成像研究来接收的。尽管关于CVIS208来描述图2,但应当理解,CVIS 208可以是具有用于成像的(一个或多个)数据库和用于图像读取、报告和查看的临床数据的任何其他合适医学信息系统,诸如例如VNA(供应商中立档案)、RIS(放射学信息系统)、PACS(图片存档和通信系统)、EHR(电子健康记录)等。
医学成像研究的医学成像模态可以是任何合适模态。例如,传入成像研究204和所存储的成像研究214可以是模态202的,模态202诸如例如是US(超声)202-A、MR(磁共振)202-B、CT(计算机断层扫描)202-C、核202-D、导管图像202-E、或者任何其他医学成像模态或医学成像模态的组合。医学成像研究可以包括2D(二维)图像和/或3D(三维)体积,且可以各自包括单个医学图像或多个医学图像。在一个示例中,医学成像研究可以包括3D体积的2D切片。
在图1的步骤104处,通过使用一个或多个基于机器学习的网络在该多个医学成像研究的图像上执行多个语义图像分析任务,来生成与该多个医学成像研究中的每一个相关联的元数据。在一个示例中,如图2中所示,该一个或多个基于机器学习的网络由用于生成元数据212的CVIS 208的心脏AI智能助手210实现。元数据可以包括从医学成像研究提取的任何数据。元数据提供成像研究的全面且细粒度的信息,从而提供医学成像研究的语义理解。尽管心脏AI智能助手210被示作被实现为CVIS 208的部分,但应当理解,心脏AI智能助手210可以被实现为与CVIS 208分离的分立部件。
应当理解,在步骤104处生成的元数据与DICOM头部中存储的元数据(例如矩阵大小、帧的数目、制造商等)不相同,但提供与图像内容有关的信息的附加集合。在步骤104处生成的元数据可以被存储在信息系统中和/或作为属性而被添加到成像数据。在被添加到成像数据时,信息还可以被用在其他系统中。
语义图像分析任务可以包括用于从医学成像研究的图像提取元数据的任何任务。在一个或多个实施例中,语义图像分析任务包括例如:视图分类任务,用于对医学成像研究的视图进行分类;解剖标志检测任务,用于检测在医学成像研究中示出的解剖标志;解剖结构检测任务,用于检测在医学成像研究中示出的解剖结构;缩放水平分类任务,用于对医学成像研究的缩放水平进行分类;心相分类任务,用于对在医学成像研究中示出的心相进行分类;对比度分类任务,用于对医学成像研究的对比度增强的存在进行分类;图像质量评定任务,用于生成医学成像研究的图像质量评定;得分任务,用于生成与医学成像研究相关联的得分等。语义图像分析任务可以包括用于从医学成像研究提取元数据的任何其他任务。
视图分类任务可以生成下述元数据:该元数据包括将医学成像研究分类为示出例如主要视图(例如,A4C(顶端4室)视图)、子类型的视图等。解剖标志检测任务可以生成下述元数据:该元数据包括识别解剖标志,诸如例如二尖瓣1、二尖瓣2、真实LV(左心室)尖、三尖瓣1、或者在医学成像研究中示出的任何其他解剖标志。解剖结构检测任务可以生成下述元数据:该元数据包括识别解剖结构,例如LV、LA(左心房)、RV(右心室)、RA(右心房)、二尖瓣、或者医学成像研究中的任何其他解剖结构。缩放水平分类任务可以生成下述元数据:该元数据包括对表征在医学成像研究中可见的视野的缩放水平进行分类。心相分类任务可以生成下述元数据:该元数据包括将在医学成像研究中示出的心相分类为例如舒张末期或收缩末期。对比度分类任务可以生成下述元数据:该元数据包括对医学成像研究中的对比度增强的存在进行分类。图像质量评定任务可以生成下述元数据:该元数据包括评定针对医学成像研究的图像质量,诸如例如噪声水平、图像伪像、针对每个相关心脏结构(例如,LV或RV)的图像质量等。得分任务可以生成下述元数据:该元数据包括针对特定使用情况的得分,诸如例如基于心动周期的具体阶段处的图像质量以及在医学成像研究中示出的解剖结构的得分。
该一个或多个基于机器学习的网络可以是根据用于执行语义图像分析任务的任何合适的基于机器学习的架构来实现的,诸如例如DNN(深度神经网络)、CNN(卷积神经网络)、DI2IN(深度图像对图像网络)等。在一个实施例中,该一个或多个基于机器学习的网络包括使用同时执行该多个语义图像分析任务中的每一个的多任务学习而训练的单个基于机器学习的网络。基于机器学习的网络包括:1)编码器,用于将医学成像研究中的每一个编码成共享特征(即,潜在特征或潜在表示);以及2)多个解码器,各自用于对共享特征进行解码以执行语义图像分析任务中相应的一个。通过利用单个基于机器学习的网络,确保语义图像分析任务中的每一个的结果是一致的。在另一实施例中,该一个或多个基于机器学习的网络包括:多个基于机器学习的网络,各自用于执行语义图像分析任务中相应的一个。该一个或多个基于机器学习的网络被训练以在在先离线或训练阶段期间基于经注释的训练数据来执行语义图像分析任务。一旦被训练,经训练的基于机器学习的模型就被应用(例如,在图1的步骤104处)以在在线或测试阶段期间执行语义图像分析任务。
在图1的步骤106处,输出与该多个医学成像研究中的每一个相关联的元数据。例如,可以通过在计算机系统的显示设备上显示元数据、将元数据存储在计算机系统的存储器或储存器上、或者通过将元数据传输到远程计算机系统来输出与该多个医学成像研究中的每一个相关联的元数据。
在一个实施例中,输出并以具有预定义字段集合的结构化格式(例如作为表格、电子表格、CSV(逗号分隔值)文件等)存储元数据。结构化元数据被输出到下游系统(例如,第二基于机器学习的网络,诸如例如深度学习网络)以执行医学分析任务。在一个实施例中,第二基于机器学习的网络可以将结构化元数据的值与针对临床应用的各种感兴趣措施相关联。例如,具有可见的所有三尖瓣标志的良好质量的A4C视图可以用于RV功能评定。第二基于机器学习的网络可以利用监督而被训练为分类器以在分立选项的有限集合之间进行鉴别。
在一个实施例中,元数据被输出到基于规则的引擎,并且基于规则的引擎在元数据上应用一个或多个预定义规则以执行各种任务,诸如例如将消息显示给用户、对将医学成像研究呈现给用户的次序进行重排序等。
在一个实施例中,元数据可以用于图像回顾和报告或用于图像查看(例如来自EHR的召集、移动访问等)。在一个实施例中,心脏AI智能助手210自动处理由CVIS 208接收的传入成像研究204以生成元数据。元数据可以被传输到CVIS 208以用于将元数据存储在CVIS208中。在另一实施例中,心脏AI智能助手自动处理与CVIS 208相关联的所存储的成像研究214,以生成元数据以用于存储在CVIS 208中。心脏AI智能助手210可以是在(例如,诊所的)现场实现的和/或可以是在云中实现的。
在一个实施例中,由心脏AI智能助手210处理的医学成像研究的图像可以是原始DICOM图像和/或经压缩的图像。经压缩的图像的处理可以是在具有例如低带宽的情形中执行的。
在一个实施例中,心脏AI智能助手210可以确定图像获取协议(例如,针对具有要成像的所定义的视图的完整经胸超声心动图检查的标准化协议)的完整性。
在一个实施例中,心脏AI智能助手210分析来自正在被获取的医学成像研究的图像和剪辑,并传输反馈206以用于完成获取。例如,反馈206可以包括被传输到获取设备的检查完成信息。
在一个实施例中,心脏AI智能助手210在研究中的相同视图的多个图像(例如,具有A4C视图的多个图像)当中确定最适于具体使用情况(例如,临床测量)的医学成像研究的图像。
在一个实施例中,由心脏AI智能助手210生成的元数据使得能够在医学成像研究被用户开启之前使用最合适图像来执行医学成像研究中的自动任务(例如,自动测量协议)。自动测量协议可以是对针对其而执行了检查的临床状况(例如,主动脉瓣狭窄)定制的。
在一个实施例中,心脏AI智能助手210可以基于由用户选择的测量工具来提出医学成像研究中的最合适图像。心脏AI智能助手210然后可以自动导航到图像和帧。
在一个实施例中,心脏AI智能助手210出于时间比较的目的而将来自当前医学成像研究的图像与来自在先存储的成像研究214的最合适可比较图像相匹配。图像可以是在没有手动用户交互的情况下并排自动显示的。
在一个实施例中,元数据实现了跨当前传入成像研究204和在先存储的成像研究214的语义搜索。例如,语义搜索可以找到具有患者的A4C视图的所有图像。语义搜索可以包括一个或多个语义准则。
在一个实施例中,心脏AI智能助手210确定针对具体使用情况的图像的内容驱动显示(例如,布局),其可以基于临床状况(例如,主动脉瓣狭窄)、读取环境(例如,诊断工作站、膝上型电脑或移动设备)或护理设置(例如,临床会议、由转诊临床医生进行的回顾),且可以包括来自一个或多个成像研究的图像。例如,多个成像研究可以包括来自相同模态(例如,回声)或不同模态(例如,回声和MR)的当前和在先成像研究。
在一个实施例中,心脏AI智能助手210可以被应用以处理成人心血管成像研究、处理小儿心血管成像研究、处理来自多个心血管成像模态的整个成像研究、处理利用来自不同制造商的图像获取设备而获取的图像、支持原始质量和经压缩的图像的处理、执行各种语义图像分析任务(诸如例如,视图分类、心相检测、图像质量评定)并生成用于基于多个个体参数导出得分的推理。“原始质量”图像指代在从模态接收到它们时的图像。“经压缩的”图像可以是在它们被发送到医学信息系统之前在模态上压缩(例如,无损或有损)的原始质量图像。医学信息系统可以应用附加压缩以减小用于储存的大小或在低带宽情形中更高效地处置图像。本文描述的实施例能够处理利用可在系统中使用的任何压缩水平而压缩的图像。
有利地,本文描述的实施例提供了医学成像研究的更高效回顾以及提高的诊断准确度。进一步地,本文描述的实施例增强了跨临床科室中的用户或跨医院的一致性。另外,本文描述的实施例提高了操作大规模CVIS实现方式时的效率,这是由于例如在多供应商环境中添加新医学成像研究是较不劳动密集型的。
本文描述的实施例是关于要求保护的系统以及关于要求保护的方法来描述的。本文的特征、优势或可替换实施例可以被指派给其他要求保护的对象,并且反之亦然。换言之,可以利用在方法的上下文中描述或要求保护的特征改进针对系统的权利要求。在该情况下,方法的功能性特征由提供系统的目的单元体现。
此外,关于利用经训练的基于机器学习的网络(或模型)的方法和系统以及关于用于训练基于机器学习的网络的方法和系统来描述本文描述的某些实施例。本文的特征、优势或可替换实施例可以被指派给其他要求保护的对象,并且反之亦然。换言之,可以利用在用于利用经训练的基于机器学习的网络的方法和系统的上下文中描述或要求保护的特征改进针对用于训练基于机器学习的网络的方法和系统的权利要求,并且反之亦然。
特别地,在本文描述的实施例中应用的经训练的基于机器学习的网络可以由用于训练基于机器学习的网络的方法和系统来适配。此外,经训练的基于机器学习的网络的输入数据可以包括训练输入数据的有利特征和实施例,并且反之亦然。此外,经训练的基于机器学习的网络的输出数据可以包括输出训练数据的有利特征和实施例,并且反之亦然。
一般地,经训练的基于机器学习的网络模仿人类将其与其他人类思想相关联的认知功能。特别地,通过基于训练数据进行训练,经训练的基于机器学习的网络能够适配于新情形并检测和外推模式。
一般地,基于机器学习的网络的参数可以是凭借训练来适配的。特别地,可以使用监督训练、半监督训练、无监督训练、强化学习和/或主动学习。此外,可以使用表征学习(可替换术语是“特征学习”)。特别地,经训练的基于机器学习的网络的参数可以由训练的若干步骤迭代地适配。
特别地,经训练的基于机器学习的网络可以包括神经网络、支持向量机、决策树和/或贝叶斯网络,和/或经训练的基于机器学习的网络可以基于k-均值聚类、Q-学习、遗传算法和/或关联规则。特别地,神经网络可以是深度神经网络、卷积神经网络或卷积深度神经网络。此外,神经网络可以是对抗网络、深度对抗网络和/或生成对抗网络。
图3示出了根据一个或多个实施例的人工神经网络300的实施例。“人工神经网络”的可替换术语是“神经网络”、“人工神经网”或“神经网”。可以使用人工神经网络300来实现本文描述的机器学习网络,诸如例如,在图1的步骤104处利用的一个或多个基于机器学习的网络。
人工神经网络300包括节点302-322和边332、334、……、336,其中每个边332、334、……、336是从第一节点302-322到第二节点302-322的有向连接。一般地,第一节点302-322和第二节点302-322是不同节点302-322,还可能的是,第一节点302-322和第二节点302-322是相同的。例如,在图3中,边332是从节点302到节点306的有向连接,并且边334是从节点304到节点306的有向连接。从第一节点302-322到第二节点302-322的边332、334、……、336还被标示为针对第二节点302-322的“入边”和针对第一节点302-322的“出边”。
在该实施例中,人工神经网络300的节点302-322可以被布置在层324-330中,其中层可以包括由节点302-322之间的边332、334、……、336引入的固有次序。特别地,边332、334、……、336可以仅存在于节点的相邻层之间。在图3中所示的实施例中,存在仅包括不具有传入边的节点302和304的输入层324、仅包括不具有传出边的节点322的输出层330、以及输入层324与输出层330中间的隐藏层326、328。一般地,隐藏层326、328的数目可以是任意选择的。输入层324内的节点302和304的数目通常与神经网络300的输入值的数目相关,并且输出层330内的节点322的数目通常与神经网络300的输出值的数目相关。
特别地,(实)数可以作为值而被指派给神经网络300的每个节点302-322。这里,x(n) i标示第n个层324-330的第i个节点302-322的值。输入层324的节点302-322的值等于神经网络300的输入值,输出层330的节点322的值等于神经网络300的输出值。此外,每个边332、334、……、336可以包括作为实数的权重,特别地,权重是区间[-1,1]内或区间[0,1]内的实数。这里,w(m,n) i,j标示第m个层324-330的第i个节点302-322与第n个层324-330的第j个节点302-322之间的边的权重。此外,针对权重w(n,n+1) i,j而定义缩写w(n) i,j。
特别地,为了计算神经网络300的输出值,通过神经网络来传播输入值。特别地,可以通过下式基于第n个层324-330的节点302-322的值来计算第n+1个层324-330的节点302-322的值:
本文中,函数f是传递函数(另一术语是“激活函数”)。已知的传递函数是阶跃函数、S形函数(例如,逻辑函数、广义逻辑函数、双曲正切、反正切函数、误差函数、平滑阶跃函数)或整流器函数。传递函数主要用于归一化目的。
特别地,通过神经网络来逐层传播值,其中输入层324的值由神经网络300的输入给出,其中可以基于神经网络的输入层324的值来计算第一隐藏层326的值,其中可以基于第一隐藏层326的值来计算第二隐藏层328的值,等等。
为了设置针对边的值w(m,n) i,j,必须使用训练数据来训练神经网络300。特别地,训练数据包括训练输入数据和训练输出数据(被标示为ti)。对于训练步骤,神经网络300被应用于训练输入数据以生成所计算的输出数据。特别地,训练数据和所计算的输出数据包括一定数目的值,所述数目与输出层的节点的数目相等。
特别地,使用所计算的输出数据与训练数据之间的比较以递归地适配神经网络300(反向传播算法)内的权重。特别地,权重是根据下式来改变的:
其中γ是学习速率,并且如果第n+1个层不是输出层,则可以基于δ(n+1) j将数目δ(n) j递归地计算为:
并且如果第n+1个层是输出层330,则:
其中f’是激活函数的一阶导数,并且y(n+1) j是针对输出层330的第j个节点的比较训练值。
图4示出了根据一个或多个实施例的卷积神经网络400。可以使用卷积神经网络400来实现本文描述的机器学习网络,诸如例如,在图1的步骤104处利用的一个或多个基于机器学习的网络。
在图4中所示的实施例中,卷积神经网络400包括输入层402、卷积层404、池化层406、全连接层408和输出层410。可替换地,卷积神经网络400可以包括若干卷积层404、若干池化层406和若干全连接层408以及其他类型的层。层的次序可以是任意选择的,通常,全连接层408被用作输出层410前的最后层。
特别地,在卷积神经网络400内,一个层402-410的节点412-420可以被视为被布置为d维矩阵或d维图像。特别地,在二维情况下,第n个层402-410中的利用i和j编索引的节点412-420的值可以被标示为x(n) [i,j]。然而,一个层402-410的节点412-420的布置对由此在卷积神经网络400内执行的计算没有影响,这是由于这些仅由边的结构和权重给出。
特别地,卷积层404由基于某个数目的内核形成卷积操作的传入边的结构和权重来表征。特别地,传入边的结构和权重被选择成使得基于前一层402的节点412的值x(n-1)将卷积层404的节点414的值x(n) k计算为卷积x(n) k=Kk*x(n-1),其中卷积*在二维情况下被定义为:
这里,第k个内核Kk是d维矩阵(在该实施例中,二维矩阵),其与节点412-418的数目相比通常是小的(例如,3×3矩阵或5×5矩阵)。特别地,这暗示了:传入边的权重不是独立的,而是被选择成使得它们产生所述卷积等式。特别地,对于作为3×3矩阵的内核,仅存在9个独立权重(内核矩阵的每个条目对应于一个独立权重),而与相应层402-410中的节点412-420的数目无关。特别地,对于卷积层404,卷积层中的节点414的数目等于前一层402中的节点412的数目与内核的数目相乘。
如果前一层402的节点412被布置为d维矩阵,则可以将使用多个内核解释为添加进一步的维度(被标示为“深度”维度),使得卷积层404的节点414被布置为d+1维矩阵。如果前一层402的节点412已经被布置为包括深度维度的d+1维矩阵,则可以将使用多个内核解释为沿深度维度进行扩充,使得卷积层404的节点414也被布置为d+1维矩阵,其中d+1维矩阵关于深度维度的大小是在前一层402中的内核数目倍大。
使用卷积层404的优势是:可以通过强制实施邻近层的节点之间的局部连接性模式,特别地通过每个节点连接到前一层的节点的仅小区域,来利用输入数据的空间局部相关性。
在图4中所示的实施例中,输入层402包括被布置为二维6×6矩阵的36个节点412。卷积层404包括被布置为两个二维6×6矩阵的72个节点414,该两个矩阵中的每一个是输入层的值与内核的卷积的结果。等效地,卷积层404的节点414可以被解释为被布置为三维6×6×2矩阵,其中最后的维度是深度维度。
池化层406可以由传入边的结构和权重以及基于非线性池化函数f形成池化操作的其节点416的激活函数来表征。例如,在二维情况下,可以基于前一层404的节点414的值x(n-1)将池化层406的节点416的值x(n)计算为:
x(n)[i,j]=f(x(n-1)[id1,jd2],...,x(n-1)[id1+d1-1,jd2+d2-1])。
换言之,通过使用池化层406,可以通过利用单个节点416替代前一层404中的数目d1·d2个相邻节点414,来减少节点414、416的数目,该单个节点416被计算为池化层中的所述数目个相邻节点的值的函数。特别地,池化函数f可以是最大值函数、平均值或L2范数。特别地,对于池化层406,传入边的权重是固定的且不被训练所修改。
使用池化层406的优势是:节点414、416的数目和参数的数目减少。这导致网络中的计算的量减少以及过拟合的控制。
在图4中所示的实施例中,池化层406是最大池化,利用仅一个节点替代四个相邻节点,值是该四个相邻节点的值中的最大值。最大池化被应用于前一层的每个d维矩阵;在该实施例中,最大池化被应用于两个二维矩阵中的每一个,将节点的数目从72减少到18。
全连接层408可以由下述事实来表征:前一层406的节点416与全连接层408的节点418之间的大多数边、特别地所有边存在,并且其中边中的每一个的权重可以是个体地调整的。
在该实施例中,全连接层408的前一层406的节点416既被显示为二维矩阵,另外还被显示为非相关节点(被指示为节点的线,其中针对更好的可呈现性而减少了节点的数目)。在该实施例中,全连接层408中的节点418的数目等于前一层406中的节点416的数目。可替换地,节点416、418的数目可以不同。
此外,在该实施例中,通过将软最大值(Softmax)函数应用到前一层408的节点418的值上来确定输出层410的节点420的值。通过应用软最大值函数,输出层410的所有节点420的值之和是1,并且输出层的所有节点420的所有值是0与1之间的实数。
卷积神经网络400还可以包括ReLU(整流线型单元)层或具有非线性传递函数的激活层。特别地,ReLU层中包含的节点的结构和节点的数目等效于前一层中包含的节点的结构和节点的数目。特别地,通过将整流函数应用于前一层的对应节点的值来计算ReLU层中的每个节点的值。
可以使用求和(残差/密集神经网络)、逐元素乘法(注意力)或其他可微分算子来线连接不同卷积神经网络块的输入和输出。因此,如果整个流水线是可微分的,则卷积神经网络架构可以是嵌套的而不是顺序的。
特别地,卷积神经网络400可以是基于反向传播算法来训练的。为了防止过拟合,可以使用正则化方法,例如节点412-420的中途退出、随机池化、人工数据的使用、基于L1或L2范数的权重衰减、或者最大范数约束。可以对不同损耗函数进行组合,以用于训练相同神经网络,以反映联合训练目的。可以从优化中排除神经网络参数的子集,以保留在另一数据集上预先训练的权重。
可以使用数字电路或者使用一个或多个计算机来实现本文描述的系统、装置和方法,该一个或多个计算机使用公知的计算机处理器、存储器单元、储存设备、计算机软件和其他部件。典型地,计算机包括用于执行指令的处理器以及用于存储指令和数据的一个或多个存储器。计算机还可以包括或耦合到一个或多个大容量储存设备,诸如一个或多个磁盘、内部硬盘和可移除盘、磁光盘、光盘等。
可以使用在客户端-服务器关系中操作的计算机来实现本文描述的系统、装置和方法。典型地,在这种系统中,客户端计算机是远离于服务器计算机而定位的,且经由网络进行交互。客户端-服务器关系可以由在相应客户端和服务器计算机上运行的计算机程序来定义和控制。
可以在基于网络的云计算系统内实现本文描述的系统、装置和方法。在这种基于网络的云计算系统中,连接到网络的服务器或另一处理器经由网络来与一个或多个客户端计算机通信。例如,客户端计算机可以经由在客户端计算机上驻留和操作的网络浏览器应用来与服务器通信。客户端计算机可以将数据存储在服务器上并经由网络来访问数据。客户端计算机可以经由网络将针对数据的请求或针对在线服务的请求发射到服务器。服务器可以执行所请求的服务并将数据提供给(一个或多个)客户端计算机。服务器还可以发射被适配成使客户端计算机执行指定功能(例如执行计算、在屏幕上显示指定数据等)的数据。例如,服务器可以发射被适配成使客户端计算机执行本文描述的方法和工作流程的步骤或功能中的一个或多个(包括图1的步骤或功能中的一个或多个)的请求。本文描述的方法和工作流程的某些步骤或功能(包括图1的步骤或功能中的一个或多个)可以由服务器执行或由基于网络的云计算系统中的另一处理器执行。本文描述的方法和工作流程的某些步骤或功能(包括图1的步骤中的一个或多个)可以由基于网络的云计算系统中的客户端计算机执行。本文描述的方法和工作流程的步骤或功能(包括图1的步骤中的一个或多个)可以由服务器执行和/或由基于网络的云计算系统中的客户端计算机执行、以任何组合执行。
可以使用有形地体现在信息载体中(例如,非瞬变机器可读储存设备中)以供可编程处理器执行的计算机程序产品来实现本文描述的系统、装置和方法,并且可以使用可由这种处理器执行的一个或多个计算机程序来实现本文描述的方法和工作流程步骤(包括图1的步骤或功能中的一个或多个)。计算机程序是可直接或间接在计算机中使用以执行某个活动或带来某个结果的计算机程序指令的集合。计算机程序可以是以包括编译或解释语言的任何形式的编程语言编写的,并且它可以是以任何形式部署的,包括作为独立程序或者作为适于在计算环境中使用的模块、部件、子例程或其他单元。
在图5中描绘了可以用于实现本文描述的系统、装置和方法的示例计算机502的高级框图。计算机502包括操作耦合到数据储存设备512和存储器510的处理器504。处理器504通过执行定义这种操作的计算机程序指令来控制计算机502的总体操作。计算机程序指令可以被存储在数据储存设备512或其他计算机可读介质中,且在期望计算机程序指令的执行时被加载到存储器510中。因此,图1的方法和工作流程步骤或功能可以由存储器510和/或数据储存设备512中存储的计算机程序指令定义,且由执行计算机程序指令的处理器504控制。例如,计算机程序指令可以被实现为由本领域技术人员编程为执行图1的方法和工作流程步骤或功能的计算机可执行代码。相应地,通过执行计算机程序指令,处理器504执行图1的方法和工作流程步骤或功能。计算机502还可以包括用于经由网络与其他设备通信的一个或多个网络接口506。计算机502还可以包括实现与计算机502的用户交互的一个或多个输入/输出设备508(例如显示器、键盘、鼠标、扬声器、按钮等)。
处理器504可以包括通用微处理器和专用微处理器两者,且可以是唯一处理器或者计算机502的多个处理器之一。例如,处理器504可以包括一个或多个中央处理单元(CPU)。处理器504、数据储存设备512和/或存储器510可以包括下述各项、由下述各项补充或被并入下述各项中:一个或多个专用集成电路(ASIC)和/或一个或多个现场可编程门阵列(FPGA)。
数据储存设备512和存储器510各自包括有形非瞬变计算机可读储存介质。数据储存设备512和存储器510可以各自包括高速随机存取存储器,诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双数据速率同步动态随机存取存储器(DDR RAM)或其他随机存取固态存储器设备,且可以包括非易失性存储器,诸如一个或多个磁盘储存设备(诸如,内部硬盘和可移除盘)、磁光盘储存设备、光盘储存设备、闪速存储器设备、半导体存储器设备(诸如,可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、致密盘只读存储器(CD-ROM)、数字多功能盘只读存储器(DVD-ROM)盘)或其他非易失性固态储存设备。
输入/输出设备508可以包括外设,诸如打印机、扫描仪、显示屏等。例如,输入/输出设备508可以包括用于将信息显示给用户的显示设备(诸如,阴极射线管(CRT)或液晶显示器(LCD)监视器)、键盘和指点设备(诸如,用户可通过其将输入提供给计算机502的鼠标或轨迹球)。
图像获取设备514可以连接到计算机502以将图像数据(例如,医学图像)输入到计算机502。将图像获取设备514和计算机502实现为一个设备是可能的。图像获取设备514和计算机502通过网络进行无线通信也是可能的。在可能实施例中,计算机502可以相对于图像获取设备514远程定位。
可以使用一个或多个计算机(诸如,计算机502)来实现本文讨论的系统和装置中的任一个或全部。
本领域技术人员应当认识到,实际计算机或计算机系统的实现方式可以具有其他结构,且也可以包含其他部件,并且出于图示性目的,图5是这种计算机的部件中的一些的高级表示。
以上具体实施方式应被理解为在每个方面中是说明性和示例性的,而不是限制性的,并且本文公开的本发明范围不应是根据具体实施方式来确定的,而应是根据如根据专利法所允许的完全广度而解释的权利要求来确定的。应当理解,本文示出和描述的实施例仅说明了本发明的原理,并且在不脱离本发明的范围和精神的情况下,各种修改可以由本领域技术人员实现。在不脱离本发明的范围和精神的情况下,本领域技术人员可以实现各种其他特征组合。
Claims (20)
1.一种计算机实现方法,包括:
接收与多个医学成像模态相关联的多个医学成像研究;
通过使用一个或多个基于机器学习的网络在所述多个医学成像研究的图像上执行多个语义图像分析任务,来生成与所述多个医学成像研究中的每一个相关联的元数据;以及
输出与所述多个医学成像研究中的每一个相关联的元数据。
2.如权利要求1所述的计算机实现方法,其中所述元数据包括下述各项中的一个或多个:所述多个医学成像研究的视图分类;在所述多个医学成像研究中检测到的解剖标志的识别;在所述多个医学成像研究中检测到的解剖结构的识别;所述多个医学成像研究的缩放水平的分类;在所述多个医学成像研究中示出的心相的分类;所述多个医学成像研究中的对比度增强的存在的分类;所述多个医学成像研究的图像质量的评定;或者与所述多个医学成像研究相关联的得分。
3.如权利要求1所述的计算机实现方法,其中所述一个或多个基于机器学习的网络包括利用用于同时执行所述多个语义图像分析任务的多任务学习而训练的单个基于机器学习的网络。
4.如权利要求1所述的计算机实现方法,其中所述一个或多个基于机器学习的网络包括各自用于执行所述多个语义图像分析任务中相应的一个的多个基于机器学习的网络。
5.如权利要求1所述的计算机实现方法,进一步包括:
使用第二基于机器学习的网络基于所述元数据来执行医学分析任务。
6.如权利要求1所述的计算机实现方法,进一步包括:
使用基于规则的引擎来在所述元数据上应用一个或多个预定义规则。
7.如权利要求1所述的计算机实现方法,进一步包括:
传输用于完成医学成像研究的获取的反馈。
8.如权利要求1所述的计算机实现方法,进一步包括:
将所述元数据存储在医学信息系统中。
9.如权利要求1所述的计算机实现方法,其中所述多个医学成像研究包括多个心血管成像研究。
10.一种装置,包括:
用于接收与多个医学成像模态相关联的多个医学成像研究的部件;
用于通过使用一个或多个基于机器学习的网络在所述多个医学成像研究的图像上执行多个语义图像分析任务来生成与所述多个医学成像研究中的每一个相关联的元数据的部件;以及
用于输出与所述多个医学成像研究中的每一个相关联的元数据的部件。
11.如权利要求10所述的装置,其中所述元数据包括下述各项中的一个或多个:所述多个医学成像研究的视图分类;在所述多个医学成像研究中检测到的解剖标志的识别;在所述多个医学成像研究中检测到的解剖结构的识别;所述多个医学成像研究的缩放水平的分类;在所述多个医学成像研究中示出的心相的分类;所述多个医学成像研究中的对比度增强的存在的分类;所述多个医学成像研究的图像质量的评定;或者与所述多个医学成像研究相关联的得分。
12.如权利要求10所述的装置,其中所述一个或多个基于机器学习的网络包括利用用于同时执行所述多个语义图像分析任务的多任务学习而训练的单个基于机器学习的网络。
13.如权利要求10所述的装置,其中所述一个或多个基于机器学习的网络包括各自用于执行所述多个语义图像分析任务中相应的一个的多个基于机器学习的网络。
14.如权利要求10所述的装置,进一步包括:
用于使用第二基于机器学习的网络基于所述元数据来执行医学分析任务的部件。
15.一种存储计算机程序指令的非瞬变计算机可读介质,所述计算机程序指令在由处理器执行时使所述处理器执行包括下述各项的操作:
接收与多个医学成像模态相关联的多个医学成像研究;
通过使用一个或多个基于机器学习的网络在所述多个医学成像研究的图像上执行多个语义图像分析任务,来生成与所述多个医学成像研究中的每一个相关联的元数据;以及
输出与所述多个医学成像研究中的每一个相关联的元数据。
16.如权利要求15所述的非瞬变计算机可读介质,其中所述元数据包括下述各项中的一个或多个:所述多个医学成像研究的视图分类;在所述多个医学成像研究中检测到的解剖标志的识别;在所述多个医学成像研究中检测到的解剖结构的识别;所述多个医学成像研究的缩放水平的分类;在所述多个医学成像研究中示出的心相的分类;所述多个医学成像研究中的对比度增强的存在的分类;所述多个医学成像研究的图像质量的评定;或者与所述多个医学成像研究相关联的得分。
17.如权利要求15所述的非瞬变计算机可读介质,所述操作进一步包括:
使用基于规则的引擎来在所述元数据上应用一个或多个预定义规则。
18.如权利要求15所述的非瞬变计算机可读介质,所述操作进一步包括:
传输用于完成医学成像研究的获取的反馈。
19.如权利要求15所述的非瞬变计算机可读介质,所述操作进一步包括:
将所述元数据存储在医学信息系统中。
20.如权利要求15所述的非瞬变计算机可读介质,其中所述多个医学成像研究包括多个心血管成像研究。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/659208 | 2022-04-14 | ||
US17/659,208 US20230334655A1 (en) | 2022-04-14 | 2022-04-14 | Cardio ai smart assistant for semantic image analysis of medical imaging studies |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116913476A true CN116913476A (zh) | 2023-10-20 |
Family
ID=86052426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310395594.XA Pending CN116913476A (zh) | 2022-04-14 | 2023-04-13 | 用于医学成像研究的语义图像分析的心脏ai智能助手 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230334655A1 (zh) |
EP (1) | EP4261841A1 (zh) |
CN (1) | CN116913476A (zh) |
-
2022
- 2022-04-14 US US17/659,208 patent/US20230334655A1/en active Pending
-
2023
- 2023-04-13 CN CN202310395594.XA patent/CN116913476A/zh active Pending
- 2023-04-14 EP EP23167898.8A patent/EP4261841A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230334655A1 (en) | 2023-10-19 |
EP4261841A1 (en) | 2023-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10984905B2 (en) | Artificial intelligence for physiological quantification in medical imaging | |
US10691980B1 (en) | Multi-task learning for chest X-ray abnormality classification | |
JP2023502983A (ja) | 心臓のビデオを使用して患者のエンドポイントの予測を強化するためのディープニューラルネットワークのためのシステムおよび方法 | |
US11308613B2 (en) | Synthesis of contrast enhanced medical images | |
US11776128B2 (en) | Automatic detection of lesions in medical images using 2D and 3D deep learning networks | |
EP3896702A1 (en) | Cardiovascular assessment of patients suspected of having covid-19 | |
US11861835B2 (en) | Automatic hemorrhage expansion detection from head CT images | |
Wen et al. | Analysis on SPECT myocardial perfusion imaging with a tool derived from dynamic programming to deep learning | |
EP4057296A1 (en) | Machine learning for automatic detection of intracranial hemorrhages with uncertainty measures from ct images | |
US20230253116A1 (en) | Estimating patient risk of cytokine storm using biomarkers | |
US20230154164A1 (en) | Self-supervised learning for artificial intelligence-based systems for medical imaging analysis | |
EP4261841A1 (en) | Cardio ai smart assistant for semantic image analysis of medical imaging studies | |
Chernyshov et al. | Automated Segmentation and Quantification of the Right Ventricle in 2-D Echocardiography | |
US20240046453A1 (en) | Semi-supervised learning leveraging cross-domain data for medical imaging analysis | |
US11615529B2 (en) | Automatic, dynamic, and adaptive slice planning for cardiac MRI acquisition | |
US11861828B2 (en) | Automated estimation of midline shift in brain ct images | |
US20240104719A1 (en) | Multi-task learning framework for fully automated assessment of coronary arteries in angiography images | |
US20240177458A1 (en) | Cross domain segmentation with uncertainty-guided curriculum learning | |
US20230238141A1 (en) | Subpopulation based patient risk prediction using graph attention networks | |
US20230298736A1 (en) | Multi-view matching across coronary angiogram images | |
US20220270240A1 (en) | Fully automatic inline processing for pc-mri imagesfully automatic inline processing for pc-mri images using machine learning | |
EP4160483A1 (en) | Out-of-domain detection for improved ai performance | |
Chamundeshwari et al. | Adaptive Despeckling and Heart Disease Diagnosis by Echocardiogram using Optimized Deep Learning Model | |
EP4343782A1 (en) | A multi-task learning framework for fully automated assessment of coronary arteries in angiography images | |
US20230252623A1 (en) | Quality assurance workflows for low-field mri prostate diagnostic systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |