CN112673396A - 检测医学成像中的对象运动 - Google Patents
检测医学成像中的对象运动 Download PDFInfo
- Publication number
- CN112673396A CN112673396A CN201980059023.0A CN201980059023A CN112673396A CN 112673396 A CN112673396 A CN 112673396A CN 201980059023 A CN201980059023 A CN 201980059023A CN 112673396 A CN112673396 A CN 112673396A
- Authority
- CN
- China
- Prior art keywords
- motion
- image
- image features
- medical
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 317
- 238000002059 diagnostic imaging Methods 0.000 title claims abstract description 33
- 238000013145 classification model Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims description 84
- 238000012545 processing Methods 0.000 claims description 68
- 238000000605 extraction Methods 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 20
- 229910052704 radon Inorganic materials 0.000 claims description 19
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 14
- 230000003595 spectral effect Effects 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000010801 machine learning Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 238000002595 magnetic resonance imaging Methods 0.000 description 70
- 238000002591 computed tomography Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 19
- 238000003860 storage Methods 0.000 description 15
- 238000009826 distribution Methods 0.000 description 13
- 238000002955 isolation Methods 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000002600 positron emission tomography Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000000717 retained effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000002790 cross-validation Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000011068 loading method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003449 preventive effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013502 data validation Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001660 hyperkinetic effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000017311 musculoskeletal movement, spinal reflex action Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20124—Active shape model [ASM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
呈现了用于检测对象的医学成像中的对象运动的构思。一种这样的构思获得表示图像特征的运动与对象运动值之间的关系的运动分类模型。针对所述对象的被成像体积的多幅医学切片图像中的每幅,提取所述医学切片图像的图像特征。基于所提取的针对所述多幅医学切片图像中的每幅的图像特征,确定针对所述图像特征的运动信息。基于针对所述图像特征的所述运动信息以及所获得的运动分类模型来确定对象运动值。
Description
技术领域
本发明总体上涉及对象(例如,人或患者)的医学成像,并且更具体地涉及检测对象的医学成像中的对象运动。
背景技术
在医学成像期间的对象运动通常会在医学图像中引起使图像质量劣化的模糊和/或伪影。这样的图像劣化会导致需要重复扫描,因此会导致效率降低和成本增加。
例如,在分析医院中的随机的一周的磁共振成像(MRI)活动之后,来自西雅图华盛顿大学的研究者发现对象运动在重复的序列方面花费很多,这在大约20%的MRI检查中发生。基于这样的频率要求重复,医院或MRI设施在每个MRI扫描器的年度收入方面可能超过$140000。
熟练的专业人员倾向于在医学图像中的模糊或伪影不太严重的情况下能够容忍这些模糊或伪影。然而,图像模糊和伪影仍然能够导致错误诊断。因此已经尝试通过检测运动伪影并应用运动校正算法来解决这样的问题。然而,这样的方法的有效性是有限的。
发明内容
本发明旨在至少部分地满足前述需求。为此,本发明提供了如独立权利要求中定义的系统和方法。从属权利要求提供了有利实施例。
提供了一种用于检测对象的医学成像中的对象运动的方法,所述方法包括:获得表示图像特征的运动与对象运动值之间的关系的运动分类模型;针对所述对象的被成像体积的多幅医学切片图像中的每幅,提取所述医学切片图像的图像特征;基于所提取的针对所述多幅医学切片图像中的每幅的图像特征,确定针对所述图像特征的运动信息,所述运动信息表示所述对象的所述被成像体积中的所述图像特征的运动;并且基于针对所述图像特征的所述运动信息以及所获得的运动分类模型来确定对象运动值。
提出了用于检测对象的医学成像中存在还是不存在对象运动的构思。通过从多幅医学切片图像(它们一起组成被成像体积,例如,MRI DICOM体积)提取图像特征,可以确定被成像体积中的所提取的图像特征的运动。然后可以分析该运动以确定是否存在对象的运动。此外,然后可以识别对象运动的量并将其被分类成多个值或分类中的一个。
实施例因此可以有助于避免或降低对对象的错误诊断的可能性。实施例还可以有助于通过避免将严重运动情况分配给放射科医生用于解读/评估来改善(即,提高)放射科医生的吞吐量。
提出的实施例也可以有助于识别在医学成像过程期间的对象不自主运动的情况。然后可以在成像过程期间采取预防措施或校正措施,以便避免需要重复预约。
实施例可以基于采用表示医学图像特征的运动与对象运动值之间的关系的一种或多种运动分类模型的提议。这样的模型可以使用常规的机器学习和/或图像处理技术来建立,因此利用了历史数据和/或已建立的知识来提高由提出的实施例所提供的确定的准确度。
因此,提出的实施例可以促进改善对象的医学图像和基于医学成像的诊断(例如使其更准确)。也可以采用实施例来提高医学成像设施的效率,从而提供了成本节省和预约等待时间减少的情况。
提出的实施例因此可以与计算机断层摄影(CT)扫描、正电子发射断层摄影(PET)/CT扫描和/或MRI扫描以及对象诊断特别相关,因为例如它可以有助于通过检测对象运动并促进采取预防措施或校正措施来避免或减少CT图像、PET/CT图像和/或MRI图像中的模糊或伪影。提出的构思也可以促进使用医学扫描(例如,CT扫描、PET扫描或MRI扫描)对对象的健康状况进行准确评估或诊断。因此,图像特征可以包括MRI特征,并且医学切片图像可以包括MRI体积的MRI切片图像。类似地,图像特征可以包括CT图像特征,并且医学切片图像可以包括CT扫描体积的CT切片图像。
在一些提出的实施例中,可以通过生成运动分类模型来获得运动分类模型。例如,实施例可以基于与针对从医学切片图像提取的图像特征的先前确定的对象运动值有关的历史数据来生成运动分类模型。常规的机器学习、深度学习和/或图像处理技术因此可以用于建立、训练和测试运动分类模型。训练数据和交叉验证学习方案可以用于细化这样的运动分类模型,从而提高由实施例做出的确定的准确度。
例如,在一些实施例中,可以利用与针对医学切片图像的图像特征的对象运动值有关的训练数据使用机器学习算法来细化所述运动分类模型。这可以提供提高运动分类模型的准确度的优点。
在一些实施例中,提取医学切片图像的图像特征的步骤可以包括:将所述医学切片图像分离成前景和背景;并且从所述前景提取前景图像特征。另外,提取前景图像特征可以包括从以下各项中的至少一项识别图像特征:所述前景的空间域表示;所述前景的小波域表示;以及所述前景的谱域表示。然后可以提取所识别的图像特征作为所述前景图像特征。
额外地或备选地,提取医学切片图像的图像特征的步骤可以包括:将所述医学切片图像隔离成前景和背景;并且从所述背景提取背景图像特征。另外,提取背景图像特征可以包括:将拉东变换应用于所述背景以生成多个拉东变换轮廓;并且基于所述拉东变换轮廓来识别特征。然后可以提取所识别的特征作为所述背景图像特征。
因此,在一些实施例中,可以从前景图像和背景图像这两者获得运动信息。举例来说,为了实现对前景与背景的隔离,实施例可以采用常规的基于区域的主动轮廓方法(例如,Chan TF、Vese L.的“Active contours without edges”(IEEE Trans Med Imaging,2001年,第10卷,第2期,第266-277页))。而且,可以将前景与背景隔离应用在一起形成被成像体积的个体医学切片图像上。以这种方式,提出的实施例可以用于检测前景图像和背景图像中的对象运动(并且可能区分前景图像中的对象运动与背景图像中的对象运动)。
一些实施例还可以包括以下步骤:基于针对所述图像特征的所述运动信息,识别其中所提取的图像特征的运动超过阈值的医学切片图像。因此可以采用简单的比较方法来识别包括例如严重的对象运动的被成像体积的切片(例如,个体图像平面)。因此可以实现促进准确识别被成像体积内的移动位置的简单直接且复杂度降低的实施方式。
另外,举例来说,实施例可以包括基于与先前确定的所述图像特征的运动有关的历史数据来确定所述阈值或模型。考虑先前获得或确定的信息可以例如经由基于历史数据对阈值或模型的比较和/或细化来提高确定或评估的准确度。
在一些实施例中,其中,所述运动分类模型可以表示针对多种不同分类方法的图像特征的运动与对象运动值之间的关系。确定对象运动值的步骤然后可以包括:基于所提取的图像特征来选择针对所述多种不同分类方法中的一种的图像特征的运动与对象运动值之间的关系;并且基于针对所述图像特征的所述运动信息以及所选择的图像特征的运动与对象运动值之间的关系来确定对象运动值。以这种方式,可以采用各种分类方法,然后可以根据提取的图像特征来选择优选的(例如最恰当的)分类方法。由于分类方法的性能或准确度可以取决于所选择的图像特征,因此该方法迎合所选择的各种不同图像特征,同时还使得最优或优选的分类方法能够得到使用。因此可以为一定范围的提取的特征提供改善的(例如更准确的)结果。
实施例还可以包括基于所确定的对象运动值来生成输出信号的步骤。实施例可以适于向以下各项中的至少一项提供这样的输出信号:对象;医学从业者;医学成像装置操作者;以及放射科技师。因此可以例如出于指示对象运动的存在和/或严重性的目的而向用户或医学成像装置提供输出信号。
一些实施例还可以包括基于对象运动值来生成用于修改图形元素的控制信号的步骤。然后可以根据控制信号来显示图形元素。以这种方式,用户(例如,放射科医生)可以具有适当布置的显示系统,该适当布置的显示系统能够接收并显示关于检测到的对象的运动的信息,并且使用户被定位得远离对象。实施例因此可以使得用户能够远程检测并监测对象(例如,患者)的运动。
根据本发明的又一方面,提供了一种用于检测对象的医学成像中的对象运动的计算机程序产品,其中,所述计算机程序产品包括计算机可读存储介质,所述计算机可读存储介质具有以其体现的计算机可读程序代码,所述计算机可读程序代码被配置为执行实施例的所有步骤。
可以提供一种计算机系统,所述计算机系统包括:根据实施例的计算机程序产品;以及一个或多个处理器,所述一个或多个处理器适于通过所述计算机程序产品的计算机可读程序代码的执行来执行根据实施例的方法。
在另外的方面中,本发明涉及一种计算机可读非瞬态存储介质,所述计算机可读非瞬态存储介质包括指令,所述指令当被处理设备执行时执行根据实施例的检测对象的医学成像中的对象运动的方法的步骤。
根据本发明的另一方面,提供了一种用于检测对象的医学成像中的对象运动的系统,所述系统包括:接口部件,其适于获得表示图像特征的运动与对象运动值之间的关系的运动分类模型;特征提取部件,其适于针对所述对象的被成像体积的多幅医学切片图像中的每幅,提取所述医学切片图像的图像特征;数据处理部件,其适于基于所提取的针对所述多幅医学切片图像中的每幅的图像特征来确定针对所述图像特征的运动信息,所述运动信息表示所述对象的所述被成像体积中的所述图像特征的运动;以及运动确定部件,其适于基于针对所述图像特征的所述运动信息以及所获得的运动分类模型来确定对象运动值。
将意识到,提出的系统的全部或部分可以包括一个或多个数据处理器。例如,该系统可以通过使用适于进行数据处理以便确定对象运动的单个处理器来实施。
用于检测对象的医学成像中的对象运动的系统可以被定位得远离医学成像装置,并且医学图像数据可以经由通信链路被传送给系统单元。
该系统可以包括:服务器设备,其包括接口部件、特征提取部件和数据处理部件;以及客户端设备,其包括运动确定部件。因此可以采用专用的数据处理单元来确定运动信息,由此降低该系统的其他部件或设备的处理要求或能力。
该系统还可以包括客户端设备,其中,所述客户端设备包括接口部件、特征提取部件、数据处理部件和运动确定部件。换句话说,用户(例如,放射科医生)可以具有适当布置的客户端设备(例如,膝上型计算机、平板计算机、移动电话、PDA等),该适当布置的客户端设备处理接收到的医学图像数据(例如,医学切片图像)以便确定对象运动值。
因此,处理可以被托管在与医学成像发生的地方不同的位置处。例如,出于计算效率的原因,可能有利的是,在医学成像位置处仅执行处理的部分,从而降低相关联的成本、处理能力、传输要求等。
因此,应当理解,因此可以根据处理资源的预定约束和/或可用性以不同方式将处理能力分布在整个系统中。
实施例也可以使得能够将一些处理负荷分布在整个系统中。例如,可以在医学成像系统处进行预处理。备选地或额外地,可以在通信网关处进行处理。在一些实施例中,可以在远程网关或服务器处进行处理,因此放弃从终端用户或输出设备进行处理的要求。这样的处理和/或硬件分布可以允许改善的维护能力(例如通过将复杂或昂贵的硬件集中在优选位置中)。它还可以使得能够根据可用的处理能力将计算负荷和/或流量设计或定位在联网系统内。优选方法可以是在本地处理医学图像数据并传输提取的数据以在远程服务器处进行完整处理。
可以结合预先存在的、预先安装的或者否则为单独提供的医学成像装置(例如,CT扫描器、PET扫描器或MRI扫描器)来实施实施例,并且可以根据提出的构思来接收并处理来自这样的装置的信号、数据或图像。其他实施例可以被提供有医学成像装置(例如,CT扫描装置或MRI扫描器)(例如被集成到医学成像装置(例如,CT扫描装置或MRI扫描器)中)。
参考下文描述的(一个或多个)实施例,本发明的这些方面和其他方面将变得显而易见并且得到阐明。
附图说明
现在将参考附图来详细描述根据本发明的各方面的示例,在附图中:
图1是根据实施例的用于检测对象的MRI扫描中的对象运动的系统的简化框图;
图2是可以被实施例采用的示例性前景与背景隔离算法的流程图;
图3是可以被实施例采用的用于从前景图像提取图像特征的方法的流程图;
图4A图示了其中仅保留了图像的前景信息(并且其中已经去除了背景信息)的MRI图像的示例;
图4B图示了其中仅保留了图像的前景信息(并且其中已经去除了背景信息)的CT图像的示例;
图5A描绘了空间域中的针对运动情况和非运动情况的分布标绘图,其中,针对非运动情况的分布标绘图是使用利用圆圈指示的线来描绘的,并且其中,针对运动情况的标绘图是使用利用三角形指示的线来描绘的;
图5B描绘了谱域中的针对运动情况和非运动情况的分布标绘图,其中,针对非运动情况的分布标绘图是使用利用圆圈指示的线来描绘的,并且其中,针对运动情况的标绘图是使用利用三角形指示的线来描绘的;
图6描绘了运动情况和非运动情况的示例性小波分解图像;
图7是可以被实施例采用的用于从背景图像提取图像特征的示例性方法的流程图;
图8示出了在MRI切片图像的背景图像中能看到运动波纹是什么样子的示例;
图9图示了可以使用前景与背景隔离对运动波纹进行可视化的示例;
图10A是针对具有运动的情况和无运动的情况的18幅图像中的每幅的背景图像熵的示例性标绘图,其中,针对具有运动的情况的背景图像熵的值是使用利用圆圈指示的线来描绘的,并且其中,针对无运动的情况的背景图像熵的值是使用利用三角形指示的线来描绘的;
图10B是针对具有运动的情况和无运动的情况的18幅图像中的每幅的拉东变换值(在45度处应用)的示例性标绘图,其中,针对具有运动的情况的拉东变换的值是使用利用圆圈指示的线来描绘的,并且其中,针对无运动的情况的拉东变换的值是使用利用三角形指示的线来描绘的;
图11描绘了针对多幅医学切片图像中的每幅标绘背景特征的峰值运动值的图表,其中,该图表包括表示可以用于针对医学切片图像区分严重运动与非严重运动的阈值的实线;
图12是根据另一实施例的检测对象的医学成像中的对象运动的系统的简化框图;并且
图13是其中可以采用实施例的一个或多个部分的计算机的简化框图。
具体实施方式
提出了用于检测在医学扫描期间存在还是不存在对象运动的构思。这可以实现对由医学图像切片形成的给定成像体积(例如,MRI DICOM体积)中的对象运动的识别。它可以例如促进识别包括不同等级或水平的运动伪影的医学图像切片。
为了实现对对象运动的检测,可以从医学图像提取图像特征,然后可以确定表示被成像体积内的所提取的图像特征的运动的运动信息。然后可以结合表示图像特征的运动与对象运动值之间的关系的运动分类模型来分析所确定的运动信息,从而实现对(一个或多个)所提取的特征的对象运动值或分类的确定。
使用运动分类模型可以实现基于建立的或学习的关于医学图像/体积中的特征的运动和对象运动的信息对提取的图像特征的移动进行量化或分类。可以基于传统的图像处理和机器学习技术来开发这样的模型以提高准确度。
实施例可以例如有助于改善对对象的医学扫描和评估。例如,这样的对象可以包括残疾人、老年人、受伤的人、医学患者等。例如,老年人能够意指50岁以上、65岁以上、70岁以上或80岁以上的人。
可以在许多不同类型的医学成像装置和/或医学成像设施(例如,医院、病房、研究设施等)中利用说明性实施例。
举例来说,当为放射科医生分配或安排病例时,对象运动检测可以是有用的。通过使用提出的实施例,用户可以例如过滤所有严重的对象运动病例以提高放射科医生的吞吐量。
而且,实施例可以被集成在医学成像系统中,以当扫描正在进行中时向技师提供关于检测到的对象运动(例如,不自主的患者运动)的实时反馈。通过使用这样的反馈,技师可以检查运动的严重性,并且如果必要的话舍弃成像结果,并且当对象仍在扫描台上时重新启动扫描。以这种方式,对象无需重新访问医学成像设施以进行重复扫描。
提出的实施例可以在医学图像中识别轻微/较小的对象运动。然后可以使用合适的运动校正算法来校正运动伪影。
为了提供描述说明性实施例的元素和功能的背景,以下提供附图作为说明性实施例的各方面可以被如何实施的示例。因此,应该意识到,附图仅仅是示例且并非旨在声明或暗示关于其中可以实施本发明的各方面或实施例的环境、系统或方法的任何限制。
本发明的实施例涉及实现对医学扫描中的对象运动的检测以及可能对医学扫描中的对象运动的分类。这有助于提高扫描准确度或效率,例如通过避免或减少被对象运动破坏的医学扫描的数量来提高扫描准确度或效率。
实施例可以采用常规的机器学习技术和图像处理技术来建立用于基于医学图像中的图像特征的移动对运动的严重性进行识别或分类的对象运动分类模型。基于训练数据(例如,历史数据、先前建立的结果和/或先前的观察结果),可以采用特征选择方案和交叉验证学习方案来生成分类模型。然后还可以通过以下操作(例如使用测试数据)来测试这样的模型:从医学图像选择并提取图像特征,并且使用该模型来确定对象运动的严重性(例如对其进行分类)(然后能够对照已建立的或正确的结果对其进行检查/比较)。
通过根据医学切片图像的一个或多个特征来确定对象运动的量度或分类,实施例可以实现对显著的和/或表示无法迎合(例如校正、忽略或通读)的运动的对象运动的识别。这可以有助于减少浪费的医学扫描的数量并提供改善的医学图像。因此,实施例可以有助于实时医学扫描监测目的,以例如评估对象在医学扫描过程期间是否过度移动。
可以根据由已经存在的医学成像设备和系统产生的医学切片图像对对象运动进行检测或分类。因此,所提出的构思可以结合现有的医学成像系统/方法(例如,用于例如CT、PET/CT和/或MRI扫描的那些医学成像系统/方法)来使用。因为许多这样的医学成像方法/系统是已知的并且可以采用这些医学成像方法/系统中的任何一种或多种,因此从该描述中省略了对这样的方法/系统的详细描述。
图1示出了根据实施例的用于检测对象的MRI扫描中的对象运动的系统100的实施例。
系统100包括接口部件110,接口部件110适于获得表示MRI特征的运动与对象运动值之间的关系的运动分类模型10。这里,接口部件110适于基于与先前确定的针对从MRI切片图像提取的MRI特征的对象运动值有关的历史数据115(例如被存储在数据库中)来生成运动分类模型。
历史数据115经由有线连接或无线连接被传送给接口部件110。举例来说,无线连接可以包括中短程通信链路。为了避免疑义,中短程通信链路可以被认为是指具有高达一百(100)米左右的范围的短程或中程通信链路。在针对非常短的通信距离设计的短程通信链路中,信号通常行进几厘米到几米,而在针对中短程通信距离设计的中程通信链路中,信号通常行进多达一百(100)米。短程无线通信链路的示例是ANT+、蓝牙、蓝牙低能耗、IEEE802.15.4、ISA100a、红外(IrDA)、近场通信(NFC)、RFID、6LoWPAN、UWB、无线HART、无线HD、无线USB、ZigBee。中程通信链路的示例包括Wi-Fi、ISM频段、Z-Wave。这里,不对输出信号进行加密而无法以受保护的方式经由有线连接或无线连接进行通信。然而,将意识到,在其他实施例中,可以采用一种或多种加密技术和/或一种或多种安全通信链路对系统中的信号/数据进行通信。
此外,在图1的示例中,接口部件适于利用与针对MRI切片图像的MRI特征的对象运动值有关的训练数据使用机器学习算法来细化运动分类模型。
系统100还包括特征提取部件120,特征提取部件120适于针对对象的MRI体积的多幅MRI切片图像中的每幅提取MRI切片图像的MRI特征。更具体地,在该示例中,特征提取部件120适于将MRI切片图像分离成前景和背景,然后提取以下各项中的至少一项:来自前景的前景MRI特征;以及来自背景的背景MRI特征。
举例来说,为了提取前景MRI特征,特征提取部件120适于从以下各项中的至少一项识别特征:前景的空间域表示;前景的小波域表示;以及前景的谱域表示。然后提取所识别的特征作为前景MRI特征。
另行举例来说,为了提取背景MRI特征,特征提取部件120适于将拉东变换应用于背景,以便生成多个拉东变换轮廓。特征提取部件120然后适于:基于拉东变换轮廓来识别特征,并且提取所识别的特征作为背景MRI特征。
系统100还包括数据处理部件122,数据处理部件122适于基于所提取的针对多幅MRI切片图像中的每幅的MRI特征来确定针对MRI特征的运动信息。更具体地,由数据处理部件122确定的运动信息表示对象的MRI体积中的MRI特征的运动。
为此目的,系统100的数据处理部件122可以与在互联网或“云”50中可用的一个或多个数据处理资源通信。这样的数据处理资源可以进行确定针对提取的MRI特征的运动信息所需的部分或全部处理。
向系统110的运动确定部件124提供所确定的运动信息。运动确定部件124适于基于针对MRI特征的运动信息以及所获得的运动分类模型来确定对象运动值。再次地,为此目的,运动确定部件124可以与在互联网或“云”50中可用的一个或多个数据处理资源通信。这样的数据处理资源可以进行确定对象运动值所需的部分或全部处理。
因此,将意识到,实施例可以采用分布式处理原则。
数据处理系统110还适于生成表示确定的对象运动值的输出信号130。换句话说,在基于针对MRI特征的运动信息以及所获得的运动分类模型(在具有或者没有经由互联网或“云”与数据处理资源通信的情况下)确定对象运动值之后,生成表示确定的对象运动值的输出信号130。
该系统还包括用于向一个或多个用户提供信息的图形用户接口(GUI)160。输出信号130经由有线连接或无线连接被提供到GUI 160。举例来说,无线连接可以包括中短程通信链路。如图1所指示的,输出信号130从数据处理单元110被提供到GUI 160。然而,在该系统已经经由互联网或云50利用了数据处理资源的情况下,可以使得输出信号经由互联网或云50而可用于GUI 160。
基于输出信号130,GUI 160适于通过在GUI 160的显示区中显示一个或多个图形元素来传送信息。以这种方式,该系统可以传送关于可以有助于指示对象是否已经在MRI扫描过程期间过度移动的对象运动值的信息。例如,GUI 160可以用于向医学从业者、放射科医生、MRI装置操作者、MRI技师等显示图形元素。备选地或额外地,GUI 160可以适于向对象显示图形元素。
根据对图1的实施例以上描述,应当理解,提出了用于识别对象的MRI扫描中的对象运动的系统。该扫描被认为具有对象的被成像体积(例如,3D节段或部分),并且是由沿着该体积的中心轴线彼此偏移的多幅平行MRI切片图像形成的(其中,每幅MRI切片图像在垂直于中心轴线的平面中)。
因此,基于针对提取的MRI特征的运动信息,可以识别其中所提取的MRI特征的运动超过阈值的MRI切片图像。以这种方式,可以识别其中特征运动过度(例如超过可接受量)的MRI切片图像。因此可以识别被扫描体积中的过度运动的(一个或多个)位置,从而进一步有助于确定对象运动是否可能已经发生以及可能已经如何发生。
另行举例来说,可以基于与先前确定的MRI特征的运动有关的历史数据来确定(例如计算)阈值。以这种方式,可以细化或改进用于将过度的对象运动与可接受的(例如可校正的或可固定的)对象运动区别开的阈值,以便提高准确度或可用性。
虽然上面详述的图1的示例实施例是关于MRI扫描描述的,但是将意识到,提出的构思可以被延伸到诸如CT扫描、PET扫描等其他医学扫描模态。
而且,根据上述描述,应当理解,提出的根据实施例的方法可以包括以下主要阶段:
(i)模型采集——获得表示图像特征的运动与对象运动值之间的关系的运动分类模型;
(ii)特征提取——从医学图像提取特征以捕获由于患者运动而引起的运动信息;
(iii)体积水平特征确定——用于以体积水平导出运动信息,因为特征提取处于切片水平;以及
(iv)运动分类——对运动信息进行分类以识别对象运动的量或水平。
现在将在下面详述针对这些主要阶段的示例性方法。
模型采集
实施例可以采用传统的机器学习技术、深度学习技术和/或图像处理技术来建立将图像特征运动联系到各种水平或分类的对象运动的运动分类模型。因此,这样的模型可以是根据与先前的测试结果和/或观察结果有关的历史信息导出的,并且该模型可以使用各种形式的输入数据来进行训练和测试。
基于训练数据,可以采用对学习方案的特征选择和交叉验证来生成分类模型。
特征提取
根据医学图像,可以从前景图像和背景图像这两者提取特征。
举例来说,为了实现前景与背景隔离,实施例可以采用Chan和Vese的基于区域的主动轮廓方法(Chan TF、Vese L.的“Active contours without edges”(IEEE Trans MedImaging,2001年,第10卷,第2期,第266–277页)),其中,进行350次迭代并将初始掩模定义为等于小于原始图像尺寸的1个像素尺寸。
前景与背景隔离可以被应用在体积中的个体切片上。
举例来说,在图2中描绘了可以被采用的前景与背景隔离算法20的流程图。
在图2中,步骤210至260包括加载成像体积(步骤220)以针对每个切片将前景与背景分离(步骤250和260)。在步骤230中,检查所有医学切片图像是否都已经经受了隔离。如果它们都已经经受了隔离,则该过程在步骤240中结束。在步骤250和260的隔离之后,在步骤270中将医学切片图像重新设定尺寸,并且在步骤280中沿着水平方向和垂直方向这两者对掩模进行初始化。以在步骤290中识别出的预定义迭代次数将Chan和Vese的分割方法应用于步骤300中,并且使经分割的图像经受填充操作(步骤310)和扩张操作(步骤320),并且随后将经分割的图像重新设定尺寸到原始尺寸(步骤330)以获得分离的前景图像(步骤340)和背景图像(步骤350)。
前景特征提取
现在参考图3,描绘了用于从前景图像提取图像特征的方法30的流程图。因此可以使用这样的特征提取技术来捕获前景图像中的由于对象运动而引起的运动信息。
在图3中,步骤360至410包括加载成像体积(步骤370)以针对成像体积的每个医学图像切片提取前景特征和背景特征(步骤400和410)。在步骤380中,检查是否所有医学切片图像都已经经受了特征提取。如果它们都已经经受了特征提取,则该过程在步骤390中结束。
首先针对成像体积的每幅医学切片图像,将前景图像与背景图像分离(步骤420)。从前景图像提取特征(步骤430)、空间域表示(步骤440)、谱域表示(步骤450)以及小波域表示(步骤460)。
图3因此描绘了用于特征提取的方法(30),其中,采用前景与背景隔离算法以通过舍弃存在于图像的背景中的信息来仅保留图像的前景信息。
在图4A中描绘了其中仅保留了图像的前景信息的MRI图像的示例。另外,在图4B中描绘了其中仅保留了图像的前景信息的CT图像的示例。
在前景图像上,可以从图像的空间域表示、谱域表示和/或小波域表示提取图像特征。例如:
空间特征:作为空间特征集合的部分,在前景图像上,可以提取空间域特征,例如,图像分辨率特征、基于直方图的特征、自相关特征以及聚焦特征。
谱特征:作为谱特征集合的部分,在前景图像上,可以提取频谱特征,例如,基于谱直方图和谱能量的特征。
举例来说,图5A描绘了空间域中的针对运动情况和非运动情况的分布标绘图。针对非运动情况的分布标绘图是使用利用圆圈指示的线来描绘的,而针对运动情况的标绘图是使用利用三角形指示的线来描绘的。从图5A中能够看出,空间域中的针对非运动情况的分布标绘图比针对运动情况的分布标绘图更狭窄并且具有更高的峰值。
另行举例来说,图5B描绘了谱域中的针对运动情况和非运动情况的分布标绘图。针对非运动情况的分布标绘图是使用利用圆圈指示的线来描绘的,而针对运动情况的标绘图是使用利用三角形指示的线来描绘的。从图5B中能够看出,谱域中的针对非运动情况的分布标绘图比针对运动情况的分布标绘图更狭窄,向左移位,并且具有更高的峰值。
小波特征:作为小波特征集合的部分,在前景图像上,可以提取小波分解和小波包分解特征。举例来说,图6描绘了运动情况和非运动情况的小波分解图像。在图6中,图像的第一行(即,顶部)至第三行(即,底部)分别对应于针对无运动示例、中等运动示例和严重运动示例的近似结果和详细系数。
背景特征提取
受自然波形成的波纹启发,实施例可以采用特征提取技术来捕获背景图像中的由对象运动引起的运动波纹。例如,参考图7,描绘了用于从背景图像提取图像特征的方法的流程图。
在图7中,步骤700至740包括加载成像体积(步骤710)以提取每个切片的背景特征(步骤730和740)。在步骤720中,检查是否所有医学切片图像都已经经受了特征提取过程。如果它们都已经经受了特征提取过程,则该过程在步骤725中结束。首先针对被成像体积的每幅医学切片图像,将前景图像与背景图像分离(步骤750)。获得分离的背景图像(步骤760),然后在不同取向上应用拉东变换(步骤770)以生成充当用于分类器模型的背景特征的各种统计量度(步骤780)。
现在参考图8,示出了在MRI切片图像的背景图像中能看到运动波纹是什么样子的示例。
使用(如通过图2的方法所示例的)前景与背景隔离,捕获具有运动波纹的背景图像,如图9所示。这里,在背景图像上,在1、45、90和135度处应用拉东变换以得到1维轮廓。然后从拉东变换轮廓提取基于峰值、包络和rms值的38个特征。
图10示出了针对运动图像和非运动图像的样本背景特征值标绘图。
更具体地,图10A描绘了针对具有运动的情况和无运动的情况的18幅图像中的每幅的背景图像熵的标绘图。针对具有运动的情况的背景图像熵的值是使用利用圆圈指示的线来描绘的,而针对无运动的情况的背景图像熵的值是使用利用三角形指示的线来描绘的。从图10A中能够看出,针对具有运动的情况的背景图像熵的值比针对无运动的情况的背景图像熵的值更高,并且表现出更高的图像间方差。
而且,图10B描绘了针对具有运动的情况和无运动的情况的18幅图像中的每幅的(在45度处应用的)拉东变换值的标绘图。针对具有运动的情况的拉东变换的值是使用利用圆圈指示的线来描绘的,而针对无运动的情况的拉东变换的值是使用利用三角形指示的线来描绘的。从图10B中能够看出。针对具有运动的情况的拉东变换值比针对无运动的情况的拉东变换值更高,并且表现更高的图像间方差。
体积水平特征确定
如上面所解释的,可以从医学切片图像(即,在切片水平下)提取前景特征和背景特征。为了在“体积水平”下导出运动信息(即,关于被扫描体积中的特征移动的信息),提出了将所提取的特征转变到被成像体积水平。在被成像体积水平下导出的这样的特征因此可以基于在切片水平下提取的前景特征和背景特征。
通常在被成像体积水平下采集运动信息,以便实现基于运动的水平/分类(例如,无运动、轻微运动、中等运动和严重运动)对被成像体积的隔离。因此提出了将切片水平的特征信息聚集为体积水平表示。为此,可以采用标准统计参数,由此促进了从个体切片水平的特征获得体积水平表示。
可以使用的示例性统计参数包括:(i)最小值,(ii)平均值,(iii)最大值,(iv)标准偏差,(v)峭度,(vi)最大值与平均值的比率,以及(vii)平均值与最小值的比率。
另外,提出了结合能量水平的切片和在切片水平下提取的特征向量的体积水平的特征。这种组合可以识别医学切片图像的主要由于运动而非解剖结构而改变的特征向量。
举例来说,令E(n)和FV(n)分别表示个体医学切片图像的能量和特征值。而且,令DE(n)和DF(n)分别是相继的医学切片图像的能量水平和特征值相对于前一医学切片图像的差异的百分比。根据这些值,可以提取以下参数,其中,αn是学习参数并且是通过改变被提供在α1和α2中的值以获得最佳性能而以实验方式识别出的:
能量&特征值的差异:
1.找到“N”,使得N:DE(n)≤α1&DF(n)≥α2;
能量&特征值的总体变化:
能量&特征值的描述性统计结果:
运动分类
发明人已经探索了使用若干常规分类方法将被成像体积识别为运动或非运动。在下面的表1中示出了与默认参数一起使用的这样的方法。
表1
通过这样的研究获得的结果指示支持向量机(高斯)分类方法提供最佳结果。然而,这仅仅指示支持向量机(高斯)在一些实例中(例如当使用默认参数时)可以是优选的。因此,应当理解,在其他实施例中也可以采用其他分类方法,并且其他分类方法在不同的情况下甚至可以是优选的(例如提供更准确的结果)。
而且,应当注意,在运动分类模型采用多种不同分类方法的情况下,优选的(例如更准确的)分类方法可以取决于(一个或多个)所提取的特征。因此,当确定对象运动值时,实施例可以包括基于从医学切片图像提取的(一个或多个)特征选择多种不同分类方法中的一种的构思。
背景特征分析以检测运动切片
应当注意,在全身扫描中,有时仅几幅被扫描体积的医学图像切片可能被运动伪影破坏,并且被扫描体积中的医学切片图像的其余部分因此可以用于诊断目的。因此,识别被运动伪影破坏的(一幅或多幅)特定医学切片图像可以是有用的。例如,它可以有助于减小重复扫描中的视场(FOV)。对用于重复扫描的FOV的这样的减小可以提高患者舒适度和/或提高扫描吞吐量。
举例来说,为了在医学切片图像水平下识别运动,提出了使用如上所述的捕获运动波纹的背景图像特征。
参考图11,描绘了针对多幅医学切片图像中的每幅标绘背景特征的峰值运动值的图表。在该图表上,实线表示可以用于针对医学切片图像区分严重运动与非严重运动的阈值(Th)。
阈值可以例如从能够在切片水平下区分严重运动与非严重运动的训练集合来学习。额外地或备选地,阈值可以基于与先前确定的图像特征的运动有关的历史数据来确定。
从图11中能够看出,具有超过阈值的峰值运动值的医学切片图像能够被容易地识别出。以这种方式,实施例可以适于在个体医学切片图像中区分严重运动与非严重运动。
现在参考图12,描绘了根据本发明的系统的另一实施例,所述系统包括适于扫描对象的体积并生成被扫描体积的多个CT图像切片的CT扫描系统810。这里,CT扫描系统810包括可以例如在CT扫描/成像设施中使用的常规CT扫描系统810。
CT扫描系统810经由互联网820(例如通过使用有线连接或无线连接)将表示采集的CT图像切片的输出信号传送到被远程定位的用于检测对象的MRI中的对象运动的数据处理系统830(例如,服务器)。
数据处理系统830适于从CT扫描系统810(例如以CT图像切片数据的方式)接收一个或多个输出信号。该系统还适于(例如从本地或远程数据库和/或经由用户输入接口)获得表示CT图像特征的运动与对象运动值之间的关系的运动分类模型。
数据处理系统830依据根据提出的实施例的方法处理CT扫描系统输出信号和运动分类模型以确定对象运动值。更具体地,该方法包括以下操作:提取每幅MRI切片图像的MRI特征;基于所提取的针对多幅MRI切片图像中的每幅的MRI特征来确定针对MRI特征的运动信息,所述运动信息表示对象的MRI体积中的MRI特征的运动;然后基于针对MRI特征的运动信息以及所获得的运动分类模型来确定对象运动值。
数据处理系统830还适于生成表示确定的对象运动值的输出信号。因此,数据处理830提供可集中访问的处理资源,所述可集中访问的处理资源能够接收来自MRI系统的信息并运行用于检测对象的MRI中的对象运动的一种或多种算法。数据处理系统能够存储与检测到的对象运动有关的信息(例如将其存储在数据库中)并将该信息提供给系统的其他部件。可以响应于接收到请求(例如经由互联网820)而如此提供关于检测到的或推测的对象运动的信息并且/或者可以在没有请求的情况下如此提供关于检测到的或推测的对象运动的信息(即,“推送”)。
为了从数据处理系统接收关于检测到的或推测的对象运动的信息并由此使得能够准确监测和/或在背景中监测对象运动的目的,该系统还包括第一移动计算设备840和第二移动计算设备850。
这里,第一移动计算设备840是具有用于显示表示检测到的对象运动的图形元素的显示器的移动电话设备(例如,智能手机)。第二移动计算设备850是诸如具有用于显示表示检测到的在CT扫描期间的对象运动的图形元素的显示器的膝上型计算机或平板计算机之类的移动计算机。
数据处理系统830适于经由互联网820(例如使用有线连接或无线连接)向第一移动计算设备840和第二移动计算设备850传送输出信号。如上所述,这可以响应于接收到来自第一移动计算设备840和第二移动计算设备850的请求而进行。
基于接收到的输出信号,第一移动计算设备840和第二移动计算设备850适于在由它们各自的显示器提供的显示区中显示一个或多个图形元素。为此目的,第一移动计算设备840和第二移动计算设备850均包括用于处理、解密和/或解释接收到的输出信号以便确定如何显示图形元素的软件应用。因此,第一移动计算设备840和第二移动计算设备850均包括处理布置,所述处理布置适于表示检测到的对象运动的一个或多个值,并且适于基于检测到的运动来生成用于修改图形元素的尺寸、形状、位置、取向、脉动或颜色中的至少一项的显示控制信号。
该系统因此能够将关于推测的或检测到的对象在CT扫描中的运动的信息传送给第一移动计算设备840和第二移动计算设备850的用户。例如,第一移动计算设备840和第二移动计算设备850中的每个均可以用于向医学从业者、放射科医生或对象显示图形元素。
图12的系统的实施方式可以在以下各项之间变化:(i)数据处理系统830传送准备显示的数据的情况,所述准备显示的数据可以例如包括包含图形元素的显示数据(例如,JPEG格式或其他图像格式),简单地使用常规图像或网页显示(其能够是基于web的浏览器等)向移动计算设备的用户显示所述图形元素;(ii)数据处理系统830传送原始数据集合信息的情况,接收到的移动计算设备然后处理所述原始数据集合信息以检测对象运动,然后基于检测到的运动(例如使用运行在移动计算设备上的本地软件)来显示图形元素。当然,在其他实施方式中,该处理可以在数据处理系统830与接收到的移动计算设备之间共享,使得在数据处理系统830处生成的数据的部分被发送到移动计算设备以用于由移动计算设备的本地专用软件进行进一步处理。实施例因此可以采用服务器侧处理、客户端侧处理或其任意组合。
另外,在数据处理系统830不“推送”信息(例如,输出信号),而是响应于接收到请求而传送信息的情况下,可以要求做出这样的请求的设备的用户确认或认证其身份和/或安全证书,以便传送信息。
图13图示了其中可以采用实施例的一个或多个部分的计算机900的示例。上面讨论的各种操作可以利用计算机900的能力。例如,用于检测对象运动的系统的一个或多个部分可以被并入本文讨论的任何元件、模块、应用和/或部件中。
计算机900包括但不限于PC、工作站、膝上型计算机、PDA、掌上设备、服务器、存储设备等。通常,在硬件体系结构方面,计算机900可以包括经由本地接口(未示出)被通信性耦合的一个或多个处理器910、存储器920以及一个或多个I/O设备970。如本领域中已知的,本地接口能够是例如但不限于一条或多条总线或其他有线连接或无线连接。本地接口可以具有额外的元件(例如,控制器、缓冲器(高速缓存)、驱动器、中继器和接收器)以实现通信。另外,本地接口可以包括地址、控件和/或数据连接,以实现上述部件之间的适当通信。
处理器910是用于执行能够被存储在存储器920中的软件的硬件设备。处理器910实际上能够是任何定制的或可商业获得的处理器、中央处理单元(CPU)、数字信号处理器(DSP)或在与计算机900相关联的若干处理器之间的辅助处理器,并且处理器910可以是基于半导体的微处理器(微芯片的形式)或微处理器。
存储器920能够包括易失性存储器元件(例如,随机存取存储器(RAM),例如,动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)等)和非易失性存储器元件(例如,ROM、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁带、压缩盘只读存储器(CD-ROM)、磁盘、磁碟、盒式磁带、卡式磁带等)的任一种或其组合。此外,存储器920可以并入电学、磁性、光学和/或其他类型的存储介质。注意,存储器920能够具有分布式架构,其中,各种部件被互相远离地定位,但是能够由处理器910访问。
存储器920中的软件可以包括一个或多个单独的程序,其中的每个程序包括用于实施逻辑功能的可执行指令的有序列表。根据示例性实施例,存储器920中的软件包括合适的操作系统(O/S)950、编译器940、源代码930以及一个或多个应用960。如图所示,应用960包括用于实施示例性实施例的特征和操作的许多功能部件。计算机900的应用960可以表示根据示例性实施例的各种应用、计算单元、逻辑单元、功能单元、过程、操作、虚拟实体和/或模块,但应用960并不意味着限制。
操作系统950控制对其他计算机程序的执行,并且提供调度、输入-输出控制、文件和数据管理、存储器管理以及通信控制和有关服务。发明人设想到用于实施示例性实施例的应用960可以适用于所有可商业获得的操作系统。
应用960可以是源程序、可执行程序(目标代码)、脚本或者包括要执行的指令集合的任何其他实体。当是源程序时,则通常经由编译器(例如,编译器940)、汇编器、解释器等来翻译该程序,这些编译器(例如,编译器940)、汇编器、解释器可以被包括或者可以不被包括在存储器920内,以便结合O/S 950来恰当操作。此外,应用960能够被编写为面向对象的编程语言(其具有数据类和方法类)或者过程式编程语言(其具有例程、子例程和/或函数,例如,但不限于:C、C++、C#、Pascal、BASIC、API调用、HTML、XHTML、XML、php.Python、ASP脚本、FORTRAN、COBOL、Perl、Java、ADA、.NET等)。
I/O设备970可以包括输入设备,例如,但不限于:鼠标、键盘、扫描仪、麦克风、相机等。此外,I/O设备970还可以包括输出设备,例如,但不限于:打印机、显示器等。最后,I/O设备970还可以包括传送输入和输出这两者的设备,例如,但不限于:NIC或调制器/解调器(用于访问远程设备、其他文件、设备、系统或网络)、射频(RF)或其他收发器、电话接口、桥接器、路由器等。I/O设备970还包括用于通过各种网络(例如,互联网或内联网)通信的部件。
如果计算机900是PC、工作站、智能设备等,则存储器920中的软件还可以包括基本输入输出系统(BIOS)(为简单起见而被省略)。BIOS是必需的软件例程集合,其在启动时对硬件进行初始化和测试,启动O/S950,并且支持在硬件设备之间传输数据。BIOS被存储在某种类型的只读存储器(例如,ROM、PROM、EPROM、EEPROM等)中,使得在计算机900被激活时BIOS能够被执行。
当计算机900在操作中时,处理器910被配置为执行被存储在存储器920内的软件,以将数据传送到存储器920并且传送来自存储器920的数据,并且总体上根据软件来控制计算机900的操作。应用960和O/S 950由处理器910全部或部分地读取,可能在处理器910内被缓冲,然后被执行。
当应用960以软件实施时,应当注意,应用960能够被存储在几乎任何计算机可读介质上,以用于由任何与计算机有关的系统或方法使用或者与其结合使用。在本文档的背景中,计算机可读介质可以是电学、磁性、光学或其他物理设备或单元,其能够包含或存储计算机程序以供与计算机有关的系统或方法使用或者与其结合使用。
应用960能够被体现在任何计算机可读介质中,以供指令执行系统、装置或设备(例如,基于计算机的系统、包含处理器的系统)或者能够从指令执行系统、装置或设备取回指令并执行指令的其他系统使用或者与其结合使用。在本文档的背景中,“计算机可读介质”能够是能够存储、传送、传播或传输供指令执行系统、装置或设备使用或者与其结合使用的程序的任何单元。例如,计算机可读介质能够例如是但不限于电子、磁性、光学、电磁、红外或半导体系统、装置、设备或传播介质。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质(或媒介),在所述计算机可读存储介质(或媒介)上具有用于使处理器执行本发明的各方面的计算机可读程序指令。
计算机可读存储介质能够是能够保持和存储供指令执行设备使用的指令的有形设备。计算机可读存储介质可以是例如但不限于:电子存储设备、磁性存储设备、光学存储设备、电磁存储设备、半导体存储设备或者上述设备的任意合适组合。计算机可读存储介质的更具体示例的非穷举列表包括以下各项:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机器编码设备(例如在其上记录有指令的打孔卡或凹槽内凸起结构)以及上述设备的任意合适组合。如在本文中所使用的计算机可读存储介质不应被解释为瞬态信号本身,例如,无线电波或其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤线缆的光脉冲)或通过电线传输的电信号。
在本文中所描述的计算机可读程序指令能够从计算机可读存储介质被下载到相应的计算/处理设备,或者经由网络(例如,互联网、局域网、广域网和/或无线网)被下载到外部计算机或外部存储设备。网络可以包括铜传输线缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或网络接口从网络接收计算机可读程序指令并转发该计算机可读程序指令,以供存储在相应的计算/处理设备中的计算机可读存储介质中。
用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据或以一种或多种编程语言的任意组合编写的源代码或目标代码,所述一种或多种编程语言包括面向对象的编程语言(例如,Java、Smalltalk、C++等)和针对嵌入式实施方式优化的常规的过程式编程语言(例如,“C”编程语言或类似的编程语言)。计算机可读程序指令可以完全在用户的计算机上执行,部分在用户的计算机上执行,作为独立的软件包执行,部分在用户的计算机上并且部分在远程计算机上执行或者完全在远程计算机或服务器上执行。在涉及远程计算机的场景中,远程计算机可以通过任何种类的网络(包括局域网(LAN)或广域网(WAN))被连接到用户的计算机,或者可以连接到外部计算机(例如通过使用互联网服务提供商)。在一些实施例中,通过利用计算机可读程序指令的状态信息对电子电路进行个性化设置,包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以执行计算机可读程序指令,以便执行本发明的各方面。
在本文中参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图描述了本发明的各方面。应当理解,流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合都能够由计算机可读程序指令来实施。
这些计算机可读程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器,使得这些指令在经由计算机或其他可编程数据处理装置的处理器被执行时创建用于实施流程图和/或框图中的一个或多个框中指定的功能/动作的单元。也可以将这些计算机可读程序指令存储在计算机可读存储介质中,该计算机可读存储介质能够指导计算机、可编程数据处理装置和/或其他设备以特定方式工作,使得在其中存储有指令的计算机可读存储介质包括制造品,该制造品包括实施流程图和/或框图中的一个或多个框中指定的功能/动作的各方面的指令。
计算机可读程序指令也可以被加载到计算机、其他可编程数据处理装置或其他设备上,从而引起在计算机、其他可编程装置或其他设备上执行一系列操作步骤以产生计算机实施的过程,使得在计算机、其他可编程装置或其他设备上执行的指令实施流程图和/或框图中的一个或多个框中指定的功能/动作。
附图中的流程图和框图图示了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实施方式的架构、功能和操作。在这方面,流程图或框图中的每个框可以表示指令的模块、段或部分,其包括用于实施(一种或多种)指定的逻辑功能的一条或多条可执行指令。在一些备选实施方案中,框中标注的功能可以以不同于附图中标注的顺序发生。例如,相继示出的两个框实际上可以基本上同时执行,或者这些框有时也可以以相反的顺序执行,具体取决于所涉及的功能。还将注意,框图和/或流程图图示中的每个框以及框图和/或流程图图示中的框的组合能够由执行指定的功能或动作的专用的基于硬件的系统来实施,或者能够由专用硬件与计算机指令的组合来执行。
根据以上描述,将意识到,实施例因此可以有助于对对象在MRI扫描期间的运动进行检测和分类。检测到的对象运动能够用于实时监测和警报,以及用于检测MRI图像何时是/不是可靠的。
为了说明和描述的目的,已经给出了描述,但这并不旨在将本发明穷举或限制到所公开的形式。许多修改和变化对于本领域普通技术人员来说将是显而易见的。已经选择并描述了实施例,以便最佳地解释所提出的实施例的原理、(一种或多种)实际应用,并且使其他本领域普通技术人员能够理解,可以设想到具有各种修改的各种实施例。
Claims (15)
1.一种用于检测对象的医学成像中的对象运动的方法,所述方法包括:
获得表示图像特征的运动与对象运动值之间的关系的运动分类模型(10);
针对所述对象的被成像体积的多幅医学切片图像中的每幅,提取(30)所述医学切片图像的图像特征;
基于所提取的针对所述多幅医学切片图像中的每幅的图像特征,确定针对所述图像特征的运动信息,所述运动信息表示所述对象的所述被成像体积中的所述图像特征的运动;并且
基于针对所述图像特征的所述运动信息以及所获得的运动分类模型来确定对象运动值。
2.根据权利要求1所述的方法,其中,获得运动分类模型包括:
基于与针对从医学切片图像提取的图像特征的先前确定的对象运动值有关的历史数据(115)来生成运动分类模型。
3.根据权利要求2所述的方法,其中,获得运动分类模型还包括:
利用与针对医学切片图像的图像特征的对象运动值有关的训练数据使用机器学习算法来细化所述运动分类模型。
4.根据权利要求1至3中的任一项所述的方法,其中,提取医学切片图像的图像特征的步骤包括:
将所述医学切片图像分离(420)成前景和背景;并且
从所述前景提取(430)前景图像特征。
5.根据权利要求4所述的方法,其中,提取(430)前景图像特征包括从以下各项中的至少一项识别图像特征:所述前景的空间域表示;所述前景的小波域表示;以及所述前景的谱域表示;并且
提取所识别的图像特征作为所述前景图像特征。
6.根据权利要求1至5中的任一项所述的方法,其中,提取医学切片图像的图像特征的步骤包括:
将所述医学切片图像隔离(750)成前景和背景;并且
从所述背景提取背景图像特征。
7.根据权利要求6所述的方法,其中,提取背景图像特征包括:
将拉东变换应用(770)于所述背景以生成多个拉东变换轮廓;
基于所述拉东变换轮廓来识别(780)图像特征;并且
提取所识别的图像特征作为所述背景图像特征。
8.根据权利要求1至7中的任一项所述的方法,还包括:
基于针对所述图像特征的所述运动信息,识别其中所提取的图像特征的运动超过阈值的医学切片图像。
9.根据权利要求8所述的方法,还包括:
基于与先前确定的所述图像特征的运动有关的历史数据来确定所述阈值(Th)。
10.根据权利要求1至9中的任一项所述的方法,
其中,所述运动分类模型(10)表示针对多种不同分类方法的图像特征的运动与对象运动值之间的关系,
并且其中,确定对象运动值包括:基于所提取的图像特征来选择针对所述多种不同分类方法中的一种的图像特征的运动与对象运动值之间的关系;并且
基于针对所述图像特征的所述运动信息以及所选择的图像特征的运动与对象运动值之间的关系来确定对象运动值。
11.一种计算机程序产品,其能从通信网络被下载并且/或者被存储在计算机可读介质和/或微处理器可执行介质中,其中,所述计算机程序产品包括计算机程序代码指令,所述计算机程序代码指令当被至少一个处理器执行时实施根据权利要求1至10中的任一项所述的方法。
12.一种包括至少一个处理器和根据权利要求12所述的计算机程序产品的系统。
13.一种用于检测对象的医学成像中的对象运动的系统,所述系统包括:
接口部件(110),其适于获得表示图像特征的运动与对象运动值之间的关系的运动分类模型(10);
特征提取部件(120),其适于针对所述对象的被成像体积的多幅医学切片图像中的每幅,提取所述医学切片图像的图像特征;
数据处理部件(122),其适于基于所提取的针对所述多幅医学切片图像中的每幅的图像特征来确定针对所述图像特征的运动信息,所述运动信息表示所述对象的所述被成像体积中的所述图像特征的运动;以及
运动确定部件(124),其适于基于针对所述图像特征的所述运动信息以及所获得的运动分类模型来确定对象运动值。
14.根据权利要求13所述的系统,其中,所述接口部件(110)适于基于与针对从医学切片图像提取的图像特征的先前确定的对象运动值有关的历史数据(115)来生成运动分类模型(10)。
15.根据权利要求13或14所述的系统,其中,所述特征提取部件(120)适于:将所述医学切片图像分离成前景和背景;并且提取以下各项中的至少一项:来自所述前景的前景图像特征;以及来自所述背景的背景图像特征。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862697655P | 2018-07-13 | 2018-07-13 | |
US62/697,655 | 2018-07-13 | ||
PCT/EP2019/068749 WO2020011947A1 (en) | 2018-07-13 | 2019-07-11 | Detecting subject motion in medical imaging |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112673396A true CN112673396A (zh) | 2021-04-16 |
CN112673396B CN112673396B (zh) | 2024-05-14 |
Family
ID=67352517
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980059023.0A Active CN112673396B (zh) | 2018-07-13 | 2019-07-11 | 检测医学成像中的对象运动 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11501451B2 (zh) |
EP (1) | EP3821398A1 (zh) |
CN (1) | CN112673396B (zh) |
WO (1) | WO2020011947A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116110584A (zh) * | 2023-02-23 | 2023-05-12 | 江苏万顶惠康健康科技服务有限公司 | 一种人体健康风险评估预警系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001078005A2 (en) * | 2000-04-11 | 2001-10-18 | Cornell Research Foundation, Inc. | System and method for three-dimensional image rendering and analysis |
US20070110290A1 (en) * | 2005-10-19 | 2007-05-17 | Siemens Corporate Research Inc. | Devices Systems and Methods for Processing Images |
CN101807245A (zh) * | 2010-03-02 | 2010-08-18 | 天津大学 | 基于人工神经网络的多源步态特征提取与身份识别方法 |
US20110080168A1 (en) * | 2009-10-05 | 2011-04-07 | Siemens Aktiengesellschaft | Correction of truncations in mr imaging |
US20110142316A1 (en) * | 2009-10-29 | 2011-06-16 | Ge Wang | Tomography-Based and MRI-Based Imaging Systems |
US20150227808A1 (en) * | 2014-02-11 | 2015-08-13 | Google Inc. | Constructing Contours from Imagery |
CN106503663A (zh) * | 2016-11-01 | 2017-03-15 | 江苏大学 | 一种基于深度学习的信号灯时长检测方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9614407D0 (en) | 1996-07-09 | 1996-09-04 | Secr Defence | Method for imaging artefact reduction |
US6518759B2 (en) | 2001-04-09 | 2003-02-11 | Mayo Foundation For Medical Education And Research | Motion correction of magnetic resonance images |
GB0129600D0 (en) * | 2001-12-08 | 2002-01-30 | Qinetiq Ltd | Method for compensating for effects of object motion in an image |
US9883817B2 (en) | 2013-11-20 | 2018-02-06 | Children's National Medical Center | Management, assessment and treatment planning for inflammatory bowel disease |
WO2017127633A1 (en) | 2016-01-20 | 2017-07-27 | University Of Florida Research Foundation, Inc. | Programmatic quality assessment of images |
US10664979B2 (en) * | 2018-09-14 | 2020-05-26 | Siemens Healthcare Gmbh | Method and system for deep motion model learning in medical images |
-
2019
- 2019-07-11 WO PCT/EP2019/068749 patent/WO2020011947A1/en unknown
- 2019-07-11 EP EP19741998.9A patent/EP3821398A1/en not_active Withdrawn
- 2019-07-11 US US17/259,208 patent/US11501451B2/en active Active
- 2019-07-11 CN CN201980059023.0A patent/CN112673396B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001078005A2 (en) * | 2000-04-11 | 2001-10-18 | Cornell Research Foundation, Inc. | System and method for three-dimensional image rendering and analysis |
US20070110290A1 (en) * | 2005-10-19 | 2007-05-17 | Siemens Corporate Research Inc. | Devices Systems and Methods for Processing Images |
US20110080168A1 (en) * | 2009-10-05 | 2011-04-07 | Siemens Aktiengesellschaft | Correction of truncations in mr imaging |
US20110142316A1 (en) * | 2009-10-29 | 2011-06-16 | Ge Wang | Tomography-Based and MRI-Based Imaging Systems |
CN101807245A (zh) * | 2010-03-02 | 2010-08-18 | 天津大学 | 基于人工神经网络的多源步态特征提取与身份识别方法 |
US20150227808A1 (en) * | 2014-02-11 | 2015-08-13 | Google Inc. | Constructing Contours from Imagery |
CN106503663A (zh) * | 2016-11-01 | 2017-03-15 | 江苏大学 | 一种基于深度学习的信号灯时长检测方法 |
Non-Patent Citations (1)
Title |
---|
DIRK BEQUÉ ET AL.: "Generic feature extraction accompanied by support vector classification: an efficient and effective way for MR image quality determination", 《ISMRM 2018》, pages 1 - 3 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116110584A (zh) * | 2023-02-23 | 2023-05-12 | 江苏万顶惠康健康科技服务有限公司 | 一种人体健康风险评估预警系统 |
CN116110584B (zh) * | 2023-02-23 | 2023-09-22 | 江苏万顶惠康健康科技服务有限公司 | 一种人体健康风险评估预警系统 |
Also Published As
Publication number | Publication date |
---|---|
US20210279891A1 (en) | 2021-09-09 |
WO2020011947A1 (en) | 2020-01-16 |
EP3821398A1 (en) | 2021-05-19 |
CN112673396B (zh) | 2024-05-14 |
US11501451B2 (en) | 2022-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111107783B (zh) | 用于计算机辅助分诊的方法和系统 | |
KR101857624B1 (ko) | 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치 | |
US10499857B1 (en) | Medical protocol change in real-time imaging | |
CN112770838B (zh) | 使用自关注深度学习进行图像增强的系统和方法 | |
KR20200095504A (ko) | 추골 골절을 식별하기 위한 3차원 의료 이미지 분석 방법 및 시스템 | |
CN111243711B (zh) | 医学成像中的特征识别 | |
WO2021186592A1 (ja) | 診断支援装置及びモデル生成装置 | |
US11257211B2 (en) | Medical image processing apparatus, medical image processing system, and medical image processing method | |
EP3618077A1 (en) | Generating metadata for trained model | |
CN114730451A (zh) | 使用纹理分析进行图像质量(iq)标准化和系统健康预测的磁共振(mr)图像伪影确定 | |
CN113180737B (zh) | 基于人工智能的卵圆孔闭合检测方法、系统、设备及介质 | |
EP3869401A1 (en) | Out-of-distribution detection of input instances to a model | |
CN111523593A (zh) | 用于分析医学影像的方法和装置 | |
CN112673396B (zh) | 检测医学成像中的对象运动 | |
CN111226287A (zh) | 用于分析医学成像数据集的方法、用于分析医学成像数据集的系统、计算机程序产品以及计算机可读介质 | |
CN114972118B (zh) | 检查图像的降噪方法、装置、可读介质和电子设备 | |
KR102472550B1 (ko) | 병변 탐지 방법, 프로그램 및 장치 | |
US11983798B2 (en) | AI-based region-of-interest masks for improved data reconstruction | |
CN112530554B (zh) | 一种扫描定位方法、装置、存储介质及电子设备 | |
US11875898B2 (en) | Automatic condition diagnosis using an attention-guided framework | |
Ramkumar et al. | Attention induced multi-head convolutional neural network organization with MobileNetv1 transfer learning and COVID-19 diagnosis using jellyfish search optimization process on chest X-ray images | |
CN111863206A (zh) | 一种图像预处理方法、装置、设备及存储介质 | |
KR102442591B1 (ko) | 라벨 생성 방법, 프로그램 및 장치 | |
KR102584250B1 (ko) | 데이터 처리 방법, 컴퓨터 프로그램 및 장치 | |
CN111417980B (zh) | 用于椎骨骨折的识别的三维医学图像分析方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |