CN107209945A - 使用机器学习的用于医学成像的转化的系统和方法 - Google Patents

使用机器学习的用于医学成像的转化的系统和方法 Download PDF

Info

Publication number
CN107209945A
CN107209945A CN201580067094.7A CN201580067094A CN107209945A CN 107209945 A CN107209945 A CN 107209945A CN 201580067094 A CN201580067094 A CN 201580067094A CN 107209945 A CN107209945 A CN 107209945A
Authority
CN
China
Prior art keywords
image
input
images
conversion
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580067094.7A
Other languages
English (en)
Inventor
L·胡
L·邵
R·F·穆梓克
K-H·苏
P·乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HOSPITALS MEDICAL GROUP I, University of
Koninklijke Philips NV
Case Western Reserve University
Original Assignee
HOSPITALS MEDICAL GROUP I, University of
Koninklijke Philips Electronics NV
Case Western Reserve University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HOSPITALS MEDICAL GROUP I, University of, Koninklijke Philips Electronics NV, Case Western Reserve University filed Critical HOSPITALS MEDICAL GROUP I, University of
Publication of CN107209945A publication Critical patent/CN107209945A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/006Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/60Image enhancement or restoration using machine learning, e.g. neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

具有一种对比度特性的图像(24)根据具有另一成像模态的对比度的医学图像而被模拟。接收具有另一对比度特性的感兴趣区域的多幅输入图像(20)。向对应的多幅输入图像(20)应用由机器学习生成的变换(22),以生成表示要被评价的医学图像(24)的对应的体素(36’)的标量值(38)或向量值(38’)。

Description

使用机器学习的用于医学成像的转化的系统和方法
技术领域
本申请总体涉及用于生成对象的医学图像的系统和方法。本申请具体结合用于将医学图像从一种图形模态转化成与第一图像模态不同的第二图像模态的系统和方法应用,并且将具体参考其进行描述。然而,应当理解,本申请还应用于其他使用场景,而不必限于前述应用。
背景技术
在混合成像系统中,使用两种不同的成像模态来定位或测量在共同的目标空间中的不同组成成分。在一个范例中,诸如计算机断层摄影(CT)扫描器和磁共振(MR)扫描器的两种成像扫描器能够被用于创建身体内的内部结构(例如,骨、脊柱等)和软组织结构(例如,脑、脉管系统、关节等)的图像。在另一范例中,诸如正电子发射断层摄影(PET)或单光子发射计算机断层摄影(SPECT)的核扫描器与成像扫描器相耦合,并且能够用于创建指示身体的组织内的代谢活动和生化过程的功能图像。
有时,能够仅从一种模态获得图像。转化一种图像模态的图像以模拟另一模态的图像可以是有利的。例如,将MR解剖图像转化成CT衰减图像以将其与更早的CT图像进行比较能够是有利的。在另一范例中,MR图像能够被转换成类似CT的衰减图像以用于PET图像重建中的衰减校正。另一临床范例是根据一幅或多幅MR图像来生成图像(例如,伪荧光透视脱氧葡萄糖(FDG/PET)图像、具有背景体信号抑制的扩散加权的全身图像(DWIBS)等),这能够潜在地减少对象在辐射中的暴露而不对诊断置信度进行妥协。在计算机辅助诊断的领域中,多参数图像能够被转化成病变的潜在的病理学,这能够用于帮助对象管理。
即使迫切需要建立跨不同医学成像模态的相关性,但是出于一种或多种原因,使用常规的或分析方法来实现这样的转化是一种挑战。首先,医学图像易受噪声影响,这能够取决于对象的具体解剖结构和成像物理学而变化。第二,通常在不同的成像对比度和模态之间没有1对1的转换关系。例如,空气和骨两者都具有非常接近于背景噪声的MR信号的MR信号,而在CT成像中,空气具有几乎为零的衰减而骨具有非常高的衰减。第三,应用于这样的转化的一种情况的转化处理器可能归因于不同成像模态的不同成像物理学而不能应用于不同的应用。目前的技术经受模糊和错误。
本申请提供了克服上述问题和其他问题的新的且经改进的系统和方法。
本公开通过基于机器学习方法提供对于图像对比度转换的普遍适用的解决方案而解决了这些限制。例如,本公开提供了具有变换处理器的系统和方法,其通过提供向量到标量的映射过程或向量到向量的映射过程来解决成像对比度转化(即,非1对1映射)的劣化。本公开还提供了具有变换处理器的系统和方法,其使用输入图像、离开图像、和/或其他基本对象信息来训练其自身并建立数据库作为先验知识。另外,本公开还使用具有机器学习处理器的系统和方法来预测向量到标量的转换关系以用于目标图像和/或数据生成。
发明内容
根据一个方面,提供了一种用于生成医学图像的方法。所述方法包括接收感兴趣区域的多幅输入图像。每幅输入图像具有不同的特性。变换被应用于所述多幅输入图像。根据所述多幅输入图像生成目标图像。所述目标图像的特性不同于所述输入图像的特性。
一个优点在于更加准确的图像转化。
另一优点在于迅速、自动的转化。
另一优点在于解决了成像对比度转化的劣化。
另一优点在于使用机器学习来优化和细化模态间转化算法。
本领域普通技术人员在阅读和理解了以下详细描述之后将认识到本发明的其他优点。
附图说明
本发明可以采取各种部件和各部件的布置以及各个步骤和各步骤的安排的形式。附图仅出于图示优选实施例的目的,并且不应被解释为限制本发明。
图1是图示根据本公开内容的一方面的输入图像到目标图像的对比度转化的示范性流程图;
图2是被配置为执行图1的方法的装置的示意性图示;
图3A-3B是变换特性的图解性图示;
图4是图示根据本公开内容的另一方面的变换处理器的训练的示范性流程图;
图5是用于训练图4的变换的系统的示意性图示;
图6是用于根据一系列输入图像生成多幅目标图像的系统的图解性图示;
图7是用于训练支持向量机器算法以将多幅磁共振图像转化成CT图像的系统的图解性图示;
图8是用于使用由图6的系统训练的算法将感兴趣区域的五幅图像转换成模拟的CT图像的系统的图解性图示;
图9是使用经训练的机器学习算法来预测目标图像的系统的图解性图示;
图10是用于训练图9的机器学习算法的分布式系统。
具体实施方式
本申请涉及用于生成和使用一个或多个目标组织的医学图像的系统和方法。如在本文中所使用的,术语“目标组织”指的是期望其医学图像的任何期望的组织(例如,脑部、心脏、肺部、肾脏、肝脏、胰腺、一个或多个骨等)。如在下文中更加详细地讨论的,本公开内容的系统和方法提供了基于机器学习方法的图像对比度转化。有利地,本公开内容的系统和方法提供了处理器,所述处理器:(1)通过提供向量到标量的映射过程或向量到向量的映射过程来解决成像对比度转化(非1对1映射)的劣化;(2)使用离开图像和其他基本对象信息来训练处理器并建立大数据的数据库作为先验知识;并且(3)预测向量到标量的转换关系以用于目标图像/数据生成。如在本文中所使用的,术语“对象”及其变体指的是拍摄其图像的有机体(例如,患者、实验动物等)。
参考图1和图2,提供了一种用于生成一幅或多幅医学图像的方法10。方法10包括以下步骤:获得目标的多幅输入图像20,在所述多幅输入图像20中,每幅图像具有不同的特性(步骤12);向所述多幅输入图像应用经训练的或未经训练的机器学习算法变换22(步骤14);并且根据所述多幅输入图像生成至少一幅目标输出图像24(步骤16)。
在步骤12处,获得候选对象的目标区域的多幅输入图像20。所述多幅输入图像20被包括在输入的族26中。在一些范例中,所述输入的族26包括k幅输入图像,其中,k是复整数(例如,k=10)。在一个实施例中,所述多幅图像20全部是使用以不同方式操作的一种类型的诊断成像扫描器28而获得的,以生成具有不同特性的图像。在另一实施例中,从两种或更多种类型的扫描器获得输入图像20。例如,扫描器28选自包括以下的已知的医学成像系统的组:MR、CT、超声、X射线、放射成像、核医学(例如,PET、SPECT等)、弹性成像、触觉成像、光声成像、热成像、超声心动摄影、功能性近红外光谱等。
输入的族26中的每幅输入图像20具有不同的特性。在一些实施例中,当扫描器28是MR扫描器时,输入的族26包括具有不同参数(例如,多参数图像的参数)的图像。例如,输入图像20能够包括超短回波时间图像、狄克逊脂肪图像、狄克逊水图像、质子密度MR图像、谱MR图像、动态对比增强MR、扩散加权的MR图像等。输入图像中的每幅具有不同的对比度特性。在另一范例中,输入的族26能够包括从输入图像20导出的图像(例如,具有空间和纹理相似性的图像)。所述图像能够被存储在存储器30中,例如,对象数据库、或作为对象的病历的部分。
在一些范例中,输入的族26包括对象的一个或多个非图像输入31,以使总输入达到n,其中,n是复整数。对象信息非图像输入31包括与被成像的对象有关的信息。例如,非图像输入31能够包括对象的姓名、医学指示、性别、体重指数、相关血液标记、身高、体重、年龄、体脂百分比、疾病存在、生活质量、各种历史医学测量结果(例如,实验室测试结果)、收缩/舒张血压、脉搏率、呼吸率、诊断结果、过去的医学介入、植入物、拍照、视频、遗传信息、家族史等。在另一范例中,非图像医学输入31能够包括从输入图像20导出的值。医学输入31能够从对象数据库存储器30获得。
在步骤14处,变换处理器32向多幅输入图像20应用变换22。参考图3A-3B,输入图像20能够在单个成像期中由同一扫描器28生成。在一些实例中,输入图像20包括MR图像。例如,输入图像20包括超短回波时间图像、狄克逊脂肪图像、狄克逊水图像、常规MR图像、谱MR图像、动态对比增强MR、扩散加权的MR图像等。这些图像20的体素传达不同的信息。变换处理器32包括向量映射处理器(例如,向量到标量映射处理器、向量到向量映射处理器等)、计算机程序等34,其收集k幅输入图像20并查看每幅输入图像20中对应的体素36。在一个范例中,利用向量到标量映射处理器34、每个对应的体素的值、k幅输入图像20、以及对象信息输入32来形成“n×1”向量。变换处理器32利用变换22在每个“n×1”向量上操作,以生成表示目标输出图像的对应体素36’的标量值38。在另一范例中,利用向量到向量映射处理器34、每个对应的体素的值、k幅输入图像20、以及对象信息输入32来形成“n×m”向量。变换处理器32利用变换22在每个“n×m”向量上操作,以生成表示目标输出图像的对应体素36’的标量值38’。
如在下文中更加详细地描述的,变换22是使用机器学习技术来生成的。向量能够由经训练的机器训练算法来变换。在一个实施例中,临床医生改变(例如,校正)目标图像,并且变化被用于细化对机器学习算法的训练。在另一实施例中,每个向量被输入到由经训练的机器学习算法生成的预计算的查找表中。
参考图4和图5,变换22是使用根据方法50的数据挖掘和机器学习来生成的。大的对象记录数据库(例如,对象存储信息系统30)包含许多对象的图像,例如,具有追溯到数年的图像的医院逐系统数据库、来自国家收集的图像的存储库、来自保险公司的图像的集合等。在步骤52处,选择要被模拟的具有目标感兴趣区域(ROI)(例如,具有像素或体素)的目标输出图像124(例如,CT衰减图像)的对象。所选择的对象被进一步限制为也具有来自另一源的其他候选图像120和/或具有不同特性(例如,MR、UTE、狄克逊脂肪、狄克逊水等)的图像的对象(步骤54)。针对每个对象,其他候选图像120的对应的体素136被形成为向量134。生成针对多个对象中的每个的每个对应的体素136的向量134(步骤56)。向量134被创建使得所有向量元素表示相同的特性。例如,每个向量134的第一元素能够是对应的体素的MR、UTE值,第二元素能够是狄克逊脂肪值,第三元素能够是狄克逊水值等。由于所有选择的对象可能不都具有相同的其他源图像120,因此一些对象的一些向量元素可以是未定义的。具有要被模拟的选择的目标输出图像124的对应的标量值或向量值138的每个向量134被用作到机器学习算法122的输入(步骤56),所述机器学习算法在许多对象上迭代地或非迭代地发展变换。机器学习算法122能够包括任何已知的机器学习算法(例如,监督的学习、非监督的学习、半监督的学习、转导、强化学习、学会学习、发展学习等)。在一个实施例中,迭代过程(例如,试验和错误)确定哪些向量元素(即,对应的其他源)对唯一的变换没有贡献并消除那些输入126。预期到各种学习技术,例如,支持向量机、神经网络、归纳逻辑程序设计、聚类、关联规则学习、贝叶斯网络、强化学习、表示学习、相似性学习、稀疏字典学习等。针对其他ROI、要被模拟的其他目标输出图像124等重复该过程。在另一实施例中,第二输入131中的一个或多个被添加为向量元素。
在另一范例中,仅使用其他源图像120的有限组群。例如,如果MR到CT的图像变换32是要被发展的,则向量元素和其他源图像被限制到MR输入。以上过程50然后确定MR候选图像120的(哪个或哪些)集合定义到CT值的唯一且明确的变换。在成像期中定义要采取MR图像的(一个或多个)集合的MR图像协议。
在另一实施例中,候选图像120的一些集合在大多数时间产生校正结果,但是在一些极值处具有一个或多个模糊结果。针对每个集合的置信度值被计算以指示该集合产生唯一且明确的输出图像124的时间的百分比。
当然,将对象的输入图像20变换成模拟的输出图像36的处理器32和通过数据挖掘许多对象的先前图像来生成变换的处理器132能够被实施在单独的、不相关的系统中。
在步骤18处,根据输入图像20来对输出目标图像24进行变换。在图6的实施例中,根据输入图像20的族来生成输出图像24’的族。输入图像的族包括输入候选图像20,并且输出图像的族24’包括一幅或多幅目标输出图像24’。图像24’包括选自第二图像模态组的目标图像20,所述第二图像模态组包括:MR、CT、超声、X射线、放射成像、核医学、弹性成像、触觉成像、光声成像、热成像、超声心动描记、以及功能性近红外光谱。将意识到,能够生成其他医学输出目标图像,变换22’或多个变换将每个向量34变换成多个标量38’,每个标量表示输出成像器24’的一个中的对应的体素。
图7和图8表示该技术的特定应用,尤其是MR图像到CT衰减图像的变换。首先参考图7,针对具有感兴趣区域(尤其是头部)的CT图像和MR图像(尤其是T1图像、UTE、狄克逊脂肪图像、狄克逊水图像、以及T2(或T2*)加权图像)的对象来搜索对象记录数据库。针对五幅MR图像20MR的对应的体素的亨氏值和针对CT图像24CT的对应的体素的亨氏值被识别出。如所示,MR图像的对应的体素被形成为5×1的向量34MR。将意识到,可能存在多于5个的输入或少于5个的输入,其能够包括来自每行中的邻近像素的值。读出CT亨氏值表示对应的标量38CT。5×1的向量和亨氏值被用作输入数据集以训练支持向量机算法22SVM。针对图像的对应的体素中的每个的对应的向量和亨氏值标量被同样地用作训练数据集。优选地,利用多个对象的对应的MR图像和CT图像来重复训练过程。理想地,训练过程被重复直到支持向量机稳定,这可能是在数百或更多的输入数据集之后。
参考图8,一旦已经训练了支持向量机算法22,就在磁共振扫描器中对新的对象进行成像。对于该范例更具体地,利用成像协议对对象进行成像,所述成像协议包括生成T1加权图像、UTE图像、狄克逊脂肪图像、狄克逊水图像、以及T2(或T2*)加权图像。每幅图像的对应的体素被形成为五维向量34MR,所述五维向量34MR被输入到经训练的支持向量机22SVM中。将意识到,可能存在多于5个的输入或少于5个的输入,其能够包括来自每行中的邻近像素的值。支持向量机22SVM基于其先前的训练来预测针对要被模拟或合成的CT图像24CT的对应的体素的标量亨氏值38CT。类似地,针对输入MR图像20MR的所有对应体素形成向量34MR。支持向量机22SVM生成针对被组装成输出CT图像24CT的每个体素的对应的亨氏值。
参考图9,图像生成系统100包括具有用户接口62的工作站60,通过所述用户接口62,操作者输入命令以使得从对象存储器30检索输入图像的集合或从一个或多个扫描器28直接检索输入对象的集合。检索到的输入图像被传送到变换处理器32,其中所述输入图像被临时存储在存储器64中。向量处理器34根据输入图像中的每幅的对应的像素形成向量,并且经训练的机器学习算法22预测针对输出图像的对应的像素的对应值的标量体素值。通信模块66将每个体素值传送到存储器64,在所述存储器64中,经由无线网络106(例如,互联网、内联网、无线网络等)组装输出图像。存储器能够处于工作站60、变换处理器32或对象信息存储器30中。工作站60包括显示器68,在所述显示器68上显示输出图像。任选地,输入图像和其他对象信息也被显示。操作者能够使用用户输入62来将输出图像、输入图像、其他医学信息、诊断结果、推荐的处置等配置到医学记录中,以便存储在对象信息系统30中。
参考图10,图像生成系统100包括工作站160,所述工作站160用于控制用于教导机器学习算法122的过程。工作站具有用户接口162,在所述用户接口162中,用户向变换处理器132输入指令,尤其是数据挖掘过程或例程170,其针对具有利用不同的成像模态采取的感兴趣区域的图像的对象搜索或数据挖掘对象信息存储器30。在一些范例中,数据挖掘处理器170能够对输入图像20和/或非图像输入31的功能进行定位,包括特征提取和导出(例如,空间信息、纹理等)。机器学习处理器172根据检索到的图像的对应的像素来形成向量,并根据检索到的目标图像的对应的体素来形成标量。向量和对应的标量被用于训练机器学习算法122。针对多个对象的多个图像集的多个体素重复训练过程,直到机器学习算法122被训练。工作站160包括存储器164和用于与通信网络106通信的通信单元166。工作站160还包括显示器168,在所述显示器168上显示输入和目标图像。在一些实施例中,操作者提供指导对机器学习算法122的教导的输入,使得机器学习算法122更加快速地稳定。为了保持过程匿名并为了遵守HIPAA规则,对特定对象的识别既不从存储器30取回也不显示在显示器168上。
图像生成系统100能够包括图像生成系统的现有技术中已知的部件。在一个范例中,变换处理器和对象存储信息系统中的每个包括存储器。如在本文中所使用的,存储器包括下列中的一个或多个:非瞬态计算机可读介质;磁盘或其他磁存储介质;光盘或其他光学存储介质;随机存取存储器(RAM)、只读存储器(ROM)或其他电子存储设备或芯片或可操作地互连的芯片的集合。如在本文中所使用的,通信网络包括互联网/内联网服务器,可以经由互联网/内联网或局域网从该互联网/内联网服务器取回存储的指令等。另外,如在本文中所使用的,变换处理器包括微处理器、微控制器、图形处理单元(GPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等中的一个或多个。在另外的范例中,用户输入设备包括鼠标、键盘、触摸屏显示器、一个或多个按钮、一个或多个开关、一个或多个扳钮开关等等中的一个或多个。在另一范例中,数据库包括一个或多个存储器。例如,对象信息系统是存储候选图像的放射信息系统(RIS)和/或图片存档及通信系统(PACS)。在另外的范例中,显示器包括LCD显示器、LED显示器、等离子显示器、投影显示器、触屏显示器等中的一个或多个,包括这些显示器的3D能力版本。在另外的范例中,显示器、变换处理器、以及对象存储信息系统30中的每个包括通信单元和/或至少一个系统总线。通信单元提供具有到至少一个通信网络(例如,无线网络106)的接口的对应的处理器。系统总线允许在部件的子部件之间的交换。子部件包括处理器、存储器、传感器、显示设备、通信单元等。
已经参考优选的实施例描述了本发明。本领域技术人员通过阅读和理解前述的详细描述,可以想到各种修改和变型。旨在将本发明解释为包括所有这样的修改和替代,只要它们落入权利要求书及其等价方案的范围之内。

Claims (20)

1.一种用于生成至少一幅图像的方法(10),所述方法包括:
接收(12)感兴趣区域的多幅输入图像(20),每幅输入图像(20)具有不同的特性;
向所述多幅输入图像(20)应用(14)变换(22);并且
根据所述多幅输入图像(20)来生成(16)至少一幅目标图像(24),所述目标图像的特性与所述输入图像的特性是不同的。
2.根据权利要求1所述的方法,其中,向所述多幅输入图像(20)应用(14)所述变换(22)包括:
a)识别所述输入图像(20)中的每幅与所述目标图像(24)中的对应的体素(36);
b)将所述输入图像(20)的识别出的体素(36)形成为向量(34);
c)将所述向量变换(22)成所述目标图像(24)的所述对应的体素(36)的标量值(38)或向量值(38’);并且
d)针对多个体素重复步骤a)-c)。
3.根据权利要求1和2中的任一项所述的方法,其中:
接收所述多幅输入图像(20)包括接收具有不同的对比度特性的多幅MR图像(20);并且
所生成的目标图像(36)包括衰减图像。
4.根据权利要求1-3中的任一项所述的方法,其中,所述多幅输入图像(20)包括:
T1加权图像、超短回波时间图像、狄克逊脂肪图像、以及狄克逊水图像。
5.根据权利要求1-4中的任一项所述的方法,还包括:
向所述变换(22)提供非图像输入(31),所述非图像输入(31)选自包括以下项的组:姓名、照片、影片、遗传信息、家族史、医学指征、性别、体重指数、相关的血液标记、身高、体重、年龄、体脂百分比、疾病存在、生活质量、诸如实验室测试结果的各种历史医学测量结果、收缩/舒张血压、脉搏率、呼吸率、诊断结果、过去的医学介入、以及植入物。
6.根据权利要求1-5中的任一项所述的方法,还包括:
计算所生成的输出图像(24)的置信度值。
7.根据权利要求1-6中的任一项所述的方法,其中,所述变换(22)是利用机器学习处理器(42)生成的。
8.根据权利要求1-7中的任一项所述的方法,还包括:
接收输入的族,所述输入的族包括多幅候选图像(20);并且
根据所述输入的族来生成输出的族(24’);
其中,所述输入的族和输出图像的族包括选自包括以下项的组的图像:MR、超声、X射线、放射成像、核医学、弹性成像、触觉成像、光声成像、热成像、超声心动描记、功能性近红外光谱学、以及CT。
9.根据权利要求1-8中的任一项所述的方法,还包括:
利用从对象信息存储数据库检索的多幅候选图像(120)和对应的目标图像(124)来训练所述变换(22)。
10.根据权利要求1-9中的任一项所述的方法,还包括:
利用数据挖掘处理器(170)通过对对象信息数据库进行数据挖掘来训练所述变换(22)以搜索和识别选定的图像,并且使用人工智能处理器使用人工智能来根据所述选定的图像训练所述变换。
11.一种图像生成系统(100),包括:
变换处理器(32),其被编程为:
接收(12)感兴趣区域的多幅输入图像(20),每幅输入图像(20)具有不同的特性;
向所述多幅输入图像(20)应用(14)变换(22);并且
根据所述多幅输入图像(20)生成(16)至少一幅目标图像(24),所述目标图像的特性与所述输入图像的特性是不同的;
显示器(68),其被配置为至少显示所生成的目标图像;以及
存储器(30),其被配置为存储所生成的目标图像。
12.根据权利要求11所述的图像生成系统,其中,所述变换处理器(32)还被编程为根据所述输入来生成输出的族(38’);并且其中,所述输入图像和所述输出图像选自包括以下项的组:MR、CT、超声、X射线、放射成像、核医学、弹性成像、触觉成像、光声成像、热成像、超声心动描记、以及功能性近红外光谱学。
13.根据权利要求11和12中的任一项所述的图像生成系统,其中,所述变换处理器(32)还包括向量处理器(34),所述向量处理器将所述输入图像的对应的体素转换成向量,并且所述变换(22)包括经训练的机器学习处理器(32),所述经训练的机器学习处理器将每个向量变换成所述输出图像(24)的对应的体素的标量值或向量值(138)。
14.根据权利要求11-13中的任一项所述的图像生成系统,其中,所述变换处理器(132)还包括以下中的至少一个:
数据挖掘处理器(170),其被编程为搜索和识别和选择多个对象中的每个对象的共同区域的对应的候选图像(20)和目标图像;以及
机器学习处理器(32),其被编程为被训练为将所述候选图像的对应的体素转化成所述目标图像的对应的体素。
15.根据权利要求11-14中的任一项所述的图像生成系统,其中,所述变换处理器(32)被编程为通过以下来向所述多幅输入图像(20)应用所述变换(22):
a)识别所述输入图像(20)中的每幅与所述目标图像(36)中的对应的体素;
b)将所述输入图像(20)的识别出的体素(36’)形成为向量;
c)将所述向量变换成所述目标图像(36)的所述对应的体素(36’)的标量值(38);并且
d)针对多个体素重复步骤a)-c)。
16.一种图像生成系统(100),包括用于以下的单元(32):
接收感兴趣区域的多幅输入图像(20),每幅输入图像(20)具有不同的特性;
利用多幅候选图像(20)和检索到的对应的目标图像(124)来训练变换(22);
向所述多幅输入图像(20)应用经训练的变换(22);并且
根据所述多幅输入图像(20)生成(16)至少一幅目标图像(24),所述目标图像的特性与所述输入图像的特性是不同的。
17.根据权利要求16所述的图像生成系统,其中,所述单元被编程为根据输入的族生成输出的族;并且其中,所述输入的族和所述输出的族是选自包括以下项的组的不同的图像模态(24、36)的图像:MR、CT、超声、X射线、放射成像、核医学、弹性成像、触觉成像、光声成像、热成像、超声心动描记、以及功能性近红外光谱。
18.根据权利要求16和17中的任一项所述的图像生成系统,还包括向量到标量映射单元(22)。
19.根据权利要求16-19中的任一项所述的图像生成系统,还包括以下中的至少一个:
数据挖掘模块(170),其用于识别和选择感兴趣区域的对应的候选图像(120)和目标图像(124);以及
机器学习模块(172),其用于选择针对多幅所述候选图像(120)的以及所述目标图像(124)中的一幅的对应的体素并且利用所述对应的体素来训练机器学习算法(122)。
20.一种非瞬态计算机可读介质,其承载有软件以控制处理器(104)并执行根据权利要求1-10中的任一项所述的方法。
CN201580067094.7A 2014-12-10 2015-11-20 使用机器学习的用于医学成像的转化的系统和方法 Pending CN107209945A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462090051P 2014-12-10 2014-12-10
US62/090,051 2014-12-10
PCT/IB2015/058995 WO2016092394A1 (en) 2014-12-10 2015-11-20 Systems and methods for translation of medical imaging using machine learning

Publications (1)

Publication Number Publication Date
CN107209945A true CN107209945A (zh) 2017-09-26

Family

ID=54838382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580067094.7A Pending CN107209945A (zh) 2014-12-10 2015-11-20 使用机器学习的用于医学成像的转化的系统和方法

Country Status (5)

Country Link
US (1) US10438380B2 (zh)
EP (1) EP3230954A1 (zh)
JP (2) JP2018505705A (zh)
CN (1) CN107209945A (zh)
WO (1) WO2016092394A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110326024A (zh) * 2017-02-21 2019-10-11 株式会社高永科技 用于处理由医学成像装置捕获的组织学图像的方法和装置
CN111492406A (zh) * 2017-10-11 2020-08-04 通用电气公司 使用机器学习的图像生成
CN111629669A (zh) * 2017-11-08 2020-09-04 弗劳恩霍夫应用研究促进协会 超声图像生成系统
CN112423668A (zh) * 2018-06-08 2021-02-26 Ka影像公司 用于确定多能量x射线成像设备的虚拟输出的方法和系统
CN112639890A (zh) * 2018-08-21 2021-04-09 皇家飞利浦有限公司 通过机器学习模型对特征评价的显著视觉解释
CN112789659A (zh) * 2018-10-02 2021-05-11 皇家飞利浦有限公司 伪放射摄影图像根据光学图像的生成

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016113963A1 (ja) * 2015-01-15 2016-07-21 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
GB201615051D0 (en) * 2016-09-05 2016-10-19 Kheiron Medical Tech Ltd Multi-modal medical image procesing
WO2018048507A1 (en) * 2016-09-06 2018-03-15 Han Xiao Neural network for generating synthetic medical images
KR102026707B1 (ko) * 2017-03-17 2019-09-30 엄상호 스마트폰을 이용한 임플란트 픽스쳐 자동 검색 및 드라이버 제안 방법
US20200058391A1 (en) * 2017-05-05 2020-02-20 Koninklijke Philips N.V. Dynamic system for delivering finding-based relevant clinical context in image interpretation environment
US10346974B2 (en) * 2017-05-18 2019-07-09 Toshiba Medical Systems Corporation Apparatus and method for medical image processing
JP7324195B2 (ja) 2017-10-23 2023-08-09 コーニンクレッカ フィリップス エヌ ヴェ ディープイメージングを使用したポジトロンエミッショントモグラフィシステム設計の最適化
US10452955B2 (en) * 2018-01-15 2019-10-22 Gyrfalcon Technology Inc. System and method for encoding data in an image/video recognition integrated circuit solution
US11100632B2 (en) * 2018-04-13 2021-08-24 Elekta, Inc. Image synthesis using adversarial networks such as for radiation therapy
US11501438B2 (en) 2018-04-26 2022-11-15 Elekta, Inc. Cone-beam CT image enhancement using generative adversarial networks
US11497478B2 (en) 2018-05-21 2022-11-15 Siemens Medical Solutions Usa, Inc. Tuned medical ultrasound imaging
EP3572822B1 (en) * 2018-05-23 2022-03-09 RaySearch Laboratories AB Medical image conversion
US11978557B2 (en) * 2018-09-12 2024-05-07 Splink, Inc. Diagnosis support system and method
JP7129869B2 (ja) 2018-10-01 2022-09-02 富士フイルム株式会社 疾患領域抽出装置、方法及びプログラム
JP7098498B2 (ja) 2018-10-01 2022-07-11 富士フイルム株式会社 疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム
EP3649955A1 (en) * 2018-11-07 2020-05-13 Koninklijke Philips N.V. Deep learning based spectral bolus tracking
KR102183045B1 (ko) * 2019-03-06 2020-11-25 고려대학교 산학협력단 자동화된 치과용 임플란트 식별시스템 및 자동화된 임플란트 주변골 소실량 산출시스템
US11398026B2 (en) 2019-03-28 2022-07-26 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for synthetic medical image generation
US11010938B2 (en) * 2019-04-03 2021-05-18 Uih America, Inc. Systems and methods for positron emission tomography image reconstruction
JP7269778B2 (ja) * 2019-04-04 2023-05-09 富士フイルムヘルスケア株式会社 超音波撮像装置、および、画像処理装置
US11921182B2 (en) * 2019-04-25 2024-03-05 Insightec Ltd. Accelerated magnetic resonance thermometry
WO2021060462A1 (ja) * 2019-09-27 2021-04-01 富士フイルム株式会社 画像処理装置、方法およびプログラム、学習装置、方法およびプログラム、並びに導出モデル
JP7170897B2 (ja) * 2019-09-30 2022-11-14 富士フイルム株式会社 学習装置、方法およびプログラム、画像生成装置、方法およびプログラム、並びに画像生成モデル
US11200669B2 (en) * 2019-11-19 2021-12-14 Uih America, Inc. Systems and methods for determining plasma input function used in positron emission tomography imaging
JP7483361B2 (ja) * 2019-12-06 2024-05-15 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像診断装置および医用画像処理プログラム
WO2022054711A1 (ja) * 2020-09-10 2022-03-17 株式会社Splink コンピュータプログラム、情報処理装置、端末装置、情報処理方法、学習済みモデル生成方法及び画像出力装置
EP4287114A1 (en) * 2021-01-26 2023-12-06 FUJIFILM Corporation Learned model generation method, machine learning system, program, and medical image processing device
JPWO2023054089A1 (zh) * 2021-10-01 2023-04-06
WO2023069524A1 (en) * 2021-10-19 2023-04-27 PaxeraHealth Corp High-definition labeling system for medical imaging ai algorithms

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101068498A (zh) * 2004-10-04 2007-11-07 旗帜健康公司 链接来自多模态数据集的图案的方法
CN101410869A (zh) * 2006-03-28 2009-04-15 皇家飞利浦电子股份有限公司 医学成像中感兴趣区域的识别和可视化
CN101926646A (zh) * 2003-07-01 2010-12-29 卡迪尔马格成像公司 使用机器学习来进行心磁图分类
US20110286649A1 (en) * 2010-05-20 2011-11-24 Siemens Corporation Generating pseudo-ct image volumes from ultra-short echo time mr
CN102883660A (zh) * 2010-09-20 2013-01-16 德克萨斯州大学系统董事会 高级多媒体结构化报告
US20130039558A1 (en) * 2011-08-11 2013-02-14 The Regents Of The University Of Michigan Patient modeling from multispectral input image volumes
US20140161338A1 (en) * 2012-12-10 2014-06-12 The Cleveland Clinic Foundation Image fusion with automated compensation for brain deformation

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5793888A (en) * 1994-11-14 1998-08-11 Massachusetts Institute Of Technology Machine learning apparatus and method for image searching
JP3254451B2 (ja) * 2000-03-06 2002-02-04 経済産業省産業技術総合研究所長 多チャンネルmri画像処理によるカラー化方法及び装置
US7024033B2 (en) 2001-12-08 2006-04-04 Microsoft Corp. Method for boosting the performance of machine-learning classifiers
EP2052355A2 (en) * 2006-08-11 2009-04-29 Koninklijke Philips Electronics N.V. Methods and apparatus to integrate systematic data scaling into genetic algorithm-based feature subset selection
US7949173B2 (en) 2006-10-06 2011-05-24 Siemens Corporation Method and system for regression-based object detection in medical images
JP4683031B2 (ja) * 2007-10-17 2011-05-11 ソニー株式会社 電子機器、コンテンツ分類方法及びそのプログラム
BRPI0821291B1 (pt) * 2007-12-21 2020-10-06 Koninklijke Philips N. V Método que compreende armazenar uma pluralidade de ocorrências, sistema que compreende uma memória armazenando uma pluralidade de ocorrências e sistema que compreende recursos para armazenar uma pluralidade de ocorrências
JP5186278B2 (ja) * 2008-05-14 2013-04-17 アズビル株式会社 外れ値検出方法、外れ値検出装置およびプログラム
JP5038995B2 (ja) * 2008-08-25 2012-10-03 株式会社東芝 声質変換装置及び方法、音声合成装置及び方法
GB201012519D0 (en) * 2010-07-26 2010-09-08 Ucl Business Plc Method and system for anomaly detection in data sets

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101926646A (zh) * 2003-07-01 2010-12-29 卡迪尔马格成像公司 使用机器学习来进行心磁图分类
CN101068498A (zh) * 2004-10-04 2007-11-07 旗帜健康公司 链接来自多模态数据集的图案的方法
CN101410869A (zh) * 2006-03-28 2009-04-15 皇家飞利浦电子股份有限公司 医学成像中感兴趣区域的识别和可视化
US20110286649A1 (en) * 2010-05-20 2011-11-24 Siemens Corporation Generating pseudo-ct image volumes from ultra-short echo time mr
CN102883660A (zh) * 2010-09-20 2013-01-16 德克萨斯州大学系统董事会 高级多媒体结构化报告
US20130039558A1 (en) * 2011-08-11 2013-02-14 The Regents Of The University Of Michigan Patient modeling from multispectral input image volumes
US20140161338A1 (en) * 2012-12-10 2014-06-12 The Cleveland Clinic Foundation Image fusion with automated compensation for brain deformation

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110326024A (zh) * 2017-02-21 2019-10-11 株式会社高永科技 用于处理由医学成像装置捕获的组织学图像的方法和装置
CN111492406A (zh) * 2017-10-11 2020-08-04 通用电气公司 使用机器学习的图像生成
CN111492406B (zh) * 2017-10-11 2023-12-22 通用电气公司 训练机器学习算法的方法、图像处理系统和图像重建方法
CN111629669A (zh) * 2017-11-08 2020-09-04 弗劳恩霍夫应用研究促进协会 超声图像生成系统
CN112423668A (zh) * 2018-06-08 2021-02-26 Ka影像公司 用于确定多能量x射线成像设备的虚拟输出的方法和系统
CN112639890A (zh) * 2018-08-21 2021-04-09 皇家飞利浦有限公司 通过机器学习模型对特征评价的显著视觉解释
CN112789659A (zh) * 2018-10-02 2021-05-11 皇家飞利浦有限公司 伪放射摄影图像根据光学图像的生成

Also Published As

Publication number Publication date
JP2022025095A (ja) 2022-02-09
JP2018505705A (ja) 2018-03-01
EP3230954A1 (en) 2017-10-18
WO2016092394A1 (en) 2016-06-16
US20170372497A1 (en) 2017-12-28
US10438380B2 (en) 2019-10-08

Similar Documents

Publication Publication Date Title
CN107209945A (zh) 使用机器学习的用于医学成像的转化的系统和方法
US10489907B2 (en) Artifact identification and/or correction for medical imaging
US9892361B2 (en) Method and system for cross-domain synthesis of medical images using contextual deep network
US20190139236A1 (en) Method and system for processing multi-modality image
US9014485B2 (en) Image reporting method
CN110047056A (zh) 用深度图像到图像网络和对抗网络的跨域图像分析和合成
Arafati et al. Artificial intelligence in pediatric and adult congenital cardiac MRI: an unmet clinical need
CN110473203A (zh) 医学图像分割
EP3714461A1 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
US9336457B2 (en) Adaptive anatomical region prediction
Mazzanti et al. Imaging, health record, and artificial intelligence: hype or hope?
US11893729B2 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
EP3705047A1 (en) Artificial intelligence-based material decomposition in medical imaging
CN106462661A (zh) 用于自动选择针对医学研究的悬挂协议的系统和相关方法
US20130191099A1 (en) Process for generating a computer-accessible medium including information on the functioning of a joint
JP2021140769A (ja) 医用情報処理装置、医用情報処理方法及び医用情報処理プログラム
Pandey et al. Cerebrovis: Designing an abstract yet spatially contextualized cerebral artery network visualization
JP7007469B2 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
WO2023223060A1 (en) Method for training a system adapted for aiding evaluation of a medical image
WO2021052552A1 (en) Training a machine learning algorithm using digitally reconstructed radiographs
Balashova et al. 3D organ shape reconstruction from Topogram images
EP3965117A1 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
WO2021187483A1 (ja) 文書作成支援装置、方法およびプログラム
Lalitha et al. Medical imaging modalities and different image processing techniques: State of the art review
Ratnaparkhi et al. Ensembling mitigates scanner effects in deep learning medical image segmentation with deep-U-Nets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination