CN112508086A - 用于对医学图像进行分类的系统和方法 - Google Patents

用于对医学图像进行分类的系统和方法 Download PDF

Info

Publication number
CN112508086A
CN112508086A CN202011407822.3A CN202011407822A CN112508086A CN 112508086 A CN112508086 A CN 112508086A CN 202011407822 A CN202011407822 A CN 202011407822A CN 112508086 A CN112508086 A CN 112508086A
Authority
CN
China
Prior art keywords
image
likelihood
training
medical image
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011407822.3A
Other languages
English (en)
Inventor
孙善辉
陈章
陈德仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Publication of CN112508086A publication Critical patent/CN112508086A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了用于对图像进行分类的方法和系统。例如，一种方法包括：将医学图像输入到识别模型中，该识别模型被配置为：当输入有正常图像时生成基本上是高斯(Gaussian)的一个或多个属性分布，并且当输入有异常图像时生成基本上是非高斯的一个或多个属性分布；由识别模型生成与医学图像相对应的一个或多个属性分布；生成对应于样本图像与医学图像基本上匹配的似然的边缘似然，样本图像是通过由生成模型对一个或多个属性分布进行采样而生成的；以及至少通过以下步骤生成分类：如果边缘似然大于或等于预定似然阈值，则确定图像为正常的；和如果边缘似然小于预定似然阈值，则确定图像为异常的。

Description

用于对医学图像进行分类的系统和方法
技术领域
本发明的某些实施例涉及对象识别。更具体地，本发明的一些实施例被配置为对医学扫描图像进行分类。但是可以认识到，本发明具有更广泛的适用范围。
背景技术
许多医学检查涉及使用例如MR、CT和PET扫描仪的工具来对患者进行扫描，以引导诊断或治疗计划。一个常见的挑战是识别不符合质量标准的不良扫描图像，例如不提供清楚或准确信息的图像。在一个示例中，不良扫描图像可能是由于患者在扫描期间不能保持静止，例如由于未屏住呼吸而导致的。不良扫描图像通常不能用于临床决策，因此通常被丢弃和重新扫描。对患者进行重新扫描，尤其是对于需要长处理时间的成像技术，例如涉及衰减和散射校正的PET图像重建，导致效率非常低。不合乎标准的图像，有时称为异常图像，不管扫描技术如何，通常都需要由成像技术人员手动识别和丢弃，例如在将图像发送给放射科医师之前。通常，技术人员将浏览一组图像并识别异常图像，这不仅是一个缓慢的过程，而且易于出现人为错误。因此，期望用于以提高的效率和准确度识别异常医学图像的系统和方法。
发明内容
本发明的某些实施例涉及对象识别。更具体地，本发明的一些实施例提供了用于使用变分自编码器对异常医学图像进行分类的方法和系统。仅仅通过示例的方式，本发明的一些实施例被配置为对医学扫描图像进行分类。但是可以认识到，本发明具有更广泛的适用范围。
在各个实施例中，一种用于对医学图像进行分类的计算机实施的方法，包括：将医学图像输入到识别模型中，该识别模型被配置为：当输入有正常图像时生成基本上是高斯(Gaussian)的一个或多个属性分布(attribute distributions)，并且当输入有异常图像时生成基本上是非高斯的一个或多个属性分布；由识别模型生成与医学图像相对应的一个或多个属性分布；生成对应于样本图像与医学图像基本上匹配的似然(likelihood)的边缘似然(marginal likelihood)，样本图像是通过由生成模型对一个或多个属性分布进行采样而生成的；将边缘似然与预定似然阈值进行比较；以及至少通过以下步骤生成分类：如果边缘似然大于或等于预定似然阈值，则确定医学图像的分类为正常；和如果边缘似然小于预定似然阈值，则确定医学图像的分类为异常。
在各个实施例中，一种用于对医学图像进行分类的系统，包括：图像输入模块，其被配置为将医学图像输入到识别模型中，该识别模型被配置为：当输入有正常图像时生成基本上是高斯的属性分布，并且当输入有异常图像时生成基本上是非高斯的属性分布；属性分布生成模块，其被配置为由识别模型生成与医学图像相对应的一个或多个属性分布；边缘似然生成模块，其被配置为生成对应于样本图像与医学图像基本上匹配的似然的边缘似然，样本图像是通过由生成模型对一个或多个属性分布进行采样而生成的；边缘似然比较模块，其被配置为将边缘似然与预定似然阈值进行比较；以及分类生成模块，其被配置为至少通过以下方式生成分类：如果边缘似然大于或等于预定似然阈值，则确定医学图像的分类为正常，并且如果边缘似然小于预定似然阈值，则确定医学图像的分类为异常。
在各个实施例中，一种非瞬时性计算机可读介质，在其上存储有指令，当指令被处理器实行时使得处理器执行一个或多个过程，包括：将医学图像输入到识别模型中，该识别模型被配置为：当输入有正常图像时生成基本上是高斯的属性分布，并且当输入有异常图像时生成基本上是非高斯的属性分布；由识别模型生成与医学图像相对应的一个或多个属性分布；生成对应于样本图像与医学图像基本上匹配的似然的边缘似然，样本图像是通过由生成模型对一个或多个属性分布进行采样而生成的；将边缘似然与预定似然阈值进行比较；以及至少通过以下步骤生成分类：如果边缘似然大于或等于预定似然阈值，则确定医学图像的分类为正常；和如果边缘似然小于预定似然阈值，则确定医学图像的分类为异常。
根据实施例，可以实现一种或多种益处。本发明的这些益处和各种附加目的、特征和优势可以参考下面的详细描述和附图而被充分理解。
附图说明
图1是示出了根据一些实施例的用于对医学图像进行分类的系统的简化图。
图2是示出了根据一些实施例的用于对医学图像进行分类的方法的简化图。
图3是示出了根据一些实施例的用于训练对医学图像进行分类的变分自编码器的方法的简化图。
图4是示出了根据一些实施例的用于预处理图像的方法的简化图。
图5是示出了根据一些实施例的计算系统的简化图。
图6是示出了根据一些实施例的神经网络的简化图。
图7是示出了根据一些实施例的变分自编码器结构或工作流程的简化图。
图8是示出了根据一些实施例的自编码器结构或工作流程的简化图。
具体实施方式
本发明的某些实施例涉及对象识别。更具体地，本发明的一些实施例提供了用于使用变分自编码器对异常医学图像进行分类的方法和系统。仅仅通过示例的方式，本发明的一些实施例被配置为对医学扫描图像进行分类。但是可以认识到，本发明具有更广泛的适用范围。
图1是示出了根据一些实施例的用于对医学图像进行分类的系统的简化图。该图仅仅是一个示例，而不应当不适当地限制权利要求的范围。本领域的普通技术人员将会认识到许多变化、替代和修改。在一些示例中，系统10包括图像输入模块12、属性分布生成模块14、边缘似然生成模块16、边缘似然比较模块18、分类生成模块20和呈现模块22。在某些实施例中，系统10还包括分布散度确定模块24、匹配似然生成模块26、图像预处理模块28和/或训练模块30。在某些示例中，系统10被配置为实施图2的方法S100、图3的方法S200和/或图4的方法S300。尽管上面使用了一组选定的部件来进行显示，但是也可以有许多替代、修改和变化。例如，一些部件可以被扩展和/或组合。可以去除一些部件。可以将其他部件插入到上述部件。根据该实施例，部件的布置可以与其他被替换的部件进行互换。
在各个实施例中，图像输入模块12被配置为将医学图像输入到识别模型中，例如变分自编码器的识别模型。在某些示例中，医学图像是二维的。在某些示例中，医学图像是三维的。在一些示例中，识别模型是编码器。在一些示例中，识别模型被配置为当输入有正常图像(例如，分类为正常的图像)时生成基本上是高斯(例如，与高斯符合超过50％、60％、70％、80％或90％)的一个或多个属性分布，并且当输入有异常图像(例如，分类为异常的图像)时生成基本上是非高斯(例如，与高斯符合不到40％、30％、20％或10％)的一个或多个属性分布。
在各个实施例中，属性分布生成模块14被配置为由识别模型生成与医学图像相对应的一个或多个属性分布。在一些示例中，属性分布生成模块14被配置为当医学图像更可能是正常图像时，由识别模型生成基本上是高斯(例如，与高斯符合超过50％、60％、70％、80％或90％)的一个或多个属性分布，并且当医学图像更可能是异常图像(例如，分类为异常的图像)时，生成基本上是非高斯(例如，与高斯符合不到40％、30％、20％或10％)的一个或多个属性分布。
在各个实施例中，边缘似然生成模块16被配置为生成对应于样本图像与医学图像基本上匹配(例如，超过50％、60％、70％、80％或90％匹配)的似然的边缘似然。在某些示例中，样本图像通过由生成模型对与医学图像相对应的一个或多个属性分布进行采样来生成。在一些示例中，生成模型是解码器。在各个示例中，生成模型是变分自编码器的一部分。在某些示例中，生成模型是具有对角协方差矩阵的多变量高斯模型。在一些实施例中，协方差矩阵是单位矩阵。在各个示例中，边缘似然生成模块16被配置为使用蒙特卡罗(Monte-Carlo)采样法来生成边缘似然。在一些示例中，蒙特卡罗采样法利用重要性采样。在某些示例中，蒙特卡罗采样法利用马尔可夫(Markov)链蒙特卡罗。
在各个实施例中，边缘似然比较模块18被配置为将边缘似然与预定似然阈值进行比较。例如，边缘似然比较模块18被配置为确定边缘似然是大于或等于预定似然阈值还是小于预定似然阈值。在某些示例中，预定似然阈值由医务人员预定。
在各个实施例中，分类生成模块20被配置为生成分类。在一些示例中，分类生成模块20被配置为：如果边缘似然大于或等于预定似然阈值，则确定医学图像的分类为正常。在一些示例中，分类生成模块20被配置为：如果边缘似然小于预定似然阈值，则确定医学图像的分类为异常。在一些示例中，分类是正常的或异常的。在某些示例中，分类是正常或异常。在各个示例中，分类经由指示符来表示。在一些示例中，分类包括置信水平。
在各个实施例中，呈现模块22被配置为向用户呈现分类和/或边缘似然。例如，呈现模块22被配置为呈现分类和/或边缘似然作为指导。
在各个实施例中，分布散度确定模块24被配置为至少部分地基于将一个或多个属性分布与参考分布(例如，高斯分布或非高斯分布)进行比较来确定一个或多个分布散度。在一些示例中，参考分布(例如，高斯分布或非高斯分布)是正态分布，例如零均值单位方差分布。在某些示例中，一个或多个分布散度是一个或多个库尔贝克-莱布勒(Kullback-Leibler)散度。
在各个实施例中，匹配似然生成模块26被配置为至少部分地基于一个或多个分布散度来生成匹配似然。在一些示例中，匹配似然对应于样本图像与医学图像基本上匹配(例如，超过50％、60％、70％、80％或90％匹配)的似然。在某些示例中，匹配似然越高，医学图像越可能是正常图像而不是异常图像。在某些示例中，匹配似然越低，医学图像越可能是异常图像而不是正常图像。
在各个实施例中，图像预处理模块28被配置为将三维图像切成多个二维图像。在一些示例中，图像预处理模块28被配置为将图像压缩成压缩图像。在某些示例中，图像预处理模块28被配置为使用自编码器从图像中提取一个或多个相关特征。在各个示例中，图像预处理模块28被配置为降低图像的维度。
在各个实施例中，训练模块30被配置为训练识别模型和生成模型。在一些示例中，训练模块包括第一损失确定模块32、第二损失确定模块34和参数改变模块36。在各个示例中，训练模块30被配置为(例如，通过图像输入模块12)将训练图像输入到识别模型中。在一些示例中，训练图像是正常图像。在某些示例中，训练图像是二维的。在某些示例中，训练图像是三维的。在各个示例中，训练模块30被配置为使用识别模型(例如，通过属性分布生成模块14)生成与训练图像相对应的一个或多个训练属性分布。在一些示例中，训练模块30被配置为(例如，通过第一损失确定模块32)确定与训练样本图像偏离训练图像的似然相对应的第一损失。在一些示例中，训练样本图像通过由生成模型对一个或多个训练属性分布进行采样来生成。在一些示例中，训练模块30被配置为至少部分地基于将一个或多个训练属性分布与参考分布(例如，高斯分布或非高斯分布)进行比较来(例如，通过分布散度确定模块24)确定一个或多个训练分布散度(例如，库尔贝克-莱布勒散度)，该参考分布例如为具有零均值和单位方差的正态分布。在一些示例中，训练模块30被配置为(例如，通过第二损失确定模块34)确定与一个或多个训练分布散度相对应的第二损失。在一些示例中，训练模块30被配置为(例如，通过参数改变模块36)改变识别模型的一个或多个参数和/或生成模型的一个或多个参数，以减少(例如最小化)第一损失和/或第二损失。在一些示例中，训练模块30被配置为(例如，通过参数改变模块36)同时改变识别模型的一个或多个参数和/或生成模型的一个或多个参数，以减小第一损失和第二损失的和。在一些示例中，训练模块30被配置为通过输入一个或多个附加训练图像(例如，输入到识别模型中)来重复地训练识别模型和生成模型。在各个示例中，训练图像和/或医学图像是包括一个或多个共享的(例如，共同的)患者特征的患者图像。例如，被配置为帮助对特定人类关节的图像进行分类的变分自编码器是用该特定人类关节的训练数据来训练的。
图2是示出了根据一些实施例的用于对医学图像进行分类的方法的简化图。该图仅仅是一个示例，而不应当不适当地限制权利要求的范围。本领域的普通技术人员将会认识到许多变化、替代和修改。在某些示例中，方法S100由图1的系统10来实施。在一些示例中，方法S100包括：将医学图像输入到识别模型中的过程S102、生成一个或多个属性分布的过程S104、生成边缘似然的过程S106、比较边缘似然的过程S108、生成分类的过程S110。在某些示例中，方法S100还包括：训练识别模型和生成模型的过程S112、预处理医学图像的过程S114、和/或呈现分类和/或边缘似然的过程S116。尽管上面使用了用于该方法的一组选定的过程来进行显示，但是也可以有许多替代、修改和变化。例如，一些过程可以被扩展和/或组合。可以将其他过程插入到上述过程。可以去除一些过程。根据该实施例，过程的顺序可以与其他被替换的过程进行互换。
在各个实施例中，过程S102将医学图像输入到识别模型中。在一些示例中，该识别模型被配置为当输入有正常图像时生成基本上是高斯(例如，与高斯符合超过50％、60％、70％、80％或90％)的一个或多个属性分布。在一些示例中，识别模型被配置为当输入有异常图像时生成基本上是非高斯(例如，与高斯符合不到40％、30％、20％或10％)的一个或多个属性分布。
在各个实施例中，生成一个或多个属性分布的过程S104包括：由识别模型生成对应于医学图像的一个或多个属性分布。在一些示例中，生成一个或多个属性分布包括：当医学图像更可能是正常图像时，由识别模型生成基本上是高斯(例如，与高斯符合超过50％、60％、70％、80％或90％)的一个或多个属性分布，并且当医学图像更可能是异常图像(例如，分类为异常的图像)时，生成基本上是非高斯(例如，与高斯符合不到40％、30％、20％或10％)的一个或多个属性分布。
在各个实施例中，生成边缘似然的过程S106包括：生成对应于样本图像与医学图像基本上匹配(例如，超过50％、60％、70％、80％、90％相似)的似然的边缘似然。在各个示例中，样本图像通过由生成模型对与医学图像相对应的一个或多个属性分布进行采样来生成。在一些示例中，生成模型是解码器。在各个示例中，生成模型是变分自编码器的一部分。在某些示例中，生成模型是具有对角协方差矩阵的多变量高斯模型。在一些实施例中，协方差矩阵是单位矩阵。在各个示例中，生成边缘似然包括：使用蒙特卡罗采样法来生成边缘似然。在一些示例中，蒙特卡罗采样法利用重要性采样。在某些示例中，蒙特卡罗采样法利用马尔可夫(Markov)链蒙特卡罗。
在各个实施例中，比较边缘似然的过程S108包括：将边缘似然与预定似然阈值进行比较。例如，将边缘似然与预定似然阈值进行比较确定了边缘似然是大于或等于预定似然阈值还是小于预定似然阈值。在某些示例中，将边缘似然与预定似然阈值进行比较包括：经由用户指令确定预定似然阈值。
在各个实施例中，生成分类的过程S110包括：如果边缘似然大于或等于预定似然阈值，则确定医学图像的分类为正常。在一些示例中，生成分类包括：如果边缘似然小于预定似然阈值，则确定医学图像的分类为异常的(例如，异常)。在一些示例中，分类是正常的或异常的。在某些示例中，分类是正常或异常。在各个示例中，分类经由指示符来表示。在一些示例中，分类包括置信水平。
在各个实施例中，训练识别模型和生成模型的过程S112包括：将训练图像输入到识别模型中。在一些示例中，训练图像是正常图像。在各个示例中，训练识别模型和生成模型包括：使用识别模型生成与训练图像相对应的一个或多个训练属性分布。在各个示例中，训练识别模型和生成模型包括：确定与训练样本图像偏离训练图像的似然相对应的第一损失。在某些示例中，训练样本图像通过由生成模型对一个或多个训练属性分布进行采样来生成。在各个示例中，训练识别模型和生成模型包括：至少部分地基于将一个或多个训练属性分布与参考分布(例如，高斯分布或非高斯分布)进行比较来确定一个或多个训练分布散度(例如，库尔贝克-莱布勒散度)，该参考分布例如为具有零均值和单位方差的正态分布。在各个示例中，训练识别模型和生成模型包括：确定与一个或多个训练分布散度相对应的第二损失。在各个示例中，训练识别模型和生成模型包括：同时改变识别模型的一个或多个参数和生成模型的一个或多个参数，以减小第一损失和第二损失的和。在一些示例中，通过输入一个或多个附加训练图像(例如，输入到识别模型中)来重复地训练识别模型和生成模型。在某些示例中，训练图像和/或医学图像是包括一个或多个共享的(例如，共同的)患者特征的患者图像。
在某些示例中，训练识别模型和生成模型包括：预处理训练图像。在一些示例中，预处理训练图像包括：将三维训练图像切成多个二维训练图像。在一些示例中，预处理训练图像包括：将训练图像压缩成压缩的训练图像。在某些示例中，预处理训练图像包括：使用自编码器(例如，图8的自编码器)从训练图像中提取一个或多个相关特征。在各个示例中，预处理训练图像包括：降低训练图像的维度。
在各个实施例中，预处理医学图像的过程S114包括：将三维医学图像切成多个二维医学图像。在一些示例中，预处理医学图像包括：将医学图像压缩成压缩的医学图像。在某些示例中，预处理医学图像包括：使用自编码器(例如，图8的自编码器)从医学图像中提取一个或多个相关特征。在各个示例中，预处理医学图像包括：降低医学图像的维度。
在各个实施例中，呈现分类和/或边缘似然的过程S116包括：向用户呈现分类和/或边缘似然(例如，作为指导)。
在一些实施例中，方法S100还包括：至少部分地基于将一个或多个属性分布与参考分布(例如，高斯分布或非高斯分布)进行比较来确定一个或多个分布散度。在一些示例中，参考分布(例如，高斯分布或非高斯分布)是正态分布，例如零均值单位方差分布。在某些示例中，一个或多个分布散度是一个或多个库尔贝克-莱布勒(Kullback-Leibler)散度。在各个示例中，方法S100还包括：至少部分地基于一个或多个分布散度来生成匹配似然。在一些示例中，匹配似然对应于样本图像与医学图像基本上匹配(例如，超过50％、60％、70％、80％或90％匹配)的似然。在某些示例中，匹配似然越高，医学图像越可能是正常图像而不是异常图像。在某些示例中，匹配似然越低，医学图像越可能是异常图像而不是正常图像。
图3是示出了根据一些实施例的用于训练对医学图像进行分类的变分自编码器(例如，包括识别模型和生成模型)的方法的简化图。该图仅仅是一个示例，而不应当不适当地限制权利要求的范围。本领域的普通技术人员将会认识到许多变化、替代和修改。在某些示例中，方法S200由图1的系统10来实施。在一些示例中，方法S200包括：将训练图像输入到识别模型中的过程S202、生成一个或多个训练属性分布的过程S204、确定第一损失的过程S206、确定一个或多个训练分布散度的过程S208、确定第二损失的过程S210以及改变一个或多个参数的过程S212。在某些示例中，方法S200还包括：预处理训练图像的过程S214。在一些示例中，方法S200基本上类似于图2的过程S112。尽管上面使用了用于该方法的一组选定的过程来进行显示，但是也可以有许多替代、修改和变化。例如，一些过程可以被扩展和/或组合。可以将其他过程插入到上述过程。可以去除一些过程。根据该实施例，过程的顺序可以与其他被替换的过程进行互换。
在各个实施例中，将训练图像输入到识别模型中的过程S202包括：将训练图像输入到识别模型中，这类似于将医学图像输入到识别模型中。
在各个实施例中，生成一个或多个训练属性分布的过程S204包括：生成对应于训练图像的一个或多个训练属性分布，例如类似于生成对应于医学图像的一个或多个属性分布。
在各个实施例中，确定第一损失的过程S206包括：确定与训练样本图像偏离训练图像的似然相对应的第一损失。在一些示例中，训练样本图像通过由生成模型对一个或多个训练属性分布进行采样来生成。
在各个实施例中，确定一个或多个训练分布散度的过程S208包括：至少部分地基于将一个或多个训练属性分布与参考分布(例如，高斯分布或非高斯分布)进行比较来确定一个或多个训练分布散度(例如，库尔贝克-莱布勒散度)，该参考分布例如为具有零均值和单位方差的正态分布。
在各个实施例中，确定第二损失的过程S210包括：确定与一个或多个训练分布散度相对应的第二损失。
在各个实施例中，改变一个或多个参数的过程S212包括：同时改变识别模型的一个或多个参数和生成模型的一个或多个参数，以减小第一损失和第二损失的和。
在各个实施例中，预处理训练图像的过程S214包括：将三维训练图像切成多个二维训练图像。在一些示例中，预处理训练图像包括：将训练图像压缩成压缩的训练图像。在某些示例中，预处理训练图像包括：使用自编码器(例如，图8的自编码器)从训练图像中提取一个或多个相关特征。在各个示例中，预处理训练图像包括：降低训练图像的维度。
图4是示出了根据一些实施例的用于预处理图像的方法的简化图。该图仅仅是一个示例，而不应当不适当地限制权利要求的范围。本领域的普通技术人员将会认识到许多变化、替代和修改。在某些示例中，方法S300由图1的系统10来实施，并且根据图2的过程S114和/或图3的过程S214。在一些示例中，方法S300包括：切开图像的过程S302和/或将图像压缩成压缩图像的过程S304。在某些示例中，过程S304包括：提取一个或多个特征的过程S306和/或降低图像的维度的过程S308。尽管上面使用了用于该方法的一组选定的过程来进行显示，但是也可以有许多替代、修改和变化。例如，一些过程可以被扩展和/或组合。可以将其他过程插入到上述过程。可以去除一些过程。根据该实施例，过程的顺序可以与其他被替换的过程进行互换。
图5是示出了根据一些实施例的计算系统的简化图。该图仅仅是一个示例，而不应当不适当地限制权利要求的范围。本领域的普通技术人员将会认识到许多变化、替代和修改。在某些示例中，计算系统6000是通用计算设备。在一些示例中，计算系统6000包括一个或多个处理单元6002(例如，一个或多个处理器)、一个或多个系统存储器6004、一个或多个总线6006、一个或多个输入/输出(I/O)接口6008和/或一个或多个网络适配器6012。在某些示例中，一个或多个总线6006连接各种系统部件，包括例如一个或多个系统存储器6004、一个或多个处理单元6002、一个或多个输入/输出(I/O)接口6008和/或一个或多个网络适配器6012。尽管上面使用了用于计算系统的一组选定的部件来进行显示，但是也可以有许多替代、修改和变化。例如，一些部件可以被扩展和/或组合。可以将其他部件插入到上述部件。可以去除一些部件。根据该实施例，部件的布置可以与其他被替换的部件进行互换。
在某些示例中，计算系统6000是计算机(例如，服务器计算机、客户端计算机)、智能电话、平板电脑或可穿戴设备。在一些示例中，方法S100、方法S200和/或方法S300的一些或所有过程(例如，步骤)由计算系统6000执行。在某些示例中，方法S100、方法S200和/或方法S300的一些或所有过程(例如，步骤)由一个或多个处理单元6002来执行，该一个或多个处理单元由一个或多个代码来指导。例如，一个或多个代码存储在一个或多个系统存储器6004(例如，一个或多个非瞬时性计算机可读介质)中，并且可由计算系统6000读取(例如，可由一个或多个处理单元6002读取)。在各个示例中，一个或多个系统存储器6004包括为易失性存储器形式的一个或多个计算机可读介质，例如随机存取存储器(RAM)6014、高速缓冲存储器6016和/或存储系统6018(例如，软盘、CD-ROM和/或DVD-ROM)。
在一些示例中，计算系统6000的一个或多个输入/输出(I/O)接口6008被配置为与一个或多个外部设备6010(例如，键盘、定点设备和/或显示器)通信。在某些示例中，计算系统6000的一个或多个网络适配器6012被配置为与一个或多个网络(例如，局域网(LAN)、广域网(WAN)和/或公用网络(例如，因特网))通信。在各个示例中，结合计算系统6000利用附加的硬件和/或软件模块，例如一个或多个微代码和/或一个或多个设备驱动器。
图6是示出了根据一些实施例的神经网络的简化图。例如，神经网络由例如识别模型和/或生成模型的一个或多个模型利用。该图仅仅是一个示例，而不应当不适当地限制权利要求的范围。本领域的普通技术人员将会认识到许多变化、替代和修改。神经网络8000是人工神经网络。在一些示例中，神经网络8000包括输入层8002、一个或多个隐藏层8004以及输出层8006。例如，一个或多个隐藏层8004包括L个神经网络层，其包括第1神经网络层…、第i神经网络层…和第L神经网络层，其中L是正整数，并且i是大于或等于1且小于或等于L的整数。尽管上面使用了用于神经网络的一组选定的部件来进行显示，但是也可以有许多替代、修改和变化。例如，一些部件可以被扩展和/或组合。可以将其他部件插入到上述部件。可以去除一些部件。根据该实施例，部件的布置可以与其他被替换的部件进行互换。
在一些示例中，方法S100、方法S200和/或方法S300的一些或所有过程(例如，步骤)由神经网络8000(例如，使用计算系统6000)执行。在某些示例中，方法S100、方法S200和/或方法S300的一些或所有过程(例如，步骤)由一个或多个处理单元6002来执行，该一个或多个处理单元由实施神经网络8000的一个或多个代码来指导。例如，用于神经网络8000的一个或多个代码存储在一个或多个系统存储器6004(例如，一个或多个非瞬时性计算机可读介质)中，并且可由计算系统6000(例如由一个或多个处理单元6002)读取。
在某些示例中，神经网络8000是深度神经网络(例如，卷积神经网络)。在一些示例中，一个或多个隐藏层8004中的每个神经网络层包括多个子层。作为示例，第i神经网络层包括卷积层、激活层和池化层。例如，卷积层被配置为对(例如，由输入层或从先前的神经网络层接收的)输入执行特征提取，激活层被配置为将非线性激活函数(例如，ReLU函数)应用于卷积层的输出，并且池化层被配置为压缩(例如，降采样，例如通过执行最大池化或平均池化)激活层的输出。作为示例，输出层8006包括一个或多个完全连接的层。
如上所述且这里进一步强调的，图6仅仅是一个示例，而不应当不适当地限制权利要求的范围。本领域的普通技术人员将会认识到许多变化、替代和修改。例如，神经网络8000被不是人工神经网络的算法代替。作为示例，神经网络8000被不是人工神经网络的机器学习模型代替。
在某些实施例中，系统和方法自动地找出从医学图像扫描仪例如自动地使用机器学习生成的异常图像(不令人满意的图像)。在某些示例中，系统和方法利用机器学习来自动地识别异常图像的候选。在某些示例中，系统和方法利用变分自编码器来学习正常图像(例如，令人满意的图像)的分布，以帮助在图像不对应于所学习的分布时例如利用推断阶段期间的置信水平或概率来识别异常图像的候选。
在某些实施例中，变分自编码器是或包括生成模型，例如被配置为确定(例如，估计)数据(例如，训练数据)集的概率密度函数的模型。在某些示例中，变分自编码器被配置为从所学习的概率密度函数中采样示例。在一些示例中，训练变分自编码器以根据与正常图像(例如，正常医学扫描图像)相对应的训练数据对一个或多个分布进行建模。在各个示例中，例如基于针对未分类医学图像确定的采样分布，变分自编码器被配置为：如果图像是正常的，则向图像分配高概率值，如果图像是异常的，则向图像分配低概率值。在某些实施例中，通过利用变分自编码器，系统和方法检测医学图像异常。在某些示例中，系统和方法直接找出样本(例如对应于一个或多个分布的样本)的边缘概率，例如无需从潜在空间进行采样，例如无需进行对抗训练。
图7是示出了根据一些实施例的变分自编码器结构或工作流程的简化图。在某些示例中，图7的变分自编码器被配置为由图1的系统10用于例如经由图2的方法S100和/或图3的方法S200来对异常图像进行分类。在某些示例中，变分自编码器包括编码器和解码器。在一些示例中，解码器被配置为从已建模的分布采样。例如，一旦被训练，解码器就被配置为接收(例如，被供有)来自标准高斯分布N(0,1)的样本，并且从原始数据分布生成样本。在某些示例中，解码器是具有例如单位矩阵的对角协方差矩阵的多变量高斯。根据各个实施例，方程(1)描绘了用于训练变分自编码器的目标函数：
Figure BDA0002818182650000111
右侧的第一项表示近似后验分布
Figure BDA0002818182650000112
与高斯分布pθ(z)之间的库尔贝克-莱布勒(KL)散度。
Figure BDA0002818182650000113
表示编码器参数，θ表示解码器参数。
在某些实施例中，训练变分自编码器包括：优化
Figure BDA0002818182650000114
和θ，例如使用质量令人满意的多个正常图像(例如，良好质量图像)作为训练数据来优化。在某些示例中，训练变分自编码器包括：学习与多个正常图像相对应的分布。在各个示例中，例如在训练了变分自编码器之后和/或在推断阶段期间，方法和系统利用变分自编码器来确定(例如，估计)样本X的边缘似然，该样本表示要分类的医学图像的一个或多个特征。在一些示例中，X是医学图像本身。例如，样本X仅表示一个单一图像而不失一般性。在某些示例中，变分自编码器的生成模型被配置为从原始分布生成样本。
在各个示例中，方法和系统使用蒙特卡罗采样法来确定(例如，估计)样本X的边缘分布P(X)。在一些示例中，使用蒙特卡罗采样法来确定(例如，估计)样本X的边缘分布P(X)包括：对样本X进行采样；例如基于编码器生成与样本X相对应的潜在分布
Figure BDA0002818182650000115
从潜在分布中采样N个z；将z供应到解码器；使用解码器生成似然pθ(x|z)；至少部分地基于方程(2)来确定边缘似然PM(X)；以及可选地将该边缘似然呈现给用户(例如，技术人员或医务人员)。例如，边缘似然通过指示符的方式来呈现，该指示符指示未分类医学扫描图像的图像质量。在一些示例中，指示符包括分类预测(例如，正常的或异常的)和/或置信水平(例如，在概率上)。
Figure BDA0002818182650000116
在各个实施例中，边缘似然指示从对应于正常图像的分布采样样本的概率。例如，较高的边缘似然值指示图像是正常图像的高概率，而较小的边缘似然值指示图像是正常图像的低概率。
在某些实施例中，使用蒙特卡罗法确定(例如，估计、近似)边缘概率包括：利用重要性采样，例如根据方程(3)：
Figure BDA0002818182650000121
其中
Figure BDA0002818182650000122
遵循编码器输出的分布，pθ遵循正态分布。在一些示例中，
Figure BDA0002818182650000123
是重要性分布，其具有与pθ类似的形状，但是具有缩放和移位。在某些示例中，对样本进行采样包括：从后验中随机采样N个值{z(N)}，然后使用方程(3)来估计边缘概率。
在某些实施例中，使用蒙特卡罗法确定(例如，估计、近似)边缘概率包括：利用马尔可夫链蒙特卡罗法，例如根据方程(4)：
Figure BDA0002818182650000124
在一些示例中，对样本进行采样包括：使用马尔可夫链蒙特卡罗法从后验中采样N个值{z(N)}；将(例如，从样本估计的)密度估计器q(z)拟合到这些样本{z(n)}；从后验中采样N个新值；以及根据方程(4)估计边缘概率。
在某些实施例中，方法和系统通过学习对应于正常图像的正常图像分布来训练变分自编码器，并且一旦被训练，就使用变分自编码器来分类医学图像(例如从医学扫描仪(例如，CT、MR、PET扫描仪)的扫描数据重建的图像)是正常的还是异常的(例如，异常)。在某些示例中，方法和系统基于使用蒙特卡罗采样法的变分自编码器来生成(例如，估计、计算)样本的边缘似然。在一些示例中，蒙特卡罗采样法利用重要性采样。在一些示例中，蒙特卡罗采样法利用马尔可夫链蒙特卡罗法。在某些示例中，方法和系统使用边缘似然来指示医学图像是否是异常。例如，方法和系统向用户(例如，技术人员)呈现边缘似然，以指示医学图像为异常的概率。在一些示例中，例如除了在提供分类指导中使用边缘似然之外或作为其替代，方法和系统例如根据方程(1)确定损失，并且在提供分类指导中使用损失的值。例如，损失值越大指示样本从与正常图像相对应的分布中采样的概率越高，损失值越小指示样本从与异常图像相对应的分布中采样的概率越高。
在某些实施例中，方法和系统利用变分自编码器来估计样本的边缘概率，该边缘概率对应于医学图像为正常图像的似然(例如，与异常图像相比)。在各个示例中，方法和系统适用于各种扫描仪类型，并且可以利用或包括针对使用特定扫描仪类型(例如使用源自该扫描仪类型的训练数据)的特定应用的目标训练。在一些示例中，在训练阶段中使用的训练数据仅包括良好质量的图像，例如由医务人员(例如，专家、医师、技术人员)审阅并且被识别为质量令人满意(例如，满足标准)的图像。
图8是示出了根据一些实施例的自编码器结构或工作流程的简化图。在某些示例中，图8的自编码器被配置为由图1的系统10用于例如经由图2的方法S100和/或图3的方法S200来预处理输入图像。在某些实施例中，方法和系统采用小尺寸图像(例如小尺寸二维图像)作为输入。在某些示例中，方法和系统采用大尺寸图像(例如大尺寸三维图像)作为输入。在一些示例中，例如当输入是三维图像时，方法和系统通过将输入图像切成较小的切片来预处理输入图像，该较小的切片然后被输入到变分自编码器中。在某些示例中，方法和系统通过压缩输入图像以降低维度和/或提取相关特征来预处理输入图像，其中压缩的输入图像然后被输入到变分自编码器中。在一些示例中，压缩由所描绘的自编码器来执行。在各个示例中，输入图像(例如，样本X)首先被编码成低维特征(例如，作为编码器的输出)。在某些示例中，低维特征然后被供应到变分编码器中以确定用于提供分类指导的边缘似然。
在各个实施例中，一种用于对医学图像进行分类的计算机实施的方法，包括：将医学图像输入到识别模型中，该识别模型被配置为：当输入有正常图像时生成基本上是高斯的一个或多个属性分布，并且当输入有异常图像时生成基本上是非高斯的一个或多个属性分布；由识别模型生成与医学图像相对应的一个或多个属性分布；生成对应于样本图像与医学图像基本上匹配的似然的边缘似然，样本图像是通过由生成模型对一个或多个属性分布进行采样而生成的；将边缘似然与预定似然阈值进行比较；以及至少通过以下步骤生成分类：如果边缘似然大于或等于预定似然阈值，则确定医学图像的分类为正常；和如果边缘似然小于预定似然阈值，则确定医学图像的分类为异常。在某些示例中，计算机实施的方法由一个或多个处理器来执行。在一些示例中，计算机实施的方法至少部分地根据图2的方法S100和/或图3的方法S200来实施。在某些示例中，方法至少部分地由图1的系统10来实施。
在一些实施例中，方法还包括：至少通过以下步骤来训练识别模型和生成模型：将训练图像输入到识别模型中，训练图像是正常图像；使用识别模型生成与训练图像相对应的一个或多个训练属性分布；确定与训练样本图像偏离训练图像的似然相对应的第一损失，训练样本图像是通过由生成模型对一个或多个训练属性分布进行采样而生成的；至少部分地基于将一个或多个训练属性分布与参考分布进行比较来确定一个或多个训练分布散度；确定与一个或多个训练分布散度相对应的第二损失；以及同时改变识别模型的一个或多个参数和生成模型的一个或多个参数以减小第一损失和第二损失的和。
在一些实施例中，通过输入一个或多个附加训练图像(例如，输入到识别模型中)来重复地训练识别模型和生成模型。
在一些实施例中，训练图像和/或医学图像是包括一个或多个共享的(例如，共同的)患者特征的患者图像。
在一些实施例中，一个或多个训练分布散度是一个或多个库尔贝克-莱布勒散度。
在一些实施例中，参考分布是具有零均值和单位方差的正态分布。
在一些实施例中，方法还包括：将三维训练图像切成多个二维训练图像。
在一些实施例中，方法还包括：将训练图像压缩成压缩的训练图像。
在一些实施例中，压缩训练图像包括：使用自编码器提取一个或多个相关特征。
在一些实施例中，压缩训练图像包括：降低训练图像的维度。
在一些实施例中，方法还包括：将三维医学图像切成多个二维医学图像。
在一些实施例中，方法还包括：将医学图像压缩成压缩的医学图像。
在一些实施例中，压缩医学图像包括：使用自编码器提取一个或多个相关特征。
在一些实施例中，压缩医学图像包括：降低医学图像的维度。
在一些实施例中，识别模型是编码器，生成模型是解码器。例如，编码器和解码器是变分自编码器的一部分。
在一些实施例中，生成模型是具有对角协方差矩阵的多变量高斯模型。
在一些实施例中，协方差矩阵是单位矩阵。
在一些实施例中，生成边缘似然包括：使用蒙特卡罗采样法。
在一些实施例中，蒙特卡罗采样法利用重要性采样。
在一些实施例中，蒙特卡罗采样法利用马尔可夫链蒙特卡罗。
在一些实施例中，方法还包括：向用户呈现分类和/或边缘似然。
在一些实施例中，方法还包括：至少部分地基于将一个或多个属性分布与参考分布进行比较来确定一个或多个分布散度；以及至少部分地基于一个或多个分布散度来生成匹配似然，匹配似然对应于样本图像与医学图像基本上匹配的似然。在某些示例中，匹配似然越高，医学图像越可能是正常图像而不是异常图像。在某些示例中，匹配似然越低，医学图像越可能是异常图像而不是正常图像。
在一些实施例中，一个或多个分布散度是一个或多个库尔贝克-莱布勒散度。
在各个实施例中，一种用于对医学图像进行分类的系统，包括：图像输入模块，其被配置为将医学图像输入到识别模型中，该识别模型被配置为：当输入有正常图像时生成基本上是高斯的属性分布，并且当输入有异常图像时生成基本上是非高斯的属性分布；属性分布生成模块，其被配置为由识别模型生成与医学图像相对应的一个或多个属性分布；边缘似然生成模块，其被配置为生成对应于样本图像与医学图像基本上匹配的似然的边缘似然，样本图像是通过由生成模型对一个或多个属性分布进行采样而生成的；边缘似然比较模块，其被配置为将边缘似然与预定似然阈值进行比较；以及分类生成模块，其被配置为至少通过以下方式生成分类：如果边缘似然大于或等于预定似然阈值，则确定医学图像的分类为正常，并且如果边缘似然小于预定似然阈值，则确定医学图像的分类为异常。在一些示例中，系统至少部分地根据图1的系统10来实施。在某些示例中，系统被配置为至少部分地执行图2的方法S100和/或图3的方法S200。
在一些实施例中，系统还包括：训练模块，其包括第一损失确定模块、第二损失确定模块和参数改变模块。在一些示例中，训练模块被配置为至少通过以下方式来训练识别模型和生成模型：(例如，通过图像输入模块)将训练图像输入到识别模型中，训练图像是正常图像；使用识别模型(例如，通过属性分布生成模块)生成与训练图像相对应的一个或多个训练属性分布；(例如，通过第一损失确定模块)确定与训练样本图像偏离训练图像的似然相对应的第一损失，训练样本图像是通过由生成模型对一个或多个训练属性分布进行采样来生成的；至少部分地基于将一个或多个训练属性分布与参考分布进行比较来(例如，通过系统的分布散度确定模块)确定一个或多个训练分布散度；(例如，通过第二损失确定模块)确定与一个或多个训练分布散度相对应的第二损失；以及(例如，通过参数改变模块)同时改变识别模型的一个或多个参数和生成模型的一个或多个参数，以减小第一损失和第二损失的和。
在一些实施例中，训练模块被配置为通过输入一个或多个附加训练图像(例如，输入到识别模型中)来重复地训练识别模型和生成模型。
在一些实施例中，训练图像和/或医学图像是包括一个或多个共享的(例如，共同的)患者特征的患者图像。
在一些实施例中，一个或多个训练分布散度是一个或多个库尔贝克-莱布勒散度。
在一些实施例中，参考分布是具有零均值和单位方差的正态分布。
在一些实施例中，系统还包括图像预处理模块，其被配置为将三维训练图像切成多个二维训练图像。
在一些实施例中，图像预处理模块被配置为将训练图像压缩成压缩的训练图像。
在一些实施例中，图像预处理模块被配置为使用自编码器从训练图像中提取一个或多个相关特征。
在一些实施例中，图像预处理模块被配置为降低训练图像的维度。
在一些实施例中，系统还包括图像预处理模块，其被配置为将三维医学图像切成多个二维医学图像。
在一些实施例中，图像预处理模块被配置为将医学图像压缩成压缩的医学图像。
在一些实施例中，图像预处理模块被配置为使用自编码器从医学图像中提取一个或多个相关特征。
在一些实施例中，图像预处理模块被配置为降低医学图像的维度。
在一些实施例中，识别模型是编码器，生成模型是解码器。例如，编码器和解码器是变分自编码器的一部分。
在一些实施例中，生成模型是具有对角协方差矩阵的多变量高斯模型。
在一些实施例中，协方差矩阵是单位矩阵。
在一些实施例中，边缘似然生成模块被配置为使用蒙特卡罗采样法来生成边缘似然。
在一些实施例中，蒙特卡罗采样法利用重要性采样。
在一些实施例中，蒙特卡罗采样法利用马尔可夫链蒙特卡罗。
在一些实施例中，系统还包括呈现模块，其被配置为向用户呈现分类和/或边缘似然。
在一些实施例中，系统还包括：分布散度确定模块，其被配置为至少部分地基于将一个或多个属性分布与参考分布进行比较来确定一个或多个分布散度；和匹配似然生成模块，其被配置为至少部分地基于一个或多个分布散度来生成匹配似然，匹配似然对应于样本图像与医学图像基本上匹配的似然。在某些示例中，匹配似然越高，医学图像越可能是正常图像而不是异常图像。在某些示例中，匹配似然越低，医学图像越可能是异常图像而不是正常图像。
在一些实施例中，一个或多个分布散度是一个或多个库尔贝克-莱布勒散度。
在各个实施例中，一种非瞬时性计算机可读介质，在其上存储有指令，当指令被处理器实行时使得处理器执行一个或多个过程，包括：将医学图像输入到识别模型中，该识别模型被配置为：当输入有正常图像时生成基本上是高斯的属性分布，并且当输入有异常图像时生成基本上是非高斯的属性分布；由识别模型生成与医学图像相对应的一个或多个属性分布；生成对应于样本图像与医学图像基本上匹配的似然的边缘似然，样本图像是通过由生成模型对一个或多个属性分布进行采样而生成的；将边缘似然与预定似然阈值进行比较；以及至少通过以下步骤生成分类：如果边缘似然大于或等于预定似然阈值，则确定医学图像的分类为正常；和如果边缘似然小于预定似然阈值，则确定医学图像的分类为异常。在一些示例中，其上存储有指令的非瞬时性计算机可读介质根据图2的方法S100和/或图3的方法S200来实施。在某些示例中，其上存储有指令的非瞬时性计算机可读介质被配置为至少部分地由图1的系统10(例如，终端)来实施。
在一些实施例中，其上存储有指令的非瞬时性计算机可读介质在指令被处理器实行时，进一步使得处理器执行一个或多个过程，包括：至少通过以下步骤来训练识别模型和生成模型：将训练图像输入到识别模型中，训练图像是正常图像；使用识别模型生成与训练图像相对应的一个或多个训练属性分布；确定与训练样本图像偏离训练图像的似然相对应的第一损失，训练样本图像是通过由生成模型对一个或多个训练属性分布进行采样而生成的；至少部分地基于将一个或多个训练属性分布与参考分布进行比较来确定一个或多个训练分布散度；确定与一个或多个训练分布散度相对应的第二损失；以及同时改变识别模型的一个或多个参数和生成模型的一个或多个参数以减小第一损失和第二损失的和。
在一些实施例中，通过输入一个或多个附加训练图像(例如，输入到识别模型中)来重复地训练识别模型和生成模型。
在一些实施例中，训练图像和/或医学图像是包括一个或多个共享的(例如，共同的)患者特征的患者图像。
在一些实施例中，一个或多个训练分布散度是一个或多个库尔贝克-莱布勒散度。
在一些实施例中，参考分布是具有零均值和单位方差的正态分布。
在一些实施例中，其上存储有指令的非瞬时性计算机可读介质在指令被处理器实行时，进一步使得处理器执行一个或多个过程，包括：将三维训练图像切成多个二维训练图像。
在一些实施例中，其上存储有指令的非瞬时性计算机可读介质在指令被处理器实行时，进一步使得处理器执行一个或多个过程，包括：将训练图像压缩成压缩的训练图像。
在一些实施例中，压缩训练图像包括：使用自编码器提取一个或多个相关特征。
在一些实施例中，压缩训练图像包括：降低训练图像的维度。
在一些实施例中，其上存储有指令的非瞬时性计算机可读介质在指令被处理器实行时，进一步使得处理器执行一个或多个过程，包括：将三维医学图像切成多个二维医学图像。
在一些实施例中，其上存储有指令的非瞬时性计算机可读介质在指令被处理器实行时，进一步使得处理器执行一个或多个过程，包括：将医学图像压缩成压缩的医学图像。
在一些实施例中，压缩医学图像包括：使用自编码器提取一个或多个相关特征。
在一些实施例中，压缩医学图像包括：降低医学图像的维度。
在一些实施例中，识别模型是编码器，生成模型是解码器。例如，编码器和解码器是变分自编码器的一部分。
在一些实施例中，生成模型是具有对角协方差矩阵的多变量高斯模型。
在一些实施例中，协方差矩阵是单位矩阵。
在一些实施例中，其上存储有指令的非瞬时性计算机可读介质在指令被处理器实行时，使得处理器执行一个或多个过程，包括：生成边缘似然(例如用蒙特卡罗采样方法产生边缘似然)。
在一些实施例中，蒙特卡罗采样法利用重要性采样。
在一些实施例中，蒙特卡罗采样法利用马尔可夫链蒙特卡罗。
在一些实施例中，其上存储有指令的非瞬时性计算机可读介质在指令被处理器实行时，进一步使得处理器执行一个或多个过程，包括：向用户呈现分类和/或边缘似然。
在一些实施例中，其上存储有指令的非瞬时性计算机可读介质在指令被处理器实行时，进一步使得处理器执行一个或多个过程，包括：至少部分地基于将一个或多个属性分布与参考分布进行比较来确定一个或多个分布散度；以及至少部分地基于一个或多个分布散度来生成匹配似然，匹配似然对应于样本图像与医学图像基本上匹配的似然。在某些示例中，匹配似然越高，医学图像越可能是正常图像而不是异常图像。在某些示例中，匹配似然越低，医学图像越可能是异常图像而不是正常图像。
在一些实施例中，一个或多个分布散度是一个或多个库尔贝克-莱布勒散度。
例如，本发明的各个实施例的一些或全部部件各自单独地和/或至少与另一个部件组合，使用一个或多个软件部件、一个或多个硬件部件和/或软件和硬件部件的一个或多个组合来实施。在另一个示例中，本发明的各个实施例的一些或全部部件各自单独地和/或至少与另一个部件组合，在一个或多个电路(例如一个或多个模拟电路和/或一个或多个数字电路)中实施。在又一个示例中，尽管上述实施例提及特定的特征，但本发明的范围也包括具有不同特征组合的实施例以及并非包括所有所述特征的实施例。在又一个示例中，可以将本发明的各个实施例和/或示例进行组合。
此外，本文描述的方法和系统可以通过程序代码在许多不同类型的处理设备上实施，程序代码包括由设备处理子系统可执行的程序指令。该软件程序指令可以包括源代码、目标代码、机器代码或可被操作以使处理系统执行本文所述的方法和操作的存储的任何其他数据。然而，也可以使用其他实施方式，例如固件，甚至是被配置为执行本文所述的方法和系统的适当设计的硬件。
这些系统的和这些方法的数据(例如，关联、映射、数据输入、数据输出、中间数据结果、最终数据结果等)可以被存储和实施在一个或多个不同类型的计算机实施的数据存储器中，例如不同类型的存储设备和编程结构(如RAM、ROM、EEPROM、闪存、平面文件、数据库、编程数据结构、编程变量、IF-THEN(或类似类型)语句结构、应用编程接口等)。需要指出的是，数据结构描述了用于组织和存储数据库、程序、存储器或计算机程序所使用的其他计算机可读介质中的数据的格式。
系统和方法可以被提供在许多不同类型的计算机可读介质上，该计算机可读介质包括计算机存储机制(如CD-ROM、软盘、RAM、闪存、计算机硬盘驱动器、DVD等)，计算机存储机制包含用于由处理器实行以执行本文所描述的方法的操作和实施系统的指令(例如，软件)。本文所描述的计算机部件、软件模块、功能、数据存储器和数据结构可以直接或间接地相互连接，以便允许它们的操作所需的数据的流动。还需要指出的是，模块或处理器包括执行软件操作的代码单元，并且可以例如实施为代码的子例程单元、或实施为代码的软件功能单元、或实施为对象(如面向对象范型)、或为小程序、或为计算机脚本语言、或为其他类型的计算机代码。软件部件和/或功能可以位于一台计算机上，也可以分布在多台计算机上，这具体取决于具体情况。
计算系统可以包括客户端设备和服务器。客户端设备和服务器通常是彼此之间远程设置的，并且典型地通过通信网络进行交互。客户端设备与服务器的关系是通过运行在相应计算机上并且具有客户端设备与服务器之间相互关系的计算机程序的作用而产生。
本说明书包含了许多特定实施例的细节。在本说明书中在各个不同的实施例的上下文中描述的某些特征也可以在单个实施例中的组合中实施。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独地实施或者以任何合适的子组合中实施。此外，尽管上述特征可被描述为作用于某些组合，但在一些情况下，该组合中的一个或多个特征可从组合中移除，并且该组合可以例如涉及子组合或子组合的变化。
同样，虽然在附图中以特定顺序描述了操作，但这不应理解为要求这些操作以所示的特定顺序或以有序的顺序来执行，或要求执行所有所示的操作，以取得所期望的结果。在某些情况下，多任务处理和并行处理可能是有利的。此外，在上述实施例中，各种系统部件的分离不应理解为在所有实施例中都需要这种分离，并且应当理解的是，所描述的程序部件和系统通常可以被集成在单个软件产品中或被打包到多个软件产品中。
尽管已经描述了本发明的具体实施例，但本领域技术人员将理解，还存在与所描述的实施例等效的其他实施例。因此，应当理解，本发明不应受到所示具体实施例的限制。

Claims (10)

1.一种用于对医学图像进行分类的计算机实施的方法，所述方法包括：
将医学图像输入到识别模型中，所述识别模型被配置为：
当输入有正常图像时生成基本上是高斯(Gaussian)的一个或多个属性分布；并且
当输入有异常图像时生成基本上是非高斯的一个或多个属性分布；
由所述识别模型生成与所述医学图像相对应的一个或多个属性分布；
生成对应于样本图像与所述医学图像基本上匹配的似然的边缘似然，所述样本图像是通过由生成模型对所述一个或多个属性分布进行采样而生成的；
将所述边缘似然与预定似然阈值进行比较；以及
至少通过以下步骤生成分类：
如果所述边缘似然大于或等于所述预定似然阈值，则确定所述医学图像的所述分类为正常；和
如果所述边缘似然小于所述预定似然阈值，则确定所述医学图像的所述分类为异常。
2.根据权利要求1所述的计算机实施的方法，还包括：至少通过以下步骤来训练所述识别模型和所述生成模型：
将训练图像输入到所述识别模型中，所述训练图像是正常图像；
使用所述识别模型生成与所述训练图像相对应的一个或多个训练属性分布；
确定与训练样本图像偏离所述训练图像的似然相对应的第一损失，所述训练样本图像是通过由生成模型对所述一个或多个训练属性分布进行采样而生成的；
至少部分地基于将所述一个或多个训练属性分布与参考分布进行比较来确定一个或多个训练分布散度；
确定与所述一个或多个训练分布散度相对应的第二损失；以及
同时改变所述识别模型的一个或多个参数和所述生成模型的一个或多个参数以减小所述第一损失和所述第二损失的和。
3.根据权利要求2所述的计算机实施的方法，其中，所述训练图像和所述医学图像是包括一个或多个共享的患者特征的患者图像。
4.根据权利要求2所述的计算机实施的方法，还包括：将所述训练图像压缩成压缩的训练图像其中，所述压缩所述训练图像包括：使用自编码器提取一个或多个相关特征或，所述压缩所述训练图像包括：降低所述训练图像的维度。
5.根据权利要求1所述的计算机实施的方法，其中，所述识别模型是编码器，所述生成模型是解码器，所述编码器和所述解码器是变分自编码器的一部分。
6.根据权利要求1所述的计算机实施的方法，其中，生成边缘似然包括：使用蒙特卡罗(Monte-Carlo)采样法。
7.根据权利要求1所述的计算机实施的方法，还包括：向用户呈现所述分类和所述边缘似然中的至少一个。
8.根据权利要求1所述的计算机实施的方法，还包括：
至少部分地基于将所述一个或多个属性分布与参考分布进行比较来确定一个或多个分布散度；和
至少部分地基于所述一个或多个分布散度来生成匹配似然，所述匹配似然对应于所述样本图像与所述医学图像基本上匹配的似然；
其中，所述匹配似然越高，所述医学图像越可能是正常图像而不是异常图像；
其中，所述匹配似然越低，所述医学图像越可能是异常图像而不是正常图像。
9.一种用于对医学图像进行分类的系统，所述系统包括：
图像输入模块，其被配置为将医学图像输入到识别模型中，所述识别模型被配置为：
当输入有正常图像时生成基本上是高斯的属性分布；并且
当输入有异常图像时生成基本上是非高斯的属性分布；
属性分布生成模块，其被配置为由所述识别模型生成与所述医学图像相对应的一个或多个属性分布；
边缘似然生成模块，其被配置为生成对应于样本图像与所述医学图像基本上匹配的似然的边缘似然，所述样本图像是通过由生成模型对所述一个或多个属性分布进行采样而生成的；边缘似然比较模块，其被配置为将所述边缘似然与预定似然阈值进行比较；以及
分类生成模块，其被配置为至少通过以下方式生成分类：
如果所述边缘似然大于或等于所述预定似然阈值，则确定所述医学图像的所述分类为正常；和
如果所述边缘似然小于所述预定似然阈值，则确定所述医学图像的所述分类为异常。
10.一种用于对医学图像进行分类的非瞬时性计算机可读介质，在其上存储有指令，当所述指令被处理器实行时使得所述处理器执行过程，包括：
将医学图像输入到识别模型中，所述识别模型被配置为：
当输入有正常图像时生成基本上是高斯的属性分布；并且
当输入有异常图像时生成基本上是非高斯的属性分布；
由所述识别模型生成与所述医学图像相对应的一个或多个属性分布；
生成对应于样本图像与所述医学图像基本上匹配的似然的边缘似然，所述样本图像是通过由生成模型对所述一个或多个属性分布进行采样而生成的；
将所述边缘似然与预定似然阈值进行比较；以及
至少通过以下步骤生成分类：
如果所述边缘似然大于或等于所述预定似然阈值，则确定所述医学图像的所述分类为正常；和
如果所述边缘似然小于所述预定似然阈值，则确定所述医学图像的所述分类为异常。
CN202011407822.3A 2019-12-20 2020-12-04 用于对医学图像进行分类的系统和方法 Pending CN112508086A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/722,429 2019-12-20
US16/722,429 US11545255B2 (en) 2019-12-20 2019-12-20 Systems and methods for classifying an anomaly medical image using variational autoencoder

Publications (1)

Publication Number Publication Date
CN112508086A true CN112508086A (zh) 2021-03-16

Family

ID=74970196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011407822.3A Pending CN112508086A (zh) 2019-12-20 2020-12-04 用于对医学图像进行分类的系统和方法

Country Status (2)

Country Link
US (1) US11545255B2 (zh)
CN (1) CN112508086A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674254A (zh) * 2021-08-25 2021-11-19 上海联影医疗科技股份有限公司 医学图像异常点识别方法、设备、电子装置和存储介质
CN116052848A (zh) * 2023-04-03 2023-05-02 吉林大学 一种医学成像质控的数据编码方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958712B (zh) * 2023-09-20 2023-12-15 山东建筑大学 基于先验概率分布的图像生成方法、系统、介质及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948117A (zh) * 2019-03-13 2019-06-28 南京航空航天大学 一种对抗网络自编码器的卫星异常检测方法
WO2019220871A1 (ja) * 2018-05-16 2019-11-21 パナソニック株式会社 胸部ｘ線画像の異常表示制御方法、異常表示制御プログラム、異常表示制御装置、及びサーバ装置
CN110506278A (zh) * 2017-04-19 2019-11-26 西门子医疗有限公司 隐空间中的目标检测

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090016579A1 (en) * 2007-07-09 2009-01-15 Synarc, Inc. Method and system for performing quality control of medical images in a clinical trial
US9984283B2 (en) * 2015-02-14 2018-05-29 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for automated detection of abnormalities in medical images
EP3553740A1 (en) * 2018-04-13 2019-10-16 Koninklijke Philips N.V. Automatic slice selection in medical imaging
CN110428475B (zh) * 2019-06-21 2021-02-05 腾讯科技（深圳）有限公司 一种医学图像的分类方法、模型训练方法和服务器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110506278A (zh) * 2017-04-19 2019-11-26 西门子医疗有限公司 隐空间中的目标检测
WO2019220871A1 (ja) * 2018-05-16 2019-11-21 パナソニック株式会社 胸部ｘ線画像の異常表示制御方法、異常表示制御プログラム、異常表示制御装置、及びサーバ装置
CN109948117A (zh) * 2019-03-13 2019-06-28 南京航空航天大学 一种对抗网络自编码器的卫星异常检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JINWON AN: "Variational Autoencoder based Anomaly Detection using Reconstruction Probability", SNU DATA MINING CENTER 2015-2 SPECIAL LECTURE ON IE, 27 December 2015 (2015-12-27), pages 1 - 16 *
TAKASHI MATSUBARA: "Deep Generative Model using Unregularized Score for Anomaly Detection with Heterogeneous Complexity", ARXIV, 4 September 2018 (2018-09-04) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674254A (zh) * 2021-08-25 2021-11-19 上海联影医疗科技股份有限公司 医学图像异常点识别方法、设备、电子装置和存储介质
CN113674254B (zh) * 2021-08-25 2024-05-14 上海联影医疗科技股份有限公司 医学图像异常点识别方法、设备、电子装置和存储介质
CN116052848A (zh) * 2023-04-03 2023-05-02 吉林大学 一种医学成像质控的数据编码方法及系统

Also Published As

Publication number Publication date
US20210193298A1 (en) 2021-06-24
US11545255B2 (en) 2023-01-03

Similar Documents

Publication Publication Date Title
US11210781B2 (en) Methods and devices for reducing dimension of eigenvectors and diagnosing medical images
CN112508086A (zh) 用于对医学图像进行分类的系统和方法
US10013757B2 (en) Classification apparatus for pathologic diagnosis of medical image, and pathologic diagnosis system using the same
WO2019200753A1 (zh) 病变监测方法、装置、计算机设备和存储介质
CN109271958B (zh) 人脸年龄识别方法及装置
US9123095B2 (en) Method for increasing the robustness of computer-aided diagnosis to image processing uncertainties
CN111417980A (zh) 用于椎骨骨折的识别的三维医学图像分析方法和系统
CN111915584B (zh) 一种基于ct影像的病灶随访评估方法及系统
US20190156942A1 (en) Apparatus for assessing medical device quality
US20200111570A1 (en) Systems and methods for verifying medical diagnoses
CN109271957B (zh) 人脸性别识别方法以及装置
CN111462102A (zh) 基于新型冠状病毒肺炎x射线胸片的智能分析系统及方法
CN113781488A (zh) 舌象图像的分割方法、装置及介质
WO2014158345A1 (en) Methods and systems for vessel bifurcation detection
CN111180011A (zh) 一种病灶基因突变的检测方法及装置
CN113168537A (zh) 改进深度神经网络的分割
KR100949893B1 (ko) 텐서 데이터를 이용한 영상 데이터 분류 방법 및 장치
CN109816632B (zh) 脑图像处理方法、装置、可读存储介质及电子设备
Sankaran An improved multipath residual CNN-based classification approach for periapical disease prediction and diagnosis in dental radiography
Naeemi et al. Application of big data analytics for automated estimation of CT image quality
US11526989B2 (en) Medical image processing apparatus, medical image analysis apparatus, and standard image generation program
Dubey et al. Computer-aided abnormality detection in chest radiographs in a clinical setting via domain-adaptation
US11721022B2 (en) Apparatus and method for automated analyses of ultrasound images
Bromée Diffusion models for anomaly detection in digital pathology
Wang AI Adoption in Real-World Clinical Neuroimaging Applications: Practical Challenges and Solutions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination