CN109102490B - 自动图像注册质量评估 - Google Patents

自动图像注册质量评估 Download PDF

Info

Publication number
CN109102490B
CN109102490B CN201810635431.3A CN201810635431A CN109102490B CN 109102490 B CN109102490 B CN 109102490B CN 201810635431 A CN201810635431 A CN 201810635431A CN 109102490 B CN109102490 B CN 109102490B
Authority
CN
China
Prior art keywords
medical
enrollment
registration
new
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810635431.3A
Other languages
English (en)
Other versions
CN109102490A (zh
Inventor
朴仙瑛
D·M·萨金特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN109102490A publication Critical patent/CN109102490A/zh
Application granted granted Critical
Publication of CN109102490B publication Critical patent/CN109102490B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/153—Transformations for image registration, e.g. adjusting or mapping for alignment of images using elastic snapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)

Abstract

在医疗注册系统内执行的医疗注册训练部件对一对医疗研究进行训练医疗注册操作。响应于医疗注册训练部件确定训练医疗注册操作成功，医疗注册训练部件在医疗注册历史中记录用于该对医疗研究的医疗注册实例并且将医疗注册实例标记为医疗注册历史中的正实例。响应于医疗注册训练部件确定训练医疗注册操作需要校正，医疗注册训练部件将用于医疗研究对的医疗注册实例记录在医疗注册历史中，并将医疗注册实例标记为医疗注册历史。医疗注册训练部件使用机器学习基于医疗注册历史来训练故障预测机器学习模型，使得故障预测机器学习模型预测是否需要校正新的医疗注册操作。响应于预测需要校正，该机制采取步骤来自动校正新的医疗注册操作。

Description

自动图像注册质量评估
背景技术
本申请总体上涉及改进的数据处理装置和方法，并且更具体地涉及用于自动图像注册(image registration)质量评估的机制。
图像注册是将不同组数据转换成一个坐标系的过程。数据可能是多张照片，来自不同传感器，时间，深度或视点的数据。它用于计算机视觉，医疗成像，军事自动目标识别，以及编译和分析卫星图像和数据。为了比较或整合从这些不同测量中获得的数据，必须进行注册。
图像注册或图像对准算法可以被分类为基于强度和基于特征的。其中一个图像被称为参考或来源，其他图像则分别被称为目标，感测或主体图像。图像登记涉及在空间上注册目标图像以与参考图像对齐。基于强度的方法通过相关度量来比较图像中的强度模式，而基于特征的方法则找出图像特征(如点，线和轮廓)之间的对应关系。基于强度的方法记录整个图像或子图像。如果子图像被注册，则相应的子图像的中心被视为对应的特征点。基于特征的方法在图像中的许多特别不同的点之间建立对应关系。知道图像中多个点之间的对应关系，基于特征的方法确定将目标图像映射到参考图像的几何变换，从而建立参考图像和目标图像之间的逐点对应关系。
图像注册算法也可以根据它们用于将目标图像空间与参考图像空间相关联的变换模型来分类。第一大类转换模型包括线性转换，其中包括旋转，缩放，平移和其他仿射变换。线性变换本质上是全局性的，因此它们不能模拟图像之间的局部几何差异。第二类转换允许“弹性”或“非刚性”转换。这些转换能够局部扭曲目标图像以与参考图像对齐。非刚性变换包括径向基函数(薄板或曲面样条曲线，多重曲面和紧凑支撑变换)，物理连续模型(粘性流体)和大变形模型(微分同胚(diffeomorphisms))。
可选地，许多用于空间归一化的高级方法建立在结构保持变换同胚和微分同胚之上，因为它们在变换期间平滑地携带平滑的子流形。由于微分同胚不是加性的，所以在现代计算解剖学领域中产生了微分同胚现象，尽管它们形成一个群体，但是在功能组成的定律下是一个群体。出于这个原因，推广添加剂组的想法的流程允许产生保持拓扑的大变形，提供1-1和变换。用于生成这种变换的计算方法通常称为大变形微分同胚度量映射(LDDMM)，它提供微分同胚流作为连接对应于计算解剖学测地线流的坐标系的主要计算工具。
空间方法在图像域中操作，匹配图像中的强度图案或特征。一些特征匹配算法是用于执行手动图像注册的传统技术的产物，其中操作者在图像中选择相应的控制点。当控制点的数量超过定义适当变换模型所需的最小值时，可以使用像随机样本一致性(RANSAC)这样的迭代算法来鲁棒地估计用于图像注册的特定变换类型(例如，仿射)的参数。
频域方法在变换域中工作时找到用于图像注册的变换参数。这些方法适用于简单的转换，例如平移，旋转和缩放。将相位相关方法应用于一对图像产生包含单个峰的第三图像。该峰的位置对应于图像之间的相对平移。与许多空间域算法不同，相位相关方法对噪声，遮挡和医疗或卫星图像典型的其他缺陷具有弹性。此外，相位相关使用快速傅里叶变换来计算两个图像之间的互相关，通常导致较大的性能增益。该方法可以扩展为通过首先将图像转换为对数极坐标来确定两幅图像之间的旋转和缩放差异。由于傅立叶变换的特性，旋转和缩放参数可以以对平移不变的方式确定。
可以在单模式和多模式方法之间进行另一种分类。单模式方法倾向于以相同扫描仪/传感器类型获取的相同模式来注册图像，而多模式注册方法倾向于注册由不同扫描仪/传感器类型获取的图像。多模式注册方法通常用于医疗成像，因为主体的图像经常从不同的扫描仪获得。例子包括用于肿瘤定位的脑部计算机断层摄影/医疗共振成像(CT/MRI)图像或全身正电子发射断层摄影/计算机断层摄影(PET/CT)图像的登记，对比增强CT图像与非造影增强CT用于分割解剖结构的特定部分的图像以及用于放疗中的前列腺定位的超声和CT图像的注册。
注册方法可以基于它们提供的自动化级别进行分类。已经开发了手动，交互式，半自动和自动方法。手动方法提供了手动对齐图像的工具。交互式方法通过自动执行某些关键操作来减少用户偏见，同时仍依赖用户指导注册。半自动方法自动执行更多注册步骤，但取决于用户验证注册的正确性。自动方法不允许任何用户交互并自动执行所有注册步骤。
图像相似性广泛用于医疗成像。图像相似性度量量化了两个图像中强度模式之间的相似度。图像相似性度量的选择取决于要注册的图像的模态。图像相似性度量的常见示例包括互相关，互信息，平方强度差的总和以及比率图像均匀性。互信息和规范化的互信息是用于多模式图像注册的最流行的图像相似性测量。互相关，平方强度差的总和以及比率图像均匀性通常用于以相同模式进行图像注册。许多基于匹配方法的成本函数的新特征已经通过大型变形出现在计算机解剖领域，其中包括测量匹配，它们是没有对应关系的点集或地标，通过数学电流和变化的曲线匹配和曲面匹配。
图像注册具有遥感(制图更新)和计算机视觉中的应用。由于可以应用图像注册的大量应用，因此不可能开发针对所有用途而优化的通用方法。医疗图像注册(对于在不同时间点采集的同一患者的数据，如变化检测或肿瘤监测，或将患者的数据与参考患者或同伴患者进行比较)通常还涉及弹性(也称为非刚性)注册以应对受试者的变形(由于呼吸，解剖变化等)。医疗图像的非刚性注册也可用于将患者的数据注册到解剖图谱，例如用于神经影像学的Talairach图谱。它也用于天体摄影以对齐空间拍摄的图像。使用控制点(自动或手动输入)，计算机对一幅图像执行转换，使主要特征与第二幅图像对齐。图像注册也是全景图像创作的重要部分。有许多不同的技术可以实时实施，并可在相机和照相手机等嵌入式设备上运行。
发明内容
提供本概述是为了以简化的形式介绍概念的选择，这些概念在本文的详细描述中进一步描述。本发明内容并非旨在确定要求保护的主题的关键因素或基本特征，也不旨在用于限制所要求保护的主题的范围。
在一个说明性实施例中，在包括至少一个处理器和至少一个存储器的数据处理系统中提供了一种方法，所述至少一个存储器包括由所述至少一个处理器执行的指令并且将所述至少一个处理器实施医疗注册系统。该方法包括由在医疗注册系统内执行的医疗注册训练部件执行关于一对医疗研究的训练医疗注册操作。这对医疗研究中的每项医疗研究都至少包含一张关于医疗研究的图像和信息。训练医疗注册操作试图将该对医疗研究中的第一医疗研究中的至少一个图像与该对医疗研究中的第二医疗研究中的至少一个图像对齐。该方法还包括响应于医疗注册训练部件确定训练医疗注册操作成功，由医疗注册训练部件在医疗注册历史中记录该对医疗研究的医疗注册实例并且标记医疗注册作为医疗注册历史上的一个正实例。医疗注册历史包括多个医疗注册实例。该方法还包括响应于医疗注册训练部件确定训练医疗注册操作需要校正，由医疗注册训练部件在医疗注册历史中记录该对医疗研究的医疗注册实例并标记医疗注册实例作为医疗注册历史中的负实例。该方法还包括由医疗注册训练部件使用机器学习基于医疗注册历史来训练故障预测机器学习模型，使得故障预测机器学习模型预测是否需要校正新的医疗注册操作。该方法还包括响应于故障预测机器学习模型预测新的医疗注册操作将需要校正，采取步骤来自动校正新的医疗注册操作。
在其他说明性实施例中，提供了一种包括具有计算机可读程序的计算机可用或可读介质的计算机程序产品。计算机可读程序当在计算设备上执行时，使计算设备执行以上关于方法说明性实施例概述的操作的各种操作和操作的组合。
在又一个说明性实施例中，提供了一种系统/装置。该系统/设备可以包括一个或多个处理器和耦合到一个或多个处理器的存储器。存储器可以包括当由一个或多个处理器执行时使得一个或多个处理器执行上面关于方法说明性实施例概述的操作的各种操作和操作的组合的指令。
鉴于本发明的示例性实施例的以下详细描述，本发明的这些和其他特征和优点将被描述或对本领域普通技术人员而言变得显而易见。
附图说明
当结合附图阅读时，通过参考以下对说明性实施例的详细描述，将最好地理解本发明以及优选的实施方式及其进一步的目的和优点，在附图中：
图1是其中可以实现说明性实施例的各方面的分布式数据处理系统的示例图；
图2是其中可以实现说明性实施例的各方面的计算设备的示例框图；
图3是示出根据说明性实施例的具有图像注册，质量评估和校正学习的图片归档和通信系统的框图；
图4是示出根据说明性实施例的用于训练用于图像注册的学习引擎的机构的操作的流程图；
图5是示出根据说明性实施例的图像注册机构的操作的流程图；
图6是示出根据说明性实施例的用于使用分类来预测注册故障的机制的操作的流程图；
图7是示出根据说明性实施例的用于使用回归分析来预测注册故障的机制的操作的流程图；和
图8是说明根据说明性实施例的用于使用群集来确定用于重新注册的初始化点的机制的操作的流程图。
具体实施方式
医疗图像注册是涉及多个大医疗量的耗时过程。批处理和后台处理是处理不同医疗研究中注册的常用方法。大的变形或异常使得自动注册算法难以提供可靠的结果。很难预测注册算法是否成功。没有好的方法来评估注册结果的质量。不成功的注册会使医生感到困惑或者减慢工作进度。解决此问题的一种典型方法是使用手动更正。
说明性实施例提供了用于自动预测和检测注册故障的机制。说明性实施例的机制采取多个步骤来基于学习算法和关键器官分割来自动校正图像注册。
说明性实施例的机制从注册图像历史记录中学习注册故障模式。注册历史可以包括形态，病变大小，病灶类型，切片重叠，手动校正信息，身体部位，患者人口统计学信息，注册度量误差等。根据一个实施例，机制预测该成功/故障的概率注册当前输入。在另一个实施例中，机制搜索手动校正的模式并为注册算法产生不同的初始化点。该机制然后尝试用替代度量重新注册。在一个实施例中，机制执行感兴趣区域(ROI)分析以注册两个卷。一个机制可以在两个方向执行对称注册并检查收敛到同一点。在另一个实施例中，机制使用不同的初始化进行多次注册尝试。另一种机制执行关键器官分割并比较注册卷的位置。
在开始讨论说明性实施例的各个方面之前，首先应该认识到，在整个说明书中，术语“机制”将用于指执行各种操作，功能和本发明的元件的本发明的元件等待。如本文所使用的术语，“机制”可以是设备，过程或计算机程序产品形式的说明性实施例的功能或方面的实现。在程序的情况下，程序由一个或多个设备，部件，计算机，数据处理系统等实现。在计算机程序产品的情况下，由计算机程序产品中或计算机程序产品中包含的计算机代码或指令表示的逻辑由一个或多个硬件设备执行，以实现功能或执行与特定“机制”相关联的操作。因此，本文描述的机制可以被实现为专用硬件，在通用硬件上执行的软件，存储在介质上的软件指令，使得指令容易由专用或通用硬件执行，用于执行功能的过程或方法，或上述任何的组合。
关于说明性实施例的特定特征和元件，本说明书和权利要求可以使用术语“一个”，“至少一个”和“一个或多个”。应该理解的是，这些术语和短语旨在陈述存在于特定说明性实施例中的特定特征或元素中的至少一个，但也可以存在多于一个。也就是说，这些术语/短语不旨在将描述或权利要求限制为存在或要求存在多个这样的特征/元件的单个特征/元件。相反，这些术语/短语仅需要可能多个这样的特征/元素中的至少一个特征/元素，并且在说明书和权利要求的范围内。
此外，应该理解的是，如果在本文中关于描述本发明的实施例和特征的描述中使用术语“组件”，则不旨在限制用于实现和/或执行本发明的任何特定实施方式动作，步骤，过程等，归因于和/或由组件执行。组件可以是但不限于执行指定功能的软件，硬件和/或固件或其任何组合，包括但不限于任何使用通用和/或专用处理器以及适当的软件加载或存储在机器可读存储器中并由处理器执行。此外，除非另外指明，否则与特定组件相关联的任何名称都是为了便于参考的目的，并且不旨在限制于特定实现。另外，归因于组件的任何功能可以由多个组件等同地执行，并入或者与相同或不同类型的另一组件的功能相结合和/或与其组合，或者分布在各种配置的一个或多个组件中。
另外，应该理解的是，以下描述针对说明性实施例的各种元件使用多个各种示例来进一步示出说明性实施例的示例实现并且帮助理解说明性实施例的机制。这些示例意图是非限制性的，并不穷尽用于实现说明性实施例的机制的各种可能性。鉴于本说明书，对于本领域的普通技术人员来说显而易见的是，除了或替代本文提供的示例之外，还可以利用这些各种元件的许多其他替代实施方式，而不脱离本发明的精神和范围。
说明性实施例可以在许多不同类型的数据处理环境中使用。为了提供描述说明性实施例的特定元件和功能的上下文，下面提供图1和图2作为可以实现说明性实施例的各方面的示例环境。应该理解的是，图1和图2仅是示例，并非旨在声明或暗示关于其中可实施本发明的方面或实施例的环境的任何限制。在不脱离本发明的精神和范围的情况下，可以对所描绘的环境进行许多修改。
图1描绘了其中可以实现说明性实施例的各方面的示例分布式数据处理系统的图形表示。分布式数据处理系统100可以包括其中可以实现说明性实施例的各方面的计算机网络。分布式数据处理系统100包含至少一个网络102，其是用于在分布式数据处理系统100内连接在一起的各种设备和计算机之间提供通信链路的介质。网络102可以包括连接，诸如有线，无线通信链路或光纤电缆。
在所描绘的示例中，服务器104和服务器106连同存储单元108一起连接到网络102.另外，客户端110，112和114也连接到网络102.这些客户端110，112和114可以例如是个人计算机，网络计算机等。在所描绘的示例中，服务器104向客户端110，112和114提供诸如引导文件，操作系统映像和应用的数据。在所示示例中，客户端110，112和114是服务器104的客户端。分布式数据处理系统100可以包括附加的服务器，客户端和未示出的其他设备。
在所描述的示例中，分布式数据处理系统100是因特网，其中网络102表示使用传输控制协议/因特网协议(TCP/IP)协议套件来相互通信的网络和网关的全球集合。互联网的核心是主要节点或主计算机之间的高速数据通信线路的骨干，由成千上万路由数据和消息的商业，政府，教育和其他计算机系统组成。当然，分布式数据处理系统100还可以被实现为包括多个不同类型的网络，例如内联网，局域网(LAN)，广域网(WAN)等等。如上所述，尽管图1中的特定元件是作为示例而不是作为本发明的不同实施例的架构限制，并且因此，图1不应被认为是对可以实施本发明的说明性实施例的环境的限制。
如图1所示，一个或多个计算设备(例如服务器104)可以被具体配置为实现用于自动图像注册质量评估的机制。计算设备的配置可以包括提供特定于应用的硬件，固件等以促进本文关于说明性实施例描述的操作的执行和产生。计算设备的配置还可以或可选地包括提供存储在一个或多个存储设备中并加载到诸如服务器104之类的计算设备的存储器中的软件应用，用于使计算设备的一个或多个硬件处理器执行配置处理器的软件应用程序以执行操作并生成关于说明性实施例在本文中描述的输出。此外，在不脱离说明性实施例的精神和范围的情况下，可以使用专用硬件，固件，在硬件上执行的软件应用程序等的任何组合。
应该认识到，一旦计算设备以这些方式中的一种进行配置，计算设备变成专门配置为实现说明性实施例的机制并且不是通用计算设备的专用计算设备。此外，如下文所述，说明性实施例的机制的实现改进了计算设备的功能并且提供了便于自动图像注册质量评估的有用且具体的结果。
如上所述，说明性实施例的机制利用专门配置的计算设备或数据处理系统来执行用于自动图像注册质量评估的操作。这些计算设备或数据处理系统可以包括各种硬件元件，这些硬件元件通过硬件配置，软件配置或者硬件和软件配置的组合来具体配置，以实现这里描述的一个或多个系统/子系统。图2是其中可以实现说明性实施例的各方面的仅仅一个示例数据处理系统的框图。数据处理系统200是诸如图1中的服务器104之类的计算机的示例，其中可以定位和/或执行实现本发明的说明性实施例的过程和方面的计算机可用代码或指令，以实现如本文所述的说明性实施例的操作，输出和外部效果。
在所描绘的示例中，数据处理系统200采用包括北桥(north bridge)和存储器控制器集线器(NB/MCH)202以及南桥(south bridge)和输入/输出(I/O)控制器集线器(SB/ICH)204的集线器架构。处理单元206，主存储器208和图形处理器210连接到NB/MCH 202.图形处理器210可以通过加速图形端口(AGP)连接到NB/MCH 202。
在所描述的例子中，局域网(LAN)适配器212连接到SB/ICH 204.音频适配器216，键盘和鼠标适配器220，调制解调器222，只读存储器(ROM)224，硬盘驱动器(HDD)226，CD-ROM驱动器230，通用串行总线(USB)端口和其他通信端口232以及PCI/PCIe设备234通过总线238和总线240连接到SB/ICH 204.PCI/PCIe设备可以包括，例如，以太网适配器，附加卡和用于笔记本电脑的PC卡。PCI使用卡总线控制器，而PCIe则不使用。ROM 224可以是例如闪存基本输入/输出系统(BIOS)。
HDD 226和CD-ROM驱动器230通过总线240连接到SB/ICH 204。HDD 226和CD-ROM驱动器230可以使用例如集成驱动电子设备(IDE)或串行高级技术附件(SATA)接口。超级I/O(SIO)设备236可以连接到SB/ICH 204。
操作系统在处理单元206上运行。操作系统协调并提供对图2中的数据处理系统200内的各种组件的控制。作为客户端，操作系统可能是商用操作系统，例如
Figure GDA0003155504380000101
。诸如Java TM编程系统的面向对象的编程系统可以与操作系统结合运行，并且从在数据处理系统200上执行的JavaTM程序或应用提供对操作系统的调用。
作为服务器，数据处理系统200可以是例如运行Advanced InteractiveExecutive(AIX)操作系统的IBM eServer TM System计算机系统，基于Power TM处理器的计算机系统等，或者
Figure GDA0003155504380000102
操作系统。数据处理系统200可以是包括处理单元206中的多个处理器的对称多处理器(SMP)系统。或者，可以采用单个处理器系统。
用于操作系统，面向对象的编程系统和应用程序或程序的指令位于诸如HDD 226的存储设备上，并且可以被加载到主存储器208中供处理单元206执行。用于说明本发明的实施例可以由处理单元206使用计算机可用程序代码来执行，该计算机可用程序代码可以位于诸如主存储器208，ROM 224之类的存储器中，或者例如位于一个或多个外围设备226和230中。
总线系统，例如图2所示的总线238或总线240，可以由一个或多个总线组成。当然，总线系统可以使用任何类型的通信结构或体系结构来实现，所述通信结构或体系结构在连接到结构或体系结构的不同组件或设备之间提供数据传输。通信单元，诸如图2的调制解调器222或网络适配器212，可以包括用于发送和接收数据的一个或多个设备。存储器可以是例如主存储器208，ROM 224或诸如在图2中的NB/MCH 202中找到的高速缓存。
如上所述，在一些说明性实施例中，说明性实施例的机制可以被实现为应用专用硬件，固件等，存储在存储设备(例如HDD 226)中的应用软件并且被加载到存储器中，诸如主存储器208，用于由诸如处理单元206等的一个或多个硬件处理器执行。这样，图2中所示的计算设备可以被具体配置为实现说明性实施例的机制，并且具体配置为执行操作并产生下文描述的关于用于自动图像注册质量评估的机制的输出。
本领域的普通技术人员将会理解，图1和2可能会根据实施情况而有所不同。其他内部硬件或外围设备，例如闪存，等效非易失性存储器，或光盘驱动器等等，可以用作附加或代替图1和图2中描述的硬件。此外，在不脱离本发明的精神和范围的情况下，说明性实施例的过程可以应用于除了前面提到的SMP系统之外的多处理器数据处理系统。
此外，数据处理系统200可以采取包括客户端计算设备，服务器计算设备，平板电脑，膝上型计算机，电话或其他通信设备，个人数字助理(PDA)等。在一些说明性示例中，例如，数据处理系统200可以是配置有闪存以提供用于存储操作系统文件和/或用户生成的数据的非易失性存储器的便携式计算设备。基本上，数据处理系统200可以是没有架构限制的任何已知或以后开发的数据处理系统。
图3是示出根据说明性实施例的具有图像注册，质量评估和校正学习的图片归档和通信系统的框图。图像注册训练系统330执行以训练用于一组训练研究310，训练研究1，311，训练研究2，312，…，训练研究N，313的机器学习。术语“研究”是指可以包含一个或更多图像系列。例如，计算机断层扫描(CT)胸部研究可能包含多个图像系列，如预对比度，后对比度等，每个图像系列由覆盖胸部顶部到底部的100个轴向切片组成。
一系列二维(2D)图像可以被组合成三维(3D)图像，其被称为“体积”。医疗图像注册记录被表示为3D体积的两个系列。大多数时候，单个研究中的不同系列不需要注册，因为它们共享医疗中常见的数字图像和通信(DICOM)参考框架。因此，注册两项研究意味着例如将在训练研究1，311中的系列之一注册到训练研究2，312中的系列中。也有可能出现同一研究中的系列必须注册的情况。由于这些过程非常耗时，因此对于图片归档和通信系统(PACS)来说，使用后台批处理将新收到的测试注册到之前的测试非常理想。
该组训练研究310中的每个研究包括研究信息320.在所描绘的示例中，研究信息320包括病灶大小，类型321，人口统计信息322，身体部位/位置估计313，关键器官分割324等，病灶大小，321型，人口统计信息322等可以来自报告，DICOM结构化报告以及图像的DICOM头部。身体部分估计323和关键器官分割324可以通过单独的算法组件完成，这不是本公开的焦点。包括在研究信息320中的其他信息可以包括两个系列之间的模式和切片重叠。
图像登记训练系统330对来自该组训练研究310的一对训练研究进行登记，以形成用于机器学习的基础事实。机器学习是计算机科学的一个子领域，它使计算机能够在没有明确编程的情况下学习。从模式识别和计算学习理论在人工智能中的研究演变而来，机器学习探讨了可以学习和预测数据的算法的研究和构建-这些算法通过从样本输入构建模型来进行数据驱动的预测或决策。在数据分析领域，机器学习是一种用于设计复杂模型和算法的方法，可用于预测。这些分析模型使研究人员，数据科学家，工程师和分析师能够通过从历史关系和数据趋势中学习，生成可靠的，可重复的决策和结果，并发现隐藏的见解。
图像登记训练系统330包括登记组件331，其对来自该组训练研究310的一对训练研究执行登记算法。登记组件331的登记算法是执行用于收敛的迭代过程或用于预定次数的迭代。如果注册成功，则注册训练系统330在数据库350中将该对研究标记为正。存储在数据库350中的其他信息包括两个系列之间的模式和片重叠。
如果存在注册错误332，则用户333执行手动校正，该手动校正包括用户使用允许用户拖拽，旋转等将两个图像系列对齐的某种用户界面对齐图像。在一个实施例中，注册错误332意味着注册没有收敛到预定次数的迭代内的最佳点，或者用户拒绝注册结果。注册训练系统330然后在数据库330中将该对研究标记为负，并且还将用户校正信息与该对训练研究相关联地存储在数据库350中。训练实例包括来自该组训练研究310的一对训练研究，该对研究的相应研究信息320，正或负标签，注册量度以及如果注册故障时的校正信息。因此，数据库350存储包括由登记的研究对组成的多个实例的图像登记的历史。每个实例标记为正或负，其中正实例代表成功注册的一对研究，而负实例代表注册算法执行故障的一对研究。
对于给定的一对测试研究，测试研究1，341和测试研究2，342，注册组件343执行配准算法以将测试研究1，341中的图像或一系列图像与测试研究2中的图像或一系列图像对齐注册组件343输出注册的度量。这些度量可以包括：均方差，平方差和，归一化互相关，互信息，Kullback-Leibler散度，Jensen-Shannon散度等。度量收敛分析组件344对由注册输出的度量执行度量收敛分析组件343.图像注册是使两个系列之间的相似性度量最大化或等价地最小化差异度量的迭代过程。收敛意味着优化找到了相似性度量的局部最优值。这在实践中并不总是发生，因此可以通过检查最终点处的梯度大小，相似性度量值正在改进的速率，所需的迭代次数等来分析收敛。
学习引擎345为注册故障预测组件346提供机器学习，并为重新注册组件347确定不同的初始化点。学习引擎345接收来自度量收敛分析组件344和数据库350的输入并应用来自学习引擎345基于数据库350中的基本事实，来自测试研究1，341和训练研究2，342的输入，以及来自度量收敛分析组件344的输出。应用机器学习来预测注册故障，确定注册故障概率以及确定下面参照图6和图8更详细地描述用于重新注册的不同初始化点。
注册故障概率组件346确定注册组件343的测试研究1，341和测试研究2，342的注册故障的概率。在这种情况下，故障意味着注册算法不会收敛到最佳点，该最优点是未知的，并且只能基于学习引擎345和度量收敛分析组件344进行估计。在一个实施例中，注册故障概率组件346与来自学习引擎345的支持可执行分类算法以将该对测试研究341，342分类为正类别或负类别，其中正类别包括成功注册，并且负类别包括故障注册。下面参照图6进一步详细描述执行分类以预测注册故障的操作。
在另一个示例实施例中，在来自学习引擎345的支持下，注册故障概率组件346可执行回归分析算法以生成故障概率分数。注册故障概率组件346然后可将故障概率得分与阈值进行比较以确定是否预测故障。下面参照图7进一步详细描述执行回归分析以预测注册故障的操作。
如果注册故障概率组件346预测注册故障，则重新注册组件347用注册算法和/或不同度量的不同初始化点执行测试研究1，341和测试研究2，342的重新注册。在一个实施例中，在来自学习引擎345的支持下，重新注册组件347可以执行聚类算法以识别数据库350中与当前测试实例最相似的注册历史训练实例。重新注册组件347然后基于所识别的训练实例来确定不同的初始化点。下面参照图8进一步详细描述执行聚类以确定初始点的操作。
此外，重新注册组件347尝试通过执行感兴趣区域(ROI)分析来注册两个体积，在两个方向上执行对称注册并检查到同一点的收敛，执行关键器官分割并比较注册卷的位置，以不同的初始化进行多次尝试，或上述的组合。重新注册组件随后提供注册结果348并将警报标记设置给用户349。
作为示例，考虑例如两个腹部CT系列之间的故障注册的情况。重新注册组件可以通过以下步骤纠正注册：
1.在两个系列上执行多别名器官分割；
2.使用故障注册的结果将一组器官标签变换到另一组器官标签的空间中；
3.计算注册序列中的相应器官之间的偏移；
4.使用器官偏移来计算对系列间变换的粗略更新；和，
5.使用更新的系列间变换重新执行注册作为初始猜测。
作为另一个例子，考虑在腹部CT和MR系列之间执行交叉模式注册。基于该组合的估计故障概率以及注册终止所需的差收敛/高迭代次数，注册故障概率组件346预测注册故障。数据库350中的负实例包括通常需要校正这种类型的故障注册的使用动作的记录。例如，旋转分量可能是正确的，但通常存在沿着上下轴线错误翻译。因此，重新注册组件347通过用多个起点重新初始化注册算法来校正问题，所述多个起点沿着超下轴线变换所述翻译并且选择最佳收敛结果作为最终登记。
图4是示出根据说明性实施例的用于训练用于图像注册的学习引擎的机构的操作的流程图。操作开始(框400)，并且该机制考虑下一个(第一)训练实例(框401)。训练示例包括一对训练研究。一项研究是一项可能包含多个图像系列的测试。一系列2D图像可以组合成3D图像，称为体积。每项研究还包括研究信息，其中可能包括形态(例如，计算机断层扫描，医疗共振成像，x射线等)，病灶大小，病变类型，身体部位，位置估计，病人人口统计信息，关键器官分割等。该机制对这对研究执行图像注册算法(框402)。
该机制然后确定注册是否存在故障(方框402)。在训练中，故障是基于用户对结果的拒绝；然而，故障也可能基于注册算法产生的错误。如果注册不失败，则该机制将训练实例标记为正实例(框404)并将相关信息记录在数据库中(框405)。相关信息可能包括上述研究信息以及注册算法输出的指标。该机制确定当前训练实例是否是最后一个训练实例(框406)。如果当前训练实例不是最后训练实例，则操作返回到框401以考虑下一训练实例。
如果在框403中注册失败，则该机制将当前训练实例标记为否定实例(框407)。接下来，用户执行注册的手动校正(方框408)，并且该机制记录校正(方框409)。操作进行到框405以记录其他相关信息，并且该机制确定当前训练实例是否是最后训练实例(框406)。
如果当前训练实例是框409中的最后一个训练实例，则该机制基于训练实例和记录的信息训练机器学习模型(框410)。此后，操作结束(框411)。如上所述，机器学习模型可以是分类器，回归分析模型或聚类模型。在一个实施例中，机器学习模型使用分类算法来预测一对研究的测试实例的注册是否会失败。在另一示例实施例中，机器学习模型使用回归分析来生成注册故障概率分数。在另一个示例实施例中，机器学习模型使用聚类算法来确定最像当前测试实例的训练实例。
图5是示出根据说明性实施例的用于图像注册的机制的操作的流程图。操作开始(框500)，并且该机制执行一对研究的注册(框501)。该机制然后执行度量收敛分析(框502)，并基于关于使用机器学习模型的注册算法输出的研究对和度量的相关信息来预测成功/故障(框503)。该机制确定预测是成功还是故障(方框504)。
如果机制确定预测是成功的，则该机制向用户呈现注册结果(框505)并确定用户是否接受注册结果(框506)。如果用户接受注册结果，则操作结束(框507)。
如果该机制在框504中确定预测失败或者用户不接受框506中的注册结果，则该机制确定用于注册算法的多个起始点(框508)。在一个实施例中，该机制基于关于由注册算法使用机器学习模型输出的研究对和度量的相关信息来确定注册算法的多个起点。该机制然后从多个起点执行重新注册(方框509)并选择最佳收敛结果(方框510)。该机制向用户呈现注册结果(方框511)，并且操作结束(方框507)。
图6示出根据说明性实施例的用于使用分类来预测注册故障的机制的操作的流程图。在机器学习和统计中，分类是根据包含已知类别成员的观察结果(或实例)的一组训练数据来确定新观察所属的一组类别(亚群)中的哪一个的问题。在机器学习的术语中，分类被认为是监督式学习的一个实例，即在正确识别的观察的训练集可用的情况下学习。相应的无监督程序被称为聚类，并且涉及基于一些内在相似性或距离的度量将数据分组成类别。
通常，单独的观察被分析成一组可量化的特性，其作为解释变量或特征不同地已知。这些属性可以不同地是分类的(例如血型的“A”，“B”，“AB”或“O”)，序数(例如“大”，“中”或“小”)，整数(例如，电子邮件中特定词的出现次数)或实值(例如，血压的测量值)。其他分类器通过相似性或距离函数将观测结果与以前的观测结果进行比较来发挥作用。实现分类的算法，特别是在具体实现中，被称为分类器。
操作开始(框600)，并且该机制收集一对研究的相关信息(框601)。该机制为该研究对的当前实例生成特征向量，该研究对的相关信息以及由注册算法输出的量度(块602)。然后该机制应用机器学习模型以基于当前实例的特征向量将该对研究分类为正或负实例(框603)。之后，操作结束(框604)。
图7示出根据说明性实施例的用于使用回归分析来预测注册故障的机制的操作的流程图。在统计建模中，回归分析是估计变量之间关系的统计过程。当关注于因变量与一个或多个独立变量(或“预测变量”)之间的关系时，它包含许多用于建模和分析多个变量的技术。更具体地说，回归分析有助于理解当自变量中的任何一个变化时，因变量(或“标准变量”)的典型值如何变化，而其他自变量保持固定。通常，回归分析估计给定自变量的因变量的条件期望-即自变量固定时因变量的平均值。不太常见的是，重点在于给定自变量的因变量的条件分布的分位数或其他位置参数。在所有情况下，估计目标都是称为回归函数的独立变量的函数。在回归分析中，还有利于表征因变量围绕回归函数的变化，可以用概率分布来描述。一个相关但不同的方法是必要条件分析(NCA)，它为自变量(天花板线而不是中心线)的给定值估计因变量的最大值(而非平均值)，以便确定独立变量的什么样的值对于因变量的给定值是必要但不充分。
回归分析被广泛用于预估和预测，其中它的使用与机器学习领域具有实质性重叠，如在本案例中那样。回归分析还用于了解独立变量中的哪些与因变量相关，并探究这些关系的形式。在有限的情况下，回归分析可以用来推断独立变量和因变量之间的因果关系。
已经开发了许多用于进行回归分析的技术。线性回归和普通最小二乘回归等熟悉的方法是参数化的，因为回归函数是根据从数据估计的有限数量的未知参数定义的。非参数回归是指允许回归函数位于指定的一组函数中的技术，其可以是无限维的。
回归分析方法在实践中的表现取决于数据生成过程的形式，以及它如何与正在使用的回归方法相关。由于数据生成过程的真实形式通常是未知的，因此回归分析在某种程度上通常取决于对这一过程进行假设。如果有足够数量的数据可用，这些假设有时可测试。回归模型的预测通常是有用的，即使这些假设是适度违反的，尽管它们可能无法达到最佳效果。
从狭义上讲，与分类中使用的离散响应变量相反，回归可具体指连续响应变量的估计。连续输出变量的情况可以更具体地称为度量回归以将其与相关问题区分开来。
操作开始(框700)，并且该机制收集一对研究的相关信息(框701)。该机制为该研究对的当前实例生成特征向量，该研究对的相关信息以及由注册算法输出的量度(块702)。该机制然后应用机器学习模型来基于当前实例的特征向量生成该对研究的故障概率值(方框703)。在一个示例性实施例中，故障概率值可以是0与1之间或0与100之间的数字。
该机制然后确定故障概率值是否大于阈值(方框704)。如果故障概率值不大于阈值，则机制预测回归没有失败并且将当前实例分类为正(成功)(框705)。此后，操作结束(框706)。
如果在框704中故障概率值大于阈值，则该机制预测回归确实失败并且将当前实例分类为负(故障)(框707)。此后，操作结束(框706)。
图8是说明根据说明性实施例的用于使用集群来确定用于重新注册的初始化点的机制的操作的流程图。聚类分析或聚类是以一种方式对一组对象进行分组的任务，即同一组中的对象(称为聚类)在某种意义上或另一种意义上比其他组(聚类)中的对象更为相似。它是探索性数据挖掘的主要任务，也是统计数据分析的常用技术，应用于机器学习，模式识别，图像分析，信息检索，生物信息学，数据压缩和计算机图形等许多领域。
不能精确定义“集群”(cluster)的概念，这是存在如此多的聚类算法的原因之一。存在一个共同点：一组数据对象。然而，不同的研究人员采用不同的聚类模型，并且对于这些聚类模型中的每一个，都可以给出不同的算法。不同算法发现的群集概念在其属性上有很大不同。了解这些聚类模型是理解各种算法之间差异的关键。典型的聚类模型包括：连通性模型，质心模型，分布模型，密度模型，子空间模型，组模型和基于图形的模型。聚类本质上是一组这样的聚类，通常包含数据集中的所有对象。此外，它还可以指定集群之间的关系，例如，彼此嵌套的集群层次。聚类可以大致区分为：
·硬聚类：每个对象属于一个聚类或不属于；要么，
·软聚类(还有：模糊聚类)：每个对象属于每个聚类达到一定程度(例如，属于该聚类的可能性)。
操作开始(框800)，并且该机制对研究对和历史实例执行聚类(框801)。在此过程中，该机制基于关于研究对的相关信息(例如，形态，病灶大小，病变类型，切片重叠，身体部位，人口统计信息等)识别与当前实例最相似的聚类或历史实例组。注册度量等。该机制可以基于上述相关信息为研究对生成一组相关特征，并对该组相关特征执行聚类操作。该机制然后识别集群中最相似的否定训练实例的手动校正(方框802)。该机制还识别研究对和集群中最相似的正实例之间的差异(方框803)。该机制然后基于所识别的手动校正和差异来确定多个起点(方框804)。此后，操作结束(框805)。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是--但不限于--电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言-诸如Java、Smalltalk、C++等，以及常规的过程式编程语言-诸如″C″语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络-包括局域网(LAN)或广域网(WAN)-连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
如上所述，应该理解，说明性实施例可以采取完全硬件实施例，完全软件实施例或包含硬件和软件元素的实施例的形式。在一个示例实施例中，说明性实施例的机制以软件或程序代码实现，其包括但不限于固件，常驻软件，微代码等。
适用于存储和/或执行程序代码的数据处理系统将包括通过例如系统总线等通信总线直接或间接耦合到存储器元件的至少一个处理器。存储器元件可以包括在程序代码的实际执行期间使用的本地存储器，大容量存储器和提供至少一些程序代码的临时存储的高速缓存存储器，以便减少在执行期间必须从大容量存储器检索代码的次数。存储器可以是各种类型，包括但不限于ROM，PROM，EPROM，EEPROM，DRAM，SRAM，闪存，固态存储器等。
输入/输出或I/O设备(包括但不限于键盘，显示器，指示设备等)可直接或通过中间有线或无线I/O接口和/或控制器耦合到系统，或类似的。除了传统的键盘，显示器，指示设备等之外，I/O设备可以采取许多不同形式，例如通过有线或无线连接耦合的通信设备，包括但不限于智能电话，平板电脑，触摸屏设备，语音识别设备等。任何已知或以后开发的I/O设备都旨在处于说明性实施例的范围内。
网络适配器还可以耦合到系统以使得数据处理系统能够通过中介专用或公共网络而耦合到其他数据处理系统或远程打印机或存储设备。调制解调器，电缆调制解调器和以太网卡只是当前可用的有线通信网络适配器类型中的几个。也可以使用基于无线通信的网络适配器，包括但不限于802.11a/b/g/n无线通信适配器，蓝牙无线适配器等。任何已知的或以后开发的网络适配器均旨在处于本发明的精神和范围内。
已经出于说明和描述的目的呈现了本发明的描述，并且不旨在穷尽或限制以所公开的形式的本发明。在不脱离所描述的实施例的范围和精神的情况下，许多修改和变化对于本领域的普通技术人员来说将是显而易见的。选择和描述实施例是为了最好地解释本发明的原理，实际应用，并且使本领域的其他普通技术人员能够理解具有适合于预期的特定用途的各种修改的各种实施例的本发明。选择此处使用的术语是为了最好地解释实施例的原理，实际应用或技术改进而不是技术上对市场上发现的技术的改进，或者使本领域的其他普通技术人员能够理解本文公开的实施例。

Claims (20)

1.一种在包括至少一个处理器和至少一个存储器的数据处理系统中的方法，所述至少一个存储器包括由所述至少一个处理器执行的指令并且配置所述至少一个处理器以实现医疗注册系统，该方法包括：
由在医疗注册系统内执行的医疗注册训练部件执行关于一对医疗研究的训练医疗注册操作，其中该对医疗研究中的每个医疗研究包括至少一个图像和关于医疗研究的信息，其中所述训练医疗注册操作试图将该对医疗研究中的第一医疗研究中的至少一个图像与该对医疗研究中的第二医疗研究中的至少一个图像对齐；
响应于所述医疗注册训练部件确定所述训练医疗注册操作成功，由所述医疗注册训练部件在医疗注册历史中记录所述一对医疗研究的医疗注册实例并将所述医疗注册实例在医疗注册历史中标记为正实例，其中所述医疗注册历史包括多个医疗注册实例；
响应于所述医疗注册训练部件确定所述训练医疗注册操作需要校正，由所述医疗注册训练部件在所述医疗注册历史中记录所述一对医疗研究的医疗注册实例并且将所述医疗注册实例在所述医疗注册历史中标记为负实例；
由医疗注册训练部件使用机器学习基于医疗注册历史来对故障预测机器学习模型进行训练，使得所述故障预测机器学习模型预测新的医疗注册操作是否将需要校正；和
响应于故障预测机器学习模型预测新的医疗注册操作将需要校正，采取步骤来自动校正所述新的医疗注册操作。
2.根据权利要求1所述的方法，其中关于医疗研究的信息包括关于模态、病灶大小、病灶类型、切片重叠、身体部位、关于患者的人口统计信息、疾病史、造影剂的使用以及成像协议。
3.如权利要求1所述的方法，还包括：
执行新的医疗注册操作；和
对新的医疗注册操作的结果进行度量收敛分析；
其中所述故障预测机器学习模型基于所述度量收敛分析的结果来预测所述新的医疗注册操作是否将需要校正。
4.根据权利要求1所述的方法，其中所述故障预测机器学习模型包括分类器模型，其中预测所述新的医疗注册操作是否需要校正包括：
基于医疗注册操作的结果和关于正在执行新的医疗注册操作的一对医疗研究的信息，生成用于新的医疗注册操作的特征向量；和
将所述分类器模型应用于所述特征向量以将新医疗注册操作分类为正实例或负实例。
5.根据权利要求1所述的方法，其中所述故障预测机器学习模型包括回归模型，其中预测所述新的医疗注册操作是否将需要校正包括：
基于医疗注册操作的结果和关于正在执行新的医疗注册操作的一对医疗研究的信息，生成用于新的医疗注册操作的特征向量；
将回归模型应用于特征向量以生成故障概率值；
将故障概率值与阈值进行比较；
响应于所述故障概率值不大于所述阈值，预测所述新的医疗注册操作将不需要校正；和
响应于故障概率值大于阈值，预测所述新的医疗注册操作将需要校正。
6.根据权利要求1所述的方法，其中采取步骤来自动校正所述新的医疗注册操作包括执行感兴趣区域ROI分析以注册两个容积、在两个方向上执行对称注册以及检查到同一点的收敛中的至少一个，或执行关键器官分割和比较注册卷的位置。
7.如权利要求1所述的方法，还包括：
响应于确定训练医疗注册操作需要校正，记录校正训练医疗注册操作所需的动作；和
使用机器学习基于医疗注册历史来训练重新注册机器学习模型，使得重新注册机器学习模型识别用于新的医疗注册操作的多个初始化点。
8.如权利要求7所述的方法，还包括：
执行新的医疗注册操作；和
响应于预测新的医疗注册操作将需要校正的故障预测机器学习模型，将重新注册机器学习模型应用于新的医疗注册操作，以识别医疗注册历史中的类似于新的医疗注册操作的医疗注册实例的集群；和
识别校正医疗注册实例集群内负实例的医疗注册操作所需的操作，
其中采取步骤来自动校正所述新的医疗注册操作包括基于所识别的动作确定用于所述新的医疗注册操作的所述多个初始化点。
9.根据权利要求8所述的方法，还包括识别所述新的医疗注册操作与所述医疗注册实例集群内的正实例之间的差异，其中采取步骤以自动校正所述新的医疗注册操作包括基于所确定的差异为所述新的医疗注册操作确定多个初始化点。
10.根据权利要求1所述的方法，其中采取步骤来自动校正所述新的医疗注册操作包括：
确定新的医疗注册操作的多个初始化点；
从多个初始化点执行新的医疗注册操作的重新注册；和
从多个初始化点中选择重新注册的最佳收敛结果。
11.一种计算机可读存储介质，所述计算机可读存储介质具有存储在其中的计算机可读程序，其中所述计算机可读程序当在计算设备上执行时使所述计算设备实现医疗注册系统，其中所述计算机可读程序使得该计算设备：
由在医疗注册系统内执行的医疗注册训练部件执行关于一对医疗研究的训练医疗注册操作，其中该对医疗研究中的每个医疗研究包括至少一个图像和关于医疗研究的信息，其中所述训练医疗注册操作试图将该对医疗研究中的第一医疗研究中的至少一个图像与该对医疗研究中的第二医疗研究中的至少一个图像对齐；
响应于所述医疗注册训练部件确定所述训练医疗注册操作成功，由所述医疗注册训练部件在医疗注册历史中记录所述一对医疗研究的医疗注册实例并将所述医疗注册实例在医疗注册历史中标记为正实例，其中所述医疗注册历史包括多个医疗注册实例；
响应于所述医疗注册训练部件确定所述训练医疗注册操作需要校正，由所述医疗注册训练部件在所述医疗注册历史中记录所述一对医疗研究的医疗注册实例并且将所述医疗注册实例在所述医疗注册历史中标记为负实例；
由医疗注册训练部件使用机器学习基于医疗注册历史来对故障预测机器学习模型进行训练，使得所述故障预测机器学习模型预测新的医疗注册操作是否将需要校正；和
响应于故障预测机器学习模型预测新的医疗注册操作将需要校正，采取步骤来自动校正所述新的医疗注册操作。
12.根据权利要求11所述的计算机可读存储介质，其中关于医疗研究的信息包括关于模态、病灶大小、病灶类型、切片重叠、身体部位、关于患者的人口统计信息、疾病史、造影剂的使用以及成像协议。
13.根据权利要求11所述的计算机可读存储介质，其中所述计算机可读程序进一步包括使得所述计算设备：
执行新的医疗注册操作；和
对新的医疗注册操作的结果进行度量收敛分析；
其中所述故障预测机器学习模型基于所述度量收敛分析的结果来预测所述新的医疗注册操作是否将需要校正。
14.根据权利要求11所述的计算机可读存储介质，其中所述故障预测机器学习模型包括分类器模型，其中预测所述新的医疗注册操作是否需要校正包括：
基于医疗注册操作的结果和关于正在执行新的医疗注册操作的一对医疗研究的信息，生成用于新的医疗注册操作的特征向量；和
将所述分类器模型应用于所述特征向量以将新医疗注册操作分类为正实例或负实例。
15.根据权利要求11所述的计算机可读存储介质，其中所述故障预测机器学习模型包括回归模型，其中预测所述新的医疗注册操作是否将需要校正包括：
基于医疗注册操作的结果和关于正在执行新的医疗注册操作的一对医疗研究的信息，生成用于新的医疗注册操作的特征向量；
将回归模型应用于特征向量以生成故障概率值；
将故障概率值与阈值进行比较；
响应于所述故障概率值不大于所述阈值，预测所述新的医疗注册操作将不需要校正；和
响应于故障概率值大于阈值，预测所述新的医疗注册操作将需要校正。
16.根据权利要求11所述的计算机可读存储介质，其中采取步骤来自动校正所述新的医疗注册操作包括执行感兴趣区域ROI分析以注册两个容积、在两个方向上执行对称注册以及检查到同一点的收敛中的至少一个，或执行关键器官分割和比较注册卷的位置。
17.根据权利要求11所述的计算机可读存储介质，其中所述计算机可读程序进一步使得所述计算设备：
响应于确定训练医疗注册操作需要校正，记录校正训练医疗注册操作所需的动作；和
使用机器学习基于医疗注册历史来训练重新注册机器学习模型，使得重新注册机器学习模型识别用于新的医疗注册操作的多个初始化点。
18.根据权利要求17所述的计算机可读存储介质，其中所述计算机可读程序进一步使得所述计算设备：
执行新的医疗注册操作；和
响应于预测新的医疗注册操作将需要校正的故障预测机器学习模型，将重新注册机器学习模型应用于新的医疗注册操作，以识别医疗注册历史中的类似于新的医疗注册操作的医疗注册实例的集群；和
识别校正医疗注册实例集群内负实例的医疗注册操作所需的操作，
其中采取步骤来自动校正所述新的医疗注册操作包括基于所识别的动作确定用于所述新的医疗注册操作的所述多个初始化点。
19.根据权利要求11所述的计算机可读存储介质，其中采取步骤来自动校正所述新的医疗注册操作包括：
确定新的医疗注册操作的多个初始化点；
从多个初始化点执行新的医疗注册操作的重新注册；和
从多个初始化点中选择重新注册的最佳收敛结果。
20.一种装置，包括：
至少一个处理器；和
耦合到所述至少一个处理器的存储器，其中所述存储器包括指令，所述指令在由所述至少一个处理器执行时致使所述至少一个处理器实现医疗注册系统，其中所述指令致使所述至少一个处理器：
由在医疗注册系统内执行的医疗注册训练部件执行关于一对医疗研究的训练医疗注册操作，其中该对医疗研究中的每个医疗研究包括至少一个图像和关于医疗研究的信息，其中所述训练医疗注册操作试图将该对医疗研究中的第一医疗研究中的至少一个图像与该对医疗研究中的第二医疗研究中的至少一个图像对齐；
响应于所述医疗注册训练部件确定所述训练医疗注册操作成功，由所述医疗注册训练部件在医疗注册历史中记录所述一对医疗研究的医疗注册实例并将所述医疗注册实例在医疗注册历史中标记为正实例，其中所述医疗注册历史包括多个医疗注册实例；
响应于所述医疗注册训练部件确定所述训练医疗注册操作需要校正，由所述医疗注册训练部件在所述医疗注册历史中记录所述一对医疗研究的医疗注册实例并且将所述医疗注册实例在所述医疗注册历史中标记为负实例；
由医疗注册训练部件使用机器学习基于医疗注册历史来对故障预测机器学习模型进行训练，使得所述故障预测机器学习模型预测新的医疗注册操作是否将需要校正；和
响应于故障预测机器学习模型预测新的医疗注册操作将需要校正，采取步骤来自动校正所述新的医疗注册操作。
CN201810635431.3A 2017-06-21 2018-06-20 自动图像注册质量评估 Active CN109102490B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/629254 2017-06-21
US15/629,254 US10424045B2 (en) 2017-06-21 2017-06-21 Machine learning model for automatic image registration quality assessment and correction

Publications (2)

Publication Number Publication Date
CN109102490A CN109102490A (zh) 2018-12-28
CN109102490B true CN109102490B (zh) 2022-03-01

Family

ID=62812495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810635431.3A Active CN109102490B (zh) 2017-06-21 2018-06-20 自动图像注册质量评估

Country Status (4)

Country Link
US (1) US10424045B2 (zh)
JP (1) JP7034013B2 (zh)
CN (1) CN109102490B (zh)
GB (1) GB2564939B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10417737B2 (en) * 2017-06-21 2019-09-17 International Business Machines Corporation Machine learning model for automatic image registration quality assessment and correction
US10817997B2 (en) * 2017-09-11 2020-10-27 Mx Technologies, Inc. Propensity model based optimization
US11514591B2 (en) * 2018-05-11 2022-11-29 Intuitive Surgical Operations, Inc. Systems and methods related to registration for image guided surgery
CN109409425B (zh) * 2018-10-09 2021-06-15 宁波大学 一种基于近邻成分分析的故障类型识别方法
US10957442B2 (en) * 2018-12-31 2021-03-23 GE Precision Healthcare, LLC Facilitating artificial intelligence integration into systems using a distributed learning platform
CN109918291A (zh) * 2019-01-17 2019-06-21 深圳壹账通智能科技有限公司 软件界面检测方法、装置、计算机设备及存储介质
CN110288577A (zh) * 2019-06-20 2019-09-27 翼健(上海)信息科技有限公司 一种3d实现多器官病灶整合的控制方法及控制装置
US11436470B2 (en) * 2019-09-13 2022-09-06 Kyndryl, Inc. Generating simulated image training data
CN111242877A (zh) * 2019-12-31 2020-06-05 北京深睿博联科技有限责任公司 乳腺x射线影像配准方法和装置
US11848097B2 (en) 2020-12-17 2023-12-19 Evicore Healthcare MSI, LLC Machine learning models for automated request processing
CN113707289B (zh) * 2021-07-16 2023-11-10 联影智能医疗科技(北京)有限公司 医学人工智能平台及其搭建方法
CN113660128B (zh) * 2021-08-20 2023-10-20 北京神州新桥科技有限公司 网络设备故障预测方法、电子设备及存储介质
US11941825B2 (en) * 2021-10-28 2024-03-26 Canon Medical Systems Corporation Method and apparatus for registering image volumes
US20230281789A1 (en) * 2022-03-04 2023-09-07 Siemens Healthcare Gmbh Image quality assessment for refinement of imaging rendering parameters for rendering medical images

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5351311A (en) * 1992-07-28 1994-09-27 The United States Of America As Represented By The Secretary Of The Navy Neural network for detection and correction of local boundary misalignments between images
CN1830004A (zh) * 2003-06-16 2006-09-06 戴纳皮克斯智能成像股份有限公司 凝胶电泳图像的分割和数据挖掘
US7545965B2 (en) * 2003-11-10 2009-06-09 The University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
CN104361328A (zh) * 2014-11-21 2015-02-18 中国科学院重庆绿色智能技术研究院 一种基于自适应多列深度模型的人脸图像正规化方法
CN105844582A (zh) * 2015-01-15 2016-08-10 北京三星通信技术研究有限公司 3d图像数据的注册方法和装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1588328B1 (en) * 2003-01-13 2017-08-16 Koninklijke Philips N.V. A method of image registration and medical image data processing apparatus
US7876938B2 (en) 2005-10-06 2011-01-25 Siemens Medical Solutions Usa, Inc. System and method for whole body landmark detection, segmentation and change quantification in digital images
WO2007054864A1 (en) * 2005-11-14 2007-05-18 Koninklijke Philips Electronics N.V. A method, a system and a computer program for volumetric registration
US20090069665A1 (en) 2007-09-11 2009-03-12 Siemens Medical Solutions Usa, Inc. Automatic Lesion Correlation in Multiple MR Modalities
WO2009109874A1 (en) 2008-03-07 2009-09-11 Koninklijke Philips Electronics N.V. Ct surrogate by auto-segmentation of magnetic resonance images
WO2012154216A1 (en) * 2011-05-06 2012-11-15 Sti Medical Systems, Llc Diagnosis support system providing guidance to a user by automated retrieval of similar cancer images with user feedback
US8958614B2 (en) 2011-11-28 2015-02-17 Siemens Medical Solutions Usa, Inc. Image-based detection using hierarchical learning
RU2014140480A (ru) 2012-03-08 2016-04-27 Конинклейке Филипс Н.В. Интеллектуальный выбор ориентиров для повышения точности совмещения при слиянии изображений, полученных различными устройствами
JP5941782B2 (ja) * 2012-07-27 2016-06-29 株式会社日立ハイテクノロジーズ マッチング処理装置、マッチング処理方法、及びそれを用いた検査装置
WO2014144019A1 (en) * 2013-03-15 2014-09-18 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for real-time 2d/3d deformable registration using metric learning
EP3063734A1 (en) * 2013-10-30 2016-09-07 Koninklijke Philips N.V. Assisting apparatus for assisting in registering an imaging device with a position and shape determination device
US9767565B2 (en) * 2015-08-26 2017-09-19 Digitalglobe, Inc. Synthesizing training data for broad area geospatial object detection
CN106548127B (zh) * 2015-09-18 2022-11-04 松下电器（美国）知识产权公司 图像识别方法
US10176567B2 (en) * 2015-12-21 2019-01-08 Canon Kabushiki Kaisha Physical registration of images acquired by Fourier Ptychography
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5351311A (en) * 1992-07-28 1994-09-27 The United States Of America As Represented By The Secretary Of The Navy Neural network for detection and correction of local boundary misalignments between images
CN1830004A (zh) * 2003-06-16 2006-09-06 戴纳皮克斯智能成像股份有限公司 凝胶电泳图像的分割和数据挖掘
US7545965B2 (en) * 2003-11-10 2009-06-09 The University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
CN104361328A (zh) * 2014-11-21 2015-02-18 中国科学院重庆绿色智能技术研究院 一种基于自适应多列深度模型的人脸图像正规化方法
CN105844582A (zh) * 2015-01-15 2016-08-10 北京三星通信技术研究有限公司 3d图像数据的注册方法和装置

Also Published As

Publication number Publication date
US10424045B2 (en) 2019-09-24
GB2564939B (en) 2020-07-15
GB2564939A (en) 2019-01-30
US20180374193A1 (en) 2018-12-27
JP2019005566A (ja) 2019-01-17
JP7034013B2 (ja) 2022-03-11
GB201808731D0 (en) 2018-07-11
CN109102490A (zh) 2018-12-28

Similar Documents

Publication Publication Date Title
CN109102490B (zh) 自动图像注册质量评估
US10679325B2 (en) Machine learning model for automatic image registration quality assessment and correction
US11443428B2 (en) Systems and methods for probablistic segmentation in anatomical image processing
US10482600B2 (en) Cross-domain image analysis and cross-domain image synthesis using deep image-to-image networks and adversarial networks
US11593943B2 (en) RECIST assessment of tumour progression
Candemir et al. Training strategies for radiology deep learning models in data-limited scenarios
WO2021140426A1 (en) Uncertainty guided semi-supervised neural network training for image classification
US20170116497A1 (en) Intelligent Multi-scale Medical Image Landmark Detection
US10692602B1 (en) Structuring free text medical reports with forced taxonomies
US10706534B2 (en) Method and apparatus for classifying a data point in imaging data
CN111709485B (zh) 医学影像处理方法、装置和计算机设备
US9355449B2 (en) System and method for automatic planning of two-dimensional views in 3D medical images
US20220051060A1 (en) Methods for creating privacy-protecting synthetic data leveraging a constrained generative ensemble model
CN113168912B (zh) 使用深度学习确定3d数据集中对象的增长速度
Platero et al. A multiatlas segmentation using graph cuts with applications to liver segmentation in CT scans
CN114266896A (zh) 图像标注方法、模型训练方法及装置、电子设备、介质
US20230274436A1 (en) Automated Medical Image and Segmentation Quality Assessment for Machine Learning Tasks
WO2023104464A1 (en) Selecting training data for annotation
Graves et al. Siamese pyramidal deep learning network for strain estimation in 3D cardiac cine-MR
CN115527655A (zh) 提供第二结果数据集的方法、系统和计算机可读存储介质
Lakshmi Cardiac function review by machine learning approaches
US20230298136A1 (en) Deep learning multi-planar reformatting of medical images
Achuthan et al. Prior Integrated Segmentation for Brain Structures: A Review.
Hernandez Deep Learning for Medical Image Segmentation in MRI Scans: Implements deep learning techniques for accurate segmentation of structures in MRI scans
Muhirwa A Generative Approach to Simultaneous Diffeomorphic Registration and Lesion Segmentation of Neuroimages

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant