实施例可以提供一种系统,所述系统可以利用超像素水平的基于机器学习的模型来估计每个像素在准直边界上的概率。通过使用从大训练数据集中所学习到的信息,可以得出边缘图,其比非监督式方法更准确。在得出边缘图后,可以使用经扩展的霍夫变换模型以通过考虑局部梯度和边缘图而提取具有不同较亮侧的直线,并且因此可以在一些约束的情况下提取最优四边形,其可以对应于非准直图像的边界,所述非准直图像然后可以由系统裁剪,要么作为医学设备本身的部分,要么作为在图像处理的某个稍后阶段处的后捕获(post-capture)。
图1图示出根据实施例的图示了用于自动化感兴趣区域检测的方法的主要步骤的流程图。在实施例中,所述方法可以结合到医学成像器、诸如数字x射线机器中,使得已经直接从医学成像器获取101的一个或多个医学图像可以输入到方法中。在替代实施例中,所述一个或多个待处理的医学图像可以通过包含一个或多个先前取得的医学图像的外部数据库而接收到系统中102。图2示出了在应用感兴趣区域方法之前的样本x射线图像200。图像是髋臼(hip socket)的,并且具有非均匀的准直,这通过与较浅测试床202邻接的较暗图像区域204证实。图像200具有图像边界203。如上所述,由于一个或多个医学植入物201的存在,在先的感兴趣区域检测方法传统上对于诸如图2中所图示的图像来说是不准确的,所述医学植入物产生暗图像,所述暗图像可能增加伪边缘检测的风险。类似地,图7示出了在应用用于感兴趣区域检测的方法之前的另一样本x射线图像,并且包括图像的准直部分700和非准直部分701,其将最终被标识为感兴趣的区域。
不管医学图像如何被输入到系统中,改进的感兴趣区域方法可以包括两个主要的图像处理组成部分(component):基于学习的边缘图估计和通过经扩展的灰度霍夫变换的最优四边形检测。创建基于学习的边缘图可以涉及关于每个像素处于ROI的边界上的概率的估计。最优四边形的检测可以涉及当在一些形状约束下时在所创建的边缘图内检测四条直线的最优组,其然后可以成为最终将被标识为ROI的所检测的最优四边形的四个边。
基于学习的边缘图估计
给定输入医学图像,可以通过如下四个步骤来计算其边缘图:
1.可以使用超像素化方法来过分割图像,其可以导致超像素集合S,103。
2.通过使用机器学习方法,每对近邻超像素可以具有其处于三个给定类中每一个中的概率,104。
3.每个超像素可以具有其处于所计算的ROI中的概率,105。
4.最终,基于所计算的超像素水平的概率,每个像素可以具有其在所计算的边缘图中的值,106。
上述方法可以基于这样的假设:如果一个像素在ROI的边界上,那么它有非常高的概率处于超像素集合S中的至少一个超像素的边界上。通过计算超像素水平上的概率,系统可以减少对于分类所需的样本数、可以利用超像素水平的特征、以及可以减少在第二主要操作中可以发生的经扩展的灰度霍夫变换中需要分析的像素数目。
过分割103
为了过分割医学图像,可以使用超像素化方法。在实施例中,所使用的超像素化方法可以是简单线性迭代聚类(SLIC)方法,其可以考虑像素水平的特征,包括但不限于强度和纹理信息。SLIC可以高效地产生平滑、规则大小的超像素。应该选择这样的超像素化方法:其保证与ROI像素的边界条件相关的基本假设并且能够使不同超像素的特征更加可比。除了SLIC之外,可以用于过分割医学图像的替代超像素化方法可以包括但不限于:归一化切割、Felzenzwalb-Huttenlocher分割、边缘增强的均值移位、快速移位、标记控制的分水岭分割、turbopixel分割、使用分层次的合并树的图像分割、以及基于图的分层次分割。
图3示出了在已经经历了超像素化之后的如图2中所示的样本图像。图像可以被分割成多个超像素300,所述超像素的数目可以通过所利用的特定超像素化方法来被确定。将图像裂成(fracture into)超像素(或在3D图像的情况中,超体素)可以有助于本文所描述的稍后的处理步骤。
超像素水平的类概率确定104
机器学习可以应用于一种三类系统用于解析各对近邻超像素。机器学习方法可以包括但不限于:随机森林、支持向量机、贝叶斯网络、高斯混合模型、以及概率性神经网络。可以定义一个超像素对的三个类可以被定义为L0;L1或L2,其可以表示特定对中的超像素中是0个、1个还是2个处于ROI中。分类可以如下实现:Pr(P,Q)(L)可以被定义为以(P,Q)的超像素对属于类L的概率。通过机器学习算法所考虑的参数可以包括像素水平的特征的均值和标准偏差,所述像素水平的特征包括由两个超像素中任一个所包含的像素的强度和梯度。
通过在使用三类分类器估计其概率之前,比较每对中两个超像素的强度的均值并且通过机器学习算法来重新布置像素水平的特征,可以建立公理(axiom),由此对于L=L0;L1;L2,有Pr(P,Q)(L)=Pr(Q,P)(L)。在该实例中,Pr(P)可以是对于超像素P处于ROI中的概率,其可以被定义为:
其中N(·)可以表示超像素的邻域,并且|·|可以表示集合的大小。
边缘图106
在使用机器学习算法来基于每对超像素处于ROI内的可能性而为所述每对超像素进行分类之后,可以生成边缘图。EM(p)可以表示边缘图中像素p的值,其中,(xp;yp)可以是p的坐标,其中1≤xp≤m,1≤yp≤n,且其中mxn可以是输入医学图像的(以像素的)尺寸。B(P,Q)可以表示近邻超像素对(P,Q)的公共边界,其可以被定义为:
其中N(·)可以是像素的邻域。EM(p)可以被定义为:
其中δ可以是正恒定参数。通过采用等式3中的定义,仅仅处于某对近邻超像素的公共边界上或图像的四边上的像素可以具有非零值。可以生成边缘图,其中任何非零值的像素可以在边缘图的表示中被示为具有非黑色外观。
图4示出了根据本文所述的方法的在已经转换成边缘图之后的如图2所示的样本图像。如上所述,边缘图创建可以示出针对与感兴趣的区域相对应的边缘的若干潜在候选。首先是由对着感兴趣的区域的准直的边界(其通过应用霍夫变换可以被标识为感兴趣的区域的边界)而创建的主要边缘400。其次是图像本身的边界402,其通过固有于等式3的定义的应用而被标识。最后,可以看到假阳性边缘401邻接医学植入物。霍夫变换的应用,如本文中所述,可以确立:假阳性边缘401不应当被认为是针对感兴趣的区域的边界。
经扩展的灰度霍夫变换107
常规的霍夫变换可以把二进制图像变换成霍夫参数计数空间(HPCS),其可以包括称为累加器(accumulator)A(ρ;θ)的单元的列表。霍夫参数计数空间可以被称为经变换的边缘图。在图像坐标系中,直线可以以下面的形式来定义:
ρ-x cosθ-y sin(θ)=0 (4)
基于等式4,边缘图中的每个像素(x,y)可以被映射到HPCS中的正弦系列的累加器,其中针对角度θ的范围可以是[0,π)。可以做出扩展以在先前的操作中计算的边缘图上更有效地使用霍夫变换。可以做出假设:在ROI的边界附近,边界的较亮侧总在ROI内。可以通过将角度θ的范围从[0,π)扩展到[0,2π)而将关于哪侧更亮的该假设并入到HPCS中。A(ρ,θ)的对应直线的较亮侧可以被定义为以下半平面:
x cosθ+y sinθ>ρ (5)
因而,在经扩展的HPCS中,A(ρ,θ)和A(-ρ,θ+π)可以表示具有不同较亮侧的图像坐标系中的两个重合直线。
α(p)可以被定义为原始输入医学图像上的像素p的梯度的定向(即,角度)。由于该角度也可以指示向较亮区域的方向,所以α(·)可以约束用于值改进的累加器的范围。角度范围R(α)可以被定义为:
基于那些定义,可以如下将经扩展的霍夫变换应用于灰度边缘图:
在已经应用霍夫变换后,可以排除假阳性边缘并可以通过最优四边形检测而确定ROI。
最优四边形检测
最优四边形可以被定义为四个单元的最优组的交集(intersection),其中每个单元可以被定义为有向直线的正侧。为了将最优四边形定义为ROI,四个单元((ρj1,θj1),(ρj2,θj2),(ρj3,θj3),(ρj4,θj4))的最优组可以在HPCS中被检测。以这种方式,ROI可以被定义为四条对应直线的较亮侧和图像的交集,并可以排除由于嵌入式医学植入物或图像中的其它异常的存在而产生的任何假阳性边缘。
首先,可以使用基于区域的信息来移除不适当的单元。Pr(P)先前被定义为超像素属于ROI的概率。对于超像素P中包含的像素p,Pr(p)=Pr(P),其也可以表示针对像素p属于ROI的概率。给定两个阈值,β1,β2∈(0,1),并且HPCS(ρj,θj)的特定单元、A(ρj,θj)可以等于0,如果
用语言来表达,如果具有处于ROI中的高概率的太多像素位于直线的较暗侧上,那么按定义该线不能是最优四边形的边。例如,图4中所示的假阳性区域401包含如与其外边界相比几乎完全较暗的像素,并且因而应当从作为感兴趣区域边界的考虑中排除。以这种方式,可以以比现有技术方法高得多的准确度来消除假阳性。为了增加计算速度,像素可以从已经被预分类为具有被包含在ROI的边界中或其上的高概率的超像素中进行采样。
针对四条直线的最优组的检测可以通过最大化以下目标函数来实现:
其中Cshape是以ρj1,θj1,ρj2,θj2,ρj3,θj3,ρj4和θj4计算的形状约束。
如果四边形的四个拐角在图像上,则EMsides=0。例如,基于如图2中所示的样本图像的图5,示出了具有如被标识为500的四边形感兴趣区域的图像。边界是上和下准直边界,以及图像的左和右边缘。类似地,图8示出了具有所检测的最优四边形802的如图7中所示的样本图像,所述最优四边形802对应于将图像的准直部分800与非准直的感兴趣区域800分离的边界边缘。图9示出输出图像,其基于如图7中所示的样本图像、具有所检测的感兴趣区域900。
以其它方式,四条直线的经裁剪区域(ROI)可以是具有多于四个边的多边形。多边形的额外的边可以是图像的边的部分,如图6中所示,其示出五边的感兴趣区域600,其中第五边为图像的边。给定四条(或更多)直线,可以发现经裁剪的区域的额外的边上的像素并且可以利用边缘图EM(·)来计算EMsides。可以沿着图像的四个边来预计算EM(p)的累加和,以使得EMsides的计算对于HPCS的四个单元的每个给定组都是恒定的。
形状约束可以用于减少要检查的单元组的数量。因而,对于其中准直已知为具有某种几何结构(矩形、圆形等)的图像,可以添加多个边缘约束以防止系统过分析图像。
在实施例中,所述方法可以基于使用本文所述的方法所标识的感兴趣的区域的边界而裁剪图像109。经裁剪的图像可以通过使用存在于医学成像器上的显示器来被显示,或者可以被导出到医学成像器的图像存储机构、或者到外部数据库,诸如原始图像从其中输入到系统中的数据库,110。
要理解的是,本发明的实施例可以以各种形式的硬件、软件、固件、专用过程、或其组合来实现。在一个实施例中,本发明可以在软件中实现为体现在计算机可读程序存储设备上的有形应用程序。在替代实施例中,系统可以并入到医疗成像器本身中。应用程序可以上传到包括任何合适架构的机器并且由所述机器执行。本公开内容的系统和方法可以以在计算机系统(例如,大型机、个人计算机(PC)、手持式计算机、服务器等)上运行的软件应用的形式来实现。软件应用可以存储在通过计算机系统本地可访问以及经由对网络(例如,局域网或因特网)的硬布线的或无线的连接可访问的记录介质上。
图10图示了本发明的实施例可以在其内实现的计算环境1000的示例。计算环境1000可以被实现为本文所述的任何组件的部分。计算环境1000可以包括计算机系统1010,其是之上可以实现本发明的实施例的计算系统的一个示例。如图10中所示,计算机系统1010可以包括通信机制,诸如总线1021,或用于在计算机系统1010内传送信息的其它通信机制。系统1010还包括与总线1021耦合的一个或多个处理器1020,用于处理信息。处理器1020可以包括一个或多个CPU、GPU、或本领域中已知的任何其它处理器。
计算机系统1010还包括耦合到总线1021的系统存储器1030,用于存储将由处理器1020执行的信息和指令。系统存储器1030可以包括以易失性和/或非易失性存储器形式的计算机可读存储介质,诸如只读存储器(ROM)1031和/或随机存取存储器(RAM)1032。系统存储器RAM 1032可以包括其它(一个或多个)动态存储设备(例如,动态RAM、静态RAM、和同步DRAM)。系统存储器ROM 1031可以包括其它(一个或多个)静态存储设备(例如,可编程ROM、可擦除PROM和电可擦除PROM)。此外,系统存储器1030可以被用于存储在处理器1020对指令的执行期间的临时变量或其它中间信息。包含有助于在计算机系统1010内的元件之间传递信息(诸如在启动期间)的基本例程的基本输入/输出系统(BIOS)1033可以存储在ROM 1031中。RAM 1032可以包含对于处理器1020而言立即可访问和/或目前由处理器1020在其上操作的数据和/或程序模块。系统存储器1030可以另外包括例如操作系统1034、应用程序1035、其它程序模块1036和程序数据1037。
计算机系统1010还包括耦合到总线1021的盘控制器1040,用以控制用于存储信息和指令的一个或多个存储设备,诸如磁性硬盘1041和可移除介质驱动器1042(例如,软盘驱动器、光盘驱动器、磁带驱动器和/或固态驱动器)。存储设备可以使用适当的设备接口(例如,小型计算机系统接口(SCSI)、集成设备电子器件(IDE)、通用串行总线(USB)或火线)而被添加到计算机系统1010。
计算机系统1010还可以包括耦合到总线1021的、用以控制显示器或监视器1066的显示控制器1065,所述显示器或监视器1066诸如阴极射线管(CRT)或液晶显示器(LCD),用于向计算机用户显示信息。计算机系统1010包括用户输入接口1060和一个或多个输入设备,诸如键盘1062和定点设备1061,用于与计算机用户交互以及向处理器1020提供信息。定点设备1061,例如,可以是鼠标、跟踪球或定点杆,用于将方向信息和命令选择传送至处理器1020并且用于控制显示器1066上的光标移动。显示器1066可以提供触摸屏接口,所述触摸屏接口允许输入来补充或取代通过定点设备1061的方向信息和命令选择的传送。
计算机系统1010可以响应于处理器1020执行被包含在存储器(诸如系统存储器1030)中的一个或多个指令的一个或多个序列,而执行本发明的实施例的处理步骤的一部分或全部。这样的指令可以从另一计算机可读介质、诸如硬盘1041或可移除介质驱动器1042被读取到系统存储器1030中。硬盘1041可以包含由本发明的实施例所使用的一个或多个数据存储和数据文件。数据存储内容和数据文件可以被加密,以改进安全性。处理器1020也可以以多处理布置而被采用以执行系统存储器1030中所包含的一个或多个指令序列。在替代实施例中,硬布线的电路可以代替于软件指令或与软件指令相结合地被使用。因而,实施例不限于硬件电路和软件的任何特定组合。
如以上所陈述的,计算机系统1010可以包括至少一个计算机可读介质或存储器,用于持有根据本发明的实施例而编程的指令以及用于包含本文中所述的数据结构、表、记录、或其它数据。如本文所使用的术语“计算机可读介质”指的是参与将指令提供给处理器1020以供执行的任何非暂时性的、有形介质。计算机可读介质可以取许多形式,包括但不限于非易失性介质、易失性介质、和传输介质。非易失性介质的非限制性示例包括光盘、固态驱动器、磁盘、和磁光盘,诸如硬盘1041或可移除介质驱动器1042。易失性介质的非限制性示例包括动态存储器、诸如系统存储器1030。传输介质的非限制性示例包括同轴线缆、铜线、和光纤,包括构成总线1021的导线。传输介质还可以取声波或光波的形式,诸如在无线电波和红外数据通信期间所生成的那些。
计算环境1000还可以包括通过使用对一个或多个远程计算机(诸如远程计算机1080)的逻辑连接而在联网环境中操作的计算机系统1010。远程计算机1080可以是个人计算机(膝上型电脑或台式电脑)、移动设备、服务器、路由器、网络PC、对等设备或其它公共网络节点,并且通常包括以上关于计算机1010所描述的元件中的许多或全部。当在联网环境中使用时,计算机1010可以包括调制解调器1072,用于通过网络1071(诸如因特网)而建立通信。调制解调器1072可以经由网络接口1070或经由另一适当的机制而连接到系统总线1021。
网络1071可以是本领域中通常已知的任何网络或系统,包括因特网、内联网、局域网(LAN)、广域网(WAN)、城域网(MAN)、直接连接或连接系列、蜂窝电话网络、或能够促进计算机系统1010和其它计算机(例如,远程计算系统1080)之间的通信的任何其它网络或介质。网络1071可以是有线的、无线的或其组合。有线连接可以使用以太网、通用串行总线(USB)、RJ-11或本领域中通常已知的任何其它有线连接来实现。无线连接可以使用Wi-Fi、WiMAX和蓝牙、红外、蜂窝网络、卫星或本领域中通常已知的任何其它无线连接方法来实现。此外,若干网络可以单独地或与彼此通信地工作,以促进网络1071中的通信。
如本文中所使用的处理器是这样一种设备:其用于执行被存储在计算机可读介质上的机器可读指令、用于执行任务,并且可以包括硬件和固件中的任一个或其组合。处理器还可以包括存储可执行用于履行任务的机器可读指令的存储器。处理器通过操纵、分析、修改、转换或传输信息以供可执行过程或信息设备来使用和/或通过将信息路由到输出设备而作用于信息。处理器可以使用或包括例如计算机、控制器或微处理器的能力,并且通过使用可执行指令来被调节以执行不由通用计算机执行的专用功能。处理器可以与任何其它处理器耦合(电气地和/或如包括可执行组件),从而使能在其之间的交互和/或通信。计算机程序指令可以被加载到计算机上,包括但不限于通用计算机或专用计算机,或者其它可编程处理装置以产生机器,使得在计算机或其它可编程处理装置上执行的计算机程序指令创建用于实现在(一个或多个)流程图的(一个或多个)块中所指定的功能的手段。用户接口处理器或生成器是包括电子电路或软件或两者的组合以用于生成显示元素或其部分的已知元件。用户接口(UI)包括一个或多个显示元素,其使能与处理器或其它设备的用户交互。
可执行的应用,如本文中所使用的,包括代码或机器可读指令,以用于例如响应于用户命令或输入而调节处理器以实现预定功能,诸如操作系统、上下文数据获取系统或其它信息处理系统的那些。可执行过程是代码段或机器可读指令、子例程、或用于执行一个或多个特定过程的可执行应用的其它不同的代码区段或部分。这些过程可以包括接收输入数据和/或参数、在接收的输入数据上执行操作和/或响应于所接收的输入参数来执行功能、并提供结果产生的输出数据和/或参数。图形用户接口(GUI),如本文中所使用的,包括一个或多个显示元素,所述显示元素由显示处理器生成并且使能与处理器或其它设备的用户交互以及相关联的数据获取和处理功能。
UI还包括可执行过程或可执行应用。可执行过程或可执行应用调节显示处理器,以生成表示UI显示图像的信号。这些信号被供应给显示设备,所述显示设备显示元素以供用户观看。可执行过程或可执行应用此外从用户输入设备接收信号,所述用户输入设备诸如键盘、鼠标、光笔、触摸屏或允许用户将数据提供给处理器的任何其它装置。处理器,在可执行过程或可执行应用的控制下,响应于从输入设备接收到的信号而操纵UI显示元素。以这种方式,用户使用输入设备来与显示元素交互,从而使能与处理器或其它设备的用户交互。本文中的功能和过程步骤可以自动地或者全部或部分地响应于用户命令而执行。自动执行的活动(包括步骤)在没有用户对活动的直接发起的情况下响应于可执行指令或设备操作而执行。
工作流处理器,如本文中所使用的,处理数据以确定要添加到任务列表或从任务列表中移除的任务,或修改被并入在任务列表上的或用于并入到任务列表上的任务,如例如在(一个或多个)程序中所指定的那样。任务列表是用于由工作者、设备的用户、或设备、或二者的组合执行的任务的列表。工作流处理器可以或可以不采用工作流引擎。工作流引擎,如本文中所使用的,是响应于预定过程定义而执行的处理器,所述预定过程定义实现响应于事件和事件相关联的数据的过程。工作流引擎顺序地和/或并发地实现过程,其响应于事件相关联的数据,以确定用于由设备和或工作者执行的任务并用于更新设备和工作者的任务列表以包括所确定的任务。过程定义由用户可定义并且包括过程步骤的序列,所述过程步骤包括例如用于由设备和或工作者执行的开始、等待、判定和任务分配步骤中的一个或多个。事件是影响通过使用过程定义而实现的过程的操作的状况。工作流引擎包括允许用户定义将要遵循的过程的过程定义功能并且可以包括事件监视器。
本文中所呈现的附图的系统和过程并不是排他性的。可以根据本发明的原理而得出其它系统、过程和菜单以实现相同目的。虽然本发明已经参考特定实施例而被描述,但要理解,本文中示出和描述的实施例和变型仅用于说明的目的。对当前设计的修改可以由本领域技术人员在不脱离本发明的范围的情况下实现。此外,在替代实施例中,过程和应用可以位于链接图10的单元的网络上的一个或多个(例如,分布式)处理设备上。附图中提供的任何的功能和步骤可以在硬件、软件或两者的组合中来实现。本文中没有权利要求要素是要在35U.S.C.112、第六段的规定下来解释的,除非该要素是使用短语“用于……的装置”明确叙述的。
阐述了许多具体细节(诸如具体组件、设备、方法等的示例),以便提供对本发明的实施例的透彻理解。然而,对本领域技术人员将显而易见的是,不需要采用这些具体细节来实践本发明的实施例。在其它实例中,众所周知的材料或方法没有被详细描述,以便避免不必要地使本发明的实施例模糊。虽然本发明容许各种修改和替代形式,但是其具体实施例通过示例的方式在附图中示出并且将在本文中详细描述。然而,应该理解,没有意图将本发明限制到所公开的特定形式,而是相反,本发明将覆盖落入本发明的精神和范围内的所有修改、等同物和替代物。
如本文中所使用的术语“医学图像”可以意指可视医学图像(例如,显示在视频屏幕上)或者医学图像的数字表示(例如,对应于医学图像检测器的像素输出的文件)。有时,为了描述方便,x射线成像数据可以在本文中用作示例性成像模态。然而,将领会的是,来自任何类型的成像模态(包括但不限于X射线放射照片、MRI、CT、PET(正电子发射层析X射线摄影法)、PET-CT、SPECT、SPECT-CT、MR-PET、3D超声图像等)的数据也可以在本发明的各种实施例中使用。
除非经陈述,否则如从下面的讨论中明显的,将领会的是,诸如“分割”、“生成”、“配准”、“确定”、“对准”、“定位”、“处理”、“计算”、“选择”、“估计”、“检测”、“跟踪”等的术语可以是指计算机系统或类似的电子计算设备的动作和过程,其操纵计算机系统的寄存器和存储器内表示为物理(例如,电子)量的数据并将其变换成计算机系统存储器或寄存器或其它这样的信息存储装置、传输或显示设备内类似地表示为物理量的其它数据。本文描述的方法的实施例可以使用计算机软件、硬件和/或固件来实现。如果以符合公认标准的编程语言来编写,那么被设计成实现方法的指令的序列可以被编译以用于在各种硬件平台上执行以及用于对接到各种操作系统。此外,本发明的实施例并不是参照任何特定的编程语言来被描述的。将领会的是,各种编程语言可以用于实现本发明的实施例。
如本文中所使用的,术语“图像”是指由离散图像元素(例如,对于2-D图像的像素和对于3-D图像的体素)所组成的多维数据。图像可以是例如由计算机层析X射线摄影法、磁共振成像、超声、或对本领域技术人员已知的任何其它医学成像系统所收集的对象的医学图像。图像还可以从非医学上下文、诸如例如远程感测系统、电子显微术等中被提供。尽管图像可以被认为是从R3至R的函数,但本发明的方法并不限于这样的图像,并且可以适用于任何维度的图像,例如,2-D图片或3-D体积。对于2维或3维图像,图像的域通常是2维或3维矩形阵列,其中每个像素或体素可以参照一组2个或3个相互正交的轴来寻址。如本文中所使用的术语“数字的”和“数字化的”将指代在适当时经由数字获取系统或经由从模拟图像的转换而获取的以数字或数字化的格式的图像或体积。