CN102171724B - 医学图像序列快照的选择 - Google Patents

Abstract

提供了一种用于自动选择医学图像的系统。该系统包括用于接收手持式医学成像装置所采集的医学图像的时间序列的输入(302)。提供了用于检测所述图像的至少一幅中的对象的对象检测器(303)。提供了用于选择所述对象检测器已经在其中检测到对象的图像的图像选择器(304)。提供了用于将所选择的图像作为快照进行存储的快照模块(305)。此外，提供了用于生成医学图像序列的手持式医学成像装置。

Description

医学图像序列快照的选择

技术领域

本发明涉及医学图像的选择。更具体而言，本发明涉及用于自动选择图像从而将图像作为快照进行存储的系统、方法和计算机程序产品。

背景技术

在淋巴结或乳腺癌病灶的超声扫描中，通常的做法是操作员移动手持式超声探头并从所得到的视频流中选择图像进行存储。此外，操作员能够任选地在图像上放置图形注释或标记，以便标识被研究的结构的位置和范围。

在对新诊断出的乳腺癌患者体内的疾病扩散进行评估的过程中，对腋腋淋巴结的分级是一个重要步骤。手术前淋巴结分级的一种基于图像的方法包括使用超声图像，其可以与诸如MR的其他成像模式相组合。

使用手持式装置采集超声图像。操作员选择并保存2D图像。通常由操作员放置额外的标记或注释，例如淋巴结的长轴和短轴，并将其与图像一起存储。

此外，在临床实践中有一种明显的趋势是使用计算机辅助检测和诊断(CAD)系统。出于计算机辅助检测和人工评估的目的，操作员对超声图像的图像采集的高度依赖提出了一个问题。

发明内容

拥有一种选择医学图像的经改进的方法将是有利的。为了更好地解决这一问题，提供了一种系统，其包括

输入，其用于接收利用手持式医学成像装置所采集的医学图像的时间序列；

对象检测器，其用于检测所述图像的至少一幅中的对象；

图像选择器，其用于选择对象检测器已经在其中检测到对象的图像；

快照模块，其用于将所选择的图像作为快照进行存储。

图像选择器，其选择已经在其中检测到对象的图像，有助于实现对所采集图像的更加独立于操作员的选择。在现有的手持式医学图像采集系统中，操作员人工存储图像快照，在所述图像快照中显示临床相关的对象。然而，可以使用对象检测器和图像选择器使这项任务自动化。由于这可以减少对操作员的依赖性，所以可以提高图像采集的再现性。此外，因为操作员无须在选择和存储快照的任务上花费时间和注意力，对于操作员而言图像采集可以更有效率和/或更容易。此外，在实施例中，丢弃未被选择为快照的图像。

一个实施例还包括用于向所述输入提供医学图像的序列的手持式医学成像装置。设想将所阐述的系统并入手持式医学成像系统中。例如，这种手持式医学成像系统包括手持式医学成像装置和控制台。例如，可以在控制台中并入用于选择图像的系统。

在一个实施例中，图像选择器被布置成用于在利用手持式医学成像装置采集时间序列的同时选择图像。可以在图像的采集期间“在线”执行图像选择。这使得采集尤其高效，因为仅需要存储所选择的图像。此外，操作员不需要人工选择图像快照。

一个实施例包括提示单元，其用于在选择图像时为手持式医学成像装置的操作员生成提示。通过这种方式告知操作员快照图像的存储。这允许操作员查看所存储快照的质量。如果已经存储了可接受的图像，操作员可以停止采集或继续对另一感兴趣区域成像。备选地，操作员可以继续进行采集和/或手工或自动地存储另一快照。

在一个实施例中，对象检测器被布置成用于检测多幅图像中的对象，从而获得一组均包括所述对象的图像，并且其中，所述图像选择器包括用于通过应用表示图像临床相关性的一组预定的选择标准从所述一组图像选择图像的模块。预定的选择标准允许自动图像选择机制细化图像的选择。仅存储已经在其中检测到对象的任意随机图像可能是不够的，例如还应当存储其中以最大截面积或截面纵轴示出对象的特定图像。基于本说明书，本领域技术人员能够创建反映如快照中所示的对象的这种合乎要求的性质的选择标准。

一个实施例包括用于确定指示对象检测器已经检测到对象的概率或已经检测到对象的精确度的质量值的模块，并且其中，图像选择器包括用于选择质量值高于预定阈值和/或具有多个质量值中最高质量值的图像的模块。对象检测器并非总是完全可靠。在这种情况下，常常可以确定表示检测到对象的概率或对象检测精确度的值。如果通过将特定模型拟合到图像数据来检测对象，可以确定表示拟合的优度(goodness)的值。这种质量值可以用于选择具有大概率/拟合优度的图像。

一个实施例包括用于确定图像中对象的尺寸的模块，并且其中，图像选择器包括用于选择尺寸大于预定阈值和/或具有多个尺寸中最大尺寸的图像的模块。可以测量尺寸作为最长轴、最短轴、总面积或以另一种方式测量尺寸。通过选择以大尺寸示出对象的图像，迫使对象的截面视图与中间的对象相交。备选地，这有助于找到以临床相关的方式示出对象的图像。

在一个实施例中，尺寸表示对象的纵轴的长度。尤其是在细长的对象中，这能够有助于存储其中沿最长轴示出对象的图像，即特定临床感兴趣的视图。

在一个实施例中，手持式医学成像装置包括超声探头，医学图像的序列包括从超声探头获得的2D超声图像的序列。超声是手持式装置中通常应用的模式，并且图像选择系统减小了超声快照对操作员的依赖性。对象例如可以包括腋淋巴结。

一个实施例包括用于提供所选图像的注释的注释器，所述注释指示或描述由对象检测器在所选图像中检测到的对象，快照模块包括用于存储所选图像的注释的模块。这是一有用特征，使放射科医师能够迅速看到提供为什么存储该图像的原因的对象。这避免了在后续阶段再次进行检测。

注释器可以包括用于在注释中包括涉及对象的至少一个测量值的模块。这改善了注释的用途并避免了要再次执行计算。测量的范例包括淋巴结或肿瘤的尺寸和高宽比。

一个实施例包括一种提供医学图像的自动选择的方法，其包括

接收利用手持式医学成像装置所采集的医学图像的时间序列；

检测所述图像的至少一幅中的对象；

选择所述对象检测器已经在其中检测到对象的图像；以及

将所选择图像作为快照进行存储。

一个实施例包括一种包括指令的计算机程序产品，所述指令用于令处理器系统执行所阐述的方法。

本领域技术人员应当认识到，可以通过任何被认为有用的方式组合两个或更多上述本发明实施例、实施方式和/或各方面。

基于本说明书，本领域技术人员能够执行对图像采集设备、工作站、系统和/或计算机程序产品的修改和变型，所述修改和变型对应于对所述系统的修改和变型。

本领域技术人员应当认识到，该方法可以应用于通过各种采集模式采集的多维图像数据，例如2维(2D)、3维(3D)或4维(4D)图像，所述采集模式诸如是，但不限于标准X射线成像、计算机断层摄影(CT)、磁共振成像(MRI)、超声(US)、正电子发射断层摄影(PET)、单光子发射计算机断层摄影(SPECT)和核医学(NM)。还应当理解的是本文所述的方法和系统可有利地结合产生2D截面图像时间序列的手持式成像装置使用。

附图说明

将参考附图进一步阐明和描述本发明的这些和其他方面，在附图中

图1图示了具有人工识别的病灶的超声图像；

图2图示了具有拟合到自动识别的病灶的椭圆的超声图像；

图3图示了具有高梯度像素以及拟合到自动识别的病灶的椭圆的超声图像；

图4图示了用于选择图像的系统；

图5图示了选择图像的方法；以及

图6图示了使用手持式成像装置的医学检查。

具体实施方式

可以采用自动分割和追踪算法以便分割和追踪医学图像中的淋巴结和/或乳腺癌病灶。基于分割的质量和额外的质量标准，可以自动选择所采集的图像进行存储。此外，可以使用现有的分割信息自动标记所选择的图像。可以将自动分割和追踪算法用于在操作员移动手持式超声探头的同时，首先在2D超声图像中分割淋巴结，并在图像中追踪淋巴结。使用基于当前分割结果的图像质量度量，可以自动选择2D快照进行存储。可以将所选择的快照注释为表示分割结果并由系统自动存储。因为不再需要人工注释，这不仅减轻了操作员的工作量，而且同时确保操作员能够独立选择图像。这有助于获得对后续诊断检查有用的或作为计算机辅助诊断系统输入的标准化图像。

可以通过在淋巴结的边界上人工放置多个标记在2D超声图像中人工分割淋巴结。图1图示了超声图像中的腋淋巴结，其具有形状为十字线的人工放置的标记1。

在2DUS图像中自动分割淋巴结的一种方法是将椭圆拟合到图像数据。图2图示了图1所示腋淋巴结的同一超声图像，其中，白色覆盖图2示出了自动拟合的椭圆。

图3图解示出了由Canny边缘检测器在超声图像中检测到的多个边缘像素3。通过将椭圆拟合到随机选择的该组边缘像素的子集可以获得拟合椭圆4。通过沿着椭圆边界对图像梯度矢量的法向(指向外部)分量积分可以获得每个椭圆拟合的优度。

一旦已经获得了淋巴结的初始拟合椭圆，就可以通过在初始椭圆的小邻域中搜索最佳拟合椭圆，在移动超声探头的同时追踪淋巴结。通过这种方式，在超声图像采集期间将追踪椭圆参数。

可以基于预限定的条件自动选择2D快照进行存储，所述预限定的条件例如是：

椭圆拟合到数据的的优度的局部(时间上)最大值。例如，使用沿着椭圆边界的图像梯度矢量的指向外部分量的积分可以确定拟合的这一优度。

淋巴结的最大范围(椭圆的最大长轴)。

淋巴结的最大面积(椭圆长轴和短轴长度的最大乘积)。

可以应用这些约束条件的组合来获得存储图像的更好选择。例如，结合最大范围或最大面积使用拟合的优度。可以通过将相关参数相乘，在这种情况下，通过将拟合度量的优度乘以范围或面积来获得这样的组合。乘积的最大值可以触发选择图像以进行存储。

所述技术的其他应用也是可能的，诸如对早期乳腺癌病灶的超声扫描。此外，可以通过使用本文所述的自动图像分割改进如下这样的任何成像模式：操作员对所采集的图像有较大影响(在超声中就是这种情况，因为手持式超声探头会导致不能再现的视角)的成像模式，以及其中，要搜索特定的图像图案的成像模式。

例如，通过在图像上叠加图形要素(椭圆、十字或类似要素)可以使对淋巴结的追踪可视化。

图4图示了用于实现医学图像的自动选择的系统。这种系统可以包括用于执行存储于存储器中的计算机指令的处理器310。计算机指令(例如由方框302-305表示)存储在存储器(未示出)中，诸如医学成像控制台的闪速存储器或随机存取存储器和/或硬盘。这样的控制台可以具有更多硬件部分，诸如显示器、键盘、一些辅助按钮、追踪球或鼠标等，其用于控制医学图像采集并用于观察和注释所采集的图像。此外，提供了一种存储模块311用于存储医学图像、注释、患者信息和其他信息。可以在数据库中整理数据，并且存储模块311可以包括随机存取存储器、硬盘、闪速存储器或任何其他存储介质，包括诸如DVD或CD-ROM的可移除存储介质。

该系统可以包括手持式图像采集装置301。操作员可以采用这样的手持式图像采集装置采集患者的图像。对于超声系统而言，手持式图像采集装置包括超声探头。操作员通常在必须要采集图像的位置对患者皮肤的一部分左做准备。之后，操作员将超声探头放在皮肤上，并在采集图像的同时移动和旋转探头，以便找到感兴趣对象，例如病灶或淋巴结的良好视图。

在采集期间，从手持式成像装置301向输入302发送一系列图像，输入302从手持式医学成像装置301接收图像并将图像暂时存储在例如其随机存取存储器的存储模块311中。

对象检测器303被布置成用于检测所述图像的至少一幅中的对象。为此目的，对象检测器分析经由输入302接收到的图像，检测是否存在对象。如上所述，可以通过将椭圆拟合到高梯度像素来执行这一分析。然而，考虑到本描述，对于本领域技术人员而言用于对象检测的其他适当方法和系统是显而易见的。对象检测器可以例如通过拟合椭圆勾勒出对象在图像中的范围。备选地，对象检测器可以简单地检测图像中对象的存在。可以在存储模块311中暂时存储对象参数，诸如在图像中的位置和/或对象边界。

图像选择器305选择对象检测器已经在其中检测到对象的图像。为此，它从对象检测器303接收关于已经在哪个或哪些图像中检测到对象的信息。根据当前的应用，图像选择器可以存储所有已经在其中检测到对象的图像的快照，或者它可以选择已经在其中检测到对象的一幅或多幅特定图像。例如，对象检测器可以能够指示是否在不同图像中检测到同一对象或不同对象；然后可以将图像选择器布置成用于存储检测到的每个对象的一幅快照。可以经由存储模块311进行关于所检测到的对象的信息。

快照模块305将所选择的图像作为快照进行存储。这些快照可以自动包括在患者文件中。它们还可以包括在报告中。在选择和存储快照图像之后，可以删除存储模块311中暂时存储的图像。备选地，永久性存储完整系列的图像并将选择的图像标记为快照。由对象检测器产生的注释，如果有的话，可以独立地存储或作为图像内的图解图来存储。

在所述系统的典型工作模式中，一旦已经将图像从手持式装置301传送至输入302，对象检测器就在所述图像中检测对象。图像选择器被布置成用于在利用手持式医学成像装置采集时间序列的同时选择图像。在这种工作模式下，在“运行中”(“on-the-fly”)或“实时”选择图像。它节省了存储空间，因为一旦执行图像选择过程后就可以从系统中删除未被选择的图像。此外，一旦选择适当的图像之后就可以停止采集，这节省了时间。

一个实施例包括提示单元，其用于在选择图像时向手持式医学成像装置的操作员生成提示。这是通知操作员已经存储了适当图像的有效方式，从而使操作员能够停止或继续到下一个病灶或感兴趣对象。提示可以包括声响信号，例如蜂鸣声，和/或可见信号，例如控制台上的弹出式窗口或手持式装置中的灯产生的灯光信号。

可以限定选择标准，可以将该选择标准应用于检测到的对象，以确定其临床相关性的度量。在实施例中，图像选择器包括用于通过应用表示图像的临床相关性的一组这样预定的选择标准从对象检测器已经在其中检测到对象的多幅图像中选择图像的模块。这样的标准可以涉及，例如对象的尺寸、形状、灰度级、纹理或位置。在对象检测包括椭圆拟合的情况下，可能的示范性标准包括椭圆的面积、椭圆的最长轴以及椭圆的最长轴和最短轴之比。可以将这样的值与阈值进行比较；例如，仅在超过阈值时才存储图像。备选地，可以针对包括对象的图像序列计算表征临床相关性的值，并且可以选择具有最有利值的图像并将其作为快照进行存储。本领域技术人员应当理解，根据该值是如何计算的，例如，最有利的值可以是最高值或最低值。

一个实施例包括用于确定指示对象检测器检测到对象的精确度的质量值的模块。这样的质量值指示图像的临床相关性，因为如果很勉强检测到对象，可能图像中没有任何对象，或对象的任何估计属性，诸如尺寸，可能是错的。应用选择标准，倾向于质量值高于预定阈值和/或具有多个质量值中最高质量值的图像。通过这种方式，存储对象检测获得成功的图像。

一个实施例包括用于确定图像中对象的尺寸的模块。在这一实施例中，应用选择标准，用于选择尺寸大于预定阈值和/或具有多个尺寸中最大尺寸的图像。如果尺寸是最大的，合理的做法是假定对象最明显并且有最多细节。具体对于2D图像而言，诸如2D超声图像，其构成被成像对象的截面，如果对象是最大的，这意味着截面与对象的最大部分相交，这提供了大部分临床信息，尤其是关于3D对象的实际尺寸的信息。所述尺寸可以是对象纵轴的长度。在这种情况下，选择对对象全长成像的探头取向。

对象可以包括腋淋巴结。可以使对这种淋巴结成像的流程更加有效率。可以通过将图像选择器用于选择快照使得该流程的结果更加独立于操作员。

一个实施例包括用于提供所选择图像的注释的注释器307。基于对象检测器303所检测到的对象生成这一注释。注释表示在所选择图像中检测到的对象。例如，注释包括表示所检测到的对象的边界的图形对象。此外，注释可以包括所检测到的对象的数值信息，例如其尺寸。还可以将患者信息包括在注释中。

图5图示了实现医学图像的自动选择的方法的处理步骤。在步骤402中，接收时间序列，该序列包括利用手持式医学成像器械采集的医学图像。在步骤403中，在所述图像的至少一幅中检测对象。在步骤404中，选择对象检测器已经在其中检测到对象的图像。在步骤405中，将所选择的图像作为快照进行存储。可以由操作员按下按钮开始该方法，其指示新图像系列的采集。可以通过图像序列结束来完成该方法。在实时模式中，可以将图像暂时存储在存储模块311的缓冲器中。可以将图像检测器303顺序应用于每幅图像。图像选择器可以使用上述选择标准中的一些计算表示每幅图像适于作为快照的值。通过这种方式，获得了与时间图像序列对应的适合值的时间序列。在适合值的这一时间序列中，可以使用现有技术公知的最大值检测器这样找到局部最大值。可以将图像选择器304布置成用于检测适合性值的这种局部最大值。可以进一步将图像选择器304布置成用于选择与适合值的局部最大值对应的图像，将其作为快照进行存储。

图5图示了使用手持式装置的医学检查。该图示出了躺着的患者、手持手持式成像装置的操作员，以及在背景中用于显示用手持式成像装置获得的图像的控制台。

尽管在描述中，重点放在了乳房病灶上，但应当认识到，本文所描述的实施例还可以应用于其他医学成像应用。例如，在使用手持式医学成像装置研究身体内其他对象时可以使用本文阐述的技术。其具体范例是肝癌的研究。

应当认识到，本发明还扩展到适于将本发明投入实践的计算机程序，具体是载体上或载体中的计算机程序。程序可以是源代码、目标代码的形式，源代码和目标代码之间的代码，例如部分编译的形式，或适用于实施根据本发明的方法的任何其他形式。还应当认识到，这样的程序可以具有很多不同的架构设计。例如，可以将实施根据本发明的方法或系统的功能的程序代码细分成一个或多个子例程。对于本领域技术人员而言，在这些子例程间分配功能的很多不同方式是显而易见的。可以在一个可执行文件中将子例程存储在一起以形成独立自足的程序。这样的可执行文件可以包括计算机可执行指令，例如处理器指令和/或解释程序指令(例如，Java解释程序指令)。备选地，可以将子例程中的一个或多个或全部存储在至少一个外部库文件中并静态地或动态地，例如在运行时，与主程序链接。主程序包含对子例程中的至少一个的至少一个调用。此外，子例程可以包括彼此的函数调用。涉及计算机程序产品的实施例包括与所阐述方法中的至少一种的每个处理步骤对应的计算机可执行指令。这些指令可以被细分成子例程和/或存储在可以静态或动态链接的一个或多个文件中。涉及计算机程序产品的另一实施例包括与所阐述系统和/或产品中的至少一种的每个模块对应的计算机可执行指令。这些指令可以被细分成子例程和/或存储在可以静态或动态链接的一个或多个文件中。

计算机程序的载体可以是能够执行程序的任何实体或装置。例如，载体可以包括诸如ROM的存储介质或磁记录介质，ROM例如是CDROM或半导体ROM，磁记录介质例如是软盘或硬盘。此外，载体可以是可发射载体，例如电信号或光信号，可以经由电缆或光缆或通过无线电或其他手段传送。当在这种信号中实现程序时，载体可以由这样的电缆或其他装置或模块构成。备选地，载体可以是其中嵌入程序的集成电路，集成电路适于执行相关方法或在执行相关方法中使用。

应当注意到，上述实施例旨在对本发明进行举例说明，而不是对其做出限制，并且本领域技术人员能够在不背离所附权利要求的范围的情况下设计出很多备选的实施例。在权利要求中，不应当将置于括号内的附图标记解释为限制所述权利要求。动词“包括”及其词性变化的使用不排除权利要求陈述的元件或步骤以外的元件或步骤的存在。元件前的冠词“一”或“一个”不排除存在复数个这样的元件。可以利用包括几个分立元件的硬件，也可以利用适当编程的计算机实现本发明。在枚举了若干模块的装置权利要求中，可以通过同一件硬件体现这些机构中的几个。在互不相同的从属权利要求中陈述某些措施不表示不能有利地采用这些措施的组合。

Claims (12)

1.一种用于提供医学图像的自动选择的系统，包括

输入(302)，其用于接收利用手持式医学成像装置所采集的医学图像的时间序列；

对象检测器(303)，其用于检测所述图像的至少一幅中的对象；

图像选择器(304)，其用于选择所述对象检测器已经在其中检测到对象的图像，其中，所述图像选择器被布置成用于在利用所述手持式医学成像装置采集所述时间序列的同时选择所述图像；

提示单元(306)，其用于在选择所述图像时向所述手持式医学成像装置的操作员生成提示；以及

快照模块(305)，其用于将选择的图像作为快照进行存储。

2.根据权利要求1所述的系统，还包括用于向所述输入提供所述医学图像的序列的所述手持式医学成像装置。

3.根据权利要求1所述的系统，其中，所述对象检测器被布置成用于检测多幅图像中的所述对象，从而获得每个均包括所述对象的一组图像，并且其中，所述图像选择器包括通过应用表示所述图像的临床相关性的一组预定选择标准从所述一组图像中选择图像的模块。

4.根据权利要求3所述的系统，还包括用于确定指示所述对象检测器检测到所述对象的精确度的质量值的模块，所述预定选择标准包括用于选择质量值高于预定阈值和／或具有多个质量值中最大质量值的图像的至少一个标准。

5.根据权利要求3所述的系统，还包括用于确定图像中所述对象的尺寸的模块，所述预定选择标准包括用于选择尺寸大于预定阈值和／或具有多个尺寸中最大尺寸的图像的至少一个标准。

6.根据权利要求5所述的系统，其中，所述尺寸表示所述对象的纵轴的长度。

7.根据权利要求1所述的系统，其中，所述手持式医学成像装置包括超声探头，所述医学图像的序列包括从所述超声探头获得的2D超声图像的序列。

8.根据权利要求1所述的系统，所述对象包括腋淋巴结。

9.根据权利要求1所述的系统，还包括用于对所述选择的图像提供注释的注释器(307)，所述注释指示或描述所述对象检测器在所述选择的图像中检测到的对象，所述快照模块包括用于存储所述选择的图像的所述注释的模块。

10.根据权利要求9所述的系统，其中，所述注释器包括用于在所述注释中包括与所述对象相关的至少一个测量值的模块。

11.一种用于提供医学图像的自动选择的方法，包括

接收(402)利用手持式医学成像装置所采集的医学图像的时间序列；

检测(403)所述图像的至少一幅中的对象；

选择(404)所述对象检测器已经在其中检测到对象的图像，其中，所述图像选择器被布置成用于在利用所述手持式医学成像装置采集所述时间序列的同时选择所述图像；

在选择所述图像时向所述手持式医学成像装置的操作员生成提示；以及

将选择的图像作为快照进行存储(405)。

12.一种用于提供医学图像的自动选择的设备，包括

用于接收利用手持式医学成像装置采集的医学图像的时间序列的模块；

用于检测所述图像的至少一幅中的对象的模块；

用于选择对象检测器已经在其中检测到所述对象的图像的模块，其中，所述模块被布置成在利用所述手持式医学成像装置采集所述时间序列的同时选择所述图像；

用于在选择所述图像时向所述手持式医学成像装置的操作员生成提示的模块；以及

用于将所选择的图像作为快照进行存储的模块。