CN114119602B - 对医学图像进行对象分析的方法、装置和存储介质 - Google Patents

Abstract

本公开涉及一种对医学图像进行对象分析的方法、装置和存储介质。该方法可以包括如下步骤。可以获取包含对象的3D医学图像。可以对所述3D医学图像进行分割，以得到对象的分割结果。可以在所述3D医学图像中在延伸的方向上获取一组图像片层。可以获取所述一组图像片层中各个图像片层中所分割的对象的内部代表点。可以基于所述一组图像片层的所述对象的一组内部代表点，获取所述3D医学图像中的一组图像块。可以基于所述一组图像块进行对象分析。该方法和装置通过获取3D医学图像上的图像片层、内部代表点；基于内部代表点对所述3D医学图像裁块，此方法可以在提升预测效率的同时保持图像块中心点位于器官或组织（例如血管）内。

Description

对医学图像进行对象分析的方法、装置和存储介质

技术领域

本公开涉及医学图像领域，更具体地，涉及一种对医学图像进行对象分析的方法、装置和存储介质。

背景技术

血管疾病一直是威胁人类健康的重要问题，相当比例的血管疾病起因在于血管壁上的斑块病变累积造成血管狭窄、血管壁上的异常膨出造成动脉瘤等，然而现有技术对血管病变的检测和识别存在一定不足。

以头颈动脉斑块为例，头颈动脉疾病通常指因动脉壁粥样硬化斑块累积导致的动脉狭窄或阻塞。颅内动脉狭窄和阻塞的患者，其脑部供血受限，极易导致患者出现缺血性脑卒中。如果斑块破裂极易堵塞、损伤血管，导致患者出现急性脑卒中。根据动脉粥样硬化斑块的组成，斑块可进一步分为钙化斑块、非钙化斑块、混合斑块，其中混合斑块兼具钙化、非钙化斑块成分。非钙化、混合斑块易发生破裂。

计算机断层扫描血管造影(Computed Tomography Angiography, CTA)或磁共振血管造影(Magnetic Resonance Angiography, MRA)可对全身各部位的血管及其病变进行成像，是常用的血管影像学检查技术。影像上非钙化斑块、混合斑块及动脉瘤与周围组织对比度较低，极易与周围组织混淆而导致漏检。

目前头颈CTA血管病变检测方法一般有人工分析和自动分析软件。人工斑块分析严重依赖放射科医师及心血管专家经验，粥样硬化斑块、动脉瘤等病变离散地分布在结构复杂的头颈动脉血管壁上，在海量的CTA数据中分析血管病变，对医生来说无疑是极其耗时的工作。非钙化、混合斑块的不确定性更是增加了医生诊断的难度。为了提升血管病变诊断效率和准确性，并将医生从繁琐的阅片工作中解放出来，急需开发一种血管病变自动分析方案。

现有的血管病变分析软件可一定程度上减轻医生日常诊断工作量，但亦存在一定的不足，如西门子等CT设备厂商自带的半自动分析软件需耗费大量人工交互完成血管分割、直径估计及管壁形态分析等，且该方案一般只针对局部血管。

近期深度学习技术逐步被应用于血管病变检测，并取得了显著的效果。然而现有的方案一般采用单一的检测模型，采用单一模型预测存在病变预测结果敏感性 (此处亦指sensitivity)较高，而精准率 (此处亦指precision)低下的情况，一般会再采用分类模型进一步剔除查出的假阳性病变，然而检出的病变样本分布极不均衡故分类效果极不稳定。现有方案还可能会添加假阳性样本训练以提升检测精准率，然而添加负样本会导致病变检出结果dice系数较低，进而影响病变量化分析准确性。且现有的方案将CTA图像按固定的步进分为多个图像块，再对图像块逐个预测病变。该方案存在图像块过多预测效率较低的问题；该方案选取的图像块会在非血管区域预测病变，预测结果容易出现较多的假阳性病变。现有获取血管中心点的方案一般依赖血管骨架化或中心线提取，然而采用血管骨架化计算耗时长，且获取的中心点较冗余，降低了模型预测的效率，此外骨架化易受血管分割结果影响，尤其在血管分叉处骨架化结果分布极不均匀，选取的图像块中心点一般不在血管中，从而给预测结果带来不利影响；血管中心线提取方案不仅需确定血管起始点，且易受血管分割结果影响，导致中心线生长错误而影响血管中心点的提取，如血管分割结果不连续时，中心线极易提取失败。

发明内容

提供了本公开以解决现有技术中存在的上述问题。

需要一种对医学图像进行对象分析的方法，能够利用在所述3D医学图像中在延伸的方向上获取一组图像片层，再获取各个图像片层中的内部代表点；基于内部代表点对所述3D医学图像裁块，此方法可以在提升预测效率的同时保持图像块中心点位于血管内，使之符合检测模型训练时病变连通域中心点位于血管中心的实际情况，以逼近检测模型最优预测效果。同时本公开能提升血管病变检测的敏感性、精准率，并使预测出的病变结果与病变标注有较高的dice系数，以提升病变量化分析精度。

根据本公开的第一方案，提供一种对医学图像进行对象分析的方法，所述对医学图像进行对象分析的方法可以包括获取包含对象的3D医学图像。该方法还可以包括对所述3D医学图像进行分割，以得到所述对象的分割结果。该方法还可以包括在所述3D医学图像中在延伸的方向上获取一组图像片层。该方法还可以包括获取所述一组图像片层中各个图像片层中所分割的对象的内部代表点。该方法还可以包括基于所述一组图像片层的所述对象的一组内部代表点，获取所述3D医学图像中的一组图像块。该方法还可以包括基于所述一组图像块进行对象分析。

根据本公开的第二方案，提供一种对医学图像进行对象分析的装置，所述对医学图像进行对象分析的装置可以包括接口和处理器。接口可以配置为获取包含对象的3D医学图像。所述处理器可以配置为（例如经由接口）可以包括获取包含对象的3D医学图像。所述处理器还可以配置为对所述3D医学图像进行分割，以得到所述对象的分割结果。所述处理器还可以配置为在所述3D医学图像中在延伸的方向上获取一组图像片层。所述处理器还可以配置为获取所述一组图像片层中各个图像片层中所分割的对象的内部代表点。所述处理器还可以配置为基于所述一组图像片层的所述对象的一组内部代表点，获取所述3D医学图像中的一组图像块。此外，所述处理器可以配置为基于所述一组图像块进行对象分析。

根据本公开的第三方案，提供计算机存储介质，其上存储有可执行指令，所述可执行指令由处理器执行时实现对医学图像进行对象分析的方法的步骤。所述方法可以包括获取包含对象的3D医学图像。所述方法还可以包括对所述3D医学图像进行分割，以得到所述对象的分割结果。所述方法还可以包括在所述3D医学图像中在延伸的方向上获取一组图像片层。所述方法还可以包括获取所述一组图像片层中各个图像片层中所分割的对象的内部代表点。所述方法还可以包括基于所述一组图像片层的所述对象的一组内部代表点，获取所述3D医学图像中的一组图像块。该方法还可以包括基于所述一组图像块进行对象分析。

根据本公开各个实施例的对医学图像进行对象分析的方法、装置和存储介质，例如针对血管（作为对象的示例）的病变检测而言，本公开相对现有方案存在以下优势：

本公开以更合理的方式参考血管分割结果计算血管的中心点（作为内部代表点的示例），通过在延伸的方向上采样一组图像片层，并获取片层内的中心点，再对获取的中心点稀疏采样得到血管中心点。依此裁剪可得到一组图像块以进行后续的血管病变分析。如此，可避免传统的骨架化方案获取中心点冗余、血管分叉处处中心点定位不准等问题，较骨架化方案显著提升了速度。此外，还可避免中心线提取方案过度依赖血管分割结果，如分割结果不连续时中心线提取失败等问题。

本公开不依赖复杂的人工交互，即可完成包含延伸的器官或组织（例如血管）的一序列图像中血管病变的准确和高效检测，这一系列图像如头颈CTA图像序列，其中存在头部、颈部动脉及主动脉弓，其中每个动脉还存在大量分支，利用本公开的对象分析方法可以实现复杂血管树中血管病变的准确和高效检测。

与基于深度学习的血管病变自动分析软件相比，本公开更合理的参考血管分割结果，以本公开所提的血管中心点计算方案，通过按一定步进沿x, y, z方向 (或自适应计算主成分的方向)采样图像片层，并获取片层内血管中心点，再对获取的中心点稀疏采样得到所提血管中心参考点。依此裁剪的图像块可避免传统的骨架化方案获取中心点冗余、血管分叉处处中心点定位不准等问题，此方案还较骨架化方案速度快；此外还可避免中心线方案过度依赖血管分割结果，如分割结果不连续时中心线提取失败等问题。

附图说明

在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述相似的部件。附图大体上通过举例而不是限制的方式示出各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。在适当的时候，在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的，而并非旨在作为本装置或方法的穷尽或排他实施例。

图1示出根据本公开实施例的对医学图像进行对象分析的方法。

图2示出根据本公开实施例的3D医学图像的调窗及裁块过程。

图3示出根据本公开实施例的基于一组图像块进行对象分析过程。

图4示出根据本公开实施例的3D医学图像的病变检测过程。

图5示出根据本公开实施例的3D医学图像的病变预测mask dice系数优化过程。

图6（a）示出根据本公开实施例的血管分割结果。

图6（b）示出根据本公开实施例的血管中心参考点。

图7（a）示出根据本公开另一实施例肋骨分割结果。

图7（b）示出根据本公开另一实施例的肋骨中心点。

图8图示了根据本公开的实施例的示例性对医学图像进行对象分析的装置的说明框图。

具体实施方式

为使本领域技术人员更好的理解本公开的技术方案，下面结合附图和具体实施方式对本公开作详细说明。下面结合附图和具体实施例对本公开的实施例作进一步详细描述，但不作为对本公开的限定。本文中所描述的各个步骤，如果彼此之间没有前后关系的必要性，则本文中作为示例对其进行描述的次序不应视为限制，本领域技术人员应知道可以对其进行顺序调整，只要不破坏其彼此之间的逻辑性导致整个流程无法实现即可。

图1示出根据本公开实施例的对医学图像进行对象分析的方法，图2示出根据本公开实施例的3D医学图像的调窗及裁块过程。如图1和2所示，一种对医学图像进行对象分析的方法始于步骤S1，获取包含对象的3D医学图像。其中，所述对象可以为延伸一定长度的任何器官或组织，例如但不限于血管、肋骨、消化道、乳腺管、呼吸道中的至少一种或其中的病变。所述病变为血管中粥样硬化斑块、动脉瘤、支架等病变或异常。3D医学图像为包含血管的CTA图像、包含肋骨的CTA图像或者包含肺部的CTA图像。在本实施例，以血管作为对象的示例进行说明。所述3D医学图像为包含血管的CTA图像，本实施例用于说明检测血管动脉瘤病变。作为另一可实施例，3D医学图像为包含肋骨的CT图像。作为又一可实施例，3D医学图像为包含肺部的CT图像。

3D医学图像需要符合医学影像格式为医学数字成像，满足通信(Digital Imagingand Communications in Medicine, DICOM)协议，3D医学图像还需要符合CTA图像基本要求，如无造影剂充盈、无明显运动伪影等。

在步骤S2，可以通过预设窗宽窗位对3D医学图像调窗（步骤S201）和归一化（步骤S202）处理。注意，步骤S2是可选的。其中，窗宽窗位可以如下进行设置。可以获取已具有病变标注蒙版的已知3D医学图像的灰度值。可以获取所述已知3D医学图像的灰度值的直方图，再获取所述直方图中纵轴的总累计值；其中所述直方图的横轴为灰度值，纵轴为该灰度累计值。可以设置阈值，如0.05×总累计值，从所述直方图的左侧、右侧分别累加直方图纵轴，若累加值超过预设阈值，则分别取对应的左、右侧横轴坐标分别为统计的最小、最大灰度值min_v, max_v。可以通过最小、最大灰度值min_v, max_v计算窗宽窗位。通过最小、最大灰度值min_v, max_v计算窗宽窗位的公式如下：

窗宽ww (window width) = max_v-min_v,

窗位wl (window level) = (max_v-min_v)/2。

通过步骤S2，对3D医学图像进行调窗和归一化处理，使得3D医学图像变为更标准且更规范的待处理图像，有利于后续步骤得处理，比如分割3D医学图像。

在步骤S3，可以对所述3D医学图像进行分割（步骤S203），以得到所述对象的分割结果；其中，图6（a）示出根据本公开实施例的血管分割结果。图7（a）示出根据本公开另一实施例肋骨分割结果。

在本实施例，通过血管分割模型对所述3D医学图像进行分割，得到CTA图像血管分割结果，其中血管分割模型为含血管标签的数据训练得到。在一些实施例中，血管分割模型可以采用3D U-Net网络结构。血管分割模型的训练方式可以包括：基于经验丰富的影像科医生对训练样本影像中的血管进行标记，以此作为训练时的金标准。然后已标记的训练样本影像输入血管分割模型中，得到血管分割结果，并计算血管分割结果与金标准之间的损失。依据该损失调整血管分割模型的网络参数，当该损失小于等于预设阈值或者达到收敛时，表明血管分割模型训练收敛。可选地，计算损失时可以采用Dice损失函数，交叉熵损失函数或者其他类型的损失函数；在调整网络参数时，可以采用随机梯度下降SGD优化器或者其他类型的优化器，在此不做具体限定。

在步骤S4，可以在所述3D医学图像中在延伸的方向上获取一组图像片层（例如参见图2中的步骤S204）；其中，所述延伸的方向包括沿着坐标轴的方向、对所述对象的分割结果进行主成分分析所得到的主成分方向、预设方向中的任何一种。针对不同部位或者器官的3D医学图像，有针对性的选择具体的延伸方向，获取图像片层，这样能得到更合理的图像片层。比如，对于血管分布均匀的3D医学图像，沿着图像的坐标轴的方向获取一组图像片层，这样能更快速、高效；对于对象所含成分分布有规律，则沿着图像的主成分方向获取一组图像片层，会更准确、合理的参考血管分割结果。

在本实施例，所述延伸的方向为沿着坐标轴（X、Y和Z轴）的方向。

在步骤S5，可以获取所述一组图像片层中各个图像片层中所分割的对象的内部代表点（例如参见图2中的步骤S205）。步骤S5可以采用各种方式来获取所分割的对象的内部代表点。

在一些实施例中，可以为各图像片层标记连通域并获取连通域的内部代表点；对各图像片层的连通域的内部代表点进行稀疏化采样，以得到稀疏化后的一组内部代表参考点。对各图像片层的连通域的内部代表点进行稀疏化采样，以得到稀疏化后的一组内部代表参考点具体包括：稀疏化采样一组内部代表点，对稀疏化采样后的各个内部代表点进行扩展，以得到各个内部代表点的扩展蒙版；为各个内部代表点的扩展蒙版标记连通域，在所标记的连通域中再次采样另一组内部代表点，作为稀疏化后的一组内部代表参考点，这样能够保证内部代表参考点在待检测对象的内部，依此内部代表参考点裁剪的图像块可避免传统的骨架化方案获取中心点冗余、复杂部位或组织（比如血管分叉处）中心点定位不准等问题，此方案还较骨架化方案速度快；此外还可避免中心线方案过度依赖血管分割结果存在的问题，如分割结果不连续时中心线提取失败。

下面以中心点作为内部代表点的示例进行具体说明。可以采用如下步骤来获取中心点。

1) 基于血管分割蒙版，沿着延伸方向，例如 x, y, z轴，按一定间隔 (如10mm)获取图像片层；

2) 为各个图像片层标记连通域，并获取连通域中点为备选中心点；

3) 沿着延伸方向，例如x, y, z轴，重复步骤2)，以获取数个图像块的中点。在另一可实施例中，所述延伸的方向为对所述对象的分割结果进行主成分分析所得到的主成分方向，具体为对数个图像片层进行主成分分析，计算图像片层内的血管分布，得到数个图像片层的第一主成分方向。

4) 稀疏图像片层中心点，设置一定边长，沿中心点按照设置的边长扩展成为正方体，得到图像中心点的扩展蒙版；

5) 对图像中心点的扩展蒙版的连通域标记，再次获取边长的中心点，此中心点即稀疏后的图像块中心点。

其中，图6（b）示出根据本公开实施例的血管中心参考点。图7（b）示出根据本公开另一实施例的肋骨中心点。通过对比可知，在应对肺结节检测场景时，可通过分割得到肺部分割结果，再采用阈值初筛结节蒙版，此时初筛的结节蒙版为不连续的管状连通域，无法通过提取中心线获取连通域中心点，明显的本方案所提中心参考点计算方案可应对该场景。

在步骤S6，可以基于所述一组图像片层的所述对象的一组内部代表点，获取所述3D医学图像中的一组图像块。步骤S6具体可以包括：基于一组内部代表参考点，根据预设尺寸对所述3D医学图像进行裁剪，获取一组图像块（例如参见图2中的步骤S206，或者参见图4中的步骤S401）。本实施例以内部代表参考点为中心点，向外扩展对3D医学图像进行裁剪，这样能确保裁剪的图像块包含待检测的对象，可避免传统的骨架化方案获取中心点冗余、复杂部位或组织（比如血管分叉处）中心点定位不准等问题，此方案还较骨架化方案速度快；此外还可避免中心线方案过度依赖血管分割结果存在的问题，如分割结果不连续时中心线提取失败。

在步骤S7，可以基于所述一组图像块进行对象分析。

本公开实施例通过在所述3D医学图像中在延伸的方向上获取一组图像片层，在图像片层上以更合理的方式参考血管分割结果计算对象的内部代表点，再对获取的内部代表点稀疏采样，最后依采样后的内部代表点裁剪可得到一组图像块，以进行后续的病变分析。如此，可以保证进行病变分析的图像块包含对象，还可避免传统的骨架化方案获取中心点冗余、血管分叉处处中心点定位不准等问题，较骨架化方案显著提升了速度。此外，还可避免中心线提取方案过度依赖血管分割结果，如分割结果不连续时中心线提取失败等问题。

图3示出根据本公开实施例的基于一组图像块进行对象分析过程，如图3所示，基于所述一组图像块进行对象分析具体包括：

在步骤S301，可以基于所述一组图像块，利用第一模型来确定所述对象的第一病变分析结果。

在一些实施例中，如图4所示，步骤S301具体可以包括：基于所述一组图像块，利用所述第一模型逐图像块地执行分析，再经假阳性抑制处理得到所述第一病变分析结果，即通过第一病变检测模型（第一模型）逐图像块预测（步骤S402），再经假阳抑制模块（步骤S403）得到第一CTA图像病变预测结果 (即病变预测mask0或第一分析结果)。其中，第一病变检测模型利用包含病变的标注信息的图像块作为训练样本来训练，其中训练过程包括数据集准备、模型调优。首先将病变标注数据按一定比例划分为训练集、调优集、测试集，确定训练集、调优集包含病变标注蒙版的连通域的边界框(bounding box, bbox)，基于所述边界框进行裁块，裁块方式为随机获取bbox 的某个x, y, z坐标作为中心点，沿中心点按一定边长裁块获得数个病变CTA图像块及具有病变标注蒙版的图像块，作为训练、调优所需的阳性样本。

在一些实施例中，第一病变检测模型可以选用3D UNet，病变检测模型训练方式可以包括：将上述训练集中CTA图像块输入模型，得到病变分割结果，计算病变检测结果与具有病变标注蒙版的图像块之间的损失。依据损失调整模型的网络参数，当损失小于预设阈值时即达到收敛。损失函数一般选用Dice、交叉熵或focal损失函数，网络优化方法一般选用随机梯度下降法SGD，在此不做具体限定。

假阳抑制模块为利用先验知识去除病变预测蒙版中部分假阳性的连通域，如去除连通域与血管分割蒙版相交面积小于连通域面积20%的连通域，去除连通域面积小于一定阈值的连通域。

在步骤S302，可以基于所述对象的第一病变分析结果确定病变的各个连通域，并获取所述各个连通域的一组内部代表点；基于所述各个连通域的一组内部代表点，获取所述3D医学图像中的另一组图像块。也就是，可以计算病变预测mask0的连通域，获取连通域中心点（步骤S404），按预设边长沿中心点再对CTA调窗图像裁剪以获取另一组图像块（步骤S405）。

在步骤S303，可以基于所述另一组图像块，利用第二模型来确定所述对象的病变的第二分析结果。在一些实施例中，步骤S303具体可以包括：基于所述另一组图像块，利用所述第二模型逐图像块地执行分析，再经假阳性抑制处理得到所述第二分析结果。也就是，通过第二病变检测模型（第二模型）逐图像块预测（步骤S406），再经假阳抑制模块（步骤S407）得到第二病变预测结果 (即病变预测mask1或第二分析结果)，其中第二病变检测模型利用包含病变的标注信息的图像块连同所述第一模型分析得到的假阳性的图像块作为训练样本来训练。第二病变检测模型的训练过程亦包括数据集准备、模型调优。数据准备的区别在于训练集还需添加第一病变检测模型预测的假阳性图像块。具体的对病变预测mask0逐连通域与对应的已标注蒙版比较，判断该连通域与标注蒙版中病变重叠面积是否大于该连通域面积的20%，若不是则判定为假阳性连通域，对该假阳性连通域bbox裁块，得到训练所需假阳性样本，将该假阳性样本添加至第二病变检测模型的所述阳性样本训练集组成新的训练样本。

再用同样的假阳抑制模块优化病变预测mask1，类似的，还可迭代地获取第三病变检测模型、第四病变检测模型…以进一步提升假阳抑制效果。

需注意的是，所提第二病变检测模型依赖第一病变检测模型预测的阴性图像块样本以提升病变检测精准率，不同于现有方案在CTA图像上随机采样负样本；此外本公开所提迭代流程存在第一病变检测模型预测结果敏感性、病变dice系数高的特性，第二病变检测模型精准率高的特性，所提的dice系数优化也尤其适用于该场景。

在步骤S304，可以将所述第一病变分析结果对应的各个连通域与所述第二病变分析结果进行比较，保留各个连通域与所述第二病变分析结果的重合度大于预定阈值的区域的第一病变分析结果，作为对象的病变分析结果。

图5示出根据本公开实施例的3D医学图像的病变预测蒙版进行dice系数优化过程。如图5所示，步骤S304具体包括，对于所述第一病变分析结果的各个连通域：获取该连通域及其边界框（步骤S501）；基于该连通域的边界框，对所述第二病变分析结果进行裁剪，以得到相应的图像块；计算该连通域与裁剪得到的相应图像块的重合面积（步骤S502），若重合面积小于或等于预定阈值，则清除所述第一病变分析结果的该连通域（步骤S503）；若重合面积大于预定阈值，则保留所述第一病变分析结果的该连通域。例如，可以对病变预测mask0逐连通域与第二病变检测模型预测的mask1进行比较，保留病变预测mask0中连通域与mask1中病变重合面积大于该连通域体积20%的区域，处理后的病变预测mask0即是最终的病变预测蒙版。

其具体的实现步骤为：

1) 获取病变预测mask0中数个病变连通域，逐个连通域按步骤2)-6)操作（步骤S504）；

2) 获取第i个连通域的边界框bbox_i，及该边界框对应的连通域mask0_i；

3) 获取第i个连通域的体积，volume_i = sum(mask0_i)；

4) 基于边界框bbox_i在病变预测mask1上裁块得到相应的mask1_i；

5) 得到第i个连通域在mask0, mask1上的重合面积，其重合面积overlap_volume_i = sum(mask1_i[mask0_i>0])；

6) 若overlap_volume_i<0.2·volume_i，则清除mask0中的该连通域。注意，用于面积重合度的阈值0.2仅仅作为示例，也可以设置其他的阈值。

作为另一可实施例，本方案还可用于肋骨骨折检测，得到若干个肋骨中心参考点，再设置一定边长沿中心点对CTA调窗图像裁剪以获取若干图像块。

对获取的图像块使用第一病变检测模型与假阳抑制模块获取第一病变预测结果，获取第一病变预测结果中的连通域的中心点，依此再对CTA调窗图像裁块获取数个图像块。第一病变检测模型由于采用全阳性图像块样本训练，故敏感性较高。再使用第二病变检测模型与假阳抑制模块获取第二病变预测结果。第二病变检测模型采用阳性及第一病变检测模型预测的阴性样本作为训练集，可提升精准率。由于第二病变检测模型训练时添加了假阳性病变，故预测病变结果dice系数较第一病变检测模型预测结果低。最后提出优化预测病变结果，将第一病变预测结果中的病变连通域与第二病变预测结果的病变区域重合面积较小的连通域去除，优化后的第一病变预测结果即为最终的病变预测结果。该优化可使算法在保证检测有较高的敏感性、精准率的情况下，检出的病变连通域仍有较高的dice系数。

本公开实施例的第一病变检测模型由于采用全阳性图像块样本训练，以提升检测敏感性及病变dice系数，再迭代的用第一病变检测模型预测的训练集阴性图像块样本添加至训练集，训练第二病变检测模型，以提升病变的精准率，为进一步提高检测精准率还可再迭代的得到第三病变检测模型。为避免添加阴性样本后病变dice的下降，再提出dice系数方案优化第一病变检测模型得到的病变预测结果，即将第一病变预测结果中病变连通域与第二病变预测结果的病变区域重合面积较小的连通域去除，优化后的第一病变预测结果即为最终的病变预测结果。在第一病变检测模型和第二病变检测模型均进行了假阳抑制处理，假阳抑制处理会剔除结果中非血管区域、体积小于一定阈值的假阳性病变。

综上，本实施例首先通过获取的窗宽窗位对CTA图像调窗、归一化。再采用血管分割模型获取血管分割结果，然后按一定步进沿x, y, z方向采样图像片层，并获取片层内血管中心点，再对获取的中心点稀疏采样得到所提血管中心参考点，依此对CTA调窗图像裁块获取数个图像块。本方案的计算中心点方案在提升预测效率的同时保持图像块中心点位于血管内，使之符合模型训练时病变连通域中心点位于血管中心的实际情况，以逼近模型最优预测效果。

图8图示了根据本公开的实施例的示例性对医学图像进行对象分析的装置的说明框图，如图8所示，一种对象分析装置800，包括接口807和处理器801。接口807可以配置为接收包含对象的3D医学图像。处理器801可以配置为：执行根据本公开各个实施例的对医学图像进行对象分析的方法。

通过该接口807，对医学图像进行对象分析的装置可以连接到网络（未示出），例如但不限于医院中的局域网或因特网。但接口807实现的通信方式不限于网络，可以包括NFC、蓝牙、WIFI等；可以是有线连接，也可以是无线连接。以网络为例，接口807可以将对医学图像进行对象分析的装置与诸如图像采集装置（未示出）、医学图像数据库808和图像数据存储装置809的外部装置连接。图像采集装置可以是任何类型的成像模态，例如但不限于计算机断层摄影（CT）、数字减影血管造影（DSA）、磁共振成像（MRI）、功能性MRI、动态对比增强-MRI、扩散MRI、螺旋CT、锥形束计算机断层摄影（CBCT）、正电子发射断层摄影（PET）、单光子发射计算断层摄影（SPECT）、X射线成像、光学断层摄影、荧光成像、超声成像、放射治疗射野成像。

在一些实施例中，对象分析装置800可以是专用智能装置或通用智能装置。例如，对象分析装置800可以是为图像数据获取和图像数据处理任务定制的计算机，或者是放置在云中的服务器。例如，装置800集成到图像采集装置中。

对象分析装置800可以包括处理器801和存储器804，并且可以另外包括输入/输出802和图像显示器803中的至少一个。

处理器801可以是包括一个或多个通用处理装置的处理装置，诸如微处理器、中央处理单元（CPU）、图形处理单元（GPU）等。更具体地，处理器801可以是复杂指令集计算（CISC）微处理器、精简指令集计算（RISC）微处理器、超长指令字（VLIW）微处理器、运行其他指令集的处理器或者运行指令集的组合的处理器。处理器801还可以是一个或多个专用处理装置，诸如专用集成电路（ASIC）、现场可编程门阵列（FPGA）、数字信号处理器（DSP），片上系统（SoC）等。如本领域技术人员将理解的，在一些实施例中，处理器801可以是专用处理器，而不是通用处理器。处理器801可以包括一个或多个已知的处理装置，例如来自Intel ^TM制造的Pentium ^TM、Core ^TM、Xeon ^TM或Itanium系列的微处理器，由AMD TM制造的Turion ^TM、Athlon ^TM、Sempron ^TM、Opteron ^TM、FX ^TM、 Phenom ^TM系列，或由Sun Microsystems制造的各种处理器。处理器801还可以包括图形处理单元，诸如来自GeForce^®的GPU，由Nvidia ^TM制造的Quadro^®、Tesla^®系列，由Intel ^TM制造的GMA，Iris ^TM系列，或由AMD ^TM制造的Radeon ^TM系列。处理器801还可以包括加速处理单元，例如由AMD ^TM制造的Desktop A-4（6,6）系列，由Intel ^TM制造的Xeon Phi ^TM系列。所公开的实施例不限于任何类型的处理器或处理器电路，其以其他方式被配置为获取包含对象的3D医学图像；对所述3D医学图像进行分割，以得到所述对象的分割结果；在所述3D医学图像中在延伸的方向上获取一组图像片层；获取所述一组图像片层中各个图像片层中所分割的对象的内部代表点；基于所述一组图像片层的所述对象的一组内部代表点，获取所述3D医学图像中的一组图像块；基于所述一组图像块进行对象分析；或与所公开的实施例一致地操纵任何其他类型的数据。另外，术语“处理器”或“图像处理器”可以包括一个以上的处理器，例如，多核设计或多个处理器，每个处理器具有多核设计。处理器801可以执行存储在存储器804中的计算机程序指令序列，以执行本文公开的各种操作、过程和方法。

处理器801可以通信地耦合到存储器804并且被配置为执行存储在其中的计算机可执行指令。存储器804可以包括只读存储器（ROM）、闪存、随机存取存储器（RAM）、诸如同步DRAM（SDRAM）或Rambus DRAM的动态随机存取存储器（DRAM）、静态存储器（例如，闪存、静态随机存取存储器）等，计算机可执行指令以任何格式存储在其上。在一些实施例中，存储器804可以存储一个或多个图像处理程序805的计算机可执行指令。计算机程序指令可以由处理器801访问，从ROM或者任何其他合适的存储器位置读取，并且加载在RAM中以供处理器801执行。例如，存储器804可以存储一个或多个软件应用程序。存储在存储器804中的软件应用程序可以包括，例如，用于普通计算机系统的操作系统（未示出）以及用于软控制装置的操作系统。

此外，存储器804可以存储整个软件应用程序或仅存储可由处理器801执行的软件应用程序的一部分（例如，图像处理程序805）。此外，存储器804可以存储多个软件模块，用于实现与本公开一致的对医学图像进行对象分析的方法的各个步骤或用于训练第一模型、第二模型的过程。

此外，存储器804可以存储在执行计算机程序时生成/缓冲的数据，例如，医学图像数据806，包括从图像采集装置、医学图像数据库808、图像数据存储装置809等发送的医学图像。在一些实施例中，医学图像数据806可以包括要进行对象分析的包含对象的3D医学图像，图像处理程序805将要对其实现分割、获取图像片层、获取内部代表点、剪裁图像块和进行对象分析。

在一些实施例中，可以提供图像数据存储装置809以与医学图像数据库808交换图像数据，以及存储器804可以与医学图像数据库808通信以获得要进行血管分割的包含数个部位的医学图像。例如，图像数据存储装置809可以驻留在其他医学图像采集装置（例如对该患者执行扫描的CT）中。患者的医学图像可以被传输并保存到医学图像数据库808，以及对象分析装置800可以从医学图像数据库808取得特定患者的医学图像并为该特定患者的医学图像进行对象分析。

在一些实施例中，存储器804可以与医学图像数据库808通信，以将对象分割结果连同得到的对象分析结果传输并保存到医学图像数据库808中。

此外，训练好的第一模型和/或第二模型的参数可以存储在医学图像数据库808上，以在需要时供其他对象分析装置访问、获取和利用。以该方式，面对患者时，处理器801可以取得对应人群的训练好的第一模型和/或第二模型，以便基于所取得的训练好的模型来进行血管分割。

在一些实施例中，第一模型和/或第二模型（尤其学习网络）可以保存在存储器804中。可选地，学习网络可以存储在远程装置、分离的数据库（诸如医学图像数据库808）、分布式装置中，且可以被图像处理程序805使用。

除了显示医学图像之外，图像显示器803还可以显示其他信息，诸如，对象的分割结果、中心点计算结果和对象分析结果。例如，该图像显示器803可以是LCD、CRT或LED显示器。

输入/输出802可以被配置为允许对象分析装置800接收和/或发送数据。输入/输出802可以包括允许装置与用户或其他机器和装置通信的一个或多个数字和/或模拟通信装置。例如，输入/输出802可以包括允许用户提供输入的键盘和鼠标。

在一些实施例中，图像显示器803可以呈现用户界面，以便用户利用输入/输出802连同该用户界面，可以方便且直观地修正（诸如编辑、移动、修改等）所生成的解剖标签。

接口807可以包括网络适配器、电缆连接器、串行连接器、USB连接器、并行连接器、诸如光纤的高速数据传输适配器、USB 6.0、闪电、例如Wi-Fi适配器的无线网络适配器、电信（6G、4G / LTE等）适配器。装置可以通过接口807连接到网络。网络可以提供局域网（LAN）、无线网络、云计算环境（例如，作为服务的软件、作为服务的平台、作为服务的基础设施等）、客户端-服务器、广域网（WAN）等。

本公开的实施例还提供一种计算机存储介质，其上存储有计算机可执行指令，该计算机可执行指令可以由处理器执行时，实现根据本公开各个实施例的对医学图像进行对象分析的方法。存储介质可以包括只读存储器(ROM)、闪存、随机存取存储器(RAM)、诸如同步DRAM(SDRAM)或Rambus DRAM的动态随机存取存储器(DRAM)、静态存储器(例如，闪存、静态随机存取存储器)等，其上可以以任何格式存储计算机可执行指令。

此外，尽管已经在本文中描述了示例性实施例，其范围包括任何和所有基于本公开的具有等同元件、修改、省略、组合（例如，各种实施例交叉的方案）、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释，并不限于在本说明书中或本公开的实施期间所描述的示例，其示例将被解释为非排他性的。因此，本说明书和示例旨在仅被认为是示例，真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。

以上描述旨在是说明性的而不是限制性的。例如，上述示例（或其一个或更多方案）可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本公开。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反，本公开的主题可以少于特定的公开的实施例的全部特征。从而，以下权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。

以上实施例仅为本公开的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本公开的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (17)

1.一种对医学图像进行对象分析的方法，其特征在于，包括：

获取包含对象的3D医学图像；

对所述3D医学图像进行分割，以得到所述对象的分割结果；

在所述3D医学图像中在延伸的方向上获取一组图像片层；

获取所述一组图像片层中各个图像片层中所分割的对象的内部代表点；

基于所述一组图像片层的所述对象的一组内部代表点，获取所述3D医学图像中的一组图像块；

基于所述一组图像块，利用第一模型来确定所述对象的第一病变分析结果；

基于所述对象的第一病变分析结果确定病变的各个连通域，并获取所述各个连通域的一组内部代表点；

基于所述各个连通域的一组内部代表点，获取所述3D医学图像中的另一组图像块；

基于所述另一组图像块，利用第二模型来确定所述对象的病变的第二病变分析结果；

将所述第一病变分析结果对应的各个连通域与所述第二病变 分析结果进行比较，保留各个连通域与所述第二病变 分析结果的重合度大于预定阈值的区域的第一病变分析结果，作为对象的病变分析结果。

2.根据权利要求1所述的方法，其特征在于，所述延伸的方向包括沿着坐标轴的方向、对所述对象的分割结果进行主成分分析所得到的主成分方向、预设方向中的任何一种。

3.根据权利要求1所述的方法，其特征在于，所述对象为血管、肋骨、消化道、乳腺管、呼吸道中的至少一种或其中的病变。

4.根据权利要求1所述的方法，其特征在于，将所述第一病变分析结果对应的各个连通域与所述第二病变分析结果进行比较，保留各个连通域与所述第二病变分析结果的重合度大于预定阈值的区域的第一病变分析结果，作为对象的病变分析结果具体包括，对于所述第一病变分析结果的各个连通域：

获取该连通域及其边界框；

基于该连通域的边界框，对所述第二病变分析结果进行裁剪，以得到相应的图像块；

计算该连通域与裁剪得到的相应图像块的重合面积，若重合面积小于或等于预定阈值，则清除所述第一病变分析结果的该连通域；若重合面积大于预定阈值，则保留所述第一病变分析结果的该连通域。

5.根据权利要求1-4中的任何一种所述的方法，其特征在于，所述内部代表点为中心点。

6.根据权利要求1-4中的任何一种所述的方法，其特征在于，获取所述一组图像片层中各个图像片层中所分割的对象的内部代表点具体包括：为各图像片层标记连通域并获取连通域的内部代表点；对各图像片层的连通域的内部代表点进行稀疏化采样，以得到稀疏化后的一组内部代表参考点。

7.根据权利要求6所述的方法，其特征在于，对各图像片层的连通域的内部代表点进行稀疏化采样，以得到稀疏化后的一组内部代表参考点具体包括：

稀疏化采样一组内部代表点，对稀疏化采样后的各个内部代表点进行扩展，以得到各个内部代表点的扩展蒙版；

为各个内部代表点的扩展蒙版标记连通域，在所标记的连通域中再次采样另一组内部代表点，作为稀疏化后的一组内部代表参考点。

8.根据权利要求7所述的方法，其特征在于，基于所述一组图像片层的所述对象的一组内部代表点，获取所述3D医学图像中的一组图像块具体包括：

基于一组内部代表参考点，根据预设尺寸对所述3D医学图像进行裁剪，获取一组图像块。

9.根据权利要求1所述的方法，其特征在于，基于所述一组图像块，利用第一模型来确定所述对象的第一病变分析结果具体包括：基于所述一组图像块，利用所述第一模型逐图像块地执行分析，再经假阳性抑制处理得到所述第一病变分析结果。

10.根据权利要求1所述的方法，其特征在于，基于所述另一组图像块，利用第二模型来确定所述对象的第二病变分析结果具体包括：基于所述另一组图像块，利用所述第二模型逐图像块地执行分析，再经假阳性抑制处理得到所述第二病变 分析结果。

11.根据权利要求1、9和10中任何一项所述的方法，其特征在于，所述第一模型利用包含病变的标注信息的图像块作为训练样本来训练，所述第二模型利用包含病变的标注信息的图像块连同所述第一模型分析得到的假阳性的图像块作为训练样本来训练。

12.根据权利要求1-4中的任何一种所述的方法，其特征在于，获取包含对象的3D医学图像后还包括：通过预设窗宽窗位对3D医学图像调窗和归一化处理。

13.根据权利要求12所述的方法，其特征在于，窗宽窗位的设置步骤为：

获取已具有病变标注mask的已知3D医学图像的灰度值；

获取所述已知3D医学图像的灰度值的直方图，再获取所述直方图中纵轴的总累计值；其中所述直方图的横轴为灰度值，纵轴为该灰度累计值；

从所述直方图的左侧、右侧分别累加直方图纵轴，若累加值超过预设阈值，则分别取对应的左、右侧横轴坐标分别为统计的最小、最大灰度值min_v, max_v；

通过最小、最大灰度值min_v, max_v计算窗宽窗位。

14.根据权利要求13所述的方法，其特征在于，通过最小、最大灰度值min_v, max_v计算窗宽窗位的公式如下：

窗宽ww (window width) = max_v-min_v,

窗位wl (window level) = (max_v-min_v)/2。

15.根据权利要求1-4中的任何一种所述的方法，其特征在于，3D医学图像为包含血管的CTA图像、包含肋骨的CTA图像或者包含肺部的CTA图像。

16.一种对医学图像进行对象分析的装置，其特征在于，包括：

接口，其配置为获取包含对象的3D医学图像；以及

处理器，其配置为：执行根据权利要求1-15中任何一项所述的对医学图像进行对象分析的方法。

17.一种具有存储在其上的指令的非暂时性计算机可读介质，所述指令在由处理器执行时实现根据权利要求1-15中任何一项所述的对医学图像进行对象分析的方法。

Images