CN110648350B - 一种肝脏血管分割方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种肝脏血管分割方法、装置及电子设备，方法包括：获得对肝脏进行扫描得到的图像组，所述图像组中包括针对所述肝脏在多个扫描层面上的目标图像；获取所述目标图像的掩膜图像，所述掩膜图像为包含所述肝脏所在区域的图像；基于所述掩膜图像，通过第一分割方式对所述目标图像中的肝外血管进行分割，得到所述肝外血管的血管图像；基于所述肝外血管的血管图像，通过第二分割方式对所述目标图像中的肝内血管进行分割，得到所述肝内血管的血管图像；其中，所述第一分割方式和所述第二分割方式不同。

Description

一种肝脏血管分割方法、装置及电子设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种肝脏血管分割方法、装置及电子设备。

背景技术

对电子计算机断层扫描CT(Computed Tomography)图像中的肝脏血管分割能够协助各种医疗任务，对于肝脏相关的手术能够提供重要信息。

例如，对肝外血管中的门静脉血管的主干分支和下腔静脉血管以及肝内血管中的门静脉血管的其他分支及肝静脉血管进行准确分割，能够有效定位肝脏分段和肿瘤位置，并以此协助肝脏切除或肝脏肿瘤的切除手术等。

因此，目前亟需一种能够准确对肝脏血管进行分割的技术方案。

发明内容

有鉴于此，本申请提供一种肝脏血管分割方法、装置及电子设备，用以准确对肝脏血管进行分割。

本申请提供了一种肝脏血管分割方法，包括：

获得对肝脏进行扫描得到的图像组，所述图像组中包括针对所述肝脏在多个扫描层面上的目标图像；

获取所述目标图像的掩膜图像，所述掩膜图像为包含所述肝脏所在区域的图像；

基于所述掩膜图像，通过第一分割方式对所述目标图像中的肝外血管进行分割，得到所述肝外血管的血管图像；

基于所述肝外血管的血管图像，通过第二分割方式对所述目标图像中的肝内血管进行分割，得到所述肝内血管的血管图像；

其中，所述第一分割方式和所述第二分割方式不同。

上述方法，优选的，基于所述掩膜图像，通过第一分割方式对所述目标图像中的肝外血管进行分割，得到所述肝外血管的血管图像，包括：

利用所述掩膜图像，确定所述目标图像中所述肝脏所在的矩形区域图像；

对中部扫描层面所对应的目标图像中的肝外血管进行识别，得到所述肝外血管所在的矩形区域的位置信息，所述位置信息包括：所述肝外门静脉血管所在的矩形区域的位置信息和肝外下腔静脉血管所在的矩形区域的位置信息；

基于所述肝外门静脉血管所在的矩形区域的位置信息，获得所述肝外门静脉血管的血管图像；

基于所述肝外下腔静脉血管所在的矩形区域的位置信息，获得所述肝外下腔静脉血管的血管图像。

上述方法，优选的，对中部扫描层面所对应的目标图像中的肝外血管进行识别，得到所述肝外血管所在的矩形区域的位置信息，包括：

利用检测模型，对中部扫描层面所对应的目标图像中的肝外门静脉血管进行检测，得到至少一个所述肝外门静脉血管所在的矩形区域的位置信息；其中，所述检测模型为利用至少两帧具有肝外门静脉血管标签的图像样本训练得到的模型；

基于所述肝外门静脉血管所在的矩形区域的位置信息，获得至少一个所述肝外下腔静脉血管所在的矩形区域的位置信息。

上述方法，优选的，基于所述肝外门静脉血管所在的矩形区域的位置信息，获得所述肝外门静脉血管的血管图像，包括：

基于所述肝外门静脉血管所在的矩形区域的位置信息，裁剪出所述肝外门静脉血管所在区域的区域图像；

利用预设的分割算法，提取出所述区域图像中所述肝外门静脉血管的血管图像。

上述方法，优选的，基于所述肝外下腔静脉血管所在的矩形区域的位置信息，获得所述肝外下腔静脉血管的血管图像，包括：

基于所述肝外下腔静脉血管所在的矩形区域的位置信息，裁剪出所述肝外下腔静脉血管所在区域的区域图像；

利用基于深度学习的神经网络，对所述区域图像进行血管分割，得到所述肝外下腔静脉血管的血管图像。

上述方法，优选的，还包括：

对所述肝外门静脉血管所在的矩形区域的位置信息进行校准；

基于校准后的位置信息，重新裁剪出所述肝外门静脉血管所在区域的区域图像，并重新利用预设的分割算法，提取出所述区域图像中所述肝外门静脉血管的血管图像。

上述方法，优选的，还包括：

对所述肝外下腔静脉血管的血管图像进行修正。

上述方法，优选的，基于所述肝外血管的血管图像，通过第二分割方式对所述目标图像中的肝内血管进行分割，得到所述肝内血管的区域图像，包括：

基于所述肝外血管的血管图像，获得所述目标图像的标注图像，所述标注图像包括对所述目标图像中肝内血管的预设标签；

针对所述标注图像中所述肝内血管的预设标签，获得所述标注图像对应的标准图像，所述标准图像中具有与所述预设标签对应的标准标签；

基于所述标准标签和其对应的预设标签，获得损失函数，所述损失函数中包含存在噪声的预设标签和所述标准标签的概率分布关系的函数变量；其中；

基于所述损失函数，获得血管分割模型，所述血管分割模型为利用至少两个具有肝内血管标签的图像样本训练得到；

利用所述血管分割模型，对所述目标图像中所述肝脏所在的矩形区域进行肝内血管分割，得到肝内血管的血管图像。

上述方法，优选的，利用至少两个具有肝内血管标签的图像样本训练得到所述血管分割模型，包括：

获得图像样本中肝外血管的血管图像；

至少基于所述肝外血管的血管图像，对所述图像样本进行处理，以得到所述图像样本中的肝脏的掩膜图像；

截取出所述肝脏的掩膜图像中所述肝脏所在的矩形区域；

利用截取出的所述肝脏所在的矩形区域以及所述图像样本中所述肝内血管的预设标签，对初始构建的血管分割模型进行训练，得到训练完成的血管分割模型。

上述方法，优选的，在对初始构建的血管分割模型进行训练之前，所述方法还包括：

利用插值算法，对所述图像样本中截取出的所述肝脏所在的矩形区域进行放大。

本申请还提供了一种肝脏血管分割装置，包括：

图像获得单元，用于获得对肝脏进行扫描得到的图像组，所述图像组中包括针对所述肝脏在多个扫描层面上的目标图像；

掩膜获取单元，用于获取所述目标图像的掩膜图像，所述掩膜图像为包含所述肝脏所在区域的图像；

第一分割单元，用于基于所述掩膜图像，通过第一分割方式对所述目标图像中的肝外血管进行分割，得到所述肝外血管的血管图像；

第二分割单元，用于基于所述肝外血管的区域图像，通过第二分割方式对所述目标图像中的肝内血管进行分割，得到所述肝内血管的血管图像；

其中，所述第一分割方式和所述第二分割方式不同。

本申请还提供了一种电子设备，包括：

存储器，用于存储应用程序及所述应用程序运行所产生的数据；

处理器，用于执行所述应用程序，以实现功能：获得对肝脏进行扫描得到的图像组，所述图像组中包括针对所述肝脏在多个扫描层面上的目标图像；获取所述目标图像的掩膜图像，所述掩膜图像为包含所述肝脏所在区域的图像；基于所述掩膜图像，通过第一分割方式对所述目标图像中的肝外血管进行分割，得到所述肝外血管的血管图像；基于所述肝外血管的区域图像，通过第二分割方式对所述目标图像中的肝内血管进行分割，得到所述肝内血管的血管图像；

其中，所述第一分割方式和所述第二分割方式不同。

从上述技术方案可以看出，本申请公开的一种肝脏血管分割方法、装置及电子设备，在获得对肝脏进行扫描得到的图像组之后，对图像组中针对肝脏在多个扫描层面上的各目标图像的掩膜图像进行获取，而得到的掩膜图像为包含肝脏所在区域的图像，由此，利用掩膜图像，在通过第一分割方式对目标图像中的肝外血管进行分割得到肝外血管的血管图像之后，在目标图像中已经分割出肝外血管的基础上，通过不同于第一分割方式的第二分割方式分割出目标图像中的肝内血管的血管图像，由此实现肝内血管和肝外血管的分割。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一提供的一种肝脏血管分割方法的流程图；

图2为本申请实施例中图像组的示意图；

图3为本申请实施例一中对肝外血管进行分割的流程图；

图4为本申请实施例中肝外血管的示意图；

图5为本申请实施例一中对肝内血管进行分割的流程图；

图6为本申请实施例中对CT图像中肝外门静脉血管进行分割的示例流程图；

图7为本申请实施例中对CT图像中肝外下腔静脉血管进行分割的示例流程图；

图8为本申请实施例中用于对肝内血管进行分割的血管分割模型的训练样本的处理示意图；

图9为本申请实施例二提供的一种肝脏血管分割装置的结构示意图；

图10为本申请实施例三提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1所示，为本申请实施例一提供的一种肝脏血管分割方法的实现流程图，该方法可以适用于能够进行图像处理的电子设备上，如终端或服务器等设备。本实施例中的方法主要用于对扫描肝脏得到的图像中肝内血管和肝外血管进行分割，以便于作为后续操作的数据依据。

具体的，本实施例中的方法可以包括以下步骤：

步骤101：获得对肝脏进行扫描得到的图像组。

其中，图像组中包括针对肝脏在多个扫描层面上的目标图像，如图2中所示，图像组中包括多张目标图像，每帧目标图像分别为肝脏在不同扫描层面如横断面上的扫描图像，如CT图像等。

具体的，本实施例中可以通过建立与CT扫描设备之间的连接，来读取CT扫描设备对肝脏在多个横断面上进行扫描得到的目标图像，以形成图像组，图像组中各个目标图像按照扫描顺序进行排序，形成图像序列可以以CT_original表示。

步骤102：获得目标图像的掩膜图像。

其中，掩膜图像为包含肝脏所在区域的图像。具体的，本实施例中可以利用基于深度学习的神经网络如UNet-3D网络等对目标图像中肝脏所在区域进行识别，从而得到目标图像具有肝脏所在区域的掩膜图像，可以以Liver_original表示。

需要说明的是，每张目标图像均会生成一张掩膜图像，每张掩膜图像中均具有肝脏所在区域的区域图像，由于每张目标图像时对肝脏不同横断面进行扫描的图像，因此，每张目标图像的掩膜图像中肝脏所在区域不同。

步骤103：基于掩膜图像，通过第一分割方式，对目标图像中肝外血管进行分割，以得到肝外血管的血管图像。

其中，肝外血管主要分为：门静脉血管的主干分支和下腔静脉血管，由此，在经过第一分割方式分割后所得到的肝外血管的血管图像中包括有门静脉血管的主干分支的血管图像和下腔静脉血管的血管图像，在血管图像中，能够直观的了解到门静脉血管的主干分支和下腔静脉血管的血管区域，以提供给用户进行参考。

步骤104：基于肝外血管的区域图像，通过第二分割方式对目标图像中的肝内血管进行分割，得到肝内血管的血管图像。

其中，本实施例中利用已经分割出的肝外血管的血管图像，对目标图像中除肝外血管的血管图像之外的其他图像区域中的肝内血管进行分割，具体可以采用区别于第一分割方式的第二分割方式对目标图像中的肝内血管进行分割，从而得到肝内血管的血管图像。

需要说明的是，肝内血管主要分为门静脉血管的其他分支及肝静脉血管，在经过第二分割方式分割后所得到的肝内血管的血管图像中包括有门静脉血管的其他分支(医学上所称的高级分支)的血管图像和肝静脉血管的血管图像，在血管图像中，能够直观的了解到门静脉的其他分支和肝静脉血管的血管区域，以提供给用户进行参考。

其中，在针对肝脏各个横断面进行扫描所得到的目标图像中，肝内血管和肝外血管所呈现出的血管特征和分布特征是不同的，因此，本实施例中针对肝外血管和肝内血管的分割分别采用不同的方式，针对肝外血管，对目标图像采用第一分割方式进行分割，针对肝内血管，对目标图像采用第二分割方式进行分割，由此避免采用同一种分割方式对图像进行分割时所造成的肝内或肝外血管分割不准确的情况，本实施例中因地制宜的针对肝内血管和肝外血管在图像上所呈现的特征不同来采用不同的分割方式，能够同时保障针对肝内血管和肝外血管各自所分割出的血管图像的准确性。

而且在对目标图像采用第二分割方式分割肝内血管的血管图像时，是在对肝外血管的血管图像分割完成之后，此时对肝内血管进行分割时，只需要对目标图像中非肝外血管的血管图像的图像区域进行肝内血管的分割，由此可以在一定程度上减少计算数据量，进而加快血管分割的速率，提高肝内血管的分割效率。

由上述方案可知，本申请实施例一提供的一种肝脏血管分割方法，在获得对肝脏进行扫描得到的图像组之后，对图像组中针对肝脏在多个扫描层面上的各目标图像的掩膜图像进行获取，而得到的掩膜图像为包含肝脏所在区域的图像，由此，利用掩膜图像，在通过第一分割方式对目标图像中的肝外血管进行分割得到肝外血管的血管图像之后，在目标图像中已经分割出肝外血管的基础上，通过不同于第一分割方式的第二分割方式分割出目标图像中的肝内血管的血管图像，由此实现肝内血管和肝外血管的分割。进一步的，本实施例中采用不同的分割方式分别对目标图像中的肝内血管和肝外血管进行分割，能够提高对肝内血管和肝外血管分割的准确率，并且，本实施例中在对肝外血管进行分割完成之后，再对肝内血管进行分割，能够在一定程度上减少肝内血管分割时的数据计算量，从而提高血管分割的效率。

在一种实现方式中，步骤103在通过第一分割方式对目标图像中的肝外血管进行分割时，可以通过以下方式实现，如图3中所示：

步骤301：利用掩膜图像，确定目标图像中肝脏所在的矩形区域图像。

其中，本实施例中可以利用掩膜图像，对目标图像中肝脏所在的矩形区域进行确定，而对其他区域的像素点设置为0，由此只保留目标图像中肝脏所在的矩形区域的图像。具体的，本实施例中可以利用第i张掩膜图像

对相应的第i张目标图像

中肝脏所在的矩形区域图像进行确定。

步骤302：对中部扫描层面所对应的目标图像中的肝外血管进行识别，得到肝外血管所在的矩形区域的位置信息。

其中，位置信息包括：肝外门静脉血管所在的矩形区域的位置信息和肝外下腔静脉血管所在的矩形区域的位置信息。

需要说明的是，中部扫描层面所对应的目标图像可以理解为，对肝脏的中部位置的横断面进行扫描所得到的目标图像，如图4中所示。本实施例中基于对肝脏横断面进行扫描所得到的目标图像的特点：肝外血管通常出现在对肝脏中部进行扫描所得到的目标图像中，由此本实施例中在肝脏横断面进行扫描所得到的图像组中，对肝脏中部对应的目标图像进行肝外血管的分割。因此，本实施例中在对肝外血管进行分割时，可以对中部扫描层面所对应的目标图像中的肝外血管进行识别，进而得到肝外血管所在的矩形区域的位置信息。例如，对于CT序列中，第i张目标图像

为肝脏中部的扫描图像时，对该目标图像进行识别，得到肝外血管所在的矩形区域的位置信息，如果第i张目标图像

不是肝脏中部的扫描图像，那么不对该图像进行处理。

其中，本实施例中可以利用深度学习网络对各个目标图像所对应的肝脏横断面位置进行分类，从而得到目标图像中属于肝脏中部扫描层(横断面)所对应的目标图像。

具体的，本实施例中可以首先利用检测模型，对中部扫描层面所对应的目标图像中的肝外门静脉血管进行检测，得到至少一个肝外门静脉血管所在的矩形区域的位置信息；

之后，基于肝外门静脉血管所在的矩形区域的位置信息，获得至少一个肝外下腔静脉所在的矩形区域的位置信息。

其中，检测模型可以为利用至少两帧具有肝外门静脉血管标签的图像样本训练得到的模型。具体的，检测模型可以为基于深度学习的卷积神经网络如Faster-RCNN等所搭建的网络模型，该检测模型在初始搭建之后，以存在有肝外门静脉血管的扫描图像如CT图像等作为图像样本，利用图像样本中肝外门静脉血管的血管标签对初始搭建的检测模型进行训练，由此，本实施例中可以利用检测模型对筛选出来的有肝外门静脉血管的中部扫描层面所对应的目标图像进行检测，例如，将这些目标图像输入到检测模型中并运行检测模型，以得到检测模型的输出结果，该输出结果中包括有至少一个位置及该位置属于肝外门静脉血管的概率值，由此，本实施例中通过对概率值进行分析如阈值判断等，得到属于肝外门静脉血管的位置所组成的矩形区域，并获得矩形区域的顶点位置信息以及矩形区域中各个属于肝外门静脉血管的位置的位置信息。

而在得到肝外门静脉血管所在的矩形区域的位置信息之后，由于肝外静脉与肝外下腔静脉血管在肝脏中位置毗邻，因此，本实施例中在得到肝外门静脉血管所在的矩形区域的位置信息之后，就可以基于这些肝外门静脉血管所在的矩形区域的位置信息得到肝外下腔静脉血管所在的矩形区域的位置信息。

其中，本实施例中肝外门静脉血管所在的矩形区域中包括有属于肝外门静脉血管的多个位置，可以以(x₁,y₁)，(x₂,y₂)，…，(x_N,y_N)表示，这些位置所形成的矩形区域具有左上顶点和右下顶点，可以以

和

表示。

需要说明的屙屎，本实施例中在得到肝外门静脉血管所在的矩形区域的位置信息之后，可以在肝外门静脉血管所在的矩形区域的基础上，选择一个固定点预测定位肝外下腔静脉血管所在的矩形区域的位置信息。例如，选择不同肝外门静脉血管的位置的坐标均值，作为固定点的坐标(x_hv,y_hv)。以该固定点为基准在肝外门静脉血管所在的矩形区域的基础上，预测出肝外下腔静脉血管所在的矩形区域，进而得到矩形区域的位置信息，例如，以固定点为起点，选取128*128的像素区域作为肝外下腔静脉血管所在位置区域，并获得相应的位置信息。

步骤303：基于肝外门静脉血管所在的矩形区域的位置信息，获得肝外门静脉血管的血管图像。

其中，本实施例中可以基于肝外门静脉血管所在的矩形区域的位置信息，裁剪出肝外门静脉血管所在区域的区域图像，之后，利用预设的分割算法，提取出区域图像中肝外门静脉血管的血管图像。

例如，按照肝外门静脉血管所在矩形区域的位置信息中左上顶点和坐下顶点，对第i张CT图像进行裁剪，得到肝外门静脉血管所在区域的区域图像

之后，利用分割算法提取出该区域图像内的肝外门静脉血管的掩膜图像，其中可以首先利用双边滤波器对区域图像进行平滑处理，去除噪声影响，在获得平滑的图像之后利用自适应值化对图像进行二值化，并利用腐蚀算法，分离出不同的血管结构，最后基于轮廓检测，获得亮度值最高区域，并利用全连接条件随机场细化亮度值最高区域，该区域的图像(掩膜图像)即为肝外门静脉血管的血管图像。

需要说明的是，本实施例中在一张目标图像中所得到肝外门静脉血管的血管图像可以有一个血管区域，也可以有多个血管区域，这些血管区域组合表征目标图像中肝外门静脉血管的分布位置。

步骤304：基于肝外下腔静脉血管所在的矩形区域的位置信息，获得肝外下腔静脉血管的血管图像。

其中，本实施例中可以首先基于肝外下腔静脉血管所在的矩形区域的位置信息，裁剪出肝外下腔静脉所在区域的区域图像，之后，再利用基于深度学习的神经网络，对区域图像进行血管分割，得到肝外下腔静脉的血管图像。

例如，本实施例中按照肝外下腔静脉血管所在的矩形区域的位置信息中左上顶点和坐下顶点，对CT图像进行裁剪，得到肝外下腔静脉血管所在区域的区域图像，之后利用深度神经网络如UNet 3D等对区域图像中肝外下腔静脉血管进行分割，得到每张目标图像中肝外下腔静脉血管的分割出来的血管图像，具体的，将区域图像和对应的掩膜图像作为深度神经网络的输入，运行深度神经网络，以输出肝外下腔静脉血管的血管图像，实现分割。

需要说明的是，本实施例中在一张目标图像中所得到肝外下腔静脉血管的血管图像中可以有一个血管区域，也可以有多个血管区域，这些血管区域组合表征目标图像中肝外下腔静脉血管的分布位置。

基于以上实现，本实施例中在得到肝外门静脉血管的血管图像之后，可以对肝外门静脉血管所在的矩形区域的位置信息进行校准，进而基于校准后的位置信息，重新裁剪出肝外门静脉血管所在区域的区域图像，并重新利用分割算法，提取出区域图像中肝外门静脉血管的血管图像。进一步的，基于校准的肝外门静脉血管所在矩形区域的位置信息重新获得肝外下腔静脉血管所在矩形区域的位置信息，进而重新获得肝外下腔静脉血管的血管图像。

例如，本实施例中在得到肝外门静脉血管的血管图像之后，选取多个位置上对应的血管图像，并对选取的血管图像中，将存在像素点与所属目标图像的边界像素点的距离小于一定距离的血管图像所对应的肝外门静脉血管所在区域的位置信息进行修改等校准处理，以使得基于校准的位置信息所得到的肝外门静脉血管的血管图像更加准确。进一步的，本实施例中基于校准的肝外门静脉血管所在矩形区域的位置信息，重新预测肝外下腔静脉血管所在矩形区域的位置信息，进而重新获得肝外下腔静脉血管的血管图像。

在对肝外门静脉血管所在的矩形区域的位置信息进行修正完成之后，还可以利用相同的修正方案对预测出的肝外下腔静脉所在的矩形区域进行修正，例如，在根据肝外门静脉血管所对应的某些位置点，选出固定点之后，判断固定点对应的肝外下腔静脉血管所在的矩形区域中是否有像素点与目标图像边界像素点的距离小于一定距离，如小于10个像素点，如果有，那么重新根据肝外门静脉血管所对应的其他位置点，选出固定点，进而重新预测肝外下腔静脉血管所在的矩形区域及其位置信息，再重新裁剪肝外下腔静脉血管所在区域的区域图像，进而重新分割得到肝外下腔静脉血管的血管图像，之后，可以再次进行肝外下腔静脉血管所在的矩形区域进行修正，直到最后裁剪出的肝外下腔姜麦血管所在区域的区域图像中包含完整的下腔静脉血管，最终得到肝外下腔静脉血管的血管图像。

另外，基于以上实现，本实施例中在得到肝外下腔静脉血管的血管图像之后，还可以对肝外下腔静脉血管的血管图像进行修正。具体的，本实施例中可以对每张血管图像中血管区域的数量进行判断，如果当前血管图像中只有一个血管区域，那么可以不进行处理；如果当前血管图像中有多个血管区域，那么可以首先获得只有一个血管区域的相邻其他血管图像中血管区域的目标中心，在当前血管图像中各个血管区域的区域中心中选取距离坐标目标中心最近的中心对应的血管区域，将选取的血管区域作为当前血管图像中正确的血管区域；而如果当前血管图像中没有血管区域，那么利用前后两张血管图像中各自血管区域的中心坐标值求均值作为当前血管图像的血管区域的中心，再通过对前后两张血管图像中各自血管区域中区域点坐标取中间值来作为当前血管图像中的血管区域中各区域点的左边，由此得到当前血管图像中的血管区域，实现血管图像的修正。

在一种实现方式中，步骤104在通过第二分割方式对目标图像中的肝内血管进行分割时，具体可以通过以下方式实现，如图5中所示：

步骤501：基于肝外血管的血管图像，获得目标图像的标注图像。

其中，标注图像中包括对目标图像中肝内血管的预设标签。具体的，本实施例中可以首先对目标图像中除肝外血管之外的其他可能为肝内血管的区域图像进行获取，例如对目标图像中肝外血管和非肝区域的图像像素点设置像素值为0，以得到只包含肝内血管的肝脏的掩膜图像，之后，对肝脏的掩膜图像按照肝脏所在的矩形区域的位置信息如左上顶点和右下顶点的左边对肝脏所在的矩形区域进行截取，再对截取的肝脏所在的矩形区域进行插值放大到与原目标图像一致大小之后，对放大后的图像中可能属于肝内血管的位置进行标签设置，即可得到标注图像。其中，标注图像中的预设标签可能具有噪声。

步骤502：针对标注图像中肝内血管的预设标签，获得标注图像对应的标准图像，标准图像中具有与预设标签对应的标准标签。

其中，标准标签是指确定为准确的肝内血管的标签，即真实标注，肝脏的掩膜图像中具有该标准标签的位置上的血管确定是真正的肝内血管，是没有噪声的，而在标注图像中肝内血管的预设标签则是指推测是肝内血管的标签，是具有噪声的。本实施例中可以选取一定数量的经过插值放大的肝脏所在的矩形区域的图像通过专家等手工标注等方式进行标准标签的设置，由此得到具有标准标签的标准图像，标准标签是没有噪声的。此时，肝内血管的掩膜图像中标准标签与预设标签可能相同，也可能不同。

步骤503：基于标准标签和其对应的预设标签，获得损失函数。

其中，损失函数中包含存在噪声的预设标签和标准标签的概率分布关系的函数变量。而损失函数可以用于血管分割模型的训练收敛。

在一种实现方式中，步骤503在获得损失函数时，具体可以通过以下方式实现：

首先，获得血管分割模型的初始损失函数，具体可以利用最大似然估计的方式设置损失函数，如公式(1)：

其中，w代表损失函数中需要求取的参数，N为输入CT图像序列中像素点的数目，

代表血管标注中第i个像素值；当

时，表明该像素点为血管，否则该像素点不属于血管。本实施例中考虑到V_{intra_resize}中的噪声影响，在公式(1)中加入难以观测的真实标注U，则基于标注噪声的血管分割模型的损失函数如公式(2)：

其中，θ为函数变量，其表征存在噪声的预设标签V_{intra_resize}(噪声标注)的和真实标注U的概率分布关系。假设不同像素点间概率分布独立，则本实施例中基于标注噪声分布的血管分割模型更新为最大化，如下公式(3)：

之后，利用标准标签和对应的预设标签进行比对，可以统计获得

以及

的值，则损失函数被简化为最大化，如公式(4)：

最后，对公式(4)中取log并求负，则损失函数被简化为最小化，如公式(5)：

步骤504：基于损失函数，获得血管分割模型。

其中，血管分割模型为利用至少两个具有肝内血管标签的图像样本训练得到。本实施例中可以利用深度学习网络搭建血管分割模型，如U-Net 3D等，再将公式(5)作为损失函数对血管模型进行训练，得到训练完成的血管分割模型。

具体的，血管分割模型可以通过以下方式训练得到：

首先，获得图像样本中肝外血管的血管图像；其中，本实施例中可以参前文中所示的对目标图像中肝外血管的血管图像的分割方式来获得图像样本肝外血管的血管图像，此处不再详述；

然后，基于至少肝外血管的血管图像，对图像样本进行处理，以得到图像样本中肝脏的掩膜图像；其中，本实施例中可以对图像样本中肝外血管和非肝区域进行剔除，即将肝外血管和非肝区域的像素点设置像素值为0，以使得图像样本中仅包含肝内血管的区域图像，不再有其他类型的血管的区域图像，由此得到肝脏的掩膜图像；

之后，截取出肝脏的掩膜图像中肝脏所在的矩形区域；其中，本实施例中可以利用深度神经网络对肝脏的掩膜图像中肝脏所在的矩形区域进行分割，从而得到肝脏的掩膜图像中肝脏所在的矩形区域的左上顶点和右下顶点的坐标位置，之后，以左上顶点为起点对肝脏的掩膜图像中肝脏所在的矩形区域进行截取，以得到肝脏所在的矩形区域的图像；进一步的，本实施例中可以利用插值算法，对截取出的肝脏所在的矩形区域的图像进行插值放大，使得截取出的图像能够与原始的图像样本的大小一致；

最后，利用截取出的肝脏所在的矩形区域以及图像样本中肝内血管的预设标签，在公式(5)中的损失函数下，对初始构建的血管分割模型进行训练，得到训练完成的血管分割模型，该血管分割模型可以利用基于深度学习的神经网络所搭建的模型，能够对输入的图像中的肝内血管进行标注并输出。

步骤505：利用血管分割模型，对目标图像中肝脏所在的矩形区域进行肝内血管分割，得到肝内血管的血管图像。

具体的，本实施例中可以先对目标图像中除去肝外血管和非肝区域以得到肝脏的掩膜图像，再从肝脏的掩膜图像中截取出肝脏所在的矩形区域，在经过插值放大之后，将放大的图像输入到血管分割模型中，运行血管分割模型，以得到血管分割模型输出的肝内血管的血管图像。

以下以医疗中对CT图像序列中肝脏血管的分割为例，对本实施例中的技术方案进行举例说明：

在肝脏中，肝脏血管主要分为肝内血管和肝外血管，由于肝内血管和肝内血管的结构特征明显不同，本实施例中以不同的分割方式分别对肝外血管和肝内血管分别进行分割，如下：

本实施例中自动分割CT图像中的肝脏区域，然后分别对肝脏区域中肝内血管和肝外血管分别进行处理，从而降低不同血管的分割范围。

其中，对于肝外血管，由于其数量少，如果直接利用分割算法，难以平衡血管和背景之间的数据差距，所以本方案先利用检测算法，在存在肝脏的CT图像中检测出血管区域，再进行分割，大幅度降低了肝外血管分割区域，提高准确度。

而肝内血管主要包括肝静脉和门静脉高阶分支等细小血管区域，利用分割模型的标注噪声较大，影响准确性。所以本方案中对肝内血管，首先剔除非肝脏区域，并利用插值扩大血管范围，然后分析存在噪声的血管标注和难以获得的正确标注之间的概率分布关系，建立肝脏血管的分割模型，最后将肝脏血管分割模型进行简化从而应用与深度学习中，降低错误标注对深度学习训练效果的影响，获得高精度的肝内血管分割效果。

具体的，本方案中首先对肝外门静脉血管的血管图像进行分割，如下：

1、获得通过CT扫描设备对肝脏横断面进行扫描得到的CT序列CT_original，利用深度神经网络对CT序列中各CT图像的肝脏区域进行分割，如UNet-3D网络等，得到CT图像中的肝脏掩膜Liver_original。

2、对于肝外血管主要包括有肝外门静脉，因此，本方案中预先利用检测网络，如Faster-RCNN等，对存在肝外门静脉的CT图像进行训练，在获得检测模型后，首先利用第i张肝脏掩膜

将对应CT图像

中肝脏所在矩形区域保留，其余位置像素点置零，然后判断该张CT图像是否在肝脏中部，如利用深度学习网络对不同的CT图像位置进行分类，当

在肝脏中部时，利用获得的检测模型检测肝外门静脉一二级分支(门静脉的主干分支)，获得一系列门静脉所在区域的左上顶点

和右下顶点

当

不在肝脏中部时，不进行肝外门静脉检测。

3、在获得门静脉所在区域的左上顶点

和右下顶点

后，从对应的CT图像中裁剪出相应的区域

然后利用分割算法提取出该区域内的门静脉掩膜。如图6中所示，如先用双边滤波器对

进行平滑，去除噪声影响，获得平滑的图像

然后利用自适应值化对

进行二值化，并利用腐蚀算法，分离不同结构；最后基于轮廓检测，获得亮度值最高区域，并利用全连接条件随机场细化亮度值最高区域。该区域即为门静脉掩膜V_extra，即可分割出肝外门静脉血管的血管图像。

之后，本方案对肝外下腔静脉血管的血管图像进行分割，结合图7所示的流程，如下：

1、在通过以上方案得到肝外门静脉血管所在的图像区域之后，由于门静脉与下腔静脉毗邻，基于检测出的一系列肝外门静脉的位置(x₁,y₁),(x₂,y₂)…(x_N,y_N)，选择一固定点(x_hv,y_hv)粗略定位肝外下腔静脉的位置，例如，选取不同门静脉位置的均值，即：

基于选择出的固定点(x_hv,y_hv)，对原始CT图像CT_original和分割得到的肝脏区域Liver_original进行裁剪，如在原始512×512的CT图像和肝脏区域中，以固定点为起点，选取128×128的像素区域，生成新的下腔静脉分割所需CT序列CT_after和肝脏区域Liver_after。

2、利用深度神经网络，如UNet 3D网络，将生成的小范围CT序列和肝脏区域同时作为输入，对下腔静脉进行分割，得到每帧CT图像中下腔静脉的初步分割结果I_pv1,I_pv2,....,I_pvm,...,I_pvM。

3、基于初步的分割结果，首先检测CT_after中是否包含完整的下腔静脉信息，矫正下腔静脉的粗略定位，例如，选取三帧处于不同位置的分割结果I_pv1,I_pv(1+M)/2和I_pvM，得到三帧图像中下腔静脉区域的最大值(x_pvmax,y_pvmax)和最小值(x_pvmin,y_pvmin)，如果最大值(x_pvmax,y_pvmax)或最小值(x_pvmin,y_pvmin)与图像边界像素点的距离小于10个像素点，则对固定点(x_hv,y_hv)进行更新，更新固定点后，重新对原始CT图像和肝脏区域进行裁剪，此时裁剪得到的CT图像中应包含完整的下腔静脉，然后利用新的CT图像和肝脏区域，重复步骤2，得到更新的每帧CT图像下腔静脉预测结果I_pv1,I_pv2,....,I_pvm,...,I_pvM。

4、基于更新的每帧CT图像下腔静脉预测结果I_pv1,I_pv2,....,I_pvm,...,I_pvM，去除噪点区域，如将每帧CT图像中小于最大面积10％的区域去除；并且由于下腔静脉中心位置基本不变，且每帧CT图像上仅有一个区域为下腔静脉，所以遍历所有的CT图像，如果该帧预测结果I_pvm中仅有一个区域则该帧正确不进行处理，如果该帧预测结果I_pvm中有多个区域，首先获得I_pvm中多个区域的中心

并计算不同中心点与预测正确的帧的中心位置的距离，距离更近的区域为正确区域。

5、而由于下腔静脉始终存在且连续性较好，如果某帧I_pvm分割结果为空，可利用临近帧预测结果中心位置的均值为中心，通过插值更新该帧的分割结果，最终得到肝外下腔静脉血管的血管图像。

最后，本方案中在经过肝外血管的分割之后，对余下的图像中的肝内血管进行分割，结合图8中所示的流程，如下：

1、对于肝内血管，首先对训练数据(图像样本可以使用经过肝外血管分割的图像)进行预处理：基于肝脏分割结果Liver_original和肝外血管分割结果V_extra，将CT序列CT_original和血管标注V_original中的非肝区域和肝外血管区域置零，获得肝内的CT图像CT_intra和血管标注V_intra。进一步，求取肝脏掩膜所在区域的左上顶点(x_min,y_min)和右下顶点(x_max,y_max)，然后以(x_min,y_min)为起点，从CT_intra和V_intra中裁剪出大小为(x_max-x_min)×(y_max-y_min)的区域，并利用插值放大到原始图像大小，获得CT_{intra_resize}和V_{intra_resize}。

2、利用前文中公式(1)向公式(5)演进过程中对损失函数的优化，得到优化的损失函数，使得损失函数中包含存在噪声的标签和真实标签的概率分布关系的函数变量θ，进一步，利用损失函数对基于深度学习网络如U-Net3D搭建的血管分割模型进行训练收敛，使得血管分割模型进行血管分割的准确性更高。

3、最后，利用血管分割模型对CT序列中剔除非肝区域和肝外血管的图像进行检测，最终得到肝内血管的血管图像。

参考图9，为本申请实施例二提供的一种肝脏血管分割装置的结构示意图，该装置可以设置在能够进行图像处理的电子设备上，如终端或服务器等设备。本实施例中的装置主要用于对扫描肝脏得到的图像中肝内血管和肝外血管进行分割，以便于作为后续操作的数据依据。

具体的，本实施例中的装置可以包括以下功能单元：

图像获得单元901，用于获得对肝脏进行扫描得到的图像组，所述图像组中包括针对所述肝脏在多个扫描层面上的目标图像；

掩膜获取单元902，用于获取所述目标图像的掩膜图像，所述掩膜图像为包含所述肝脏所在区域的图像；

第一分割单元903，用于基于所述掩膜图像，通过第一分割方式对所述目标图像中的肝外血管进行分割，得到所述肝外血管的血管图像；

第二分割单元904，用于基于所述肝外血管的区域图像，通过第二分割方式对所述目标图像中的肝内血管进行分割，得到所述肝内血管的血管图像；

其中，所述第一分割方式和所述第二分割方式不同。

由上述方案可知，本申请实施例二提供的一种肝脏血管分割装置，在获得对肝脏进行扫描得到的图像组之后，对图像组中针对肝脏在多个扫描层面上的各目标图像的掩膜图像进行获取，而得到的掩膜图像为包含肝脏所在区域的图像，由此，利用掩膜图像，在通过第一分割方式对目标图像中的肝外血管进行分割得到肝外血管的血管图像之后，在目标图像中已经分割出肝外血管的基础上，通过不同于第一分割方式的第二分割方式分割出目标图像中的肝内血管的血管图像，由此实现肝内血管和肝外血管的分割。

需要说明的是，本实施例中的分割装置中各单元的具体实现可以参考前文中方法实施例的相关内容，此处不再详述。

参考图10，为本申请实施例三提供的一种电子设备的结构示意图，该电子设备可以能够进行图像处理的电子设备上，如终端或服务器等设备。本实施例中的方法主要用于对扫描肝脏得到的图像中肝内血管和肝外血管进行分割，以便于作为后续操作的数据依据。

具体的，本实施例中的电子设备可以包括以下结构：

存储器1001，用于存储应用程序及所述应用程序运行所产生的数据；

处理器1002，用于执行所述应用程序，以实现功能：获得对肝脏进行扫描得到的图像组，所述图像组中包括针对所述肝脏在多个扫描层面上的目标图像；获取所述目标图像的掩膜图像，所述掩膜图像为包含所述肝脏所在区域的图像；基于所述掩膜图像，通过第一分割方式对所述目标图像中的肝外血管进行分割，得到所述肝外血管的血管图像；基于所述肝外血管的区域图像，通过第二分割方式对所述目标图像中的肝内血管进行分割，得到所述肝内血管的血管图像；

其中，所述第一分割方式和所述第二分割方式不同。

由上述方案可知，本申请实施例二提供的一种肝脏血管分割装置，在获得对肝脏进行扫描得到的图像组之后，对图像组中针对肝脏在多个扫描层面上的各目标图像的掩膜图像进行获取，而得到的掩膜图像为包含肝脏所在区域的图像，由此，利用掩膜图像，在通过第一分割方式对目标图像中的肝外血管进行分割得到肝外血管的血管图像之后，在目标图像中已经分割出肝外血管的基础上，通过不同于第一分割方式的第二分割方式分割出目标图像中的肝内血管的血管图像，由此实现肝内血管和肝外血管的分割。

需要说明的是，本实施例的电子设备中处理器的具体实现可以参考前文中方法实施例的相关内容，此处不再详述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种肝脏血管分割方法，包括：

获得对肝脏进行扫描得到的图像组，所述图像组中包括针对所述肝脏在多个扫描层面上的目标图像；

获取所述目标图像的掩膜图像，所述掩膜图像为包含所述肝脏所在区域的图像；

基于所述掩膜图像，通过第一分割方式对所述目标图像中的肝外血管进行分割，得到所述肝外血管的血管图像；

基于所述肝外血管的血管图像，通过第二分割方式对所述目标图像中的肝内血管进行分割，得到所述肝内血管的血管图像；

其中，所述第一分割方式和所述第二分割方式不同，针对肝内血管和肝外血管在图像上所呈现的特征不同来采用不同的分割方式；

其中，基于所述掩膜图像，通过第一分割方式对所述目标图像中的肝外血管进行分割，得到所述肝外血管的血管图像，包括：

利用所述掩膜图像，确定所述目标图像中所述肝脏所在的矩形区域图像；

对中部扫描层面所对应的目标图像中的肝外血管进行识别，得到所述肝外血管所在的矩形区域的位置信息，所述位置信息包括：肝外门静脉血管所在的矩形区域的位置信息和肝外下腔静脉血管所在的矩形区域的位置信息；

基于所述肝外门静脉血管所在的矩形区域的位置信息，获得所述肝外门静脉血管的血管图像；

基于所述肝外下腔静脉血管所在的矩形区域的位置信息，获得所述肝外下腔静脉血管的血管图像。

2.根据权利要求1所述的方法，对中部扫描层面所对应的目标图像中的肝外血管进行识别，得到所述肝外血管所在的矩形区域的位置信息，包括：

利用检测模型，对中部扫描层面所对应的目标图像中的肝外门静脉血管进行检测，得到至少一个所述肝外门静脉血管所在的矩形区域的位置信息；其中，所述检测模型为利用至少两帧具有肝外门静脉血管标签的图像样本训练得到的模型；

基于所述肝外门静脉血管所在的矩形区域的位置信息，获得至少一个所述肝外下腔静脉血管所在的矩形区域的位置信息。

3.根据权利要求1所述的方法，基于所述肝外门静脉血管所在的矩形区域的位置信息，获得所述肝外门静脉血管的血管图像，包括：

基于所述肝外门静脉血管所在的矩形区域的位置信息，裁剪出所述肝外门静脉血管所在区域的区域图像；

利用预设的分割算法，提取出所述区域图像中所述肝外门静脉血管的血管图像。

4.根据权利要求1所述的方法，基于所述肝外下腔静脉血管所在的矩形区域的位置信息，获得所述肝外下腔静脉血管的血管图像，包括：

基于所述肝外下腔静脉血管所在的矩形区域的位置信息，裁剪出所述肝外下腔静脉血管所在区域的区域图像；

利用基于深度学习的神经网络，对所述区域图像进行血管分割，得到所述肝外下腔静脉血管的血管图像。

5.根据权利要求1所述的方法，基于所述肝外血管的血管图像，通过第二分割方式对所述目标图像中的肝内血管进行分割，得到所述肝内血管的区域图像，包括：

基于所述肝外血管的血管图像，获得所述目标图像的标注图像，所述标注图像包括对所述目标图像中肝内血管的预设标签；

针对所述标注图像中所述肝内血管的预设标签，获得所述标注图像对应的标准图像，所述标准图像中具有与所述预设标签对应的标准标签；

基于所述标准标签和其对应的预设标签，获得损失函数，所述损失函数中包含存在噪声的预设标签和所述标准标签的概率分布关系的函数变量；其中；

基于所述损失函数，获得血管分割模型，所述血管分割模型为利用至少两个具有肝内血管标签的图像样本训练得到；

利用所述血管分割模型，对所述目标图像中所述肝脏所在的矩形区域进行肝内血管分割，得到肝内血管的血管图像。

6.根据权利要求5所述的方法，利用至少两个具有肝内血管标签的图像样本训练得到所述血管分割模型，包括：

获得图像样本中肝外血管的血管图像；

至少基于所述肝外血管的血管图像，对所述图像样本进行处理，以得到所述图像样本中的肝脏的掩膜图像；

截取出所述肝脏的掩膜图像中所述肝脏所在的矩形区域；

利用截取出的所述肝脏所在的矩形区域以及所述图像样本中所述肝内血管的预设标签，对初始构建的血管分割模型进行训练，得到训练完成的血管分割模型。

7.根据权利要求6所述的方法，在对初始构建的血管分割模型进行训练之前，所述方法还包括：

利用插值算法，对所述图像样本中截取出的所述肝脏所在的矩形区域进行放大。

8.一种肝脏血管分割装置，包括：

图像获得单元，用于获得对肝脏进行扫描得到的图像组，所述图像组中包括针对所述肝脏在多个扫描层面上的目标图像；

掩膜获取单元，用于获取所述目标图像的掩膜图像，所述掩膜图像为包含所述肝脏所在区域的图像；

第一分割单元，用于基于所述掩膜图像，通过第一分割方式对所述目标图像中的肝外血管进行分割，得到所述肝外血管的血管图像；

第二分割单元，用于基于所述肝外血管的区域图像，通过第二分割方式对所述目标图像中的肝内血管进行分割，得到所述肝内血管的血管图像；

其中，所述第一分割方式和所述第二分割方式不同，针对肝内血管和肝外血管在图像上所呈现的特征不同来采用不同的分割方式；

其中，所述第一分割单元，具体用于利用所述掩膜图像，确定所述目标图像中所述肝脏所在的矩形区域图像；对中部扫描层面所对应的目标图像中的肝外血管进行识别，得到所述肝外血管所在的矩形区域的位置信息，所述位置信息包括：肝外门静脉血管所在的矩形区域的位置信息和肝外下腔静脉血管所在的矩形区域的位置信息；基于所述肝外门静脉血管所在的矩形区域的位置信息，获得所述肝外门静脉血管的血管图像；基于所述肝外下腔静脉血管所在的矩形区域的位置信息，获得所述肝外下腔静脉血管的血管图像。

9.一种电子设备，包括：

存储器，用于存储应用程序及所述应用程序运行所产生的数据；

处理器，用于执行所述应用程序，以实现功能：获得对肝脏进行扫描得到的图像组，所述图像组中包括针对所述肝脏在多个扫描层面上的目标图像；获取所述目标图像的掩膜图像，所述掩膜图像为包含所述肝脏所在区域的图像；基于所述掩膜图像，通过第一分割方式对所述目标图像中的肝外血管进行分割，得到所述肝外血管的血管图像；基于所述肝外血管的区域图像，通过第二分割方式对所述目标图像中的肝内血管进行分割，得到所述肝内血管的血管图像；

其中，所述第一分割方式和所述第二分割方式不同，针对肝内血管和肝外血管在图像上所呈现的特征不同来采用不同的分割方式；

中，基于所述掩膜图像，通过第一分割方式对所述目标图像中的肝外血管进行分割，得到所述肝外血管的血管图像，包括：

利用所述掩膜图像，确定所述目标图像中所述肝脏所在的矩形区域图像；

对中部扫描层面所对应的目标图像中的肝外血管进行识别，得到所述肝外血管所在的矩形区域的位置信息，所述位置信息包括：肝外门静脉血管所在的矩形区域的位置信息和肝外下腔静脉血管所在的矩形区域的位置信息；

基于所述肝外门静脉血管所在的矩形区域的位置信息，获得所述肝外门静脉血管的血管图像；

基于所述肝外下腔静脉血管所在的矩形区域的位置信息，获得所述肝外下腔静脉血管的血管图像。

Images