CN112017190A - 一种用于血管分割补全的全局网络构建和训练方法及装置 - Google Patents

一种用于血管分割补全的全局网络构建和训练方法及装置 Download PDF

Info

Publication number
CN112017190A
CN112017190A CN202010784992.7A CN202010784992A CN112017190A CN 112017190 A CN112017190 A CN 112017190A CN 202010784992 A CN202010784992 A CN 202010784992A CN 112017190 A CN112017190 A CN 112017190A
Authority
CN
China
Prior art keywords
features
blood vessel
feature
scale
completion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010784992.7A
Other languages
English (en)
Inventor
梁孔明
俞益洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Original Assignee
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenrui Bolian Technology Co Ltd, Shenzhen Deepwise Bolian Technology Co Ltd filed Critical Beijing Shenrui Bolian Technology Co Ltd
Priority to CN202010784992.7A priority Critical patent/CN112017190A/zh
Publication of CN112017190A publication Critical patent/CN112017190A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10121—Fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种用于血管分割补全的全局网络构建和训练方法及装置，其中方法包括：获取初始血管的分割结果；将分割结果输入到补全网络的编码层，提取分割结果的多个尺度的特征，其中，第i个尺度的空间大小为原始大小的1/(2^i)；针对第i个尺度的特征，利用补全网络上设置的全局信息融合模块，学习血管整体的连续性；将全局融合后的特征输入到补全网络的解码层，将每个尺度的全局特征通过上采样或者反卷积映射回原始大小并与第i个尺度下的编码特征进行结合；将解码层返回的多尺度特征进行融合，预测出补全后的血管分割结果，计算损失，并约束补全后的血管分割结果不对初始血管的分割结果为前景的区域进行修改。

Description

一种用于血管分割补全的全局网络构建和训练方法及装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种用于血管分割补全的全局网络构建和训练方法及装置。
背景技术
血管造影技术已经被广泛应用于临床的诊断和治疗中，分割算法可实现自动化的血管重建(如头颈部血管、冠脉等)，在减轻技师工作压力的同时，大幅提高了医院的运行效率。在实际场景中，一些外部因素(如伪影、噪声、拍摄技术等)会影响血管成像的质量，从而使得分割算法的结果存在遗漏或者断裂的情况。
而现有的对遗漏或者断裂进行处理时，利用人为设定规则对断裂区域进行连接，难以对血管全局信息进行建模，无法适用于复杂的场景；且现有方法需要将分裂区域依次输入进行区域生长，无法同时处理多个区域，耗时较高。
发明内容
本发明旨在提供一种克服上述问题或者至少部分地解决上述问题的用于血管分割补全的全局网络构建和训练方法及装置。
为达到上述目的，本发明的技术方案具体是这样实现的：
本发明的一个方面提供了一种用于血管分割补全的全局网络构建和训练方法，包括：获取初始血管的分割结果，其中，分割结果为D*H*W的三维数据，其中D代表数据的层数，H代表数据的高度，W代表数据的宽度，每个位置的取值为{0,1}，其中0代表该位置是背景，1代表该位置是血管；将分割结果输入到补全网络的编码层，提取分割结果的多个尺度的特征，其中，第i个尺度的空间大小为原始大小的1/(2^i)；针对第i个尺度的特征，利用补全网络上设置的全局信息融合模块，学习血管整体的连续性；将全局融合后的特征输入到补全网络的解码层，将每个尺度的全局特征通过上采样或者反卷积映射回原始大小并与第i个尺度下的编码特征进行结合；将解码层返回的多尺度特征进行融合，预测出补全后的血管分割结果，计算损失，并约束补全后的血管分割结果不对初始血管的分割结果为前景的区域进行修改。
其中，针对第i个尺度的特征，利用全局信息融合模块，学习血管整体的连续性包括：针对第i个尺度的特征，计算第i个尺度空间中任意两个位置之间的相关性，得到第i个尺度的特征下的空间注意力，利用第i个尺度的特征下的空间注意力，计算空间位置的转移矩阵，将全局信息传播到每个局部，进行特征增强。
其中，针对第i个尺度的特征，利用全局信息融合模块，学习血管整体的连续性包括：针对第i个尺度的特征，将输入的三维特征最大密度投影到x，y，z三个平面，得到特征在三个维度上的二维表示，并利用双向LSTM对二维特征，进行两个方向的特征传播，将全局信息传播到每个局部，将二维特征反投影到三维空间，进行特征增强。
其中，针对第i个尺度的特征，利用全局信息融合模块，学习血管整体的连续性包括：针对第i个尺度的特征，将第i个尺度的特征空间中的每个点建模成图卷积网络的节点，并根据空间连通性定义图中边的连通性，通过将特征在预先定义的图上进行传播，将全局信息传播到每个局部，进行特征增强。
其中，方法还包括：在训练过程中，随机定位若干个血管区域，将血管区域的输入置换为背景，通过补全网络对血管区域进行补充。
本发明另一方面提供了一种用于血管分割补全的全局网络构建和训练装置，包括：获取模块，用于获取初始血管的分割结果，其中，分割结果为D*H*W的三维数据，其中D代表数据的层数，H代表数据的高度，W代表数据的宽度，每个位置的取值为{0,1}，其中0代表该位置是背景，1代表该位置是血管；编码模块，用于将分割结果输入到补全网络的编码层，提取分割结果的多个尺度的特征，其中，第i个尺度的空间大小为原始大小的1/(2^i)；学习模块，用于针对第i个尺度的特征，利用补全网络上设置的全局信息融合模块，学习血管整体的连续性；解码模块，用于将全局融合后的特征输入到补全网络的解码层，将每个尺度的全局特征通过上采样或者反卷积映射回原始大小并与第i个尺度下的编码特征进行结合；预测模块，用于将解码层返回的多尺度特征进行融合，预测出补全后的血管分割结果，计算损失，并约束补全后的血管分割结果不对初始血管的分割结果为前景的区域进行修改。
其中，学习模块通过如下方式针对第i个尺度的特征，利用全局信息融合模块，学习血管整体的连续性：学习模块，具体用于针对第i个尺度的特征，计算第i个尺度空间中任意两个位置之间的相关性，得到第i个尺度的特征下的空间注意力，利用第i个尺度的特征下的空间注意力，计算空间位置的转移矩阵，将全局信息传播到每个局部，进行特征增强。
其中，学习模块通过如下方式针对第i个尺度的特征，利用全局信息融合模块，学习血管整体的连续性：学习模块，具体用于针对第i个尺度的特征，将输入的三维特征最大密度投影到x，y，z三个平面，得到特征在三个维度上的二维表示，并利用双向LSTM对二维特征，进行两个方向的特征传播，将全局信息传播到每个局部，将二维特征反投影到三维空间，进行特征增强。
其中，学习模块通过如下方式针对第i个尺度的特征，利用全局信息融合模块，学习血管整体的连续性：学习模块，具体用于针对第i个尺度的特征，将第i个尺度的特征空间中的每个点建模成图卷积网络的节点，并根据空间连通性定义图中边的连通性，通过将特征在预先定义的图上进行传播，将全局信息传播到每个局部，进行特征增强。
其中，装置还包括：训练模块，用于在训练过程中，随机定位若干个血管区域，将血管区域的输入置换为背景，通过补全网络对血管区域进行补充。
由此可见，通过本发明提供的用于血管分割补全的全局网络构建和训练方法及装置，利用血管的全局信息，自动挖掘断裂区域周围的血管形态，并依据相关特征(形态、位置等)对断裂处进行补全；同时通过构建网络，可同时补全原始分割的多个断裂处和遗漏处。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的用于血管分割补全的全局网络构建和训练方法的流程图；
图2为本发明实施例提供的用于血管分割补全的全局网络构建和训练装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了本发明实施例提供的用于血管分割补全的全局网络构建和训练方法的流程图，参见图1，本发明实施例提供的用于血管分割补全的全局网络构建和训练方法，包括：
S1，获取初始血管的分割结果，其中，分割结果为D*H*W的三维数据，其中D代表数据的层数，H代表数据的高度，W代表数据的宽度，每个位置的取值为{0,1}，其中0代表该位置是背景，1代表该位置是血管。
具体地，本发明补全网络的输入为初始血管的分割结果，该分割结果可能因为实际场景下的不利因素，而失去血管内部的连通性。该分割结果为D*H*W的三维数据，其中D代表数据的层数，H代表数据的高度，W代表数据的宽度，每个位置的取值为{0,1}，其中0代表该位置是背景，1代表该位置是血管。
S2，将分割结果输入到补全网络的编码层，提取分割结果的多个尺度的特征，其中，第i个尺度的空间大小为原始大小的1/(2^i)。
具体地，将三维的分割数据输入到补全网络的编码层。编码层通过一系列卷积和池化操作，提取输入数据的多个尺度的特征，针对第i个尺度，其空间大小为原始大小的1/(2^i)。该特征隐式包含了血管分割的形态和空间位置等信息。
S3，针对第i个尺度的特征，利用补全网络上设置的全局信息融合模块，学习血管整体的连续性。
具体地，针对第i个尺度的特征，本发明设计全局信息融合模块，学习血管整体的连续性。本发明可以使用，但不局限于下述三种方式：注意力方式、投影增强方式和图卷积网络方式。
作为本发明实施例的一个可选实施方式，采用注意力方式时：针对第i个尺度的特征，利用全局信息融合模块，学习血管整体的连续性包括：针对第i个尺度的特征，计算第i个尺度空间中任意两个位置之间的相关性，得到第i个尺度的特征下的空间注意力，利用第i个尺度的特征下的空间注意力，计算空间位置的转移矩阵，将全局信息传播到每个局部，进行特征增强。具体地，针对该尺度的输入特征，计算其空间中任意两个位置之间的相关性，即学习该特征下的空间注意力。在此基础上，利用空间注意力，计算空间位置的转移矩阵，从而将全局信息传播到每个局部，进行特征增强。
作为本发明实施例的一个可选实施方式，采用投影增强方式时：针对第i个尺度的特征，利用全局信息融合模块，学习血管整体的连续性包括：针对第i个尺度的特征，将输入的三维特征最大密度投影到x，y，z三个平面，得到特征在三个维度上的二维表示，并利用双向LSTM对二维特征，进行两个方向的特征传播，将全局信息传播到每个局部，将二维特征反投影到三维空间，进行特征增强。具体地，针对该尺度的输入特征，将输入的三维特征最大密度投影到x，y，z三个平面，得到特征在三个维度上的二维表示，并利用双向LSTM对二维特征，进行两个方向的特征传播，从而将全局信息传播到每个局部，最后将二维特征反投影到三维空间，进行特征增强。
作为本发明实施例的一个可选实施方式，采用图卷积网络方式时：针对第i个尺度的特征，利用全局信息融合模块，学习血管整体的连续性包括：针对第i个尺度的特征，将第i个尺度的特征空间中的每个点建模成图卷积网络的节点，并根据空间连通性定义图中边的连通性，通过将特征在预先定义的图上进行传播，将全局信息传播到每个局部，进行特征增强。具体地，针对该尺度的输入特征，将空间中的每个点建模成图卷积网络的节点，并根据空间连通性定义图中边的连通性。通过将特征在预先定义的图上进行传播，从而将全局信息传播到每个局部，进行特征增强。
S4，将全局融合后的特征输入到补全网络的解码层，将每个尺度的全局特征通过上采样或者反卷积映射回原始大小并与第i个尺度下的编码特征进行结合。
具体地，将全局融合后的特征输入到解码层。解码层将每个尺度的全局特征通过上采样(Upsampling)或者反卷积映射回原始的特征大小并与该尺度下的编码特征进行结合。
S5，将解码层返回的多尺度特征进行融合，预测出补全后的血管分割结果，计算损失，并约束补全后的血管分割结果不对初始血管的分割结果为前景的区域进行修改。
具体地，将解码层返回的多尺度特征进行融合，并预测出补全后的血管分割结果，计算损失，并约束该预测结果不对原始分割为前景的区域进行修改。
作为本发明实施例的一个可选实施方式，本发明实施例提供的用于血管分割补全的全局网络构建和训练方法还包括：在训练过程中，随机定位若干个血管区域，将血管区域的输入置换为背景，通过补全网络对血管区域进行补充。具体地，训练过程中，通过形态学操作，模拟血管断裂的情况，用于增强网络的学习效果。该方式随机定位若干个血管区域(可使用矩形框、球体、超像素等方式)，将该区域的输入置换为背景，再通过网络对该区域进行补充。
由此可见，本发明实施例提供的用于血管分割补全的全局网络构建和训练方法，可以构建网络对不完整血管分割进行补全；具体可以采用全局信息建模方式，包含注意力方式、投影增强方式和图卷积网络方式；进一步可以通过形态学操作，模拟血管断裂的模型训练方式。
通过本发明实施例提供的用于血管分割补全的全局网络构建和训练方法，构建补全网络对血管全局信息进行建模，利用血管的整体结构对分割断裂区域进行补全。通过在大量数据上进行学习，可以挖掘血管的潜在走形，相比于人为设定规则对断裂区域进行连接，更适用于实际中的复杂场景；通过网络可同时实现多个区域的锻炼补全，可有效减少算法运行时间。
图2示出了本发明实施例提供的用于血管分割补全的全局网络构建和训练装置的结构示意图，该用于血管分割补全的全局网络构建和训练装置应用上述方法，以下仅对用于血管分割补全的全局网络构建和训练装置的结构进行简单说明，其他未尽事宜，请参照上述用于血管分割补全的全局网络构建和训练方法中的相关描述，参见图2，本发明实施例提供的用于血管分割补全的全局网络构建和训练装置，包括：
获取模块，用于获取初始血管的分割结果，其中，分割结果为D*H*W的三维数据，其中D代表数据的层数，H代表数据的高度，W代表数据的宽度，每个位置的取值为{0,1}，其中0代表该位置是背景，1代表该位置是血管；
编码模块，用于将分割结果输入到补全网络的编码层，提取分割结果的多个尺度的特征，其中，第i个尺度的空间大小为原始大小的1/(2^i)；
学习模块，用于针对第i个尺度的特征，利用补全网络上设置的全局信息融合模块，学习血管整体的连续性；
解码模块，用于将全局融合后的特征输入到补全网络的解码层，将每个尺度的全局特征通过上采样或者反卷积映射回原始大小并与第i个尺度下的编码特征进行结合；
预测模块，用于将解码层返回的多尺度特征进行融合，预测出补全后的血管分割结果，计算损失，并约束补全后的血管分割结果不对初始血管的分割结果为前景的区域进行修改。
作为本发明实施例的一个可选实施方式，学习模块通过如下方式针对第i个尺度的特征，利用全局信息融合模块，学习血管整体的连续性：学习模块，具体用于针对第i个尺度的特征，计算第i个尺度空间中任意两个位置之间的相关性，得到第i个尺度的特征下的空间注意力，利用第i个尺度的特征下的空间注意力，计算空间位置的转移矩阵，将全局信息传播到每个局部，进行特征增强。
作为本发明实施例的一个可选实施方式，学习模块通过如下方式针对第i个尺度的特征，利用全局信息融合模块，学习血管整体的连续性：学习模块，具体用于针对第i个尺度的特征，将输入的三维特征最大密度投影到x，y，z三个平面，得到特征在三个维度上的二维表示，并利用双向LSTM对二维特征，进行两个方向的特征传播，将全局信息传播到每个局部，将二维特征反投影到三维空间，进行特征增强。
作为本发明实施例的一个可选实施方式，学习模块通过如下方式针对第i个尺度的特征，利用全局信息融合模块，学习血管整体的连续性：学习模块，具体用于针对第i个尺度的特征，将第i个尺度的特征空间中的每个点建模成图卷积网络的节点，并根据空间连通性定义图中边的连通性，通过将特征在预先定义的图上进行传播，将全局信息传播到每个局部，进行特征增强。
作为本发明实施例的一个可选实施方式，本发明实施例提供的用于血管分割补全的全局网络构建和训练装置还包括：训练模块，用于在训练过程中，随机定位若干个血管区域，将血管区域的输入置换为背景，通过补全网络对血管区域进行补充。
由此可见，本发明实施例提供的用于血管分割补全的全局网络构建和训练装置，可以构建网络对不完整血管分割进行补全；具体可以采用全局信息建模方式，包含注意力方式、投影增强方式和图卷积网络方式；进一步可以通过形态学操作，模拟血管断裂的模型训练方式。
通过本发明实施例提供的用于血管分割补全的全局网络构建和训练装置，构建补全网络对血管全局信息进行建模，利用血管的整体结构对分割断裂区域进行补全。通过在大量数据上进行学习，可以挖掘血管的潜在走形，相比于人为设定规则对断裂区域进行连接，更适用于实际中的复杂场景；通过网络可同时实现多个区域的锻炼补全，可有效减少算法运行时间。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种用于血管分割补全的全局网络构建和训练方法，其特征在于，包括：
获取初始血管的分割结果，其中，所述分割结果为D*H*W的三维数据，其中D代表数据的层数，H代表数据的高度，W代表数据的宽度，每个位置的取值为{0,1}，其中0代表该位置是背景，1代表该位置是血管；
将所述分割结果输入到补全网络的编码层，提取所述分割结果的多个尺度的特征，其中，第i个尺度的空间大小为原始大小的1/(2^i)；
针对所述第i个尺度的特征，利用所述补全网络上设置的全局信息融合模块，学习血管整体的连续性；
将全局融合后的特征输入到所述补全网络的解码层，将每个尺度的全局特征通过上采样或者反卷积映射回原始大小并与所述第i个尺度下的编码特征进行结合；
将所述解码层返回的多尺度特征进行融合，预测出补全后的血管分割结果，计算损失，并约束所述补全后的血管分割结果不对所述初始血管的分割结果为前景的区域进行修改。
2.根据权利要求1所述的方法，其特征在于，所述针对所述第i个尺度的特征，利用全局信息融合模块，学习血管整体的连续性包括：
针对所述第i个尺度的特征，计算所述第i个尺度空间中任意两个位置之间的相关性，得到所述第i个尺度的特征下的空间注意力，利用所述第i个尺度的特征下的空间注意力，计算空间位置的转移矩阵，将全局信息传播到每个局部，进行特征增强。
3.根据权利要求1所述的方法，其特征在于，所述针对所述第i个尺度的特征，利用全局信息融合模块，学习血管整体的连续性包括：
针对所述第i个尺度的特征，将输入的三维特征最大密度投影到x，y，z三个平面，得到特征在三个维度上的二维表示，并利用双向LSTM对二维特征，进行两个方向的特征传播，将全局信息传播到每个局部，将二维特征反投影到三维空间，进行特征增强。
4.根据权利要求1所述的方法，其特征在于，所述针对所述第i个尺度的特征，利用全局信息融合模块，学习血管整体的连续性包括：
针对所述第i个尺度的特征，将所述第i个尺度的特征空间中的每个点建模成图卷积网络的节点，并根据空间连通性定义图中边的连通性，通过将特征在预先定义的图上进行传播，将全局信息传播到每个局部，进行特征增强。
5.根据权利要求1所述的方法，其特征在于，还包括：
在训练过程中，随机定位若干个血管区域，将所述血管区域的输入置换为背景，通过所述补全网络对所述血管区域进行补充。
6.一种用于血管分割补全的全局网络构建和训练装置，其特征在于，包括：
获取模块，用于获取初始血管的分割结果，其中，所述分割结果为D*H*W的三维数据，其中D代表数据的层数，H代表数据的高度，W代表数据的宽度，每个位置的取值为{0,1}，其中0代表该位置是背景，1代表该位置是血管；
编码模块，用于将所述分割结果输入到补全网络的编码层，提取所述分割结果的多个尺度的特征，其中，第i个尺度的空间大小为原始大小的1/(2^i)；
学习模块，用于针对所述第i个尺度的特征，利用所述补全网络上设置的全局信息融合模块，学习血管整体的连续性；
解码模块，用于将全局融合后的特征输入到所述补全网络的解码层，将每个尺度的全局特征通过上采样或者反卷积映射回原始大小并与所述第i个尺度下的编码特征进行结合；
预测模块，用于将所述解码层返回的多尺度特征进行融合，预测出补全后的血管分割结果，计算损失，并约束所述补全后的血管分割结果不对所述初始血管的分割结果为前景的区域进行修改。
7.根据权利要求6所述的装置，其特征在于，所述学习模块通过如下方式针对所述第i个尺度的特征，利用全局信息融合模块，学习血管整体的连续性：
所述学习模块，具体用于针对所述第i个尺度的特征，计算所述第i个尺度空间中任意两个位置之间的相关性，得到所述第i个尺度的特征下的空间注意力，利用所述第i个尺度的特征下的空间注意力，计算空间位置的转移矩阵，将全局信息传播到每个局部，进行特征增强。
8.根据权利要求6所述的装置，其特征在于，所述学习模块通过如下方式针对所述第i个尺度的特征，利用全局信息融合模块，学习血管整体的连续性：
所述学习模块，具体用于针对所述第i个尺度的特征，将输入的三维特征最大密度投影到x，y，z三个平面，得到特征在三个维度上的二维表示，并利用双向LSTM对二维特征，进行两个方向的特征传播，将全局信息传播到每个局部，将二维特征反投影到三维空间，进行特征增强。
9.根据权利要求6所述的装置，其特征在于，所述学习模块通过如下方式针对所述第i个尺度的特征，利用全局信息融合模块，学习血管整体的连续性：
所述学习模块，具体用于针对所述第i个尺度的特征，将所述第i个尺度的特征空间中的每个点建模成图卷积网络的节点，并根据空间连通性定义图中边的连通性，通过将特征在预先定义的图上进行传播，将全局信息传播到每个局部，进行特征增强。
10.根据权利要求6所述的装置，其特征在于，还包括：训练模块，用于在训练过程中，随机定位若干个血管区域，将所述血管区域的输入置换为背景，通过所述补全网络对所述血管区域进行补充。
CN202010784992.7A 2020-08-06 2020-08-06 一种用于血管分割补全的全局网络构建和训练方法及装置 Pending CN112017190A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010784992.7A CN112017190A (zh) 2020-08-06 2020-08-06 一种用于血管分割补全的全局网络构建和训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010784992.7A CN112017190A (zh) 2020-08-06 2020-08-06 一种用于血管分割补全的全局网络构建和训练方法及装置

Publications (1)

Publication Number Publication Date
CN112017190A true CN112017190A (zh) 2020-12-01

Family

ID=73499342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010784992.7A Pending CN112017190A (zh) 2020-08-06 2020-08-06 一种用于血管分割补全的全局网络构建和训练方法及装置

Country Status (1)

Country Link
CN (1) CN112017190A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554665A (zh) * 2021-07-07 2021-10-26 杭州深睿博联科技有限公司 一种血管分割方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105761258A (zh) * 2016-02-06 2016-07-13 上海市第人民医院 视网膜眼底图像的出血检测方法
KR20170000041A (ko) * 2015-06-22 2017-01-02 연세대학교 산학협력단 혈관 조영 영상에서 자동으로 혈관을 영역화하는 기법
CN106875375A (zh) * 2016-12-28 2017-06-20 浙江工业大学 基于管状特征增强滤波和脊线跟踪的三维血管中轴线提取方法
CN107067398A (zh) * 2017-04-28 2017-08-18 青岛海信医疗设备股份有限公司 用于三维医学模型中缺失血管的补全方法及装置
WO2019001208A1 (zh) * 2017-06-28 2019-01-03 苏州比格威医疗科技有限公司 一种oct图像中脉络膜新生血管分割算法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170000041A (ko) * 2015-06-22 2017-01-02 연세대학교 산학협력단 혈관 조영 영상에서 자동으로 혈관을 영역화하는 기법
CN105761258A (zh) * 2016-02-06 2016-07-13 上海市第人民医院 视网膜眼底图像的出血检测方法
CN106875375A (zh) * 2016-12-28 2017-06-20 浙江工业大学 基于管状特征增强滤波和脊线跟踪的三维血管中轴线提取方法
CN107067398A (zh) * 2017-04-28 2017-08-18 青岛海信医疗设备股份有限公司 用于三维医学模型中缺失血管的补全方法及装置
WO2019001208A1 (zh) * 2017-06-28 2019-01-03 苏州比格威医疗科技有限公司 一种oct图像中脉络膜新生血管分割算法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
WU HUIKAI 等: "FastFCN:Rethinking Dilated Convolution in the Backbone for Semantic Segmentation", 《ARXIV:1903.11816V1》, 28 March 2019 (2019-03-28) *
吴晨;易本顺;章云港;黄松;冯雨;: "基于改进卷积神经网络的视网膜血管图像分割", 光学学报, no. 11, 27 June 2018 (2018-06-27) *
张润谷;: "基于多尺度多路径FCN的视网膜血管分割", 激光杂志, no. 02, 25 February 2020 (2020-02-25) *
朱有煌;: "基于Frangi增强和UNet网络的视网膜血管分割", 信息技术与信息化, no. 03, 28 March 2020 (2020-03-28) *
李瑞瑞;彭晓婷;肖革新;沈莹;杜一华;赵欣媛;刘坤尧;: "基于血管连通性的视网膜血管分割技术研究", 中国数字医学, no. 07, 15 July 2020 (2020-07-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554665A (zh) * 2021-07-07 2021-10-26 杭州深睿博联科技有限公司 一种血管分割方法及装置
WO2023280148A1 (zh) * 2021-07-07 2023-01-12 杭州深睿博联科技有限公司 一种血管分割方法、装置、电子设备和可读介质

Similar Documents

Publication Publication Date Title
US10776688B2 (en) Multi-frame video interpolation using optical flow
Tewari et al. Advances in neural rendering
US11182649B2 (en) Generation of synthetic images for training a neural network model
US10922793B2 (en) Guided hallucination for missing image content using a neural network
US11354847B2 (en) Three-dimensional object reconstruction from a video
US11995854B2 (en) Mesh reconstruction using data-driven priors
US11062471B1 (en) Neural network system for stereo image matching
US20210287096A1 (en) Microtraining for iterative few-shot refinement of a neural network
US11522565B2 (en) Packed error correction code (ECC) for compressed data protection
CN112037186A (zh) 一种基于多视图模型融合的冠脉血管提取方法及装置
US20230237342A1 (en) Adaptive lookahead for planning and learning
CN111681204B (zh) 基于图神经网络的ct肋骨骨折病灶关系建模方法及装置
US20230062503A1 (en) Pruning and accelerating neural networks with hierarchical fine-grained structured sparsity
CN111915620A (zh) 一种ct肋骨分割方法及装置
CN113822975B (zh) 用于对图像进行有效采样的技术
CN112017190A (zh) 一种用于血管分割补全的全局网络构建和训练方法及装置
CN116612223B (zh) 数字孪生模拟空间的生成方法、装置、计算机设备和介质
CN112529849B (zh) 一种ct肋骨自动计数方法及装置
US20240127067A1 (en) Sharpness-aware minimization for robustness in sparse neural networks
CN116342888B (zh) 一种基于稀疏标注训练分割模型的方法及装置
CN111062473B (zh) 神经网络模型中的数据计算方法、图像处理方法及装置
CN117726732A (zh) 减少包围体层次结构中的假阳性光线遍历
CN117726496A (zh) 使用光线剪裁减少假阳性光线遍历
US11830145B2 (en) Generation of differentiable, manifold meshes of arbitrary genus
CN116978057A (zh) 图像中人体姿态迁移方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination