CN113658104A - 血管图像处理方法、电子设备及计算机可读存储介质 - Google Patents
血管图像处理方法、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113658104A CN113658104A CN202110823904.4A CN202110823904A CN113658104A CN 113658104 A CN113658104 A CN 113658104A CN 202110823904 A CN202110823904 A CN 202110823904A CN 113658104 A CN113658104 A CN 113658104A
- Authority
- CN
- China
- Prior art keywords
- blood vessel
- image processing
- image
- network
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004204 blood vessel Anatomy 0.000 title claims abstract description 94
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 89
- 238000013528 artificial neural network Methods 0.000 claims abstract description 62
- 238000002372 labelling Methods 0.000 claims abstract description 19
- 238000004458 analytical method Methods 0.000 claims abstract description 11
- 210000004185 liver Anatomy 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 46
- 238000012549 training Methods 0.000 claims description 42
- 230000010287 polarization Effects 0.000 claims description 36
- 238000012360 testing method Methods 0.000 claims description 23
- 230000004913 activation Effects 0.000 claims description 10
- 239000008280 blood Substances 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 230000003213 activating effect Effects 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 239000003814 drug Substances 0.000 description 17
- 229940079593 drug Drugs 0.000 description 13
- 238000009792 diffusion process Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000004445 quantitative analysis Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 5
- 230000002792 vascular Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 3
- 230000003073 embolic effect Effects 0.000 description 3
- 230000002440 hepatic effect Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000002512 chemotherapy Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 239000002246 antineoplastic agent Substances 0.000 description 1
- 229940041181 antineoplastic drug Drugs 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 210000005229 liver cell Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000010937 topological data analysis Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种血管图像处理方法、电子设备及计算机可读存储介质。本申请的血管图像处理方法，包括：获取原始血管图像；其中，所述原始血管图像包括肝脏血管图像；将所述原始血管图像输入训练好的图像处理神经网络，所述图像处理神经网络输出二值标注图像；对所述二值标注图像进行拓扑结构分析得到血管骨架参数。本申请所提供的血管图像处理方法，通过将训练好的图像处理神经网络对原始血管图像进行处理，以代替原本人工标注方式，从而减少工作量、缩减整体的分析时长。
Description
技术领域
本申请涉及生物图像处理技术领域，尤其涉及一种血管图像处理方法、电子设备及计算机可读存储介质。
背景技术
在化疗研究实验的过程中，通过对药物随时间变化的扩散释放参数进行定量分析，以评估药物的治疗效果。
然而，一般的定量分析方法为对包括有分析图像的血管骨架进行人工标记，并手动测量血管分支的长度、半径。人工标记、手动测量的测量方式使得整个定量分析过程变得过于繁琐，且耗费时间过多。
发明内容
本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种血管图像处理方法、电子设备及计算机可读存储介质。本申请所提供的血管图像处理方法，通过将训练好的图像处理神经网络对原始血管图像进行处理，以代替原本人工标注方式，从而减少工作量、缩减整体的分析时长。
本申请实施例第一方面提供一种血管图像处理方法，包括：获取原始血管图像；其中，所述原始血管图像包括肝脏血管图像；将所述原始血管图像输入训练好的图像处理神经网络，所述图像处理神经网络输出二值标注图像；对所述二值标注图像进行拓扑结构分析得到血管骨架参数。
本申请实施例中血管图像处理方法包括如下技术效果：通过将训练好的图像处理神经网络对原始血管图像进行处理，以代替原本人工标注方式，从而减少工作量、缩减整体的分析时长。此外，通过图像处理神经网络对不同的原始血管图像进行处理的过程中，可保持统一的标注标准，以为药物扩散评估建立量化标准。
在一些实施例中，所述将所述原始血管输入训练好的图像处理神经网络，包括：对所述图像处理神经网络进行预训练；所述对所述图像处理神经网络进行预训练，包括：对人工标注图像进行平滑处理、二值化处理，得到训练集；对所述训练集中的数据进行数据增强，得到增强后的所述训练集；通过测试集、增强后的所述训练集对所述图像处理神经网络进行对抗训练。
在一些实施例中，所述图像处理神经网络，包括：编码网络，用于对所述原始血管图像进行下采样得到第一特征图像；卷积连接网络，与所述编码网络连接，用于对所述第一特征图像进行卷积得到第二特征图像；解码网络，与所述卷积连接网络连接，用于对所述第二特征图像进行上采样得到第三特征图像；卷积映射层，与所述卷积连接网络连接，用于对所述第三特征图像进行映射得到所述二值标注图像；至少一个跳跃网络，所述跳跃网络的一端与所述编码网络连接，另一端与对应层级的所述解码网络连接。
在一些实施例中，所述跳跃网络，还包括：跳跃连接网络，所述跳跃连接网络的一端与所述编码网络连接，另一端与对应层级的所述解码网络连接；通道注意力模块，所述通道注意力模块的一端与所述跳跃连接网络的输入端连接；空间注意力模块，所述空间注意力模块的一端与所述通道注意力模块的另一端连接，所述空间注意力模块的另一端与所述跳跃连接网络的输出端连接。
在一些实施例中，所述通道注意力模块，还包括：通道特征输入层，用于获取通道特性参数；第一极化池，与所述通道特征输入层连接，用于对所述通道特性参数进行极化处理得到第一极化向量；第一平均池，与所述通道特征输入层连接，用于对所述通道特性参数进行平均处理得到第一平均向量；多层感知器，分别与所述第一极化池、所述第一平均池连接，用于对所述第一极化向量、所述第一平均向量进行合并得到第一输出向量；第一激活层，与所述多层感知器连接，对所述第一输出向量进行激活得到通道注意力特征图。
在一些实施例中，所述空间注意力模块，还包括：空间特征输入层，用于获取空间特性参数；第二极化层，与所述空间特征输入层连接，用于对所述空间特性参数进行极化处理得到第二极化向量；第二平均层，与所述第二极化层连接，用于对所述第二极化向量进行平均处理得到第二平均向量；空间卷积层，与所述第二平均层连接，用于对所述第二平均向量进行卷积处理得到空间卷积向量；第二激活层，与所述空间卷积层连接，用于激活所述空间卷积向量并得到空间注意力特征图。
在一些实施例中，所述通过测试集、增强后的所述训练集对所述图像处理神经网络进行对抗训练，包括：所述图像处理神经网络根据所述训练集生成标注数据；判别器根据所述标注数据、所述测试集生成判别结果；根据预设的损失函数对所述判别结果进行收敛，得到训练好的所述图像处理神经网络。
在一些实施例中，所述对所述二值标注图像进行拓扑结构分析得到血管骨架参数，包括：对所述二值标注图像中进行骨架特征提取，并根据提取到的骨架特征构建无向带权图；对所述无向带权图进行最短路径计算得到各级子血管的骨架，并对所述各级子血管的骨架进行测量统计得到所述血管骨架参数。
本申请实施例第二方面提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现：如上述任一实施例中所述的血管图像处理方法。
本申请实施例第三方面提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于：执行上述任一实施例中所述的血管图像处理方法。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显。
附图说明
下面结合附图和实施例对本申请做进一步的说明，其中：
图1为本申请一实施例一种血管图像处理方法的流程图；
图2为本申请一实施例的图像处理神经网络的结构示意图；
图3为本申请另一实施例一种血管图像处理方法的流程图；
图4为本申请又一实施例一种血管图像处理方法的流程图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
在本申请的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
在本申请的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本申请的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在化疗研究实验的过程中，研究人员常常通过对分析图像的血管骨架进行人工标记，并手动测量血管骨架中各个血管分支的长度、半径，以完成对目标药物的定量分析方法。然而，人工标记、手动测量的测量方式使得整个定量分析过程变得过于繁琐，且耗费时间过多。
例如，通过预先建立体外肝脏脱细胞小鼠肝脏模型，仅保留模型中的肝脏血管结构，且提高整个肝脏细胞的透光率。通过导管将栓塞剂注射到脱细胞的肝脏血管中，并观察药物的扩散状态，以定量分析抗癌药物随时间变化的扩散释放参数。医护人员可将对应的扩散释放参数作为实际的用药参考。若整个图像标注及分析过程均依靠人工手动完成，则使得操作步骤繁杂且分析耗时较长。
至少为了解决上述存在的技术问题之一，本申请通过一种血管图像处理方法，以节约定量分析过程中所存在的操作步骤及耗时。
此外，由于血管为半透明状，且将药物注射至血管后，药物将血管染为红色。当对注射有药物的图像进行二值化后，包括有药物的区域图像、未包括有药物的区域图像具有相对明显的灰度差。
请参照图1，本申请提供一种血管图像处理方法，包括：步骤S100、获取原始血管图像；其中，原始血管图像包括肝脏血管图像；步骤S200、将原始血管图像输入训练好的图像处理神经网络，图像处理神经网络输出二值标注图像；步骤S300、对二值标注图像进行拓扑结构分析得到血管骨架参数。
通过将原始血管图像作为图像处理神经网络的输入，并输出对应的二值标注图像。由于仅当血管容纳有药物时，二值标注图像会对血管骨架进行显像。其中，二值标注图像可通过不同的灰度以对区分图像中的血管和背景区域。根据实际拍摄时序对二值标注图像进行排列，以得到对应的不同时间点的血管骨架状态变化趋势。
因此，通过对二值标注图像进行拓扑结构分析可得到与不同时间点对应的血管拓扑结构，并对二值标注图像中的血管骨架进行测量以得到血管骨架参数。其中，血管骨架参数可用于表征药物的扩散状态。
例如，当原始血管图像为肝脏血管图像、药物为栓塞剂时，通过对与连续时序相对应的二值标注图像进行拓扑结构分析并得到血管骨架参数，则可通过血管骨架参数得到栓塞剂在肝脏血管中的扩散状态。医护人员可根据将扩散状态作为临床用药的参考数据。其中，肝脏血管可为脱细胞的肝脏血管。
通过将训练好的图像处理神经网络对原始血管图像进行处理，以代替原本人工标注方式，从而减少工作量、缩减整体的分析时长。此外，通过图像处理神经网络对不同的原始血管图像进行处理的过程中，可保持统一的标注标准，以为药物扩散评估建立量化标准。
请参照图2，在一些实施例中，步骤S200、将原始血管图像输入训练好的图像处理神经网络，包括：步骤S210、对图像处理神经网络进行预训练；步骤S210、对图像处理神经网络进行预训练，包括：步骤S211、对人工标注图像进行平滑处理、二值化处理，得到训练集；步骤S212、对训练集中的数据进行数据增强，得到增强后的训练集；步骤S213、通过测试集、增强后的训练集对图像处理神经网络进行对抗训练。
可以理解地，由人工对用于训练的血管图像进行人工标注，并对标注后的图像进行边缘平滑处理、二值化处理得到人工标注图像。此外，将多组人工标注图像作为一整体，并与对图像处理神经网络进行预训练，即将多组人工标注图像作为将训练集。
由于人工标注所得到的训练集中的人工标注图像数量有限，则通过对训练集中的人工标注图像数量进行数据增强，以大幅度地增加训练集中的数据。
其中，数据增强的方式可包括图像镜像处理、图像参数调节、图像角度调节。图像镜像处理可具体为以图像的对称轴为基准镜像镜像处理(左右翻转、上下翻转)；图像参数调节可具体为随机进行亮度、颜色、对比度的调节并生成额外的人工标注图像；图像角度调节可具体为根据预设角度对图像进行逐步旋转并生成额外的人工标注图像。其中，预设角度可以为4°或者其他设定的角度。通过对训练集中的数据进行数据增强，以为图像处理神经网络提供足够的训练数据，从而保证图像处理神经网络的标注精度及鲁棒性。
请参照图3，在一些实施例中，图像处理神经网络，包括：编码网络，用于对原始血管图像进行下采样得到第一特征图像；卷积连接网络，与编码网络连接，用于对第一特征图像进行卷积得到第二特征图像；解码网络，与卷积连接网络连接，用于对第二特征图像进行上采样得到第三特征图像；卷积映射层，与卷积连接网络连接，用于对第三特征图像进行映射得到二值标注图像；至少一个跳跃网络，跳跃网络的一端与编码网络连接，另一端与对应层级的解码网络连接。
其中，编码网络、解码网络及卷积连接网络构成初步的U-Net神经网络，且编码网络、与编码网络对应的解码网络之间设有至少一个跳跃网络。即通过设置跳跃网络以对同层级的编码网络、解码网络进行连接，从而调节解码网络对第二特征图像进行上采样的权值。
进一步地，编码网络包括依次级联的第一层编码网络、第二层编码网络、第三层编码网络；解码网络包括依次级联的第三层解码网络、第二层解码网络、第一层解码网络。且一个卷积层、组归一化层、修正线性单元依次级联构成一组基础卷积网络单元，第一层编码网络、第二层编码网络、第三层编码网络、第一层解码网络、第二层解码网络、第三层解码网络分别包括两组级联设置的基础卷积网络单元。其中，卷积层的卷积核大小为3*3。
第三层编码网络与卷积连接网络连接，以将第一特征图像传输至卷积连接网络；第三层解码网络与卷积连接网络连接，以接收来自于第三层解码网络的第二特征图像。
第一层编码网络、第二层编码网络、第三层编码网络及卷积连接网络之间分别设有一个最大池化层，相邻两层网络通过一个最大池化层间接连接得以实现图像传输。其中，最大池化层的池化窗口形状为2*2。
卷积连接网络、第三层解码网络、第二层解码网络、第一层解码网络之间分别设有一个基础反卷积网络单元。基础反卷积网络单元由一个反卷积层、一个修正线性单元依次级联构成。其中，反卷积层的卷积核大小为2*2。
卷积连接网络由3组卷积单元级联连接构成，且每一组卷积单元包括两个基础卷积网络单元。此外，相邻两组卷积单元之间还设有至少一个基础卷积网络单元。
如图所示，在一些实施例中，跳跃网络，还包括：跳跃连接网络，跳跃连接网络的一端与编码网络连接，另一端与对应层级的解码网络连接；通道注意力模块(CAB)，通道注意力模块的一端与跳跃连接网络的输入端连接；空间注意力模块(SAB)，空间注意力模块的一端与通道注意力模块的另一端连接，空间注意力模块的另一端与跳跃连接网络的输出端连接。
通过跳跃连接网络上设置串行的通道注意力模块、空间注意力模块，以根据编码网络中的通道特性参数、空间特性参数调节解码网络的聚焦位置，使得解码网络聚焦于图像中的目标对象并提高对应的权重。
在一些实施例中，通道注意力模块，还包括：通道特征输入层，用于获取通道特性参数；第一极化池，与通道特征输入层连接，用于对通道特性参数进行极化处理得到第一极化向量；第一平均池，与通道特征输入层连接，用于对通道特性参数进行平均处理得到第一平均向量；多层感知器，分别与第一极化池、第一平均池连接，用于对第一极化向量、第一平均向量进行合并得到第一输出向量；第一激活层，与多层感知器连接，对第一输出向量进行激活得到通道注意力特征图。
通道注意力模块通过第一极化池、第一平均池对输入通道特性参数的空间维度参数进行压缩，以得到第一极化向量、第一平均向量。第一极化向量、第一平均向量被输入至位于隐藏层的同一个多层感知器中，通过元素相加的方式对应第一极化向量、第一平均向量进行合并，得到第一输出向量。通过第一激活层对第一输出向量进行激活得到通道注意力特征图，以对应地提高解码网络中目标对象的权重。
在一些实施例中，空间注意力模块，还包括：空间特征输入层，用于获取空间特性参数；第二极化层，与空间特征输入层连接，用于对空间特性参数进行极化处理得到第二极化向量；第二平均层，与第二极化层连接，用于对第二极化向量进行平均处理得到第二平均向量；空间卷积层，与第二平均层连接，用于对第二平均向量进行卷积处理得到空间卷积向量；第二激活层，与空间卷积层连接，用于激活空间卷积向量并得到空间注意力特征图。其中，空间注意力模块中还包括一个卷积核大小为7×7的激活卷积层，激活卷积层用于对激活后的激活卷积层进行卷积处理得到空间注意力特征图
通过对第二极化层、第二平均层进行级联设置，以对空间特性参数进行极化处理、平均处理得到第二平均向量。通过对空间卷积层、第二激活层对第二平均向量进行卷积、激活得到空间注意力特征图。其中，空间注意力特征图用于调节解码网络中目标对象的权重。
在一些实施例中，通过测试集、增强后的训练集对图像处理神经网络进行对抗训练，包括：图像处理神经网络根据训练集生成标注数据；判别器根据标注数据、测试集生成判别结果；根据预设的损失函数对判别结果进行收敛，得到训练好的图像处理神经网络。
其中，判别器对图像处理神经网络所生成的标注数据、测试集进行判别，并生成判别结果。根据预设的损失函数对判别结果进行收敛，以调节图像处理神经网络中权值，得到训练好的图像处理神经网络。
例如，通过图像处理神经网络(生成器)、判别器构建生成式对抗网络(GAN,Generative Adversarial Networks)，以形成自主深度学习网络架构，并对图像处理神经网络中权值或参数进行调节得到可实现预设图像标注效果的图像处理神经网络。
在对图像处理神经网络进行对抗训练的过程中，图像处理神经网络根据训练集生成标注数据，且使标注数据接近于测试集中的标准测试数据，而判别器则对标注数据进行判断以辨别标注数据为自动生成的预测结果或手动标注的标准测试图像(标准测试数据)。例如，训练集为血管图像，标注数据为血管、背景构成的二值图像，标准测试数据为手动标注处理后形成的标准测试图像。判别器用于对二值图像是否由图像处理神经网络生成；图像处理神经网络用于根据血管图像生成与标准测试图像相似度更高的二值图像，以降低判别器判断的准确性。通过构建生成式对抗网络以对图像处理神经网络进行对抗训练，从而提高图像处理神经网络的图像分割精度。
进一步地，判别器用于对输入的图像进行二分类，即判断二值图像是否由图像处理神经网络生成。判别器由于5个卷积块、全连接层和激活层级联组成，以实现二分类预测结果。且每一个卷积块包括两组3*3的卷积基础单元，该卷积基础单元包括一个卷积层、一个组归一化层、一个修正线性单元。相邻两个卷积块之间包括一个2*2的最大池化层。
进一步地，损失函数为：
其中，在对抗训练的过程中，图像处理神经网络用于最小化
判别器用于最大化
最小最大目标函数为：
其中，x、y分别表示原始血管图像和标准测试图像(相应的标签)。
可以理解地，判别器对输入的图像进行二分类，并输出对应的判别结果，其中，0和1分别表示输入的图像由图像处理神经网络自动生成(二值化图像)或手动标注处理后形成的标准测试图像。
进一步地，通过引入二值化图像、标准测试图像之间的二进制交叉熵损失
并得到总体目标函数。
总体目标函数为：
其中，λ用于平衡总体目标函数的两个部分之间权重。且根据实际需要λ可设为10或其他适应性数值。即可通过使用Adam优化器，并将初始化学习速率设为1e-4、系数设置为10，以对图像处理神经网络进行对抗训练。
请参照图4，在一些实施例中，步骤S300、对二值标注图像进行拓扑结构分析得到血管骨架参数，包括：步骤S310、对二值标注图像中进行骨架特征提取，并根据提取到的骨架特征构建无向带权图；步骤S320、对无向带权图进行最短路径计算得到各级子血管的骨架，并对各级子血管的骨架进行测量统计得到血管骨架参数。
通过对二值标注图像中进行骨架特征提取，以得到骨架特征。其中，通过对二值标注图像进行冗余点删除，并对提取得到单像素宽度的联通骨架，以构建对应的无向带权图。其中，冗余点删除过程为先后分别删除二值标注图像中两组对角上的冗余点。且在二值标注图像中，1表示骨架，0表示图像背景。
进一步地，通过对无向带权图进行最短路径计算得到各级子血管的骨架，并对各级子血管的骨架进行测量统计得到血管骨架参数。其中，根据血管骨架长度、分支顺序将血管骨架分支划分为T类，以对药物扩散程度进行高精度量化。
骨架特征所对应的骨架矩阵中的非零值分为两部分，即关键节点(KN)和边。其中，关键节点可被划分为分支节点(BN)和叶子节点(LN)。根据所有关键节点进行递增排序，以构建无向带权图。
关键节点为无向带权图中的节点，对应边的像素个数为无向带权图的权值，并用于表示分支的长度。通过选择血管骨架根部的关键节点作为根节点(RN)。
通过预设的算法对根节点(RN)、叶子节点(LN)之间最短直接长度，且最大长度骨架被定义为第一类骨架。通过由第一类骨架中的分支节点扩展出一个子骨架，并将分支节点(BN)作为根节点(RN)。此外，通过将子骨架上的最大长度的骨架分支确定为第二类骨架，依次类推，根据上述推算方式对血管骨架的所有骨架分支进行确定，直至第T类骨架。
通过对各级子血管的骨架进行测量统计得到血管骨架参数，即对最短路径计算得到的各级子血管的骨架进行测量以得到对应的路径、长度。
例如，通过二值标注图像1表示血管骨架、0表示背景，并通过计算血管骨架的点到背景(0)的最短距离，该最短距离为血管骨架的半径。
表1血管分割及拓扑分析的量化结果对比表
其中，通过Dice Similarity Coefficient(DSC，像素相似系数)越高则性能越好；Maximum Symmetric Surface Distance(MSSD，最大对称表面距离)、Average SymmetricSurface Distance(ASSD，平均对称表面距离)、Topology Similarity(TS，拓扑相似度)越小越好。
可以理解地，Dice Similarity Coefficient用于表征二值标注图像与标准测试图像(标签)的像素级相似度；Average Symmetric Surface Distance(平均对称表面距离)、Maximum Symmetric Surface Distance(最大对称表面距离)用于描述二值标注图像与标准测试图像之间边界距离。
例如，使用S(A)表示A的表面像素集，sA表示属于集合S(A)的像素，则任意像素v到S(A)的最短距离定义为
其中|。|表示欧几里德距离。
且ASSD和MSSD的公式如下：
其中，S(B)表示B的表面像素集，sB表示集合S(B)的像素。
进一步地，对拓扑相似度(TS)进行定义，且该公式为：|v1-v2|/(0.5×(v1+v2))。
其中，v1、v2分别表示标准测试图像(标签)和二值标注图像中属于特定类的节点总数，并对所有节点的拓扑相似度求均值。
由于上述血管分割及拓扑分析的量化结果对比，将U-Net神经网络作为生成式对抗网络(GAN,Generative Adversarial Networks)的生成器，并将通道注意力模块、空间注意力模块增加至U-Net神经网络中，以对像素相似系数、最大对称表面距离、平均对称表面距离、拓扑相似度进行全面优化。
本申请提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现：如上述任一实施例中的血管图像处理方法。
本申请提供一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于：执行如上述任一实施例中的血管图像处理方法。
上面结合附图对本申请实施例作了详细说明，但是本申请不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下作出各种变化。此外，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
Claims (10)
1.血管图像处理方法，其特征在于，包括：
获取原始血管图像；其中，所述原始血管图像包括肝脏血管图像；
将所述原始血管图像输入训练好的图像处理神经网络，所述图像处理神经网络输出二值标注图像；
对所述二值标注图像进行拓扑结构分析得到血管骨架参数。
2.根据权利要求1所述的血管图像处理方法，其特征在于，所述将所述原始血管输入训练好的图像处理神经网络，包括：
对所述图像处理神经网络进行预训练；
所述对所述图像处理神经网络进行预训练，包括：
对人工标注图像进行平滑处理、二值化处理，得到训练集；
对所述训练集中的数据进行数据增强，得到增强后的所述训练集；
通过测试集、增强后的所述训练集对所述图像处理神经网络进行对抗训练。
3.根据权利要求1所述的血管图像处理方法，其特征在于，所述图像处理神经网络，包括：
编码网络，用于对所述原始血管图像进行下采样得到第一特征图像；
卷积连接网络，与所述编码网络连接，用于对所述第一特征图像进行卷积得到第二特征图像；
解码网络，与所述卷积连接网络连接，用于对所述第二特征图像进行上采样得到第三特征图像；
卷积映射层，与所述卷积连接网络连接，用于对所述第三特征图像进行映射得到所述二值标注图像；
至少一个跳跃网络，所述跳跃网络的一端与所述编码网络连接，另一端与对应层级的所述解码网络连接。
4.根据权利要求3所述的血管图像处理方法，其特征在于，所述跳跃网络，还包括：
跳跃连接网络，所述跳跃连接网络的一端与所述编码网络连接，另一端与对应层级的所述解码网络连接；
通道注意力模块，所述通道注意力模块的一端与所述跳跃连接网络的输入端连接；
空间注意力模块，所述空间注意力模块的一端与所述通道注意力模块的另一端连接，所述空间注意力模块的另一端与所述跳跃连接网络的输出端连接。
5.根据权利要求4所述的血管图像处理方法，其特征在于，所述通道注意力模块，还包括：
通道特征输入层，用于获取通道特性参数；
第一极化池，与所述通道特征输入层连接，用于对所述通道特性参数进行极化处理得到第一极化向量；
第一平均池，与所述通道特征输入层连接，用于对所述通道特性参数进行平均处理得到第一平均向量；
多层感知器，分别与所述第一极化池、所述第一平均池连接，用于对所述第一极化向量、所述第一平均向量进行合并得到第一输出向量；
第一激活层，与所述多层感知器连接，对所述第一输出向量进行激活得到通道注意力特征图。
6.根据权利要求4所述的血管图像处理方法，其特征在于，所述空间注意力模块，还包括：
空间特征输入层，用于获取空间特性参数；
第二极化层，与所述空间特征输入层连接，用于对所述空间特性参数进行极化处理得到第二极化向量；
第二平均层，与所述第二极化层连接，用于对所述第二极化向量进行平均处理得到第二平均向量；
空间卷积层，与所述第二平均层连接，用于对所述第二平均向量进行卷积处理得到空间卷积向量；
第二激活层，与所述空间卷积层连接，用于激活所述空间卷积向量并得到空间注意力特征图。
7.根据权利要求2所述的血管图像处理方法，其特征在于，所述通过测试集、增强后的所述训练集对所述图像处理神经网络进行对抗训练，包括：
所述图像处理神经网络根据所述训练集生成标注数据；
判别器根据所述标注数据、所述测试集生成判别结果；
根据预设的损失函数对所述判别结果进行收敛，得到训练好的所述图像处理神经网络。
8.根据权利要求1所述的血管图像处理方法，其特征在于，所述对所述二值标注图像进行拓扑结构分析得到血管骨架参数，包括：
对所述二值标注图像中进行骨架特征提取，并根据提取到的骨架特征构建无向带权图；
对所述无向带权图进行最短路径计算得到各级子血管的骨架，并对所述各级子血管的骨架进行测量统计得到所述血管骨架参数。
9.电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现：如权利要求1至8中任一项所述的血管图像处理方法。
10.计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于：执行权利要求1至8中任一项所述的血管图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110823904.4A CN113658104A (zh) | 2021-07-21 | 2021-07-21 | 血管图像处理方法、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110823904.4A CN113658104A (zh) | 2021-07-21 | 2021-07-21 | 血管图像处理方法、电子设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113658104A true CN113658104A (zh) | 2021-11-16 |
Family
ID=78477635
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110823904.4A Pending CN113658104A (zh) | 2021-07-21 | 2021-07-21 | 血管图像处理方法、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113658104A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024098742A1 (zh) * | 2022-11-07 | 2024-05-16 | 华为云计算技术有限公司 | 一种图像处理方法、装置、电子设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101425140A (zh) * | 2008-11-13 | 2009-05-06 | 苏州大学 | 基于骨架特征的脑血管瘤图像识别检测方法 |
| CN108428210A (zh) * | 2017-02-15 | 2018-08-21 | 浙江京新术派医疗科技有限公司 | 血管图像重建方法和重建装置 |
| CN111178420A (zh) * | 2019-12-24 | 2020-05-19 | 北京理工大学 | 一种二维造影图像上冠脉段标注方法及系统 |
| CN112001928A (zh) * | 2020-07-16 | 2020-11-27 | 北京化工大学 | 一种视网膜血管分割方法及系统 |
| CN112258486A (zh) * | 2020-10-28 | 2021-01-22 | 汕头大学 | 基于进化神经架构搜索的眼底图像视网膜血管分割方法 |
| CN112651978A (zh) * | 2020-12-16 | 2021-04-13 | 广州医软智能科技有限公司 | 舌下微循环图像分割方法和装置、电子设备、存储介质 |
-
2021
- 2021-07-21 CN CN202110823904.4A patent/CN113658104A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101425140A (zh) * | 2008-11-13 | 2009-05-06 | 苏州大学 | 基于骨架特征的脑血管瘤图像识别检测方法 |
| CN108428210A (zh) * | 2017-02-15 | 2018-08-21 | 浙江京新术派医疗科技有限公司 | 血管图像重建方法和重建装置 |
| CN111178420A (zh) * | 2019-12-24 | 2020-05-19 | 北京理工大学 | 一种二维造影图像上冠脉段标注方法及系统 |
| CN112001928A (zh) * | 2020-07-16 | 2020-11-27 | 北京化工大学 | 一种视网膜血管分割方法及系统 |
| CN112258486A (zh) * | 2020-10-28 | 2021-01-22 | 汕头大学 | 基于进化神经架构搜索的眼底图像视网膜血管分割方法 |
| CN112651978A (zh) * | 2020-12-16 | 2021-04-13 | 广州医软智能科技有限公司 | 舌下微循环图像分割方法和装置、电子设备、存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| SANGHYUN WOO ET.AL.: "CBAM Convolutional Block Attention Module", 《COMPUTERVISION-ECCV 2018》, pages 3 - 19 * |
| 徐辉雄 等: "《肝胆胰脾疾病超声造影》", 31 October 2019, 上海科学普及出版社, pages: 26 - 30 * |
| 李天培;陈黎;: "基于双注意力编码-解码器架构的视网膜血管分割", 计算机科学, no. 05, pages 166 - 171 * |
| 杜洋涛等: "面向血液循环系统仿真的全身血管重建", 计算机辅助设计与图形学学报, vol. 32, no. 2, 29 February 2020 (2020-02-29), pages 246 - 254 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024098742A1 (zh) * | 2022-11-07 | 2024-05-16 | 华为云计算技术有限公司 | 一种图像处理方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Harrison et al. | Progressive and multi-path holistically nested neural networks for pathological lung segmentation from CT images | |
| CN110399929B (zh) | 眼底图像分类方法、装置以及计算机可读存储介质 | |
| CN109584254B (zh) | 一种基于深层全卷积神经网络的心脏左心室分割方法 | |
| Idrees et al. | Composition loss for counting, density map estimation and localization in dense crowds | |
| Rahaman et al. | An efficient multilevel thresholding based satellite image segmentation approach using a new adaptive cuckoo search algorithm | |
| CN112598643B (zh) | 深度伪造图像检测及模型训练方法、装置、设备、介质 | |
| CN109191564B (zh) | 基于深度学习的激发荧光断层成像三维重建方法 | |
| Hu et al. | Classification of metaphase chromosomes using deep convolutional neural network | |
| Doan et al. | SONNET: A self-guided ordinal regression neural network for segmentation and classification of nuclei in large-scale multi-tissue histology images | |
| Morgenstern et al. | An image-computable model of human visual shape similarity | |
| JP2023527136A (ja) | 診断結果を提供するための方法及び装置（ｍｅｔｈｏｄ ａｎｄ ａｐｐａｒａｔｕｓ ｆｏｒ ｐｒｏｖｉｄｉｎｇ ｄｉａｇｎｏｓｉｓ ｒｅｓｕｌｔ） | |
| CN112330684A (zh) | 对象分割方法、装置、计算机设备及存储介质 | |
| CN114581434A (zh) | 基于深度学习分割模型的病理图像处理方法、电子设备 | |
| Han et al. | Nuclei counting in microscopy images with three dimensional generative adversarial networks | |
| Wiesner et al. | On generative modeling of cell shape using 3D GANs | |
| CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
| TW202223917A (zh) | 基於醫學影像的疾病預測方法 | |
| Shamrat et al. | Analysing most efficient deep learning model to detect COVID-19 from computer tomography images | |
| Razavi et al. | Minugan: Dual segmentation of mitoses and nuclei using conditional gans on multi-center breast h&e images | |
| CN110599444B (zh) | 预测血管树的血流储备分数的设备、系统以及非暂时性可读存储介质 | |
| CN116129141A (zh) | 医学数据处理方法、装置、设备、介质和计算机程序产品 | |
| CN113658104A (zh) | 血管图像处理方法、电子设备及计算机可读存储介质 | |
| Raj et al. | Object detection in live streaming video using deep learning approach | |
| KR102572437B1 (ko) | 유전알고리즘에 기초한 최적화된 학습 모델 결정 장치 및 방법 | |
| US20220130037A1 (en) | Retina vessel measurement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |