CN109285164B - 医学图像目标区域定位方法及系统 - Google Patents
医学图像目标区域定位方法及系统 Download PDFInfo
- Publication number
- CN109285164B CN109285164B CN201811079605.9A CN201811079605A CN109285164B CN 109285164 B CN109285164 B CN 109285164B CN 201811079605 A CN201811079605 A CN 201811079605A CN 109285164 B CN109285164 B CN 109285164B
- Authority
- CN
- China
- Prior art keywords
- probability map
- segmentation
- probability
- image
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000012549 training Methods 0.000 claims abstract description 68
- 238000001914 filtration Methods 0.000 claims abstract description 53
- 238000003709 image segmentation Methods 0.000 claims abstract description 42
- 230000011218 segmentation Effects 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 34
- 230000006870 function Effects 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 230000004807 localization Effects 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims 2
- 239000000126 substance Substances 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 7
- 230000007547 defect Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 7
- 238000013519 translation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000008707 rearrangement Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Abstract
本发明公开了一种医学图像目标区域定位方法及系统，其方法包括：使用图像分割网络对预先收集的预设张数的医学图像进行模型训练，构建相应的训练模型；将构建的训练模型用于需要进行目标区域定位的当前医学图像，对当前医学图像进行图像分割，获取分割概率图；采用巴特沃斯滤波器对分割后的分割概率图进行巴特沃斯数字图像处理，得到滤波概率图；采用区域生长法对滤波概率图进行定位，获取相应的定位区域。其通过将巴特沃斯滤波器与深度学习网络模型结合在一起，加强了对网络模型输出端的处理，使得网络模型在对未见过的样本上具有较强的适用性，一定程度上弥补了医学图像训练数据少、影像形态丰富等因素而导致的模型缺陷。
Description
技术领域
本发明涉及医学图像技术领域，特别是涉及一种医学图像目标区域定位方法及系统。
背景技术
随着大数据和深度学习两大技术领域的迅猛发展，以深度神经网络为基石的人工智能技术已渗入到各行各业，特别是在医学影像领域已获得了前所未有的突破。近年来，基于反卷积深度神经网络U-net及其派生网络已成熟的应用于多种医学图像，如：PET，CT和眼底图等。其中，精准的器官分割和病灶提取能够有效帮助医生提高阅片速率，避免误诊和漏诊的情况。
与传统的有监督学习模型一样，以U-net为代表的图像分割网络依赖于高质量的标注数据，尤其是医学图像，需要专业团队的精确标注。U-net及其派生网络是一种全卷积网络，该网络能够在较少的训练图像情况下达到较为精准的分割效果。具体的，当医学图像进入U-net网络时，首先经过收缩网络，图像通过卷积操作进行缩小。其次，再经过定位网络，图像通过反卷积操作进行放大，得出一张用于目标区域定位或分割的概率图像。同时，所得到的概率图像用于计算U-net网络的损失函数，便于优化网络参数。最后，再采用阈值法将概率图像二值化，进而得到定位区域。
其中，在对输出的概率图像进行二值化处理时，通常所采用的阈值法中阈值的选择决定着最终的模型效果。现有的方法主要是采用默认阈值(通常采用0.5最为默认阈值)对概率图像进行二值化处理，或者是基于测试集图像的定位效果人工选择效果最佳的阈值作为模型最终输出定位图像的阈值。但是，传统的依赖于固定阈值对图像分割网络的输出结果(即概率图像)进行二值化处理，在一定程度上降低了模型的泛化性和鲁棒性，同时还增加了模型频繁调整所带来的时间成本，降低了图像处理的效率。
发明内容
基于此，有必要针对传统的医学图像定位方法中对图像分割后的概率图像的处理方式容易导致模型的泛化性和鲁棒性较低，并且还增加模型频繁调整所带来的时间成本，降低图像处理效率的问题，提供一种医学图像目标区域定位方法和系统。
基于上述目的，本发明提供的一种医学图像目标区域定位方法，包括如下步骤：
使用图像分割网络对预先收集的预设张数的医学图像进行模型训练，构建相应的训练模型；
将构建的所述训练模型用于需要进行目标区域定位的当前医学图像，对所述当前医学图像进行图像分割，获取分割概率图；
采用巴特沃斯滤波器对分割后的所述分割概率图进行巴特沃斯数字图像处理，得到滤波概率图；
采用区域生长法对所述滤波概率图进行定位，获取相应的定位区域。
在其中一个实施例中，所述使用图像分割网络对预先收集的预设张数的医学图像进行模型训练，构建相应的训练模型时，所使用的所述图像分割网络为U-net网络；
其中，所述U-net网络中的卷积层采用3*3大小的卷积核，并以“SAME”的方式进行卷积操作；且
所述U-net网络中的激活函数均采用relu激活函数，损失函数采用最小均方误差函数，最优化方法采用Adam优化法。
在其中一个实施例中，所述U-net网络中的超参数设置为：
每一次训练样本大小参数设置为2，学习率参数设置为0.1，并以每一个epoch进行指数衰减，衰减因子为0.96。
在其中一个实施例中，所述采用巴特沃斯滤波器对分割后的所述分割概率图进行巴特沃斯数字图像处理，得到滤波概率图，包括如下步骤：
对当前输出的所述分割概率图进行数值调整，将当前输出的所述分割概率图的值统一减去所述分割概率图中的最小概率值，得到调整后概率图；
将调整后概率图进行快速傅里叶变换，得到相应的频谱图；
对所述频谱图进行平移操作，将频域的零点重排至所述频谱图的中心点，得到相应的重排频谱图；
对所述重排频谱图进行低通滤波操作，得到滤波后的频谱图；
将所述滤波后的频谱图的频域零点还原至初始零点位置，得到还原后的频谱图；
对所述还原后的频谱图做逆快速傅里叶变换，得到所述滤波概率图。
在其中一个实施例中，所述对所述重排频谱图进行低通滤波操作时，所使用的巴特沃斯低通滤波器的传递函数表达式为：
其中，D(u,v)为点(u,v)到滤波器中心的距离，D0为预设的非负数，n为巴特沃斯滤波器的阶数。
在其中一个实施例中，所述采用区域生长法对所述滤波概率图进行定位，获取相应的定位区域，包括如下步骤：
读取所述滤波概率图，并寻找到所述滤波概率图中概率值最大的坐标点；
以所述概率值最大的坐标点为种子点，并且以4邻域的方式进行区域生长；其中，区域生长的条件为生长到振铃的第一个波谷；
实时判断区域生长变化情况，并在判断出当前区域不再变化时，确定当前已生长的区域为目标区域。
相应的，基于同一发明构思，本发明还提供了一种医学图像目标区域定位系统，包括训练模型构建模块、图像分割模块、图像处理模块和目标定位模块；
其中，所述训练模型构建模块，用于使用图像分割网络对预先收集的多张医学图像进行模型训练，构建相应的训练模型；
所述图像分割模块，用于将构建的所述训练模型用于需要进行目标区域定位的当前医学图像，对所述当前医学图像进行图像分割，获取分割概率图；
所述图像处理模块，用于采用巴特沃斯滤波器对分割后的所述分割概率图进行巴特沃斯数字图像处理，得到滤波概率图；
所述目标定位模块，用于采用区域生长法对所述滤波概率图进行定位，获取相应的定位区域。
在其中一个实施例中，所述训练模型构建模块包括样本大小参数设置子模块和学习率参数设置子模块；
其中，所述样本大小参数设置子模块，用于设置每一次训练样本大小参数，并将所述训练样本大小参数设置为2；
所述学习率参数设置子模块，用于设置学习率参数，并将所述学习率参数设置为0.1，并以每一个epoch进行指数衰减，且衰减因子设置为0.96。
在其中一个实施例中，所述图像处理模块包括概率图调整子模块、傅里叶变换子模块、频谱图重排子模块、低通滤波子模块、频谱图还原子模块和逆傅里叶变换子模块；
其中，所述概率图调整子模块，用于对当前输出的所述分割概率图进行数值调整，将当前输出的所述分割概率图的值统一减去所述分割概率图中的最小概率值，得到调整后概率图；
所述傅里叶变换子模块，用于将调整后概率图进行快速傅里叶变换，得到相应的频谱图；
所述频谱图重排子模块，用于对所述频谱图进行平移操作，将频域的零点重排至所述频谱图的中心点，得到相应的重排频谱图；
所述低通滤波子模块，用于对所述重排频谱图进行低通滤波操作，得到滤波后的频谱图；
所述频谱图还原子模块，用于将所述滤波后的频谱图的频域零点还原至初始零点位置，得到还原后的频谱图；
所述逆傅里叶变换子模块，用于对所述还原后的频谱图做逆快速傅里叶变换，得到所述滤波概率图。
在其中一个实施例中，所述目标定位模块包括概率值最大坐标点寻找子模块、区域生长子模块和目标区域确定子模块；
其中，所述概率值最大坐标点寻找子模块，用于读取所述滤波概率图，并寻找到所述滤波概率图中概率值最大的坐标点；
所述区域生长子模块，用于以所述概率值最大的坐标点为种子点，并且以4邻域的方式进行区域生长；其中，区域生长的条件为生长到振铃的第一个波谷；
所述目标区域确定子模块，用于实时判断区域生长变化情况，并在判断出当前区域不再变化时，确定当前已生长的区域为目标区域。
上述医学图像目标区域定位方法，通过使用图像分割网络对预先收集的预设张数的医学图像进行模型训练，构建相应的训练模型后，再将所构建的训练模型用于需要进行目标区域定位的当前医学图像，对当前医学图像进行图像分割，获取相应的分割概率图。进而再通过采用巴特沃斯滤波器对分割后的分割概率图进行巴特沃斯数字图像处理，得到滤波概率图，最后再采用区域生长法对滤波概率图进行定位，获取相应的定位区域。由此实现了图像分割网络与巴特沃斯滤波器相结合进行医学图像目标定位的目的。其使用巴特沃斯滤波器辅助深度学习网络进行医学图像目标区域定位，相较于传统的目标定位方法，不再利用简单的阈值法对输出的概率图进行二值化，并且其不依赖于输出概率图的绝对值，而是根据概率图中实际给出的定位效果自适应的定位到目标区域，，加强了对网络模型输出端的处理，使得网络模型在对未见过的样本上具有较强的适用性，最终有效解决了传统的医学图像定位方法中对图像分割后的概率图像的处理方式容易导致模型的泛化性和鲁棒性较低，并且还增加模型频繁调整所带来的时间成本，降低图像处理效率的问题。
附图说明
图1为本发明的医学图像目标区域定位方法的一具体实施例的流程图；
图2为本发明的医学图像目标区域定位方法的一具体实施例的算法整体流程图；
图3为本发明的医学图像目标区域定位方法的一具体实施例中构建训练模型时所采用的的U-net网络结构图；
图4为本发明的医学图像目标区域定位方法的一具体实施例中所采用的巴特沃斯滤波器在空间域的振铃现象；
图5为本发明的医学图像目标区域定位方法的一具体实施例中所采用的巴特沃斯滤波器振铃现象的三维显示图；
图6为采用本发明的医学图像目标区域定位方法的一具体实施例进行医学眼底图像目标定位所最终得到的视盘分割图；
图7为本发明的医学图像目标区域定位系统的一具体实施例的结构示意图。
具体实施方式
为使本发明技术方案更加清楚，以下结合具体实施例对本发明做进一步详细说明。其中，应当说明的是，以下描述包括帮助理解的各种具体细节，但是这些细节将被视为仅是示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可对本文所述的各种实施例进行各种改变和修改。另外，为了清晰和简洁，公知功能和构造的描述可被省略。
以下描述和权利要求书中所使用的术语和词汇不限于文献含义，而是仅由发明人用来使本公开能够被清晰和一致地理解。因此，对于本领域技术人员而言应该明显的是，提供以下对本公开的各种实施例的描述仅是为了示例性目的，而非限制由所附权利要求及其等同物限定的本公开的目的。
应该理解，除非上下文明确另外指示，否则单数形式也包括复数指代。因此，例如，对“组件表面”的引用包括对一个或更多个这样的表面的引用。
首先，需要说明的是，深度学习网络模型的工作流程主要分为三个部分，即，数据输入、模型训练和结果输出。通常，目前的方法主要关注于输入数据的预处理以及模型的架构设计，一般很少关注于模型输出结果的后处理。而图像分割网络与图像分类网络的设计架构具有很大的不同，图像分割网络的输出结果是概率图像，并且带有位置信息，其相较于图像分类网络的输出要复杂很多。同时，医学影像数据量很少，医学影像中目标区域的边缘信息也并不明显，并且还受到网络训练中的过拟合以及欠拟合等主观训练策略带来的影响，这就导致很难将最佳的训练数据、最优的网络结构以及最佳的训练策略组合在一起。因此，需要对图像分割网络的输出结果给予更高的重视。但是，传统的采用阈值法进行医学图像目标区域定位方法其依赖于固定的阈值对图像分割网络的输出结果进行二值化，这就在一定程度上降低了模型的泛化性和鲁棒性，同时还增加了模型频繁调整所带来的时间成本。
因此，本发明的医学图像目标区域定位方法提出了一种巴特沃斯滤波器辅助深度学习网络进行医学图像目标区域定位的方法。此处需要指出的是，本发明的医学图像目标区域定位方法在图像分割网络的输出结果的后处理中，不需要进行阈值选择，而是通过巴特沃斯滤波器自动定位疑似目标区域。
具体的，参见图1，作为本发明的医学图像目标区域定位方法的一具体实施例，其首先包括步骤S100，使用图像分割网络对预先收集的预设张数的医学图像进行模型训练，以构建相应的训练模型。参见图2，此处，需要指出的是，在使用图像分割网络构建相应的训练模型之前，需要通过步骤S001进行多张医学图像的收集，以获取相应的金标图像集合。其中，优选的，金标图像集合中，预先收集的医学图像的预设张数的取值范围为：1000张—3000张。更加优选的，可收集2000张医学图像组成金标图像集合。进而再通过步骤S100，使用图像分割网络将2000张医学图像进行模型训练，以构建相应的训练模型。
更加具体的，在上述步骤S100进行训练模型的构建过程中，优选的，图像分割网络使用U-net网络。其中，在使用U-net网络进行模型训练时，参见图3，其所采用的的U-net网络的结构如图3所示。同时，为了提高训练速度，可将输入的医学图像裁剪为预设尺寸。此处，应当说明的是，预设尺寸的大小优选为256*256。并且，U-net网络中的卷积层采用3*3大小的卷积核，并以“SAME”的方式进行卷积操作。同时，U-net网络中的激活函数均采用relu激活函数，损失函数采用最小均方误差函数，最优化方法则采用Adam优化法。
更进一步的，在使用U-net网络对多张医学图像进行模型训练时，U-net网络中的超参数设置为：每一次训练样本大小参数设置为2，学习率参数设置为0.1，并以每一个epoch进行指数衰减，衰减因子为0.96。其他参数则以函数默认值为参考。由此，经过400个epoch，模型的loss趋于稳定，此时则将训练好的模型保存下来用于测试。
然后，参见图1和图2，当构建好训练模型后，即可执行步骤S200，将构建的训练模型用于需要进行目标区域定位的当前医学图像，对当前医学图像进行图像分割，获取分割概率图。此处，应当指出的是，在该步骤中所得到的分割概率图的取值范围为[0,1]。
待得到分割概率图后，即得到深度学习网络的输出结果后，即可进行输出结果的后处理。在本发明的医学图像目标区域定位方法中，其主要是采用巴特斯沃滤波器来实现的。即，参见图1和图3，此时执行步骤S300，采用巴特沃斯滤波器对分割后的分割概率图进行巴特沃斯数字图像处理，得到滤波概率图。
具体的，在采用巴特沃斯滤波器对分割后的分割概率图进行巴特沃斯数字图像处理，得到滤波概率图的过程中，其首先通过步骤S310，对当前输出的分割概率图进行数值调整，将当前输出的分割概率图的值统一减去分割概率图中的最小概率值，得到调整后概率图。即，Pnorm-map＝Pmap-min(Pmap)。其中，Pmap为当前输出的分割概率图；Pnorm-map为调整后概率图。
进而再执行步骤S320，将调整后概率图进行快速傅里叶变换，即FTT变换，得到相应的频谱图Pftt。然后再通过步骤S330，对频谱图Pftt进行平移操作，将频域的零点重排至频谱图Pftt的中心点，得到相应的重排频谱图Pftt-z。
进而再执行步骤S340，对重排频谱图Pftt-z进行低通滤波操作，Pbutterworth＝Pfft-z.*H(u,v)，得到滤波后的频谱图Pbutterworth。其中，H(u,v)是巴特沃斯低通滤波器的传递函数，其具体的表达式如下所示：
其中，D(u,v)为点(u,v)到滤波器中心的距离，D0为预设的非负数，n为巴特沃斯滤波器的阶数。当D(u,v)＝D0时，H(u,v)的值降为H(u,v)最大值1的一半。与理想的低通滤波器不同，巴特沃斯低通滤波器通带与阻带之间具有过度频带，且过度频带的下降速度由D0控制。n为巴特沃斯滤波器的阶数，随着n越来越大，1阶巴特沃斯滤波器没有振铃现象，随着阶数越高巴特沃斯滤波器的在空间域上的振铃现象会越来越明显，并且第一个振铃幅度最大，此后振铃幅度依次变小。
然后再执行步骤S350，将滤波后的频谱图Pbutterworth的频域零点还原至初始零点位置，得到还原后的频谱图Pbutter-ori。最后，再通过步骤S360，对还原后的频谱图Pbutter-ori做逆快速傅里叶变换，即IFFT变换，得到滤波概率图Pbutter-map。
此时，其通过上述步骤所得到的滤波概率图Pbutter-map的取值范围将不受到[0，1]的限制。由于原始输出的概率图已做了0值起始调整，并且伴随巴特沃斯滤波器本身在空间域的振铃效应，Pbutter-map的最小值将向下突破至0值以下，并以振铃的第一波谷处最为明显，如图4和图5所示。
最后，再通过步骤S400，采用区域生长法对滤波概率图进行定位，获取相应的定位区域。具体的，在本发明的医学图像目标区域定位方法的一具体实施例中，其可通过如下步骤来实现。
首先，执行步骤S410，读取滤波概率图Pbutter-map，并寻找到滤波概率图Pbutter-map中概率值最大的坐标点Pmax(x，y)。
然后，执行步骤S420，以概率值最大的坐标点Pmax(x，y)为种子点，并且以4邻域的方式进行区域生长。其中，区域生长的条件为生长到振铃的第一个波谷。具体的，其判断标准为邻域坐标的概率值小于0视为不再生长，反之进行生长。
最后，再通过步骤S430，实时判断区域生长变化情况，并在判断出当前区域不再变化时，确定当前已生长的区域为目标区域。
由此，本发明的医学图像目标区域定位方法通过将巴特沃斯滤波器与深度学习网络模型结合在一起，加强了对网络模型输出端的处理，使得网络模型在对未见过的样本上具有较强的适用性，一定程度上弥补了医学图像训练数据少、影像形态丰富等因素而导致的模型缺陷。
为了更加清楚的说明本发明的医学图像目标区域定位方法的技术方案，以下以眼底图像为例进行更加具体的说明。
首先，通过步骤S001，收集具有视盘标注信息的2000张彩色眼底图像。然后即可执行本发明的医学图像目标区域定位方法。
首先，通过步骤S100，使用U-net网络对2000张眼底图像进行模型训练。其中，为了提高训练速度，优选的，将输入的当前眼底图像裁剪成256×256的尺寸。同时，U-net的卷积层均采用3×3大小的卷积核，并以“SAME”的方式进行卷积操作。网络中的激活函数均采用relu激活函数，网络的损失函数采用最小均方误差函数，网络的最优化方法采用Adam优化法。此外，U-net网络的超参数设置为：每一次训练样本大小batch size＝2，学习率learning rate＝0.1，并以每一个epoch进行指数衰减，衰减因子为0.96，其他超参数以函数默认值为参考。经过400个epoch，模型的loss趋于稳定，此时便可将训练好的训练模型保存下来用于测试。
其次，执行步骤S200，对当前接收到的眼底图像进行图像分割。其中，在将训练模型用于对当前接收到的眼底图像视盘区域进行分割时，带有视盘的眼底图像经过U-net网络后得到分割概率图Pmap，其取值范围为[0，1]。
随后通过步骤S300，对分割概率图Pmap进行巴特沃斯数字图像滤波处理。具体的，其计算流程如下所示：
步骤S310，对输出的分割概率图Pmap进行数值调整，将概率图P的值统一减去概率图Pmap中的最小概率值，为后面应用巴特沃斯滤波器做准备，其计算公式为：Pnorm-map＝Pmap-min(Pmap)。
步骤S320，将调整后的概率图Pnorm-map进行快速傅里叶变换，即FTT变换，得到频谱图Pftt。
步骤S330，对频谱图Pftt进行平移操作，将频域的零点重排至频谱图Pftt的中心点，得到重排频谱图Pfft-z。
步骤S340，对重排频谱图Pfft-z进行低通滤波操作，即，Pbutterworth＝Pfft-z.*H(u,v)。其中，H(u,v)是巴特沃斯低通滤波器的传递函数，其具体的表达式如下所示：
其中，参数D0设为40，n设为15。
步骤S350，将滤波后的频谱图Pbutterworth的频域零点还原至初始零点位置，得到还原后的频谱图Pbutter-ori。
步骤S360，对还原后的频谱图做逆快速傅里叶变换，即IFFT变换，得到滤波后的滤波概率图Pbutter-map。此时滤波概率图Pbutter-map的取值范围将不受到[0，1]的限制。
最后，再通过步骤S400，利用滤波概率图Pbutter-map上所表现的巴特沃斯滤波器在空间域的振铃现象，定位振铃的第一个波谷点，即定位视盘位置。
具体的，本发明采用了区域生长法进行定位，其具体步骤如下：
步骤S410，寻找到概率图Pbutter-map中概率值最大的坐标点pmax(x,y)。
步骤S420，以坐标点pmax(x,y)为种子点，并且以4邻域的方式进行区域生长，区域生长的条件为生长到振铃的第一个波谷，其判断标准为邻域坐标的概率值小于0视为不再生长，反之进行生长。
步骤S430，当区域不再变化，已生长的区域即为视盘区域，得到最终的视盘分割图Pdis，如图6所示。
相应的，基于同一发明构思，本发明还提供了一种医学图像目标区域定位系统。由于本发明提供的医学图像目标区域定位系统的工作原理与本发明的医学图像目标区域定位方法的原理相同或相似，因此重复之处不再赘述。
参见图7，作为本发明的医学图像目标区域定位系统100的一具体实施例，其包括训练模型构建模块110、图像分割模块120、图像处理模块130和目标定位模块140。其中，训练模型构建模块110，用于使用图像分割网络对预先收集的多张医学图像进行模型训练，构建相应的训练模型。图像分割模块120，用于将构建的训练模型用于需要进行目标区域定位的当前医学图像，对当前医学图像进行图像分割，获取分割概率图。图像处理模块130，用于采用巴特沃斯滤波器对分割后的分割概率图进行巴特沃斯数字图像处理，得到滤波概率图。目标定位模块140，用于采用区域生长法对滤波概率图进行定位，获取相应的定位区域。
具体的，在本发明的医学图像目标区域定位系统的一具体实施例中，训练模型构建模块包括样本大小参数设置子模块和学习率参数设置子模块(图中未示出)。其中，样本大小参数设置子模块，用于设置每一次训练样本大小参数，并将训练样本大小参数设置为2。学习率参数设置子模块，用于设置学习率参数，并将学习率参数设置为0.1，并以每一个epoch进行指数衰减，且衰减因子设置为0.96。
进一步的，图像处理模块包括概率图调整子模块、傅里叶变换子模块、频谱图重排子模块、低通滤波子模块、频谱图还原子模块和逆傅里叶变换子模块(图中未示出)。其中，概率图调整子模块，用于对当前输出的分割概率图进行数值调整，将当前输出的分割概率图的值统一减去分割概率图中的最小概率值，得到调整后概率图。傅里叶变换子模块，用于将调整后概率图进行快速傅里叶变换，得到相应的频谱图。频谱图重排子模块，用于对频谱图进行平移操作，将频域的零点重排至频谱图的中心点，得到相应的重排频谱图。低通滤波子模块，用于对重排频谱图进行低通滤波操作，得到滤波后的频谱图。频谱图还原子模块，用于将滤波后的频谱图的频域零点还原至初始零点位置，得到还原后的频谱图。逆傅里叶变换子模块，用于对还原后的频谱图做逆快速傅里叶变换，得到滤波概率图。
更进一步的，目标定位模块包括概率值最大坐标点寻找子模块、区域生长子模块和目标区域确定子模块(图中未示出)。其中，概率值最大坐标点寻找子模块，用于读取滤波概率图，并寻找到滤波概率图中概率值最大的坐标点。区域生长子模块，用于以概率值最大的坐标点为种子点，并且以4邻域的方式进行区域生长；其中，区域生长的条件为生长到振铃的第一个波谷。目标区域确定子模块，用于实时判断区域生长变化情况，并在判断出当前区域不再变化时，确定当前已生长的区域为目标区域。
本发明的医学图像目标区域定位系统，通过使用巴特沃斯滤波器辅助深度学习网络进行医学图像目标区域定位，相较于传统的目标定位方法，不再利用简单的阈值法对输出的概率图进行二值化，并且其不依赖于输出概率图的绝对值，而是根据概率图中实际给出的定位效果自适应的定位到目标区域，，加强了对网络模型输出端的处理，使得网络模型在对未见过的样本上具有较强的适用性，最终有效解决了传统的医学图像定位方法中对图像分割后的概率图像的处理方式容易导致模型的泛化性和鲁棒性较低，并且还增加模型频繁调整所带来的时间成本，降低图像处理效率的问题。
另外，还需要说明的是，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (7)
1.一种医学图像目标区域定位方法，其特征在于，包括如下步骤：
使用图像分割网络对预先收集的预设张数的医学图像进行模型训练，构建相应的训练模型；
将构建的所述训练模型用于需要进行目标区域定位的当前医学图像，对所述当前医学图像进行图像分割，获取分割概率图；
采用巴特沃斯滤波器对分割后的所述分割概率图进行巴特沃斯数字图像处理，得到滤波概率图；具体的：得到分割概率图后，采用巴特沃斯滤波器对分割后的分割概率图进行巴特沃斯数字图像处理；首先通过对当前输出的分割概率图进行数值调整，将当前输出的分割概率图的值统一减去分割概率图中的最小概率值，得到调整后概率图；进而再将调整后概率图进行快速傅里叶变换，即FTT变换，得到相应的频谱图Pftt；然后再通过谱图Pftt的中心点，得到相应的重排频谱图Pftt-z，对重排频谱图Pftt-z进行低通滤波操作，Pbutterworth＝Pfft-z.*H(u,v)，得到滤波后的频谱图Pbutterworth，其中H(u,v)是巴特沃斯低通滤波器的传递函数表达式为：
其中，D(u,v)为点(u,v)到滤波器中心的距离，D0为预设的非负数，n为巴特沃斯滤波器的阶数；然后再将滤波后的频谱图Pbutterworth的频域零点还原至初始零点位置，得到还原后的频谱图Pbutter-ori；最后，再通过对还原后的频谱图Pbutter-ori做逆快速傅里叶变换，即IFFT变换，得到取值范围将不受到[0，1]限制的滤波概率图Pbutter-map；
采用区域生长法对滤波概率图进行定位，获取相应的定位区域。
2.根据权利要求1所述的医学图像目标区域定位方法，其特征在于，所述使用图像分割网络对预先收集的预设张数的医学图像进行模型训练，构建相应的训练模型时，所使用的所述图像分割网络为U-net网络；其中，所述U-net网络中的卷积层采用3*3大小的卷积核，并以“SAME”的方式进行卷积操作；且所述U-net网络中的激活函数均采用relu激活函数，损失函数采用最小均方误差函数，最优化方法采用Adam优化法。
3.根据权利要求2所述的医学图像目标区域定位方法，其特征在于，所述U-net网络中的超参数设置为：每一次训练样本大小参数设置为2，学习率参数设置为0.1，并以每一个epoch进行指数衰减，衰减因子为0.96。
4.根据权利要求1至3任一项所述的医学图像目标区域定位方法，其特征在于，所述采用区域生长法对所述滤波概率图进行定位，获取相应的定位区域，包括如下步骤：
读取所述滤波概率图，并寻找到所述滤波概率图中概率值最大的坐标点；以所述概率值最大的坐标点为种子点，并且以4邻域的方式进行区域生长；其中，区域生长的条件为生长到振铃的第一个波谷；
实时判断区域生长变化情况，并在判断出当前区域不再变化时，确定当前已生长的区域为目标区域。
5.一种医学图像目标区域定位系统，其特征在于，包括训练模型构建模块、图像分割模块、图像处理模块和目标定位模块；
其中，所述训练模型构建模块，用于使用图像分割网络对预先收集的多张医学图像进行模型训练，构建相应的训练模型；
所述图像分割模块，用于将构建的所述训练模型用于需要进行目标区域定位的当前医学图像，对所述当前医学图像进行图像分割，获取分割概率图；
所述图像处理模块，用于采用巴特沃斯滤波器对分割后的所述分割概率图进行巴特沃斯数字图像处理，得到滤波概率图；具体的：得到分割概率图后，采用巴特沃斯滤波器对分割后的分割概率图进行巴特沃斯数字图像处理；首先通过对当前输出的分割概率图进行数值调整，将当前输出的分割概率图的值统一减去分割概率图中的最小概率值，得到调整后概率图；进而再将调整后概率图进行快速傅里叶变换，即FTT变换，得到相应的频谱图Pftt；然后再通过谱图Pftt的中心点，得到相应的重排频谱图Pftt-z，对重排频谱图Pftt-z进行低通滤波操作，Pbutterworth＝Pfft-z.*H(u,v)，得到滤波后的频谱图Pbutterworth，其中H(u,v)是巴特沃斯低通滤波器的传递函数表达式为：
其中，D(u,v)为点(u,v)到滤波器中心的距离，D0为预设的非负数，n为巴特沃斯滤波器的阶数；然后再将滤波后的频谱图Pbutterworth的频域零点还原至初始零点位置，得到还原后的频谱图Pbutter-ori；最后，再通过对还原后的频谱图Pbutter-ori做逆快速傅里叶变换，即IFFT变换，得到取值范围将不受到[0，1]限制的滤波概率图Pbutter-map；
所述目标定位模块，用于采用区域生长法对所述滤波概率图进行定位，获取相应的定位区域。
6.根据权利要求5所述的医学图像目标区域定位系统，其特征在于，所述训练模型构建模块包括样本大小参数设置子模块和学习率参数设置子模块；
其中，所述样本大小参数设置子模块，用于设置每一次训练样本大小参数，并将所述训练样本大小参数设置为2；
所述学习率参数设置子模块，用于设置学习率参数，并将所述学习率参数设置为0.1，并以每一个epoch进行指数衰减，且衰减因子设置为0.96。
7.根据权利要求5至6中任一项所述的医学图像目标区域定位系统，其特征在于，所述目标定位模块包括概率值最大坐标点寻找子模块、区域生长子模块和目标区域确定子模块；
其中，所述概率值最大坐标点寻找子模块，用于读取所述滤波概率图，并寻找到所述滤波概率图中概率值最大的坐标点；
所述区域生长子模块，用于以所述概率值最大的坐标点为种子点，并且以4邻域的方式进行区域生长；其中，区域生长的条件为生长到振铃的第一个波谷；
所述目标区域确定子模块，用于实时判断区域生长变化情况，并在判断出当前区域不再变化时，确定当前已生长的区域为目标区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811079605.9A CN109285164B (zh) | 2018-09-17 | 2018-09-17 | 医学图像目标区域定位方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811079605.9A CN109285164B (zh) | 2018-09-17 | 2018-09-17 | 医学图像目标区域定位方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109285164A CN109285164A (zh) | 2019-01-29 |
| CN109285164B true CN109285164B (zh) | 2022-04-05 |
Family
ID=65180819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811079605.9A Active CN109285164B (zh) | 2018-09-17 | 2018-09-17 | 医学图像目标区域定位方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109285164B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110490212B (zh) * | 2019-02-26 | 2022-11-08 | 腾讯科技（深圳）有限公司 | 钼靶影像处理设备、方法和装置 |
| CN111583188B (zh) * | 2020-04-15 | 2023-12-26 | 武汉联影智融医疗科技有限公司 | 手术导航标记点定位方法、存储介质及计算机设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102005034A (zh) * | 2010-12-01 | 2011-04-06 | 南京大学 | 基于区域聚类的遥感影像分割方法 |
| CN107644418A (zh) * | 2017-09-26 | 2018-01-30 | 山东大学 | 基于卷积神经网络的视盘检测方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10580154B2 (en) * | 2015-05-21 | 2020-03-03 | Koninklijke Philips N.V. | Method and apparatus for determining a depth map for an image |
-
2018
- 2018-09-17 CN CN201811079605.9A patent/CN109285164B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102005034A (zh) * | 2010-12-01 | 2011-04-06 | 南京大学 | 基于区域聚类的遥感影像分割方法 |
| CN107644418A (zh) * | 2017-09-26 | 2018-01-30 | 山东大学 | 基于卷积神经网络的视盘检测方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 三维喷绘机理及大幅面3D喷绘机器人关键技术研究;陈新伟;《中国博士学位论文全文数据库 信息科技辑》;20140615;第2014年卷(第6期);正文第85-86页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109285164A (zh) | 2019-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110889853B (zh) | 基于残差-注意力深度神经网络的肿瘤分割方法 | |
| CN106485251B (zh) | 基于深度学习的鸡蛋胚胎分类 | |
| CN109102506B (zh) | 一种基于三级级联网络进行腹部ct肝脏病变图像的自动分割方法 | |
| CN110675411B (zh) | 基于深度学习的宫颈鳞状上皮内病变识别算法 | |
| CN111784721B (zh) | 基于深度学习的超声内窥图像智能分割与量化方法及系统 | |
| Heckwolf et al. | Image analysis of anatomical traits in stalk transections of maize and other grasses | |
| CN109785300A (zh) | 一种癌症医学图像数据处理方法、系统、装置和存储介质 | |
| CN110751636B (zh) | 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法 | |
| CN109285164B (zh) | 医学图像目标区域定位方法及系统 | |
| CN111723764A (zh) | 改进Faster RCNN水培蔬菜幼苗状态检测方法 | |
| CN110827273A (zh) | 一种基于区域卷积神经网络的茶叶病害检测方法 | |
| CN113450328A (zh) | 基于改进神经网络的医学图像关键点检测方法及系统 | |
| CN114648806A (zh) | 一种多机制自适应的眼底图像分割方法 | |
| CN109087310A (zh) | 睑板腺纹理区域的分割方法、系统、存储介质及智能终端 | |
| Awalludin et al. | Combination of canny edge detection and blob processing techniques for shrimp larvae counting | |
| CN110211117B (zh) | 医学影像中识别线管状物的处理系统及优化分割的方法 | |
| Suo et al. | Casm-amfmnet: A network based on coordinate attention shuffle mechanism and asymmetric multi-scale fusion module for classification of grape leaf diseases | |
| Remya et al. | A comprehensive study on convolutional neural networks for chromosome classification | |
| Oswal et al. | An entropy-based automated cell nuclei segmentation and quantification: application in analysis of wound healing process | |
| CN110619633B (zh) | 一种基于多路滤波策略的肝脏图像分割方法 | |
| CN112950611A (zh) | 一种基于ct图像的肝脏血管分割方法 | |
| CN113344008B (zh) | 基于深度学习的茎秆组织解剖学特征参数高通量提取方法 | |
| CN115458151A (zh) | 一种基于图像识别技术的海水鱼刺激隐核虫病的诊断方法 | |
| Zheng et al. | Improvement of grayscale image segmentation based on pso algorithm | |
| CN113920108A (zh) | 一种对用于处理细胞图像的U-Net模型进行训练的训练方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231220 Address after: Room 707, Unit 1, Building 1, Courtyard 1, Longyu Middle Street, Huilongguan Town, Changping District, Beijing, 100085 Patentee after: Beijing Zhizhen Health Technology Co.,Ltd. Address before: 100085 room 1210, Building 29, yard 9, anningzhuang West Road, Haidian District, Beijing Patentee before: Dai Liming |