CN108460764A - 基于自动上下文和数据增强的超声图像智能分割方法 - Google Patents
基于自动上下文和数据增强的超声图像智能分割方法 Download PDFInfo
- Publication number
- CN108460764A CN108460764A CN201810277488.0A CN201810277488A CN108460764A CN 108460764 A CN108460764 A CN 108460764A CN 201810277488 A CN201810277488 A CN 201810277488A CN 108460764 A CN108460764 A CN 108460764A
- Authority
- CN
- China
- Prior art keywords
- data
- image
- ultrasonoscopy
- segmentation
- automatic context
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000011218 segmentation Effects 0.000 claims abstract description 94
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000002604 ultrasonography Methods 0.000 claims abstract description 28
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 23
- 238000013480 data collection Methods 0.000 claims abstract description 23
- 230000003321 amplification Effects 0.000 claims abstract description 18
- 230000002708 enhancing effect Effects 0.000 claims abstract description 18
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 18
- 238000012805 post-processing Methods 0.000 claims abstract description 13
- 230000007547 defect Effects 0.000 claims description 77
- 230000008569 process Effects 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 13
- 238000006073 displacement reaction Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 230000002146 bilateral effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000007306 turnover Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 11
- 230000008901 benefit Effects 0.000 abstract description 6
- 238000013135 deep learning Methods 0.000 description 11
- 238000003709 image segmentation Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 239000007787 solid Substances 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241001584785 Anavitrinella pampinaria Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明基于自动上下文和数据增强的超声图像智能分割方法。本发明首先对超声图像数据集进行一系列图像预处理,得到预处理后的数据集;接着,对预处理后的数据集进行数据增强,扩大数据集规模,得到扩增数据集;然后将扩增数据集输入到基于自动上下文的全卷积神经网络中,以端到端的方式训练模型,实现扩增数据集的初步分割;最后,对初步分割结果进行精细化后处理。本发明具有分割准确率高、鲁棒性和泛化性强、分割边缘平滑性好等优点,在有限训练数据集情况下也能获得理想的分割效果。
Description
技术领域
本方法涉及数字图像处理、深度学习等技术领域,具体涉及基于自动上下文和数据增强的超声图像智能分割方法。
背景技术
随着现代工业的发展,人们对材料性能和产品质量的关注日益增长,对工业产品的检测精度和可靠性也提出了更高的要求。工业产品缺陷检测不但要检测出固体内部和表面缺陷的位置,还要确定缺陷的大小、种类和形状。用超声脉冲回波技术来检测缺陷不仅检测周期长、误检率高,而且无法定量分析缺陷形态、大小等特性。超声成像技术的发展使超声无损检测实现了图像化,固体内部和表面的缺陷能够以超声图像的形式直观、清晰的显示出来。对被检固体的超声图像进行分割,可以将缺陷区域从复杂的背景区域中提取出来,实现精确的定位和定性定量分析。因此,被检固体超声图像缺陷智能分割对固体缺陷检测具有非常重要的研究意义。
传统的超声图像分割方法包括:阈值法、区域法、边缘法和图论法。
1)阈值法:基于图像的灰度特征来选取一个或多个灰度阈值,并将图像中每个像素的灰度值与阈值相比较,将像素点根据比较结果分到合适的类别中。虽然阈值法运算速度很快,但对噪声敏感,在实际应用中,通常要与其他分割方法结合使用,且对于复杂的超声图像难以得到理想的分割效果。
2)区域法:利用了图像的局部空间信息,将图像按照相似性准则分成不同的区域,把具有某种相似性质的像素连通,从而构成最终的分割区域,有效的克服其他方法存在的图像分割空间小连续的缺点。常用的区域法包括:区域生长法、分裂合并法、分水岭法等。这些方法具有计算速度快、分割精度高、分割边界连续等优点,但是由于超声图像中通常存在噪声和局部不规则性,可能产生大量的假边界,出现过度分割的现象。
3)边缘法:建立在边缘灰度值会呈现出阶跃型或屋顶型变化这一观测基础上,利用不同区域间像素不连续的特点检测出区域的边缘。边缘处像素灰度值的不连续可通过求导数来检测到,因此常用灰度的一阶微分算子(Sobel算子、Roberts算子)、二阶微分算子(Laplace算子)进行边缘检测。边缘法虽然简单,计算速度很快,但存在抗噪性能和检测精度之间的矛盾。若提高检测精度,则噪声产生的伪边缘会导致不合理的分割轮廓;若提高抗噪性能,则会产生轮廓漏检和位置偏差。
4)图论法:采用了图论的思想去分割图像,把像素点考虑成节点,把相邻像素点考虑成相连节点,把整幅图像考虑成一幅很大的图,然后利用最小生成树(MinimumSpanningTree,MST)算法对图进行计算,得到一系列最小生成树,每一棵最小生成树即代表一个分割区域。图论法取得了良好的分割效果,对超声图像的高噪声具有很好的鲁棒性,但有两个决定分割效果的参数k和α需要根据经验设定,对于一些复杂的超声图像,避免不了过分割或者欠分割的发生。
近年来,随着深度学习的蓬勃发展,基于深度学习的图像分割方法相比传统方法在超声图像处理领域有更好的表现。卷积神经网络(ConvolutionalNeuralNetwork,CNN)在图像前景分类有不错的效果。但是基于CNN的分割方法一般采取逐像素取块分类的方法,非常耗时,同时限制于图像块的大小,无法利用上下文信息(context),算法的性能有较大瓶颈。而端到端的全卷积神经网络(FullyConvolutionalNetwork,FCN)利用卷积层代替全连接层,可以对任意尺寸的图像进行分割,但FCN中采用的上采样结构会使图像细节信息丢失,导致分割精度的降低。
因此针对上述基于深度学习的图像分割方法存在的各种问题,例如:无法利用上下文信息、上采样结构会使图像细节信息丢失,本发明采用自动上下文(Auto-context)思想对全卷积神经网络结构进行完善,使网络能够将上下文信息从浅层传递到更髙分辨率层。采用自动上下文思想充分利用了上下文信息,提高了预测图的局部空间一致性,强化了网络全局特征的学习能力,提升了网络的分类性能,有效解决了因细节信息丢失而导致分割精度降低的问题。
同时由于深度学习往往需要大量的训练样本,而获取大规模的超声图像困难、且代价昂贵,尤其是经过专业技术人员标注的超声图像。因此,本发明采用基于超声图像特性的数据增强技术,产生大量的训练样本以扩大数据集规模,充分利用超声图像的先验知识提高分割的准确率和可靠性,解决因样本量限制致使网络训练出现过拟合的问题,使该方法在很小的训练数据集情况下也能获得理想的分割效果。
综上所述,本发明将自动上下文和数据增强的方法相结合,提出基于自动上下文和数据增强的超声图像智能分割方法。相比于现有的图像分割方法,本发明分割准确率高、鲁棒性和泛化性强、分割边缘平滑性好、在很小的训练数据集情况下也能获得理想分割效果。本发明的应用范围不限于固体缺陷检测,适当对数据增强方法加以修改,可推广至海洋勘测、医学检测等其他应用场景。
发明内容
本方法的目的在于克服现有图像分割方法应用于超声图像缺陷智能分割场景的不足,提出基于自动上下文和数据增强的超声图像智能分割方法,具体原理如下:
自动上下文是一种细节信息优化策略,核心是一系列训练模型的级联叠加,第k-1级分类器输出的预测概率图包含感兴趣目标区域的基本形状、前景与背景的轮廓分割等有价值的信息,通过上下文特征与灰度特征的融合,得到相比于k-1级更加有效的特征描述,将其输入到第k级分类器,进而实现预测图的概率精细化,按照这种方式不断迭代,直到取得最优图像分割结果。如图4所示,在全卷积神经网络中实现自动上下文,将全卷积神经网络编码过程中的特征图与对应解码部分融合,在解码过程的上采样部分加入了复制和裁剪通道,使网络能够将上下文信息从浅层传递到更髙分辨率层。自动上下文充分利用了上下文信息,增强了预测图的局部空间一致性,强化了全卷积网络的特征学习能力,提升了网络的分类性能,提高了超声图像智能分割的准确率。
数据增强是深度学习中一种有效的数据集扩增技术,为了避免有效数据不足而出现的过拟合等问题,通过对可获取的目标域标注数据进行翻转、缩放、平移等变换来丰富实际可用于训练的数据,使深度学习网络的性能得到一定的提升。数据增强技术的实质是,在目标域的数据分布具有变换不变性的前提下,通过对数据进行简单可塑性变换或仿射变换等操作,使深度学习网络可以学习到更多关于训练数据的不变性特征。本发明选择数据增强技术时要充分考虑超声图像特性,要对形变和灰度值变化鲁棒且满足位移和旋转不变形。因此本发明基于超声图像特性,采用缩放、水平垂直翻转、平滑形变、刚性变换方式将数据集扩增至原规模的若干倍,提高分割的准确率和可靠性,解决因数据集过小致使网络训练出现过拟合的问题,提高分割的鲁棒性和泛化性,使该方法在很小的训练数据集情况下也能获得理想的分割效果。
基于上述原理,本发明提出基于自动上下文和数据增强的超声图像智能分割方法,具体方法如下:
首先,对超声数据集进行一系列的预处理以达到基于自动上下文全卷积神经网络的训练要求:(1)由多位经验丰富的技术人员分别对超声数据集进行间隔为m天的多次标注,为降低技术人员之间因工程经验不同等原因导致的标注误差,我们取多位技术人员多次标注的平均值作为分割的标签;(2)针对超声图像的高噪声、低对比度、弱边界、不均匀等特性,进行去噪等一系列图像处理手段。首先截取超声图像感兴趣区域。接着,使用双边滤波器进行滤波处理,在保留图像中边缘信息的同时去除噪声。然后,进行直方图均衡化来增强图像的对比度。最后,使用均值漂移滤波改善超声图像的均匀性。
接着,对上述超声图像数据集进行数据增强。由于深度学习往往需要大量的训练样本,而获取大规模的超声图像困难、且代价昂贵,尤其是经过专业技术人员标注的超声图像,因此,本发明基于超声图像特性,采用缩放、水平垂直翻转、平滑形变、刚性变换方式将数据集扩增至原规模的若干倍,从而使深度学习网络可以学习到更多关于训练数据的不变性特征,充分利用超声图像的先验知识,提高分割的准确率和可靠性,解决因数据集过小致使网络训练出现过拟合的问题,提高分割的鲁棒性和泛化性,使该方法在很小的训练数据集情况下也能获得理想的分割效果。
然后,对上述超声图像数据集进行基于自动上下文的缺陷分割。首先,进行数据输入,对输入的超声数据集进行随机打乱,并用多队列去并行读取,加快数据的读入。然后,在全卷积神经网络中实现自动上下文,将编码过程中的特征图与解码过程中对应层的特征图通过通道拼接实现特征融合,使网络能够将上下文信息从浅层传递到更髙分辨率层。自动上下文充分利用了上下文信息,增强了预测图的局部空间一致性,强化了全卷积网络的特征学习能力,提升了网络的分类性能,提高了超声图像缺陷分割的准确率。接着,使用交叉熵作为损失函数,采用反向传播和随机梯度下降算法,以端到端的方式训练模型。最后,用训练好的模型对测试数据集进行预测,实现对超声测试数据的缺陷初步分割。
最后,对上述缺陷初步分割结果进行后处理。首先,去除分割结果中由于高噪声而误判的缺陷区域,提升超声图像分割结果的准确率和可靠性。然后,对分割结果进行形态学闭运算和开运算处理,改善分割结果的边缘平滑性,实现对缺陷分割结果的精细化处理。
为了达到以上目的,本发明所述的基于自动上下文和数据增强的超声图像智能分割方法由预处理、数据增强、基于自动上下文的缺陷分割、后处理四个模块组成,如图1所示。
上述预处理模块用于生成符合后续图像分割要求的超声数据集。首先由多位经验丰富的技术人员进行标注,取多位技术人员多次标注的平均值作为分割的标签。然后截取超声图像感兴趣区域,使用双边滤波器进行滤波处理在保留图像中边缘信息的同时去除噪声,进行直方图均衡化来增强图像的对比度,使用均值漂移滤波改善超声图像的均匀性。
预处理模块的具体实现步骤如图2所示。
步骤1:打标签,包括以下步骤:
1.1技术人员标注。由多位技术人员分别对超声数据集进行间隔为m(m取大于等于2的整数)天的多次标注,m为设定值。
1.2确定标签。为降低技术人员之间因工程经验不同等原因导致的标注误差,我们取多位技术人员多次标注的平均值作为分割的标签。
步骤2:图像预处理,包括以下步骤:
2.1截取感兴趣区域。从原始超声图像中截取包含完整缺陷区域且缺陷区域居中的子图像,即感兴趣区域。
2.2双边滤波。对步骤2.1得到的感兴趣区域使用双边滤波器完成去噪,得到去噪图像。
2.3直方图均衡化。对去噪图像进行直方图均衡化来增强对比度得到直方图均衡化的图像。
2.4均值漂移。对直方图均衡化的图像使用均值漂移滤波器来改善均匀性。
上述数据增强模块用于超声数据集扩增。基于超声图像特性,采用对形变和灰度值变化鲁棒且满足位移和旋转不变形的数据增强技术,以缩放、水平垂直翻转、刚性变换、平滑形变等方式将数据集扩增至原规模的数倍。
数据增强模块的具体实现步骤如图3所示。
步骤1:缩放。
按照一定的比例缩小或者放大原始图像,其中缩放比例的大小可以采用随机或人为定义的方式给出,得到缩放图像。
步骤2:水平、垂直翻转。
沿着水平或者垂直方向翻转原始图像翻转缩放图像,得到翻转图像。
步骤3:平滑形变。
使用随机位移矢量在n×n(0<n<min(0.5h,0.5w),n为整数,h和w为翻转图像的高和宽)网格上产生平滑形变,即将翻转图像划分为n×n的网格,对非图像边缘网格点进行随机位移,位移大小从k像素(0<k<0.5n,k为整数)标准差的高斯分布中采样,然后使用双三次插值计算其他像素位移,得到平滑形变图像。
步骤4:刚性变换。
采用基于移动最小二乘的刚性变换对平滑形变图像进行数据增强,得到扩增数据集。
上述基于自动上下文的缺陷分割模块采用基于自动上下文的全卷积神经网络实现缺陷区域的初步分割。首先,进行数据输入,对输入的扩增数据集进行随机打乱,并用多队列去并行读取,加快数据的读入。然后,在全卷积神经网络中实现自动上下文,即将编码过程中的特征图与解码过程中对应层的特征图通过通道拼接实现特征融合,使网络能够将上下文信息从浅层传递到更髙分辨率层。接着,使用交叉熵作为损失函数,采用反向传播和随机梯度下降算法,以端到端的方式训练模型。最后,用训练好的模型对测试数据集进行预测,实现对超声测试数据缺陷区域的初步分割。
基于自动上下文的缺陷分割模块具体实现步骤如图5所示。
步骤1:数据集输入。
对输入的扩增数据集进行随机打乱,并用多队列去并行读取,加快数据的读入,完成网络输入功能。
步骤2:自动上下文。
实现基于自动上下文的全卷积网络。将编码过程中的特征图与解码过程中对应层的特征图通过通道拼接实现特征融合,使网络能够将上下文信息从浅层传递到更髙分辨率层。
步骤3:模型训练。
使用交叉熵作为损失函数,采用反向传播和随机梯度下降算法,以端到端的方式训练模型。
步骤4:样本预测。
用训练好的模型对测试数据集进行预测,实现对超声测试数据缺陷区域的初步分割。
上述后处理模块用于对缺陷分割初步结果做精细化处理。首先,去除分割结果中由于高噪声而误判的缺陷区域,提升超声图像分割结果的准确率和可靠性。然后,对分割结果进行形态学闭运算和开运算处理,改善分割结果的边缘平滑性,实现对缺陷分割结果的精细化处理。
后处理模块的具体实现步骤如图6所示。
步骤1:去除误判缺陷区域。
使用OpenCV计算所有判别为缺陷区域的面积大小,去除上述面积过小的误判缺陷区域,得到去除误判区域的分割结果。
步骤2:形态学闭运算和开运算处理,包括以下步骤:
2.1闭运算。对去除误判区域的分割结果使用闭运算填充缺陷区域的空洞部分,连接狭窄的缺口,得到闭运算处理的分割结果。
2.2开运算。对闭运算处理的分割结果使用开运算断开狭窄的缺口,消除缺陷区域边缘的突出部分,平滑缺陷区域边缘,得到精细化后处理的分割结果。
本发明所述的基于自动上下文和数据增强的超声图像智能分割方法,具有如下优点:
1)本发明在基于自动上下文的缺陷分割模块中利用自动上下文的思想完善全卷积神经网络结构,将全卷积神经网络编码过程中的特征图与对应解码部分融合,在解码过程的上采样部分加入了复制和裁剪通道,使网络能够将上下文信息从浅层传递到更髙分辨率层,可以捕捉不同尺寸不同层次的特征信息,增强了预测图的局部空间一致性,强化了全卷积网络的特征学习能力,提升了网络的分类性能,提高了超声图像缺陷分割的准确率。
2)本发明在基于自动上下文的缺陷分割模块中使用的全卷积神经网络采用基于自动上下文的编码器-解码器(encoder-decoder)结构。编码器采用池化层提取更加高层的特征,减少空间维度并捕捉上下文,用于后续分类;而解码器通过复制和裁剪通道,充分利用上下文信息,采用上采样结构恢复相应的空间维度和目标细节来实现精确定位。编码器-解码器结构有效解决了传统神经网络图像分割中分类精度和定位精度不可兼得的问题。
3)本发明在数据增强模块中基于超声图像特性进行数据增强,充分考虑超声图像特性,对形变和灰度值变化鲁棒的同时满足位移和旋转不变形。基于超声图像特性进行数据增强可以充分利用超声图像的先验知识,使增强后的数据涵盖原始数据集分布的更多可能,提升基于自动上下文全卷积神经网络学习到的特征多样性,增大分割系统对原始数据集的信息利用率,解决因数据集过小致使网络训练出现过拟合的问题,提高分割的鲁棒性和泛化性,使该方法在很小的训练数据集情况下也能获得理想的分割效果。
4)本发明在后处理模块中基于超声图像特性对缺陷初步分割结果进行后处理,有效去除了由于高噪声而误判的缺陷区域,提升超声图像分割结果的准确率。形态学的闭运算和开运算处理有效的填充缺陷内空洞部分,消除缺陷边缘细小的突出部分,使缺陷边缘平滑性得到了明显的改善,实现对缺陷初步分割结果的精细化处理。
综上,本发明能够克服传统图像分割方法应用于超声图像缺陷智能分割场景的不足,具有对超声图像复杂多变的高噪声不敏感、分割准确率高、鲁棒性和泛化性强、分割边缘平滑性好、在很小的训练数据集情况下也能获得理想的分割效果等优点,同时适当地加以改造可广泛用于海洋勘测、医学检测及其它领域。
附图说明
图1为本发明所述基于自动上下文和数据增强的超声图像智能分割方法模块结构图;
图2为本发明所述预处理模块流程图;
图3为本发明所述数据增强模块流程图;
图4为本发明所述基于自动上下文的全卷积神经网络模型图;
图5为本发明所述基于自动上下文的缺陷分割模块流程图;
图6为本发明所述后处理模块流程图。
具体实施方式
本发明将深度学习和数字图像处理等方法有机地结合在一起,基于自动上下文和数据增强,实现超声图像缺陷智能分割。下面结合具体实施步骤及附图对本发明做进一步详细的描述说明,但本发明的实施方式不限于此。
图1为本发明的一种具体实施方式,主要包括预处理、数据增强、基于自动上下文的缺陷分割、后处理四个模块。本发明首先对超声图像数据集进行一系列预处理。接着,对预处理的数据集进行数据增强扩大数据集规模,得到扩增数据集。然后,将扩增的超声数据集输入到基于自动上下文的全卷积神经网络中,以端到端的方式训练模型,实现对超声测试数据的初步分割。最后,对缺陷初步分割结果进行精细化后处理。
上述预处理模块用于生成符合后续图像分割要求的超声数据集。首先由多位经验丰富的技术人员进行标注,取多位技术人员多次标注的平均值作为分割的标签。然后截取超声图像感兴趣区域,使用双边滤波器进行滤波处理在保留图像中边缘信息的同时去除噪声,进行直方图均衡化来增强图像的对比度,使用均值漂移滤波改善超声图像的均匀性。
预处理模块的具体实现步骤如图2所示。
步骤1:打标签,包括以下步骤:
1.1技术人员标注。由多位技术人员分别对超声数据集进行间隔为m天(m取大于等于2的整数)的多次标注,m为设定值,例如三位技术人员间隔为7天的两次标注。
1.2确定标签。为降低技术人员之间因工程经验不同等原因导致的标注误差,我们取多位技术人员多次标注的平均值作为分割的标签。
步骤2:图像预处理,包括以下步骤:
2.1截取感兴趣区域。从原始超声图像中截取包含完整缺陷区域且缺陷区域居中的子图像,即感兴趣区域。
2.2双边滤波。对步骤2.1得到的感兴趣区域使用双边滤波器完成去噪,得到去噪图像。
2.3直方图均衡化。对去噪图像进行直方图均衡化来增强对比度得到直方图均衡化的图像。
2.4均值漂移。对直方图均衡化的图像使用均值漂移滤波器来改善均匀性。
上述数据增强模块用于超声图像数据集扩增。基于超声图像特性,采用对形变和灰度值变化鲁棒且满足位移和旋转不变形的数据增强技术,以缩放、水平垂直翻转、刚性变换、平滑形变等方式将数据集扩增至原规模的数倍。
数据增强模块的具体实现步骤如图3所示。
步骤1:缩放。
按照一定的比例缩小或者放大原始图像,其中缩放比例的大小可以采用随机或人为定义的方式给出,得到缩放图像。
步骤2:水平、垂直翻转。
沿着水平或者垂直方向翻转原始图像翻转缩放图像,得到翻转图像。
步骤3:平滑形变。
使用随机位移矢量在n×n(0<n<min(0.5h,0.5w),n为整数,h和w为翻转图像的高和宽)网格上产生平滑形变,即将翻转图像划分为n×n的网格,对非图像边缘网格点进行随机位移,位移大小从k像素(0<k<0.5n,k为整数)标准差的高斯分布中采样,例如将超声图像划分为10×10的网格,对非图像边缘网格点的随机位移从标准差为3的高斯分布中采样。然后使用双三次插值计算其他像素位移,得到平滑形变图像。
步骤4:刚性变换。
采用基于移动最小二乘的刚性变换对平滑形变图像进行数据增强,得到扩增数据集。
上述基于自动上下文的缺陷分割模块采用基于自动上下文的全卷积神经网络实现缺陷区域的初步分割。首先,进行数据输入,对输入的扩增数据集进行随机打乱,并用多队列去并行读取,加快数据的读入。然后,在全卷积神经网络中实现自动上下文,即将编码过程中的特征图与解码过程中对应层的特征图通过通道拼接实现特征融合,使网络能够将上下文信息从浅层传递到更髙分辨率层。接着,使用交叉熵作为损失函数,采用反向传播和随机梯度下降算法,以端到端的方式训练模型。最后,用训练好的模型对测试数据集进行预测,实现对超声测试数据缺陷区域的初步分割。
基于自动上下文的缺陷分割模块具体实现步骤如图5所示。
步骤1:数据集输入。
对输入的扩增数据集进行随机打乱,并用多队列(例如10队列)去并行读取,加快数据的读入,完成网络输入功能。
步骤2:自动上下文。
实现基于自动上下文的全卷积网络。将编码过程中的特征图与解码过程中对应层的特征图通过通道拼接实现特征融合,使网络能够将上下文信息从浅层传递到更髙分辨率层。
步骤3:模型训练。
使用交叉熵作为损失函数,采用反向传播和随机梯度下降算法,以端到端的方式训练模型,得到训练好的模型。
步骤4:样本预测。
用训练好的模型对测试数据集进行预测,实现对超声测试数据缺陷区域的初步分割。
上述后处理模块用于对缺陷分割初步结果做精细化处理。首先,去除分割结果中由于高噪声而误判的缺陷区域,提升超声图像分割结果的准确率和可靠性。然后,对分割结果进行形态学闭运算和开运算处理,改善分割结果的边缘平滑性,实现对缺陷分割结果的精细化处理。
后处理模块的具体实现步骤如图6所示。
步骤1:去除误判缺陷区域。
使用OpenCV计算所有判别为缺陷区域的面积大小,去除上述面积过小(例如小于最大缺陷区域面积的十分之一)的误判缺陷区域,得到去除误判区域的分割结果。
步骤2:形态学闭运算和开运算处理,包括以下步骤:
2.1闭运算。对去除误判区域的分割结果使用闭运算填充缺陷区域的空洞部分,连接狭窄的缺口,得到填充空洞后的精细化分割结果。
2.2开运算。对闭运算处理的分割结果使用开运算断开狭窄的缺口,消除缺陷区域边缘的突出部分,平滑缺陷区域边缘,得到平滑边缘的精细化分割结果。
Claims (9)
1.基于自动上下文和数据增强的超声图像智能分割方法,其特征包括如下步骤:
(1)首先对超声图像数据集进行预处理,得到预处理后的数据集;
(2)接着,对预处理后的超声数据集进行数据增强,扩大数据集规模,得到扩增数据集;
(3)然后,将扩增数据集输入到基于自动上下文的全卷积神经网络中,以端到端的方式训练模型,实现对扩增数据集的初步分割;
(4)对超声图像初步分割结果进行精细化后处理。
2.根据权利要求1所述的基于自动上下文和数据增强的超声图像智能分割方法,其特征在于步骤(1)包括;首先由多位技术人员对超声图像数据集进行标注,取多位技术人员多次标注的平均值作为分割的标签;然后对原始超声图像截取感兴趣区域,使用双边滤波器对感兴趣区域进行滤波处理在保留图像边缘信息的同时去除噪声,对去噪结果进行直方图均衡化来增强图像的对比度,对直方图均衡化结果使用均值漂移滤波改善超声图像的均匀性。
3.根据权利要求2所述的基于自动上下文和数据增强的超声图像智能分割方法,其特征在于步骤(1)具体包括如下步骤:
步骤1:打标签,包括以下步骤:
1.1技术人员标注;由多位技术人员分别对超声数据集进行间隔为m天,m取大于等于2的整数,的多次标注,m为设定值;
1.2确定标签;取多位技术人员多次标注的平均值作为分割的标签;
步骤2:图像预处理,包括以下步骤:
2.1截取感兴趣区域;从原始超声图像中截取包含完整缺陷区域且缺陷区域居中的子图像,即感兴趣区域;
2.2双边滤波;对感兴趣区域使用双边滤波器完成去噪,得到去噪图像;
2.3直方图均衡化;对去噪图像进行直方图均衡化来增强对比度得到直方图均衡化的图像;
2.4均值漂移;对直方图均衡化的图像使用均值漂移滤波器来改善均匀性。
4.根据权利要求1所述的基于自动上下文和数据增强的超声图像智能分割方法,其特征在于步骤(2)包括:基于超声图像特性,采用缩放、水平垂直翻转、平滑形变、刚性变换方式将数据集扩增至原规模的若干倍。
5.根据权利要求4所述的基于自动上下文和数据增强的超声图像智能分割方法,其特征在于步骤(2)具体包括:
步骤1:缩放;按照设定的比例缩小或者放大原始图像,其中缩放比例的大小采用随机或人为定义的方式给出,得到缩放图像;
步骤2:水平、垂直翻转;沿着水平或者垂直方向翻转缩放图像,得到翻转图像;
步骤3:平滑形变;使用随机位移矢量在n×n,0<n<min(0.5h,0.5w),n为整数,h和w为翻转图像的高和宽;网格上产生平滑形变,即将翻转图像划分为n×n的网格,对非图像边缘网格点进行随机位移,位移大小从k像素, 0<k<0.5n,k为整数 ,标准差的高斯分布中采样,然后使用双三次插值计算其他像素位移,得到平滑形变图像;
步骤4:刚性变换;采用基于移动最小二乘的刚性变换对平滑形变图像进行数据增强,得到扩增数据集。
6.根据权利要求1所述的基于自动上下文和数据增强的超声图像智能分割方法,其特征在于步骤(3)采用基于自动上下文的全卷积神经网络实现缺陷区域的初步分割;首先,进行数据输入,对输入的扩增数据集进行随机打乱,并用多队列去并行读取,加快数据的读入;然后,在全卷积神经网络中实现自动上下文,即将编码过程中的特征图与解码过程中对应层的特征图通过通道拼接实现特征融合,使网络能够将上下文信息从浅层传递到更髙分辨率层;接着,使用交叉熵作为损失函数,采用反向传播和随机梯度下降算法,以端到端的方式训练模型;最后,用训练好的模型对测试数据集进行预测,实现对超声图像测试数据集缺陷区域的初步分割。
7.根据权利要求6所述的基于自动上下文和数据增强的超声图像智能分割方法,其特征在于步骤(3)具体包括如下步骤:
步骤1:数据集输入;对输入的扩增数据集进行随机打乱,并用多队列去并行读取,加快数据的读入,完成网络输入功能;
步骤2:自动上下文;实现基于自动上下文的全卷积网络,将编码过程中的特征图与解码过程中对应层的特征图通过通道拼接实现特征融合,使网络能够将上下文信息从浅层传递到更髙分辨率层;
步骤3:模型训练;使用交叉熵作为损失函数,采用反向传播和随机梯度下降算法,以端到端的方式训练模型;
步骤4:样本预测;用训练好的模型对测试数据集进行预测,实现对超声图像测试数据集缺陷区域的初步分割。
8.根据权利要求1所述的基于自动上下文和数据增强的超声图像智能分割方法,其特征在于步骤(4)包括:首先,去除分割结果中由于高噪声而误判的缺陷区域,提升缺陷区域分割结果的准确率和可靠性;然后,对分割结果进行形态学闭运算和开运算处理,改善分割结果的边缘平滑性,实现对缺陷分割结果的精细化处理。
9.根据权利要求8所述的基于自动上下文和数据增强的超声图像智能分割方法,其特征在于步骤(4)具体包括如下步骤:
步骤1:去除误判缺陷区域;使用OpenCV计算所有判别为缺陷区域的面积大小,去除上述面积过小的误判缺陷区域,得到去除误判区域的分割结果;
步骤2:形态学闭运算和开运算处理,包括以下步骤:
2.1闭运算;对去除误判区域的分割结果使用闭运算填充缺陷区域的空洞部分,连接狭窄的缺口,得到闭运算处理的分割结果;
2.2开运算;对比运算处理的分割结果使用开运算断开狭窄的缺口,消除缺陷区域边缘的突出部分,平滑缺陷区域边缘,得到精细化后处理的分割结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810277488.0A CN108460764B (zh) | 2018-03-31 | 2018-03-31 | 基于自动上下文和数据增强的超声图像智能分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810277488.0A CN108460764B (zh) | 2018-03-31 | 2018-03-31 | 基于自动上下文和数据增强的超声图像智能分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108460764A true CN108460764A (zh) | 2018-08-28 |
CN108460764B CN108460764B (zh) | 2022-02-15 |
Family
ID=63238310
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810277488.0A Expired - Fee Related CN108460764B (zh) | 2018-03-31 | 2018-03-31 | 基于自动上下文和数据增强的超声图像智能分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108460764B (zh) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109255381A (zh) * | 2018-09-06 | 2019-01-22 | 华南理工大学 | 一种基于二阶vlad稀疏自适应深度网络的图像分类方法 |
CN109472798A (zh) * | 2018-12-10 | 2019-03-15 | 重庆理工大学 | 生猪脂肪含量检测模型训练方法及生猪脂肪含量检测方法 |
CN109544585A (zh) * | 2018-12-19 | 2019-03-29 | 中国石油大学(华东) | 一种基于轻量化卷积神经网络的胆石病ct医疗图像数据增强方法 |
CN109544468A (zh) * | 2018-10-26 | 2019-03-29 | 浙江师范大学 | 一种图像数据扩增方法 |
CN109613006A (zh) * | 2018-12-22 | 2019-04-12 | 中原工学院 | 一种基于端到端神经网络的织物疵点检测方法 |
CN109671086A (zh) * | 2018-12-19 | 2019-04-23 | 深圳大学 | 一种基于三维超声的胎儿头部全自动分割方法 |
CN110033035A (zh) * | 2019-04-04 | 2019-07-19 | 武汉精立电子技术有限公司 | 一种基于强化学习的aoi缺陷分类方法及装置 |
CN110163847A (zh) * | 2019-04-24 | 2019-08-23 | 艾瑞迈迪科技石家庄有限公司 | 基于ct/mr影像的肝脏肿瘤分割方法及装置 |
CN110210513A (zh) * | 2019-04-23 | 2019-09-06 | 深圳信息职业技术学院 | 数据分类方法、装置及终端设备 |
CN110448335A (zh) * | 2019-07-11 | 2019-11-15 | 暨南大学 | 一种基于超声图像的胎儿头围全自动测量方法和装置 |
CN110751958A (zh) * | 2019-09-25 | 2020-02-04 | 电子科技大学 | 一种基于rced网络的降噪方法 |
CN110853049A (zh) * | 2019-10-17 | 2020-02-28 | 上海工程技术大学 | 一种腹部超声图像分割方法 |
CN110992353A (zh) * | 2019-12-13 | 2020-04-10 | 哈尔滨工业大学 | 基于智能感知的芯片涂层薄膜质量检测方法 |
CN111080723A (zh) * | 2019-12-17 | 2020-04-28 | 易诚高科(大连)科技有限公司 | 基于Unet网络的图像元素分割方法 |
CN111161273A (zh) * | 2019-12-31 | 2020-05-15 | 电子科技大学 | 一种基于深度学习的医学超声图像分割方法 |
CN111297399A (zh) * | 2019-03-26 | 2020-06-19 | 华南理工大学 | 一种基于超声视频的胎心定位和胎心率提取方法 |
CN111368977A (zh) * | 2020-02-28 | 2020-07-03 | 交叉信息核心技术研究院(西安)有限公司 | 一种提高卷积神经网络精确性和鲁棒性的增强数据增强方法 |
CN112801857A (zh) * | 2020-11-30 | 2021-05-14 | 泰康保险集团股份有限公司 | 一种图像的数据处理方法及装置 |
CN113111744A (zh) * | 2021-03-29 | 2021-07-13 | 华南理工大学 | 一种基于时域短时及长时特征融合的脉纹识别方法 |
CN115937113A (zh) * | 2022-11-24 | 2023-04-07 | 脉得智能科技(无锡)有限公司 | 一种皮肤病超声图像多病种识别方法、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106339591A (zh) * | 2016-08-25 | 2017-01-18 | 汤平 | 一种基于深度卷积神经网络的预防乳腺癌自助健康云服务系统 |
CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
CN107256550A (zh) * | 2017-06-06 | 2017-10-17 | 电子科技大学 | 一种基于高效cnn‑crf网络的视网膜图像分割方法 |
CN107644418A (zh) * | 2017-09-26 | 2018-01-30 | 山东大学 | 基于卷积神经网络的视盘检测方法及系统 |
CN107643295A (zh) * | 2017-08-24 | 2018-01-30 | 中国地质大学(武汉) | 一种基于机器视觉的布匹缺陷在线检测的方法和系统 |
CN107784654A (zh) * | 2016-08-26 | 2018-03-09 | 杭州海康威视数字技术股份有限公司 | 图像分割方法、装置及全卷积网络系统 |
-
2018
- 2018-03-31 CN CN201810277488.0A patent/CN108460764B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106339591A (zh) * | 2016-08-25 | 2017-01-18 | 汤平 | 一种基于深度卷积神经网络的预防乳腺癌自助健康云服务系统 |
CN107784654A (zh) * | 2016-08-26 | 2018-03-09 | 杭州海康威视数字技术股份有限公司 | 图像分割方法、装置及全卷积网络系统 |
CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
CN107256550A (zh) * | 2017-06-06 | 2017-10-17 | 电子科技大学 | 一种基于高效cnn‑crf网络的视网膜图像分割方法 |
CN107643295A (zh) * | 2017-08-24 | 2018-01-30 | 中国地质大学(武汉) | 一种基于机器视觉的布匹缺陷在线检测的方法和系统 |
CN107644418A (zh) * | 2017-09-26 | 2018-01-30 | 山东大学 | 基于卷积神经网络的视盘检测方法及系统 |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109255381A (zh) * | 2018-09-06 | 2019-01-22 | 华南理工大学 | 一种基于二阶vlad稀疏自适应深度网络的图像分类方法 |
CN109255381B (zh) * | 2018-09-06 | 2022-03-29 | 华南理工大学 | 一种基于二阶vlad稀疏自适应深度网络的图像分类方法 |
CN109544468A (zh) * | 2018-10-26 | 2019-03-29 | 浙江师范大学 | 一种图像数据扩增方法 |
CN109544468B (zh) * | 2018-10-26 | 2023-10-13 | 浙江师范大学 | 一种图像数据扩增方法 |
CN109472798A (zh) * | 2018-12-10 | 2019-03-15 | 重庆理工大学 | 生猪脂肪含量检测模型训练方法及生猪脂肪含量检测方法 |
CN109544585A (zh) * | 2018-12-19 | 2019-03-29 | 中国石油大学(华东) | 一种基于轻量化卷积神经网络的胆石病ct医疗图像数据增强方法 |
CN109671086A (zh) * | 2018-12-19 | 2019-04-23 | 深圳大学 | 一种基于三维超声的胎儿头部全自动分割方法 |
CN109613006A (zh) * | 2018-12-22 | 2019-04-12 | 中原工学院 | 一种基于端到端神经网络的织物疵点检测方法 |
CN111297399A (zh) * | 2019-03-26 | 2020-06-19 | 华南理工大学 | 一种基于超声视频的胎心定位和胎心率提取方法 |
CN111297399B (zh) * | 2019-03-26 | 2021-11-23 | 华南理工大学 | 一种基于超声视频的胎心定位和胎心率提取方法 |
CN110033035A (zh) * | 2019-04-04 | 2019-07-19 | 武汉精立电子技术有限公司 | 一种基于强化学习的aoi缺陷分类方法及装置 |
CN110210513A (zh) * | 2019-04-23 | 2019-09-06 | 深圳信息职业技术学院 | 数据分类方法、装置及终端设备 |
CN110163847A (zh) * | 2019-04-24 | 2019-08-23 | 艾瑞迈迪科技石家庄有限公司 | 基于ct/mr影像的肝脏肿瘤分割方法及装置 |
CN110448335A (zh) * | 2019-07-11 | 2019-11-15 | 暨南大学 | 一种基于超声图像的胎儿头围全自动测量方法和装置 |
CN110448335B (zh) * | 2019-07-11 | 2022-04-05 | 暨南大学 | 一种基于超声图像的胎儿头围全自动测量方法和装置 |
CN110751958A (zh) * | 2019-09-25 | 2020-02-04 | 电子科技大学 | 一种基于rced网络的降噪方法 |
CN110853049A (zh) * | 2019-10-17 | 2020-02-28 | 上海工程技术大学 | 一种腹部超声图像分割方法 |
CN110992353B (zh) * | 2019-12-13 | 2021-04-06 | 哈尔滨工业大学 | 基于智能感知的芯片涂层薄膜质量检测方法 |
CN110992353A (zh) * | 2019-12-13 | 2020-04-10 | 哈尔滨工业大学 | 基于智能感知的芯片涂层薄膜质量检测方法 |
CN111080723A (zh) * | 2019-12-17 | 2020-04-28 | 易诚高科(大连)科技有限公司 | 基于Unet网络的图像元素分割方法 |
CN111080723B (zh) * | 2019-12-17 | 2023-12-01 | 易诚高科(大连)科技有限公司 | 基于Unet网络的图像元素分割方法 |
CN111161273A (zh) * | 2019-12-31 | 2020-05-15 | 电子科技大学 | 一种基于深度学习的医学超声图像分割方法 |
CN111368977A (zh) * | 2020-02-28 | 2020-07-03 | 交叉信息核心技术研究院(西安)有限公司 | 一种提高卷积神经网络精确性和鲁棒性的增强数据增强方法 |
CN111368977B (zh) * | 2020-02-28 | 2023-05-02 | 交叉信息核心技术研究院(西安)有限公司 | 一种提高卷积神经网络精确性和鲁棒性的增强数据增强方法 |
CN112801857A (zh) * | 2020-11-30 | 2021-05-14 | 泰康保险集团股份有限公司 | 一种图像的数据处理方法及装置 |
CN113111744A (zh) * | 2021-03-29 | 2021-07-13 | 华南理工大学 | 一种基于时域短时及长时特征融合的脉纹识别方法 |
CN113111744B (zh) * | 2021-03-29 | 2023-02-14 | 华南理工大学 | 一种基于时域短时及长时特征融合的脉纹识别方法 |
CN115937113A (zh) * | 2022-11-24 | 2023-04-07 | 脉得智能科技(无锡)有限公司 | 一种皮肤病超声图像多病种识别方法、设备及存储介质 |
CN115937113B (zh) * | 2022-11-24 | 2024-01-30 | 脉得智能科技(无锡)有限公司 | 一种皮肤病超声图像多病种识别方法、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108460764B (zh) | 2022-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108460764A (zh) | 基于自动上下文和数据增强的超声图像智能分割方法 | |
Ali et al. | Structural crack detection using deep convolutional neural networks | |
CN111027547B (zh) | 一种针对二维图像中的多尺度多形态目标的自动检测方法 | |
CN108647585B (zh) | 一种基于多尺度循环注意力网络的交通标识符检测方法 | |
CN106960195B (zh) | 一种基于深度学习的人群计数方法及装置 | |
CN108876780B (zh) | 一种复杂背景下桥梁裂缝图像裂缝检测方法 | |
CN111080622B (zh) | 神经网络训练方法、工件表面缺陷分类与检测方法及装置 | |
CA3056498A1 (en) | Structure defect detection using machine learning algorithms | |
Wan et al. | Ceramic tile surface defect detection based on deep learning | |
CN107945153A (zh) | 一种基于深度学习的路面裂缝检测方法 | |
CN111507998B (zh) | 基于深度级联的多尺度激励机制隧道表面缺陷分割方法 | |
CN113298757A (zh) | 一种基于u-net卷积神经网络的金属表面缺陷检测方法 | |
CN110009622B (zh) | 一种显示面板外观缺陷检测网络及其缺陷检测方法 | |
CN111612747B (zh) | 产品表面裂缝快速检测方法及检测系统 | |
CN111462140B (zh) | 一种基于区块拼接的实时图像实例分割方法 | |
CN109584206B (zh) | 零件表面瑕疵检测中神经网络的训练样本的合成方法 | |
Yusof et al. | Automated asphalt pavement crack detection and classification using deep convolution neural network | |
CN112991271A (zh) | 基于改进yolov3的铝型材表面缺陷视觉检测方法 | |
CN114972759A (zh) | 基于分级轮廓代价函数的遥感图像语义分割方法 | |
Sinha et al. | Morphological segmentation and classification of underground pipe images | |
CN115205255A (zh) | 基于深度学习的石料自动分级方法与系统 | |
CN114512052B (zh) | 融合遥感影像和轨迹数据的分歧合流路口生成方法及装置 | |
Gooda et al. | Automatic detection of road cracks using EfficientNet with residual U-net-based segmentation and YOLOv5-based detection | |
CN115423743A (zh) | 一种基于改进YOLOv5的热轧带钢表面缺陷检测方法 | |
CN114626445A (zh) | 基于光流网络与高斯背景建模的大坝白蚁视频识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220215 |