CN114299004A - 一种基于椒盐噪声全变分数据增广的图像语义分割方法 - Google Patents

一种基于椒盐噪声全变分数据增广的图像语义分割方法 Download PDF

Info

Publication number
CN114299004A
CN114299004A CN202111605820.XA CN202111605820A CN114299004A CN 114299004 A CN114299004 A CN 114299004A CN 202111605820 A CN202111605820 A CN 202111605820A CN 114299004 A CN114299004 A CN 114299004A
Authority
CN
China
Prior art keywords
image
model
noise
denoising
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111605820.XA
Other languages
English (en)
Other versions
CN114299004B (zh
Inventor
王帅
田玉铢
孟凡云
王金鹤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Junyue Yuan Intelligent Technology Co.,Ltd.
Original Assignee
Ningbo Kaide Technology Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Kaide Technology Service Co ltd filed Critical Ningbo Kaide Technology Service Co ltd
Priority to CN202111605820.XA priority Critical patent/CN114299004B/zh
Publication of CN114299004A publication Critical patent/CN114299004A/zh
Application granted granted Critical
Publication of CN114299004B publication Critical patent/CN114299004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于椒盐噪声全变分数据增广的图像语义分割方法，所述方法基于全变分正则化模型进行数据增广，并对增广后的数据集运用神经网络技术，实现医疗PET/CT图像的中的肿瘤分割的方法，该方法对增广后的数据集采用神经网络的方法，实现医疗PET/CT图像的中的肿瘤分割。本发明通过将该类图像数据也作为样本加入数据集，通过极小化全变分正则化去噪模型中的优化问题，迭代产生满足不同精度要求的去噪结果，对数据集进行进一步的扩充，使得得到的图像分割结果更具鲁棒性。

Description

一种基于椒盐噪声全变分数据增广的图像语义分割方法
技术领域
本发明属于图像处理技术领域，一种基于椒盐噪声全变分数据增广的图像语义分割方法。
背景技术
在医疗放射学科中常采用正电子发射断层扫描(positron emissiontomography，PET)和计算机断层扫描(computed tomography，CT)方式获取肿瘤图像。PET图像显示人体组织的代谢信息，分辨率较低，图像中具有高亮的部分可以大致表示图像中的肿瘤区域，具有较模糊的边缘影像；相比之下CT图像的分辨率高，肿瘤边缘清晰，但其显示的是人体的结构信息，肿瘤组织和周围正常组织对比度低。从PET\CT图像中精确进行肿瘤分割在该学科中具有重要的意义。
全变分模型在图像去噪、图像融合、图像分割等领域具有较好的性能，取得了一定程度的理论及实验成果。相较于深度学习方法，该方法的图像分割精确度不高，且无法进行精准的语义分割，但该模型具有不需要训练样本，且求解算法的研究相对成熟的优点。在使用医学仪器进行图像信息采集时，通常会有损失，造成图像模糊、图像噪声等相关问题。
深度学习在抽取图像特征方面效果显著，浅层信息可显示图像的局部特征，深层信息涉及到的感知野逐渐扩大，显示的全局特征逐渐抽象。在使用监督类深度学习算法的时候，通常需要大量的样本数据，且其真实分割结果需要医生进行手工标注。但医学图像面临样本相对较少，采样、制作数据集成本高昂的问题。
现有的数据增广技术通过对图像加入噪声、进行旋转等方法对已有的数据集进行扩充。实际应用中，本发明对有针对性地对数据集进一步进行扩充，使得得到的图像分割结果更具鲁棒性。
发明内容
针对以上技术问题，本发明的目的在于提供一种基于全变分正则化模型的医疗图像数据增广方法。椒盐噪声的成因可能是影像讯号受到突如其来的强烈干扰而产生、类比数位转换器或位元传输错误等。例如失效的感应器导致像素值为最小值，饱和的感应器导致像素值为最大值。针对现有的获取的医疗图像可能已经经过去噪处理的特点，我们将该类图像数据也作为样本加入数据集，通过极小化全变分正则化去噪模型中的优化问题，迭代产生满足不同精度要求的去噪结果，对数据集进行进一步的扩充，使得得到的图像分割结果更具鲁棒性。
本发明提供的技术方案为，：
一种基于椒盐噪声全变分数据增广的图像语义分割方法，所述方法基于全变分正则化模型进行数据增广，并对增广后的数据集运用神经网络技术，实现医疗PET/CT图像的中的肿瘤分割的方法，包括如下步骤：
步骤1：获取数据集中的样本图像信息，设图像Ω中的像素点(x,y)处的像素值为I(x,y)，不失一般性的，简记整幅图像像素值为映射I，该图像对应的标签图像为L；
步骤2：对图像添加信噪比不同的信息椒盐噪声n，得到噪声图像f，即，
f＝I+n；
步骤3：利用一个全变分正则化图像去噪模型进行去除噪声处理，得到去噪后的结果图像；
步骤3.1：构建适用于特定噪声的所述的全变分正则化图像去噪模型：
Figure BDA0003434008670000021
其中，符号，minu表示函数关于希望得到的去噪后图像像素值u取极小，
Figure BDA0003434008670000022
表示图像像素值的分布导数，其分量分别为关于横向x、纵向y的偏导数，旨在控制图像的像素值u具有分片取常值的特点，||·||1表示1-范数，λ>0为模型中的正则化参数，第二项||u-f||1旨在控制u，使其不会过度偏离获取的f，相较于2-范数，1-范数更能体现噪声的稀疏特性；
步骤3.2：对所述全变分正则化图像去噪模型利用一个primal-dual算法进行求解；
所述全变分正则化图像去噪模型等价的写成下述原始对偶形式，
Figure BDA0003434008670000031
其中p是对偶变量，其所属的对偶空间用Y表示，P是下面形式的凸集合
P＝{p∈Y：||p||∞＜1}
且||p||∞表示无穷范数，δP是集合P的指示函数。从而可得到下述形式的原始对偶迭代算法
Figure BDA0003434008670000032
Figure BDA0003434008670000033
Figure BDA0003434008670000034
其中div p表示对偶变量p的散度，θ为超梯度参数。
步骤3.3：选择不同的精度要求，得到该要求下的图像去噪结果，在算法迭代的每一步计算误差
Figure BDA0003434008670000035
分别取不同程度的误差容忍度tol，(例如可以分别取tol＝10-2，10-3，10-4，10-5)，输出对应的样本去噪图像
Figure BDA0003434008670000036
步骤4：将噪声图像f与去噪结果图像
Figure BDA0003434008670000037
分别与样本对应的标记图像L做对应，得到扩充后的图像数据集，由于加入的椒盐噪声具有不同的信噪比，因此噪声图像f有多个，其在不同误差容忍度下得到的去噪结果也有多个，他们所对应的标记图像依旧是L，因此实现了从唯一对应关系(I,L)的扩充，形成一个增光数据集；
步骤5：搭建神经网络模型，进行训练和预测。
步骤5.1：搭建合适的、端到端的一个全卷积神经网络模型，其宏观架构为一个V-net模型网络，所示V-net模型网络包括卷积网络的层数、卷积核的大小、步长、训练轮数、优化器和学习率；
步骤5.2：将所述增光数据集作为输入带入所述的V-net模型网络进行训练。
步骤5.3：网络训练完成后，将需要进行分割和处理的新的所述医疗PET/CT图像分别代入所述V-net模型网络，得到最终的分割结果。
本发明的有益效果：
相对于现有的图像数据增广方法的技术，如单纯的加入噪声、旋转、放大、缩小等技术相比。本发明的技术优势在于可以进一步提高深度学习算法的鲁棒性：针对现有的获取的医疗图像可能已经经过去噪处理的特点，针对椒盐噪声的图像的稀疏特性，设计全变分去噪图像，将该类图像数据也作为样本加入数据集，从而实现数据样本集合的进一步扩充。
附图说明：
图1为本发明中数据增广的模型结构图；
图2为本发明数据增广过程的示例图；
图3为本发明的模型结构图；
图4为不同的信噪比对应的椒盐噪声图。
具体实施方式
参见图1-图4所示，以下结合具体实例，参照摘要附图，对本发明进行进一步详细说明.
本发明方法结构模型如图3所示，通过实例进一步描述所述发明，但不以任何方式限制本发明的范围。
步骤：
步骤1：获取数据集中的样本图像信息，设图像Ω中的像素点(x,y)处的像素值为I(x,y)，不失一般性的，简记整幅图像像素值为映射I，设该图像对应的标签图像为L；
步骤2：对图像添加信噪比不同的信息椒盐噪声n,得到噪声图像f，即，
f＝I+n；
步骤3：利用全变分正则化图像去噪模型进行去除噪声处理，得到去噪后的结果图像；
步骤3.1：构建适用于特定噪声的全变分图像去噪模型；
Figure BDA0003434008670000051
其中符号minu表示函数关于希望得到的去噪后图像像素值u取极小，
Figure BDA0003434008670000052
Figure BDA0003434008670000053
表示图像像素值的分布导数，其分量分别为关于横向、纵向的偏导数，旨在控制图像的像素值u具有分片取常值的特点，||·||1表示1-范数，λ>0为模型中的正则化参数，第二项||u-f||1旨在控制u，使其不会过度偏离获取的f，相较于2-范数，1-范数更能体现噪声的稀疏特性。
步骤3.2：对图像去噪模型利用primal-dual算法进行求解；
上述极小化模型可等价的写成下下述原始对偶形式，
Figure BDA0003434008670000054
其中p是对偶变量，其所属的对偶空间用Y表示，P是下面形式的凸集合
P＝{p∈Y：||p||∞＜1}
且||p||∞表示无穷范数，δP是集合P的指示函数。从而可得到下述形式的原始对偶迭代算法
Figure BDA0003434008670000055
Figure BDA0003434008670000061
Figure BDA0003434008670000062
其中div p表示对偶变量p的散度，θ为超梯度参数。
步骤3.3：选择不同的精度要求，得到该要求下的图像去噪结果；在算法迭代的每一步计算误差
Figure BDA0003434008670000063
分别取不同程度的误差容忍度tol，(例如可以分别取tol＝10-2，10-3，10-4，10-5)，输出对应的样本去噪图像
Figure BDA0003434008670000064
步骤4：将噪声图像f与去噪结果图像
Figure BDA0003434008670000065
分别与样本对应的标记图像L做对应，得到扩充后的图像数据集。由于加入的椒盐噪声具有不同的信噪比，因此噪声图像有多个，其在不同误差容忍度下得到的去噪结果也有多个，他们所对应的标记图像依旧是L，因此实现了从唯一对应关系(I,L)的扩充，即数据增广。
步骤5：搭建神经网络模型，进行训练和预测。
步骤5.1：搭建合适的、端到端的一个全卷积神经网络模型，其宏观架构为一个V-net模型网络，所示V-net模型网络包括卷积网络的层数、卷积核的大小、步长、训练轮数、优化器和学习率；
步骤5.2：将所述增光数据集作为输入带入所述的V-net模型网络进行训练。
步骤5.3：网络训练完成后，将需要进行分割和处理的新的医疗PET/CT图像分别代入所述V-net模型网络，得到最终的分割结果。
处理医疗PET/CT图像外，本发明对其他图像同样适用。

Claims (2)

1.一种基于椒盐噪声全变分数据增广的图像语义分割方法，其特征是：所述方法基于全变分正则化模型进行数据增广，并对增广后的数据集运用神经网络技术，实现医疗PET/CT图像的中的肿瘤分割的方法，包括如下步骤：
步骤1：获取数据集中的样本图像信息，设图像Ω中的像素点(x，y)处的像素值为I(x，y)，不失一般性的，简记整幅图像像素值为映射I，该图像对应的标签图像为L；
步骤2：对图像添加信噪比不同的信息椒盐噪声n，得到噪声图像f，即，
f＝I+n；
步骤3：利用一个全变分正则化图像去噪模型进行去除噪声处理，得到去噪后的结果图像；
步骤3.1：构建适用于特定噪声的所述的全变分正则化图像去噪模型：
Figure FDA0003434008660000011
其中，符号，minu表示函数关于希望得到的去噪后图像像素值u取极小，
Figure FDA0003434008660000012
表示图像像素值的分布导数，其分量分别为关于横向x、纵向y的偏导数，旨在控制图像的像素值u具有分片取常值的特点，||·||1表示1-范数，λ＞0为模型中的正则化参数，第二项||u-f||1旨在控制u，使其不会过度偏离获取的f，相较于2-范数，1-范数更能体现噪声的稀疏特性；
步骤3.2：对所述全变分正则化图像去噪模型利用一个primal-dual算法进行求解；
所述全变分正则化图像去噪模型等价的写成下述原始对偶形式，
Figure FDA0003434008660000013
其中p是对偶变量，其所属的对偶空间用Y表示，P是下面形式的凸集合
P＝{p∈Y：||p||∞＜1}
且||p||∞表示无穷范数，δP是集合P的指示函数；从而可得到下述形式的原始对偶迭代算法
Figure FDA0003434008660000021
pk+1＝argminp∫Ω＜uk+1，div p＞+δP(p)
Figure FDA0003434008660000022
其中div p表示对偶变量p的散度，θ为超梯度参数，
步骤3.3：选择不同的精度要求，得到该要求下的图像去噪结果，在算法迭代的每一步计算误差
Figure FDA0003434008660000023
分别取不同程度的误差容忍度tol，(例如可以分别取tol＝10-2，10-3，10-4，10-5)，输出对应的样本去噪图像
Figure FDA0003434008660000024
步骤4：将噪声图像f与去噪结果图像
Figure FDA0003434008660000025
分别与样本对应的标记图像L做对应，得到扩充后的图像数据集，由于加入的椒盐噪声具有不同的信噪比，因此噪声图像f有多个，其在不同误差容忍度下得到的去噪结果也有多个，他们所对应的标记图像依旧是L，因此实现了从唯一对应关系(I，L)的扩充，形成一个增光数据集。
2.根据权利要求1所述的基于椒盐噪声全变分数据增广的图像语义分割方法，其特征是：
得到所述的数据集后，搭建一个神经网络模型，进行训练和预测，其步骤为：
步骤5.1：搭建合适的、端到端的一个全卷积神经网络模型，其宏观架构为一个V-net模型网络，所示V-net模型网络包括卷积网络的层数、卷积核的大小、步长、训练轮数、优化器和学习率；
步骤5.2：将所述增光数据集作为输入带入所述的V-net模型网络进行训练；
步骤5.3：网络训练完成后，将需要进行分割和处理的新的所述医疗PET/CT图像分别代入所述V-net模型网络，得到最终的分割结果。
CN202111605820.XA 2021-12-25 2021-12-25 一种基于椒盐噪声全变分数据增广的图像语义分割方法 Active CN114299004B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111605820.XA CN114299004B (zh) 2021-12-25 2021-12-25 一种基于椒盐噪声全变分数据增广的图像语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111605820.XA CN114299004B (zh) 2021-12-25 2021-12-25 一种基于椒盐噪声全变分数据增广的图像语义分割方法

Publications (2)

Publication Number Publication Date
CN114299004A true CN114299004A (zh) 2022-04-08
CN114299004B CN114299004B (zh) 2024-11-15

Family

ID=80968664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111605820.XA Active CN114299004B (zh) 2021-12-25 2021-12-25 一种基于椒盐噪声全变分数据增广的图像语义分割方法

Country Status (1)

Country Link
CN (1) CN114299004B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355561A (zh) * 2016-08-30 2017-01-25 天津大学 基于噪点先验约束的全变分图像去噪方法
CN109685743A (zh) * 2018-12-30 2019-04-26 陕西师范大学 基于噪声学习神经网络模型的图像混合噪声消除方法
CN109767404A (zh) * 2019-01-25 2019-05-17 重庆电子工程职业学院 一种椒盐噪声下红外图像去模糊方法
CN110648292A (zh) * 2019-09-11 2020-01-03 昆明理工大学 一种基于深度卷积网络的高噪声图像去噪方法
CN113792743A (zh) * 2021-08-24 2021-12-14 西安理工大学 一种基于渐进式生成对抗的古籍汉字图像去噪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355561A (zh) * 2016-08-30 2017-01-25 天津大学 基于噪点先验约束的全变分图像去噪方法
CN109685743A (zh) * 2018-12-30 2019-04-26 陕西师范大学 基于噪声学习神经网络模型的图像混合噪声消除方法
CN109767404A (zh) * 2019-01-25 2019-05-17 重庆电子工程职业学院 一种椒盐噪声下红外图像去模糊方法
CN110648292A (zh) * 2019-09-11 2020-01-03 昆明理工大学 一种基于深度卷积网络的高噪声图像去噪方法
CN113792743A (zh) * 2021-08-24 2021-12-14 西安理工大学 一种基于渐进式生成对抗的古籍汉字图像去噪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ALFINA, I; SAVITRI, S AND FANANY, MI: "Modified DBpedia Entities Expansion for Tagging Automatically NER Dataset", 9TH INTERNATIONAL CONFERENCE ON ADVANCED COMPUTER SCIENCE AND INFORMATION SYSTEMS (ICACSIS), 29 June 2018 (2018-06-29) *

Also Published As

Publication number Publication date
CN114299004B (zh) 2024-11-15

Similar Documents

Publication Publication Date Title
CN113674253B (zh) 基于U-Transformer的直肠癌CT影像自动分割方法
Wang et al. ADMM-based deep reconstruction for limited-angle CT
Vimala et al. Image noise removal in ultrasound breast images based on hybrid deep learning technique
Singh et al. A method noise-based convolutional neural network technique for CT image denoising
Sharan et al. Encoder modified U-net and feature pyramid network for multi-class segmentation of cardiac magnetic resonance images
Tan et al. Segmentation of lung airways based on deep learning methods
CN114332287B (zh) 基于transformer特征共享的PET图像重建方法、装置、设备及介质
CN111340903A (zh) 基于非衰减校正pet图像生成合成pet-ct图像的方法和系统
Sahu et al. An application of deep dual convolutional neural network for enhanced medical image denoising
Tripathi et al. An augmented deep learning network with noise suppression feature for efficient segmentation of magnetic resonance images
Yin et al. Unpaired low-dose CT denoising via an improved cycle-consistent adversarial network with attention ensemble
Xia et al. Deep residual neural network based image enhancement algorithm for low dose CT images
Yao et al. Graph matching and deep neural networks based whole heart and great vessel segmentation in congenital heart disease
Zhang et al. Multi-modality reconstruction attention and difference enhancement network for brain mri image segmentation
Stebani et al. Towards fully automated inner ear analysis with deep-learning-based joint segmentation and landmark detection framework
CN116091412A (zh) 一种从pet/ct图像中分割肿瘤的方法
CN119251250A (zh) 基于Transformer的宫颈癌病理图像癌变组织的分割方法及系统
Lu et al. PDRF-Net: a progressive dense residual fusion network for COVID-19 lung CT image segmentation
CN116935182B (zh) 基于RepCSC-Net的乳腺肿瘤良恶性识别方法
Li et al. MIS-Net: A deep learning-based multi-class segmentation model for CT images
CN114299004A (zh) 一种基于椒盐噪声全变分数据增广的图像语义分割方法
Dröge et al. Mitral valve segmentation using robust nonnegative matrix factorization
Lou et al. Nu-net based gan: Using nested u-structure for whole heart auto segmentation
Jacob et al. Deep Conditional Shape Models for 3D cardiac image segmentation
CN115147694A (zh) 一种三图多模态医学图像融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: China

Address after: Building 43, Zone A, Energy Conservation and Environmental Protection Innovation Park, No. 199, Hongwu Avenue, Tangqiao Town, Zhangjiagang City, Suzhou City, Jiangsu Province, 215600

Applicant after: Suzhou Lijing Intelligent Technology Co.,Ltd.

Address before: 315000 room 205, No. 262, Binhai 4th Road, Hangzhou Bay New Area, Ningbo, Zhejiang

Applicant before: NINGBO KAIDE TECHNOLOGY SERVICE Co.,Ltd.

Country or region before: China

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20250225

Address after: Room 2022-2, Building 2, No. 8 Wangwu Road, Xinjia Industrial Zone, Changqiao Street, Wuzhong District, Suzhou City, Jiangsu Province, 215000

Patentee after: Suzhou Junyue Yuan Intelligent Technology Co.,Ltd.

Country or region after: China

Address before: Building 43, Zone A, Energy Conservation and Environmental Protection Innovation Park, No. 199, Hongwu Avenue, Tangqiao Town, Zhangjiagang City, Suzhou City, Jiangsu Province, 215600

Patentee before: Suzhou Lijing Intelligent Technology Co.,Ltd.

Country or region before: China