CN114299004A - 一种基于椒盐噪声全变分数据增广的图像语义分割方法 - Google Patents
一种基于椒盐噪声全变分数据增广的图像语义分割方法 Download PDFInfo
- Publication number
- CN114299004A CN114299004A CN202111605820.XA CN202111605820A CN114299004A CN 114299004 A CN114299004 A CN 114299004A CN 202111605820 A CN202111605820 A CN 202111605820A CN 114299004 A CN114299004 A CN 114299004A
- Authority
- CN
- China
- Prior art keywords
- image
- noise
- model
- total variation
- denoising
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 239000006002 Pepper Substances 0.000 title claims abstract description 16
- 230000011218 segmentation Effects 0.000 title claims abstract description 16
- 238000013434 data augmentation Methods 0.000 title claims abstract description 12
- 235000002566 Capsicum Nutrition 0.000 title claims description 9
- 235000016761 Piper aduncum Nutrition 0.000 title claims description 9
- 235000017804 Piper guineense Nutrition 0.000 title claims description 9
- 235000008184 Piper nigrum Nutrition 0.000 title claims description 9
- 150000003839 salts Chemical class 0.000 title claims description 9
- 244000203593 Piper nigrum Species 0.000 title 1
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 8
- 230000003190 augmentative effect Effects 0.000 claims abstract description 4
- 238000013528 artificial neural network Methods 0.000 claims abstract description 3
- 230000009977 dual effect Effects 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 12
- 241000722363 Piper Species 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 3
- 238000013467 fragmentation Methods 0.000 claims description 3
- 238000006062 fragmentation reaction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 abstract description 5
- 238000005457 optimization Methods 0.000 abstract description 2
- 238000002591 computed tomography Methods 0.000 description 9
- 238000002600 positron emission tomography Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于椒盐噪声全变分数据增广的图像语义分割方法，所述方法基于全变分正则化模型进行数据增广，并对增广后的数据集运用神经网络技术，实现医疗PET/CT图像的中的肿瘤分割的方法，该方法对增广后的数据集采用神经网络的方法，实现医疗PET/CT图像的中的肿瘤分割。本发明通过将该类图像数据也作为样本加入数据集，通过极小化全变分正则化去噪模型中的优化问题，迭代产生满足不同精度要求的去噪结果，对数据集进行进一步的扩充，使得得到的图像分割结果更具鲁棒性。
Description
技术领域
本发明属于图像处理技术领域，一种基于椒盐噪声全变分数据增广的图像语义分割方法。
背景技术
在医疗放射学科中常采用正电子发射断层扫描(positron emissiontomography，PET)和计算机断层扫描(computed tomography，CT)方式获取肿瘤图像。PET图像显示人体组织的代谢信息，分辨率较低，图像中具有高亮的部分可以大致表示图像中的肿瘤区域，具有较模糊的边缘影像；相比之下CT图像的分辨率高，肿瘤边缘清晰，但其显示的是人体的结构信息，肿瘤组织和周围正常组织对比度低。从PET\CT图像中精确进行肿瘤分割在该学科中具有重要的意义。
全变分模型在图像去噪、图像融合、图像分割等领域具有较好的性能，取得了一定程度的理论及实验成果。相较于深度学习方法，该方法的图像分割精确度不高，且无法进行精准的语义分割，但该模型具有不需要训练样本，且求解算法的研究相对成熟的优点。在使用医学仪器进行图像信息采集时，通常会有损失，造成图像模糊、图像噪声等相关问题。
深度学习在抽取图像特征方面效果显著，浅层信息可显示图像的局部特征，深层信息涉及到的感知野逐渐扩大，显示的全局特征逐渐抽象。在使用监督类深度学习算法的时候，通常需要大量的样本数据，且其真实分割结果需要医生进行手工标注。但医学图像面临样本相对较少，采样、制作数据集成本高昂的问题。
现有的数据增广技术通过对图像加入噪声、进行旋转等方法对已有的数据集进行扩充。实际应用中，本发明对有针对性地对数据集进一步进行扩充，使得得到的图像分割结果更具鲁棒性。
发明内容
针对以上技术问题，本发明的目的在于提供一种基于全变分正则化模型的医疗图像数据增广方法。椒盐噪声的成因可能是影像讯号受到突如其来的强烈干扰而产生、类比数位转换器或位元传输错误等。例如失效的感应器导致像素值为最小值，饱和的感应器导致像素值为最大值。针对现有的获取的医疗图像可能已经经过去噪处理的特点，我们将该类图像数据也作为样本加入数据集，通过极小化全变分正则化去噪模型中的优化问题，迭代产生满足不同精度要求的去噪结果，对数据集进行进一步的扩充，使得得到的图像分割结果更具鲁棒性。
本发明提供的技术方案为，：
一种基于椒盐噪声全变分数据增广的图像语义分割方法，所述方法基于全变分正则化模型进行数据增广，并对增广后的数据集运用神经网络技术，实现医疗PET/CT图像的中的肿瘤分割的方法，包括如下步骤：
步骤1：获取数据集中的样本图像信息，设图像Ω中的像素点(x,y)处的像素值为I(x,y)，不失一般性的，简记整幅图像像素值为映射I，该图像对应的标签图像为L；
步骤2：对图像添加信噪比不同的信息椒盐噪声n，得到噪声图像f，即，
f＝I+n；
步骤3：利用一个全变分正则化图像去噪模型进行去除噪声处理，得到去噪后的结果图像；
步骤3.1：构建适用于特定噪声的所述的全变分正则化图像去噪模型：
其中，符号，minu表示函数关于希望得到的去噪后图像像素值u取极小，
表示图像像素值的分布导数，其分量分别为关于横向x、纵向y的偏导数，旨在控制图像的像素值u具有分片取常值的特点，||·||1表示1-范数，λ>0为模型中的正则化参数，第二项||u-f||1旨在控制u，使其不会过度偏离获取的f，相较于2-范数，1-范数更能体现噪声的稀疏特性；
步骤3.2：对所述全变分正则化图像去噪模型利用一个primal-dual算法进行求解；
所述全变分正则化图像去噪模型等价的写成下述原始对偶形式，
其中p是对偶变量，其所属的对偶空间用Y表示，P是下面形式的凸集合
P＝{p∈Y：||p||∞＜1}
且||p||∞表示无穷范数，δP是集合P的指示函数。从而可得到下述形式的原始对偶迭代算法
其中div p表示对偶变量p的散度，θ为超梯度参数。
步骤3.3：选择不同的精度要求，得到该要求下的图像去噪结果，在算法迭代的每一步计算误差
分别取不同程度的误差容忍度tol，(例如可以分别取tol＝10-2，10-3，10-4，10-5)，输出对应的样本去噪图像
步骤4：将噪声图像f与去噪结果图像
分别与样本对应的标记图像L做对应，得到扩充后的图像数据集，由于加入的椒盐噪声具有不同的信噪比，因此噪声图像f有多个，其在不同误差容忍度下得到的去噪结果也有多个，他们所对应的标记图像依旧是L，因此实现了从唯一对应关系(I,L)的扩充，形成一个增光数据集；
步骤5：搭建神经网络模型，进行训练和预测。
步骤5.1：搭建合适的、端到端的一个全卷积神经网络模型，其宏观架构为一个V-net模型网络，所示V-net模型网络包括卷积网络的层数、卷积核的大小、步长、训练轮数、优化器和学习率；
步骤5.2：将所述增光数据集作为输入带入所述的V-net模型网络进行训练。
步骤5.3：网络训练完成后，将需要进行分割和处理的新的所述医疗PET/CT图像分别代入所述V-net模型网络，得到最终的分割结果。
本发明的有益效果：
相对于现有的图像数据增广方法的技术，如单纯的加入噪声、旋转、放大、缩小等技术相比。本发明的技术优势在于可以进一步提高深度学习算法的鲁棒性：针对现有的获取的医疗图像可能已经经过去噪处理的特点，针对椒盐噪声的图像的稀疏特性，设计全变分去噪图像，将该类图像数据也作为样本加入数据集，从而实现数据样本集合的进一步扩充。
附图说明：
图1为本发明中数据增广的模型结构图；
图2为本发明数据增广过程的示例图；
图3为本发明的模型结构图；
图4为不同的信噪比对应的椒盐噪声图。
具体实施方式
参见图1-图4所示，以下结合具体实例，参照摘要附图，对本发明进行进一步详细说明.
本发明方法结构模型如图3所示，通过实例进一步描述所述发明，但不以任何方式限制本发明的范围。
步骤：
步骤1：获取数据集中的样本图像信息，设图像Ω中的像素点(x,y)处的像素值为I(x,y)，不失一般性的，简记整幅图像像素值为映射I，设该图像对应的标签图像为L；
步骤2：对图像添加信噪比不同的信息椒盐噪声n,得到噪声图像f，即，
f＝I+n；
步骤3：利用全变分正则化图像去噪模型进行去除噪声处理，得到去噪后的结果图像；
步骤3.1：构建适用于特定噪声的全变分图像去噪模型；
其中符号minu表示函数关于希望得到的去噪后图像像素值u取极小，
表示图像像素值的分布导数，其分量分别为关于横向、纵向的偏导数，旨在控制图像的像素值u具有分片取常值的特点，||·||1表示1-范数，λ>0为模型中的正则化参数，第二项||u-f||1旨在控制u，使其不会过度偏离获取的f，相较于2-范数，1-范数更能体现噪声的稀疏特性。
步骤3.2：对图像去噪模型利用primal-dual算法进行求解；
上述极小化模型可等价的写成下下述原始对偶形式，
其中p是对偶变量，其所属的对偶空间用Y表示，P是下面形式的凸集合
P＝{p∈Y：||p||∞＜1}
且||p||∞表示无穷范数，δP是集合P的指示函数。从而可得到下述形式的原始对偶迭代算法
其中div p表示对偶变量p的散度，θ为超梯度参数。
步骤3.3：选择不同的精度要求，得到该要求下的图像去噪结果；在算法迭代的每一步计算误差
分别取不同程度的误差容忍度tol，(例如可以分别取tol＝10-2，10-3，10-4，10-5)，输出对应的样本去噪图像
步骤4：将噪声图像f与去噪结果图像
分别与样本对应的标记图像L做对应，得到扩充后的图像数据集。由于加入的椒盐噪声具有不同的信噪比，因此噪声图像有多个，其在不同误差容忍度下得到的去噪结果也有多个，他们所对应的标记图像依旧是L，因此实现了从唯一对应关系(I,L)的扩充，即数据增广。
步骤5：搭建神经网络模型，进行训练和预测。
步骤5.1：搭建合适的、端到端的一个全卷积神经网络模型，其宏观架构为一个V-net模型网络，所示V-net模型网络包括卷积网络的层数、卷积核的大小、步长、训练轮数、优化器和学习率；
步骤5.2：将所述增光数据集作为输入带入所述的V-net模型网络进行训练。
步骤5.3：网络训练完成后，将需要进行分割和处理的新的医疗PET/CT图像分别代入所述V-net模型网络，得到最终的分割结果。
处理医疗PET/CT图像外，本发明对其他图像同样适用。
Claims (2)
1.一种基于椒盐噪声全变分数据增广的图像语义分割方法，其特征是：所述方法基于全变分正则化模型进行数据增广，并对增广后的数据集运用神经网络技术，实现医疗PET/CT图像的中的肿瘤分割的方法，包括如下步骤：
步骤1：获取数据集中的样本图像信息，设图像Ω中的像素点(x，y)处的像素值为I(x，y)，不失一般性的，简记整幅图像像素值为映射I，该图像对应的标签图像为L；
步骤2：对图像添加信噪比不同的信息椒盐噪声n，得到噪声图像f，即，
f＝I+n；
步骤3：利用一个全变分正则化图像去噪模型进行去除噪声处理，得到去噪后的结果图像；
步骤3.1：构建适用于特定噪声的所述的全变分正则化图像去噪模型：
其中，符号，minu表示函数关于希望得到的去噪后图像像素值u取极小，
表示图像像素值的分布导数，其分量分别为关于横向x、纵向y的偏导数，旨在控制图像的像素值u具有分片取常值的特点，||·||1表示1-范数，λ＞0为模型中的正则化参数，第二项||u-f||1旨在控制u，使其不会过度偏离获取的f，相较于2-范数，1-范数更能体现噪声的稀疏特性；
步骤3.2：对所述全变分正则化图像去噪模型利用一个primal-dual算法进行求解；
所述全变分正则化图像去噪模型等价的写成下述原始对偶形式，
其中p是对偶变量，其所属的对偶空间用Y表示，P是下面形式的凸集合
P＝{p∈Y：||p||∞＜1}
且||p||∞表示无穷范数，δP是集合P的指示函数；从而可得到下述形式的原始对偶迭代算法
pk+1＝argminp∫Ω＜uk+1，div p＞+δP(p)
其中div p表示对偶变量p的散度，θ为超梯度参数，
步骤3.3：选择不同的精度要求，得到该要求下的图像去噪结果，在算法迭代的每一步计算误差
分别取不同程度的误差容忍度tol，(例如可以分别取tol＝10-2，10-3，10-4，10-5)，输出对应的样本去噪图像
步骤4：将噪声图像f与去噪结果图像
分别与样本对应的标记图像L做对应，得到扩充后的图像数据集，由于加入的椒盐噪声具有不同的信噪比，因此噪声图像f有多个，其在不同误差容忍度下得到的去噪结果也有多个，他们所对应的标记图像依旧是L，因此实现了从唯一对应关系(I，L)的扩充，形成一个增光数据集。
2.根据权利要求1所述的基于椒盐噪声全变分数据增广的图像语义分割方法，其特征是：
得到所述的数据集后，搭建一个神经网络模型，进行训练和预测，其步骤为：
步骤5.1：搭建合适的、端到端的一个全卷积神经网络模型，其宏观架构为一个V-net模型网络，所示V-net模型网络包括卷积网络的层数、卷积核的大小、步长、训练轮数、优化器和学习率；
步骤5.2：将所述增光数据集作为输入带入所述的V-net模型网络进行训练；
步骤5.3：网络训练完成后，将需要进行分割和处理的新的所述医疗PET/CT图像分别代入所述V-net模型网络，得到最终的分割结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111605820.XA CN114299004A (zh) | 2021-12-25 | 2021-12-25 | 一种基于椒盐噪声全变分数据增广的图像语义分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111605820.XA CN114299004A (zh) | 2021-12-25 | 2021-12-25 | 一种基于椒盐噪声全变分数据增广的图像语义分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114299004A true CN114299004A (zh) | 2022-04-08 |
Family
ID=80968664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111605820.XA Pending CN114299004A (zh) | 2021-12-25 | 2021-12-25 | 一种基于椒盐噪声全变分数据增广的图像语义分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114299004A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106355561A (zh) * | 2016-08-30 | 2017-01-25 | 天津大学 | 基于噪点先验约束的全变分图像去噪方法 |
| CN109685743A (zh) * | 2018-12-30 | 2019-04-26 | 陕西师范大学 | 基于噪声学习神经网络模型的图像混合噪声消除方法 |
| CN109767404A (zh) * | 2019-01-25 | 2019-05-17 | 重庆电子工程职业学院 | 一种椒盐噪声下红外图像去模糊方法 |
| CN110648292A (zh) * | 2019-09-11 | 2020-01-03 | 昆明理工大学 | 一种基于深度卷积网络的高噪声图像去噪方法 |
| CN113792743A (zh) * | 2021-08-24 | 2021-12-14 | 西安理工大学 | 一种基于渐进式生成对抗的古籍汉字图像去噪方法 |
-
2021
- 2021-12-25 CN CN202111605820.XA patent/CN114299004A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106355561A (zh) * | 2016-08-30 | 2017-01-25 | 天津大学 | 基于噪点先验约束的全变分图像去噪方法 |
| CN109685743A (zh) * | 2018-12-30 | 2019-04-26 | 陕西师范大学 | 基于噪声学习神经网络模型的图像混合噪声消除方法 |
| CN109767404A (zh) * | 2019-01-25 | 2019-05-17 | 重庆电子工程职业学院 | 一种椒盐噪声下红外图像去模糊方法 |
| CN110648292A (zh) * | 2019-09-11 | 2020-01-03 | 昆明理工大学 | 一种基于深度卷积网络的高噪声图像去噪方法 |
| CN113792743A (zh) * | 2021-08-24 | 2021-12-14 | 西安理工大学 | 一种基于渐进式生成对抗的古籍汉字图像去噪方法 |
Non-Patent Citations (1)
| Title |
|---|
| ALFINA, I; SAVITRI, S AND FANANY, MI: "Modified DBpedia Entities Expansion for Tagging Automatically NER Dataset", 9TH INTERNATIONAL CONFERENCE ON ADVANCED COMPUTER SCIENCE AND INFORMATION SYSTEMS (ICACSIS), 29 June 2018 (2018-06-29) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110889852B (zh) | 基于残差-注意力深度神经网络的肝脏分割方法 | |
| US11488021B2 (en) | Systems and methods for image segmentation | |
| CN110889853B (zh) | 基于残差-注意力深度神经网络的肿瘤分割方法 | |
| CN113674253B (zh) | 基于U-Transformer的直肠癌CT影像自动分割方法 | |
| CN108921851B (zh) | 一种基于3d对抗网络的医学ct图像分割方法 | |
| CN109272024B (zh) | 一种基于卷积神经网络的图像融合方法 | |
| JP2023550844A (ja) | 深層形状学習に基づく肝臓ｃｔ自動分割方法 | |
| CN113450396B (zh) | 基于骨骼特征的三维/二维图像配准方法及装置 | |
| DE102006054822A1 (de) | Registrierung eines charakteristischen Pfads eines Kolons | |
| CN109492668B (zh) | 基于多通道卷积神经网络的mri不同期多模图像表征方法 | |
| CN108447041A (zh) | 一种基于增强学习的多源图像融合方法 | |
| CN109191564A (zh) | 基于深度学习的激发荧光断层成像三维重建方法 | |
| CN110060225B (zh) | 一种基于快速有限剪切波变换与稀疏表示的医学图像融合法 | |
| Shu et al. | LVC-Net: Medical image segmentation with noisy label based on local visual cues | |
| CN112150564B (zh) | 基于深度卷积神经网络医学图像融合算法 | |
| CN116958217B (zh) | 一种mri与ct多模态3d自动配准方法及装置 | |
| CN111209946B (zh) | 三维图像处理方法、图像处理模型训练方法及介质 | |
| CN117670965A (zh) | 一种适用于红外图像的无监督单目深度估计方法及系统 | |
| CN117911432A (zh) | 图像分割方法、装置及存储介质 | |
| CN117197349A (zh) | 一种ct图像重建方法及装置 | |
| Luo et al. | A fast denoising fusion network using internal and external priors | |
| CN112967293A (zh) | 一种图像语义分割方法、装置及存储介质 | |
| CN116935182A (zh) | 基于RepCSC-Net的乳腺肿瘤良恶性识别方法 | |
| Liu et al. | RPLS-Net: pulmonary lobe segmentation based on 3D fully convolutional networks and multi-task learning | |
| CN117151162A (zh) | 基于自监督与专家门控的跨解剖区域器官增量分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: Building 43, Zone A, Energy Conservation and Environmental Protection Innovation Park, No. 199, Hongwu Avenue, Tangqiao Town, Zhangjiagang City, Suzhou City, Jiangsu Province, 215600 Applicant after: Suzhou Lijing Intelligent Technology Co.,Ltd. Address before: 315000 room 205, No. 262, Binhai 4th Road, Hangzhou Bay New Area, Ningbo, Zhejiang Applicant before: NINGBO KAIDE TECHNOLOGY SERVICE Co.,Ltd. Country or region before: China |