CN112686837A - 一种黑色素癌图像的分割方法及网络 - Google Patents
一种黑色素癌图像的分割方法及网络 Download PDFInfo
- Publication number
- CN112686837A CN112686837A CN202011361151.1A CN202011361151A CN112686837A CN 112686837 A CN112686837 A CN 112686837A CN 202011361151 A CN202011361151 A CN 202011361151A CN 112686837 A CN112686837 A CN 112686837A
- Authority
- CN
- China
- Prior art keywords
- feature
- segmentation
- image
- network
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 59
- 201000001441 melanoma Diseases 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 208000000453 Skin Neoplasms Diseases 0.000 claims abstract description 20
- 201000000849 skin cancer Diseases 0.000 claims abstract description 20
- 238000011176 pooling Methods 0.000 claims abstract description 17
- 230000007246 mechanism Effects 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000003709 image segmentation Methods 0.000 claims abstract description 7
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 claims description 16
- 206010028980 Neoplasm Diseases 0.000 claims description 12
- 201000011510 cancer Diseases 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000000926 separation method Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 claims description 2
- 230000003902 lesion Effects 0.000 claims description 2
- 210000003491 skin Anatomy 0.000 description 7
- 238000011160 research Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 208000017520 skin disease Diseases 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 210000002752 melanocyte Anatomy 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 206010040882 skin lesion Diseases 0.000 description 1
- 231100000444 skin lesion Toxicity 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Abstract
一种黑色素癌图像的分割方法及网络，方法包括：(1)对皮肤镜检查图像进行图像预处理；(2)构建用于黑色素癌图像分割的轻量级皮肤癌分割网络，该网络采用编码器‑解码器的结构，包括：(2.1)编码器利用深度可分离卷积和通道随机融合的手段在降低网络参数的同时，保证通道间的信息交流，提取更加有用的特征信息；(2.2)解码器采用注意力机制并结合新的特征融合方式，来保证低层阶段更相关的特征信息和高层阶段的特征信息进行融合，以提高分割的准确率；(2.3)通过全局平均池化层来计算得分获取分割结果。
Description
技术领域
本发明涉及医学图像处理的技术领域，尤其涉及一种黑色素癌图像的分割方法，以及黑色素癌图像的分割网络，其通过对输入的皮肤癌图像给出语义分割结果，为黑色素癌自动化监测系统提供可靠的待处理数据。
背景技术
黑色素瘤是黑色素细胞恶变而来的肿瘤，恶性程度高，多发于皮肤。虽然黑色素瘤发病率和死亡率没有那么高，但以6％～7％的增长速度逐年递增，在美国肿瘤学年会(ASCO)的报道中，它已经成为发病率增长最快的肿瘤之一。尤其在我国，黑色素发病呈快速增长趋势，每年新发病例约2万人，死亡率也逐年快速上升。临床发现，黑色素瘤分期越早，治愈可能性越大；分期越晚，治疗难度越高，预后越差。因此，这种皮肤癌的早期检测至关重要。
目前，利用皮肤镜检查图像来诊断这种癌症是最常用的方法。然而，目前的皮肤镜检查图像大多由皮肤科医生手动分析，费时、费钱、费力，同时，每位皮肤科医生的诊断结果容易出现偏差。
近年来,随着硬件设备和神经网络理论的发展,深度学习已经在包括医学图像分析的诸多领域取得了惊人的表现。基于深度学习方法对皮肤镜图像的皮损区域更精准的分割可以帮助医生和计算机辅助系统更好地做出决策,进而帮助患者争取宝贵的治疗时间。
针对皮肤癌皮肤镜图像分割问题，目前的解决方案大都集中在先对皮肤镜图像进行图像预处理，之后基于深度学习的方法对图像进行进一步的特征提取与分割，最后经过条件随机场进行边界的进一步细化。在两个公开数据集上的结果表明，目前的方法可以达到不错的分割结果。但是，针对该问题，CRF的后处理操作显得相对笨重，其导致训练相对变慢以及训练困难的问题。并且，随着技术的发展，获取测试图像的工具也在不断更新，当前的图像预处理方案可能具有应用的局限性，可能会影响分割结果的精度。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种黑色素癌图像的分割方法，其能够实现端到端的训练模式，减轻网络结构，在保证精度的同时提升分割速度，最后达到可在较小机器上的迁移应用目的，为皮肤癌分割数据集提供了丰富的可分析案例，为该研究的继续深入研究提供了一定的帮助，传递认真对待皮肤癌病的意识，进一步减轻皮肤病医生的工作压力。
本发明的技术方案是：这种黑色素癌图像的分割方法，该方法包括以下步骤：
(1)对皮肤镜检查图像进行图像预处理；
(2)构建用于黑色素癌图像分割的轻量级皮肤癌分割网络，该网络采用编码器-解码器的结构，包括以下分步骤：
(2.1)编码器利用深度可分离卷积和通道随机融合的手段在降低网络参数的同时，保证通道间的信息交流，提取更加有用的特征信息；
(2.2)解码器采用注意力机制并结合新的特征融合方式，来保证低层阶段更相关的特征信息和高层阶段的特征信息进行融合，以提高分割的准确率；
(2.3)通过全局平均池化层来计算得分获取分割结果。
本发明首先对皮肤镜检查图像进行图像预处理，然后构建用于黑色素癌图像分割的轻量级皮肤癌分割网络，将处理好的图像传入给轻量级皮肤癌分割网络，该网络结构采用了编码器-解码器的结构，受深度可分离卷积的启发，编码器利用了深度可分离卷积和通道随机融合的手段在降低网络参数的同时，保证通道间的信息交流，提取更加有用的特征信息，解码器采用了注意力机制并结合新的特征融合方式，来保证低层阶段更相关的特征信息和高层阶段的特征信息进行融合，以提高分割的准确率，最后通过全局平局池化层来计算得分获取分割结果，因此能够实现端到端的训练模式，减轻网络结构，在保证精度的同时提升分割速度，最后达到可在较小机器上的迁移应用目的，为皮肤癌分割数据集提供了丰富的可分析案例，为该研究的继续深入研究提供了一定的帮助，传递认真对待皮肤癌病的意识，进一步减轻皮肤病医生的工作压力。
还提供了一种黑色素癌图像的分割网络，其为用于黑色素癌图像分割的轻量级皮肤癌分割网络，该网络采用编码器-解码器的结构，执行以下步骤：
(2.1)编码器利用深度可分离卷积和通道随机融合的手段在降低网络参数的同时，保证通道间的信息交流，提取更加有用的特征信息；
(2.2)解码器采用注意力机制并结合新的特征融合方式，来保证低层阶段更相关的特征信息和高层阶段的特征信息进行融合，以提高分割的准确率；
(2.3)通过全局平均池化层来计算得分获取分割结果。
附图说明
图1是根据本发明的黑色素癌图像的分割方法的流程图。
图2是根据本发明的黑色素癌图像的分割网络的框架示意图。
图3是图像经过轻量级皮肤癌分割网络的处理示意图。
图4示出了深度分离随机通道模块的结构示意图。
图5示出了优化注意力模块的结构示意图。
图6示出了根据本发明的特征融合模块的结构示意图。
具体实施方式
如图1所示，这种黑色素癌图像的分割方法，该方法包括以下步骤：
(1)对皮肤镜检查图像进行图像预处理；
(2)构建用于黑色素癌图像分割的轻量级皮肤癌分割网络，该网络采用编码器-解码器的结构，包括以下分步骤：
(2.1)编码器利用深度可分离卷积和通道随机融合的手段在降低网络参数的同时，保证通道间的信息交流，提取更加有用的特征信息；
(2.2)解码器采用注意力机制并结合新的特征融合方式，来保证低层阶段更相关的特征信息和高层阶段的特征信息进行融合，以提高分割的准确率；
(2.3)通过全局平均池化层来计算得分获取分割结果。
本发明首先对皮肤镜检查图像进行图像预处理，然后构建用于黑色素癌图像分割的轻量级皮肤癌分割网络，将处理好的图像传入给轻量级皮肤癌分割网络，该网络结构采用了编码器-解码器的结构，受深度可分离卷积的启发，编码器利用了深度可分离卷积和通道随机融合的手段在降低网络参数的同时，保证通道间的信息交流，提取更加有用的特征信息，解码器采用了注意力机制并结合新的特征融合方式，来保证低层阶段更相关的特征信息和高层阶段的特征信息进行融合，以提高分割的准确率，最后通过全局平局池化层来计算得分获取分割结果，因此能够实现端到端的训练模式，减轻网络结构，在保证精度的同时提升分割速度，最后达到可在较小机器上的迁移应用目的，为皮肤癌分割数据集提供了丰富的可分析案例，为该研究的继续深入研究提供了一定的帮助，传递认真对待皮肤癌病的意识，进一步减轻皮肤病医生的工作压力。
优选地，所述步骤(1)中，对图像进行色彩恒常性处理，基于算法 Frankle-McCannRetinex对原始图像进行预处理，使原始图像忽略不同光照条件下的影响，尽量还原图像本来的颜色；对图像进行形态学变化的闭合操作去除病变部分毛发的影响；对图像进行对比度增强，得到输送给卷积神经网络的数据。
优选地，所述步骤(2.1)中，深度分离随机通道模块利用1X1的像素级精度的卷积核对当前输入通道进行扩展，之后经过channel shuffle操作使通道间的信息能够充分的结合，之后将处理的结果经过3X3的深度卷积进一步获得特征图信息，最后经过1X1的pointwise卷积核进行降维，得到的特征图与原输入数据进行结合进行倒残差学习。
优选地，所述步骤(2.2)中，优化注意力模块使用全局平均池化去捕捉全局上下文信息并计算一个注意力向量去引导特征学习。
优选地，所述步骤(2.3)中，特征融合模块首先对两个分支提取到的特征进行串行的拼接操作，经传统卷积网络处理得到初步特征F，对特征F进一步利用全局平局池化得到统一的特征信息F',经过relu激活函数增加了特征学习的泛化能力，得到特征F”经过1X1的卷积将特征通道数再扩展到输入通道数相等，经过sigmoid激活函数得到每个权重的得分F”’，最后进行像素级元素之间的相加操作，将F和F”’进行结合。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种黑色素癌图像的分割网络，该网络通常以与方法各步骤相对应的功能模块的形式表示。
该网络采用编码器-解码器的结构，执行以下步骤：
(2.1)编码器利用深度可分离卷积和通道随机融合的手段在降低网络参数的同时，保证通道间的信息交流，提取更加有用的特征信息；
(2.2)解码器采用注意力机制并结合新的特征融合方式，来保证低层阶段更相关的特征信息和高层阶段的特征信息进行融合，以提高分割的准确率；
(2.3)通过全局平均池化层来计算得分获取分割结果。
优选地，深度分离随机通道模块利用1X1的像素级精度的卷积核对当前输入通道进行扩展，之后经过channel shuffle操作使通道间的信息能够充分的结合，之后将处理的结果经过3X3的深度卷积进一步获得特征图信息，最后经过1X1的pointwise卷积核进行降维，得到的特征图与原输入数据进行结合进行倒残差学习。
优选地，优化注意力模块使用全局平均池化去捕捉全局上下文信息并计算一个注意力向量去引导特征学习。
优选地，特征融合模块首先对两个分支提取到的特征进行串行的拼接操作，经传统卷积网络处理得到初步特征F，对特征F进一步利用全局平局池化得到统一的特征信息F',经过relu激活函数增加了特征学习的泛化能力，得到特征F”经过1X1的卷积将特征通道数再扩展到输入通道数相等，经过 sigmoid激活函数得到每个权重的得分F”’，最后进行像素级元素之间的相加操作，将F和F”’进行结合。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。
Claims (9)
1.一种黑色素癌图像的分割方法，其特征在于：该方法包括以下步骤：
(1)对皮肤镜检查图像进行图像预处理；
(2)构建用于黑色素癌图像分割的轻量级皮肤癌分割网络，该网络采用编码器-解码器的结构，包括以下分步骤：
(2.1)编码器利用深度可分离卷积和通道随机融合的手段在降低网络参数的同时，保证通道间的信息交流，提取更加有用的特征信息；
(2.2)解码器采用注意力机制并结合新的特征融合方式，来保证低层阶段更相关的特征信息和高层阶段的特征信息进行融合，以提高分割的准确率；
(2.3)通过全局平均池化层来计算得分获取分割结果。
2.根据权利要求1所述的黑色素癌图像的分割方法，其特征在于：所述步骤(1)中，对图像进行色彩恒常性处理，基于算法Frankle-McCann Retinex对原始图像进行预处理，使原始图像忽略不同光照条件下的影响，尽量还原图像本来的颜色；对图像进行形态学变化的闭合操作去除病变部分毛发的影响；对图像进行对比度增强，得到输送给卷积神经网络的数据。
3.根据权利要求2所述的黑色素癌图像的分割方法，其特征在于：所述步骤(2.1)中，深度分离随机通道模块利用1X1的像素级精度的卷积核对当前输入通道进行扩展，之后经过channel shuffle操作使通道间的信息能够充分的结合，之后将处理的结果经过3X3的深度卷积进一步获得特征图信息，最后经过1X1的pointwise卷积核进行降维，得到的特征图与原输入数据进行结合进行倒残差学习。
4.根据权利要求3所述的黑色素癌图像的分割方法，其特征在于：所述步骤(2.2)中，优化注意力模块使用全局平均池化去捕捉全局上下文信息并计算一个注意力向量去引导特征学习。
5.根据权利要求4所述的黑色素癌图像的分割方法，其特征在于：所述步骤(2.3)中，特征融合模块首先对两个分支提取到的特征进行串行的拼接操作，经传统卷积网络处理得到初步特征F，对特征F进一步利用全局平局池化得到统一的特征信息F',经过relu激活函数增加了特征学习的泛化能力，得到特征F”经过1X1的卷积将特征通道数再扩展到输入通道数相等，经过sigmoid激活函数得到每个权重的得分F”’，最后进行像素级元素之间的相加操作，将F和F”’进行结合。
6.一种黑色素癌图像的分割网络，其特征在于：其为用于黑色素癌图像分割的轻量级皮肤癌分割网络，该网络采用编码器-解码器的结构，执行以下步骤：
(2.1)编码器利用深度可分离卷积和通道随机融合的手段在降低网络参数的同时，保证通道间的信息交流，提取更加有用的特征信息；
(2.2)解码器采用注意力机制并结合新的特征融合方式，来保证低层阶段更相关的特征信息和高层阶段的特征信息进行融合，以提高分割的准确率；
(2.3)通过全局平均池化层来计算得分获取分割结果。
7.根据权利要求6所述的黑色素癌图像的分割网络，其特征在于：深度分离随机通道模块利用1X1的像素级精度的卷积核对当前输入通道进行扩展，之后经过channel shuffle操作使通道间的信息能够充分的结合，之后将处理的结果经过3X3的深度卷积进一步获得特征图信息，最后经过1X1的pointwise卷积核进行降维，得到的特征图与原输入数据进行结合进行倒残差学习。
8.根据权利要求7所述的黑色素癌图像的分割网络，其特征在于：优化注意力模块使用全局平均池化去捕捉全局上下文信息并计算一个注意力向量去引导特征学习。
9.根据权利要求8所述的黑色素癌图像的分割网络，其特征在于：特征融合模块首先对两个分支提取到的特征进行串行的拼接操作，经传统卷积网络处理得到初步特征F，对特征F进一步利用全局平局池化得到统一的特征信息F”,经过relu激活函数增加了特征学习的泛化能力，得到特征F”经过1X1的卷积将特征通道数再扩展到输入通道数相等，经过sigmoid激活函数得到每个权重的得分F”’，最后进行像素级元素之间的相加操作，将F和F”’进行结合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011361151.1A CN112686837A (zh) | 2020-11-27 | 2020-11-27 | 一种黑色素癌图像的分割方法及网络 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011361151.1A CN112686837A (zh) | 2020-11-27 | 2020-11-27 | 一种黑色素癌图像的分割方法及网络 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112686837A true CN112686837A (zh) | 2021-04-20 |
Family
ID=75446951
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011361151.1A Pending CN112686837A (zh) | 2020-11-27 | 2020-11-27 | 一种黑色素癌图像的分割方法及网络 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112686837A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084794A (zh) * | 2019-04-22 | 2019-08-02 | 华南理工大学 | 一种基于注意力卷积神经网络的皮肤癌图片识别方法 |
| CN111667489A (zh) * | 2020-04-30 | 2020-09-15 | 华东师范大学 | 基于双分支注意力深度学习的癌症高光谱图像分割方法及系统 |
-
2020
- 2020-11-27 CN CN202011361151.1A patent/CN112686837A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084794A (zh) * | 2019-04-22 | 2019-08-02 | 华南理工大学 | 一种基于注意力卷积神经网络的皮肤癌图片识别方法 |
| CN111667489A (zh) * | 2020-04-30 | 2020-09-15 | 华东师范大学 | 基于双分支注意力深度学习的癌症高光谱图像分割方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112132833B (zh) | 一种基于深度卷积神经网络的皮肤病图像病灶分割方法 | |
| CN108629768B (zh) | 一种食管病理图像中上皮组织的分割方法 | |
| CN112215844A (zh) | 基于ACU-Net的MRI多模态图像分割方法和系统 | |
| CN110751636B (zh) | 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法 | |
| CN111275116A (zh) | 基于三维卷积神经网络的乳腺肿瘤超声图像分类方法 | |
| CN114565761A (zh) | 一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法 | |
| CN112529892A (zh) | 消化道内镜病变图像检测方法、系统和计算机存储介质 | |
| CN113298830A (zh) | 一种基于自监督的急性颅内ich区域图像分割方法 | |
| Shen et al. | Medical image segmentation based on Transformer and HarDNet structures | |
| EP4293618A1 (en) | Brain identifier positioning system and method | |
| Zhou et al. | H-Net: a dual-decoder enhanced FCNN for automated biomedical image diagnosis | |
| CN110706217A (zh) | 一种基于深度学习的肺部肿瘤自动勾画方法 | |
| CN117455906B (zh) | 基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法 | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| CN116823868A (zh) | 一种黑色素肿瘤图像分割方法 | |
| CN116228731A (zh) | 一种多对比学习冠状动脉高危斑块检测方法、系统及终端 | |
| CN112686837A (zh) | 一种黑色素癌图像的分割方法及网络 | |
| Meng et al. | Triple up-sampling segmentation network with distribution consistency loss for pathological diagnosis of cervical precancerous lesions | |
| Tu et al. | Segmentation of lesion in dermoscopy images using dense-residual network with adversarial learning | |
| CN110992309B (zh) | 基于深层信息传递网络的眼底图像分割方法 | |
| CN116797512A (zh) | 一种融合残差神经网络与U-Net网络结构的全切片病理图像分割方法 | |
| Li et al. | SugarcaneGAN: A novel dataset generating approach for sugarcane leaf diseases based on lightweight hybrid CNN-Transformer network | |
| CN114529554A (zh) | 一种胃癌her2数字病理切片智能辅助判读方法 | |
| CN112419332A (zh) | 一种面向厚层mri影像的头骨剥离方法及装置 | |
| Vijayalakshmi et al. | Liver tumor detection using CNN |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |