CN116894820B - 一种色素性皮肤病分类检测方法、装置、设备及存储介质 - Google Patents

一种色素性皮肤病分类检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116894820B
CN116894820B CN202310862791.8A CN202310862791A CN116894820B CN 116894820 B CN116894820 B CN 116894820B CN 202310862791 A CN202310862791 A CN 202310862791A CN 116894820 B CN116894820 B CN 116894820B
Authority
CN
China
Prior art keywords
image
original sample
images
category
lesion area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310862791.8A
Other languages
English (en)
Other versions
CN116894820A (zh
Inventor
陆亚平
艾壮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sinopharm Wuhan Precision Medical Technology Co ltd
Sinopharm Genomics Technology Co Ltd
Original Assignee
Sinopharm Wuhan Precision Medical Technology Co ltd
Sinopharm Genomics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sinopharm Wuhan Precision Medical Technology Co ltd, Sinopharm Genomics Technology Co Ltd filed Critical Sinopharm Wuhan Precision Medical Technology Co ltd
Priority to CN202310862791.8A priority Critical patent/CN116894820B/zh
Publication of CN116894820A publication Critical patent/CN116894820A/zh
Application granted granted Critical
Publication of CN116894820B publication Critical patent/CN116894820B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种色素性皮肤病分类检测方法、装置、设备以及存储介质。所述方法包括：采用不同的图像增强方法分别对各个类别的原始样本图像进行数据增强处理；采用图像分割网络对所述数据增强处理后的原始样本图像进行特征图提取，并对提取的特征图进行加权，得到分割图像，并依据分割图像与原始样本图像得到病变区域图像；采用基于DenseNet和Xception网络架构并融合了注意力机制的分类模型分别输出对所述病变区域图像和原始样本图像的特征向量，并利用特征融合模块将所述病变区域图像和原始样本图像的特征向量进行融合，得到原始样本图像的分类结果。本申请实施例提升了分类模型对皮肤病病变的识别能力。

Description

一种色素性皮肤病分类检测方法、装置、设备及存储介质
技术领域
本申请属于图像处理技术领域，特别涉及一种色素性皮肤病分类检测方法、装置、设备以及存储介质。
背景技术
近年来，皮肤病的发病率逐年上升，给全球公共卫生带来了极大的挑战。据统计，全球范围内，在所有皮肤病中，最为致命的是黑色素瘤，其发病率逐年上升。在该背景下，色素性皮肤病的研究备受关注。色素性皮肤病是指影响皮肤色素的各种疾病，包括雀斑、黄褐斑、黑色素瘤等多种类型，其中黑色素瘤是一种恶性肿瘤，多数起源于黑素细胞，可以在很短时间内快速增长，扩散到其他器官致使顽症复杂。由于其易被误诊、易复发等特点，对医学界提出了很大的挑战。
随着皮肤病发病率的不断上升，对皮肤病的自动化检测需求也越来越大。在这方面，机器学习方法和深度学习方法已经成为了当前的研究热点。其中，机器学习方法主要使用传统的支持向量机、决策树，随机森林等机器学习算法，该算法的计算速度快、模型可解释性强，但在处理复杂数据时表现欠佳，因此难以对皮肤病图像进行准确的分类和诊断。深度学习方法是一种基于神经网络的机器学习技术，其使用卷积神经网络等深度神经网络自动从原始数据中学习特征，并通过多层神经网络进行分类和诊断，具有高准确率和强大的泛化能力，然而针对皮肤镜像图片所属皮肤病类别的检测,仍存在以下问题：
1、针对皮肤镜像图片数据集分布不平衡所做的处理存在一定的局限，没有针对每一种数量不一样的图像数量进行不一样的处理，导致部分类别表现较差；
2、现有的图像风格迁移所需要的时间复杂度与空间复杂度太高，依赖于图像风格迁移网络的有效性；
3、仅利用一种技术对图像进行处理分类，导致模型分类算法存在一定的局限性；
4、无法提取皮肤图像的有效信息。
发明内容
本申请提供了一种色素性皮肤病分类检测方法、装置、设备以及存储介质，旨在至少在一定程度上解决现有技术中的上述技术问题之一。
为了解决上述问题，本申请提供了如下技术方案：
一种色素性皮肤病分类检测方法，包括：
收集N个皮肤病类别的原始样本图像，采用不同的图像增强方法分别对各个类别的原始样本图像进行数据增强处理，获得样本量均衡的原始样本图像；
采用图像分割网络对所述数据增强处理后的原始样本图像进行特征图提取，并融合注意力机制对提取的特征图进行加权，得到分割图像，并依据所述分割图像与原始样本图像得到病变区域图像；
采用基于DenseNet和Xception网络架构并融合了注意力机制的分类模型分别对所述病变区域图像和原始样本图像进行分类，输出所述病变区域图像和原始样本图像的特征向量，并利用特征融合模块将所述病变区域图像和原始样本图像的特征向量进行融合，得到原始样本图像的分类结果。
本申请实施例采取的技术方案还包括：所述收集N个皮肤病类别的原始样本图像具体为：
从皮肤癌图像数据集中分别下载N个皮肤病类别的原始样本图像以及与其对应的掩码图像，并按照设定比例将原始样本图像划分为训练集、验证集和测试集；所述N个类别包括黑素细胞痣(nv)、黑色素瘤(mel)、光线性角化病(akiec)、基底细胞癌(bcc)、皮肤纤维瘤(df)、血管损伤(vasc)或/和脂溢性角化病(bkl)，所述设定比例为3:1:1。
本申请实施例采取的技术方案还包括：所述采用不同的图像增强方法分别对各个类别的原始样本图像进行数据增强处理具体为：
获取所述原始样本图像中样本数量最多的类别a，分别计算除类别a以外的其他类别与类别a的样本数量差异数，并判断所述差异数/样本数量是否满足第一设定阈值，如果不满足第一设定阈值，则结束数据增强处理；否则，将满足所述第一设定阈值的其他类别作为类别b，对所述类别b中的原始样本图像做图像几何变换，所述图像几何变换包括垂直镜像翻转、水平镜像翻转及对角镜像翻转，且每幅原始样本图像仅使用一次图像几何变换，在几何变换结束后重新计算所述类别b与类别a的样本数量差异数，并再次判断所述差异数/样本数量是否满足第一设定阈值，如果不满足第一设置阈值，则结束数据增强，否则，从所述其他类别中找出差异数/样本数量满足第二设定阈值的类别c、差异数/样本数量满足第三设定阈值的类别d、差异数/样本数量满足第四设定阈值的类别e以及差异数/样本数量满足第五设定阈值的类别f；
对类别c中的原始样本图像进行设定次数的迭代像素增强，直到所述类别c与类别a的样本数量差异数小于第一设定阈值；其中，所述像素增强包括对比度增强、高斯噪声、像素相加或高斯滤波，且每种增强方式仅使用一次；
对类别d中的所有原始样本图像进行像素增强处理，直到所述类别d与类别a的样本数量差异数小于第一设定阈值；
随机选择类别e中差异数/4的原始样本图像进行像素增强处理，直到所述类别e与类别a的样本数量差异数小于第一设定阈值；
从所述类别f中随机选择与所述样本数量差异数数量相同的原始样本图像，并针对每幅原始样本图像随机选择一种像素增强方法进行增强处理，直到所述类别f与类别a的样本数量差异数小于第一设定阈值。
本申请实施例采取的技术方案还包括：所述图像分割网络包括Xception编码器、类UNET解码器结构和注意力机制，所述采用图像分割网络对原始样本图像进行特征图提取，并融合注意力机制对提取的特征图进行加权，得到分割图像，并依据分割图像与原始样本图像得到病变区域图像具体为：
将原始样本图像更改为(448,608,3)后作为图像分割网络的输入图像，通过Xception编码器对所述输入图像进行特征提取，通过类UNET解码器结构对所述Xception编码器输出的特征图进行解码，并通过注意力机制对所述特征图上每个数据点的高度、宽度和通道进行编码，输出最终的分割图像，并依据所述分割图像与原始样本图像得到病变区域图像。
本申请实施例采取的技术方案还包括：所述通过注意力机制对所述特征图上每个数据点的高度、宽度和通道进行编码具体为：
对于特征图映射, 所述注意力机制对高度、宽度和通道进行权重计算，得到/>,/>和/>，模型的输出特征图为/>；所述注意力机制的计算公式为：
上式中，表示特征图高度上的关注权值，/>表示特征图宽度上的关注权值，/>表示特征图通道上的关注权值，3个关注权值的计算公式分别为：
)
上式中，AvgPool_h与AvgPool_w分别表示对高度和宽度执行的平均池化操作，MaxPool_h与MaxPool_w分别表示对高度和宽度执行的最大池化操作，Concat_h与Concat_w分别表示对高度和宽度执行的连接操作，f表示3x3的卷积操作，GAP和GMP分别表示通道上的全局平均池化和全局最大池化，W 0表示全连接层与非线性激活函数ReLU的融合，W 1代表全连接层，sigmoid代表非线性激活函数。
本申请实施例采取的技术方案还包括：所述采用图像分割网络对所述数据增强处理后的原始样本图像进行特征图提取，并融合注意力机制对提取的特征图进行加权，得到分割图像，并依据所述分割图像与原始样本图像得到病变区域图像之后，还包括：
采用k-means聚类算法对所有病变区域图像的高度和宽度进行聚类，所述k-means聚类算法将每幅病变区域图像视为一个数据点，并使用聚类算法找到各个数据点之间的相似性，将较为相似的数据点分成一组，得到最优高度和宽度的病变区域图像。
本申请实施例采取的技术方案还包括：所述采用基于DenseNet和Xception和网络架构并融合了注意力机制的分类模型分别对所述病变区域图像和原始样本图像进行分类，输出所述病变区域图像和原始样本图像的特征向量具体为：
对所述病变区域图像和训练集中的原始样本图像进行预处理，将其缩放为尺寸一致的图像并进行标准化处理；
将所述标准化处理后的病变区域图像和原始样本图像输入分类网络，所述分类网络利用注意力机制对所述病变区域图像和原始样本图像上每个数据点的高度、宽度和通道进行编码，并分别通过DenseNet网络和Xception网络输出所述病变区域图像和原始样本图像的特征向量。
本申请实施例采取的另一技术方案为：一种色素性皮肤病分类检测方法装置，包括：
数据采集模块：用于收集N个皮肤病类别的原始样本图像，采用不同的图像增强方法分别对各个类别的原始样本图像进行数据增强处理，获得样本量均衡的原始样本图像；
特征提取模块：用于采用图像分割网络对所述数据增强处理后的原始样本图像进行特征图提取，并融合注意力机制对提取的特征图进行加权，得到分割图像，并依据所述分割图像与原始样本图像得到病变区域图像；
数据分类模块：用于采用基于DenseNet和Xception网络架构并融合了注意力机制的分类模型分别对所述病变区域图像和原始样本图像进行分类，输出所述病变区域图像和原始样本图像的特征向量，并利用特征融合模块将所述病变区域图像和原始样本图像的特征向量进行融合，得到原始样本图像的分类结果。
本申请实施例采取的又一技术方案为：一种设备，所述设备包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现所述色素性皮肤病分类检测方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以控制色素性皮肤病分类检测方法。
本申请实施例采取的又一技术方案为：一种存储介质，存储有处理器可运行的程序指令，所述程序指令用于执行所述色素性皮肤病分类检测方法。
相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的色素性皮肤病分类检测方法、装置、设备以及存储介质采用图像增强、图像分割、聚类分析、针对病变区域图像和原始样本图像的分类以及特征向量的融合输出等系统架构得到最终的皮肤病分类结果，并利用注意力机制对特征图进行编码，从而更好地处理图像中的关键特征，提高网络性能和稳定性。相比与现有技术，本申请实施例采用不同的数据增强方式对原始样本图像进行数据增强，可以解决有效解决样本数量不平衡的问题，避免模型训练过拟合；通过引入注意力机制对特征图进行编码，能够捕捉特征图中的信息差异，从而提高网络性能和稳定性，实现更加精确和可靠的图像分割；通过融合基于病变区域图像和原始样本图像的特征向量，从而提高分类的准确性，提升分类模型对皮肤病病变的识别能力。
附图说明
图1是本申请实施例的色素性皮肤病分类检测方法的流程图；
图2是本申请实施例中数据增强处理后的原始样本图像；
图3为本申请实施例的注意力机制计算流程图；
图4为本申请实施例的图像分割网络结构示意图；
图5为本申请实施例中特征融合模块的特征融合流程示意图；
图6为本申请实施例的色素性皮肤病分类检测方法装置结构示意图；
图7为本申请实施例的设备结构示意图；
图8为本申请实施例的存储介质的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
请参阅图1，是本申请实施例的色素性皮肤病分类检测方法的流程图。本申请实施例的色素性皮肤病分类检测方法包括以下步骤
S100：收集N个皮肤病类别的原始样本图像，并按照设定比例将原始样本图像划分为训练集、验证集和测试集；
本步骤中，通过从皮肤癌图像数据集(https://challenge2018.isic-archive.com/和https://dataverse.harvard.edu/dataset.xhtml?persistentId=doi:10.7910/DVN/DBW86T)中分别下载黑素细胞痣(NV)、黑色素瘤(MEL)、光线性角化病(AKIEC)、基底细胞癌(BCC)、皮肤纤维瘤(DF)、血管损伤(VASC)以及脂溢性角化病(BKL)等七个皮肤病类别的原始样本图像以及与其对应的掩码图像，样本下载量为10015，七个类别的样本量分布各为6705，1113，327,514,115,142,1099。其中，训练集、验证集和测试集的划分比例为3:1:1，训练集与验证集用于模型的训练，测试集用于模型的评估，具体的类别数量N、样本量以及样本划分比例可根据实际应用场景进行设定。
S110：对训练集中的原始样本图像进行数据清洗后，采用不同的图像增强方法分别对不同类别的原始样本图像进行数据增强处理；
本步骤中，数据清洗即对训练集中的原始样本图像进行纠错，检查原始样本图像的一致性，并处理原始样本图像中的无效值和缺失值。数据增强处理即分别采用镜像翻转、对比度增强、高斯噪声、像素加法增强器以及高斯滤波器等方法对训练集中的原始样本图像进行数据增强，以解决训练集中各个类别的样本数量不平衡的问题。其中，镜像翻转方法包括水平、垂直以及对角镜像翻转，水平镜像翻转是指以图像垂直中轴线为中心将图像的左右两部分进行镜像对换，垂直镜像翻转是指以图像水平中轴线为中心将图像的上下两部分进行镜像对换，对角镜像翻转是指以对角线为中心将图像进行镜像对换。镜像翻转操作不仅可以增加数据集的多样性，还有助于提高机器学习模型的鲁棒性和泛化性能。对比度增强是指通过调整图像像素的对比度以提高图像的清晰度和视觉效果。具体的，对比度增强通过对输入图像中像素值的对比度进行调整，增加数据的多样性，提高机器学习模型的性能。本申请实施例中通过设置增强系数α来增加图像的对比度，具体算法如下表1所示：
表1：对比度增强算法
高斯噪声是在原始图像的像素值上加上服从高斯分布的随机数，可以模拟现实场景中的摄像头震动和光线变化等图像干扰，从而增加数据集的多样性，提高机器学习模型的鲁棒性和泛化性能。像素加法增强器是一种调整图像亮度的技术，通过为输入图像的每个像素值进行一个固定的加法操作，以改变图像的亮度，从而增加数据集的多样性。高斯滤波器是一种于图像平滑操作的经典算法，通过对每个像素周围的像素进行加权平均，以实现像素模糊效果。
进一步地，采用不同的图像增强方法分别对不同类别的原始样本图像进行数据增强处理具体为：
S111：获取原始样本图像中样本数量最多的类别a（NV），分别计算除类别a以外的其他类别与类别a的样本数量差异数，并判断差异数/样本数量是否满足第一设定阈值，如果不满足第一设定阈值，则结束数据增强处理；否则，执行S112；其中，第一设定阈值为差异数/样本数量>0.5，具体可根据实际应用场景进行设定；
S112：将满足第一设定阈值的其他类别作为类别b，对类别b中的原始样本图像做图像几何变换，图像几何变换包括垂直镜像翻转、水平镜像翻转及对角镜像翻转，且每幅原始样本图像仅使用一次图像几何变换，在几何变换结束后重新计算类别b与类别a的样本数量差异数，并再次判断差异数/样本数量是否满足第一设定阈值，如果不满足第一设置阈值，则结束数据增强；否则，执行S113；
S113：从其他类别中分别找出差异数/样本数量满足第二设定阈值的类别c（DF和VASC）、差异数/样本数量满足第三设定阈值的类别d (AKIEC)、差异数/样本数量满足第四设定阈值的类别e(BCC)以及差异数/样本数量满足第五设定阈值的类别f(MEL,BKL)；其中，第二设定阈值为差异数/样本数量>5，第三设定阈值为差异数/样本数量小于5且大于4，第四设定阈值为差异数/样本数量小于4且大于1，第五设定阈值为差异数/样本数量小于1且大于0.5，具体的阈值大小及范围可根据实际应用场景进行设定；
S114：对类别c中的原始样本图像进行设定次数的迭代像素增强，直到类别c与类别a的样本数量差异数小于第一设定阈值；其中，像素增强方式包括但不限于对比度增强、高斯噪声、像素相加或高斯滤波等，且每种增强方式仅使用一次；具体迭代像素增强过程为：第一次迭代时使用该类别下的数据集中所有原始样本图像进行像素增强，并将增强后的图像加入该类别下的数据集中，形成新的数据集；第二次迭代时使用该类别下新的数据集中所有原始样本图像进行像素增强，并将增强后的图像加入数据集中，以此类推，直到达到迭代次数或类别c与类别a的样本数量差异数小于第一设定阈值。本申请实施例通过采用不同的像素增强方式进行多次迭代增强，加强了图像增强的多样性。
S115：对类别d中的所有原始样本图像进行像素增强处理，直到类别d与类别a的样本数量差异数小于第一设定阈值；
S116：随机选择类别e中差异数/4的原始样本图像进行像素增强处理，直到类别e与类别a的样本数量差异数小于第一设定阈值；
S117：从类别f中随机选择与样本数量差异数数量相同的原始样本图像，并针对每幅原始样本图像随机选择一种像素增强方法进行增强处理，直到类别f与类别a的样本数量差异数小于第一设定阈值。
图像数据增强处理后的原始样本图像如图2所示。为了保证增强处理后的原始样本图像与掩模图像一一对应，本申请实施例选择了与样本图像一一对应的HAM10000数据集中的掩模图像，将上述的图像增强操作都应用到掩码图像上，以避免增强处理后的样本图像与掩码图像不匹配。同时，本申请实施例采用不同的图像增强方法分别对不同类别的原始样本图像进行数据增强处理，可以避免模型训练过拟合。
S120：采用图像分割网络对数据增强处理后的训练集原始样本图像进行特征图提取，并融合注意力机制对提取的特征图进行加权，得到分割图像，并依据分割图像与原始样本图像得到病变区域图像；
本步骤中，图像分割网络结构如图4所示，其包括Xception编码器、类UNET解码器结构和注意力机制。为了避免UNet存储大量的零填充层，本申请实施例将将原始样本图像由(450,600,3)更改为(448,608,3)后作为图像分割网络的输入图像，从而减少网络中的冗余信息，提高网络的效率和准确性。通过Xception编码器对输入图像进行特征提取，通过类UNET的解码器结构对Xception编码器输出的特征图进行解码，并通过注意力机制对特征图进行加权，输出最终的分割图像，并依据所述分割图像与原始样本图像得到病变区域图像。具体的，Xception是一种基于深度卷积神经网络的图像分类器，采用深度可分离卷积层代替传统的卷积层，可以大大减少参数数量，提高模型的效率和准确性。本申请实施例通过使用Xception编码器，可以有效地提取输入图像的高精度特征，为后续的分割任务提供有力支持。UNET是一种经典的图像分割网络，采用对称的编码器和解码器结构，并通过跳跃连接将编码器和解码器之间的信息传递起来，从而实现了精确的像素级别分割。本申请实施例基于UNET进行改进，通过反卷积和跳跃连接将Xception编码器输出的特征图逐步还原成原始样本图像的分割结果，从而实现了高精度的像素级别分割。注意力机制可以通过学习如何自适应地选择和分配注意力，让模型更加关注重要的物体或特征，使得模型在处理大量输入数据时更加关注重要的特征区域，同时忽略无关的信息，从而提高计算机视觉模型的性能和准确性。本申请实施例通过引入注意力机制对特征图上每个数据点的高度、宽度和通道进行编码，能够捕捉特征图中的信息差异，从而提高网络性能和稳定性，实现更加精确和可靠的图像分割。
进一步地，如图3所示，为本申请实施例的注意力机制计算流程图，其具体计算过程具体为：对于特征图映射, 注意力机制对高度、宽度和通道进行权重计算，得到/>,/>和/>。因此，模型的输出特征图为/>。注意力机制的计算公式为：
(1)
式（1）中，表示特征图高度上的关注权值，/>表示特征图宽度上的关注权值，/>表示特征图通道上的关注权值。3个关注权值的计算公式分别为：
(2)
(3)
) (4)
式（2）、（3）、（4）中，AvgPool_h与AvgPool_w分别表示对高度和宽度执行的平均池化操作，MaxPool_h与MaxPool_w分别表示对高度和宽度执行的最大池化操作，Concat_h与Concat_w分别表示对高度和宽度执行的连接操作，f表示3x3的卷积操作，GAP和GMP分别表示通道上的全局平均池化和全局最大池化，W 0表示全连接层与非线性激活函数ReLU的融合，W 1代表全连接层，sigmoid代表非线性激活函数。
S130：采用k-means聚类算法对训练集的所有病变区域图像的高度和宽度进行聚类，根据聚类结果得到最优高度和宽度的病变区域图像；
本步骤中，由于在图像分割任务中可能会导致每幅病变区域图像的大小不一，不利于分类模型的图像分类。为了解决上述不足，本申请实施例采用k-means聚类算法对所有病变区域图像的高度和宽度进行聚类，得到最优高度和宽度的病变区域图像。k-means聚类算法将每幅病变区域图像视为一个数据点，并使用聚类算法找到各个数据点之间的相似性，将较为相似的数据点分成一组，从而得到最优尺寸的病变区域图像，以确保分类模型的训练和预测能够取得更好的效果。
S140：将聚类后的病变区域图像和训练集中的原始样本图像输入基于DenseNet和Xception和网络架构并融合了注意力机制的分类网络，分类网络利用注意力机制对病变区域图像和原始样本图像上每个数据点的高度、宽度和通道进行编码，并分别通过DenseNet网络和Xception网络输出病变区域图像和原始样本图像的特征向量；
本步骤中，分类网络是基于DenseNet和Xception网络网络架构进行改进的机器学习模型。在进行图像分类之前，需要对聚类后的病变区域图像和训练集中的原始样本图像进行预处理，将其缩放为尺寸一致的图像并进行标准化处理，以确保其符合网络输入的要求。接着，需要移除DenseNet网络和Xception网络的顶层，并使用预训练权重加载网络模型。这是由于在皮肤病分类任务中，底层网络已经学习到了边缘、纹理等一些通用特征，这些特征可以直接应用于皮肤病分类任务中，因此可以使用预训练权重加载网络模型，以加速网络训练过程，并提高网络性能。随后，引入注意力机制对病变区域图像和原始样本图像上每个数据点的高度、宽度和通道进行编码，最后，将分类层与网络模型连接起来，以进行网络输出。分类层是将网络输出与正确类别标签相匹配的重要组成部分，为了实现分类任务，通常将全连接层作为分类层。
具体的，由于图像分割任务主要是对图像的局部特征进行分析，而全局特征和语义信息对模型的贡献相对较小，因此使用一个较轻量化的DenseNet网络进行病变区域图像的分类输出。而对于训练集中的原始样本图像，使用Xception网络进行分类输出，Xception网络具有非常强的特征提取能力和分类准确性，从而在保证分类准确性的同时，减少计算量和模型复杂度，从而提高分类模型的实用性和效率。
S150：通过特征融合模块将病变区域图像和原始样本图像的特征向量进行融合，得到最终的皮肤病分类结果；
本步骤中，如图5所示，为本申请实施例中特征融合模块的特征融合流程示意图，具体融合过程包括：将病变区域图像和原始样本图像分别输入不同的网络模型中，并获得三个分类分支的输出结果：分支A—基于病变区域图像的分类结果、分支B—基于原始样本图像的分类结果以及分支C—将病变区域图像和原始样本图像进行融合后的分类结果。由于病变区域图像和原始样本图像是一一对应的，因此它们的分类标签也是一致的，通过计算三个分支的分类结果与各自对应的真实标签的交叉熵损失，得到每个分支的损失值：
分支A的损失值为:;
分支B的损失值为:；
分支C的损失值为:；
根据三个分支的损失值计算得到分类模型的损失值为:。
本申请实施例通过特征融合模块将病变区域图像和原始样本图像的特征向量进行融合得到最终的分类结果，从而提高图像分类的准确性。在模型测试过程中，仅使用分支C的输出结果作为最终预测结果，而分支A和分支B仅在模型训练过程中作为辅助分支，可以有效地融合基于病变区域图像和原始样本图像的分类信息，从而提高最终分类的准确性，提升分类模型对皮肤病病变的识别能力。
基于上述，本申请实施例的色素性皮肤病分类检测方法采用图像增强、图像分割、聚类分析、针对病变区域图像和原始样本图像的分类以及特征向量的融合输出等系统架构得到最终的皮肤病分类结果，并利用注意力机制对特征图进行编码，从而更好地处理图像中的关键特征，提高网络性能和稳定性。相比与现有技术，本申请实施例采用不同的数据增强方式对原始样本图像进行数据增强，可以解决有效解决样本数量不平衡的问题，避免模型训练过拟合；通过引入注意力机制对特征图进行编码，能够捕捉特征图中的信息差异，从而提高网络性能和稳定性，实现更加精确和可靠的图像分割；通过融合基于病变区域图像和原始样本图像的特征向量，从而提高分类的准确性，提升分类模型对皮肤病病变的识别能力。
请参阅图6，为本申请实施例的色素性皮肤病分类检测方法装置结构示意图。本申请实施例的色素性皮肤病分类检测方法装置40包括：
数据采集模块41：用于收集N个皮肤病类别的原始样本图像，采用不同的图像增强方法分别对各个类别的原始样本图像进行数据增强处理，获得样本量均衡的原始样本图像；
特征提取模块42：用于采用图像分割网络对所述数据增强处理后的原始样本图像进行特征图提取，并融合注意力机制对提取的特征图进行加权，得到分割图像，并依据所述分割图像与原始样本图像得到病变区域图像；
数据分类模块43：用于采用基于DenseNet和Xception网络架构并融合了注意力机制的分类模型分别对所述病变区域图像和原始样本图像进行分类，输出所述病变区域图像和原始样本图像的特征向量，并利用特征融合模块将所述病变区域图像和原始样本图像的特征向量进行融合，得到原始样本图像的分类结果。
请参阅图7，为本申请实施例的设备结构示意图。该设备50包括：
存储有可执行程序指令的存储器51；
与存储器51连接的处理器52；
处理器52用于调用存储器51中存储的可执行程序指令并执行以下步骤：收集N个皮肤病类别的原始样本图像，采用不同的图像增强方法分别对各个类别的原始样本图像进行数据增强处理，获得样本量均衡的原始样本图像；采用图像分割网络对所述数据增强处理后的原始样本图像进行特征图提取，并融合注意力机制对提取的特征图进行加权，得到分割图像，并依据所述分割图像与原始样本图像得到病变区域图像；采用基于DenseNet和Xception网络架构并融合了注意力机制网络架构的分类模型分别对所述病变区域图像和原始样本图像进行分类，输出所述病变区域图像和原始样本图像的特征向量，并利用特征融合模块将所述病变区域图像和原始样本图像的特征向量进行融合，得到原始样本图像的分类结果。
其中，处理器52还可以称为CPU（Central Processing Unit，中央处理单元）。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现成可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
请参阅图8，图8为本申请实施例的存储介质的结构示意图。本申请实施例的存储介质存储有能够实现以下步骤的程序指令61：收集N个皮肤病类别的原始样本图像，采用不同的图像增强方法分别对各个类别的原始样本图像进行数据增强处理，获得样本量均衡的原始样本图像；采用图像分割网络对所述数据增强处理后的原始样本图像进行特征图提取，并融合注意力机制对提取的特征图进行加权，得到分割图像，并依据所述分割图像与原始样本图像得到病变区域图像；采用基于DenseNet和Xception网络架构并融合了注意力机制的分类模型分别对所述病变区域图像和原始样本图像进行分类，输出所述病变区域图像和原始样本图像的特征向量，并利用特征融合模块将所述病变区域图像和原始样本图像的特征向量进行融合，得到原始样本图像的分类结果。其中，该程序指令61可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序指令的介质，或者是计算机、服务器、手机、平板等终端设备。其中，服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (7)

1.一种色素性皮肤病分类检测方法，其特征在于，包括：
收集N个皮肤病类别的原始样本图像，并按照设定比例将所述原始样本图像划分为训练集、验证集和测试集，采用不同的图像增强方法分别对训练集中各个类别的原始样本图像进行数据增强处理，获得样本量均衡的训练集原始样本图像；
采用图像分割网络的Xception编码器对数据增强处理后的训练集原始样本图像进行特征图提取，采用图像分割网络的类UNET的解码器结构，通过反卷积和跳跃连接对Xception编码器输出的特征图进行解码，得到分割图像；其中，通过注意力机制对所述特征图上每个数据点的高度、宽度和通道进行编码；依据所述分割图像与所述数据增强处理后的训练集原始样本图像得到病变区域图像，并采用k-means聚类算法对所有病变区域图像的高度和宽度进行聚类，所述k-means聚类算法将每幅病变区域图像视为一个数据点，并找到各个数据点之间的相似性，将较为相似的数据点分成一组，得到最优高度和宽度的病变区域图像；
采用基于DenseNet和Xception网络架构并融合了注意力机制的分类模型分别对聚类后的病变区域图像和所述数据增强处理后的训练集原始样本图像进行分类，所述分类模型首先移除了DenseNet和Xception网络架构的顶层，并使用预训练权重加载网络模型，然后利用注意力机制分别对所述聚类后的病变区域图像和所述数据增强处理后的训练集原始样本图像上每个数据点的高度、宽度和通道进行编码，并分别通过所述DenseNet和Xception网络输出所述聚类后的病变区域图像和所述数据增强处理后的训练集原始样本图像的特征向量，并利用特征融合模块将所述聚类后的病变区域图像和所述数据增强处理后的训练集原始样本图像的特征向量进行融合，得到训练集原始样本图像的分类结果，包括三个分类分支的输出结果：分支A—基于病变区域图像的分类结果、分支B—基于原始样本图像的分类结果以及分支C—将病变区域图像和原始样本图像进行融合后的分类结果，并通过计算三个分支的分类结果与各自对应的真实标签的交叉熵损失、得到每个分支的损失值，根据三个分支的损失值得到分类模型的损失值；
在测试过程中，仅使用分支C的输出结果作为最终预测结果。
2.根据权利要求1所述的色素性皮肤病分类检测方法，其特征在于，所述收集N个皮肤病类别的原始样本图像具体为：
从皮肤癌图像数据集中分别下载N个皮肤病类别的原始样本图像以及与其对应的掩码图像；所述N个皮肤病类别包括黑素细胞痣、黑色素瘤、光线性角化病、基底细胞癌、皮肤纤维瘤、血管损伤或/和脂溢性角化病，所述设定比例为3:1:1。
3.根据权利要求2所述的色素性皮肤病分类检测方法，其特征在于，所述采用不同的图像增强方法分别对各个类别的原始样本图像进行数据增强处理具体为：
获取所述训练集中的原始样本图像中样本数量最多的类别a，分别计算除类别a以外的每一其他类别与类别a的第一样本数量差异数，并判断每一所述第一样本数量差异数是否满足第一设定阈值范围，如果不满足所述第一设定阈值范围，则结束数据增强处理；否则，将满足所述第一设定阈值范围的所述第一样本数量差异数对应的所述其他类别均作为类别b，对所述类别b中的所有类别的原始样本图像做图像几何变换，所述图像几何变换包括垂直镜像翻转、水平镜像翻转及对角镜像翻转，且每幅原始样本图像仅使用一次图像几何变换，在几何变换结束后重新计算所述类别b中的每一类别与所述类别a的第二样本数量差异数；并再次判断所述第二样本数量差异数是否满足所述第一设定阈值范围，如果不满足所述第一设定阈值范围，则结束数据增强，否则，从满足所述第一设定阈值范围的所述第二样本数量差异数中，找出满足第二设定阈值范围的所述第二样本数量差异数对应的类别均作为类别c、找出满足第三设定阈值范围的所述第二样本数量差异数对应的类别均作为类别d、找出满足第四设定阈值范围的所述第二样本数量差异数对应的类别均作为类别e以及找出满足第五设定阈值范围的所述第二样本数量差异数对应的类别均作为类别f；
对所述类别c中的原始样本图像进行设定次数的迭代像素增强，直到所述类别c与所述类别a的样本数量差异数均满足第一设定阈值范围；其中，所述像素增强包括对比度增强、高斯噪声、像素相加或高斯滤波，且每种增强方式仅使用一次；
对所述类别d中的所有原始样本图像进行像素增强处理，直到所述类别d与所述类别a的样本数量差异数均满足第一设定阈值范围；
随机选择所述类别e中的第二样本数量差异数/4的原始样本图像进行像素增强处理，直到所述类别e与所述类别a的样本数量差异数均满足第一设定阈值范围；
从所述类别f中随机选择与所述第二样本数量差异数数量相同的原始样本图像，并针对每幅原始样本图像随机选择一种像素增强方法进行增强处理，直到所述类别f与所述类别a的样本数量差异数均满足第一设定阈值范围。
4.根据权利要求1所述的色素性皮肤病分类检测方法，其特征在于，所述通过注意力机制对所述特征图上每个数据点的高度、宽度和通道进行编码具体为：
对于特征图映射, 所述注意力机制对高度、宽度和通道进行权重计算，得到/>,/>和/>，模型的输出特征图为/>；所述注意力机制的计算公式为：
上式中，表示特征图高度上的关注权值，/>表示特征图宽度上的关注权值，/>表示特征图通道上的关注权值，3个关注权值的计算公式分别为：
)
上式中，AvgPool_h与AvgPool_w分别表示对高度和宽度执行的平均池化操作，MaxPool_h与MaxPool_w分别表示对高度和宽度执行的最大池化操作，Concat_h与Concat_w分别表示对高度和宽度执行的连接操作，表示3x3的卷积操作，GAP和GMP分别表示通道上的全局平均池化和全局最大池化，W 0表示全连接层与非线性激活函数ReLU的融合，W 1代表全连接层，sigmoid代表非线性激活函数。
5.一种色素性皮肤病分类检测装置，其特征在于，包括：数据采集模块、特征提取模块以及数据分类模块，所述数据采集模块、所述特征提取模块以及所述数据分类模块共同执行如权利要求1-4任一项所述的色素性皮肤病分类检测方法。
6.一种电子设备，其特征在于，包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现权利要求1-4任一项所述的色素性皮肤病分类检测方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以实现色素性皮肤病分类检测方法。
7.一种存储介质，其特征在于，存储有处理器可运行的程序指令，所述程序指令用于执行权利要求1至4任一项所述色素性皮肤病分类检测方法。
CN202310862791.8A 2023-07-13 2023-07-13 一种色素性皮肤病分类检测方法、装置、设备及存储介质 Active CN116894820B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310862791.8A CN116894820B (zh) 2023-07-13 2023-07-13 一种色素性皮肤病分类检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310862791.8A CN116894820B (zh) 2023-07-13 2023-07-13 一种色素性皮肤病分类检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116894820A CN116894820A (zh) 2023-10-17
CN116894820B true CN116894820B (zh) 2024-04-19

Family

ID=88314558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310862791.8A Active CN116894820B (zh) 2023-07-13 2023-07-13 一种色素性皮肤病分类检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116894820B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117808694B (zh) * 2023-12-28 2024-05-24 中国人民解放军总医院第六医学中心 一种深度神经网络下的无痛胃镜图像增强方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256641A (zh) * 2021-07-08 2021-08-13 湖南大学 一种基于深度学习的皮肤病灶图像分割方法
CN113378984A (zh) * 2021-07-05 2021-09-10 国药(武汉)医学实验室有限公司 一种医学图像分类方法、系统、终端以及存储介质
WO2021184817A1 (zh) * 2020-03-16 2021-09-23 苏州科技大学 一种医学图像中肝脏及其病灶分割的方法
CN113744178A (zh) * 2020-08-06 2021-12-03 西北师范大学 一种基于卷积注意力模型的皮肤病变分割方法
CN113812923A (zh) * 2021-08-25 2021-12-21 苏州创影医疗科技有限责任公司 网络模型训练方法和皮肤病变确定装置
CN115457021A (zh) * 2022-09-30 2022-12-09 云南大学 基于联合注意卷积神经网络的皮肤病图像分割方法及系统
CN115937113A (zh) * 2022-11-24 2023-04-07 脉得智能科技(无锡)有限公司 一种皮肤病超声图像多病种识别方法、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG10201405182WA (en) * 2014-08-25 2016-03-30 Univ Singapore Technology & Design Method and system
US10957041B2 (en) * 2018-05-14 2021-03-23 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
WO2021098796A1 (zh) * 2019-11-20 2021-05-27 Oppo广东移动通信有限公司 图像处理方法、装置、设备及计算机可读存储介质
US11875479B2 (en) * 2020-01-02 2024-01-16 Nabin K Mishra Fusion of deep learning and handcrafted techniques in dermoscopy image analysis

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021184817A1 (zh) * 2020-03-16 2021-09-23 苏州科技大学 一种医学图像中肝脏及其病灶分割的方法
CN113744178A (zh) * 2020-08-06 2021-12-03 西北师范大学 一种基于卷积注意力模型的皮肤病变分割方法
CN113378984A (zh) * 2021-07-05 2021-09-10 国药(武汉)医学实验室有限公司 一种医学图像分类方法、系统、终端以及存储介质
CN113256641A (zh) * 2021-07-08 2021-08-13 湖南大学 一种基于深度学习的皮肤病灶图像分割方法
CN113812923A (zh) * 2021-08-25 2021-12-21 苏州创影医疗科技有限责任公司 网络模型训练方法和皮肤病变确定装置
CN115457021A (zh) * 2022-09-30 2022-12-09 云南大学 基于联合注意卷积神经网络的皮肤病图像分割方法及系统
CN115937113A (zh) * 2022-11-24 2023-04-07 脉得智能科技(无锡)有限公司 一种皮肤病超声图像多病种识别方法、设备及存储介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Classification and detection of COVID-19 X-Ray images based on DenseNet and VGG16 feature fusion;Lingzhi Kong et al.;《Biomed Signal Process Control》;第1-11页 *
Detection algorithm for pigmented skin disease based on classifier-level and feature-level fusion;Li Wan et al.;《Frontiers in Public Health》;第1-19页 *
Fusion of U-Net and CNN model for segmentation and classification of skin lesion from dermoscopy images;Vatsala Anand et al.;《Expert Systems With Applications》;第213卷;第1-10页 *
Skin lesion segmentation with attention-based SC-Conv U-Net and featuremap distortion;Yu Wang et al.;《Signal, Image and Video Processing》;第1471-1479页 *
基于U-Net的医学影像分割技术研究;左强;《中国博士学位论文全文数据库 信息科技》;全文 *
结合通道权重更新与密集残差金字塔空间注意力的皮肤病变分割 方法;陈菁菁 等;《中国医学物理学杂志》;第40卷;第39-46页 *

Also Published As

Publication number Publication date
CN116894820A (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
JP7026826B2 (ja) 画像処理方法、電子機器および記憶媒体
CN109584209B (zh) 血管壁斑块识别设备、系统、方法及存储介质
CN112150493B (zh) 一种基于语义指导的自然场景下屏幕区域检测方法
CN108898175A (zh) 基于深度学习胃癌病理切片的计算机辅助模型构建方法
CN114241548A (zh) 一种基于改进YOLOv5的小目标检测算法
CN111860169B (zh) 皮肤分析方法、装置、存储介质及电子设备
CN116894820B (zh) 一种色素性皮肤病分类检测方法、装置、设备及存储介质
Zhu et al. Multi-level colonoscopy malignant tissue detection with adversarial CAC-UNet
CN114565761A (zh) 一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法
Yuan et al. A multi-scale convolutional neural network with context for joint segmentation of optic disc and cup
CN114627269A (zh) 一种基于深度学习目标检测的虚拟现实安防监控平台
CN114511798B (zh) 基于transformer的驾驶员分心检测方法及装置
Zhang et al. R2net: Residual refinement network for salient object detection
Cheng et al. Spatial enhanced rotation aware network for breast mass segmentation in digital mammogram
Gao A method for face image inpainting based on generative adversarial networks
Huang et al. RDCa-Net: Residual dense channel attention symmetric network for infrared and visible image fusion
Bressan et al. Semantic segmentation with labeling uncertainty and class imbalance
CN109635866B (zh) 处理肠图像的方法
Imtiaz et al. BAWGNet: Boundary aware wavelet guided network for the nuclei segmentation in histopathology images
CN112101456A (zh) 注意力特征图获取方法及装置、目标检测的方法及装置
Wang et al. Fast cancer metastasis location based on dual magnification hard example mining network in whole-slide images
He et al. Ultrasonic image diagnosis of liver and spleen injury based on a double-channel convolutional neural network
Lu et al. Low-light image enhancement via gradient prior-aided network
CN115689993A (zh) 基于注意力与多特征融合的皮肤癌图像分割方法及系统
Xu et al. A dark and bright channel prior guided deep network for retinal image quality assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant