CN116977323A - 基于图像编辑的白癜风病变区域分割方法、装置及电子设备 - Google Patents
基于图像编辑的白癜风病变区域分割方法、装置及电子设备 Download PDFInfo
- Publication number
- CN116977323A CN116977323A CN202311023706.5A CN202311023706A CN116977323A CN 116977323 A CN116977323 A CN 116977323A CN 202311023706 A CN202311023706 A CN 202311023706A CN 116977323 A CN116977323 A CN 116977323A
- Authority
- CN
- China
- Prior art keywords
- data
- image
- model
- segmentation
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 131
- 238000000034 method Methods 0.000 title claims abstract description 90
- 230000003902 lesion Effects 0.000 title claims abstract description 89
- 206010047642 Vitiligo Diseases 0.000 title claims abstract description 88
- 238000012549 training Methods 0.000 claims abstract description 99
- 238000002372 labelling Methods 0.000 claims abstract description 69
- 238000013528 artificial neural network Methods 0.000 claims abstract description 36
- 230000008569 process Effects 0.000 claims abstract description 22
- 230000002902 bimodal effect Effects 0.000 claims abstract description 12
- 238000003062 neural network model Methods 0.000 claims abstract description 4
- 238000012216 screening Methods 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 10
- 239000002023 wood Substances 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 210000000746 body region Anatomy 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 230000037311 normal skin Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 241000519995 Stachys sylvatica Species 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 206010040882 skin lesion Diseases 0.000 description 3
- 231100000444 skin lesion Toxicity 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000036285 pathological change Effects 0.000 description 2
- 231100000915 pathological change Toxicity 0.000 description 2
- 208000017520 skin disease Diseases 0.000 description 2
- 208000003367 Hypopigmentation Diseases 0.000 description 1
- 206010029098 Neoplasm skin Diseases 0.000 description 1
- 208000000453 Skin Neoplasms Diseases 0.000 description 1
- 206010040825 Skin depigmentation Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003425 hypopigmentation Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 208000002741 leukoplakia Diseases 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004877 mucosa Anatomy 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000037380 skin damage Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于图像编辑的白癜风病变区域分割方法、装置及电子设备，属于图像处理技术领域，所述方法包括：双模态白癜风数据的对比学习预训练；基于泊松图像编辑方式的数据集扩充；扩充数据集预处理后输入分割神经网络中训练；基于上述分割训练的模型参数作为学生教师模型的半监督框架的基线分割模型，无标注数据与有标注数据共同训练，无标注数据输入教师模型中的预测结果经过精细化得到伪标签作为相应标签训练网络；分割网络得到白癜风病变区域的分割结果；如此，本发明通过使用预先训练好的分割网络，并利用图像编辑辅助得到可靠的神经网络模型对白癜风病变区域进行自动分割，此过程无需依赖人工，提高了分割效率。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种平面图分割方法、装置及电子设备。
背景技术
白癜风是一种常见获得性色素脱失性皮肤病，其主要表现是皮肤粘膜出现白斑，部分患者合并毛发的变白。白癜风在世界范围内的患病率为0.5%-2%。 遗憾的是目前白癜风的诊断没有特异性辅助检查，主要依靠病史和临床表现来诊断，因此白斑的发生发展过程成为医生做出诊断的重要依据。对于充分发展的典型白癜风皮损诊断相对容易，但是在发病早期，很多患者的临床表现并不典型，仅仅是皮肤颜色变浅，发现白斑的时间很短，可能仅为几天到几周，在这么短的时间内很难看出白斑的发展和演变过程。即使有经验的医生也很难与其他的色素减退病鉴别。 皮肤病的诊断主要基于皮损形态，皮肤科医生通过对各种原发皮损和继发皮损的观察来做出诊断。但是肉眼观察主观性很强，不同经验的医生可能得出不同的结论，光线，皮损的时期、演变，是否经过治疗等都会影响医生的判断。而以深度学习为基础的人工智能技术正好可以解决这一问题。人工智能技术通过对皮肤病的深度学习模型进行自动分割，来回答图像中存在什么病变以及它们位于哪里的问题，分割算法的结果可以有效的帮助医生进行临床诊断和评估疾病严重程度。如国际皮肤成像合作组织以多维度和多模态的皮肤影像数据为原料。因此，人工智能算法在皮肤科的优势非常明显，已有研究证实在皮肤肿瘤场景中，“人机结合”模式的性能优于单独人工智能算法或临床医师，从临床角度反映了联合人类专业知识和计算机算法的重要性。
发明内容
针对现有技术存在的问题，本发明实施例提供一种白癜风病变分割方法、装置及电子设备。
第一方面，本发明提供一种基于图像编辑的白癜风病变区域分割方法，包括：
获取医学图像数据后利用专业标注工具对医学图像数据进行标注，获得医学图像对应的标注，基于采集的自然场景下的人体皮肤图像和医学伍德灯照射下的人体皮肤图像组成的图像对进行自监督的多模态数据预训练学习；
对于少量的专家标注数据进行数据扩充，利用基于泊松方程的图像编辑方法对白癜风图像数据进行编辑，通过随机采样不同源图像的前景病变区域，来对目标图像区域进行编辑，得到编辑后的结果图，通过这种方式得到了更自然与多样的白癜风图像数据，同时扩充了数据集的规模；
将所述扩充的数据集经过数据预处理后，输入到分割神经网络中，得到所述的分割网络的语义分割预测结果并且保存训练好的模型参数；
基于所述保存好的模型参数可以得到较为可靠的预测结果，因此基于上述分割训练的模型参数可以作为基线分割模型，加入到称为学生教师模型的半监督框架中，其中无标注数据输入教师模型中得到预测结果，经过进一步的自适应精细化筛选得到更高置信度的伪标签来作为无标注数据的标签来训练网络，同时为了防止模型的过拟合情况，将无标注数据与有标注数据一同在半监督框架中训练，得到最后收敛的模型，最终得到白癜风病变区域的分割结果；
其中，所述图像编辑方式是基于泊松图像编辑原理对原始图像中的白癜风病变区域进行编辑，随机采用不同的病变区域编辑到新的目标图像中，如此获得大量的有标注数据。
在一些实施例中，所述基于图像编辑的白癜风病变区域分割方法是对专家标注数据进行图像编辑的扩充增强后，再进行白癜风病变区域的分割得到模型输出的预测结果。包括：
对于少量的专家标注数据进行数据扩充，利用基于泊松方程的图像编辑方法对白癜风图像数据进行编辑，通过随机采样不同源图像的前景病变区域，来对目标图像区域进行编辑，得到编辑后的结果图；
编辑后图像输入到分割神经网络中，得到所述的分割网络的语义分割预测结果并且保存训练好的模型参数；
本实施例中，图像编辑过程由四个输入组成：源图像，图像的对应标注图，目标图像，目标图像中人体区域范围的对应标注图。在单次编辑过程中，首先输入源图像及其相应的标注图像。将连通域检测算法应用于标注图像，用以将不同的注释区域分割为多个独立的连通区域。随后，从源图像中的相应区域随机采样几个连通区域，这里的每个连通区域都充当执行编辑操作的基本单元。接下来，搜索目标图像的可行区域进行编辑。对于每个待编辑的连通域，我们只选择那些可行的区域进行图像编辑，即确保编辑后不超出图像上的人体区域以及衣物等覆盖的区域，最后对连通域对应的标注和目标图像的标注进行合并，完成对图像的一次编辑操作。
在一些实施例中，所述预训练模型指的是经过分割任务预训练神经网络，包括：
所述基于所述的双模态白癜风数据进行自监督的预训练学习，为原始的分割网络提供一个容易收敛的预训练神经网络；
所述基于图像编辑方式获得的扩充规模后的数据集，在上述预训练模型权重上进一步进行有监督分割任务训练得到的预训练神经网络；
所述基于分割任务训练的模型权重在学生教师模型的半监督框架中联合无标注数据进一步训练收敛所得的预训练神经网络。
在一些实施例中，所述学生教师模型的半监督框架包括学生模型和教师模型2个相同构造的参数不同的模型，包括：
所述教师模型和学生的初始化模型权重加载所述基于图像编辑方式获得的扩充规模后的数据集上训练的神经网络模型，同时教师模型的参数不进行梯度回传，其模型参数由原始的模型参数加上学生模型更新后的参数加权进行动量更新得到；
所述无标注数据输入到教师模型中得到语义预测结果，在经过进一步的自适应精细化筛选得到更高置信度的伪标签来作为无标注数据的标签来训练网络，如此无标注数据的伪标签由教师网络的输出更新得到；
所述无标签数据输入到学生模型并利用上述标签进行有监督的分割训练，最终的语义预测结果输入至学生网络中更新得到；
所述教师学生模型在训练过程中，为了防止模型训练过拟合而导致结果不准确，将无标注数据与有标注数据一同在半监督框架中训练，即有标注数据的预测结果也会输入到学生网络中进行更新得到。
在一些实施例中，所述将所述无标注数据进行预处理后输入到教师网络得到其伪标签用来进行后续训练，包括：
无标注数据在输入到教师模型中得到最终的特征矩阵后，经过一个全连接网络层和激活层得到语义预测结果；
所述语义预测结果进行下一步精细化筛选，去除掉低置信的预测结果像素点，最后结果当作无标注数据的伪标签；
所述精细化筛选策略基于网络预测性能会逐渐变好的先验知识，将随着训练轮次迭代进行自适应调整。
在一些实施例中，所述将所述标注数据进行预处理后输入到学生网络得到其预测标签用来监督训练，包括：
所述无标注数据和有标注数据在输入到教师模型中得到最终的特征矩阵后，经过一个全连接网络层和激活层得到语义预测结果；
所述无标注数据伪标签由教师模型产生，与有标注数据联合进行训练，是为了防止模型训练过拟合而导致结果不准确；
教师模型的梯度回传被冻结，其模型参数仅由教师模型原本的参数和学生模型的参数在每一个批次训练后加权得到。
在一些实施例中，所述数据预处理为图像分割任务中常用到的一些处理技巧，包括：
对输入图像的像素值进行统一处理，首先进行张量化并进行正则化，将像素值映射到一个统一的区间内，方便神经网络训练同时加快收敛；
对输入的图像进行随机裁剪和中心化裁剪，在保证了图像的整体前景区域不受过大影响的前提下，增加了数据集信息组成的多样性；
对输入的图像进行随机翻转和旋转，在不改变图像原有信息的情况下，通过视角和角度的变化，增加了分割任务的难度，促进神经网络学习到更好的特征；
对输入的图像进行高斯模糊和颜色变化，在不改变图像原有分辨率的情况下，通过颜色空间的映射和加入噪声等方式，不改变病变区域同时增加了分割任务的难度，促进神经网络学习到更好的特征。
在一些实施例中，所述标注数据的规范包括：
在标注过程中，应对相应的双模态图像互相参照进行对比标注，并邀请三位白癜风医学专家手工进行像素级标注，然后交叉核对数据集，以确保注释的质量；
如果注释结果不一致，则应重新检查达成共识，然后被视为最终结果带注释的数据。对于三个专家应该遵循相同的注释规则应该遵循；
对于明显的病变区域，标签图应该完全覆盖，同时尽量减少包含到正常的皮肤区域，对于可疑区域，通过使用伍德灯的模态图像和自然光下图像进行对比，做到尽可能确定它们是否属于病变区域，如果有是注释者对特定领域的不确定性，建议不要注释它，避免损害注释的质量。
第二方面，本发明还提供一种白癜风病变区域分割装置，包括：
预训练模块，伍德灯下的白癜风图像和对应的自然光线下的白癜风图像由专家进行数据标注，用于获取待分割的白癜风病变区域图像和其对应的预测结果，基于双模态数据之间存在着同样病变区域这一事实，进行自监督对比学习，对分割网络进行预训练得到容易收敛和训练的预训练神经网络；
图像编辑模块，对于少量的专家标注数据进行数据扩充，利用基于泊松方程的图像编辑方法对白癜风图像数据进行编辑，通过随机采样不同源图像的前景病变区域，来对目标图像区域进行编辑，得到编辑后的结果图，通过这种方式得到了更自然与多样的白癜风图像数据，同时扩充了数据集的规模，所述扩充的数据集经过数据预处理后，输入到分割神经网络中，得到所述的分割网络的语义分割预测结果并且保存训练好的模型参数；
半监督训练模块，基于所述保存好的模型参数可以得到较为可靠的预测结果，因此基于上述分割训练的模型参数可以作为基线分割模型，加入到称为学生教师模型的半监督框架中，其中无标注数据输入教师模型中得到预测结果，经过进一步的自适应精细化筛选得到更高置信度的伪标签来作为无标注数据的标签来训练网络，同时为了防止模型的过拟合情况，将无标注数据与有标注数据一同在半监督框架中训练，得到最后收敛的模型，最终得到白癜风病变区域的分割结果；
其中，所述图像编辑方式是基于泊松图像编辑原理对原始图像中的白癜风病变区域进行编辑，随机采用不同的病变区域编辑到新的目标图像中，如此获得大量的有标注数据。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述白癜风病变区域分割方法。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述白癜风病变区域分割方法。
本发明提供的基于图像编辑的白癜风病变区域基于图像编辑的白癜风病变区域分割方法分割方法、装置及电子设备，通过对专家标注的白癜风图像数据进行对比学习预训练；基于泊松图像编辑方式的数据扩充来增大数据集规模同时增加数据的多样性和信息丰富度；对扩充规模的数据集进行预处理并输入到分割神经网络中，得到白癜风病变图像的预测结果；基于上述分割训练的模型参数作为学生教师模型的半监督框架的基线分割模型，然后将无标注数据与有标注数据一同在半监督框架中训练，其中无标注数据输入教师模型中得到预测结果，经过进一步的精细化得到更高置信度的伪标签来作为无标注的数据的标签训练网络；最后模型结果收敛得到白癜风病变区域的分割结果；如此，本发明通过使用预训练好的分割网络，利用图像编辑进行数据增强得到可靠的分割结果，基于此方式有效的利用大量无标注数据的信息，完成自动分割的结果并提升性能，此过程无需依赖人工，提高了分割效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图j进行简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的白癜风病变区域分割方法的流程示意图之一；
图2是本发明提供的待分割的自然光线下的白癜风病变图像与其对应的医学伍德灯光线下的图像；
图3是本发明提供的基于泊松图像编辑的图像增强方式的流程示意图；
图4是本发明提供的获取泊松图像编辑结果的原理示意图；
图5是本发明提供的基于泊松图像编辑的图像增强方式的可视化效果示意图；
图6是本发明提供的白癜风病变区域分割效果的结果示意图；
图7是本发明白癜风病变区域分割方法的流程示意图之二；
图8是本发明提供的平面图分割装置的结构示意图；
图9是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面将结合附图详细描述本发明的技术方案。图1是本发明提供的白癜风病变区域分割方法的流程示意图之一，该方法中各步骤的执行主体可以是白癜风病变区域分割装置，该装置可通过软件和/或硬件实现，该装置可集成在电子设备中，电子设备可以是终端设备（如智能手机、个人电脑、学习机等），也可以是服务器（如本地服务器或云端服务器，也可以为服务器集群等），也可以是处理器，也可以是芯片等。如图1所示，该方法可以包括如下步骤：
步骤101，伍德灯下的白癜风图像和对应的自然光线下的白癜风图像由专家进行数据标注，用于获取待分割的白癜风病变区域图像和其对应的预测结果，基于双模态数据之间存在着同样病变区域这一事实，进行自监督对比学习，对分割网络进行预训练得到容易收敛和训练的预训练神经网络；
需要说明的是，在本实施例中，专家通过两种模态图像的比较进行标注，同时基于双模态数据进行自监督学习，都是基于医学伍德灯光下的白癜风区域更加明显，如图2所示，展示了自然光线下的白癜风图像，伍德灯光线下白癜风图像，人工标注的标签图像和所述步骤102得到的分割结果预测图；
具体地，自监督学习采用不使用负样本对的BYOL算法进行，其损失函数被定义
为 ，其中代表两个不同的参数集合，在本训练框架中
对应着2个模型结构相同但参数不同的网络，为由参数定义的网络的正则化输出，
为由参数定义的网络的正则化输出， 为L2范数，用于计算向量的欧几里得长度。 是计算两个向量之间的点积，通过此种训练方式来将图2中的不同模态图像的
信息统一到一个分割预训练神经网络中。
步骤102，对于少量的专家标注数据进行数据扩充，利用基于泊松方程的图像编辑方法对白癜风图像数据进行编辑，通过随机采样不同源图像的前景病变区域，来对目标图像区域进行编辑，得到编辑后的结果图，通过这种方式得到了更自然与多样的白癜风图像数据，同时扩充了数据集的规模，所述扩充的数据集经过数据预处理后，输入到分割神经网络中，得到所述的分割网络的语义分割预测结果并且保存训练好的模型参数；
本实施例中，在编辑图像后的扩充数据集上进行的分割训练模型，其原始模型参数加载的是上述步骤101中自监督对比学习预训练的模型参数，基于此得到的分割网络的语义预测结果更加准确，同时模型的收敛过程更快。
本实施例中，对白癜风图像数据进行的基于泊松方程的图像编辑方法流程如图3所示，我们的图像编辑过程由四个输入组成：源图像，图像的对应标注图，目标图像，目标图像中人体区域范围的对应标注图。其中人体区域的标注可以简单地框选出来，也可以通过计算机视觉中的现有方法进行分割，在单次编辑过程中，首先输入源图像及其相应的标注图像。将连通域检测算法应用于标注图像，用以将不同的注释区域分割为多个独立的连通区域。随后，从源图像中的相应区域随机采样几个连通区域，这里的每个连通区域都充当执行编辑操作的基本单元。接下来，搜索目标图像的可行区域进行编辑。对于每个待编辑的连通域，我们只选择那些可行的区域进行图像编辑，即确保编辑后不超出图像上的人体区域以及衣物等覆盖的区域，最后对连通域对应的标注和目标图像的标注进行合并，完成对图像的一次编辑操作。
本实施例中，基于泊松方程的图像编辑方法的原理如图4所示，图像合成是将源图
像S插入目标图像D的区域Ψ的过程，该区域的边界可以用 ∂Ψ表示。我们将目标图像中定
义的已知标量函数表示为 f，而在合成图像区域Ψ中定义的未知标量函数表示为函数。因
此只有是一个未知函数，它表示要求解的合成区域的一部分。此外，我们希望合成区域的
边界尽可能平滑没有撕裂和不自然的情况，这要求边界∂Ψ上的f和 值相等。但是在图像
编辑的任务中，这种简单的处理方法会使图像边界模糊。因此，这个问题的一个有效解决方
案是一个更复杂的微分方程，通过引入引导场形式的进一步约束来修改问题。因此得到一
个变分问题：。∇表示梯度算子，是一个向量场被称作
引导场，它表示图像合成任务中源图像的梯度，因此，通过将源图像S的像素复制到目标图
像D的Ψ区域，同时保证边界区域∂Ψ中值与目标图像一致，如此可以得到合成的图像D。这
个过程正是变分方程所表示的，该方程可以使用狄利克雷边界条件下的泊松方程求解：。 代表拉普拉斯算子，div代表计算向量的散度。
所述的图像编辑的目标是使融合区域的梯度适应目标图像，同时保持边界处的值一致。这需要选择一个适当的 v 来指导该过程。也就是说，图4所示Ψ区域内的图像梯度应从目标图像D或源图像S中选择。对于小规模数据集上的图像编辑，不仅要考虑图像总数，还要考虑图像的真实性，这也是引入泊松图像编辑的目的。所述的图像编辑策略采用了两种方式进行图像编辑。策略一称为源图像梯度模式，在图像编辑过程中仅根据源图像确定目标区域的梯度；有时源图像和目标图像之间的风格差异很大，源图像的梯度信息无法充分利用。如果直接编辑这样两张图片，就会得到一张违和的不真实图片。解决方案是，当源图像 S 的梯度强于目标图像 D 的梯度时，将 v 设置为源图像 S 的梯度，否则，将其设置为目标图像 D 的梯度。策略二称为混合梯度模式，通过混合目标和源图像的信息来获得更自然的图像。这样，保留了目标和原始图像梯度的部分信息，并根据各自的梯度强度线性调整比例。由于人体皮肤图像比较接近，在大多数情况下也可以使用源图像的梯度信息。因此，我们同时使用源图像梯度和混合梯度策略来增加样本的丰富度。如图 3 右边所示，我们通过固定随机种子，在两种策略下演示了相同连通域标注的编辑结果，此时它们的标注图像是相同的，图5是本发明提供的基于泊松图像编辑的图像增强方式的可视化效果示意图；
步骤103，基于所述保存好的模型参数可以得到较为可靠的预测结果，因此基于上述分割训练的模型参数可以作为基线分割模型，加入到称为学生教师模型的半监督框架中，其中无标注数据输入教师模型中得到预测结果，经过进一步的自适应精细化筛选得到更高置信度的伪标签来作为无标注数据的标签来训练网络，同时为了防止模型的过拟合情况，将无标注数据与有标注数据一同在半监督框架中训练，得到最后收敛的模型，最终得到白癜风病变区域的分割结果；
基于置信度的伪标签方法可以利用未标记数据中的信息，在缺乏足够的标记数据样本时提高模型性能。图6展示了所述方法的可视化预测结果，依次为白癜风数据图，专家标注图，基线模型的分割预测结果图，加入基于图像编辑数据增强后的分割预测结果图，加入半监督训练后的分割预测结果图。
具体地，所述自适应精细化筛选的策略为，；；否则ignore。
其中 代表对于无标签数据i所对应的标注图， 对应的是图像i的第j个像
素在经过softmax激活后得到的概率值，c代表的是分割网络的最后一层的输出类别数，如
果这2个范围条件都不满足，则忽略该像素点不参与梯度运算，随着训练过程中网络性能的
逐渐提高，预测的伪标签变得越来越可靠。为了解释这一点，我们线性调整阈值，计算方法
如下：
根据多次实验结果的验证，将过滤阈值和随着时间的推移逐渐放
宽。变量 和 表示在获取高阈值期间获得的最高值和最低值的上限和
下限。同样，和表示低阈值的相应限制，epoch 表示最大训练轮次，而 t
表示剩余训练轮次。由于神经网络的性能随着训练迭代的增加而逐渐提高，基于这个先验
知识这里放宽了阈值的选择范围来获得更好的性能。
所述半监督框架为图7所示的教师学生框架，是一种经典的半监督学习方法，其中教师模型参数是学生模型参数的连续平均值。在一些实施例中，所述学生教师模型的半监督框架包括学生模型和教师模型2个相同构造的参数不同的模型，包括：
所述教师模型和学生的初始化模型权重加载所述基于图像编辑方式获得的扩充规模后的数据集上训练的神经网络模型，同时教师模型的参数不进行梯度回传，其模型参数由原始的模型参数加上学生模型更新后的参数加权进行动量更新得到；
所述无标注数据输入到教师模型中得到语义预测结果，在经过进一步的自适应精细化筛选得到更高置信度的伪标签来作为无标注数据的标签来训练网络，如此无标注数据的伪标签由教师网络的输出更新得到；
所述无标签数据输入到学生模型并利用上述标签进行有监督的分割训练，最终的语义预测结果输入至学生网络中更新得到；
所述教师学生模型在训练过程中，为了防止模型训练过拟合而导致结果不准确，将无标注数据与有标注数据一同在半监督框架中训练，即有标注数据的预测结果也会输入到学生网络中进行更新得到。
在一些实施例中，所述预训练模型指的是经过分割任务预训练神经网络，包括：
所述基于所述的双模态白癜风数据进行自监督的预训练学习，为原始的分割网络
提供一个容易收敛的预训练神经网络，图7所示的 代表的模型其在训练分割任务时需
要加载所述自监督的预训练模型权重参数；
所述基于图像编辑方式获得的扩充规模后的数据集，在上述预训练模型权重上进一步进行有监督分割任务训练得到的预训练神经网络；
所述基于分割任务训练的模型权重在学生教师模型的半监督框架中联合无标注
数据进一步训练收敛所得的预训练神经网络，图7所示的 代表的教师模型 代表
的学生模型的权重参数，在半监督框架学习的训练中需要加载所述有监督分割任务训练得
到的模型权重参数；
对于最终的测试数据集，可以加载所述的半监督框架训练后的模型权重参数，待测试的数据输入到该神经网络中即可得到预测分割结果。
在一些实施例中，所述将所述无标注数据进行预处理后输入到教师网络得到其伪标签用来进行后续训练，包括：
无标注数据在输入到教师模型中得到最终的特征矩阵后，经过一个全连接网络层和激活层得到语义预测结果；
所述语义预测结果进行下一步精细化筛选，去除掉低置信的预测结果像素点，最后结果当作无标注数据的伪标签；
所述精细化筛选策略基于网络预测性能会逐渐变好的先验知识，将随着训练轮次迭代进行自适应调整。
在一些实施例中，所述将所述标注数据进行预处理后输入到学生网络得到其预测标签用来监督训练，包括：
所述无标注数据和有标注数据在输入到教师模型中得到最终的特征矩阵后，经过一个全连接网络层和激活层得到语义预测结果；
所述无标注数据伪标签由教师模型产生，与有标注数据联合进行训练，是为了防止模型训练过拟合而导致结果不准确；
教师模型的梯度回传被冻结，其模型参数仅由教师模型原本的参数和学生模型
的参数在每一个批次训练后加权得到。
具体地，
其中表示t时刻学生模型的参数，表示t时刻教师模型的参数，因此教师模型的
参数由其上一个t-1时刻的模型参数与t时刻学生模型的参数滑动平均得到。
在一些实施例中，所述数据预处理为图像分割任务中常用到的一些处理技巧，包括：
对输入图像的像素值进行统一处理，首先进行张量化并进行正则化，将像素值映射到一个统一的区间内，方便神经网络训练同时加快收敛；
对输入的图像进行随机裁剪和中心化裁剪，在保证了图像的整体前景区域不受过大影响的前提下，增加了数据集信息组成的多样性；
对输入的图像进行随机翻转和旋转，在不改变图像原有信息的情况下，通过视角和角度的变化，增加了分割任务的难度，促进神经网络学习到更好的特征；
对输入的图像进行高斯模糊和颜色变化，在不改变图像原有分辨率的情况下，通过颜色空间的映射和加入噪声等方式，不改变病变区域同时增加了分割任务的难度，促进神经网络学习到更好的特征。
在一些实施例中，所述标注数据的规范包括：
在标注过程中，应对相应的双模态图像互相参照进行对比标注，并邀请三位白癜风医学专家手工进行像素级标注，然后交叉核对数据集，以确保注释的质量；
如果注释结果不一致，则应重新检查达成共识，然后被视为最终结果带注释的数据。对于三个专家应该遵循相同的注释规则应该遵循；
对于明显的病变区域，标签图应该完全覆盖，同时尽量减少包含到正常的皮肤区域，对于可疑区域，通过使用伍德灯的模态图像和自然光下图像进行对比，做到尽可能确定它们是否属于病变区域，如果有是注释者对特定领域的不确定性，建议不要注释它，避免损害注释的质量。
本实施例中，利用IoU和Dice指标来计算分割结果的准确性，；
其中，为白癜风病变区域图的分割结果，gt是标注的真实分割结果，两个指标
都是越高说明分割结果越准确；
进一步地，本实施例中还根据白癜风病变区域图的分割结果与真实分割结果计算出相应的TP（True Positives，正报）、FP（False Positives，误报）及FN（False Negatives，漏报）；
其中，TP即指代匹配对数，FP白癜风病变区域图的分割结果未匹配真实分割结果的对数，FN指代真实分割结果未匹配白癜风病变区域图分割结果的对数。
图8是本发明提供的白癜风病变区域分割装置的结构示意图，如图8所示，所述装置包括：
预训练模块810，伍德灯下的白癜风图像和对应的自然光线下的白癜风图像由专家进行数据标注，用于获取待分割的白癜风病变区域图像和其对应的预测结果，基于双模态数据之间存在着同样病变区域这一事实，进行自监督对比学习，对分割网络进行预训练得到容易收敛和训练的预训练神经网络；
图像编辑模块820，对于少量的专家标注数据进行数据扩充，利用基于泊松方程的图像编辑方法对白癜风图像数据进行编辑，通过随机采样不同源图像的前景病变区域，来对目标图像区域进行编辑，得到编辑后的结果图，通过这种方式得到了更自然与多样的白癜风图像数据，同时扩充了数据集的规模，所述扩充的数据集经过数据预处理后，输入到分割神经网络中，得到所述的分割网络的语义分割预测结果并且保存训练好的模型参数；
半监督训练模块830，基于所述保存好的模型参数可以得到较为可靠的预测结果，因此基于上述分割训练的模型参数可以作为基线分割模型，加入到称为学生教师模型的半监督框架中，其中无标注数据输入教师模型中得到预测结果，经过进一步的自适应精细化筛选得到更高置信度的伪标签来作为无标注数据的标签来训练网络，同时为了防止模型的过拟合情况，将无标注数据与有标注数据一同在半监督框架中训练，得到最后收敛的模型，最终得到白癜风病变区域的分割结果；
其中，所述图像编辑方式是基于泊松图像编辑原理对原始图像中的白癜风病变区域进行编辑，随机采用不同的病变区域编辑到新的目标图像中，如此获得大量的有标注数据。
图9是本发明提供的电子设备的结构示意图，如图9所示，该电子设备可以包括：处理器（processor）910、通信接口（Communications Interface）920、存储器（memory）930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行平面图分割方法，该方法包括：
获取医学图像数据后利用专业标注工具对医学图像数据进行标注，获得医学图像对应的标注，基于采集的自然场景下的人体皮肤图像和医学伍德灯照射下的人体皮肤图像组成的图像对进行自监督的多模态数据预训练学习；
对于少量的专家标注数据进行数据扩充，利用基于泊松方程的图像编辑方法对白癜风图像数据进行编辑，通过随机采样不同源图像的前景病变区域，来对目标图像区域进行编辑，得到编辑后的结果图，通过这种方式得到了更自然与多样的白癜风图像数据，同时扩充了数据集的规模；
将所述扩充的数据集经过数据预处理后，输入到分割神经网络中，得到所述的分割网络的语义分割预测结果并且保存训练好的模型参数；
基于所述保存好的模型参数可以得到较为可靠的预测结果，因此基于上述分割训练的模型参数可以作为基线分割模型，加入到称为学生教师模型的半监督框架中，其中无标注数据输入教师模型中得到预测结果，经过进一步的自适应精细化筛选得到更高置信度的伪标签来作为无标注数据的标签来训练网络，同时为了防止模型的过拟合情况，将无标注数据与有标注数据一同在半监督框架中训练，得到最后收敛的模型，最终得到白癜风病变区域的分割结果；
其中，所述图像编辑方式是基于泊松图像编辑原理对原始图像中的白癜风病变区域进行编辑，随机采用不同的病变区域编辑到新的目标图像中，如此获得大量的有标注数据。
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的白癜风病变区域分割方法，该方法包括：
获取医学图像数据后利用专业标注工具对医学图像数据进行标注，获得医学图像对应的标注，基于采集的自然场景下的人体皮肤图像和医学伍德灯照射下的人体皮肤图像组成的图像对进行自监督的多模态数据预训练学习；
对于少量的专家标注数据进行数据扩充，利用基于泊松方程的图像编辑方法对白癜风图像数据进行编辑，通过随机采样不同源图像的前景病变区域，来对目标图像区域进行编辑，得到编辑后的结果图，通过这种方式得到了更自然与多样的白癜风图像数据，同时扩充了数据集的规模；
将所述扩充的数据集经过数据预处理后，输入到分割神经网络中，得到所述的分割网络的语义分割预测结果并且保存训练好的模型参数；
基于所述保存好的模型参数可以得到较为可靠的预测结果，因此基于上述分割训练的模型参数可以作为基线分割模型，加入到称为学生教师模型的半监督框架中，其中无标注数据输入教师模型中得到预测结果，经过进一步的自适应精细化筛选得到更高置信度的伪标签来作为无标注数据的标签来训练网络，同时为了防止模型的过拟合情况，将无标注数据与有标注数据一同在半监督框架中训练，得到最后收敛的模型，最终得到白癜风病变区域的分割结果；
其中，所述图像编辑方式是基于泊松图像编辑原理对原始图像中的白癜风病变区域进行编辑，随机采用不同的病变区域编辑到新的目标图像中，如此获得大量的有标注数据。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于图像编辑的白癜风病变区域分割方法，其特征在于，包括：
获取医学图像数据后利用专业标注工具对医学图像数据进行标注，获得医学图像对应的标注，基于采集的自然场景下的人体皮肤图像和医学伍德灯照射下的人体皮肤图像组成的图像对进行自监督的多模态数据预训练学习；
对于少量的专家标注数据进行数据扩充，利用基于泊松方程的图像编辑方法对白癜风图像数据进行编辑，通过随机采样不同源图像的前景病变区域，来对目标图像区域进行编辑，得到编辑后的结果图，通过这种方式得到了更自然与多样的白癜风图像数据，同时扩充了数据集的规模；
将所述扩充的数据集经过数据预处理后，输入到分割神经网络中，得到所述的分割网络的语义分割预测结果并且保存训练好的模型参数；
基于所述保存好的模型参数可以得到较为可靠的预测结果，因此基于上述分割训练的模型参数可以作为基线分割模型，加入到称为学生教师模型的半监督框架中，其中无标注数据输入教师模型中得到预测结果，经过进一步的自适应精细化筛选得到更高置信度的伪标签来作为无标注数据的标签来训练网络，同时为了防止模型的过拟合情况，将无标注数据与有标注数据一同在半监督框架中训练，得到最后收敛的模型，最终得到白癜风病变区域的分割结果；
其中，所述图像编辑方式是基于泊松图像编辑原理对原始图像中的白癜风病变区域进行编辑，随机采用不同的病变区域编辑到新的目标图像中，如此获得大量的有标注数据。
2.根据权利要求1所述白癜风病变区域分割方法，其特征在于，所述基于图像编辑的白癜风病变区域分割方法是对专家标注数据进行图像编辑的扩充增强后，再进行白癜风病变区域的分割得到模型输出的预测结果，包括：
对于少量的专家标注数据进行数据扩充，利用基于泊松方程的图像编辑方法对白癜风图像数据进行编辑，通过随机采样不同源图像的前景病变区域，来对目标图像区域进行编辑，得到编辑后的结果图；
编辑后图像输入到分割神经网络中，得到所述的分割网络的语义分割预测结果并且保存训练好的模型参数；
本实施例中，图像编辑过程由四个输入组成：源图像，图像的对应标注图，目标图像，目标图像中人体区域范围的对应标注图。在单次编辑过程中，首先输入源图像及其相应的标注图像。将连通域检测算法应用于标注图像，用以将不同的注释区域分割为多个独立的连通区域。随后，从源图像中的相应区域随机采样几个连通区域，这里的每个连通区域都充当执行编辑操作的基本单元。接下来，搜索目标图像的可行区域进行编辑。对于每个待编辑的连通域，我们只选择那些可行的区域进行图像编辑，即确保编辑后不超出图像上的人体区域以及衣物等覆盖的区域，最后对连通域对应的标注和目标图像的标注进行合并，完成对图像的一次编辑操作。
3.根据权利要求1所述白癜风病变区域分割方法，所述预训练模型指的是经过分割任务预训练神经网络，包括：
所述基于所述的双模态白癜风数据进行自监督的预训练学习，为原始的分割网络提供一个容易收敛的预训练神经网络；
所述基于图像编辑方式获得的扩充规模后的数据集，在上述预训练模型权重上进一步进行有监督分割任务训练得到的预训练神经网络；
所述基于分割任务训练的模型权重在学生教师模型的半监督框架中联合无标注数据进一步训练收敛所得的预训练神经网络。
4.根据权利要求3所述学生教师模型的半监督框架包括学生模型和教师模型2个相同构造的参数不同的模型，包括：
所述教师模型和学生的初始化模型权重加载所述基于图像编辑方式获得的扩充规模后的数据集上训练的神经网络模型，同时教师模型的参数不进行梯度回传，其模型参数由原始的模型参数加上学生模型更新后的参数加权进行动量更新得到；
所述无标注数据输入到教师模型中得到语义预测结果，在经过进一步的自适应精细化筛选得到更高置信度的伪标签来作为无标注数据的标签来训练网络，如此无标注数据的伪标签由教师网络的输出更新得到；
所述无标签数据输入到学生模型并利用上述标签进行有监督的分割训练，最终的语义预测结果输入至学生网络中更新得到；
所述教师学生模型在训练过程中，为了防止模型训练过拟合而导致结果不准确，将无标注数据与有标注数据一同在半监督框架中训练，即有标注数据的预测结果也会输入到学生网络中进行更新得到。
5.根据权利要求4所述将所述无标注数据进行预处理后输入到教师网络得到其伪标签用来进行后续训练，包括：
无标注数据在输入到教师模型中得到最终的特征矩阵后，经过一个全连接网络层和激活层得到语义预测结果；
所述语义预测结果进行下一步精细化筛选，去除掉低置信的预测结果像素点，最后结果当作无标注数据的伪标签；
所述精细化筛选策略基于网络预测性能会逐渐变好的先验知识，将随着训练轮次迭代进行自适应调整。
6.根据权利要求5所述将所述标注数据进行预处理后输入到学生网络得到其预测标签用来监督训练，包括：
所述无标注数据和有标注数据在输入到教师模型中得到最终的特征矩阵后，经过一个全连接网络层和激活层得到语义预测结果；
所述无标注数据伪标签由教师模型产生，与有标注数据联合进行训练，是为了防止模型训练过拟合而导致结果不准确；
教师模型的梯度回传被冻结，其模型参数仅由教师模型原本的参数和学生模型的参数在每一个批次训练后加权得到。
7.根据权利要求1所述标注数据的规范包括：
在标注过程中，应对相应的双模态图像互相参照进行对比标注，并邀请三位白癜风医学专家手工进行像素级标注，然后交叉核对数据集，以确保注释的质量；
如果注释结果不一致，则应重新检查达成共识，然后被视为最终结果带注释的数据。对于三个专家应该遵循相同的注释规则应该遵循；
对于明显的病变区域，标签图应该完全覆盖，同时尽量减少包含到正常的皮肤区域，对于可疑区域，通过使用伍德灯的模态图像和自然光下图像进行对比，做到尽可能确定它们是否属于病变区域，如果有是注释者对特定领域的不确定性，建议不要注释它，避免损害注释的质量。
8.一种白癜风病变区域分割装置，包括：
预训练模块，伍德灯下的白癜风图像和对应的自然光线下的白癜风图像由专家进行数据标注，用于获取待分割的白癜风病变区域图像和其对应的预测结果，基于双模态数据之间存在着同样病变区域这一事实，进行自监督对比学习，对分割网络进行预训练得到容易收敛和训练的预训练神经网络；
图像编辑模块，对于少量的专家标注数据进行数据扩充，利用基于泊松方程的图像编辑方法对白癜风图像数据进行编辑，通过随机采样不同源图像的前景病变区域，来对目标图像区域进行编辑，得到编辑后的结果图，通过这种方式得到了更自然与多样的白癜风图像数据，同时扩充了数据集的规模，所述扩充的数据集经过数据预处理后，输入到分割神经网络中，得到所述的分割网络的语义分割预测结果并且保存训练好的模型参数；
半监督训练模块，基于所述保存好的模型参数可以得到较为可靠的预测结果，因此基于上述分割训练的模型参数可以作为基线分割模型，加入到称为学生教师模型的半监督框架中，其中无标注数据输入教师模型中得到预测结果，经过进一步的自适应精细化筛选得到更高置信度的伪标签来作为无标注数据的标签来训练网络，同时为了防止模型的过拟合情况，将无标注数据与有标注数据一同在半监督框架中训练，得到最后收敛的模型，最终得到白癜风病变区域的分割结果；
其中，所述图像编辑方式是基于泊松图像编辑原理对原始图像中的白癜风病变区域进行编辑，随机采用不同的病变区域编辑到新的目标图像中，如此获得大量的有标注数据。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述平面图分割方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述平面图分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311023706.5A CN116977323A (zh) | 2023-08-15 | 2023-08-15 | 基于图像编辑的白癜风病变区域分割方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311023706.5A CN116977323A (zh) | 2023-08-15 | 2023-08-15 | 基于图像编辑的白癜风病变区域分割方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116977323A true CN116977323A (zh) | 2023-10-31 |
Family
ID=88483145
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311023706.5A Pending CN116977323A (zh) | 2023-08-15 | 2023-08-15 | 基于图像编辑的白癜风病变区域分割方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116977323A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117422732A (zh) * | 2023-12-18 | 2024-01-19 | 湖南自兴智慧医疗科技有限公司 | 病理学图像分割方法及装置 |
-
2023
- 2023-08-15 CN CN202311023706.5A patent/CN116977323A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117422732A (zh) * | 2023-12-18 | 2024-01-19 | 湖南自兴智慧医疗科技有限公司 | 病理学图像分割方法及装置 |
| CN117422732B (zh) * | 2023-12-18 | 2024-02-23 | 湖南自兴智慧医疗科技有限公司 | 病理学图像分割方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10970842B2 (en) | Method and device for identifying pathological picture | |
| Xue et al. | Segan: Adversarial network with multi-scale l 1 loss for medical image segmentation | |
| JP6947759B2 (ja) | 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法 | |
| CN110197493B (zh) | 眼底图像血管分割方法 | |
| EP3913576A1 (en) | Deep-learning-based method for predicting morphological change of liver tumor after ablation | |
| Maninis et al. | Deep retinal image understanding | |
| Roth et al. | A new 2.5 D representation for lymph node detection using random sets of deep convolutional neural network observations | |
| CN112102266B (zh) | 基于注意力机制的脑梗死医学影像分类模型的训练方法 | |
| CN110276745B (zh) | 一种基于生成对抗网络的病理图像检测算法 | |
| Xu et al. | Noisy labels are treasure: mean-teacher-assisted confident learning for hepatic vessel segmentation | |
| CN107563434B (zh) | 一种基于三维卷积神经网络的脑部mri图像分类方法、装置 | |
| CN110705425A (zh) | 一种基于图卷积网络的舌象多标签分类学习方法 | |
| WO2021114130A1 (zh) | 一种无监督自适应乳腺病变分割方法 | |
| Gessert et al. | Deep transfer learning methods for colon cancer classification in confocal laser microscopy images | |
| CN113706564B (zh) | 基于多种监督方式的睑板腺分割网络的训练方法及装置 | |
| CN113298830B (zh) | 一种基于自监督的急性颅内ich区域图像分割方法 | |
| CN116977323A (zh) | 基于图像编辑的白癜风病变区域分割方法、装置及电子设备 | |
| CN116884623B (zh) | 基于激光扫描成像的医疗康复预测系统 | |
| Priyadharshini et al. | A novel hybrid Extreme Learning Machine and Teaching–Learning-Based Optimization algorithm for skin cancer detection | |
| CN115082493A (zh) | 基于形状引导对偶一致性的3d心房图像分割方法及系统 | |
| CN113160120A (zh) | 基于多模态融合与深度学习的肝脏血管分割方法及系统 | |
| Shenavarmasouleh et al. | Drdrv3: Complete lesion detection in fundus images using mask r-cnn, transfer learning, and lstm | |
| CN117524402A (zh) | 关于内镜影像分析并自动生成诊断报告的方法 | |
| Stoean et al. | An assessment of the usefulness of image pre-processing for the classification of first trimester fetal heart ultrasound using convolutional neural networks | |
| Lagergren et al. | Region growing with convolutional neural networks for biomedical image segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |