CN116645507A - 一种基于语义分割的胎盘图像处理方法及系统 - Google Patents

一种基于语义分割的胎盘图像处理方法及系统 Download PDF

Info

Publication number
CN116645507A
CN116645507A CN202310571439.9A CN202310571439A CN116645507A CN 116645507 A CN116645507 A CN 116645507A CN 202310571439 A CN202310571439 A CN 202310571439A CN 116645507 A CN116645507 A CN 116645507A
Authority
CN
China
Prior art keywords
placenta
model
image
teacher
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310571439.9A
Other languages
English (en)
Inventor
褚君浩
唐志刚
姚鹏
吕东阔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lishui Ruilian Medical Technology Co ltd
Original Assignee
Lishui Ruilian Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lishui Ruilian Medical Technology Co ltd filed Critical Lishui Ruilian Medical Technology Co ltd
Priority to CN202310571439.9A priority Critical patent/CN116645507A/zh
Publication of CN116645507A publication Critical patent/CN116645507A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于语义分割的胎盘图像处理方法及系统，包括：获取并标注胎盘数据集；构建教师网络模型，基于损失函数，将数据集输入至教师网络模型中进行训练，获得初始教师模型；构建学生网络模型，通过标注(与教师网络结果分别监督学生网络的训练，并以多尺度监督的方式实现知识在不同架构网络间的有效传递，获得精度较好且速度较快的语义分割模型；将实时胎盘图像输入至该语义分割模型进行处理，获得图像处理结果。本发明釆用知识蒸馏进行模型压缩，使用分割表现好但所需资源较多的教师网络去指导模型轻量但分割精度较差的学生网络，以满足实际应用中对分割精度和推理速度的双重要求。

Description

一种基于语义分割的胎盘图像处理方法及系统
技术领域
本发明属于数据处理领域，特别是涉及一种基于语义分割的胎盘图像处理方法及系统。
背景技术
卷积神经网络在图像分类任务中显示出优越性，复杂的模型会显著提高图像分类任务的性能，但同时带来了更多的参数和计算量，使得它们难以部署在实际应用中，因此网络模型的压缩十分必要。知识蒸馏是模型压缩中的一种主流算法，其核心思想是将复杂网络(称为教师)的知识蒸馏给轻量级网络(称为学生)。在教师网络的指导下，架构简单、参数量更少的学生网络在图像分类任务中提高了准确率，取得和教师网络类似的性能。
本发明的分割对象——胎盘圆盘和脐带形态差异较大，所以经典的分割网络就可以达到较好的分割精度。但是，考虑到实际场景中占用资源少、所需配置低的算法更有广泛应用的前景，且医生使用时会希望尽可能快地看到结果，所以如果想要使得算法在现实中辅助医生进行大体检查,除了分割精度，还需要考虑它所需要占用的计算资源以及推理速度。然而分割精度较好的网络在部署时难免需要较多资源，而对实际应用友好的轻量级网络却难以达到较好的分割精度。
发明内容
本发明的目的是提供一种基于语义分割的胎盘图像处理方法及系统，以解决上述现有技术存在的问题。
为实现上述目的，本发明提供了一种基于语义分割的胎盘图像处理方法，包括：
获取胎盘数据集，对所述胎盘数据集进行标注，获得数据硬标签，并按比例随机划分为训练、验证和测试集；
构建教师网络模型，基于损失函数，将所述训练、验证和测试集输入至所述教师网络模型中进行训练，获得初始教师模型，基于所述初始教师模型获取教师网络结果；
构建学生网络模型，基于多尺度监督方法通过所述数据硬标签与所述教师网络结果监督学生网络的训练，获得胎盘图像语义分割模型；
获取实时胎盘图像，将所述实时胎盘图像输入至所述胎盘图像语义分割模型进行处理，获得图像处理结果。
优选的，所述获得数据集的过程包括：
基于拍摄设备获取胎盘彩色图像；
对所述胎盘彩色图像中的胎盘圆盘与脐带分别进行标注，获得所述数据硬标签和标注后的胎盘图像；
将所述标注后的胎盘图像按比例划分为所述训练、验证和测试集。
优选的，所述获得初始教师模型的过程包括：
构建所述教师网络模型；
基于迁移学习方法，使用预训练权重初始化教师网络；
基于损失函数，将所述数据集输入至所述教师网络模型中进行训练，获得所述初始教师模型。
优选的，所述损失函数为：
Ldice＝1-dice；
其中，dice为DICE系数，X、Y为两个不同的样本，Ldice为损失函数。
优选的，所述获得胎盘图像语义分割模型的过程包括：
构建所述学生网络模型；
基于损失函数，将所述数据硬标签作为硬标签，将所述教师网络结果作为软标签对所述学生网络模型进行训练，获得轻量级学生网络；
基于多尺度监督方法对所述轻量级学生网络进行分割精度优化，获得所述胎盘图像语义分割模型。
优选的，所述获得图像处理结果的过程包括：
获取实时胎盘图像，基于所述胎盘图像语义分割模型对所述实时胎盘图像进行处理，获得分割结果；
对所述分割结果进行快速校验后输出，获得所述图像处理结果。
为实现上述目的，本发明还提供了一种基于语义分割的胎盘图像处理系统，包括：
数据处理模块，用于对所述胎盘数据集进行标注，获得数据硬标签，并按比例随机划分为训练、验证和测试集；
第一模型构建模块，用于构建教师网络模型，基于损失函数，将所述训练、验证和测试集输入至所述教师网络模型中进行训练，获得初始教师模型，基于所述初始教师模型获取教师网络结果；
第二模型构建模块，构建学生网络模型，基于多尺度监督方法通过所述数据硬标签与所述教师网络结果监督学生网络的训练，获得胎盘图像语义分割模型；
系统处理模块，获取实时胎盘图像，将所述实时胎盘图像输入至所述胎盘图像语义分割模型进行处理，获得图像处理结果。
本发明的技术效果为：
1.本发明釆用知识蒸馏进行模型压缩，使用分割表现好但所需资源较多的教师网络去指导模型轻量但分割精度较差的学生网络，以满足实际应用中对分割精度和推理速度的双重要求；
2.本发明提出了多尺度监督的Multi-KD算法，使用教师网络ResBlock-UNet的软标签监督学生网络AttaNet不同尺度下的输出；
3.本发明采用迁移学习，使用ResNetl8在ImageNet数据集上得到的预训练权重进行初始化，在加快网络收敛速度的同时降低过拟合的风险。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例中的胎盘图像处理方法示意图；
图2为本发明实施例中的AttaNet学生网络架构图；
图3为本发明实施例中的胎盘图像处理系统流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
实施例一
如图1-2所示，本实施例中提供一种基于语义分割的胎盘图像处理方法，包括：
获取胎盘数据集，对所述胎盘数据集进行标注，并将其按比例随机划分为训练、验证和测试集；
构建教师网络模型，基于损失函数，将所述标记数据集输入至所述教师网络模型中进行训练，获得初始教师模型；
构建学生网络模型，基于损失函数，通过标注(硬标签)与教师网络结果(软标签)分别监督学生网络的训练，并以多尺度监督的方式实现知识在不同架构网络间的有效传递，获得精度较好且速度较快的胎盘图像语义分割模型；
获取实时胎盘图像，将所述实时胎盘图像输入至所述胎盘图像语义分割模型进行处理，获得图像处理结果。
进一步优化方案，所述获得数据集的过程包括：
基于拍摄设备获取胎盘彩色图像；
对所述胎盘彩色图像中的胎盘圆盘与脐带分别进行标注，获得数据硬标签；
将标注后的胎盘图像按比例划分为训练、验证和测试集。
进一步优化方案，所述获得初始教师模型的过程包括：
构建所述教师网络模型；
基于迁移学习方法，使用预训练权重初始化教师网络；
基于损失函数，将所述数据集输入至所述教师网络模型中进行训练，获得所述初始教师模型。
本实施例结合ResNet架构和UNet网络模型，将ResBlock-UNet作为教师网络。UNet发展自全卷积网络，是医学图像分割领域最经典的网络，整个框架呈现U型结构，分为编码和解码两个部分。左侧的编码部分主要负责捕获图像上下文，学习图像特征。每一个编码模块都是由3x3的卷积、Relu激活函数和最大池化构成，卷积操作用于对图像的特征提取，是一种线性运算，激活函数则为网络引入非线性，增强特征表达能力，最大池化操作用于对特征图进行下采样，使网络聚焦于主要特征，去除冗余信息并减少参数量。在编码过程中，特征图尺寸逐级变小，所提取的特征从低层的边缘、轮廓、纹理等，逐渐变成高层的语义信息。U型的右侧是解码模块，该模块的输入由两部分组成，一是来自上一级解码器的特征图，二是同层的编码模块所提取的低层特征。解码器先通过跳跃连接将这两种输入——高层和低层特征相融合，然后采用反卷积的方式进行上采样，再将特征图送入3x3的卷积模块和Relu激活函数。在解码部分，特征图的分辨率逐渐扩展至图像的原始尺寸,最后实现语义级别的定位并得到像素级的分割。UNet通过U型结构和跳跃连接的设计，有效结合了浅层的特征信息和高层的语义信息，在数据获取和人工标注都需要巨大成本、数据量较少的医学领域具有出色的表现。
为了使模型拥有更好的学习特征的能力，本实施例采用ResNetl8的基础架构作为UNet的编码部分。ResNet由KaimingHe等人提出,该网络通过跳跃连接的方式将输入与输出相加，缓解网络深度增加时出现的梯度消失以及网络退化问题，残差结构的工作方式为：
y＝F(x)+x
进一步优化方案，所述获得胎盘图像语义分割模型的过程包括：
构建所述学生网络模型；
基于损失函数，将所述标注与初始教师模型结果分别作为硬标签和软标签用以监督训练；
采用多尺度监督的方式以克服不同架构的教师和学生网络蒸馏时难以有效提取中间层特征的问题，提升轻量级学生网络的分割精度，获得所述胎盘图像语义分割模型。
学生网络更注重结构轻量，参数量少，推理速度快等有利于实际应用的特性，当然对精度也有一定的考量，因此本实施例选用了近年来在ADE20K数据集上取得领先性能的轻量级分割网络AttaNet。不同于UNet，AttaNet采用的是VGG型架构，而是在骨干网络ResNetl8后，采用注意力融合模块、条状注意力模块和常见的卷积归一化激活等操作进行特征学习，最后直接从特征维度上采样至原始尺寸。AFM通过全局的注意力机制更好地融合多层次特征,SAM利用条带操作，在垂直方向上对全局上下文进行编码，然后沿水平方向获得长程视角下的关系。这两个模块大大节省了参数量和所需的内存空间。整个网络设计十分简单，并大部分使用128和64的通道数，以保证较快的推理速度。
特征融合在语义分割的网络中应用广泛，然而浅层的特征包含较多的空间细节，而高层的特征语义信息更为丰富，简单地融合多层次信息会减弱信息传播的有效性。所以，AttaNet通过AFM利用全局的注意力机制来计算融合权重。
单纯的卷积操作局限于图像的局部特征，SAM的提出是为了捕获非局部的上下文信息，同时减少网络在空间和时间上的计算复杂度。模块的输入为C×H×W的特征图，其中C是通道数，H和W是特征图在空间上的维度。首先，分别使用2个1x1的卷积生成新的特征图Q和K,两者的维度均为C′×H×W，C′为新的特征通道数。对特征图K,通过条带操作，也就是使用Hxl的池化窗口进行平均池化，得到全局的上下文表达；对特征图。直接改变其维度为NxC'，其中N＝HxW。然后，对两者施加关联操作，得到注意力矩阵；
本实施例采用U型结构的ResBlock-UNet作为教师网络，VGG型结构的Att aNet作为学生网络。由于不同架构网络蒸馏时教师和学生的中间层特征难以找到较强的关联，中间层的知识传递容易失效，所以本实施例将教师网络的输出作为软标签,提出了多层监督的Multi-KD蒸馏算法。考虑到两者的网络结构有较大差异，本实施例选择利用教师网络最终输出的概率分布0t来训练学生网络，避免中间层互不匹配的特征信息对学生网络的学习造成干扰。
在胎盘图像中，胎盘圆盘与脐带有较为明显的尺寸差异，而多尺度的结构有利于不同尺寸目标的特征学习，因此本实施例分别对学生网络AttaNet中不同层的特征进行卷积和上采样，将其恢复到与输入图像一致的分辨率，再利用教师网络的软标签和标注所得的硬标签进行训练。本实施例充分利用AttaNet中AFM和SAM模块的各自功能和结构特性，设计了基于这两个模块的特征层双路输出，即OS1和0s2。其中，OS1是该网络通过注意力机制融合多尺度特征的输出，0s2则增加了对图像远距离信息的学习，两者侧重不同，因此使用Ot同时训练OS1和0s2,对学生网络学到丰富的信息，兼顾局部特征与全局特征有较大的帮助。
本实施例首先分别训练教师网络ResBlock-UNet和学生网络AttaNet,并采用分割任务常用的两种损失函数DiceLoss和BCELoss(BinaryCrossEntropyLoss)进行监督。DiceLoss,如式2.6,后者常用于评估两个样本之间的相似程度，取值范围在0到1之间。即用1减去Dice系数，两个样本越相似，Dice系数越高，Diceloss越小。BCELoss是二分类交叉嫡，常与Sigmoid激活函数一起使用。
蒸馏是对学生网络的性能进行进一步的提升，因此上述两种损失函数并不会在此继续使用。在蒸馏过程中，本实施例分别使用真实标签和教师网络软标签训练学生网络，并采用不同的损失函数OhemCEloss(OnlineHardExampleMiningCross-EntropyLoss)与KLDivLoss(Kullback-LeiblerDivergenceLoss)对学生网络的输出进行监督学习。
OhemCEloss由交叉嫡损失函数衍生而来，顾名思义，是在网络训练的过程中给予难学习的样本更高的关注度。该损失函数有两个超参——损失阈值和最小样本数。在分割任务中，函数计算每一个像素点的交叉炳损失，然后对其进行排序，取其中大于阈值的像素作为难学的样本；若满足此条件的像素数量少于最小样本数，则取最小样本数量的像素。最小样本数的设置，使得每一次学习都确保有一定数量的像素位置参与训练，对训练结果的稳定性有所贡献。
KLDivLoss即KL散度损失函数，又称相对矯，用于衡量两个分布之间的距离，简单来说是交叉嫡减去信息炳。在网络训练过程中，两个分布分别是指标签与网络输出，两者越接近，该函数所计算出来的值越小；否则，损失值就越大。在蒸馏的过程中，教师网络所提供的软标签所含信息相较于真实标签更加丰富，KL散度常被用于衡量教师网络与学生网络的输出差异。
Multi-KD蒸馏算法的损失函数包含两部分，一部分是使用OhemCEloss计算学生网络的输出与硬标签之间的损失；另一部分是使用KLDivLoss计算学生网络和教师网络之间的分布差距。
进一步优化方案，所述获得图像处理结果的过程包括：
获取实时胎盘图像，基于所述胎盘图像语义分割模型对所述实时胎盘图像进行处理，获得处理结果；
对所述处理结果进行快速校验后输出，获得所述图像处理结果。
本实施例的数据集是由上海市红房子妇产科等医院提供，该数据集共有360张胎盘大体图像，包括307张新鲜胎盘和53张固定胎盘。由于胎盘数据珍贵难得,所使用的拍摄设备除了前文所提到的采集系统以外，还有医生不同型号的手机。其中，使用设备拍摄的图像数量为123张，使用手机拍摄的图像数量为237张。数据集的真实标签是在专业医生的指导下，由Labelme软件对胎盘图像进行标注获取，分别标记胎盘圆盘部分和脐带部分。考虑到分割任务在速度上的要求，再加上胎盘和脐带形状差异较大，因此，在网络训练和预测过程中，本实施例将所有的图像都缩放至512x512的分辨率，并将这些数据以6:2:2的比例划分训练集、验证集和测试集。此外，为了避免数据过拟合，本实施例采用数据增强的方式，随机对原图像进行几何和颜色变换，比如旋转、翻转、颜色扰动、叠加噪声等，增强分割模型的鲁棒性并提高其泛化能力。
本实施例实验所涉及的硬件设备与软件配置如下：CPU为Intel(R)Core(TM)i7-8700CPU@3.2GHZ；GPU为NVIDIAGeForceRTX2070；操作系统为Ubuntu20.04o与深度学习相关的算法均使用Python语言编写，并在Pycharm中编译运行，所使用的Python版本为3.6.13,CUDA版本为11.4。
实施例二
如图3所示，本实施例中提供一种基于语义分割的胎盘图像处理系统，包括：
数据处理模块，获取胎盘数据集，将所述胎盘数据集进行标注并划分数据集；
第一模型构建模块，构建教师网络模型，基于损失函数，将所述标记数据集输入至所述教师网络模型中进行训练，获得初始教师模型；
第二模型构建模块，构建学生网络模型，基于损失函数，通过标注(硬标签)与教师网络结果(软标签)分别监督学生网络的训练，并以多尺度监督的方式实现知识在不同架构网络间的有效传递，获得精度较好且速度较快的胎盘图像语义分割模型；
系统处理模块，获取实时胎盘图像，将所述实时胎盘图像输入至所述胎盘图像语义分割模型进行处理，获得图像处理结果。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (7)

1.一种基于语义分割的胎盘图像处理方法，其特征在于，包括以下步骤：
获取胎盘数据集，对所述胎盘数据集进行标注，获得数据硬标签，并按比例随机划分为训练、验证和测试集；
构建教师网络模型，基于损失函数，将所述训练、验证和测试集输入至所述教师网络模型中进行训练，获得初始教师模型，基于所述初始教师模型获取教师网络结果；
构建学生网络模型，基于多尺度监督方法通过所述数据硬标签与所述教师网络结果监督学生网络的训练，获得胎盘图像语义分割模型；
获取实时胎盘图像，将所述实时胎盘图像输入至所述胎盘图像语义分割模型进行处理，获得图像处理结果。
2.根据权利要求1所述的基于语义分割的胎盘图像处理方法，其特征在于，所述获得数据集的过程包括：
基于拍摄设备获取胎盘彩色图像；
对所述胎盘彩色图像中的胎盘圆盘与脐带分别进行标注，获得所述数据硬标签和标注后的胎盘图像；
将所述标注后的胎盘图像按比例划分为所述训练、验证和测试集。
3.根据权利要求1所述的基于语义分割的胎盘图像处理方法，其特征在于，所述获得初始教师模型的过程包括：
构建所述教师网络模型；
基于迁移学习方法，使用预训练权重初始化教师网络；
基于损失函数，将所述数据集输入至所述教师网络模型中进行训练，获得所述初始教师模型。
4.根据权利要求1所述的基于语义分割的胎盘图像处理方法，其特征在于，所述损失函数为：
Ldice＝1-dice；
其中，dice为DICE系数，X、Y为两个不同的样本，Ldice为损失函数。
5.根据权利要求1所述的基于语义分割的胎盘图像处理方法，其特征在于，所述获得胎盘图像语义分割模型的过程包括：
构建所述学生网络模型；
基于损失函数，将所述数据硬标签作为硬标签，将所述教师网络结果作为软标签对所述学生网络模型进行训练，获得轻量级学生网络；
基于多尺度监督方法对所述轻量级学生网络进行分割精度优化，获得所述胎盘图像语义分割模型。
6.根据权利要求1所述的基于语义分割的胎盘图像处理方法，其特征在于，所述获得图像处理结果的过程包括：
获取实时胎盘图像，基于所述胎盘图像语义分割模型对所述实时胎盘图像进行处理，获得分割结果；
对所述分割结果进行快速校验后输出，获得所述图像处理结果。
7.一种基于语义分割的胎盘图像处理系统，其特征在于，包括：
数据处理模块，用于对所述胎盘数据集进行标注，获得数据硬标签，并按比例随机划分为训练、验证和测试集；
第一模型构建模块，用于构建教师网络模型，基于损失函数，将所述训练、验证和测试集输入至所述教师网络模型中进行训练，获得初始教师模型，基于所述初始教师模型获取教师网络结果；
第二模型构建模块，构建学生网络模型，基于多尺度监督方法通过所述数据硬标签与所述教师网络结果监督学生网络的训练，获得胎盘图像语义分割模型；
系统处理模块，获取实时胎盘图像，将所述实时胎盘图像输入至所述胎盘图像语义分割模型进行处理，获得图像处理结果。
CN202310571439.9A 2023-05-18 2023-05-18 一种基于语义分割的胎盘图像处理方法及系统 Pending CN116645507A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310571439.9A CN116645507A (zh) 2023-05-18 2023-05-18 一种基于语义分割的胎盘图像处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310571439.9A CN116645507A (zh) 2023-05-18 2023-05-18 一种基于语义分割的胎盘图像处理方法及系统

Publications (1)

Publication Number Publication Date
CN116645507A true CN116645507A (zh) 2023-08-25

Family

ID=87614624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310571439.9A Pending CN116645507A (zh) 2023-05-18 2023-05-18 一种基于语义分割的胎盘图像处理方法及系统

Country Status (1)

Country Link
CN (1) CN116645507A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200167930A1 (en) * 2017-06-16 2020-05-28 Ucl Business Ltd A System and Computer-Implemented Method for Segmenting an Image
WO2021023202A1 (zh) * 2019-08-07 2021-02-11 交叉信息核心技术研究院(西安)有限公司 一种卷积神经网络的自蒸馏训练方法、设备和可伸缩动态预测方法
CN112712052A (zh) * 2021-01-13 2021-04-27 安徽水天信息科技有限公司 一种机场全景视频中微弱目标的检测识别方法
CN113240580A (zh) * 2021-04-09 2021-08-10 暨南大学 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
WO2022041307A1 (zh) * 2020-08-31 2022-03-03 温州医科大学 一种构建半监督图像分割框架的方法及系统
CN114298233A (zh) * 2021-12-30 2022-04-08 华北电力大学（保定） 基于高效注意力网络和师生迭代迁移学习的表情识别方法
CN114299380A (zh) * 2021-11-16 2022-04-08 中国华能集团清洁能源技术研究院有限公司 对比一致性学习的遥感图像语义分割模型训练方法及装置
CN116071715A (zh) * 2023-01-03 2023-05-05 同济大学 一种自动驾驶汽车实时语义分割模型构建方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200167930A1 (en) * 2017-06-16 2020-05-28 Ucl Business Ltd A System and Computer-Implemented Method for Segmenting an Image
WO2021023202A1 (zh) * 2019-08-07 2021-02-11 交叉信息核心技术研究院(西安)有限公司 一种卷积神经网络的自蒸馏训练方法、设备和可伸缩动态预测方法
WO2022041307A1 (zh) * 2020-08-31 2022-03-03 温州医科大学 一种构建半监督图像分割框架的方法及系统
CN112712052A (zh) * 2021-01-13 2021-04-27 安徽水天信息科技有限公司 一种机场全景视频中微弱目标的检测识别方法
CN113240580A (zh) * 2021-04-09 2021-08-10 暨南大学 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN114299380A (zh) * 2021-11-16 2022-04-08 中国华能集团清洁能源技术研究院有限公司 对比一致性学习的遥感图像语义分割模型训练方法及装置
CN114298233A (zh) * 2021-12-30 2022-04-08 华北电力大学（保定） 基于高效注意力网络和师生迭代迁移学习的表情识别方法
CN116071715A (zh) * 2023-01-03 2023-05-05 同济大学 一种自动驾驶汽车实时语义分割模型构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韩墨: "基于深度学习的胎盘图像分割技术应用与研究", 中国优秀硕士学位论文全文数据库 基础科学辑, pages 006 - 820 *

Similar Documents

Publication Publication Date Title
CN113298818B (zh) 基于注意力机制与多尺度特征的遥感图像建筑物分割方法
Chen et al. The face image super-resolution algorithm based on combined representation learning
CN110555434B (zh) 一种局部对比和全局指导的立体图像视觉显著性检测方法
Yin et al. FD-SSD: An improved SSD object detection algorithm based on feature fusion and dilated convolution
CN112651978A (zh) 舌下微循环图像分割方法和装置、电子设备、存储介质
CN108038420A (zh) 一种基于深度视频的人体行为识别方法
CN111325750B (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN110705566B (zh) 一种基于空间金字塔池的多模态融合显著性检测方法
CN114821342B (zh) 一种遥感影像道路提取方法及系统
CN112954399B (zh) 一种图像处理方法、装置以及计算机设备
CN117033609B (zh) 文本视觉问答方法、装置、计算机设备和存储介质
CN114283352A (zh) 一种视频语义分割装置、训练方法以及视频语义分割方法
CN116091929A (zh) 结合Unet和Transformer的遥感图像语义分割方法
Yuan et al. A novel deep pixel restoration video prediction algorithm integrating attention mechanism
Ren et al. A lightweight object detection network in low-light conditions based on depthwise separable pyramid network and attention mechanism on embedded platforms
CN113066074A (zh) 一种基于双目视差偏移融合的视觉显著性预测方法
Soni et al. Deep learning based approach to generate realistic data for ADAS applications
CN116596966A (zh) 一种基于注意力和特征融合的分割与跟踪方法
TWI809957B (zh) 物件偵測方法及電子裝置
CN115049901A (zh) 一种基于特征图加权注意力融合的小目标检测方法及设备
CN116645507A (zh) 一种基于语义分割的胎盘图像处理方法及系统
CN110211146A (zh) 视交叉仿真的视频前景分割方法及装置
Bhuiya et al. Exploring the effects of data augmentation for drivable area segmentation
An et al. Generating infrared image from visible image using Generative Adversarial Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination