CN113361353A - 一种基于DeepLabV3Plus的斑马鱼形态学评分方法 - Google Patents

一种基于DeepLabV3Plus的斑马鱼形态学评分方法 Download PDF

Info

Publication number
CN113361353A
CN113361353A CN202110589367.1A CN202110589367A CN113361353A CN 113361353 A CN113361353 A CN 113361353A CN 202110589367 A CN202110589367 A CN 202110589367A CN 113361353 A CN113361353 A CN 113361353A
Authority
CN
China
Prior art keywords
zebra fish
malformation
image
scoring
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110589367.1A
Other languages
English (en)
Inventor
梁靖雨
姜越
董公卿
王楠
林思劼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202110589367.1A priority Critical patent/CN113361353A/zh
Publication of CN113361353A publication Critical patent/CN113361353A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于DeepLabV3Plus的斑马鱼形态学评分方法，应用于斑马鱼形态学评分领域，针对现有斑马鱼形态学观察方法非常耗时且评价标准不明确的问题，本发明首先获取斑马鱼幼鱼畸形表型图像数据；使用OpenCV进行数据扩增，搭建DeepLabV3Plus语义分割网络对数据集进行训练，将训练好的模型用于斑马鱼幼鱼畸形图像的识别及形态学评分。与现有方法相比，本发明可实现对斑马鱼幼鱼畸形图像的快速识别和分割，完成对斑马鱼幼鱼形态学的自动评价分析，能够有效节约时间成本，帮助降低研究人员的主观判断误差，实用性强、准确率高、普适性强。

Description

一种基于DeepLabV3Plus的斑马鱼形态学评分方法
技术领域
本发明涉及斑马鱼形态学评分领域，具体涉及一种基于DeepLabV3Plus的斑马鱼形态学评分方法。
背景技术
斑马鱼是一种在毒理学和药理学中广泛使用的模式生物，它一般被用于评估化学物质对胚胎发育的生物学影响。研究人员通过显微镜来观察斑马鱼胚胎的发育情况，并把典型图像保存下来，逐个影像进行人工评估分析。目前已经建立了多种斑马鱼形态学致畸性的评价方法和体系，其基本原理都是通过给不同时间点中容易观察的特定发育终点打分，并分别记录具体的致畸作用，来判断化学物质对胚胎的影响程度。但在现有的斑马鱼形态学评价体系中，如何正确地选择畸形终点进行评估是评分系统的一个难点，观察过程需花费大量的时间和人力成本，且在一些相互独立的研究中，斑马鱼的形态学得分基于不同研究人员的主观判断，在对数据进行平行比较时，很大程度限制了对于所试物质的深度理解。由于要分析的实验图像数据越来越多，且实验结果要求一定的准确性和再现性，因此，需要一种能够实现图像识别及自动化分析的方法。
随着人工智能的兴起，越来越多的基础研究开始尝试利用深度学习技术进行更加高效、准确的数据分析和处理。DeepLab系列卷积神经网络被广泛应用于医学影像分析和自动驾驶领域，在语义分割任务中，连续下采样导致图像信息丢失以及多尺度目标信息捕获准确度难以提升这两大关键问题上，DeepLabV3Plus模型提出了很好的解决方案。
专利CN112418171A公开了一种基于深度学习的斑马鱼空间姿态与心脏位置估计方法，涉及图像识别处理领域，该方法包括：获取斑马鱼幼鱼采样图像制作数据集，对斑马鱼幼鱼采样图像进行关键点标注，构建多层卷积神经网络训练数据集并进一步计算，达到自动化识别在显微镜视野中斑马鱼幼鱼的姿态，通过帧差法对斑马鱼待测图像进行逐帧比较，通过检测斑马鱼心脏的细微变化，得到斑马鱼心脏的具体位置，然而，该专利是针对斑马鱼空间姿态与心脏位置的估计，仅在于帮助操作人员在进行传统显微注射时对斑马鱼心脏位置进行判断，不能实现对斑马鱼幼鱼图像中各器官的形态学自动分析和评价。本发明通过对畸形图像数据进行收集、输入神经网络模型进行训练、对模型预测后的图像进行色彩信息提取和处理，达到对实验后的图像数据进行自动分析的目的。模型训练完成后，可直接输入待预测图像进行使用，无需连接任何附加设备，有效降低了实验成本，节约操作人员的劳动时间，且为斑马鱼幼鱼的形态学分析统一了评价指标。
发明内容
本发明的目的就是针对斑马鱼形态学评价过程耗时且评价标准不明确的问题，基于现有深度学习技术，提供一种基于DeepLabV3Plus的斑马鱼形态学评分方法，以实现对斑马鱼畸形图像的批量处理及形态学自动评分。
本发明的目的通过以下技术方案实现：
一种基于DeepLabV3Plus的斑马鱼形态学评分方法，包含以下步骤：
S1、获取斑马鱼幼鱼畸形表型图像数据，包括含有尾部畸形、心包水肿、背部畸形、卵黄水肿、鱼鳔发育不完全五类常见畸形类型的斑马鱼幼鱼畸形表型图像数据，建立斑马鱼幼鱼畸形表型的图像数据集；
S2、使用OpenCV对数量较少的畸形类型图像做数据增强，对获取的图像数据进行预处理，并将数据集划分为训练数据集、验证数据集和测试数据集；
S3、搭建DeepLabV3Plus语义分割网络，将含有尾部畸形、心包水肿、背部畸形、卵黄水肿、鱼鳔发育不完全五类常见畸形类型的斑马鱼幼鱼畸形表型图像数据作为输入，进行网络训练，使用深度可分离的空洞卷积神经网络作为编码器，对图像进行下采样特征提取，使用含有特征融合的上采样过程作为解码器，产生语义分割图；
S4、对模型进行整体指标评估；
S5、使用训练后的模型对斑马鱼幼鱼畸形图像进行类型识别和分割，对每张预测图进行评分并逐一输出。
进一步地，步骤S1具体还包括：使用三卡因(MS-222)对斑马鱼幼鱼(120hpf)进行麻醉处理，将麻醉后的斑马鱼幼鱼置于显微镜下，拍摄并收集包括含有尾部畸形、心包水肿、背部畸形、卵黄水肿、鱼鳔发育不完全五类常见畸形类型的斑马鱼幼鱼畸形表型图像数据，同时也包括无畸形表现的正常斑马鱼幼鱼畸形表型图像数据。建立斑马鱼幼鱼畸形表型的图像数据集。
进一步地，步骤S2具体还包括：图像数据集的扩增，为了解决图像数据集各畸形类型种类数量不均衡的问题，使用计算机视觉领域的开源软件库OpenCV对数量较少的含有心包水肿和背部畸形类型的图像做数据增强，数据增强以图像几何变换的方式实现，包括随机旋转、水平镜像变换、垂直镜像变换。
进一步地，步骤S2具体还包括：图像数据集的预处理，使用Labelme开源标注工具对扩增后的图像数据集进行标注，获取斑马鱼幼鱼个体及斑马鱼幼鱼心脏、卵黄囊、背部、尾部、鱼鳔的组织轮廓。
进一步地，步骤S2具体还包括：图像标签图片的转换，所述使用Labelme标注所得的标签图为8-bit的RGB色彩模式，需要将所述标签图转换为灰度图，其分辨率大小与待预测图片分辨率相同，标签图中的像素点全部用色彩值表示，不同的色彩值表示不同类型的畸形，0为背景所在区域的像素点，1为斑马鱼幼鱼个体所在区域的像素点，2-7表示不同类型畸形所在区域的像素点。
进一步地，步骤S2具体还包括：TFRecord文件数据的创建，将上述图像数据集进行分类，其中10％作为测试数据集，20％作为验证数据集，70％作为训练数据集，并将其打包成TFRecord格式，方便在TensorFlow中被读取和处理。
进一步地，步骤S3具体还包括：搭建训练模型，网络模型主要基于编码器和解码器结构，编码器部分利用下采样进行特征提取，由骨干网络改进后的Xception和ASPP模块组成，骨干网络用于提取图像特征生成高级语义特征图，ASPP模块对骨干网络得到的高级语义特征图进行采样，生成多尺度特征图。在编码器尾部将多尺度的语义特征图进行融合，通过一个1×1卷积进行通道降维，再经过4倍双线性差值上采样输入到解码器中，与低层网络中具有相同分辨率的语义特征图连接。
进一步地，步骤S3具体还包括：所述骨干网络由改进后的Xception组成，与原网络相比，改进后的Xception有着更深的结构，所有最大池化层结构都被步长为2的深度可分离卷积替代，每个卷积核为3×3的深度可分离卷积后面都连接一个归一化层(BatchNormalization)和一个线性修正函数(ReLU)。
进一步地，步骤S3具体还包括：所述解码器部分利用上采样还原特征图尺寸，恢复精细的物体边缘特征。用一个1×1卷积处理低级语义特征，进行通道降维，再将其与经过4倍双线性差值上采样得到的高级语义特征图进行Concat融合，通过一个3×3卷积提取特征，在解码器尾部经4倍双线性差值上采样后恢复至原图分辨率，最终完成图像的语义分割。
进一步地，步骤S3具体还包括：训练基于TensorFlow深度学习框架，使用NVIDIAGeForce RTX2080Ti GPU进行计算，cuDnn10.0库进行加速，所述训练过程基于迁移学习的方式，使用改进后的Xception在CITYSCAPLES数据集上的预训练模型。
进一步地，步骤S4具体还包括：对所述训练后的模型进行评估，得出模型的精度指标，包括模型的平均交并比及各畸形类型的交并比。
进一步地，步骤S5具体还包括：将测试集图片输入到训练好的模型中进行预测，读取预测图，将其颜色模型由RGB格式转换为HSV格式。
进一步地，步骤S5具体还包括：定义HSV颜色字典，使其与预测图中代表不同畸形类型的掩码颜色相对应。
进一步地，步骤S5具体还包括：定义累计评分规则，测试集图片包含尾部畸形、心包水肿、背部畸形、卵黄水肿、鱼鳔发育不完全五类常见畸形类型，所述累计评分规则为，总分为5分，每出现一种畸形类型扣一分。获取预测图所显示的畸形类型进行累加评分，并逐一输出结果到文本文件中。
与现有技术相比，本发明具有以下有益效果：
本发明基于DeepLabV3Plus语义分割网络，融合新的模型应用理念，将其运用到斑马鱼幼鱼的畸形器官图像处理过程，通过识别并分割目标器官，对畸形程度进行客观评价，建立了一种斑马鱼形态学自动评分系统。
本发明使用OpenCV对数量较少的畸形类型图像做数据增强，对获取的图像数据进行预处理。可充分利用有限的优质图像数据，减轻数据收集的劳动成本。
本发明通过简单的程序设计，实现了快速准确地批量处理斑马鱼幼鱼的实验图片，与传统耗时费力的人工评分过程相比，本发明在提高效率的同时保证了实验结果的准确性和再现性。
本发明将深度学习技术与斑马鱼高通量模型充分结合，为传统模式生物的数据处理方式带来新的启发，也为传统科学研究范式的转变和突破带来新的思考。
附图说明
图1为本发明具体实施方式的流程图；
图2为包含斑马鱼不同畸形类型的原始图像；
图3为本发明中实施数据增强后的含有卵黄水肿类型的原始图像；
图4为本发明中实施数据增强后的含有背部畸形类型的原始图像；
图5为本发明中使用的DeepLabV3Plus模型结构示意图；
图6为本发明中使用的骨干网络结构图；
图7为本发明模型训练过程中训练损失值及mIoU的变化情况；
图8为本发明模型训练后对图像进行预测的结果展示。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例1
一种基于深度学习语义分割网络的斑马鱼形态学评分方法，图1为实施流程图，包括以下步骤：
S1、获取斑马鱼幼鱼畸形表型数据，具体包括：
使用1.6×10-4mg·L-1三卡因(MS-222)对斑马鱼幼鱼(120hpf)进行麻醉处理，将麻醉后的斑马鱼幼鱼置于一体式数码液晶显微镜下进行拍摄，调整斑马鱼幼鱼的姿态。
如图2，收集包括含有尾部畸形、心包水肿、背部畸形、卵黄水肿、鱼鳔发育不完全五类常见畸形类型的斑马鱼幼鱼畸形表型图像数据，同时也包括无畸形表现的正常斑马鱼幼鱼畸形表型图像数据。建立斑马鱼幼鱼畸形表型的图像数据集。
S2、使用OpenCV对数量较少的畸形类型图像做数据增强，对获取的图像数据进行预处理，并将数据集划分为训练数据集、验证数据集和测试数据集，具体包括：
图像数据集的扩增：本发明通过采取对数量较少的含有心包水肿和背部畸形类型的图像做数据增强的方式，来解决图像数据集各畸形类型种类数量不均衡的问题。
如图3、4，利用OpenCV的仿射变换函数实现对图像的几何变换。
仿射变换可以实现对图像的平移、旋转、缩放等几何变换操作，它是一种二维空间上的变换，通过用原图的图像矩阵与一个人为定义的2×3的仿射变换矩阵的点乘来实现。
在OpenCV中，创建仿射变换矩阵M，将M作为参数传递到warpAffin函数，实现仿射变换。如将向量空间p＝(x，y)转换成向量空间q＝(x′，y′)：
Figure BDA0003088922880000061
通过getRotationMatrix2D函数创建旋转矩阵，将旋转矩阵作为参数传递到warpAffine函数，实现图像旋转。
根据旋转角度和旋转中心定义旋转矩阵，如以(x,y)为轴心顺时针旋转θ度：
Figure BDA0003088922880000062
其中，α＝scale·cosθ；β＝scale·sinθ
其中，center表示旋转中心，scale表示缩放尺度。
图像数据集的预处理：使用Labelme开源标注工具对扩增后的图像数据集进行标注，获取斑马鱼幼鱼个体及斑马鱼幼鱼心脏、卵黄囊、背部、尾部、鱼鳔的组织轮廓。
图像标签图片的转换：所述使用Labelme标注所得的标签图为8-bit的RGB色彩模式，需要将所述标签图转换为灰度图。其分辨率大小与待预测图片分辨率相同。标签图中的像素点全部用色彩值0-6表示，不同的色彩值表示不同类型的畸形。即：
0为背景所在区域的像素点，1为斑马鱼幼鱼个体所在区域的像素点，2表示心包水肿所在区域的像素点，3表示尾部畸形所在区域的像素点，4表示背部畸形所在区域的像素点，5表示鱼鳔所在区域的像素点，6表示卵黄水肿所在区域的像素点。
TFRecord文件数据的创建：将上述图像数据集进行分类，其中10％作为测试数据集，20％作为验证数据集，70％作为训练数据集，并将其打包成TFRecord格式，方便其在TensorFlow中被读取和处理。
TFRecord数据文件是将特征数据和特征数据对应的标签统一存储的二进制文件，能够使数据实现在TensorFlow中快速的复制、移动、读取和存储。
TFRecord文件使用了协议缓冲区(Protocol Buffer)结构数据序列化工具，通过将结构化数据进行序列化定义，来实现内存和硬盘之间的数据存储和交换功能。读取图像数据进行网络训练时，只需一次性加载一个二进制文件即可。
本发明通过将大量训练数据分成多个TFRecord文件的方式来提高计算处理效率。
S3、搭建DeepLabV3Plus语义分割网络，将含有尾部畸形、心包水肿、背部畸形、卵黄水肿、鱼鳔发育不完全五类常见畸形类型的斑马鱼幼鱼畸形表型图像数据作为输入，对网络进行训练。使用深度可分离的空洞卷积神经网络作为编码器，对图像进行下采样特征提取，使用含有特征融合的上采样过程作为解码器产生语义分割图。具体包括：
搭建训练模型：所述网络模型主要基于编码器和解码器结构。
如图5，编码器部分利用下采样进行特征提取，由改进后的Xception和ASPP模块组成。骨干网络Xception用于提取图像特征生成高级语义特征图，ASPP模块通过4个并行的带有不同比率的空洞卷积以及1个全局池化层对骨干网络得到的高级语义特征图进行采样，生成5个多尺度特征图，空洞卷积可以在不增加网络参数量的情况下使特征图得到一个更加密集的映射，在编码器尾部将上述5个特征图进行融合,通过一个1×1卷积进行通道降维，再经过4倍双线性差值上采样输入到解码器中，与低层网络中具有相同分辨率的语义特征图连接。
如图6，所述骨干网络由改进后的Xception组成。该网络由一系列深度可分离卷积组成，与原网络相比，改进后的Xception有着更深的结构，所有最大池化层结构都被步长为2的深度可分离卷积替代，每个卷积核为3×3的深度可分离卷积后面都连接一个批量归一化层(Batch Normalization)和一个线性修正函数(ReLU)。
卷积神经网络训练过程中，在激活函数前进行参数的批量归一化(BatchNormalization)，能够优化中间层数据分布发生改变的情况，从而防止梯度爆炸或梯度消失，加快网络训练速度。公式如下：
Figure BDA0003088922880000071
y(k)＝γ(k)x(k)+β(k)
其中，x(k)表示某一神经元，由于网络训练过程采用批量随机梯度下降的方式，因此E[x(k)]表示一批训练数据的各神经元输入值的平均值；
Figure BDA0003088922880000072
表示一批训练数据的各神经元输入值的标准差。
γ、β为可学习重构参数，让网络可以通过学习恢复出原始某层网络所学习到的特征分布。
线性修正函数(ReLU)：
Figure BDA0003088922880000073
定义了某神经元在线性变换后的非线性输出结果：max(0,wTx+b)。
如图5，所述解码器部分利用上采样还原特征图尺寸，用一个1×1卷积处理低级语义特征，进行通道降维,再将其与经过4倍双线性差值上采样得到的高级语义特征图进行Concat融合，通过一个3×3卷积提取特征，在解码器尾部经4倍双线性差值上采样后恢复至原图分辨率,最终完成图像的语义分割。
训练基于TensorFlow深度学习框架，使用NVIDIA GeForce RTX2080Ti GPU进行计算，cuDnn10.0库进行加速。所述训练过程基于迁移学习的方式，使用改进后的Xception在CITYSCAPLES数据集上的预训练模型。
S4得到训练后的模型进行整体指标评估。具体包括：
表1模型训练结果的整体平均指标
类别(Class) 交并比(IoU)
0(background) 0.9958
1(larval) 0.9014
2(pericardial_edema) 0.7568
3(tail_deformity) 0.6453
4(spine_deformity) 0.5468
5(swim_bladder) 0.8059
6(yolk_edema) 0.6482
如图7、表1，对训练后的模型进行评估，得出模型的精度指标，包括模型的平均交并比(mIoU)及各畸形类型的交并比(IoU)。具体为：
交并比(IoU)：
Figure BDA0003088922880000081
平均交并比(mIoU)：
Figure BDA0003088922880000082
其中，k+1表示分割类别总数；i表示真实值；j表示预测值；Pij表示真实值为i但预测为类别j的像素数量。
S5使用训练好的模型进行畸形类型识别，将每张预测图的结果进行累加评分并逐一输出。具体包括：
将测试集图片输入到训练好的模型中进行预测，读取预测图，将其颜色模型由RGB格式转换为HSV格式。
如表2，定义HSV颜色字典，使其与预测图中代表不同畸形类型的掩码颜色相对应。其中，H表示色调值，S表示饱和度值，V表示明度值。
表2使用的HSV颜色字典
Figure BDA0003088922880000091
定义累计评分规则，测试集图片包含尾部畸形、心包水肿、背部畸形、卵黄水肿、鱼鳔发育不完全五类常见畸形类型，所述累计评分规则为，总分为5分，每出现一种畸形类型扣一分。
如图8，获取预测图所显示的畸形类型进行累加评分，并逐一输出结果到文本文件中。
上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和使用发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。

Claims (10)

1.一种基于DeepLabV3Plus的斑马鱼形态学评分方法，其特征在于，包括以下步骤：
S1、获取斑马鱼幼鱼畸形表型图像数据，并建立图像数据集；
S2、使用OpenCV对数量少的斑马鱼幼鱼畸形表型图像做数据增强，对获取的图像数据进行预处理，并将数据集划分为训练数据集、验证数据集和测试数据集；
S3、搭建DeepLabV3Plus语义分割网络，将斑马鱼幼鱼畸形表型图像数据作为输入进行网络训练，使用改进后的Xception作为骨干网络，结合空洞空间金字塔池化模块作为编码器，对图像进行下采样特征提取，使用含有特征融合的上采样过程作为解码器产生语义分割图；
S4、对模型进行整体指标评估；
S5、使用训练好的模型对斑马鱼幼鱼畸形图像进行类型识别和分割，对每张预测图进行评分并逐一输出。
2.根据权利要求1所述的一种基于DeepLabV3Plus的斑马鱼形态学评分方法，其特征在于，步骤S1中，所述斑马鱼幼鱼畸形表型图像数据包括含有尾部畸形、心包水肿、背部畸形、卵黄水肿、鱼鳔发育不完全五类常见畸形类型的斑马鱼幼鱼畸形表型图像数据。
3.根据权利要求2所述的一种基于DeepLabV3Plus的斑马鱼形态学评分方法，其特征在于，步骤S1具体方法为，将斑马鱼幼鱼置于显微镜下，拍摄并收集包括含有尾部畸形、心包水肿、背部畸形、卵黄水肿、鱼鳔发育不完全五类常见畸形类型的斑马鱼幼鱼畸形表型图像数据，同时也包括无畸形表现的正常斑马鱼幼鱼畸形表型图像数据，建立斑马鱼幼鱼畸形表型的图像数据集。
4.根据权利要求1所述的一种基于DeepLabV3Plus的斑马鱼形态学评分方法，其特征在于，步骤S2具体方法为，对数量较少的含有心包水肿和背部畸形类型的图像做数据增强，数据增强以图像几何变换的方式实现，包括随机旋转、水平镜像变换、垂直镜像变换；
使用Labelme标注工具对所获得的图像数据进行标注，并将标签文件转换为灰度图；制作指引文件，将数据集划分为训练数据集、验证数据集和测试数据集，将所有图像数据转化为TFRecord文件。
5.根据权利要求1所述的一种基于DeepLabV3Plus的斑马鱼形态学评分方法，其特征在于，步骤S3的网络结构主要基于编码器和解码器结构，
所述编码器部分利用下采样进行特征提取，其结构由骨干网络Xception和ASPP模块组成，骨干网络用于提取图像信息生成不同尺度的语义特征图，ASPP模块对骨干网络提取到的高级语义特征图进行处理，生成多尺度的语义特征图，在编码器尾部将多尺度的语义特征图进行融合，通过一个1×1卷积进行通道降维，再经过4倍双线性差值上采样输入到解码器中，与低层网络中具有相同分辨率的语义特征图连接。
6.根据权利要求5所述的一种基于DeepLabV3Plus的斑马鱼形态学评分方法，其特征在于，所述解码器部分利用上采样还原特征图尺寸，用一个1×1卷积处理低级语义特征，进行通道降维，再将其与经过4倍双线性差值上采样得到的高级语义特征图进行Concat融合，通过一个3×3卷积提取特征，在解码器尾部经4倍双线性差值上采样后恢复至原图分辨率，最终完成图像的语义分割。
7.根据权利要求6所述的一种基于DeepLabV3Plus的斑马鱼形态学评分方法，其特征在于，步骤S3网络训练基于TensorFlow深度学习框架，使用NVIDIAGeForce RTX2080Ti GPU进行计算，cuDnn10.0库进行加速，训练过程基于迁移学习的方式进行。
8.根据权利要求1所述的一种基于DeepLabV3Plus的斑马鱼形态学评分方法，其特征在于，步骤S4对所述训练后的模型进行评估，得出模型的精度指标，包括模型的平均交并比及各畸形类型的交并比。
9.根据权利要求1所述的一种基于DeepLabV3Plus的斑马鱼形态学评分方法，其特征在于，步骤S5将测试集图片输入到训练好的模型中进行预测，读取预测图，将其颜色模型由RGB格式转换为HSV格式。
10.根据权利要求9所述的一种基于DeepLabV3Plus的斑马鱼形态学评分方法，其特征在于，步骤S5定义HSV颜色字典，使其与预测图中代表不同畸形类型的掩码颜色相对应；定义累计评分规则，获取预测图所显示的畸形类型进行累加评分，并逐一输出结果。
CN202110589367.1A 2021-05-28 2021-05-28 一种基于DeepLabV3Plus的斑马鱼形态学评分方法 Pending CN113361353A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110589367.1A CN113361353A (zh) 2021-05-28 2021-05-28 一种基于DeepLabV3Plus的斑马鱼形态学评分方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110589367.1A CN113361353A (zh) 2021-05-28 2021-05-28 一种基于DeepLabV3Plus的斑马鱼形态学评分方法

Publications (1)

Publication Number Publication Date
CN113361353A true CN113361353A (zh) 2021-09-07

Family

ID=77527995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110589367.1A Pending CN113361353A (zh) 2021-05-28 2021-05-28 一种基于DeepLabV3Plus的斑马鱼形态学评分方法

Country Status (1)

Country Link
CN (1) CN113361353A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821778A (zh) * 2022-04-22 2022-07-29 中国农业大学 一种水下鱼体姿态动态识别方法及装置
CN114913049A (zh) * 2022-05-26 2022-08-16 中国人民解放军国防科技大学 基于彩色图像的影子图像可理解秘密图像分享方法和系统
CN117274272A (zh) * 2023-09-08 2023-12-22 青岛市市立医院 一种基于深度学习的冠状动脉造影图分割的优化方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110955799A (zh) * 2019-11-27 2020-04-03 南京创维信息技术研究院有限公司 一种基于目标检测的人脸推荐影视方法
CN111178182A (zh) * 2019-12-16 2020-05-19 深圳奥腾光通系统有限公司 一种丢垃圾行为的实时检测方法
CN112750129A (zh) * 2021-03-11 2021-05-04 湘潭大学 一种基于特征增强位置注意力机制的图像语义分割模型
CN112819807A (zh) * 2021-02-24 2021-05-18 成都理工大学 一种用于新冠肺炎的全自动分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110955799A (zh) * 2019-11-27 2020-04-03 南京创维信息技术研究院有限公司 一种基于目标检测的人脸推荐影视方法
CN111178182A (zh) * 2019-12-16 2020-05-19 深圳奥腾光通系统有限公司 一种丢垃圾行为的实时检测方法
CN112819807A (zh) * 2021-02-24 2021-05-18 成都理工大学 一种用于新冠肺炎的全自动分割方法
CN112750129A (zh) * 2021-03-11 2021-05-04 湘潭大学 一种基于特征增强位置注意力机制的图像语义分割模型

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIANG-CHIEH CHEN等: "Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation", 《ARXIV》 *
SHANG SHANG ETAL: "Zebrafish Larvae Phenotype Classification from Bright-field Microscopic Images Using a Two-Tier Deep-Learning Pipeline", 《MDIP》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821778A (zh) * 2022-04-22 2022-07-29 中国农业大学 一种水下鱼体姿态动态识别方法及装置
CN114913049A (zh) * 2022-05-26 2022-08-16 中国人民解放军国防科技大学 基于彩色图像的影子图像可理解秘密图像分享方法和系统
CN117274272A (zh) * 2023-09-08 2023-12-22 青岛市市立医院 一种基于深度学习的冠状动脉造影图分割的优化方法
CN117274272B (zh) * 2023-09-08 2024-04-30 青岛市市立医院 一种基于深度学习的冠状动脉造影图分割的优化方法

Similar Documents

Publication Publication Date Title
CN108898175B (zh) 基于深度学习胃癌病理切片的计算机辅助模型构建方法
CN113361353A (zh) 一种基于DeepLabV3Plus的斑马鱼形态学评分方法
Chen et al. SVIA dataset: A new dataset of microscopic videos and images for computer-aided sperm analysis
CN107194937B (zh) 一种开放环境下中医舌象图像分割方法
Kromp et al. Evaluation of deep learning architectures for complex immunofluorescence nuclear image segmentation
CN110288597B (zh) 基于注意力机制的无线胶囊内窥镜视频显著性检测方法
CN110276402B (zh) 一种基于深度学习语义边界增强的盐体识别方法
CN109544512A (zh) 一种基于多模态的胚胎妊娠结果预测装置
CN111161273A (zh) 一种基于深度学习的医学超声图像分割方法
CN108256486B (zh) 一种基于非负低秩和半监督学习的图像识别方法及装置
CN114038037B (zh) 基于可分离残差注意力网络的表情标签修正和识别方法
CN110728666B (zh) 基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统
CN105654141A (zh) 基于Isomap和SVM算法的俯视群养猪个体识别方法
CN110648331B (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
US20210383149A1 (en) Method for identifying individuals of oplegnathus punctatus based on convolutional neural network
WO2021073279A1 (zh) 数字病理图像染色归一化方法、系统、电子装置及存储介质
CN113012163A (zh) 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质
US11804029B2 (en) Hierarchical constraint (HC)-based method and system for classifying fine-grained graptolite images
CN112348059A (zh) 基于深度学习的多种染色病理图像分类方法及系统
CN113706562B (zh) 图像分割方法、装置、系统及细胞分割方法
CN115294075A (zh) 一种基于注意力机制的octa图像视网膜血管分割方法
Shan et al. SCA-Net: A spatial and channel attention network for medical image segmentation
Tabernik et al. Towards deep compositional networks
Ilhan et al. Sperm morphology analysis by using the fusion of two-stage fine-tuned deep networks
CN113409255A (zh) 一种基于Mask R-CNN的斑马鱼形态学分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination