CN113409255A - 一种基于Mask R-CNN的斑马鱼形态学分类方法 - Google Patents
一种基于Mask R-CNN的斑马鱼形态学分类方法 Download PDFInfo
- Publication number
- CN113409255A CN113409255A CN202110633522.5A CN202110633522A CN113409255A CN 113409255 A CN113409255 A CN 113409255A CN 202110633522 A CN202110633522 A CN 202110633522A CN 113409255 A CN113409255 A CN 113409255A
- Authority
- CN
- China
- Prior art keywords
- zebra fish
- mask
- image
- cnn
- fish
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000252212 Danio rerio Species 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000000877 morphologic effect Effects 0.000 title claims abstract description 26
- 241000251468 Actinopterygii Species 0.000 claims abstract description 49
- 230000000366 juvenile effect Effects 0.000 claims abstract description 48
- 230000011218 segmentation Effects 0.000 claims abstract description 12
- 230000003321 amplification Effects 0.000 claims abstract description 7
- 238000011156 evaluation Methods 0.000 claims abstract description 7
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 27
- 206010030113 Oedema Diseases 0.000 claims description 16
- 230000012447 hatching Effects 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 9
- 210000001325 yolk sac Anatomy 0.000 claims description 9
- 210000002969 egg yolk Anatomy 0.000 claims description 8
- 230000017074 necrotic cell death Effects 0.000 claims description 8
- 208000000875 Spinal Curvatures Diseases 0.000 claims description 7
- 238000005452 bending Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000001575 pathological effect Effects 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 210000002257 embryonic structure Anatomy 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000011534 incubation Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 231100000419 toxicity Toxicity 0.000 description 2
- 230000001988 toxicity Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101100354045 Caenorhabditis elegans rpn-2 gene Proteins 0.000 description 1
- 206010058907 Spinal deformity Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000007059 acute toxicity Effects 0.000 description 1
- 231100000403 acute toxicity Toxicity 0.000 description 1
- 210000004712 air sac Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000000383 hazardous chemical Substances 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 231100000820 toxicity test Toxicity 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20116—Active contour; Active surface; Snakes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于Mask R‑CNN的斑马鱼形态学分类方法，应用于斑马鱼形态学分类领域，针对现有斑马鱼形态学观察方法非常耗时且评价标准不明确的问题，本发明首先获取斑马鱼幼鱼形貌表型图像数据；使用imgaug进行数据扩增，搭建Mask R‑CNN实例分割网络对数据集进行训练，将训练好的模型用于斑马鱼幼鱼形貌图像的识别及形态学分类。与现有方法相比，本发明可实现对斑马鱼幼鱼形貌图像的快速识别和分类，完成对斑马鱼幼鱼形态学的自动分析，能够有效节约时间成本，帮助降低研究人员的主观判断误差，实用性强、准确率高、普适性强。
Description
技术领域
本发明涉及斑马鱼形态学分类领域，具体涉及一种基于Mask R-CNN的斑马鱼形态学分类方法。
背景技术
斑马鱼作为筛选环境有毒物质，人造化学物质和药物的理想模式生物，其胚胎多被用在急性毒性筛选来评估化学物质的生物毒性。传统的方法中，研究人员通过显微镜来观察斑马鱼胚胎的发育情况，通过其毒性终点(死亡、孵化、发育延缓、畸形等形貌)来判断化学物质对胚胎的影响程度。但在现有的斑马鱼形态学评价体系中，因为一个视野中通常同时存在多条运动的鱼，要快速准确观察并记录其形貌特点并做出判断需要耗费大量的时间和人力成本。且在相互独立的研究中进行数据平行比较时，斑马鱼的形态评价基于不同研究人员的主观判断，由于人为先验知识的影响将限制数据深度挖掘的可能性。随着所需测试毒性的化学物质累积及图像数据的爆发性增长，需要有一种能快速高效且能自动化分析斑马鱼胚胎形貌类别的图像检测方法。
专利CN111583207A公开了一种斑马鱼幼鱼心脏轮廓确定方法，采集多张测试集斑马鱼幼鱼显微图像和训练集斑马鱼幼鱼显微图像；将各训练集斑马鱼幼鱼显微图像进行裁剪处理，得到裁剪处理后的幼鱼区域；对各幼鱼区域进行椭圆拟合，得到斑马鱼幼鱼心脏轮廓的特征点坐标；根据各幼鱼区域和相应的特征点坐标进行卷积神经网络的训练；根据测试集斑马鱼幼鱼显微图像对训练后的网络模型进行优化；将待预测的斑马鱼幼鱼显微图像作为输入输入至优化后的网络模型，得到待预测幼鱼心脏轮廓的特征点坐标；根据待预测幼鱼心脏轮廓的特征点坐标，确定斑马鱼幼鱼心脏轮廓，然而，该专利仅用于在单次单条的条件下预测斑马鱼幼鱼的心脏位置，功能较为局限；该专利在预测斑马鱼心脏位置前需要先手动截取斑马鱼幼鱼的头部部分，耗费人力；该专利通过预测椭圆形上的八个关键点来生成斑马鱼幼鱼的心脏区域，不能精细的拟合各种形态下斑马鱼幼鱼的心脏位置。本专利可以同时预测图片中包含的所有斑马鱼幼鱼的种类和轮廓掩码；本专利可以直接对实验拍摄的图像进行处理，中间过程不再需要人工参与；本专利通过像素级的轮廓掩码来预测斑马鱼幼鱼的整体位置，精细程度高，不需局限于特定形态。
发明内容
本发明的目的就是针对斑马鱼形态学评价过程耗时且评价标准不明确的问题，基于现有的深度学习技术，提供一种基于Mask R-CNN的斑马鱼形态学分类方法，实现对斑马鱼形貌图像的批量处理及形态学自动分类。
本发明的目的通过以下技术方案实现：
一种基于Mask R-CNN的斑马鱼形态学分类方法，包含以下步骤：
S1、获取斑马鱼幼鱼形貌表型数据，包括含有正常孵化、脊柱弯曲、心包水肿、孵化后坏死、尾部下弯、尾部上翘、卵黄延伸畸形、卵黄囊水肿八类常见形貌类型的斑马鱼幼鱼图像，建立斑马鱼幼鱼形貌表型的图像数据集；
S2、将斑马鱼形貌数据集依据7:3的比例划分为训练数据集和测试数据集，使用imgaug对训练集中的斑马鱼形貌图像进行预处理及数据增强，提高模型的鲁棒性；
S3、搭建Mask-RCNN目标实例分割网络模型，将正常孵化、脊柱弯曲、心包水肿、孵化后坏死、尾部下弯、尾部上翘、卵黄延伸畸形、卵黄囊水肿八图像及标注信息输入网络进行训练。模型使用ResNet-50作为骨干网络，使用RPN和FPN进行多尺度的目标检测和特征融合，通过ROI Align结构利用双线性差值方法提高实例分割精度，将目标检测、实例分割和分类预测分为三个Head同时进行训练，从而实现对图像中斑马鱼的目标实例分割；
S4、对模型进行整体指标评估；
S5、使用训练好的模型对斑马鱼幼鱼形貌图像进行计算，得到图像中所有斑马鱼的分类结果、类别置信度、外包围框和分割轮廓。
进一步地，步骤S1包括：将斑马鱼幼鱼(72～120hpf)置于显微镜下，拍摄并收集包括含有正常孵化、脊柱弯曲、心包水肿、孵化后坏死、尾部下弯、尾部上翘、卵黄延伸畸形、卵黄囊水肿八类常见形貌类型的斑马鱼幼鱼图像。建立斑马鱼幼鱼形貌表型的图像数据集。
进一步地，步骤S2包括：图像数据集的预处理。使用Labelme开源标注工具对扩增后的图像数据集进行标注，获取斑马鱼幼鱼个体的标签种类和轮廓。对于数据扩增获得的数据则根据标注数据的标签种类和轮廓进行计算获得。
进一步地，步骤S2包括：图像数据集的扩增。为了提高模型对斑马鱼幼鱼形貌识别的鲁棒性，避免各形貌类别训练数据数量不均衡对模型准确率的影响，使用计算机视觉领域开源软件库imgaug对数据量较少的形貌类别通过图像扭曲算法进行数据扩增，对所有训练数据通过亮度变换、对比度变换、添加噪声等方式进行数据扩增。对整体数据集依据垂直翻转、水平翻转、旋转、缩放、像素乘法、相邻像素乘法、对比度调节、高斯噪声、高斯模糊、锐化、超像素增强、单通道增强和颜色空间增强共13种图像增强算法按照随机阈值、随机组合的方式进行数据增强。
进一步地，步骤S2包括：TFRecord文件数据的创建。将上述图像数据集进行分类，其中70％作为训练数据集，30％作为测试数据集，并将其打包成TFRecord格式，便于在TensorFlow中被读取和处理。
进一步地，步骤S3网络模型基于编码器和解码器结构，编码器部分利用下采样进行特征提取，其结构由骨干网络ResNet-50、RPN和FPN组成，骨干网络用于提取图像信息生成不同尺度的语义特征图，RPN则依据目标在原图中的尺寸比例在不同尺度的语义特征图上对目标进行检测，FPN则将不同尺度语义特征图上目标潜在区域通过1×1的卷积进行降维，融合到一张语义特征图上。
解码器部分分为ROI Align、mask head、class head和bbox head，ROI Align依据双线性插值算法提高经过压缩后的特征图与原图的匹配精度，从而生成更加精确的图像掩码；Mask head则依据经过ROI Align的目标区域特征图预测该目标的图像掩码；而与此同时经过ROI Align的目标区域特征图会被送入全连接层进行解码，在全连接层后接入classhead和bbox head，得到该目标区域的分类结果和外包围框坐标。
进一步地，步骤S3包括：训练基于TensorFlow深度学习框架,使用NVIDIA的图形处理器GeForce RTX 2080Ti进行计算，CUDA10.1库进行加速。
进一步地，步骤S4包括：对训练后的模型进行评估，得出模型的精度指标，包括分类精度mAP，外包围框交并比和轮廓交并比。
进一步地，步骤S5包括：将测试集图片输入到训练好的模型中进行预测，读取预测图。定义累计评分规则，测试集图片包含正常孵化、脊柱弯曲、心包水肿、孵化后坏死、尾部下弯、尾部上翘、卵黄延伸畸形、卵黄囊水肿八类常见形貌类型，所述累计评分规则为，总分为5分，每出现一种形貌类型扣一分，获取预测图所显示的形貌类型进行累加评分，并逐一输出结果到文本文件中。
与现有技术相比，本发明具有以下有益效果：
本发明斑马鱼图像和视频分析基于Mask R-CNN网络现有的经典网络设计方式，融合新的模型应用理念，通过识别并检测形貌特点，对形貌类型进行客观分类，建立一个客观的斑马鱼形态分类系统，实现快速准确地批量处理实验图片，减轻人力成本，提高效率的同时保证准确性和再现性。本专利可以同时预测图片中包含的所有斑马鱼幼鱼的种类和轮廓掩码，即单视野中可以同时识别多目标，并准确分析类别，且不同种类的畸形(畸形叠加)都可以被准确识别；本专利可以直接对实验拍摄的图像进行处理，中间过程不再需要人工参与，不受图像背景限制即可准确识别，纵背景有噪点或者背景值不干净不影响准确识别；本专利通过像素级的轮廓掩码来预测斑马鱼幼鱼的整体位置，精细程度高，不需局限于特定形态，即识别准确度不受幼鱼所处的方向、角度、视图限制；本专利准确识别不受显微放大倍数和不同试验批次的数据限制，模型泛化能力强。
附图说明
图1为本发明具体实施方式的流程图；
图2为包含斑马鱼不同形貌类型的原始图像；
图3为本发明中实施数据增强后的含有尾部下弯类型的原始图像；
图4为本发明中使用的Mask R-CNN模型结构示意图；
图5为本发明中使用的骨干网络结构图；
图6为本发明模型训练过程中训练损失；
图7为本发明模型训练后对图像进行预测的结果展示。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
一种基于Mask R-CNN(图5)的斑马鱼形态学分类方法，图1为本发明的实施流程图，包括以下步骤：
S1、获取斑马鱼幼鱼形貌表型数据：
将斑马鱼幼鱼(72～120hpf)置于一体式数码液晶显微镜下进行拍摄。
如图2，收集包括含有正常孵化、脊柱弯曲、心包水肿、孵化后坏死、尾部下弯、尾部上翘、卵黄延伸畸形、卵黄囊水肿八类常见形貌类型的斑马鱼幼鱼图像，建立斑马鱼幼鱼形貌表型的图像数据集。
S2、图像数据集的预处理及数据增强：
图像数据集的预处理。使用Labelme开源标注工具对扩增后的图像数据集进行标注，获取斑马鱼幼鱼个体及斑马鱼幼鱼心脏、卵黄囊、背部、尾部、鱼鳔的组织轮廓。
TFRecord文件数据的创建。将上述图像数据集进行分类，其中70％作为训练数据集，30％作为测试数据集，并将其打包成TFRecord格式，方便其在TensorFlow中被读取和处理。
TFRecord数据文件是将特征数据和特征数据对应的标签统一存储的二进制文件，能够使数据实现在TensorFlow中快速的复制、移动、读取和存储。
TFRecord文件使用了协议缓冲区(Protocol Buffer)结构数据序列化工具，通过将结构化数据进行序列化定义，来实现内存和硬盘之间的数据存储和交换功能。读取图像数据进行网络训练时，只需一次性加载一个二进制文件即可。
本发明通过将大量训练数据分成多个TFRecord文件的方式来提高计算处理效率。
图像数据集的扩增。本发明通过数据增强的方式，解决图像数据集各形貌类型种类数量不均衡的问题，提高模型对于斑马鱼实例分割及分类的鲁棒性。
如图3，展示了本发明通过imgaug开发库对图像数据集进行的数据增强效果。其中应用了包括垂直翻转、水平翻转、旋转、缩放、像素乘法、相邻像素乘法、对比度调节、高斯噪声、高斯模糊、扭曲、锐化、超像素增强、单通道增强和颜色空间增强共14项图像处理算法。
由于斑马鱼幼鱼通常以多种位置形态出现在图像中，所以本发明首先利用图像的垂直翻转、水平翻转、旋转和缩放对数据集进行处理。
垂直翻转的计算公式：[x,y,1]＝[x0,H-y0,1]
其中x，y为翻转后的坐标，x0，y0为翻转前的坐标，H为图像高度。
水平翻转的计算公式：[x,y,1]＝[W-x0,y0,1]
其中x，y为翻转后的坐标，x0，y0为翻转前的坐标，W为图像宽度。
缩放的计算公式：
其中x，y为翻转后的坐标，x0，y0为翻转前的坐标，Sx为的水平缩放比例，Sy为的垂直缩放比例。
旋转的计算公式：
其中x，y为翻转后的坐标，x0，y0为翻转前的坐标，α为旋转角度，xc为的旋转中心横坐标，yc为的旋转中心纵坐标。
图像模糊的计算公式：
高斯模糊的计算公式：
对比度的计算公式：C＝∑δδ(i,j)2Pδ(i,j)，其中δ(i,j)＝|i-j|，为相邻像素间灰度差；Pδ(i,j)为相邻像素间的灰度差为δ的像素分布概率。
像素乘法通过对图像中的所有像素乘上一个随机系数的方式实现对图像特征进行改变。
相邻像素乘法通过对图像中不同像素乘上不同的随机系数来实现图像特征的改变，算法保证了相邻像素不会使用相同的系数。
图像锐化算法通过拉普拉斯算子对图像整体进行卷积操作，从而实现对图像特征的改变。
超像素增强算法依据原图的像素平均值，为每个图像生成一定数量的超像素，并随机用超像素替换原图中的单个像素。
单通道增强算法对RGB中的某一通道乘上随机系数并加上随机偏置值，从而改变原图的颜色特征。
颜色空间增强算法则是将原图转化到HSV颜色空间，再整体加上一个随机值，最后将整个图像矩阵在RGB颜色空间下进行展示。
如图6，模型损失函数分为两类：1)RPN损失2)Mask RCNN heads损失。
RPN损失分为前后景分类损失RPN class loss和目标框回归损失RPN bbox loss，负责提升模型从原始图像中提供潜在目标区域的能力。
RPN损失函数：
Mask-RCNN heads损失分为分类损失class loss、回归损失bbox loss和轮廓掩码损失mask loss，负责提升模型对潜在目标区域中所含目标定位、分类并生成轮廓掩码的能力。
Mask-RCNN损失函数为：L＝Lcls+Lbox+Lmask
其中
这部分的损失函数与RPN损失相同。
其中k为某个类别，m为mask head的蒙版边长，yij为蒙版中(i,j)点的标签真值，
为k类别在蒙版中(i,j)点的预测值。
S3、搭建Mask-RCNN目标实例分割网络模型(如图5)，将图像数据集图像及标注信息输入网络进行训练；
模型基于编码器和解码器结构，编码器部分利用下采样进行特征提取，其结构由骨干网络ResNet-50、RPN和FPN组成，骨干网络用于提取图像信息生成不同尺度的语义特征图，RPN依据目标在原图中的尺寸比例在不同尺度的语义特征图上对目标进行检测，FPN将不同尺度语义特征图上目标潜在区域通过1×1的卷积进行降维，融合到一张语义特征图上。
解码器部分分为ROI Align、mask head、class head和bbox head，ROI Align依据双线性插值算法提高经过压缩后的特征图与原图的匹配精度；Mask head依据经过ROIAlign的目标区域特征图预测该目标的图像掩码；同时经过ROI Align的目标区域特征图会被送入全连接层进行解码，在全连接层后接入class head和bbox head，得到该目标区域的分类结果和外包围框坐标。
训练基于TensorFlow深度学习框架，使用NVIDIA的图形处理器GeForce RTX2080Ti进行计算，CUDA10.1库进行加速。
S4、对模型进行整体指标评估；
对训练后的模型进行评估，得出模型的精度指标，包括分类精度mAP，外包围框交并比和轮廓交并比。
S5、使用训练好的模型对斑马鱼幼鱼形貌图像进行计算，得到图像中所有斑马鱼的分类结果、类别置信度、外包围框和分割轮廓。
将测试集图片输入到训练好的模型中进行预测，读取预测图。定义累计评分规则，测试集图片包含正常孵化、脊柱弯曲、心包水肿、孵化后坏死、尾部下弯、尾部上翘、卵黄延伸畸形、卵黄囊水肿八类常见形貌类型，所述累计评分规则为，总分为5分，每出现一种形貌类型扣一分，获取预测图所显示的形貌类型进行累加评分，并逐一输出结果到文本文件中，图7为本发明模型训练后对图像进行预测的结果展示。
表1为模型训练后的分类准确率，本方法能实现快速准确地批量处理实验图片，减轻人力成本，提高效率的同时保证准确性和再现性。
表1模型训练后的分类准确率
| 类别(Class) | 准确率(Accuracy) |
| 脊柱弯曲 | 87.14％ |
| 孵化后坏死 | 88.70％ |
| 尾部下弯 | 74.20％ |
| 卵黄延伸畸形 | 83.94％ |
| 正常孵化 | 83.37％ |
| 心包水肿 | 88.38％ |
| 尾部上翘 | 91.38％ |
| 卵黄囊水肿 | 83.00％ |
上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和使用发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。
Claims (10)
1.一种基于Mask R-CNN的斑马鱼形态学分类方法，其特征在于，包括以下步骤：
S1、获取斑马鱼幼鱼形貌表型数据，建立斑马鱼幼鱼形貌表型的图像数据集；
S2、将图像数据集划分为训练数据集和测试数据集，使用imgaug对训练数据集中的斑马鱼形貌图像进行预处理及数据增强；
S3、搭建Mask-RCNN目标实例分割网络模型，将图像数据集图像及标注信息输入网络进行训练；
S4、对模型进行整体指标评估；
S5、使用训练好的模型对斑马鱼幼鱼形貌图像进行计算，得到图像中所有斑马鱼的分类结果、类别置信度、外包围框和分割轮廓。
2.根据权利要求1所述的一种基于Mask R-CNN的斑马鱼形态学分类方法，其特征在于，步骤S1包括：将斑马鱼幼鱼置于显微镜下，拍摄并收集包括含有正常孵化、脊柱弯曲、心包水肿、孵化后坏死、尾部下弯、尾部上翘、卵黄延伸畸形、卵黄囊水肿八类常见形貌类型的斑马鱼幼鱼图像，建立斑马鱼幼鱼形貌表型的图像数据集。
3.根据权利要求1所述的一种基于Mask R-CNN的斑马鱼形态学分类方法，其特征在于，步骤S2包括：图像数据集的预处理使用Labelme开源标注工具对扩增后的图像数据集进行标注，获取斑马鱼幼鱼个体的标签种类和轮廓，对于数据扩增获得的数据则根据标注数据的标签种类和轮廓进行计算获得。
4.根据权利要求1所述的一种基于Mask R-CNN的斑马鱼形态学分类方法，其特征在于，步骤S2包括：使用计算机视觉领域开源软件库imgaug对数据量较少的形貌类别通过图像扭曲算法进行数据扩增，对所有训练数据通过亮度变换、对比度变换、添加噪声方式进行数据扩增。
5.根据权利要求1所述的一种基于Mask R-CNN的斑马鱼形态学分类方法，其特征在于，步骤S2包括：TFRecord文件数据的创建，将图像数据集依据7:3的比例划分为训练数据集和测试数据集，并将其打包成TFRecord格式。
6.根据权利要求1所述的一种基于Mask R-CNN的斑马鱼形态学分类方法，其特征在于，步骤S3网络模型基于编码器和解码器结构，编码器部分利用下采样进行特征提取，其结构由骨干网络ResNet-50、RPN和FPN组成，骨干网络用于提取图像信息生成不同尺度的语义特征图，RPN依据目标在原图中的尺寸比例在不同尺度的语义特征图上对目标进行检测，FPN将不同尺度语义特征图上目标潜在区域通过1×1的卷积进行降维，融合到一张语义特征图上。
7.根据权利要求6所述的一种基于Mask R-CNN的斑马鱼形态学分类方法，其特征在于，解码器部分分为ROIAlign、mask head、class head和bbox head，ROI Align依据双线性插值算法提高经过压缩后的特征图与原图的匹配精度；Mask head依据经过ROIAlign的目标区域特征图预测该目标的图像掩码；同时经过ROIAlign的目标区域特征图会被送入全连接层进行解码，在全连接层后接入class head和bbox head，得到该目标区域的分类结果和外包围框坐标。
8.根据权利要求1所述的一种基于Mask R-CNN的斑马鱼形态学分类方法，其特征在于，步骤S3包括：训练基于TensorFlow深度学习框架，使用NVIDIA的图形处理器GeForce RTX2080Ti进行计算，CUDA10.1库进行加速。
9.根据权利要求1所述的一种基于Mask R-CNN的斑马鱼形态学分类方法，其特征在于，步骤S4包括：对所述训练后的模型进行评估，得出模型的精度指标，包括分类精度mAP，外包围框交并比和轮廓交并比。
10.根据权利要求1所述的一种基于Mask R-CNN的斑马鱼形态学分类方法，其特征在于，步骤S5包括：将测试集图片输入到训练好的模型中进行预测，将预测得到的斑马鱼病理分类结果、分类置信度、外包围框和轮廓分割绘制于原图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110633522.5A CN113409255A (zh) | 2021-06-07 | 2021-06-07 | 一种基于Mask R-CNN的斑马鱼形态学分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110633522.5A CN113409255A (zh) | 2021-06-07 | 2021-06-07 | 一种基于Mask R-CNN的斑马鱼形态学分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113409255A true CN113409255A (zh) | 2021-09-17 |
Family
ID=77676789
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110633522.5A Pending CN113409255A (zh) | 2021-06-07 | 2021-06-07 | 一种基于Mask R-CNN的斑马鱼形态学分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113409255A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115393691A (zh) * | 2022-09-05 | 2022-11-25 | 中国长江电力股份有限公司 | 基于Mask_RCNN算法的继电保护压板投退状态的自动检测方法 |
| CN116523914A (zh) * | 2023-07-03 | 2023-08-01 | 智慧眼科技股份有限公司 | 一种动脉瘤分类识别装置、方法、设备、存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111161290A (zh) * | 2019-12-27 | 2020-05-15 | 西北大学 | 一种图像分割模型的构建方法、图像分割方法及系统 |
| CN111640125A (zh) * | 2020-05-29 | 2020-09-08 | 广西大学 | 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置 |
| US20200294240A1 (en) * | 2018-04-20 | 2020-09-17 | Ping An Technology (Shenzhen) Co., Ltd. | Method and apparatus for training semantic segmentation model, computer device, and storage medium |
| CN111768401A (zh) * | 2020-07-08 | 2020-10-13 | 中国农业大学 | 一种基于深度学习的冰鲜鲳鱼新鲜度快速分级方法 |
| WO2021051601A1 (zh) * | 2019-09-19 | 2021-03-25 | 平安科技（深圳）有限公司 | 利用Mask R-CNN选择检测框的方法及系统、电子装置及存储介质 |
-
2021
- 2021-06-07 CN CN202110633522.5A patent/CN113409255A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200294240A1 (en) * | 2018-04-20 | 2020-09-17 | Ping An Technology (Shenzhen) Co., Ltd. | Method and apparatus for training semantic segmentation model, computer device, and storage medium |
| WO2021051601A1 (zh) * | 2019-09-19 | 2021-03-25 | 平安科技（深圳）有限公司 | 利用Mask R-CNN选择检测框的方法及系统、电子装置及存储介质 |
| CN111161290A (zh) * | 2019-12-27 | 2020-05-15 | 西北大学 | 一种图像分割模型的构建方法、图像分割方法及系统 |
| CN111640125A (zh) * | 2020-05-29 | 2020-09-08 | 广西大学 | 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置 |
| CN111768401A (zh) * | 2020-07-08 | 2020-10-13 | 中国农业大学 | 一种基于深度学习的冰鲜鲳鱼新鲜度快速分级方法 |
Non-Patent Citations (2)
| Title |
|---|
| SHANG SHANG ETAL: "《Zebrafish Larvae Phenotype Classification from Bright-field Microscopic Images Using a Two-Tier Deep-Learning Pipeline》", 《MDIP》 * |
| SHANG SHANG,ET AL: "《Automatic Zebrafish Egg Phenotype Recognition from Bright-Field Microscopic Images Using Deep Convolutional Neural Network》", 《MDPI》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115393691A (zh) * | 2022-09-05 | 2022-11-25 | 中国长江电力股份有限公司 | 基于Mask_RCNN算法的继电保护压板投退状态的自动检测方法 |
| CN116523914A (zh) * | 2023-07-03 | 2023-08-01 | 智慧眼科技股份有限公司 | 一种动脉瘤分类识别装置、方法、设备、存储介质 |
| CN116523914B (zh) * | 2023-07-03 | 2023-09-19 | 智慧眼科技股份有限公司 | 一种动脉瘤分类识别装置、方法、设备、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110659692B (zh) | 基于强化学习和深度神经网络的病理图像自动标注方法 | |
| Wan et al. | Robust nuclei segmentation in histopathology using ASPPU-Net and boundary refinement | |
| WO2021139258A1 (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
| Kromp et al. | Evaluation of deep learning architectures for complex immunofluorescence nuclear image segmentation | |
| CN111462120B (zh) | 一种基于语义分割模型缺陷检测方法、装置、介质及设备 | |
| CN112380900A (zh) | 基于深度学习的子宫颈液基细胞数字图像分类方法及系统 | |
| CN110533583B (zh) | 一种基于宫颈液基细胞的自适应图像增广系统 | |
| CN112926652B (zh) | 一种基于深度学习的鱼类细粒度图像识别方法 | |
| CN113409255A (zh) | 一种基于Mask R-CNN的斑马鱼形态学分类方法 | |
| CN112215217B (zh) | 模拟医师阅片的数字图像识别方法及装置 | |
| CN111709929A (zh) | 一种肺部癌变区域分割与分类检测系统 | |
| CN112348059A (zh) | 基于深度学习的多种染色病理图像分类方法及系统 | |
| CN112651955A (zh) | 一种肠道图像的识别方法及终端设备 | |
| CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
| CN110728666B (zh) | 基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统 | |
| CN115909006A (zh) | 基于卷积Transformer的乳腺组织图像分类方法及系统 | |
| CN111047559A (zh) | 一种数字病理切片异常区域快速检测的方法 | |
| CN113160175B (zh) | 一种基于级联网络的肿瘤淋巴管浸润检测方法 | |
| CN111210447A (zh) | 一种苏木精-伊红染色病理图像层次分割的方法及终端 | |
| CN113077438B (zh) | 针对多细胞核彩色图像的细胞核区域提取方法及成像方法 | |
| CN112884737B (zh) | 基于多级迭代的乳腺癌病理图像中有丝分裂自动检测方法 | |
| CN113643297A (zh) | 一种基于神经网络的计算机辅助牙龄分析方法 | |
| CN116468690B (zh) | 基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统 | |
| CN115187982B (zh) | 藻类检测方法、装置及终端设备 | |
| CN111353987A (zh) | 一种细胞核分割方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210917 |