CN109977780A - 一种基于深度学习算法的硅藻的检测与识别方法 - Google Patents
一种基于深度学习算法的硅藻的检测与识别方法 Download PDFInfo
- Publication number
- CN109977780A CN109977780A CN201910142605.7A CN201910142605A CN109977780A CN 109977780 A CN109977780 A CN 109977780A CN 201910142605 A CN201910142605 A CN 201910142605A CN 109977780 A CN109977780 A CN 109977780A
- Authority
- CN
- China
- Prior art keywords
- diatom
- deep learning
- detection
- rpn
- learning algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000001514 detection method Methods 0.000 title claims abstract description 51
- 238000013135 deep learning Methods 0.000 title claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 33
- 241000195493 Cryptophyta Species 0.000 claims description 40
- 238000013527 convolutional neural network Methods 0.000 claims description 32
- 238000012360 testing method Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 6
- 241001491711 Melosira Species 0.000 claims description 5
- 229910003460 diamond Inorganic materials 0.000 claims description 5
- 239000010432 diamond Substances 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 238000003475 lamination Methods 0.000 claims description 4
- 229910052799 carbon Inorganic materials 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 241000206761 Bacillariophyta Species 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 235000003283 Pachira macrocarpa Nutrition 0.000 description 1
- 241001083492 Trapa Species 0.000 description 1
- 235000014364 Trapa natans Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000000050 nutritive effect Effects 0.000 description 1
- 235000009165 saligot Nutrition 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000009394 selective breeding Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Abstract
本发明实施例公开了一种基于深度学习算法的硅藻的检测与识别方法，用于解决了硅藻检验过程中因为种类过多和背景复杂而造成的识别效率低、识别不准确的问题。本发明实施例包括以下步骤：S1、获取多种硅藻种类图像，并按照Pascal VOC2007数据集格式制作数据集；S2、通过深度学习目标检测算法训练针对多种硅藻目标的目标检测模型；S3、使用训练好的Faster R‑CNN网络模型来检测待检测图像中的硅藻目标，图像进入Fast R‑CNN网络模型的卷积层中，把最后一个共享卷积层输出的特征图输入RPN网络模型中生成可能存在目标的候选区域，输出这些区域的中心坐标以及宽和高，再将候选区域特征输入Fast R‑CNN中后续的分类及边框回归部分即可得到目标种类和精修过的位置信息。
Description
技术领域
本发明涉及生物检测与识别技术领域，尤其涉及一种基于深度学习算法的硅藻的检测与识别方法。
背景技术
硅藻是一种在地球上分布十分广泛的水生单细胞植物，因其对水体温度、营养盐浓度等变化十分敏感，因此常被用来作为水体质量的参考指标。另一方面，大部分溺死于水中的尸体被发现时都呈现高度腐败状态，硅藻检验是对尸体溺死诊断的最有效的方法，在法医学检验中的作用非常重要。
当下在法医学检验中对取样得到的硅藻图像进行分类辨别的方法主要有两种，一种是依靠人工辨别，另一种是借助机器学习方法，其中，基于机器学习的硅藻检测识别方法是使用机器学习算法提取硅藻图像的颜色、形状、纹理特征，使用提取到的特征作为输入训练分类器，然后提取需要检测的图像的特征集，和训练好的分类器一起作为输入得到分类后的结果，但是该方法存在下列问题，简单背景下的硅藻图像需要经过复杂的图像预处理步骤去除复杂背景部分，虽然简单背景下的图像有利于检测识别，但是预处理过程费时费力，而且有的图像不能很好的去掉复杂背景，复杂背景下的硅藻图像识别需要人工选择有效的特征集和分类器，特征复杂且种类繁多，目前只有针对小环藻进行识别的算法。
因此，为解决上述的技术问题，寻找一种基于深度学习算法的硅藻的检测与识别方法成为本领域技术人员所研究的重要课题。
发明内容
本发明实施例公开了一种基于深度学习算法的硅藻的检测与识别方法，用于解决了硅藻检验过程中因为种类过多和背景复杂而造成的识别效率低、识别不准确的问题。
本发明实施例提供了一种基于深度学习算法的硅藻的检测与识别方法，包括以下步骤：
S1、获取多种硅藻种类图像，并按照Pascal VOC2007数据集格式制作数据集；
S2、通过深度学习目标检测算法训练针对多种硅藻目标的目标检测模型，深度学习目标检测算法主要包括RPN候选区域生成网络和Fast R-CNN区域特征提取网络；
S3、使用训练好的Faster R-CNN模型来检测待检测图像中的硅藻目标，图像进入Fast R-CNN卷积层中，把最后一个卷积层输出的特征图输入RPN 中生成可能存在目标的候选区域，输出这些区域的中心坐标以及宽和高，卷积运算公式如下：
其中，h是卷积核，f是输入图像，g是卷积后输出的响应图像，其步骤如下：
滑动卷积核，使卷积核中心位于输入图像的(i，j)像素上；
利用所述卷积运算公式求和，得到输出图像的(i，j)像素值；
重复以上步骤，直到求出输出图像的所有像素值；
在Fast R-CNN的最后一个共享卷积层输出的特征图上，使用RPN输出的位置信息映射到该特征图上对应的位置，经过ROI Pooling层后将候选区域特征传入后续的分类及边框回归部分得到检测结果。
可选地，还包括S4；
S4、通过预设的评价指标对S3中所得到的检测结果进行评价；
所述评价指标为查全率、查准率、平均精度、平均精度均值；
其中，查准率指在识别出来为该类的图片中TP所占的比例，其计算公式为：
precision＝TP/(TP+FP)
其中，TP表示实际为正例，预测为正例，即预测正确，FP代表实际为负例，预测为正例，即预测错误。
查全率指被正确识别出的该类别目标个数与测试集中所有该类别的目标个数的比值，其计算公式为：
Recall＝TP/(TP+FN)
其中，TP表示实际为正例，预测为正例，即预测正确，FN表示实际为正例，预测为负例，即预测错误。
可选地，所述RPN为深度全连接网络模型，RPN网络模型使用3×3滑窗在最后一个卷积层生成的特征图上滑动，在每一个滑窗的中心点位置对应输入预测图像三种尺度(128、256、512)和三种长宽比(1：2、2：1、1：1) 共九个候选区域，后续部分由两部分组成，一部分通过softmax函数来计算候选区域是前景或者背景的概率，选取IOU(Intersectionover Union)>0.7或者 IOU最大的候选区域将其分为前景，IOU＜0.3则分为背景；另一部分用于计算候选区域的边框回归的偏移量，以便于后续过程中获得精确的区域。IOU的计算公式如下：
其中，Ground-truth bounding box是数据标记过程中标记的目标区域，Predicted bound ing box是预测的目标区域。
可选地，所述Fast R-CNN为对候选区域进行特征提取及分类识别的深度卷积神经网络模型，作用是对RPN中产生的候选区域中的目标进行分类识别，该部分主要由四部分组成：(a)卷积层：在该部分图像和卷积核做卷积运算，生成特征图像；(b)ROI Pooling：将不同维度的候选区域特征变为统一长度的特征送入后续步骤；(c)Classifier：将经过ROIPooling之后的候选区域特征作为输入，输出候选区域分类结果；(d)Regressor：对输入的候选区域特征进行边框回归，得到更加精确的检测框的最终位置。
可选地，步骤S2中所述深度学习目标检测算法中使用四步交替式训练方法，训练过程如下：
A、使用在ImageNet数据集中预训练好的模型对RPN进行初始化，并且对其进行微调；
B、使用步骤A中RPN生成的候选区域来训练Fast R-CNN检测网络，该网络同样由在ImageNet数据集上预训练好的模型进行初始化，此时RPN和 Fast R-CNN两个网络不共享卷积层；
C、第二次训练RPN网络，使用步骤B中训练好的Fast R-CNN模型来初始化并且训练RPN，两个网络共享卷积层；
D、使用步骤C中训练好的模型第二次训练Fast R-CNN，此时，两个网络共享卷积层并且形成统一的网络；
所述深度学习目标检测算法中使用ZFNet作为基础特征提取网络，训练过程中使用的损失函数公式如下：
其中，i表示一个mini-batch中候选区域的索引，Ncls表示mini-batch中输入样本的个数，Nreg表示输入的所有参考区域的个数，所述损失函数由分类和边框回归两部分组成，Lcls表示分类损失函数，Lreg表示边框回归损失函数，λ用于平衡两部分比重，pi*表示第i个区域的真是标签，pi表示锚点作为对象的预测标签，ti表示预测的候选区的4个参数化坐标。
可选地，所述硅藻种类图像一共包括有8种，分别为小环藻、舟形藻、菱形藻、针杆藻、异极藻、桥弯藻、卵形藻、直链藻。
从以上技术方案可以看出，本发明实施例具有以下优点：
本实施例中是对复杂背景下的硅藻图像进行识别，使用深度学习方法在复杂背景下对常见硅藻进行检测与识别，常见的硅藻有：小环藻、舟形藻、菱形藻、针杆藻、异极藻、桥弯藻、卵形藻、直链藻，该方法能够有效的检测并且识别图像中的硅藻种类，并且检测结果准确，能够克服复杂背景对检测结果造成的影响，可以应用在法医学检验中。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例中提供的一种基于深度学习算法的硅藻的检测与识别方法的流程示意图；
图2为本发明实施例中提供的一种基于深度学习算法的硅藻的检测与识别方法中IOU的公式示意图；
图3为本发明实施例中提供的一种基于深度学习算法的硅藻的检测与识别方法中ZFNet网络拓扑结构图；
图4为本发明实施例中提供的一种基于深度学习算法的硅藻的检测与识别方法中VOC2007数据集格式的示意图；
图5为本发明实施例中提供的一种基于深度学习算法的硅藻的检测与识别方法中Faster R-CNN算法流程图；
图6为本发明实施例中提供的一种基于深度学习算法的硅藻的检测与识别方法中检测结果为菱形藻的示例图；
图7为本发明实施例中提供的一种基于深度学习算法的硅藻的检测与识别方法中检测结果为小环藻的示例图。
具体实施方式
本发明实施例公开了一种基于深度学习算法的硅藻的检测与识别方法，用于解决了硅藻检验过程中因为种类过多和背景复杂而造成的识别效率低、识别不准确的问题。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例中提供的一种基于深度学习算法的硅藻的检测与识别方法的一个实施例包括：
S100、获取多种硅藻种类图像，并按照Pascal VOC2007数据集格式制作数据集；
S200、通过深度学习目标检测算法训练针对多种硅藻目标的目标检测模型，深度学习目标检测算法主要包括RPN候选区域生成网络和Fast R-CNN 区域特征提取网络；
S300、使用训练好的Faster R-CNN模型来检测待检测图像中的硅藻目标，图像进入Fast R-CNN卷积层中，把最后一个卷积层输出的特征图输入RPN 中生成可能存在目标的候选区域，输出这些区域的中心坐标以及宽和高，卷积运算公式如下：
其中，h是卷积核，f是输入图像，g是卷积后输出的响应图像，其步骤如下：
滑动卷积核，使卷积核中心位于输入图像的(i，j)像素上；
利用所述卷积公式求和，得到输出图像的(i，j)像素值；
重复以上步骤，直到求出输出图像的所有像素值；
在Fast R-CNN的最后一个共享卷积层输出的特征图上，使用RPN输出的位置信息映射到该特征图上对应的位置，经过ROI Pooling层后将候选区域特征传入后续的分类及边框回归部分得到检测结果，如图6或图7所示。
本实施例中是对复杂背景下的硅藻图像进行识别，使用深度学习方法在复杂背景下对常见硅藻进行检测与识别，常见的硅藻有：小环藻、舟形藻、菱形藻、针杆藻、异极藻、桥弯藻、卵形藻、直链藻，该方法能够有效的检测并且识别图像中的硅藻种类，并且检测结果准确，能够克服复杂背景对检测结果造成的影响，可以应用在法医学检验中。
进一步地，还包括S400；
S400、通过预设的评价指标对S300中所得到的检测结果进行评价；
所述评价指标为查全率、查准率、平均精度、平均精度均值；
其中，查准率指在识别出来为该类的图片中TP所占的比例，其计算公式为：
precision＝TP/(TP+FP)
其中，TP表示实际为正例，预测为正例，即预测正确，FP代表实际为负例，预测为正例，即预测错误。
查全率指被正确识别出的该类别目标个数与测试集中所有该类别的目标个数的比值，其计算公式为：
Recall＝TP/(TP+FN)
其中，TP表示实际为正例，预测为正例，即预测正确，FN表示实际为正例，预测为负例，即预测错误。
进一步地，请参阅表一，其中表一表示为训练完成后训练日志中的模型自我评价结果。
表一
需要说明的是，P-R曲线：precision作为纵轴，Recall作为横轴画出的曲线，越凸向右上方效果越好。AP：P-R曲线下的面积；mAP：对所有类别的 AP取平均值。
进一步地，本实施例中的RPN为深度全连接网络模型，RPN网络模型使用3×3滑窗在最后一个卷积层生成的特征图上滑动，在每一个滑窗的中心点位置对应输入预测图像三种尺度(128、256、512)和三种长宽比(1：2、2： 1、1：1)共九个候选区域，后续部分由两部分组成，一部分通过softmax函数来计算候选区域是前景或者背景的概率，选取IOU(Intersection over Union)>0.7或者IOU最大的候选区域将其分为前景，IOU＜0.3则分为背景；另一部分用于计算候选区域的边框回归的偏移量，以便于后续过程中获得精确的区域。请参阅图2，本实施例中的IOU的计算公式如下：
其中，Ground-truth bounding box是数据标记过程中标记的目标区域，Predicted bound ing box是预测的目标区域。
进一步地，本实施例中的Fast R-CNN为对候选区域进行特征提取及分类识别的深度卷积神经网络模型，作用是对RPN中产生的候选区域中的目标进行分类识别，该部分主要由四部分组成：(a)卷积层：在该部分图像和卷积核做卷积运算，生成特征图像；(b)ROIPooling：将不同维度的候选区域特征变为统一长度的特征送入后续步骤；(c)Classifier：将经过ROI Pooling之后的候选区域特征作为输入，输出候选区域分类结果；(d)Regressor：对输入的候选区域特征进行边框回归，得到更加精确的检测框的最终位置。
进一步地，步骤S200中的深度学习目标检测算法中使用四步交替式训练方法，训练过程如下：
A、使用在ImageNet数据集中预训练好的模型对RPN进行初始化，并且对其进行微调；
B、使用步骤A中RPN生成的候选区域来训练Fast R-CNN检测网络，该网络同样由在ImageNet数据集上预训练好的模型进行初始化，此时RPN和 Fast R-CNN两个网络不共享卷积层；
C、第二次训练RPN网络，使用步骤B中训练好的Fast R-CNN模型来初始化并且训练RPN网络，两个网络共享卷积层；
D、使用步骤C中训练好的模型第二次训练Fast R-CNN网络，此时，两个网络共享卷积层并且形成统一的网络；
所述深度学习目标检测算法中使用ZFNet作为基础特征提取网络，训练过程中使用的损失函数公式如下：
其中，i表示一个mini-batch中候选区域的索引，Ncls表示mini-batch中输入样本的个数，Nreg表示输入的所有参考区域的个数，所述损失函数由分类和边框回归两部分组成，Lcls表示分类损失函数，Lreg表示边框回归损失函数，λ用于平衡两部分比重，pi*表示第i个区域的真是标签，pi表示锚点作为对象的预测标签，ti表示预测的候选区的4个参数化坐标。
进一步地，本实施例中的硅藻种类图像一共包括有8种，分别为小环藻、舟形藻、菱形藻、针杆藻、异极藻、桥弯藻、卵形藻、直链藻。
需要说明的是，上述的8种硅藻类均为常见的硅藻类。
上述是对本发明提供的一种基于深度学习算法的硅藻的检测与识别方法进行详细的说明，下面将以另一个实施例对本方法进行更加详细的说明，本发明提供的一种基于深度学习算法的硅藻的检测与识别方法的另一个实施例包括：
请参阅图1至图7，使用Faster R-CNN目标检测算法来实现硅藻目标检测和识别算法流程如图4所示，使用基于caffe深度学习框架配置的python版本的py-faster-rcnn算法来实现。本发明一种基于深度学习算法的硅藻检测识别方法包括以下几个步骤：
1.参照Pascal VOC2007数据及格式制作自己的数据集，该数据集文件结构如图5所示。
其中，主要用到的有Annotations、ImageSets、JPEGImages三个文件夹。Annotations中存放每张图像的标记信息，存储格式为xml文件，ImageSets中存放训练集、验证集、测试集、训练和验证集的图像名称，存储格式为txt文件，JPEGImages中存放所有的图像。
(1)将所有的硅藻图像变换成统一的编码格式并且统一命名，然后把图像放在JPEGImages文件夹下。
(2)使用LabelImage标记软件标记图像中的目标，得到目标种类及位置，把生成的xml文件放在Annotations文件夹下。
(3)设置训练集、验证集和测试集图像占所有图像的比例，在ImageSets 文件夹下的Main中分别生成trainval、train、val、test四个txt文档，文档内容分别为该数据集包含的图片名称。
2.修改py-faster-rcnn算法中的参数来适应硅藻数据集，本实施例中的算法中使用四步交替式训练方法，用ZF网络作为基础特征提取网络。训练完成后输出训练好的Faster R-CNN模型和使用测试集对模型进行测试后每一个种类的AP值及mAP值，结果如表一所示，修改过程如下：
(1)修改训练过程中的RPN网络输出参数个数，本发明中使用八种藻类制作数据集，加上背景一共有九个种类，因此需要将RPN网络的输出改为 36.
(2)修改分类器输出参数，把训练过程中的Fast RCNN部分输出参数改成9。
(3)修改数据集中目标对应的标签，改为八种藻类在标记过程中分别对应的标签。
3.使用待检测图像替换算法中原来的测试图像，修改demo.py文件中的类别标签，然后运行该文件，即可得到检测结果，检测结果如图7。
以上对本发明所提供的一种基于深度学习算法的硅藻的检测与识别方法进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (6)
1.一种基于深度学习算法的硅藻的检测与识别方法，其特征在于，包括以下步骤：
S1、获取多种硅藻种类图像，并按照Pascal VOC2007数据集格式制作数据集；
S2、通过深度学习目标检测算法训练针对多种硅藻目标的目标检测模型，深度学习目标检测算法主要包括RPN候选区域生成网络和Fast R-CNN区域特征提取网络；
S3、使用训练好的Faster R-CNN模型来检测待检测图像中的硅藻目标，图像进入FastR-CNN卷积层中，把最后一个卷积层输出的特征图输入RPN中生成可能存在目标的候选区域，输出这些区域的中心坐标以及宽和高，卷积运算公式如下：
其中，h是卷积核，f是输入图像，g是卷积后输出的响应图像，其步骤如下：
滑动卷积核，使卷积核中心位于输入图像的(i，j)像素上；
利用所述卷积运算公式求和，得到输出图像的(i，j)像素值；
重复以上步骤，直到求出输出图像的所有像素值；
在Fast R-CNN的最后一个共享卷积层输出的特征图上，使用RPN输出的位置信息映射到该特征图上对应的位置，经过ROI Pooling层后将候选区域特征传入后续的分类及边框回归部分得到检测结果。
2.根据权利要求1所述的基于深度学习算法的硅藻的检测与识别方法，其特征在于，还包括S4；
S4、通过预设的评价指标对S3中所得到的检测结果进行评价；
所述评价指标为查全率、查准率、平均精度、平均精度均值；
其中，查准率指在识别出来为该类的图片中TP所占的比例，其计算公式为：
precision＝TP/(TP+FP)
其中，TP表示实际为正例，预测为正例，即预测正确，FP代表实际为负例，预测为正例，即预测错误。
查全率指被正确识别出的该类别目标个数与测试集中所有该类别的目标个数的比值，其计算公式为：
Recall＝TP/(TP+FN)
其中，TP表示实际为正例，预测为正例，即预测正确，FN表示实际为正例，预测为负例，即预测错误。
3.根据权利要求1所述的基于深度学习算法的硅藻的检测与识别方法，其特征在于，所述RPN为深度全连接网络模型，RPN网络模型使用3×3滑窗在最后一个卷积层生成的特征图上滑动，在每一个滑窗的中心点位置对应输入预测图像三种尺度(128、256、512)和三种长宽比(1：2、2：1、1：1)共九个候选区域，后续部分由两部分组成，一部分通过softmax函数来计算候选区域是前景或者背景的概率，选取IOU(Intersection over Union)>0.7或者IOU最大的候选区域将其分为前景，IOU＜0.3则分为背景；另一部分用于计算候选区域的边框回归的偏移量，以便于后续过程中获得精确的区域。IOU的计算公式如下：
其中，Ground-truth bounding box是数据标记过程中标记的目标区域，Predictedbound ing box是预测的目标区域。
4.根据权利要求1所述的基于深度学习算法的硅藻的检测与识别方法，其特征在于，所述Fast R-CNN为对候选区域进行特征提取及分类识别的深度卷积神经网络模型，作用是对RPN中产生的候选区域中的目标进行分类识别，该部分主要由四部分组成：(a)卷积层：在该部分图像和卷积核做卷积运算，生成特征图像；(b)ROI Pooling：将不同维度的候选区域特征变为统一长度的特征送入后续步骤；(c)Classifier：将经过ROI Pooling之后的候选区域特征作为输入，输出候选区域分类结果；(d)Regressor：对输入的候选区域特征进行边框回归，得到更加精确的检测框的最终位置。
5.根据权利要求1所述的基于深度学习算法的硅藻的检测与识别方法，其特征在于，步骤S2中所述深度学习目标检测算法中使用四步交替式训练方法，训练过程如下：
A、使用在ImageNet数据集中预训练好的模型对RPN进行初始化，并且对其进行微调；
B、使用步骤A中RPN生成的候选区域来训练Fast R-CNN检测网络，该网络同样由在ImageNet数据集上预训练好的模型进行初始化，此时RPN和Fast R-CNN两个网络不共享卷积层；
C、第二次训练RPN网络，使用步骤B中训练好的Fast R-CNN模型来初始化并且训练RPN，两个网络共享卷积层；
D、使用步骤C中训练好的模型第二次训练Fast R-CNN，此时，两个网络共享卷积层并且形成统一的网络；
所述深度学习目标检测算法中使用ZFNet作为基础特征提取网络，训练过程中使用的损失函数公式如下：
其中，i表示一个mini-batch中候选区域的索引，Ncls表示mini-batch中输入样本的个数，Nreg表示输入的所有参考区域的个数，所述损失函数由分类和边框回归两部分组成，Lcls表示分类损失函数，Lreg表示边框回归损失函数，λ用于平衡两部分比重，pi*表示第i个区域的真是标签，pi表示锚点作为对象的预测标签，ti表示预测的候选区的4个参数化坐标。
6.根据权利要求1所述的基于深度学习算法的硅藻的检测与识别方法，其特征在于，所述硅藻种类图像一共包括有8种，分别为小环藻、舟形藻、菱形藻、针杆藻、异极藻、桥弯藻、卵形藻、直链藻。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910142605.7A CN109977780A (zh) | 2019-02-26 | 2019-02-26 | 一种基于深度学习算法的硅藻的检测与识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910142605.7A CN109977780A (zh) | 2019-02-26 | 2019-02-26 | 一种基于深度学习算法的硅藻的检测与识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109977780A true CN109977780A (zh) | 2019-07-05 |
Family
ID=67077437
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910142605.7A Pending CN109977780A (zh) | 2019-02-26 | 2019-02-26 | 一种基于深度学习算法的硅藻的检测与识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109977780A (zh) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110598665A (zh) * | 2019-09-19 | 2019-12-20 | 西南交通大学 | 一种基于车载移动深度学习平台的杆号识别方法 |
| CN110826476A (zh) * | 2019-11-02 | 2020-02-21 | 国网浙江省电力有限公司杭州供电公司 | 识别目标物体的图像检测方法、装置、电子设备和存储介质 |
| CN110909800A (zh) * | 2019-11-26 | 2020-03-24 | 浙江理工大学 | 一种基于Faster R-CNN改进算法的车辆检测方法 |
| CN111191679A (zh) * | 2019-12-11 | 2020-05-22 | 中国地质大学（武汉） | 一种基于Faster R-CNN的地下未爆炸物检测与识别方法 |
| CN111274935A (zh) * | 2020-01-19 | 2020-06-12 | 北京耘数科技有限责任公司 | 一种基于深度学习的水生态信息识别方法及系统 |
| CN111524113A (zh) * | 2020-04-17 | 2020-08-11 | 中冶赛迪重庆信息技术有限公司 | 提升链异常识别方法、系统、设备及介质 |
| CN111523545A (zh) * | 2020-05-06 | 2020-08-11 | 青岛联合创智科技有限公司 | 一种结合深度信息的物品查找方法 |
| CN111539456A (zh) * | 2020-04-02 | 2020-08-14 | 浙江华睿科技有限公司 | 一种目标识别方法及设备 |
| CN111626256A (zh) * | 2020-06-03 | 2020-09-04 | 兰波(苏州)智能科技有限公司 | 基于扫描电镜图像的高精度硅藻检测识别方法及系统 |
| CN111626257A (zh) * | 2020-06-03 | 2020-09-04 | 兰波(苏州)智能科技有限公司 | 硅藻检测识别用多概率组合预测后处理方法、系统及存储介质 |
| CN111626326A (zh) * | 2020-04-13 | 2020-09-04 | 广州博进信息技术有限公司 | 一种复杂背景下大区域多目标硅藻提取与识别方法 |
| CN111898677A (zh) * | 2020-07-30 | 2020-11-06 | 大连海事大学 | 一种基于深度学习的浮游生物自动检测方法 |
| CN112098997A (zh) * | 2020-09-18 | 2020-12-18 | 欧必翼太赫兹科技(北京)有限公司 | 三维全息成像安检雷达图像异物检测方法 |
| CN112115873A (zh) * | 2020-09-21 | 2020-12-22 | 南京市公安局水上分局 | 基于深度学习的硅藻自动检测方法及系统 |
| CN112149612A (zh) * | 2020-10-12 | 2020-12-29 | 海略(连云港)科技有限公司 | 一种基于深度神经网络的海洋生物识别系统及识别方法 |
| CN112184692A (zh) * | 2020-10-13 | 2021-01-05 | 辽宁工程技术大学 | 一种输电线路多目标检测方法 |
| CN112766384A (zh) * | 2021-01-24 | 2021-05-07 | 湖南大学 | 一种基于深度学习的藻类絮体去除率评估方法 |
| CN113096184A (zh) * | 2021-03-26 | 2021-07-09 | 广东工业大学 | 一种复杂背景下硅藻定位与识别方法 |
| CN113326858A (zh) * | 2020-02-28 | 2021-08-31 | 上海电力大学 | 一种多特征提取网络的目标检测方法 |
| CN113344008A (zh) * | 2021-06-02 | 2021-09-03 | 广西大学 | 基于深度学习的茎秆组织解剖学特征参数高通量提取方法 |
| CN113435389A (zh) * | 2021-07-09 | 2021-09-24 | 大连海洋大学 | 基于图像特征深度学习的小球藻和金藻分类识别方法 |
| CN113780270A (zh) * | 2021-03-23 | 2021-12-10 | 京东鲲鹏(江苏)科技有限公司 | 目标检测方法和装置 |
| CN115311657A (zh) * | 2022-09-02 | 2022-11-08 | 澳门科技大学 | 多源藻类图像目标检测方法、系统、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170169315A1 (en) * | 2015-12-15 | 2017-06-15 | Sighthound, Inc. | Deeply learned convolutional neural networks (cnns) for object localization and classification |
| CN107451602A (zh) * | 2017-07-06 | 2017-12-08 | 浙江工业大学 | 一种基于深度学习的果蔬检测方法 |
| CN108009509A (zh) * | 2017-12-12 | 2018-05-08 | 河南工业大学 | 车辆目标检测方法 |
| CN108427942A (zh) * | 2018-04-22 | 2018-08-21 | 广州麦仑信息科技有限公司 | 一种基于深度学习的手掌检测与关键点定位方法 |
| CN108830188A (zh) * | 2018-05-30 | 2018-11-16 | 西安理工大学 | 基于深度学习的车辆检测方法 |
-
2019
- 2019-02-26 CN CN201910142605.7A patent/CN109977780A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170169315A1 (en) * | 2015-12-15 | 2017-06-15 | Sighthound, Inc. | Deeply learned convolutional neural networks (cnns) for object localization and classification |
| CN107451602A (zh) * | 2017-07-06 | 2017-12-08 | 浙江工业大学 | 一种基于深度学习的果蔬检测方法 |
| CN108009509A (zh) * | 2017-12-12 | 2018-05-08 | 河南工业大学 | 车辆目标检测方法 |
| CN108427942A (zh) * | 2018-04-22 | 2018-08-21 | 广州麦仑信息科技有限公司 | 一种基于深度学习的手掌检测与关键点定位方法 |
| CN108830188A (zh) * | 2018-05-30 | 2018-11-16 | 西安理工大学 | 基于深度学习的车辆检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 张鹤鹤: "区域卷积神经网络在车辆检测中的应用研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 * |
| 王林等: "Faster R-CNN模型在车辆检测中的应用", 《计算机应用》 * |
| 骆巧琦等: "基于形状特征的硅藻显微图像自动识别", 《厦门大学学报(自然科学版)》 * |
Cited By (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110598665B (zh) * | 2019-09-19 | 2022-09-09 | 西南交通大学 | 一种基于车载移动深度学习平台的杆号识别方法 |
| CN110598665A (zh) * | 2019-09-19 | 2019-12-20 | 西南交通大学 | 一种基于车载移动深度学习平台的杆号识别方法 |
| CN110826476A (zh) * | 2019-11-02 | 2020-02-21 | 国网浙江省电力有限公司杭州供电公司 | 识别目标物体的图像检测方法、装置、电子设备和存储介质 |
| CN110909800A (zh) * | 2019-11-26 | 2020-03-24 | 浙江理工大学 | 一种基于Faster R-CNN改进算法的车辆检测方法 |
| CN110909800B (zh) * | 2019-11-26 | 2023-08-08 | 浙江理工大学 | 一种基于Faster R-CNN改进算法的车辆检测方法 |
| CN111191679A (zh) * | 2019-12-11 | 2020-05-22 | 中国地质大学（武汉） | 一种基于Faster R-CNN的地下未爆炸物检测与识别方法 |
| CN111274935A (zh) * | 2020-01-19 | 2020-06-12 | 北京耘数科技有限责任公司 | 一种基于深度学习的水生态信息识别方法及系统 |
| CN113326858A (zh) * | 2020-02-28 | 2021-08-31 | 上海电力大学 | 一种多特征提取网络的目标检测方法 |
| CN113326858B (zh) * | 2020-02-28 | 2023-08-22 | 上海电力大学 | 一种多特征提取网络的目标检测方法 |
| CN111539456B (zh) * | 2020-04-02 | 2024-03-01 | 浙江华睿科技股份有限公司 | 一种目标识别方法及设备 |
| CN111539456A (zh) * | 2020-04-02 | 2020-08-14 | 浙江华睿科技有限公司 | 一种目标识别方法及设备 |
| CN111626326A (zh) * | 2020-04-13 | 2020-09-04 | 广州博进信息技术有限公司 | 一种复杂背景下大区域多目标硅藻提取与识别方法 |
| CN111626326B (zh) * | 2020-04-13 | 2024-02-02 | 广州博进信息技术有限公司 | 一种复杂背景下大区域多目标硅藻提取与识别方法 |
| CN111524113A (zh) * | 2020-04-17 | 2020-08-11 | 中冶赛迪重庆信息技术有限公司 | 提升链异常识别方法、系统、设备及介质 |
| CN111523545A (zh) * | 2020-05-06 | 2020-08-11 | 青岛联合创智科技有限公司 | 一种结合深度信息的物品查找方法 |
| CN111626256A (zh) * | 2020-06-03 | 2020-09-04 | 兰波(苏州)智能科技有限公司 | 基于扫描电镜图像的高精度硅藻检测识别方法及系统 |
| CN111626257B (zh) * | 2020-06-03 | 2023-06-06 | 兰波(苏州)智能科技有限公司 | 硅藻检测识别用多概率组合预测后处理方法、系统及存储介质 |
| CN111626257A (zh) * | 2020-06-03 | 2020-09-04 | 兰波(苏州)智能科技有限公司 | 硅藻检测识别用多概率组合预测后处理方法、系统及存储介质 |
| CN111626256B (zh) * | 2020-06-03 | 2023-06-27 | 兰波(苏州)智能科技有限公司 | 基于扫描电镜图像的高精度硅藻检测识别方法及系统 |
| CN111898677A (zh) * | 2020-07-30 | 2020-11-06 | 大连海事大学 | 一种基于深度学习的浮游生物自动检测方法 |
| CN112098997A (zh) * | 2020-09-18 | 2020-12-18 | 欧必翼太赫兹科技(北京)有限公司 | 三维全息成像安检雷达图像异物检测方法 |
| CN112098997B (zh) * | 2020-09-18 | 2021-10-15 | 欧必翼太赫兹科技(北京)有限公司 | 三维全息成像安检雷达图像异物检测方法 |
| CN112115873A (zh) * | 2020-09-21 | 2020-12-22 | 南京市公安局水上分局 | 基于深度学习的硅藻自动检测方法及系统 |
| CN112149612A (zh) * | 2020-10-12 | 2020-12-29 | 海略(连云港)科技有限公司 | 一种基于深度神经网络的海洋生物识别系统及识别方法 |
| CN112184692A (zh) * | 2020-10-13 | 2021-01-05 | 辽宁工程技术大学 | 一种输电线路多目标检测方法 |
| CN112184692B (zh) * | 2020-10-13 | 2024-02-27 | 辽宁工程技术大学 | 一种输电线路多目标检测方法 |
| CN112766384A (zh) * | 2021-01-24 | 2021-05-07 | 湖南大学 | 一种基于深度学习的藻类絮体去除率评估方法 |
| CN113780270A (zh) * | 2021-03-23 | 2021-12-10 | 京东鲲鹏(江苏)科技有限公司 | 目标检测方法和装置 |
| CN113096184A (zh) * | 2021-03-26 | 2021-07-09 | 广东工业大学 | 一种复杂背景下硅藻定位与识别方法 |
| CN113344008B (zh) * | 2021-06-02 | 2022-08-09 | 广西大学 | 基于深度学习的茎秆组织解剖学特征参数高通量提取方法 |
| CN113344008A (zh) * | 2021-06-02 | 2021-09-03 | 广西大学 | 基于深度学习的茎秆组织解剖学特征参数高通量提取方法 |
| CN113435389A (zh) * | 2021-07-09 | 2021-09-24 | 大连海洋大学 | 基于图像特征深度学习的小球藻和金藻分类识别方法 |
| CN113435389B (zh) * | 2021-07-09 | 2024-03-01 | 大连海洋大学 | 基于图像特征深度学习的小球藻和金藻分类识别方法 |
| CN115311657A (zh) * | 2022-09-02 | 2022-11-08 | 澳门科技大学 | 多源藻类图像目标检测方法、系统、电子设备及存储介质 |
| CN115311657B (zh) * | 2022-09-02 | 2024-01-05 | 澳门科技大学 | 多源藻类图像目标检测方法、系统、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109977780A (zh) | 一种基于深度学习算法的硅藻的检测与识别方法 | |
| CN103518224B (zh) | 用于分析微生物生长的方法 | |
| CN108830188A (zh) | 基于深度学习的车辆检测方法 | |
| CN111540006B (zh) | 基于深度迁移学习的植物气孔智能检测与识别方法及系统 | |
| CN107977671A (zh) | 一种基于多任务卷积神经网络的舌象分类方法 | |
| CN108596046A (zh) | 一种基于深度学习的细胞检测计数方法及系统 | |
| Mishra et al. | A Deep Learning-Based Novel Approach for Weed Growth Estimation. | |
| Picon et al. | Deep learning-based segmentation of multiple species of weeds and corn crop using synthetic and real image datasets | |
| CN109948522A (zh) | 一种基于深度神经网络的x光片手骨成熟度判读方法 | |
| CN104820841B (zh) | 基于低阶互信息和光谱上下文波段选择的高光谱分类方法 | |
| CN112949517B (zh) | 基于深度迁移学习的植物气孔密度和开度识别方法及系统 | |
| CN112215217B (zh) | 模拟医师阅片的数字图像识别方法及装置 | |
| CN115546605A (zh) | 一种基于图像标注和分割模型的训练方法及装置 | |
| CN107103608A (zh) | 一种基于区域候选样本选择的显著性检测方法 | |
| CN116821698A (zh) | 基于半监督学习的小麦赤霉病孢子检测方法 | |
| CN111898677A (zh) | 一种基于深度学习的浮游生物自动检测方法 | |
| CN114663426A (zh) | 一种基于关键骨区定位的骨龄评估方法 | |
| JP4985480B2 (ja) | がん細胞を分類する方法、がん細胞を分類するための装置及びがん細胞を分類するためのプログラム | |
| CN110188662A (zh) | 一种水表数字的ai智能识别方法 | |
| CN113673618A (zh) | 一种融合注意力模型的烟虫目标检测方法 | |
| Gibbs et al. | A deep learning method for fully automatic stomatal morphometry and maximal conductance estimation | |
| CN105528791B (zh) | 一种面向触摸屏手绘图像的质量评价装置及其评价方法 | |
| CN115880266B (zh) | 一种基于深度学习的肠道息肉检测系统和方法 | |
| CN113409351B (zh) | 基于最优传输的无监督领域自适应遥感图像分割方法 | |
| CN112465821A (zh) | 一种基于边界关键点感知的多尺度害虫图像检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190705 |
|
| RJ01 | Rejection of invention patent application after publication |