CN112115873A - 基于深度学习的硅藻自动检测方法及系统 - Google Patents

基于深度学习的硅藻自动检测方法及系统 Download PDF

Info

Publication number
CN112115873A
CN112115873A CN202010994566.6A CN202010994566A CN112115873A CN 112115873 A CN112115873 A CN 112115873A CN 202010994566 A CN202010994566 A CN 202010994566A CN 112115873 A CN112115873 A CN 112115873A
Authority
CN
China
Prior art keywords
diatom
diatoms
deep learning
electron microscope
taking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010994566.6A
Other languages
English (en)
Inventor
陈冶秋
刘晓荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Water Branch Of Nanjing Public Security Bureau
Original Assignee
Water Branch Of Nanjing Public Security Bureau
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Water Branch Of Nanjing Public Security Bureau filed Critical Water Branch Of Nanjing Public Security Bureau
Priority to CN202010994566.6A priority Critical patent/CN112115873A/zh
Publication of CN112115873A publication Critical patent/CN112115873A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos

Abstract

本发明公开了图像识别技术领域的一种基于深度学习的硅藻自动检测方法及系统。能自动搜索电镜扫描照片中的硅藻，识别硅藻的准确率高，效率高，效率和检测准确率均大大高于人工识别，且不受技术人员的技术水平的限制。包括：预先将一定数量的含有硅藻的人体组织的电镜扫描照片作为训练集；对训练集中的电镜扫描照片中的硅藻进行人工标注；以标注好的训练集为正样本，将设定数量的不含有硅藻的人体组织的电镜扫描照片作为负样本，以正样本和负样本组成的样本集合采用YOLOv3深度学习算法对神经网络模型进行训练，产生识别硅藻的模型；每次需要识别一批电镜扫描照片时，将这些照片作为待识别图片，通过识别硅藻的算法模型识别待识别照片中的硅藻。

Description

基于深度学习的硅藻自动检测方法及系统
技术领域
本发明属于图像识别技术领域，具体涉及一种基于深度学习的硅藻自动检测方法及系统。
背景技术
目前，公安机关使用基于膜富集联合扫描电镜观察的新型硅藻检验技术(GA/T1662-2019)对水体样本和尸体内脏器官切片进行扫描拍摄。通过观察脏器中是否含有水体中的硅藻来判断死者是否生前入水及辅助推断死者落水地点。但是仅一个脏器样本，电镜扫描就会生成数以千计的图像照片，硅藻可能出现在图像的任何位置、有各种不同的大小、不同的形状；技术人员逐一甄别费时费力且遗漏情况难以避免，由于各类物体有不同的外观，形状，姿态，加上成像时光照，遮挡等因素的干扰，甄别结果受技术人员的技术水平限制。
发明内容
为解决现有技术中的不足，本发明提供一种基于深度学习的硅藻自动检测方法及系统，能自动搜索电镜扫描照片中的硅藻，识别硅藻的准确率高，效率高，且不受技术人员的技术水平的限制。
为达到上述目的，本发明所采用的技术方案是：一种基于深度学习的硅藻自动检测方法，包括：a、预先将一定数量的含有硅藻的人体组织的电镜扫描照片作为训练集；b、对训练集中的电镜扫描照片中的硅藻进行人工标注；c、以标注好的训练集为正样本，将设定数量的不含有硅藻的人体组织的电镜扫描照片作为负样本，以正样本和负样本组成的样本集合对深度学习神经网络模型进行训练，产生识别硅藻的算法模型；d、将需识别的电镜扫描照片作为待识别图片，通过识别硅藻的算法模型识别待识别照片中的硅藻。
进一步地，所述深度学习神经网络模型为YOLOv3目标检测神经网络算法模型。
进一步地，采用3种不同尺度的输出张量进行目标识别，每种输出张量的元素对应一个网格，每个网格对应3种先验框，每种输出张量对应的网格数与其对应的先验框数量相乘，再相加汇总得到总的预测数据组数；每种所述预测数据组包括所在照片中硅藻所属边界框的边框坐标、该边框存在硅藻的置信度以及检测出硅藻的类别标识数据。
进一步地，计算同一个硅藻对应的各个边框的置信度，并进行排序，以置信度最高的边框作为该硅藻在所述照片中的位置坐标。
进一步地，在所述步骤d中，识别出目标后，计算目标为硅藻的概率，将概率高于设定阈值的目标判定为硅藻并对硅藻的位置进行标记。
一种基于深度学习的硅藻自动检测系统，包括：文件选择模块，用于设定识别硅藻的过程中各文件的存放路径；阈值设定模块，用于设定判断检测目标是否为硅藻的阈值；硅藻识别模块，用于执行前述的基于深度学习的硅藻自动检测方法；信息统计模块，用于将识别出的硅藻信息进行统计并生成数据表。
一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行前述的基于深度学习的硅藻自动检测方法。
与现有技术相比，本发明所达到的有益效果：
(1)本发明在训练模型的过程中，通过正样本训练模型识别硅藻的能力，同时针对电镜扫描照片中的杂质对识别硅藻的干扰，通过一定数量的负样本对模型进行训练，以强化模型对于什么是没有硅藻的电镜扫描照片的认识，从而降低模型将杂质误识别为硅藻的概率；识别硅藻的准确率高，识别效率高，减轻了技术人员的工作量，检测结果客观，不受技术人员的技术水平的限制；
(2)本发明在识别出目标后，计算目标为硅藻的概率，将概率高于设定阈值的目标判定为硅藻并对硅藻的位置进行标记；技术人员可根据实际的识别要求来调整阈值，以便在适当放宽门槛但尽可能避免遗漏，或者尽量精准但允许较小比例遗漏，这两个选择之间进行平衡。
附图说明
图1是本发明实施例提供的一种基于深度学习的硅藻自动检测方法的识别过程示意图；
图2是本发明实施例提供的一种基于深度学习的硅藻自动检测系统的工作流程示意图；
图3是本发明实施例提供的一种基于深度学习的硅藻自动检测系统的系统结构示意图；
图4是本发明实施例中(正样本)的含有硅藻的电镜扫描照片；
图5是本发明实施例中(负样本)的不含有硅藻的电镜扫描照片；
图6是本发明实施例中(负样本)的含有杂质的电镜扫描照片。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例一：
如图1所示，一种基于深度学习的硅藻自动检测方法，包括：预先将一定数量的含有硅藻的人体组织的电镜扫描照片作为训练集；对训练集中的电镜扫描照片中的硅藻进行人工标注；以标注好的训练集为正样本，将设定数量的不含有硅藻的人体组织的电镜扫描照片作为负样本，以正样本和负样本组成的样本集合对深度学习神经网络模型进行训练，产生识别硅藻的算法模型；将需识别的电镜扫描照片作为待识别图片，通过识别硅藻的算法模型识别待识别照片中的硅藻。
准备一定数量的含有硅藻的人体组织的电镜扫描照片作为训练集。
对训练集中的电镜扫描照片中的硅藻进行人工标注，如图4所示，矩形框内标注的图像就是硅藻，图4就作为训练的正样本中的电镜扫描照片。
以标注好的训练集为正样本，准备一定数量的不含有硅藻的人体组织的电镜扫描照片作为负样本，以正样本和负样本组成的样本集合对深度学习神经网络模型进行训练，产生识别硅藻的算法模型。如图5所示，不包含硅藻，就作为负样本；图6中矩形框中的为杂质，但不会将其标注出来，同样将图6作为负样本来降低误识别率。通过正样本训练模型识别硅藻的能力，同时针对电镜扫描照片中的杂质对识别硅藻的干扰，通过一定数量的负样本对模型进行训练，以强化模型对于什么是没有硅藻的电镜扫描照片的认识，从而降低模型将杂质误识别为硅藻的概率。识别硅藻的准确率高，效率高，减轻了技术人员的工作量，检测结果客观，不受技术人员的技术水平的限制。
为了识别出数量众多的照片中的硅藻，本实施例采用YOLOv3目标检测神经网络算法模型来对硅藻进行识别。YOLOv3可以一次性预测多个边框位置坐标和类别的卷积神经网络，能够实现端到端的目标检测和识别，目标检测的速度快。本实施例采用3种不同尺度的输出张量(大、中、小)进行目标识别，每种输出张量的元素对应一个网格，每个网格对应3种先验框，每种输出张量对应的网格数与其对应的先验框数量相乘，再相加汇总得到总的预测数据组数；每种所述预测数据组包括所在照片中硅藻所属边界框的边框坐标(4个数值)、该边框存在硅藻的置信度以及检测出硅藻的类别标识数据。算法模型会计算同一个硅藻对应的各个边框的置信度，并进行排序，以置信度最高的边框作为该硅藻在所述图像中的位置坐标。
硅藻识别模型采用的输出框包括较小尺寸的a*a，中等尺寸的b*b和较大的c*c三种。每个输出框的元素对应的预测数量为其尺寸包含网格数与该网格对应的验证框数量的乘积，分别为：3×a2、3×b2、3×c2。而其中每一个预测都是一个85维向量，这个85维向量包含边框坐标(4个数值)，置信度(1个数值)，对象类别的概率(80种对象)。硅藻识别模型根据每一个预测框的置信度进行排序，以数值最高的边框作为该硅藻目标在所述图像中的位置坐标。
例如：输入图像的尺寸为416×416，硅藻识别模型采用的输出张量包括最小的13×13，中等的26×26和较大的52×52三种。每个输出张量的元素对应的预测数量为其尺寸包含网格数与该输出张量对应的先验框数量的乘积，分别为：13×13×3、26×26×3、52×52×3；将所有输出张量的预测数量相加，则得到总的预测数量。对于一个416×416的输入图像，总共有13×13×3+26×26×3+52×52×3＝10647个预测。而其中的每一个预测都是一个(4+1+80)＝85维向量，这个85维向量包含边框坐标(4个数值)，边框置信度(1个数值)，对象类别的概率(80种对象)。硅藻识别模型根据每一个框的置信度进行排序，以置信度最高的边框作为该硅藻目标在所述图像中的位置坐标。
将需识别的电镜扫描照片作为待识别图片，通过识别硅藻的算法模型识别待识别照片中的硅藻。识别出目标后，计算目标为硅藻的概率，将概率高于设定阈值的目标判定为硅藻并对硅藻的位置进行标记。
实施例二：
基于实施例一所述的一种基于深度学习的硅藻自动检测方法，本实施例提供一种基于深度学习的硅藻自动检测系统，如图3所示，包括：文件选择模块，用于设定识别硅藻的过程中各文件的存放路径；阈值设定模块，用于设定判断检测目标是否为硅藻的阈值；硅藻识别模块，用于执行实施例一所述的基于深度学习的硅藻自动检测方法；信息统计模块，用于将识别出的硅藻信息进行统计并生成数据表。
文件选择和阈值设定是交互界面中用户功能。
文件选择可供用户自行设定需要识别的图片文件夹。操作开始后，系统就会去对应的文件夹读取里面所有的图片进行识别。
而阈值设定可以让用户拥有一定的自主权。硅藻识别模块不可能100％地准确识别所有的硅藻目标，硅藻识别模块会提供一个数值给每一个它认为可能是目标的物体。大部分情况下，比较明确的硅藻，数值就较高，但如果是比较模糊或者有些残缺的硅藻，硅藻识别模块对目标是否是硅藻给出的数值可能较低(即使是人可能也很难下结论)。提供这个设置项，用户即可根据实际的识别要求来调整阈值，以便在适当放宽门槛但尽可能避免遗漏，或者尽量精准但允许较小比例遗漏，这两个选择之间进行平衡。
硅藻识别模块为本系统的核心功能模块。
信息统计功能给用户提供了便捷地获取本次识别任务数据的功能。
本系统将用户选定的路径与阈值作为在调用识别硅藻的模型时的参数，当识别完毕后系统根据硅藻识别模块输出的识别信息生成统计信息文档。识别的各项操作实现了可视化和便捷化。
如图2所示，本实施例工作流程如下：
1、先设置待识别照片所在的文件夹和将发现的目标判定为硅藻的阈值；
2、点击开始按钮，系统调用识别硅藻的算法模型，传入用户设定的阈值，对待识别照片文件夹中的照片进行识别，将算法判定为包含硅藻和不包含硅藻的照片分别放入对应的文件夹；
3、在对待识别照片文件夹里所有照片都进行识别后，软件自动结束任务；
4、系统将记录的识别出的硅藻数量等数据生成统计数据表，供使用者查看。
实施例三：
基于实施例一和实施例二，本实施例提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行实施例一所述的基于深度学习的硅藻自动检测方法。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (7)

1.一种基于深度学习的硅藻自动检测方法，其特征是，包括：
a、预先将一定数量的含有硅藻的人体组织的电镜扫描照片作为训练集；
b、对训练集中的电镜扫描照片中的硅藻进行人工标注；
c、以标注好的训练集为正样本，将设定数量的不含有硅藻的人体组织的电镜扫描照片作为负样本，以正样本和负样本组成的样本集合对深度学习神经网络模型进行训练，产生识别硅藻的算法模型；
d、将需识别的电镜扫描照片作为待识别图片，通过识别硅藻的算法模型识别待识别照片中的硅藻。
2.根据权利要求1所述的基于深度学习的硅藻自动检测方法，其特征是，所述深度学习神经网络模型为YOLOv3目标检测神经网络算法模型。
3.根据权利要求2所述的基于深度学习的硅藻自动检测方法，其特征是，采用3种不同尺度的输出张量进行目标识别，每种输出张量的元素对应一个网格，每个网格对应3种先验框，每种输出张量对应的网格数与其对应的先验框数量相乘，再相加汇总得到总的预测数据组数；每种所述预测数据组包括所在照片中硅藻所属边界框的边框坐标、该边框存在硅藻的置信度以及检测出硅藻的类别标识数据。
4.根据权利要求3所述的基于深度学习的硅藻自动检测方法，其特征是，计算同一个硅藻对应的各个边框的置信度，并进行排序，以置信度最高的边框作为该硅藻在所述照片中的位置坐标。
5.根据权利要求1所述的基于深度学习的硅藻自动检测方法，其特征是，在所述步骤d中，识别出目标后，计算目标为硅藻的概率，将概率高于设定阈值的目标判定为硅藻并对硅藻的位置进行标记。
6.一种基于深度学习的硅藻自动检测系统，其特征是，包括：
文件选择模块，用于设定识别硅藻的过程中各文件的存放路径；
阈值设定模块，用于设定判断检测目标是否为硅藻的阈值；
硅藻识别模块，用于执行权力要求1～5任一项所述的基于深度学习的硅藻自动检测方法；
信息统计模块，用于将识别出的硅藻信息进行统计并生成数据表。
7.一种计算机可读存储介质，其特征是，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行权利要求1至5中任一项所述的基于深度学习的硅藻自动检测方法。
CN202010994566.6A 2020-09-21 2020-09-21 基于深度学习的硅藻自动检测方法及系统 Pending CN112115873A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010994566.6A CN112115873A (zh) 2020-09-21 2020-09-21 基于深度学习的硅藻自动检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010994566.6A CN112115873A (zh) 2020-09-21 2020-09-21 基于深度学习的硅藻自动检测方法及系统

Publications (1)

Publication Number Publication Date
CN112115873A true CN112115873A (zh) 2020-12-22

Family

ID=73800471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010994566.6A Pending CN112115873A (zh) 2020-09-21 2020-09-21 基于深度学习的硅藻自动检测方法及系统

Country Status (1)

Country Link
CN (1) CN112115873A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529106A (zh) * 2020-12-28 2021-03-19 平安普惠企业管理有限公司 视觉设计原稿的生成方法、装置、设备及存储介质
CN115187982A (zh) * 2022-07-12 2022-10-14 河北华清环境科技集团股份有限公司 藻类检测方法、装置及终端设备
CN115925076A (zh) * 2023-03-09 2023-04-07 湖南大学 一种基于机器视觉与深度学习的混凝自动投药方法与系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961301A (zh) * 2018-07-12 2018-12-07 中国海洋大学 一种基于无监督逐像素分类的角毛藻图像分割方法
CN109977780A (zh) * 2019-02-26 2019-07-05 广东工业大学 一种基于深度学习算法的硅藻的检测与识别方法
CN110033445A (zh) * 2019-04-10 2019-07-19 司法鉴定科学研究院 基于深度学习的法医学检验自动化识别系统及识别方法
CN111626256A (zh) * 2020-06-03 2020-09-04 兰波(苏州)智能科技有限公司 基于扫描电镜图像的高精度硅藻检测识别方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961301A (zh) * 2018-07-12 2018-12-07 中国海洋大学 一种基于无监督逐像素分类的角毛藻图像分割方法
CN109977780A (zh) * 2019-02-26 2019-07-05 广东工业大学 一种基于深度学习算法的硅藻的检测与识别方法
CN110033445A (zh) * 2019-04-10 2019-07-19 司法鉴定科学研究院 基于深度学习的法医学检验自动化识别系统及识别方法
CN111626256A (zh) * 2020-06-03 2020-09-04 兰波(苏州)智能科技有限公司 基于扫描电镜图像的高精度硅藻检测识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANIBAL PEDRAZA等: ""Lights and pitfalls of convolutionalneural networks for diatom identification"", 《SPIE 10679, OPTICS, PHOTONICS, AND DIGITAL TECHNOLOGIES FOR IMAGING APPLICATIONS》, pages 3 - 7 *
JOSEPH REDMON等: ""YOLOv3: An Incremental Improvement"", 《ARXIV》, pages 1 - 6 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529106A (zh) * 2020-12-28 2021-03-19 平安普惠企业管理有限公司 视觉设计原稿的生成方法、装置、设备及存储介质
CN115187982A (zh) * 2022-07-12 2022-10-14 河北华清环境科技集团股份有限公司 藻类检测方法、装置及终端设备
CN115925076A (zh) * 2023-03-09 2023-04-07 湖南大学 一种基于机器视觉与深度学习的混凝自动投药方法与系统
CN115925076B (zh) * 2023-03-09 2023-05-23 湖南大学 一种基于机器视觉与深度学习的混凝自动投药方法与系统

Similar Documents

Publication Publication Date Title
CN111178197B (zh) 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
CN112115873A (zh) 基于深度学习的硅藻自动检测方法及系统
CN108960245B (zh) 轮胎模具字符的检测与识别方法、装置、设备及存储介质
US20210182535A1 (en) Method for selecting images in video of faces in the wild
CN111986183B (zh) 一种染色体散型图像自动分割识别系统及装置
KR102503116B1 (ko) 인공지능 머신러닝 학습을 위한 데이터셋 자동 생성 장치와 그의 제어 방법
CN109389105B (zh) 一种基于多任务的虹膜检测和视角分类方法
CN116843999B (zh) 一种基于深度学习的动火作业中气瓶检测方法
CN115393351B (zh) 一种基于朗格汉斯细胞判断角膜免疫状态的方法及装置
CN103177266A (zh) 储藏物害虫智能识别系统
CN114022736A (zh) 一种垃圾检测方法以及装置
CN114359199A (zh) 一种基于深度学习的鱼类计数方法、装置、设备和介质
CN111563439B (zh) 一种水产生物病害检测方法、装置及设备
Zhou et al. Handling water reflections for computer vision in aquaculture
CN114240978A (zh) 基于自适应形态学的细胞边缘分割方法和装置
CN110796090A (zh) 基于循环神经网络的人机协作人体行为意图判别方法
CN113963149A (zh) 一种医疗票据图片的模糊判断方法、系统、设备及介质
CN111368637B (zh) 一种基于多掩模卷积神经网络的搬运机器人识别目标方法
CN115601818B (zh) 一种轻量化可见光活体检测方法及装置
CN114037868B (zh) 图像识别模型的生成方法及装置
CN113963199B (zh) 一种基于多种传感器特征融合和机器学习的医废识别方法
CN110555422B (zh) 驾驶行为检测算法优化方法
CN111723709B (zh) 一种基于深度卷积神经网络的蝇类面部识别方法
CN114004851B (zh) 一种细胞图像分割方法、装置及细胞计数方法
CN113780338B (zh) 基于支持向量机的大数据分析中置信度评价方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination