CN116343206A - 一种海洋浮游生物分析显微镜图像的自动拼接识别方法 - Google Patents

一种海洋浮游生物分析显微镜图像的自动拼接识别方法 Download PDF

Info

Publication number
CN116343206A
CN116343206A CN202310609216.7A CN202310609216A CN116343206A CN 116343206 A CN116343206 A CN 116343206A CN 202310609216 A CN202310609216 A CN 202310609216A CN 116343206 A CN116343206 A CN 116343206A
Authority
CN
China
Prior art keywords
image
images
convolution kernels
layer
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310609216.7A
Other languages
English (en)
Other versions
CN116343206B (zh
Inventor
刘振
刘昊
赵越
覃仙玲
马跃
江国辉
李明雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Science and Technology
Original Assignee
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology filed Critical Shandong University of Science and Technology
Priority to CN202310609216.7A priority Critical patent/CN116343206B/zh
Publication of CN116343206A publication Critical patent/CN116343206A/zh
Application granted granted Critical
Publication of CN116343206B publication Critical patent/CN116343206B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种海洋浮游生物分析显微镜图像的自动拼接识别方法，属于图像处理技术领域，用于对图像进行拼接和识别，包括通过显微镜移动载物台获取图像，图像匹配特征点，从数据库中加载图像，进行特征检测、提取和匹配，然后执行几何估计；图像合成，建立一个二维空间，通过循环应用变换矩阵来对齐所有的图像，所有图像对齐后，对图像边缘融合以创造一个无缝视图；最后进行神经网络识别。本发明具有广泛的适用性，可以应用于不同类型的浮游生物显微镜图像处理，并有潜力扩展到其他生物显微领域。

Description

一种海洋浮游生物分析显微镜图像的自动拼接识别方法
技术领域
本发明公开一种海洋浮游生物分析显微镜图像的自动拼接识别方法，属于图像处理技术领域。
背景技术
浮游生物观测工作通常需要辨别不同类型的浮游生物，受制于显微镜采集图像视野过窄，目前仍主要采取人工计数的方式，为拓展图像视野，可以进行图像拼接，图像拼接可以根据拍摄顺序直接拼接，但由于电机控制样品盘移动距离存在误差，直接拼接可能会导致图像内容损失。
发明内容
本发明的目的在于提供一种海洋浮游生物分析显微镜图像的自动拼接识别方法，以解决现有技术中，浮游生物观测中常规图像拼接容易出现内容损失的问题。
一种海洋浮游生物分析显微镜图像的自动拼接识别方法，包括：
S1.通过显微镜移动载物台获取图像；
S2.图像匹配特征点，从数据库中加载S1获取的图像，进行特征检测、提取和匹配，然后执行几何估计；
S3.图像合成，建立一个二维空间，通过循环应用变换矩阵来对齐所有的图像，所有图像对齐后，对图像边缘融合以创造一个无缝视图；
采用线性梯度混合技术，通过改变一个图像的中心到另一个图像的alpha通道创建一个线性梯度，混合后的图像
Figure SMS_1
定义为：
Figure SMS_2
；
其中
Figure SMS_3
是梯度权重，范围从 0 到 1，/>
Figure SMS_4
和 />
Figure SMS_5
是要混合在一起的两个图像，在图像集中的所有图像相互对齐和混合后，最终合成了全景图像；
S4.神经网络识别：
S4.1.将全景合成后的浮游生物显微镜影像裁剪为416*416像素大小；
S4.2.针对不同浮游生物类型对图像进行标注，对于影像中每一个浮游生物，找到包围此生物体最小四边形
Figure SMS_6
，并用左上角点/>
Figure SMS_7
以及左下角点、右上角点、右下角点相对左上角点的偏移量/>
Figure SMS_8
表示该多边形的位置，对标注后的数据按照9：1的比例分割成训练集、验证集；
S4.3.设置神经网络模型结构，包括输入层、特征提取层、目标检测层。
S2包括：
特征匹配包括：将特征与参考图像匹配，将调整后的图像显示为参考图像，将图像的最显著特征与另一图像进行比较，如果输入图像的特征之间存在匹配，则匹配的特征位置被识别为匹配对；
计算每个匹配对之间的几何变换，估计的几何变换被应用于对齐每个图像，一个点在旋转图像上的投影坐标u表示为：
Figure SMS_9
；
其中K是校准矩阵，R是旋转矩阵，t是翻译矢量，X是世界坐标；
匹配对坐标（u1，u2）写成以下形式：
Figure SMS_10
，/>
Figure SMS_11
；
其中，K1和K2是K的两个分量，t1和t2是t的两个分量，X1和X2是X的两个分量；
坐标转换公式为：
Figure SMS_12
，/>
Figure SMS_13
；
式中
Figure SMS_14
，T为坐标转换矩阵；
将投影坐标的公式应用于所有特征点，得到图像之间的像素转换方程：
Figure SMS_15
；
Figure SMS_16
表示第n个图片中第i个经过坐标变换的像素点坐标，/>
Figure SMS_17
表示像素i的坐标变换矩阵，/>
Figure SMS_18
表示第n个图片中第i-1个坐标变换前的像素坐标；
式中，I（n）表示第n个图像，得到图像I（n）到图像I（n-1）的几何变换方程，通过循环对所有的匹配对计算几何变换方程。
S4.3包括：输入层使用32个3×3的卷积核，使用0对图像进行填充，将图像尺寸调整为416×416×32，之后使用64个3×3的卷积核，使用0对图像进行填充，步长设置为2，将图像尺寸调整为208×208×64；
特征提取层进一步提取图像不同尺度上的特征信息，由五个残差层构成：
第一层首先使用32个1×1的卷积核将图像通道数调整为32，然后使用64个3×3的卷积核提取特征信息并计算残差值，最后使用256个3×3的卷积核，设置步长为2，将图像下采样指原本的二分之一，图像尺寸调整为104×104×128；
第二层首先由两个相同的残差单元构成，该残差单元首先使用64个1×1的卷积核将图像通道数调整为64，然后用128个3×3的卷积核对图像进行卷积并计算残差值，之后使用256个3×3的卷积核，设置步长为2对图像进行卷积，将图像下采样至原本的二分之一，图像尺寸调整为52×52×256；
第三层首先由八个相同的残差单元构成，该残差单元首先使用128个1×1的卷积核将图像通道数调整为128，然后使用256个3×3的卷积核对图像进行卷积并计算残差值，之后使用512个3×3的卷积核，设置步长为2对图像进行卷积，将图像下采样至原本的二分之一，图像尺寸调整为26×26×512，将第三层下采样前的输出保存记为F1，其尺寸为52×52×256；
第四层首先由八个相同的残差单元构成，该残差单元首先使用256个1×1的卷积核将图像通道数调整为256，然后使用512个3×3的卷积核对图像进行卷积并计算残差值，之后使用1024个3×3的卷积核，设置步长为2对图像进行卷积，将图像下采样至原本的二分之一，图像尺寸调整为13×13×1024，将第四层下采样前的输出保存记为F2，其尺寸为26×26×512；
第五层由四个相同的残差单元构成，该残差单元首先使用512个1×1的卷积核将图像通道数调整为512，然后使用1024个3×3的卷积核对图像进行卷积并计算残差值；
目标检测层由三个递进的预测结构构成，首先将特征提取层输出的数据保存为I1，之后将I1上采样至26×26，然后使用512个1×1的卷积核调整其通道使之与F2叠加，将其保存为I2，之后将I2上采样至52×52，然后使用256个1×1的卷积核调整其通道使之与F1叠加，将其保存为I3；
分别使用1024个、512个、256个3×3的卷积核对I1、I2、I3进行卷积，然后使用总分类个数个1×1的卷积核将图像通道数调整为分类类别数，即为对浮游生物目标检测的结果。
相对比现有技术，本发明具有以下有益效果：本发明实现了高效的图像拼接和无缝视图的创建，能够为研究人员提供清晰的浮游生物群落整体情况。通过神经网络识别技术，本发明在识别和分类浮游生物方面具有更高的准确性和泛化能力，整个处理过程高度自动化，提高了分析速度和准确性。此外，该方法具有广泛的适用性，可以应用于不同类型的浮游生物显微镜图像处理，并有潜力扩展到其他生物显微领域。
附图说明
图1为本发明的技术流程图；
图2为全景拼接原理示意图；
图3为数据标注过程示意图；
图4为神经网络结构示意图；
图5是全景拼接前浮游生物识别结果图；
图6是全景拼接后浮游生物识别结果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种海洋浮游生物分析显微镜图像的自动拼接识别方法，如图1，包括：
S1.通过显微镜移动载物台获取图像；
S2.图像匹配特征点，从数据库中加载S1获取的图像，进行特征检测、提取和匹配，然后执行几何估计；
在特征检测和提取中需要找到图像的角落或边缘等具有图像特征的点，之后需要对提取出的特征进行匹配， 由于最显著的特征点位于重叠区域，因此将特征与参考图像匹配会将调整后的图像显示为参考图像。此步骤的目的是将图像的最显著特征与另一图像进行比较，如果输入图像的特征之间存在匹配，则匹配的特征位置将被识别为匹配对。
为了提高对显微镜收集到的大量图片运算速度，采用了SURF特征检测器。SURF 算法基于 Haar小波和 Hessian 矩阵，可以快速检测图像中的关键点以加速检测过程并减少计算复杂度，其运算过程如下:首先通过应用高斯滤波器来计算图像的尺度空间金字塔，之后使用Hessian矩阵来探测尺度空间中的极值点，这些极值点对应于图像中的角点、边缘和斑点，通过计算每个关键点周围像素的梯度方向，并构建梯度方向直方图来选择稳定的关键点。将关键点附近的区域分成子区域，并计算每个子区域内的梯度方向直方图，将所有子区域的梯度方向直方图连接起来形成特征描述子。对于每个特征描述子，在所有其他特征描述子中找到与之最匹配的特征，并根据相似度阈值筛选出最佳匹配的特征点。
S3.图像合成，建立一个二维空间，通过循环应用变换矩阵来对齐所有的图像，所有图像对齐后，对图像边缘融合以创造一个无缝视图；
采用线性梯度混合技术，通过改变一个图像的中心到另一个图像的alpha通道创建一个线性梯度，混合后的图像
Figure SMS_19
定义为：
Figure SMS_20
；
其中
Figure SMS_21
是梯度权重，范围从 0 到 1，/>
Figure SMS_22
和 />
Figure SMS_23
是要混合在一起的两个图像，在图像集中的所有图像相互对齐和混合后，最终合成了全景图像；
S4.神经网络识别：
S4.1.如图2，将全景合成后的浮游生物显微镜影像裁剪为416*416像素大小；
S4.2.如图3，针对不同浮游生物类型对图像进行标注，对于影像中每一个浮游生物，找到包围此生物体最小四边形
Figure SMS_24
，并用左上角点/>
Figure SMS_25
以及左下角点、右上角点、右下角点相对左上角点的偏移量/>
Figure SMS_26
表示该多边形的位置，对标注后的数据按照9：1的比例分割成训练集、验证集；
S4.3.如图4，设置神经网络模型结构，包括输入层、特征提取层、目标检测层。
S2包括：
特征匹配包括：将特征与参考图像匹配，将调整后的图像显示为参考图像，将图像的最显著特征与另一图像进行比较，如果输入图像的特征之间存在匹配，则匹配的特征位置被识别为匹配对；
计算每个匹配对之间的几何变换，估计的几何变换被应用于对齐每个图像，一个点在旋转图像上的投影坐标u表示为：
Figure SMS_27
；
其中K是校准矩阵，R是旋转矩阵，t是翻译矢量，X是世界坐标；
匹配对坐标（u1，u2）写成以下形式：
Figure SMS_28
，/>
Figure SMS_29
；
其中，K1和K2是K的两个分量，t1和t2是t的两个分量，X1和X2是X的两个分量；
坐标转换公式为：
Figure SMS_30
，/>
Figure SMS_31
；
式中
Figure SMS_32
，T为坐标转换矩阵；
将投影坐标的公式应用于所有特征点，得到图像之间的像素转换方程：
Figure SMS_33
；
Figure SMS_34
表示第n个图片中第i个经过坐标变换的像素点坐标，/>
Figure SMS_35
表示像素i的坐标变换矩阵，/>
Figure SMS_36
表示第n个图片中第i-1个坐标变换前的像素坐标；
式中，I（n）表示第n个图像，得到图像I（n）到图像I（n-1）的几何变换方程，通过循环对所有的匹配对计算几何变换方程。
S4.3包括：输入层使用32个3×3的卷积核，使用0对图像进行填充，将图像尺寸调整为416×416×32，之后使用64个3×3的卷积核，使用0对图像进行填充，步长设置为2，将图像尺寸调整为208×208×64；
特征提取层进一步提取图像不同尺度上的特征信息，由五个残差层构成：
第一层首先使用32个1×1的卷积核将图像通道数调整为32，然后使用64个3×3的卷积核提取特征信息并计算残差值，最后使用256个3×3的卷积核，设置步长为2，将图像下采样指原本的二分之一，图像尺寸调整为104×104×128；
第二层首先由两个相同的残差单元构成，该残差单元首先使用64个1×1的卷积核将图像通道数调整为64，然后用128个3×3的卷积核对图像进行卷积并计算残差值，之后使用256个3×3的卷积核，设置步长为2对图像进行卷积，将图像下采样至原本的二分之一，图像尺寸调整为52×52×256；
第三层首先由八个相同的残差单元构成，该残差单元首先使用128个1×1的卷积核将图像通道数调整为128，然后使用256个3×3的卷积核对图像进行卷积并计算残差值，之后使用512个3×3的卷积核，设置步长为2对图像进行卷积，将图像下采样至原本的二分之一，图像尺寸调整为26×26×512，将第三层下采样前的输出保存记为F1，其尺寸为52×52×256；
第四层首先由八个相同的残差单元构成，该残差单元首先使用256个1×1的卷积核将图像通道数调整为256，然后使用512个3×3的卷积核对图像进行卷积并计算残差值，之后使用1024个3×3的卷积核，设置步长为2对图像进行卷积，将图像下采样至原本的二分之一，图像尺寸调整为13×13×1024，将第四层下采样前的输出保存记为F2，其尺寸为26×26×512；
第五层由四个相同的残差单元构成，该残差单元首先使用512个1×1的卷积核将图像通道数调整为512，然后使用1024个3×3的卷积核对图像进行卷积并计算残差值；
目标检测层由三个递进的预测结构构成，首先将特征提取层输出的数据保存为I1，之后将I1上采样至26×26，然后使用512个1×1的卷积核调整其通道使之与F2叠加，将其保存为I2，之后将I2上采样至52×52，然后使用256个1×1的卷积核调整其通道使之与F1叠加，将其保存为I3；
分别使用1024个、512个、256个3×3的卷积核对I1、I2、I3进行卷积，然后使用总分类个数个1×1的卷积核将图像通道数调整为分类类别数。全景拼接前浮游生物识别结果如图5所示，全景拼接后浮游生物识别结果如图6所示，即为对浮游生物目标检测的结果。

Claims (9)

1.一种海洋浮游生物分析显微镜图像的自动拼接识别方法，其特征在于，包括：
S1.通过显微镜移动载物台获取图像；
S2.图像匹配特征点，从数据库中加载S1获取的图像，进行特征检测、提取和匹配，然后执行几何估计；
S3.图像合成，建立一个二维空间，通过循环应用变换矩阵来对齐所有的图像，所有图像对齐后，对图像边缘融合以创造一个无缝视图；
S4.神经网络识别：
S4.1.将全景合成后的浮游生物显微镜影像裁剪为416*416像素大小；
S4.2.针对不同浮游生物类型对图像进行标注，对于影像中每一个浮游生物，找到包围此生物体最小四边形
Figure QLYQS_1
，并用左上角点/>
Figure QLYQS_2
以及左下角点、右上角点、右下角点相对左上角点的偏移量/>
Figure QLYQS_3
表示该四边形的位置，对标注后的数据按照9：1的比例分割成训练集、验证集；
S4.3.设置神经网络模型结构，包括输入层、特征提取层、目标检测层。
2.根据权利要求1所述的一种海洋浮游生物分析显微镜图像的自动拼接识别方法，其特征在于，S2包括：
特征匹配包括：将特征与参考图像匹配，将调整后的图像显示为参考图像，将图像的最显著特征与另一图像进行比较，如果输入图像的特征之间存在匹配，则匹配的特征位置被识别为匹配对；
计算每个匹配对之间的几何变换，估计的几何变换被应用于对齐每个图像，一个点在旋转图像上的投影坐标u表示为：
Figure QLYQS_4
；
其中K是校准矩阵，R是旋转矩阵，t是翻译矢量，X是世界坐标；
匹配对坐标（u1，u2）写成以下形式：
Figure QLYQS_5
，/>
Figure QLYQS_6
；
其中，K1和K2是K的两个分量，t1和t2是t的两个分量，X1和X2是X的两个分量；
坐标转换公式为：
Figure QLYQS_7
，/>
Figure QLYQS_8
；
式中
Figure QLYQS_9
，T为坐标转换矩阵；
将投影坐标的公式应用于所有特征点，得到图像之间的像素转换方程：
Figure QLYQS_10
；
Figure QLYQS_11
表示第n个图片中第i个经过坐标变换的像素点坐标，/>
Figure QLYQS_12
表示像素i的坐标变换矩阵，/>
Figure QLYQS_13
表示第n个图片中第i-1个坐标变换前的像素坐标；
式中，I（n）表示第n个图像，得到图像I（n）到图像I（n-1）的几何变换方程，通过循环对所有的匹配对计算几何变换方程。
3.根据权利要求1所述的一种海洋浮游生物分析显微镜图像的自动拼接识别方法，其特征在于，S3包括采用线性梯度混合技术，通过改变一个图像的中心到另一个图像的alpha通道创建一个线性梯度，混合后的图像
Figure QLYQS_14
定义为：
Figure QLYQS_15
；
其中
Figure QLYQS_16
是梯度权重，范围从 0 到 1，/>
Figure QLYQS_17
和 />
Figure QLYQS_18
是要混合在一起的两个图像，在图像集中的所有图像相互对齐和混合后，最终合成了全景图像。
4.根据权利要求1所述的一种海洋浮游生物分析显微镜图像的自动拼接识别方法，其特征在于，S4.3包括：输入层使用32个3×3的卷积核，使用0对图像进行填充，将图像尺寸调整为416×416×32，之后使用64个3×3的卷积核，使用0对图像进行填充，步长设置为2，将图像尺寸调整为208×208×64；
特征提取层进一步提取图像不同尺度上的特征信息，由五个残差层构成。
5.根据权利要求4所述的一种海洋浮游生物分析显微镜图像的自动拼接识别方法，其特征在于，五个残差层中，第一层首先使用32个1×1的卷积核将图像通道数调整为32，然后使用64个3×3的卷积核提取特征信息并计算残差值，最后使用256个3×3的卷积核，设置步长为2，将图像下采样指原本的二分之一，图像尺寸调整为104×104×128。
6.根据权利要求5所述的一种海洋浮游生物分析显微镜图像的自动拼接识别方法，其特征在于，五个残差层中，第二层首先由两个相同的残差单元构成，该残差单元首先使用64个1×1的卷积核将图像通道数调整为64，然后用128个3×3的卷积核对图像进行卷积并计算残差值，之后使用256个3×3的卷积核，设置步长为2对图像进行卷积，将图像下采样至原本的二分之一，图像尺寸调整为52×52×256。
7.根据权利要求6所述的一种海洋浮游生物分析显微镜图像的自动拼接识别方法，其特征在于，五个残差层中，第三层首先由八个相同的残差单元构成，该残差单元首先使用128个1×1的卷积核将图像通道数调整为128，然后使用256个3×3的卷积核对图像进行卷积并计算残差值，之后使用512个3×3的卷积核，设置步长为2对图像进行卷积，将图像下采样至原本的二分之一，图像尺寸调整为26×26×512，将第三层下采样前的输出保存记为F1，其尺寸为52×52×256。
8.根据权利要求7所述的一种海洋浮游生物分析显微镜图像的自动拼接识别方法，其特征在于，五个残差层中，第四层首先由八个相同的残差单元构成，该残差单元首先使用256个1×1的卷积核将图像通道数调整为256，然后使用512个3×3的卷积核对图像进行卷积并计算残差值，之后使用1024个3×3的卷积核，设置步长为2对图像进行卷积，将图像下采样至原本的二分之一，图像尺寸调整为13×13×1024，将第四层下采样前的输出保存记为F2，其尺寸为26×26×512。
9.根据权利要求8所述的一种海洋浮游生物分析显微镜图像的自动拼接识别方法，其特征在于，五个残差层中，第五层由四个相同的残差单元构成，该残差单元首先使用512个1×1的卷积核将图像通道数调整为512，然后使用1024个3×3的卷积核对图像进行卷积并计算残差值；
目标检测层由三个递进的预测结构构成，首先将特征提取层输出的数据保存为I1，之后将I1上采样至26×26，然后使用512个1×1的卷积核调整其通道使之与F2叠加，将其保存为I2，之后将I2上采样至52×52，然后使用256个1×1的卷积核调整其通道使之与F1叠加，将其保存为I3；
分别使用1024个、512个、256个3×3的卷积核对I1、I2、I3进行卷积，然后使用总分类个数个1×1的卷积核将图像通道数调整为分类类别数，即为对浮游生物目标检测的结果。
CN202310609216.7A 2023-05-29 2023-05-29 一种海洋浮游生物分析显微镜图像的自动拼接识别方法 Active CN116343206B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310609216.7A CN116343206B (zh) 2023-05-29 2023-05-29 一种海洋浮游生物分析显微镜图像的自动拼接识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310609216.7A CN116343206B (zh) 2023-05-29 2023-05-29 一种海洋浮游生物分析显微镜图像的自动拼接识别方法

Publications (2)

Publication Number Publication Date
CN116343206A true CN116343206A (zh) 2023-06-27
CN116343206B CN116343206B (zh) 2023-08-08

Family

ID=86893311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310609216.7A Active CN116343206B (zh) 2023-05-29 2023-05-29 一种海洋浮游生物分析显微镜图像的自动拼接识别方法

Country Status (1)

Country Link
CN (1) CN116343206B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626936A (zh) * 2020-05-22 2020-09-04 湖南国科智瞳科技有限公司 一种显微图像的快速全景拼接方法及系统
CN111723848A (zh) * 2020-05-26 2020-09-29 浙江工业大学 一种基于卷积神经网络和数字全息的海洋浮游生物自动分类方法
US20210292805A1 (en) * 2020-03-18 2021-09-23 International Business Machines Corporation Semi-supervised classification of microorganism
CN115546656A (zh) * 2022-09-14 2022-12-30 山东科技大学 一种基于深度学习的遥感影像养殖区域提取方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210292805A1 (en) * 2020-03-18 2021-09-23 International Business Machines Corporation Semi-supervised classification of microorganism
CN111626936A (zh) * 2020-05-22 2020-09-04 湖南国科智瞳科技有限公司 一种显微图像的快速全景拼接方法及系统
CN111723848A (zh) * 2020-05-26 2020-09-29 浙江工业大学 一种基于卷积神经网络和数字全息的海洋浮游生物自动分类方法
CN115546656A (zh) * 2022-09-14 2022-12-30 山东科技大学 一种基于深度学习的遥感影像养殖区域提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
卢钢;张翼;: "基于局部特征的医学显微图像自动拼接", 计算机与数字工程, no. 05 *
杨榕;张荣;孙松;: "基于图像处理技术的浮游生物自动分类研究", 计算机仿真, no. 05 *

Also Published As

Publication number Publication date
CN116343206B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
US11681418B2 (en) Multi-sample whole slide image processing in digital pathology via multi-resolution registration and machine learning
Hassaballah et al. Image features detection, description and matching
CN110232387B (zh) 一种基于kaze-hog算法的异源图像匹配方法
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
CN108564092A (zh) 基于sift特征提取算法的向日葵病害识别方法
CN112819748B (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN111768415A (zh) 一种无量化池化的图像实例分割方法
CN111553422A (zh) 手术器械自动识别回收方法及系统
CN114494812A (zh) 一种基于改进CenterNet的图像小目标检测方法
Rashwan et al. Using curvilinear features in focus for registering a single image to a 3D object
CN116343206B (zh) 一种海洋浮游生物分析显微镜图像的自动拼接识别方法
Shao et al. Feature matching for illumination variation images
Bao et al. A corner detection method based on adaptive multi-directional anisotropic diffusion
CN114998980B (zh) 一种虹膜检测方法、装置、电子设备及存储介质
CN115035281B (zh) 一种快速的红外全景图像拼接方法
Shaikh et al. Multiple feature extraction techniques in image stitching
CN115410089A (zh) 自适应局部上下文嵌入的光学遥感小尺度目标检测方法
CN113642430A (zh) 基于VGG+NetVLAD的地下停车场高精度视觉定位方法及系统
Sun et al. Light-YOLOv3: License plate detection in multi-vehicle scenario
CN111783683A (zh) 一种基于特征平衡和关系增强的人体检测方法
Gbash et al. Scale-invariant feature transform algorithm with fast approximate nearest neighbor
Halmaoui et al. Feature matching for 3D AR: Review from handcrafted methods to deep learning
Gao et al. Evaluation of feature matching in aerial imagery for structure-from motion and bundle adjustment
Asanza et al. Improving feature based object recognition in service robotics by disparity map based segmentation
Yao Image mosaic based on SIFT and deformation propagation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant