CN112435214B - 基于先验框线性缩放的花粉检测方法、装置和电子设备 - Google Patents

基于先验框线性缩放的花粉检测方法、装置和电子设备 Download PDF

Info

Publication number
CN112435214B
CN112435214B CN202011133477.9A CN202011133477A CN112435214B CN 112435214 B CN112435214 B CN 112435214B CN 202011133477 A CN202011133477 A CN 202011133477A CN 112435214 B CN112435214 B CN 112435214B
Authority
CN
China
Prior art keywords
pollen
frame
detection model
scaling
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011133477.9A
Other languages
English (en)
Other versions
CN112435214A (zh
Inventor
李建强
刘智慧
王全增
叶彩华
尤焕苓
齐晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Meteorological Service Center
Beijing University of Technology
Original Assignee
Beijing Meteorological Service Center
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Meteorological Service Center, Beijing University of Technology filed Critical Beijing Meteorological Service Center
Priority to CN202011133477.9A priority Critical patent/CN112435214B/zh
Publication of CN112435214A publication Critical patent/CN112435214A/zh
Application granted granted Critical
Publication of CN112435214B publication Critical patent/CN112435214B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种基于先验框线性缩放的花粉检测方法、装置和电子设备，该方法包括：在显微镜下采集待检测花粉颗粒的放大图像；将放大图像输入检测模型，输出识别框和花粉种类；其中，检测模型是基于样本花粉颗粒的放大图像和对应的标注框标签和花粉种类标签进行训练后得到的，检测模型中的特征提取网络用于提取放大图像的3个特征图，检测模型训练时对任一花粉颗粒使用其对应尺度特征图的b个缩放先验框代替随机初始值，缩放先验框为对标注框标签进行聚类得到的先验框再进行预设线性缩放后得到的。本发明实施例提供的方法、装置和电子设备，实现了提高基于先验框的花粉颗粒检测的有效性、鲁棒性和准确性。

Description

基于先验框线性缩放的花粉检测方法、装置和电子设备
技术领域
本发明涉及花粉检测技术领域，尤其涉及一种基于先验框线性缩放的花粉检测方法、装置和电子设备。
背景技术
花粉过敏为过敏科常见病，且发病率逐年上升，严重影响人类健康。由于花粉产量多、体积小、质量轻、容易借风力传播，使花粉在空气中漂浮。大量在空气中漂浮的花粉对花粉过敏人群有较大危害，在电子显微镜下拍摄的花粉采集图片中快速有效地检测识别出花粉，有助于气象局提早发出预报，使花粉过敏人群做好预防，尽量避免花粉过敏带来的不适。
花粉检测就是在所给图片中检测出花粉的位置。属于目标检测领域，基于深度学习的目标检测主要分为两类。一类是基于候选区域的分步式目标检测方法，该类模型先生成候选区域，通过特征提取再进行边界框的分类与回归。主要有R-CNN、Fast-RCNN、Faster-RCNN。具有检测精度较高的优点，但检测速度慢。另一类是基于回归思想的直接目标检测方法，其直接在特征图上进行边界框的分类与回归。主要有SSD和YOLO系列。该类一阶段检测模型检测速度快，但精度有待提高。
现有一阶段检测技术中先验框是通过kmeans聚类训练集中标注框的宽高所得，每三个先验框组成一组，分别分配给三个尺度进行大、中、小目标的检测。因为在电子显微镜下花粉颗粒大小跨度不大，比较集中，k均值聚类后得到的先验框集中在有限的范围内，所以先验框维度很难得到精确的目标框信息，不适用于多尺度检测，导致小花粉颗粒的漏检。
花粉暴露在空气中，常常会带有一些沙粒，尘土，虫卵等。电子显微镜下采集的花粉图片含有较多杂质，且花粉颗粒形状不规则，给检测任务带来困难。特征提取网络浅层主要负责提取位置信息，深层主要负责提取语义信息。因深层网络提取语义信息的不足，导致花粉颗粒特征分析不足，出现图片边缘杂质的误检情况。
因此，如何避免现有的基于先验框的花粉颗粒检测的有效性和鲁棒性低，提高检测的准确性，仍然是本领域技术人员亟待解决的问题。
发明内容
本发明实施例提供一种基于先验框线性缩放的花粉检测方法、装置和电子设备，用以解决现有的基于先验框的花粉颗粒检测的有效性低、鲁棒性低和准确性低的问题。
第一方面，本发明实施例提供一种基于先验框线性缩放的花粉检测方法，包括：
在显微镜下采集待检测花粉颗粒的放大图像；
将所述放大图像输入检测模型，输出所述放大图像中花粉颗粒的识别框和花粉种类；
其中，所述检测模型是基于样本花粉颗粒的放大图像和对应的花粉颗粒的标注框标签和花粉种类标签进行训练后得到的，所述检测模型中的特征提取网络用于提取各样本花粉颗粒的放大图像的3个特征图，所述检测模型训练时对任一花粉颗粒使用其对应尺度特征图的b个缩放先验框代替随机初始值，所述缩放先验框为对标注框标签进行聚类得到的先验框再进行预设线性缩放后得到的，b>1且b为正整数。
该方法中，
所述样本花粉颗粒的放大图像包括基于人工剪裁拼接的包含不完整花粉颗粒的放大图像；
所述对应的花粉颗粒的标注框标签和花粉种类标签为人工标注得到。
该方法中，所述检测模型中的特征提取网络用于提取各样本花粉颗粒的放大图像的3个特征图，具体包括：
所述检测模型中的特征提取网络由含有一个残差单元的跨阶段局部网络、含有四个残差单元的跨阶段局部网络和三个含有八个残差单元的跨阶段局部网络依次连接构成；
所述三个含有八个残差单元的跨阶段局部网络在特征提取过程中分别输出对应于各样本花粉颗粒的放大图像的下采样8倍特征图、下采样16倍特征图和下采样32倍特征图。
该方法中，所述对标注框标签进行聚类得到的先验框再进行预设线性缩放，具体包括：
基于预设聚类算法对标注框标签进行聚类获取3b个先验框；
将所述3b个先验框进行以其宽度从小到大排列的序号值作为各自宽度的缩放倍数因子，所述3b个先验框统一宽度的缩放倍数因子基于预设线性系数、最大宽度与最小宽度之差和平均宽度确定；
基于所述各自宽度的缩放倍数因子和所述统一宽度的缩放倍数因子处理所述3b个先验框的宽度，并基于各先验框缩放后的宽度对各自高度适应性缩放。
该方法中，所述检测模型训练时对任一花粉颗粒使用其对应尺度特征图的b个缩放先验框代替随机初始值，具体包括：
所述检测模型训练时对任一花粉颗粒使用其对应尺度特征图的b个缩放先验框代替随机初始值进入预测网络，所述预测网络中的可调参数为需要学习的原始预测框相对于b个缩放先验框的偏移值，所述预测网络任一轮迭代输出的预测边界框为所述任一轮迭代的b个原始预测框中与标注框标签的面积交并比最大的原始预测框；
其中，所述对应尺度特征图是基于所述任一花粉颗粒的大小确定的。
该方法中，还包括：
所述检测模型训练时的损失函数包括定位损失、置信度损失和分类损失；
其中，所述定位损失为训练时所述检测模型输出的预测边界框和标注框标签的误差，所述置信度损失基于训练时所述检测模型输出的预测边界框是否含有目标花粉的概率构成，所述分类损失为训练时所述检测模型输出的预测花粉种类和花粉种类标签的误差。
该方法中，b的取值为3。
第二方面，本发明实施例提供一种基于先验框线性缩放的花粉检测装置，包括：
采集单元，用于在显微镜下采集待检测花粉颗粒的放大图像；
检测单元，用于将所述放大图像输入检测模型，输出所述放大图像中花粉颗粒的识别框和花粉种类；
其中，所述检测模型是基于样本花粉颗粒的放大图像和对应的花粉颗粒的标注框标签和花粉种类标签进行训练后得到的，所述检测模型中的特征提取网络用于提取各样本花粉颗粒的放大图像的3个特征图，所述检测模型训练时对任一花粉颗粒使用其对应尺度特征图的b个缩放先验框代替随机初始值，所述缩放先验框为对标注框标签进行聚类得到的先验框再进行预设线性缩放后得到的，b>1且b为正整数。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的基于先验框线性缩放的花粉检测方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的基于先验框线性缩放的花粉检测方法的步骤。
本发明实施例提供的方法、装置和电子设备，在显微镜下采集待检测花粉颗粒的放大图像；将所述放大图像输入检测模型，输出所述放大图像中花粉颗粒的识别框和花粉种类；其中，所述检测模型是基于样本花粉颗粒的放大图像和对应的花粉颗粒的标注框标签和花粉种类标签进行训练后得到的，所述检测模型中的特征提取网络用于提取各样本花粉颗粒的放大图像的3个特征图，所述检测模型训练时对任一花粉颗粒使用其对应尺度特征图的b个缩放先验框代替随机初始值，所述缩放先验框为对标注框标签进行聚类得到的先验框再进行预设线性缩放后得到的。由于检测模型是通过机器训练学习生成的，并且用于代替随机初始值进行训练的缩放先验框是对标注框标签进行聚类得到的先验框进行预设线性缩放后得到的，因此，避免了直接使用由显微镜下样本图像中花粉颗粒大小跨度不大的标注框聚类得到的集中在有限范围内的先验框，将先验框按照预设线性缩放处理后，可以扩大先验框的范围，可以减少多尺度检测中的小花粉颗粒的漏检。因此，本发明实施例提供的方法、装置和电子设备，实现了提高基于先验框的花粉颗粒检测的有效性、鲁棒性和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于先验框线性缩放的花粉检测方法的流程示意图；
图2为本发明实施例提供的跨阶段局部网络的结构示意图；
图3为本发明实施例提供的残差单元的结构示意图；
图4为本发明实施例提供的基于先验框线性缩放的花粉检测装置的结构示意图；
图5为本发明实施例提供的花粉颗粒检测模型的训练方法的流程示意图；
图6为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有的基于先验框的花粉颗粒检测普遍存在有效性、鲁棒性和准确性均偏低的问题。对此，本发明实施例提供了一种基于先验框线性缩放的花粉检测方法。图1为本发明实施例提供的基于先验框线性缩放的花粉检测方法的流程示意图，如图1所示，该方法包括：
步骤110，在显微镜下采集待检测花粉颗粒的放大图像。
具体地，首先采集需要进行花粉颗粒检测的放大图像，通常是在电子显微镜下采集。所述放大图像通常还会有一些扫描信息，与检测任务无关，在进行后续输入到检测模型时要提前裁掉。
步骤120，将所述放大图像输入检测模型，输出所述放大图像中花粉颗粒的识别框和花粉种类；
其中，所述检测模型是基于样本花粉颗粒的放大图像和对应的花粉颗粒的标注框标签和花粉种类标签进行训练后得到的，所述检测模型中的特征提取网络用于提取各样本花粉颗粒的放大图像的3个特征图，所述检测模型训练时对任一花粉颗粒使用其对应尺度特征图的b个缩放先验框代替随机初始值，所述缩放先验框为对标注框标签进行聚类得到的先验框再进行预设线性缩放后得到的，b>1且b为正整数。
具体地，将步骤110中采集的放大图像输入检测模型，输出预测的所述放大图像中花粉颗粒的识别框和花粉种类，而所述检测模型是基于样本花粉颗粒的放大图像和对应的花粉颗粒的标注框标签和花粉种类标签进行训练后得到的，其中，用于模型训练的样本花粉颗粒的放大图像是与步骤110中采集方法相同的在显微镜下采集大量样本检测花粉颗粒的放大图像，而用于模型训练的标注框标签和花粉种类标签也是在采集到大量的样本放大图像后通过人工标注方法对各花粉颗粒使用最小矩形框进行包围和花粉种类分类。同时，在检测模型进行训练时，使用的特征提取网络提取各样本花粉颗粒的放大图像的3个特征图，使得在对各花粉颗粒赋予缩放先验框这个训练初始值时可以根据花粉颗粒大小选定其对应尺度特征图对应的b个缩放先验框，而缩放先验框是对标注框标签进行聚类得到的先验框进行预设线性缩放后得到的，该预设线性缩放将3b个通过聚类得到的原始先验框的范围增大，例如，原来6个先验框的宽度分别为2、4、6、8和10，通过线性缩放后，依次乘上它们从小到大排序的序号和预设系数0.8，宽度就拉大到1.6、6.4、14.4、25.6和40，以上只是举例说明其中一种预设线性缩放规则，该规则有许多种，进行缩放时乘数因子可以包括从小到大排序的序号、预设系数、宽度均值、宽度最大值最小值之差等等，此处不作具体限定。然后在宽度拉大的基础上，对各先验框的高度也作适应性的缩放，最终缩放先验框的大小覆盖范围就会变大。如此拉大先验框的大小覆盖范围，就能避免直接使用由显微镜下样本图像中花粉颗粒大小跨度不大的标注框聚类得到的集中在有限范围内的先验框，可以减少多尺度检测中的小花粉颗粒的漏检。
本发明实施例提供的方法，在显微镜下采集待检测花粉颗粒的放大图像；将所述放大图像输入检测模型，输出所述放大图像中花粉颗粒的识别框和花粉种类；其中，所述检测模型是基于样本花粉颗粒的放大图像和对应的花粉颗粒的标注框标签和花粉种类标签进行训练后得到的，所述检测模型中的特征提取网络用于提取各样本花粉颗粒的放大图像的3个特征图，所述检测模型训练时对任一花粉颗粒使用其对应尺度特征图的b个缩放先验框代替随机初始值，所述缩放先验框为对标注框标签进行聚类得到的先验框再进行预设线性缩放后得到的。由于检测模型是通过机器训练学习生成的，并且用于代替随机初始值进行训练的缩放先验框是对标注框标签进行聚类得到的先验框进行预设线性缩放后得到的，因此，避免了直接使用由显微镜下样本图像中花粉颗粒大小跨度不大的标注框聚类得到的集中在有限范围内的先验框，将先验框按照预设线性缩放处理后，可以扩大先验框的范围，可以减少多尺度检测中的小花粉颗粒的漏检。因此，本发明实施例提供的方法，实现了提高基于先验框的花粉颗粒检测的有效性、鲁棒性和准确性。
基于上述实施例，该方法中，
所述样本花粉颗粒的放大图像包括基于人工剪裁拼接的包含不完整花粉颗粒的放大图像；
所述对应的花粉颗粒的标注框标签和花粉种类标签为人工标注得到。
具体地，要构建用于模型训练的样本训练集和标签集，但是使用直接采集的普通的显微镜下的花粉颗粒的放大图像，它们中被遮挡、不完整花粉占比少，为了用于模型训练的样本放大图像中有更多不完整花粉颗粒增加样本的多样性，会使用人工剪裁方法沿着图片中含花粉颗粒较多的一列进行剪裁然后再与其他被剪裁的图片进行拼接，形成包含不完整花粉颗粒的放大图像，然后再将上述拼接方式得到的放大图像与其他从直接采集的几万像素的原始放大图像中剪裁得到符合大小规格的样本花粉颗粒的放大图像进行组合形成用于模型训练的样本集。例如，下面举例说明了一种规格图像的拼接具体操作：
1、将图片沿着含花粉颗粒多的一列裁剪成308*608大小的图片；
2、选取原始样本放大图像中含花粉颗粒数量小于一定阈值的图片裁剪成300*608大小的图片；
3、将上述两种两图片拼接成608*608大小的图片。
上述对样本放大图像的拼接处理中，原始的放大图像的规格即608*608大小的图片，通过剪裁，将包含不完整花粉颗粒的部分图像和含花粉颗粒少的图像进行拼接得到的放大图像加入其他从直接采集的几万像素的原始放大图像中剪裁得到符合大小规格的样本花粉颗粒的放大图像进行组合形成最终用于模型训练的样本集，此操作产生了一些被遮挡的不完整的花粉颗粒加入训练集，增加了不完整花粉颗粒样本比例，使模型学习不完整花粉特征能力加强。
对样本放大图像进行标注框标签和花粉种类标签的标注时是采用人工的方法，具体地，可以通过如下操作完成：采用labelImg将样本放大图像中的花粉颗粒框上大小合适的标注框，标注上正确的花粉类别，将图片保存为Pascal VOC数据集的格式，生成对应图片的包含图片信息，标注框大小、标注框顶点坐标信息和类别信息的xml文件。所述xml文件后续被检测模型训练时直接读取提取其中的样本放大图像、标注框标签和花粉种类标签。
基于上述任一实施例，该方法中，所述检测模型中的特征提取网络用于提取各样本花粉颗粒的放大图像的3个特征图，具体包括：
所述检测模型中的特征提取网络由含有一个残差单元的跨阶段局部网络、含有四个残差单元的跨阶段局部网络和三个含有八个残差单元的跨阶段局部网络依次连接构成；
所述三个含有八个残差单元的跨阶段局部网络在特征提取过程中分别输出对应于各样本花粉颗粒的放大图像的下采样8倍特征图、下采样16倍特征图和下采样32倍特征图。
具体地，检测模型中的特征提取网络由五个部分组成，对于大小为x*x*3的图片输入到特征提取网络，首先经过卷积层，批归一化和Mish激活层(CBM)输出x*x*24的图片，输入到特征提取网络的第一部分，第一部分由含有一个残差单元的跨阶段局部网络组成。图2为本发明实施例提供的跨阶段局部网络的结构示意图，图3为本发明实施例提供的残差单元的结构示意图。如图2所示，跨阶段局部网络将输入分成两个分支，一个分支经过CBM->残差块->CBM，其中，残差块为图2中标识的“残差单元*x”，x表示残差单元的个数，对于包含1个残差单元的跨阶段局部网络，x＝1，对于含有四个残差单元的跨阶段局部网络，x＝4，依此类推，另一分支经过CBM与前一分支融合。如图3所示，残差单元将输入分为两个分支，一个分支经过两个CBM块，然后与另一分支相加。样本放大图片经过第一部分处理输出为x/2*x/2*48的特征图，输入到第二部分，第二部分由含有四个残差单元的跨阶段局部网络组成，输出为x/4*x/4*96的特征图；特征图输入到第三部分，第三部分由含有八个残差单元的跨阶段局部网络组成，输出为x/8*x/8*192的特征图；特征图输入到第四部分，第四部分由含有八个残差单元的跨阶段局部网络组成，输出为x/16*x/16*384的特征图；特征图输入到第五部分，第五部分由含有八个残差单元的跨阶段局部网络组成，输出为x/32*x/32*768的特征图。将第三部分、第四部分和第五部分分别输出的各样本花粉颗粒的放大图像的下采样8倍特征图、下采样16倍特征图和下采样32倍特征图作为特征提取网络的输出结果。
基于上述任一实施例，该方法中，所述对标注框标签进行聚类得到的先验框再进行预设线性缩放，具体包括：
基于预设聚类算法对标注框标签进行聚类获取3b个先验框；
将所述3b个先验框进行以其宽度从小到大排列的序号值作为各自宽度的缩放倍数因子，所述3b个先验框统一宽度的缩放倍数因子基于预设线性系数、最大宽度与最小宽度之差和平均宽度确定；
基于所述各自宽度的缩放倍数因子和所述统一宽度的缩放倍数因子处理所述3b个先验框的宽度，并基于各先验框缩放后的宽度对各自高度适应性缩放。
具体地，基于预设聚类算法对标注框标签进行聚类获取3b个先验框，聚类算法有多种，此处选择常用的kmeans聚类算法，具体聚类操作如下：
1001、从样本放大图像集合中标注的所有标注框中随机选3b个标注框作为初始聚类中心；
1002、依据如下距离度量公式依次计算其余任一标注框i与当前迭代轮次中3b个聚类中心中的任一聚类中心j的距离di,j(truthi,anchorj)，将其分配给与它距离最近的聚类中心；
di,j(truthi,anchorj)＝1-IOUi,j(truthi,anchorj)
其中，truthi表示任一标注框i，anchorj表示当前迭代轮次中3b个聚类中心中的任一聚类中心j，IOUi,j(truthi,anchorj)表示标注框i与聚类中心j的面积交并比，IOUi,j(truthi,anchorj)计算公式如下：
其中，truthi∩truthj表示标注框i与当前迭代轮次中聚类中心j相交面积的大小，truthi∪truthj表示标注框i与当前迭代轮次中聚类中心j相并面积大小。
1003、分配好所有标注框后，形成了3b个簇，计算每个簇所有点的平均值将其作为新的聚类中心
1004、重复以上步骤1002-1003直至当前迭代轮次得到的聚类中心与上一迭代轮次得到的聚类中心的距离小于规定阈值，则停止迭代，并以当前迭代轮次得到的聚类中心作为聚类处理输出的先验框。
将所述3b个先验框进行以其宽度从小到大排列的序号值作为各自宽度的缩放倍数因子，所述3b个先验框统一宽度的缩放倍数因子基于预设线性系数、最大宽度与最小宽度之差和平均宽度确定，基于所述各自宽度的缩放倍数因子和所述统一宽度的缩放倍数因子处理所述3b个先验框的宽度。更进一步地，上述过程可以通过以下例子说明：
将所述3b个先验框以其宽度进行从小到大的排列，将λ与第1个先验框的宽相乘得到缩小后的第1个先验框的宽，如下的公式一，其中，x[0][0]表示第一组先验框的宽，x[0][0]'表示线性缩放后的第1个缩放先验框的宽，λ为线性系数，预设λ＝0.5。
x[0][0]'＝λx[0][0]公式一
通过如下公式二求出3b个先验框的宽的平均值
根据如下公式三使得第2个到第3b个先验框的宽依次产生线性缩放，其中，0<i<3b，x[3b-1][0]表示第3b个先验框的宽，x[0][0]表示第1个先验框的宽，x[0][0]'表示线性缩放后的第1个缩放先验框的宽，x[3b][0]表示第3b个先验框的宽，x[i][0]'表示线性缩放后第i个缩放先验框的宽，表示3b个先验框的宽的平均值。
最后基于各先验框缩放后的宽度对各自高度适应性缩放，可以通过以下公式四进行描述，公式四使得3b个先验框的高根据宽的线性缩放而线性改变。将缩放后的第i个先验框的宽与第i个先验框的高与宽的比相乘，得到缩放后的第i个先验框的高，其中0≤i<3b，x[i][0]表示第i个先验框的宽，x[i][0]'表示线性缩放后的第i个缩放先验框的宽，x[i][1]表示第i个先验框的高，x[i][1]’表示线性缩放后第i个缩放先验框的高。
基于上述任一实施例，该方法中，所述检测模型训练时对任一花粉颗粒使用其对应尺度特征图的b个缩放先验框代替随机初始值，具体包括：
所述检测模型训练时对任一花粉颗粒使用其对应尺度特征图的b个缩放先验框代替随机初始值进入预测网络，所述预测网络中的可调参数为需要学习的原始预测框相对于b个缩放先验框的偏移值，所述预测网络任一轮迭代输出的预测边界框为所述任一轮迭代的b个原始预测框中与标注框标签的面积交并比最大的原始预测框；
其中，所述对应尺度特征图是基于所述任一花粉颗粒的大小确定的。
具体地，对于特征提取网络中输出的下采样32倍的特征图、下采样16倍的特征图和下采样8倍的特征图在进入预测网络之前还有一个特征融合的处理，具体处理方法是将下采样32倍的特征图上采样2倍，与下采样16倍的特征图逐元素相加实现融合；将前面得到的融合后的特征图上采样2倍，与下采样8倍的特征图逐元素相加实现融合，以此实现了多尺度特征的融合。然后将经过多尺度特征融合后的下采样8倍、16倍、32倍的三个尺度的特征图进行检测，具体地，将下采样8倍、16倍、32倍特征图分别划分成x/8*x/8、x/16*x/16、x/32*x/32个网格，其中，x*x为样本放大图像的大小，若目标花粉颗粒的中心落在了某个网格内，则该网格负责检测该目标，将分配给该网格所对应的尺度特征图的b个合适该尺度的缩放先验框。此处需要说明的是，以特征图的尺度为其分配相应大小的缩放先验框，将3b个缩放先验框按照宽度大小从小到大进行排序的顺序序列，然后分为三组，第一组的b个缩放先验框为所述顺序序列中的前b个缩放先验框，第二组的b个缩放先验框为所述顺序序列中的中间b个缩放先验框，第三组的b个缩放先验框为所述顺序序列中的后b个缩放先验框，对下采样8倍特征图分配第一组的b个缩放先验框，对下采样16倍特征图分配第二组的b个缩放先验框，对下采样32倍特征图分配第三组的b个缩放先验框。
具体地，检测模型训练时的预测网络即从给目标花粉颗粒分配的b个已知的缩放先验框推出b个原始预测框，然后从b个原始预测框中挑出最优的作为预测网络输出的预测边界框，其中，所述预测网络中的可调参数为需要学习的原始预测框相对于b个缩放先验框的偏移值。具体通过如下公式进行说明：
bx＝σ(tx)+cx
by＝σ(ty)+cy
其中，σ为激活函数，cx，cy为目标花粉颗粒落入的对应尺度特征图中网格的左上角坐标，bx，by为预测网络生成的原始预测框在所述对应尺度特征图特征图中的中心点坐标，bw，bh为预测网络生成的原始预测框的宽和高，pw，ph为给目标花粉颗粒分配的b个已知的缩放先验框中任一个的宽和高，tx、ty、tw、th是预测网络需要学习的相对于缩放先验框的偏移值。
具体地，所述预测网络任一轮迭代输出的预测边界框为所述任一轮迭代的b个原始预测框中与标注框标签的面积交并比最大的原始预测框，将预测网络任一轮迭代输出的b个原始预测框与所述目标花粉颗粒的标注框标签进行面积交并比IOU计算，IOU计算公式与上文中介绍的一致，为如下表示：
其中，truths∩trutht表示原始预测框s与所述目标花粉颗粒的标注框标签t相交面积的大小，truths∪trutht表示原始预测框s与所述目标花粉颗粒的标注框标签t相并面积大小，其中，s∈任一轮迭代输出的b个原始预测框集合。
基于上述任一实施例，该方法中，还包括：
所述检测模型训练时的损失函数包括定位损失、置信度损失和分类损失；
其中，所述定位损失为训练时所述检测模型输出的预测边界框和标注框标签的误差，所述置信度损失基于训练时所述检测模型输出的预测边界框是否含有目标花粉的概率构成，所述分类损失为训练时所述检测模型输出的预测花粉种类和花粉种类标签的误差。
具体地，由于检测模型是用于预测放大图像中花粉颗粒的检测框和花粉种类的，因此，检测模型训练过程中的损失函数既要考虑预测检测框与标注框标签之间的差距，还要考虑花粉颗粒种类的判断的查全率和查准率，因此，检测模型训练时的损失函数包括定位损失、置信度损失和分类损失，其中，所述定位损失为训练时所述检测模型输出的预测边界框和标注框标签的误差，所述置信度损失基于训练时所述检测模型输出的预测边界框是否含有目标花粉的概率构成，所述分类损失为训练时所述检测模型输出的预测花粉种类和花粉种类标签的误差。更进一步地，下面使用具体计算公式进行描述：
总的损失函数Loss由定位损失(LCIoU)、置信度损失(Lconf)与分类损失(Lcla)三者以预设加权系数相加得到。不断学习适合不同大小目标花粉颗粒的边界框大小，并不断改变参数优化模型。LCIoU的计算公式如下：
其中，IoU(B,Bgt)表示边界框B与标注框Bgt的面积交并比，bgt表示标注框的中心点坐标，b表示边界框的中心点坐标，ρ(b,bgt)表示边界框b与标注框的中心点的距离，d表示包含边界框与标注框的最小框的对角线的长度，v是衡量宽高比一致性的参数，α计算公式如下：
v计算公式如下：
wgt表示标注框的宽，hgt表示标注框的高，w表示边界框的宽，h表示边界框的高。
置信度损失Lconf的计算公式如下所示：
其中，λcls为对目标置信度损失设置的权重因子，S2表示特征图分成S*S个网格，X表示每个网格分配的先验框个数，表示第a个网格的第b个先验框是否负责该目标，负责则设为1，否则为0，表示第a个网格的第b个先验框不负责该目标，不负责目标为0，否则为1，Ca表示边界框内含有目标花粉的概率得分，表示真实值。
分类损失Lcla的计算公式如下所示：
其中，pi(e)为边界框目标属于e类的概率，表示标注框目标是否属于e类的取值，是则取值为1，否则取值为0，classes表示所有花粉颗粒的花粉类别集合，e∈classes。
基于上述任一实施例，该方法中，b的取值为3。
具体地，给每个尺度特征图分配的缩放先验框的个数为3，因此，通过聚类方法来获取原始先验框时，将随机选择的聚类中心的个数设置为3*3＝9(因为一共有3种尺度特征图)。
基于上述任一实施例，本发明实施例提供一种基于先验框线性缩放的花粉检测装置，图4为本发明实施例提供的基于先验框线性缩放的花粉检测装置的结构示意图。如图4所示，该装置包括采集单元410和检测单元420，其中，
所述采集单元410，用于在显微镜下采集待检测花粉颗粒的放大图像；
所述检测单元420，用于将所述放大图像输入检测模型，输出所述放大图像中花粉颗粒的识别框和花粉种类；
其中，所述检测模型是基于样本花粉颗粒的放大图像和对应的花粉颗粒的标注框标签和花粉种类标签进行训练后得到的，所述检测模型中的特征提取网络用于提取各样本花粉颗粒的放大图像的3个特征图，所述检测模型训练时对任一花粉颗粒使用其对应尺度特征图的b个缩放先验框代替随机初始值，所述缩放先验框为对标注框标签进行聚类得到的先验框再进行预设线性缩放后得到的，b>1且b为正整数。
本发明实施例提供的装置，在显微镜下采集待检测花粉颗粒的放大图像；将所述放大图像输入检测模型，输出所述放大图像中花粉颗粒的识别框和花粉种类；其中，所述检测模型是基于样本花粉颗粒的放大图像和对应的花粉颗粒的标注框标签和花粉种类标签进行训练后得到的，所述检测模型中的特征提取网络用于提取各样本花粉颗粒的放大图像的3个特征图，所述检测模型训练时对任一花粉颗粒使用其对应尺度特征图的b个缩放先验框代替随机初始值，所述缩放先验框为对标注框标签进行聚类得到的先验框再进行预设线性缩放后得到的。由于检测模型是通过机器训练学习生成的，并且用于代替随机初始值进行训练的缩放先验框是对标注框标签进行聚类得到的先验框进行预设线性缩放后得到的，因此，避免了直接使用由显微镜下样本图像中花粉颗粒大小跨度不大的标注框聚类得到的集中在有限范围内的先验框，将先验框按照预设线性缩放处理后，可以扩大先验框的范围，可以减少多尺度检测中的小花粉颗粒的漏检。因此，本发明实施例提供的装置，实现了提高基于先验框的花粉颗粒检测的有效性、鲁棒性和准确性。
基于上述任一实施例，该装置中，
所述样本花粉颗粒的放大图像包括基于人工剪裁拼接的包含不完整花粉颗粒的放大图像；
所述对应的花粉颗粒的标注框标签和花粉种类标签为人工标注得到。
基于上述任一实施例，该装置中，所述检测模型中的特征提取网络用于提取各样本花粉颗粒的放大图像的3个特征图，具体包括：
所述检测模型中的特征提取网络由含有一个残差单元的跨阶段局部网络、含有四个残差单元的跨阶段局部网络和三个含有八个残差单元的跨阶段局部网络依次连接构成；
所述三个含有八个残差单元的跨阶段局部网络在特征提取过程中分别输出对应于各样本花粉颗粒的放大图像的下采样8倍特征图、下采样16倍特征图和下采样32倍特征图。
基于上述任一实施例，该装置中，所述对标注框标签进行聚类得到的先验框再进行预设线性缩放，具体包括：
基于预设聚类算法对标注框标签进行聚类获取3b个先验框；
将所述3b个先验框进行以其宽度从小到大排列的序号值作为各自宽度的缩放倍数因子，所述3b个先验框统一宽度的缩放倍数因子基于预设线性系数、最大宽度与最小宽度之差和平均宽度确定；
基于所述各自宽度的缩放倍数因子和所述统一宽度的缩放倍数因子处理所述3b个先验框的宽度，并基于各先验框缩放后的宽度对各自高度适应性缩放。
基于上述任一实施例，该装置中，所述检测模型训练时对任一花粉颗粒使用其对应尺度特征图的b个缩放先验框代替随机初始值，具体包括：
所述检测模型训练时对任一花粉颗粒使用其对应尺度特征图的b个缩放先验框代替随机初始值进入预测网络，所述预测网络中的可调参数为需要学习的原始预测框相对于b个缩放先验框的偏移值，所述预测网络任一轮迭代输出的预测边界框为所述任一轮迭代的b个原始预测框中与标注框标签的面积交并比最大的原始预测框；
其中，所述对应尺度特征图是基于所述任一花粉颗粒的大小确定的。
基于上述任一实施例，该装置中，
所述检测模型训练时的损失函数包括定位损失、置信度损失和分类损失；
其中，所述定位损失为训练时所述检测模型输出的预测边界框和标注框标签的误差，所述置信度损失基于训练时所述检测模型输出的预测边界框是否含有目标花粉的概率构成，所述分类损失为训练时所述检测模型输出的预测花粉种类和花粉种类标签的误差。
基于上述任一实施例，该装置中，
b的取值为3。
基于上述任一实施例，本发明实施例提供一种花粉颗粒检测模型的训练方法，图5为本发明实施例提供的花粉颗粒检测模型的训练方法的流程示意图。如图5所示，对于采集完的样本数据，首先进行数据预处理，由于电子显微镜下扫描得到的花粉图片下沿有一矩形区域，包含日期和分辨率等信息，在花粉颗粒检测任务中属于无用信息，裁剪后可降低训练检测的难度，因训练集中被遮挡、不完整花粉占比少，所以采用裁剪训练集图片生成更多的不完整花粉颗粒增加样本，具体操作如下：1、将图片沿着含花粉颗粒多的一列裁剪成308*608大小的图片；2、选取训练集中含花粉颗粒少的图片裁剪成300*608大小的图片；3、将两图片拼接成608*608大小的图片。上述预处理操作产生了一些被遮挡的不完整的花粉颗粒加入训练集，增加了不完整花粉颗粒样本比例，使模型学习不完整花粉特征能力加强。所述预处理还包括采用labelImg将拼接后的样本图片中的花粉标上合适的标注框，标注上正确的花粉类别，将图片保存为Pascal VOC数据集的格式，生成对应图片的包含图片信息，标注框大小和类别信息的xml文件。然后，进入构建的检测模型中的特征提取网络，特征提取网络由五个部分组成，例如，大小为x*x*3的图片输入到特征提取网络，首先经过卷积层，批归一化和Mish激活层(CBM)输出x*x*24的图片，输入到特征提取网络的第一部分，由含有一个残差单元的跨阶段局部网络组成，跨阶段局部网络将输入分成两个分支，一个分支经过CBM->残差块->CBM，另一分支经过CBM与前一分支融合。残差块将输入分为两个分支，一个分支经过两个CBM块，然后与另一分支相加。图片经过第一部分处理输出为x/2*x/2*48的特征图，输入到第二部分，第二部分由含有四个残差单元的跨阶段局部网络组成，输出为x/4*x/4*96的特征图；特征图输入到第三部分，第三部分由含有八个残差单元的跨阶段局部网络组成，输出为x/8*x/8*192的特征图；特征图输入到第四部分，第四部分由含有八个残差单元的跨阶段局部网络组成，输出为x/16*x/16*384的特征图；特征图输入到第五部分，第五部分由含有八个残差单元的跨阶段局部网络组成，输出为x/32*x/32*768的特征图。再进行多尺度特征融合，对于特征提取网络中输出的下采样32倍的特征图、下采样16倍的特征图和下采样8倍的特征图在进入预测网络之前还有一个特征融合的处理，具体处理方法是将下采样32倍的特征图上采样2倍，与下采样16倍的特征图逐元素相加实现融合；将前面得到的融合后的特征图上采样2倍，与下采样8倍的特征图逐元素相加实现融合，以此实现了多尺度特征的融合。最后基于另外一个分支得到的线性缩放先验框对特征融合步骤输出的三个尺度特征图进行花粉颗粒检测。其中，所述另外一个分支包括使用kmeans聚类算法得出先验框，再用线性缩放处理得到缩放先验框，使用kmeans聚类算法得出先验框具体包括：
S1001、从样本放大图像集合中标注的所有标注框中随机选9个标注框作为初始聚类中心；
S1002、依据如下距离度量公式依次计算其余任一标注框i与当前迭代轮次中9个聚类中心中的任一聚类中心j的距离di,j(truthi,anchorj)，将其分配给与它距离最近的聚类中心；
di,j(truthi,anchorj)＝1-IOUi,j(truthi,anchorj)
其中，truthi表示任一标注框i，anchorj表示当前迭代轮次中9个聚类中心中的任一聚类中心j，IOUi,j(truthi,anchorj)表示标注框i与聚类中心j的面积交并比，IOUi,j(truthi,anchorj)计算公式如下：
其中，truthi∩truthj表示标注框i与当前迭代轮次中聚类中心j相交面积的大小，truthi∪truthj表示标注框i与当前迭代轮次中聚类中心j相并面积大小。
S1003、分配好所有标注框后，形成了9个簇，计算每个簇所有点的平均值将其作为新的聚类中心
S1004、重复以上步骤1002-1003直至当前迭代轮次得到的聚类中心与上一迭代轮次得到的聚类中心的距离小于规定阈值，则停止迭代，并以当前迭代轮次得到的聚类中心作为聚类处理输出的先验框。
用线性缩放处理得到缩放先验框，具体包括：
将9个先验框以其宽度进行从小到大的排列，将λ与第1个先验框的宽相乘得到缩小后的第1个先验框的宽，如下的公式一，其中，x[0][0]表示第一组先验框的宽，x[0][0]'表示线性缩放后的第1个缩放先验框的宽，λ为线性系数，预设λ＝0.5。
x[0][0]'＝λx[0][0] 公式一
通过如下公式二求出9个先验框的宽的平均值
根据如下公式三使得第2个到第9个先验框的宽依次产生线性缩放，其中，0<i<9，x[8][0]表示第9个先验框的宽，x[0][0]表示第1个先验框的宽，x[0][0]'表示线性缩放后的第1个缩放先验框的宽，x[9][0]表示第9个先验框的宽，x[i][0]'表示线性缩放后第i个缩放先验框的宽，表示9个先验框的宽的平均值。
最后基于各先验框缩放后的宽度对各自高度适应性缩放，可以通过以下公式四进行描述，公式四使得9个先验框的高根据宽的线性缩放而线性改变。将缩放后的第i个先验框的宽与第i个先验框的高与宽的比相乘，得到缩放后的第i个先验框的高，其中0≤i<3b，x[i][0]表示第i个先验框的宽，x[i][0]'表示线性缩放后的第i个缩放先验框的宽，x[i][1]表示第i个先验框的高，x[i][1]’表示线性缩放后第i个缩放先验框的高。
最后一步利用预测网络输出的边界框计算损失函数从而不断优化检测模型。
图6为本发明实施例提供的电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)601、通信接口(Communications Interface)602、存储器(memory)603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信。处理器601可以调用存储在存储器603上并可在处理器601上运行的计算机程序，以执行上述各实施例提供的基于先验框线性缩放的花粉检测方法，例如包括在显微镜下采集待检测花粉颗粒的放大图像；将所述放大图像输入检测模型，输出所述放大图像中花粉颗粒的识别框和花粉种类；其中，所述检测模型是基于样本花粉颗粒的放大图像和对应的花粉颗粒的标注框标签和花粉种类标签进行训练后得到的，所述检测模型中的特征提取网络用于提取各样本花粉颗粒的放大图像的3个特征图，所述检测模型训练时对任一花粉颗粒使用其对应尺度特征图的b个缩放先验框代替随机初始值，所述缩放先验框为对标注框标签进行聚类得到的先验框再进行预设线性缩放后得到的，b>1且b为正整数。
此外，上述的存储器603中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于先验框线性缩放的花粉检测方法，例如包括：在显微镜下采集待检测花粉颗粒的放大图像；将所述放大图像输入检测模型，输出所述放大图像中花粉颗粒的识别框和花粉种类；其中，所述检测模型是基于样本花粉颗粒的放大图像和对应的花粉颗粒的标注框标签和花粉种类标签进行训练后得到的，所述检测模型中的特征提取网络用于提取各样本花粉颗粒的放大图像的3个特征图，所述检测模型训练时对任一花粉颗粒使用其对应尺度特征图的b个缩放先验框代替随机初始值，所述缩放先验框为对标注框标签进行聚类得到的先验框再进行预设线性缩放后得到的，b>1且b为正整数。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种基于先验框线性缩放的花粉检测方法，其特征在于，包括：
在显微镜下采集待检测花粉颗粒的放大图像；
将所述放大图像输入检测模型，输出所述放大图像中花粉颗粒的识别框和花粉种类；
其中，所述检测模型是基于样本花粉颗粒的放大图像和对应的花粉颗粒的标注框标签和花粉种类标签进行训练后得到的，所述检测模型中的特征提取网络用于提取各样本花粉颗粒的放大图像的3个特征图，所述检测模型训练时对任一花粉颗粒使用其对应尺度特征图的b个缩放先验框代替随机初始值，所述缩放先验框为对标注框标签进行聚类得到的先验框再进行预设线性缩放后得到的，b>1且b为正整数；
所述对标注框标签进行聚类得到的先验框再进行预设线性缩放，具体包括：
基于预设聚类算法对标注框标签进行聚类获取3b个先验框；
将所述3b个先验框进行以其宽度从小到大排列的序号值作为各自宽度的缩放倍数因子，所述3b个先验框统一宽度的缩放倍数因子基于预设线性系数、最大宽度与最小宽度之差和平均宽度确定；
基于所述各自宽度的缩放倍数因子和所述统一宽度的缩放倍数因子处理所述3b个先验框的宽度，并基于各先验框缩放后的宽度对各自高度适应性缩放；
所述检测模型训练时对任一花粉颗粒使用其对应尺度特征图的b个缩放先验框代替随机初始值，具体包括：
所述检测模型训练时对任一花粉颗粒使用其对应尺度特征图的b个缩放先验框代替随机初始值进入预测网络，所述预测网络中的可调参数为需要学习的原始预测框相对于b个缩放先验框的偏移值，所述预测网络任一轮迭代输出的预测边界框为所述任一轮迭代的b个原始预测框中与标注框标签的面积交并比最大的原始预测框；
其中，所述对应尺度特征图是基于所述任一花粉颗粒的大小确定的；
所述检测模型训练时的损失函数包括定位损失、置信度损失和分类损失；
其中，所述定位损失为训练时所述检测模型输出的预测边界框和标注框标签的误差，所述置信度损失基于训练时所述检测模型输出的预测边界框是否含有目标花粉的概率构成，所述分类损失为训练时所述检测模型输出的预测花粉种类和花粉种类标签的误差。
2.根据权利要求1所述的基于先验框线性缩放的花粉检测方法，其特征在于，
所述样本花粉颗粒的放大图像包括基于人工剪裁拼接的包含不完整花粉颗粒的放大图像；
所述对应的花粉颗粒的标注框标签和花粉种类标签为人工标注得到。
3.根据权利要求1所述的基于先验框线性缩放的花粉检测方法，其特征在于，所述检测模型中的特征提取网络用于提取各样本花粉颗粒的放大图像的3个特征图，具体包括：
所述检测模型中的特征提取网络由含有一个残差单元的跨阶段局部网络、含有四个残差单元的跨阶段局部网络和三个含有八个残差单元的跨阶段局部网络依次连接构成；
所述三个含有八个残差单元的跨阶段局部网络在特征提取过程中分别输出对应于各样本花粉颗粒的放大图像的下采样8倍特征图、 下采样16倍特征图和下采样32倍特征图。
4.根据权利要求1所述的基于先验框线性缩放的花粉检测方法，其特征在于，b的取值为3。
5.一种基于先验框线性缩放的花粉检测装置，其特征在于，包括：
采集单元，用于在显微镜下采集待检测花粉颗粒的放大图像；
检测单元，用于将所述放大图像输入检测模型，输出所述放大图像中花粉颗粒的识别框和花粉种类；
其中，所述检测模型是基于样本花粉颗粒的放大图像和对应的花粉颗粒的标注框标签和花粉种类标签进行训练后得到的，所述检测模型中的特征提取网络用于提取各样本花粉颗粒的放大图像的3个特征图，所述检测模型训练时对任一花粉颗粒使用其对应尺度特征图的b个缩放先验框代替随机初始值，所述缩放先验框为对标注框标签进行聚类得到的先验框再进行预设线性缩放后得到的，b>1且b为正整数；
所述对标注框标签进行聚类得到的先验框再进行预设线性缩放，具体包括：
基于预设聚类算法对标注框标签进行聚类获取3b个先验框；
将所述3b个先验框进行以其宽度从小到大排列的序号值作为各自宽度的缩放倍数因子，所述3b个先验框统一宽度的缩放倍数因子基于预设线性系数、最大宽度与最小宽度之差和平均宽度确定；
基于所述各自宽度的缩放倍数因子和所述统一宽度的缩放倍数因子处理所述3b个先验框的宽度，并基于各先验框缩放后的宽度对各自高度适应性缩放；
所述检测模型训练时对任一花粉颗粒使用其对应尺度特征图的b个缩放先验框代替随机初始值，具体包括：
所述检测模型训练时对任一花粉颗粒使用其对应尺度特征图的b个缩放先验框代替随机初始值进入预测网络，所述预测网络中的可调参数为需要学习的原始预测框相对于b个缩放先验框的偏移值，所述预测网络任一轮迭代输出的预测边界框为所述任一轮迭代的b个原始预测框中与标注框标签的面积交并比最大的原始预测框；
其中，所述对应尺度特征图是基于所述任一花粉颗粒的大小确定的；
所述检测模型训练时的损失函数包括定位损失、置信度损失和分类损失；
其中，所述定位损失为训练时所述检测模型输出的预测边界框和标注框标签的误差，所述置信度损失基于训练时所述检测模型输出的预测边界框是否含有目标花粉的概率构成，所述分类损失为训练时所述检测模型输出的预测花粉种类和花粉种类标签的误差。
6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4中任一项所述的基于先验框线性缩放的花粉检测方法的步骤。
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4中任一项所述的基于先验框线性缩放的花粉检测方法的步骤。
CN202011133477.9A 2020-10-21 2020-10-21 基于先验框线性缩放的花粉检测方法、装置和电子设备 Active CN112435214B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011133477.9A CN112435214B (zh) 2020-10-21 2020-10-21 基于先验框线性缩放的花粉检测方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011133477.9A CN112435214B (zh) 2020-10-21 2020-10-21 基于先验框线性缩放的花粉检测方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN112435214A CN112435214A (zh) 2021-03-02
CN112435214B true CN112435214B (zh) 2024-03-12

Family

ID=74695822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011133477.9A Active CN112435214B (zh) 2020-10-21 2020-10-21 基于先验框线性缩放的花粉检测方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN112435214B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723453A (zh) * 2021-07-21 2021-11-30 北京工业大学 花粉图像分类方法及装置
CN113919421A (zh) * 2021-09-30 2022-01-11 国网北京市电力公司 调整目标检测模型的方法、装置和设备
CN113947575B (zh) * 2021-10-12 2024-07-02 北京工业大学 一种花粉颗粒检测方法及装置
CN113936179A (zh) * 2021-10-22 2022-01-14 上海热像科技股份有限公司 一种目标检测方法、装置、电子设备及存储介质
CN115220132A (zh) * 2022-07-04 2022-10-21 山东浪潮智慧医疗科技有限公司 一种预报大气中花粉浓度的方法
CN115170967A (zh) * 2022-07-22 2022-10-11 中科三清科技有限公司 一种茶叶采摘方法、装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110060233A (zh) * 2019-03-20 2019-07-26 中国农业机械化科学研究院 一种玉米果穗破损检测方法
CN110363104A (zh) * 2019-06-24 2019-10-22 中国科学技术大学 一种柴油黑烟车的检测方法
CN110889399A (zh) * 2019-12-23 2020-03-17 北京航天泰坦科技股份有限公司 基于深度学习的高分辨率遥感影像弱小目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110060233A (zh) * 2019-03-20 2019-07-26 中国农业机械化科学研究院 一种玉米果穗破损检测方法
CN110363104A (zh) * 2019-06-24 2019-10-22 中国科学技术大学 一种柴油黑烟车的检测方法
CN110889399A (zh) * 2019-12-23 2020-03-17 北京航天泰坦科技股份有限公司 基于深度学习的高分辨率遥感影像弱小目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于YOLOv3算法的高速公路火灾检测;刘俊;张文风;;上海船舶运输科学研究所学报(第04期);全文 *

Also Published As

Publication number Publication date
CN112435214A (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
CN112435214B (zh) 基于先验框线性缩放的花粉检测方法、装置和电子设备
CN108564085B (zh) 一种自动读取指针式仪表读数的方法
CN111462120B (zh) 一种基于语义分割模型缺陷检测方法、装置、介质及设备
CN111402227B (zh) 一种桥梁裂缝检测方法
CN110021425B (zh) 一种比较检测器及其构建方法与宫颈癌细胞检测方法
CN108288271A (zh) 基于三维残差网络的图像检测系统及方法
CN110348435B (zh) 一种基于区域候选网络的目标检测方法及系统
CN116994140A (zh) 基于遥感影像的耕地提取方法、装置、设备和介质
CN113658174B (zh) 基于深度学习和图像处理算法的微核组学图像检测方法
CN110705565A (zh) 淋巴结肿瘤区域识别方法与装置
CN111652273B (zh) 一种基于深度学习的rgb-d图像分类方法
CN115239644B (zh) 混凝土缺陷识别方法、装置、计算机设备和存储介质
CN110276759B (zh) 一种基于机器视觉的手机屏坏线缺陷诊断方法
CN113111716A (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN111597845A (zh) 一种二维码检测方法、装置、设备及可读存储介质
CN118366162B (zh) 基于深度学习的图像分割方法及系统
CN116740528A (zh) 一种基于阴影特征的侧扫声呐图像目标检测方法及系统
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN115239672A (zh) 缺陷检测方法及装置、设备、存储介质
CN116342525A (zh) 基于Lenet-5模型的SOP芯片引脚缺陷检测方法及系统
CN116052105A (zh) 路面裂缝识别分类及面积计算方法、系统、设备及终端
CN117496512B (zh) 宫颈tct切片的多类型细胞核标注及多任务处理方法
CN118334336A (zh) 阴道镜图像分割模型构建方法、图像分类方法和装置
CN111861916B (zh) 一种病理图片的处理方法
CN114240924A (zh) 一种基于数字化技术的电网设备质量评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant