CN113947575B - 一种花粉颗粒检测方法及装置 - Google Patents
一种花粉颗粒检测方法及装置 Download PDFInfo
- Publication number
- CN113947575B CN113947575B CN202111188370.9A CN202111188370A CN113947575B CN 113947575 B CN113947575 B CN 113947575B CN 202111188370 A CN202111188370 A CN 202111188370A CN 113947575 B CN113947575 B CN 113947575B
- Authority
- CN
- China
- Prior art keywords
- feature
- image
- pollen
- feature map
- similarity value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 103
- 239000002245 particle Substances 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 101150064138 MAP1 gene Proteins 0.000 description 8
- 239000000523 sample Substances 0.000 description 8
- 238000010606 normalization Methods 0.000 description 7
- 101100083446 Danio rerio plekhh1 gene Proteins 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000012804 pollen sample Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241000218691 Cupressaceae Species 0.000 description 1
- 241000218641 Pinaceae Species 0.000 description 1
- 235000011613 Pinus brutia Nutrition 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- -1 ova Substances 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Abstract
本发明提供一种花粉颗粒检测方法和装置，其中方法包括：获取待检测花粉图像中多个图像区域分别对应的特征图和每个图像区域对应的置信度；对特征图进行相似度对比，确定任一目标特征图对应的最大特征相似度值；对目标特征图对应的最大特征相似度值进行加权处理，获得加权后最大特征相似度值；基于目标特征图对应的加权后最大特征相似度值以及目标特征图对应的图像区域的置信度，对目标特征图对应的图像区域进行置信度更新，并基于更新后的置信度确定对应的图像区域是否为花粉颗粒。本发明提供的花粉颗粒检测方法能够有效运用提取的特征来降低花粉颗粒漏检率，提升检测的正确率。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种花粉颗粒检测方法及装置。
背景技术
花粉检测就是在所给图片中检测出花粉的位置，属于目标检测领域。现有技术中，基于回归思想的直接目标检测方法是直接在特征图上进行边界框的分类与回归。主要有SSD(Single Shot MultiBox Detector)目标检测模型和YOLO(You Only Look Once)目标检测模型系列。该类一阶段检测模型精度有待提高。
一方面，花粉采集样本为自然环境下空气中物质，常常混合有花粉、尘土、虫卵，沙粒等，则此采集样本含有较多杂质。且花粉颗粒形状不规则，容易粘连，给花粉检测增加难度。
另一方面，由于电子显微镜下花粉颗粒较小，可定义为小目标，对模型的检测精准度要求更高。但现有技术中的检测技术特征提取网络浅层主要负责提取位置信息，深层主要负责提取语义信息，现有一阶段检测技术的特征提取网络结构较简单，对所提取的位置信息、语义信息利用度不高，导致检测准确率不高且出现漏检情况。
发明内容
本发明提供一种花粉颗粒检测方法及装置，用以解决现有技术中花粉颗粒漏检、误检导致的检测精度低的缺陷，提高了花粉检测准确率。
第一方面，本发明提供一种花粉颗粒检测方法，包括：获取待检测花粉图像中多个图像区域分别对应的特征图和所述每个图像区域对应的置信度；对所述特征图进行相似度对比，确定任一目标特征图对应的最大特征相似度值；对所述目标特征图对应的最大特征相似度值进行加权处理，获得加权后最大特征相似度值；基于所述目标特征图对应的所述加权后最大特征相似度值以及所述目标特征图对应的图像区域的置信度，对所述目标特征图对应的图像区域进行置信度更新，并基于更新后的置信度确定对应的图像区域是否为花粉颗粒；其中，所述目标特征图为置信度低于预设阈值的图像区域对应的特征图。
可选的，所述对所述特征图进行相似度对比，确定任一目标特征图对应的最大特征相似度值，具体包括：获取所述任一目标特征图对应的目标归一化直方图；获取所有比较特征图对应的比较归一化直方图；对所述目标归一化直方图和所述比较归一化直方图进行相关性比较得到特征相似度值；选取特征相似度值中的最大值作为所述任一目标特征图对应的最大特征相似度值；其中，所述比较特征图为置信度高于或等于预设阈值的图像区域对应的特征图。
可选的，所述对所述目标特征图对应的最大特征相似度值进行加权处理，具体包括：基于所述目标特征图对应的最大特征相似度值，以及预设公式进行加权处理，使得所述加权后最大特征相似度值的值域范围为[1,2]。
可选的，所述预设公式为：Max1[i]＝log(max[i]+1)+1；其中，max[i]为所述最大特征相似度值；Max1[i]为所述加权后最大特征相似度值。
可选的，所述基于所述目标特征图对应的所述加权后最大特征相似度值以及所述目标特征图对应的图像区域的置信度，对所述目标特征图对应的图像区域进行置信度更新，包括：将所述目标特征图对应的所述加权后最大特征相似度值与所述目标特征图对应的图像区域的置信度相乘，得到所述目标特征图对应的图像区域的更新后的置信度。
可选的，所述获取待检测花粉图像中多个图像区域分别对应的特征图和所述每个图像区域对应的置信度，具体包括：将所述待检测花粉图像输入至图像检测模型，输出所述待检测花粉图像的整体特征图、多个图像区域分别对应的位置坐标信息和每个图像区域分别对应的置信度；根据所述每个图像区域对应的位置坐标信息在所述整体特征图上抠取所述每个图像区域对应的特征图；其中，所述图像检测模型是基于花粉颗粒样本的样本图像以及对应的检测标签进行训练后得到的；所述检测标签是根据所述花粉颗粒样本预先确定的，并与所述样本图像一一对应。
第二方面，本发明还提供一种花粉颗粒检测装置，包括：获取模块、对比模块、加权模块和更新模块。获取模块，用于获取待检测花粉图像中多个图像区域分别对应的特征图和所述每个图像区域对应的置信度；对比模块，用于对所述特征图进行相似度对比，确定任一目标特征图对应的最大特征相似度值；加权模块，用于对所述目标特征图对应的最大特征相似度值进行加权处理，获得加权后最大特征相似度值；更新模块，用于基于所述目标特征图对应的所述加权后最大特征相似度值以及所述目标特征图对应的图像区域的置信度，对所述目标特征图对应的图像区域进行置信度更新，并基于更新后的置信度确定对应的图像区域是否为花粉颗粒；其中，所述目标特征图为置信度低于预设阈值的图像区域对应的特征图。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述花粉颗粒检测方法的步骤。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述花粉颗粒检测方法的步骤。
第五方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述花粉颗粒检测方法的步骤。
本发明提供的一种花粉颗粒检测方法及装置，通过对多个图像区域对应的特征图进行相似度对比，对目标特征图对应的图像区域的置信度进行重新计算，基于更新后的置信度确定对应的图像区域是否为花粉颗粒。通过对目标特征图与置信度符合预设阈值的图像区域对应的特征图进行相似度对比，可以将漏检、误检的图像区域与正确检测的图像区域进行对比，将漏检、误检的图像区域重新确定为花粉颗粒。因此，本发明能够有效运用提取的特征来降低花粉颗粒漏检率，提升检测的正确率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的花粉颗粒检测方法的流程示意图之一；
图2是本发明实施例提供的获取特征图和置信度的流程示意图；
图3是本发明实施例提供的图像检测模型训练的流程示意图；
图4是本发明实施例提供的确定最大特征相似度值的流程示意图；
图5是本发明实施例提供的花粉颗粒检测方法的流程示意图之二；
图6是本发明实施例提供的特征提取网络结构示意图；
图7是本发明实施例提供的特征提取网络模块结构示意图；
图8是本发明实施例提供的花粉颗粒检测装置的结构示意图；
图9是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图6描述本发明提供的花粉颗粒检测方法。
参考图1，图1是本发明实施例提供的花粉颗粒检测方法的流程示意图之一。本发明实施例提供一种花粉颗粒检测方法，包括：
步骤110，获取待检测花粉图像中多个图像区域分别对应的特征图和每个图像区域对应的置信度；
步骤120，对特征图进行相似度对比，确定任一目标特征图对应的最大特征相似度值；
步骤130，对目标特征图对应的最大特征相似度值进行加权处理，获得加权后最大特征相似度值；
步骤140，基于目标特征图对应的加权后最大特征相似度值以及目标特征图对应的图像区域的置信度，对目标特征图对应的图像区域进行置信度更新，并基于更新后的置信度确定对应的图像区域是否为花粉颗粒；
其中，目标特征图为置信度低于预设阈值的图像区域对应的特征图。
本实施例对于置信度低于预设阈值的图像区域不直接判断为非花粉颗粒，而是通过对多个图像区域对应的特征图进行相似度对比，对目标特征图对应的图像区域的置信度进行重新计算，基于更新后的置信度确定对应的图像区域是否为花粉颗粒。进行相似度对比可以判断两张图片的相似程度。对于两张主体内容相似的图片而言，其特征点是相近的；而对于两张主体内容完全不同的图像，其特征点一般情况下都存在着较大差异。特征点可以是颜色值数量容差、灰度级像素个数、图片信息量等。若两张图像越相似，图像相似度越接近1，反之，图像相似度越接近0。通过对多个图像区域对应的特征图进行相似度对比，可以将漏检、误检的图像区域对应的特征图与正确检测的图像区域对应的特征图进行对比，将漏检、误检的图像区域重新确定为花粉颗粒。
因此，本发明实施例提供的花粉颗粒检测方法能够有效运用提取的特征来降低花粉颗粒漏检率，提升检测的正确率。
下面，对上述步骤在具体实施例中的可能的实现方式做进一步说明。
步骤110，获取待检测花粉图像中多个图像区域分别对应的特征图和所述每个图像区域对应的置信度。
该步骤中，置信度用于指示该待检测花粉图像中的图像区域是花粉的概率。
可选的，参考图2，图2是本发明实施例提供的获取特征图和置信度的流程示意图。获取待检测花粉图像中多个图像区域分别对应的特征图和每个图像区域对应的置信度，具体包括：
步骤210，将待检测花粉图像输入至图像检测模型，输出待检测花粉图像的整体特征图、多个图像区域分别对应的位置坐标信息和每个图像区域分别对应的置信度；
步骤220，根据每个图像区域对应的位置坐标信息在整体特征图上抠取每个图像区域对应的特征图；
其中，图像检测模型是基于花粉颗粒样本的样本图像以及对应的检测标签进行训练后得到的；检测标签是根据花粉颗粒样本预先确定的，并与样本图像一一对应。
步骤210，将待检测花粉图像输入至图像检测模型，输出待检测花粉图像的整体特征图、多个图像区域分别对应的位置坐标信息和每个图像区域分别对应的置信度。
可选的，图像检测模型可以是Yolov4-tiny模型。
参考图3，图3是本发明实施例提供的图像检测模型训练的流程示意图。一个实施例中，基于花粉颗粒样本的样本图像以及对应的检测标签对图像检测模型进行训练的过程如下：
步骤310，对花粉图片进行数据预处理；
步骤320，对数据预处理后的花粉图片进行数据标注并构建数据集；
步骤330，使用数据集训练图像检测模型；
步骤340，使用图像检测模型获得检测结果。
下面，对上述步骤在具体实施例中的可能的实现方式做进一步说明。
步骤310，对花粉图片进行数据预处理。
电子显微镜下扫描得到的花粉图片下沿有一矩形区域，包含日期、分辨率等信息。在花粉颗粒检测任务中属于无用信息，裁剪后可降低训练检测的难度。
因训练集中被遮挡、不完整花粉占比少，所以采用裁剪训练集图片生成更多的不完整花粉颗粒增加样本，具体操作如下：
(1)将图片沿着含花粉颗粒多的一列裁剪成308*608大小的图片；
(2)选取训练集中含花粉颗粒少的图片裁剪成300*608大小的图片；
(3)将两图片拼接成608*608大小的图片。
此操作产生了一些被遮挡的不完整的花粉颗粒加入训练集，增加了不完整花粉颗粒样本比例，使模型学习不完整花粉特征能力加强。
步骤320，对数据预处理后的花粉图片进行数据标注并构建数据集。
采用labelImg将图片中的花粉标上合适的标注框，标注上正确的花粉类别，将图片保存为Pascal VOC数据集的格式，生成对应图片的包含图片信息，标注框大小和类别信息的xml文件。
该步骤中，花粉类别可以是对花粉颗粒图像标注为花粉，也可以是根据花粉科目类目对花粉颗粒图像具体标注，如松科花粉、柏科花粉。
步骤330，使用数据集训练图像检测模型。
可选的，图像检测模型采用yolov4-tiny模型，使用数据集训练yolov4-tiny模型。
步骤340，使用图像检测模型获得检测结果。
图像检测模型包括特征提取网络和检测网络。将待检测图像输入图像检测模型，每张待检测图像经过特征提取网络生成待检测图像的整体特征图；每张检测图像经过检测网络生成一个文本文件，文件中有此待检测图像中所以检测到的多个图像区域分别对应的花粉目标的类别名称、多个图像区域分别对应的置信度值、多个图像区域分别对应的位置坐标信息。
该步骤中，位置坐标信息具体为图像区域对应的目标框的位置坐标信息，位置坐标信息可以包括目标框的左上角横坐标L-A、左上角纵坐标L-O、右下角横坐标R-A和右下角纵坐标R-O。
一个实施例中，将待检测花粉图像输入至图像检测模型，得到待检测花粉图像的整体特征图和检测结果，检测结果如表1所示。
表1.图像检测模型检测结果表
| 类别名称 | 置信度 | L-A | L-O | R-A | R-O |
| Pollen1 | 0.9897 | 158 | 70 | 188 | 102 |
| Pollen2 | 0.9893 | 79 | 504 | 106 | 532 |
| Pollen3 | 0.9889 | 142 | 309 | 172 | 343 |
| Pollen4 | 0.9801 | 118 | 516 | 146 | 545 |
| Pollen5 | 0.9630 | 442 | 307 | 469 | 331 |
| Pollen6 | 0.9500 | 493 | 100 | 524 | 131 |
步骤220，根据每个图像区域对应的位置坐标信息在整体特征图上抠取每个图像区域对应的特征图。
如根据表1中的检测结果，待检测花粉图像的整体特征图选用下采样16倍的特征图，将Pollen1标注框的左上角坐标(158，70)，右下角坐标(188,102)缩小十六倍，得到特征图坐标信息，具体包括左上角坐标(9.875，4.372)和右下角坐标(11.75，6.375)，根据特征图坐标信息在特征图上可以确定Pollen1对应的特征图区域，并抠取出Pollen1对应的特征图。
步骤120，对所述特征图进行相似度对比，确定任一目标特征图对应的最大特征相似度值。
该步骤中，对所述特征图进行相似度对比，是将任一目标特征图与置信度大于或等于预设阈值的图片区域对应的特征图进行相似度对比。
可选的，参考图4，图4是本发明实施例提供的确定最大特征相似度值的流程示意图。该步骤中，基于多个特征图进行相似度对比，确定任一目标特征图对应的最大特征相似度值，具体包括：
步骤410，获取任一目标特征图对应的目标归一化直方图；
步骤430，获取所有比较特征图对应的比较归一化直方图；
步骤430，对目标归一化直方图和比较归一化直方图进行相关性比较得到特征相似度值；
步骤440，选取特征相似度值中的最大值作为任一目标特征图对应的最大特征相似度值；
其中，比较特征图为置信度高于或等于预设阈值的图像区域对应的特征图。该步骤中，获取归一化直方图的步骤可以包括：获取特征图的直方图，对直方图进行归一化处理，归一化处理后的直方图为归一化直方图。
下面，对上述步骤在具体实施例中的可能的实现方式做进一步说明。
一个实施例中，获取待检测花粉图像中多个图像区域分别对应的特征图和每个图像区域对应的置信度，图像区域1对应特征图1和置信度Conf1＝0.4，图像区域2对应特征图2和置信度Conf2＝0.5，图像区域3对应特征图3和置信度Conf3＝0.8，图像区域4对应特征图4和置信度Conf4＝0.9，设置置信度阈值为0.5，Conf1低于预设阈值，Conf1对应图像区域1，图像区域1对应的特征图1为目标特征图；Conf2、Conf3、Conf4高于或等于预设阈值，Conf2、Conf3和Conf4分别对应图像区域2、图像区域3和图像区域4，那么，图像区域2对应的特征图2为比较特征图2，图像区域3对应的特征图3为比较特征图3，图像区域4对应的特征图4为比较特征图4。
步骤410，获取任一目标特征图对应的目标归一化直方图。
获取目标特征图1对应的目标归一化直方图。可选的，在OpenCV中载入对应特征图并且转换成图像直方图。对目标特征图1对应的直方图进行归一化处理，归一化处理后的直方图为目标归一化直方图H1。
步骤420，获取所有比较特征图对应的比较归一化直方图。
获取比较特征图2对应的比较归一化直方图。可选的，在OpenCV中载入对应图像并且转换成图像直方图。对比较特征图2对应的直方图进行归一化处理，归一化处理后的直方图为比较归一化直方图H2。通过相同步骤，获得比较特征图3的比较归一化直方图H3和比较特征图4的比较归一化直方图H4。
步骤430，对目标归一化直方图和比较归一化直方图进行相关性比较得到特征相似度值。
该步骤中，特征相似度值越接近1，两个进行比较的图像越相似。特征相似度值计算公式为：
其中，Hi为目标归一化直方图，为目标归一化直方图Hi的平均数；Ni为目标归一化直方图中bins的个数；Hi(I)为第I种颜色在Hi中的像素数；Hi为比较归一化直方图，为比较归一化直方图Hj的平均数；Nj为比较归一化直方图中bins的个数；Hj(J)为第J种颜色在Hj中的像素数；d(Hi，Hj)为Hi和Hj的特征相似度值；Hj(I)第I种颜色在Hj中的像素数。
一个实施例中，通过对目标归一化直方图H1和比较归一化直方图H2进行相关性比较得到特征相似度值d(H1，H2)＝0.3；通过对目标归一化直方图H1和比较归一化直方图H3进行相关性比较得到特征相似度值d(H1，H3)＝0.6；通过对目标归一化直方图H1和比较归一化直方图H4进行相关性比较得到特征相似度值d(H1，H4)＝0.8。
步骤440，选取特征相似度值中的最大值作为任一目标特征图对应的最大特征相似度值。
一个实施例中，d(H1，H2)＝0.3，d(H1，H3)＝0.6，d(H1，H4)＝0.8，其中d(H1，H4)为最大值，将d(H1，H4)作为目标特征图1对应的最大特征相似度值。
步骤130，对目标特征图对应的最大特征相似度值进行加权处理，获得加权后最大特征相似度值可选的，对目标特征图对应的最大特征相似度值进行加权处理，可以包括：基于目标特征图对应的最大特征相似度值，以及预设公式进行加权处理，使得加权后最大特征相似度值的值域范围为[1，2]。
可选的，加权处理方式为对目标特征图对应的最大特征相似度值加一，用公式表示为：
Max1[i]＝max[i]+1
其中，max[i]为最大特征相似度值；Max1[i]为加权后最大特征相似度值。
一个实施例中，d(H1，H4)＝0.8为目标特征图1对应的最大特征相似度值max[i]。加权后最大特征相似度值Max1[i]为1.8。
可选的，预设公式为：
其中，max[i]为最大特征相似度值；Max1[i]为加权后最大特征相似度值。
一个实施例中，d(H1，H4)＝0.8为目标特征图1对应的最大特征相似度值max[1]。加权后最大特征相似度值Max1[1]为1.6。
可选的，预设公式为：
Max1[i]＝log(max[i]+1)+1
其中，max[i]为最大特征相似度值；Max1[i]为加权后最大特征相似度值。
一个实施例中，d(H1，H4)＝0.8为目标特征图1对应的最大特征相似度值max[1]。加权后最大特征相似度值Max1[1]为1.2553。
步骤140，基于目标特征图对应的加权后最大特征相似度值以及目标特征图对应的图像区域的置信度，对目标特征图对应的图像区域进行置信度更新，并基于更新后的置信度确定对应的图像区域是否为花粉颗粒。
可选的，基于目标特征图对应的加权后最大特征相似度值以及目标特征图对应的图像区域的置信度，对目标特征图对应的图像区域进行置信度更新，包括：将目标特征图对应的加权后最大特征相似度值与目标特征图对应的图像区域的置信度相乘，得到目标特征图对应的图像区域的更新后的置信度。
一个实施例中，目标特征图1对应的加权后最大特征相似度值Max1[1]为1.2553，目标特征图1对应图像区域1，图像区域1对应置信度Conf1为0.4，将Max1[1]与Conf1数值相乘，得到更新后的置信度Conf′1＝0.50212。目标特征图1对应的图像区域的置信度值从0.4更新为0.50212。
预设置信度阈值为0.5，将更新后的置信度Conf′1与预设阈值进行对比，0.50212大于0.5，基于比较结果，可以确定Conf1对应的图像区域是否为花粉颗粒。
本实施例有效运用提取的特征来降低花粉颗粒漏检率，提升检测的正确率。
需要补充的是，参照图5，图5是本发明实施例提供的花粉颗粒检测方法的流程示意图之二。
步骤500，获取花粉样本数据。
获取电子显微镜下扫描得到的花粉图片作为花粉样本数据。
步骤501，数据预处理。
电子显微镜下扫描得到的花粉图片下沿有一矩形区域，包含日期、分辨率等信息。在花粉颗粒检测任务中属于无用信息，裁剪后可降低训练检测的难度。
因训练集中被遮挡、不完整花粉占比少，所以采用裁剪训练集图片生成更多的不完整花粉颗粒增加样本，具体操作如下：
将图片沿着含花粉颗粒多的一列裁剪成308*608大小的图片选取训练集中含花粉颗粒少的图片裁剪成300*608大小的图片将两图片拼接成608*608大小的图片。
此操作产生了一些被遮挡的不完整的花粉颗粒加入训练集，增加了不完整花粉颗粒样本比例，使模型学习不完整花粉特征能力加强。
步骤503，标注数据。
采用1abelImg将图片中的花粉标上合适的标注框，标注上正确的花粉类别，将图片保存为Pascal VOC数据集的格式，生成对应图片的包含图片信息，标注框大小和类别信息的xml文件。
步骤503，特征提取网络。
将预处理过后的图片输入到特征提取网络，参照图5，图5是本发明实施例提供的特征提取网络结构示意图，由2个3*3的卷积和3个模块组成，模块之间由最大池化maxpool串联起来，依次将输入图片下采样2、4、8、16、32倍。参照图7，图7是本发明实施例提供的特征提取网络模块结构示意图，每个模块由3个3*3的卷积与一个1*1卷积组成。
可选的，特征提取网络采用yolov4-tiny模型的主干网络，由2个3*3的卷积网络和3个模块组成，每个模块有卷积网络与上采样，下采样组成，提取包含位置信息与语义信息的特征图。
步骤504，输出特征图。
在特征提取网络中，该模型包括三个卷积模块，由最大池化串联起来，每个卷积模块提取的特征包含与体现的目标信息不同，所以首先选择了几类具有代表性的花粉图片，实验发现，根据特征图生成对应的热力图，并作可视化，通过观察选择了目标呈现效果最好的特征图，即经过下采样16倍的特征图。
步骤505，进行检测。
将特征提取网络输出的下采样16倍的特征图，进行最大池化，得到下采样32倍的特征图；然后将下采样32倍的特征图上采样，与特征提取网络下采样16倍的特征图进行融合，最终经过下采样16倍与下采样32倍两个不同尺度的检测层得到检测结果。
该步骤中，融合是指整合两个特征图的信息。route是将原始特征直接拼接，让网络去学习，应该如何融合特征，这个过程中信息不会损失。每个通道对应着对应的卷积核，是通道数的相加。
该步骤中，下采样32倍的通过处理直接检测输出，下采样16倍的是先将下采样32倍的上采样2倍后，与特征提取网络输出的下采样16倍的融合。
步骤506，得到检测结果。
每张检测图片生成一个文本文件，文件中有此检测图片中所以检测到的花粉目标的类别名称，置信度值和坐标位置信息。
步骤507，扣取花粉颗粒。
根据检测结果中每张图片对应的文本文件内写的花粉目标的位置信息扣取花粉颗粒。原始图片输入到网络需要缩放图片为608*608大小，且选用的是下采样16倍的特征图，所以需要将坐标缩小16倍得到新的坐标在特征图上截取花粉颗粒图片。
步骤508，比较特征相似度。
设置阈值为0.5，将每张检测图片中置信度值小于0阈值的花粉颗粒polleni，与每个大于阈值花粉颗粒(pollen1——polleni-1)进行特征相似度比较，选取最大的特征相似度值。具体的图像特征相似度比较方法如下：
(1)计算两个图像的直方图；
(2)对直方图进行归一化；
(3)进行相关性比较：
公式1为进行相关性比较的公式，其中HI，H2代表两个直方图，其中因直方图颜色空间数量过多，所以对于每个颜色通道(R，G，B)，每32个划分到一个bin里面，N为直方图中bins的个数，K为自然数，HK代表直方图，为直方图HK的平均数，J为自然数，HK(J)为第J种颜色在HK中的像素数。
(4)计算过后可得到两张花粉图像的特征相似度值，越接近1越相似。
步骤509，加权处理。
对得到的每个置信度值小于阈值的花粉颗粒经过计算得到的最大相似度值进行加权处理，使其范围在[1，2]之间。
Max1[i]＝log(max[i]+1)+1 (1＜Max1[i]＜2) (2)
根据公式2将得到的最大相似度值max[i]经过函数计算调整范围至[1，2]，即为Max1[i]，其中i代表检测出来的每张图片中的花粉目标。
步骤510，得到最终检测结果。
将加权处理后的值，与对应的原本置信度值相乘，得到新的检测结果文本文件。
Conf′[i]＝Conf[i]×Max1[i] (3)
根据公式3将原来得到的每个目标特征图对应的图像区域的置信度值Conf[i]与规范化最大相似度值Max1[i]相乘，得到最终的置信度值Conf′[i]。
本实施例有效运用提取的特征来降低花粉颗粒漏检率，提升检测的正确率。
参考图8，图8是本发明实施例提供的花粉颗粒检测装置的结构示意图。下面对本发明提供的花粉颗粒检测装置进行描述，下文描述的花粉颗粒检测装置与上文描述的花粉颗粒检测方法可相互对应参照。
本发明实施例提供一种花粉颗粒检测装置，包括：获取模块810、对比模块820、加权模块830和更新模块840。
获取模块，用于获取待检测花粉图像中多个图像区域分别对应的特征图和每个图像区域对应的置信度；
对比模块，用于对特征图进行相似度对比，确定任一目标特征图对应的最大特征相似度值；
加权模块，用于对目标特征图对应的最大特征相似度值进行加权处理，获得加权后最大特征相似度值；
更新模块，用于基于目标特征图对应的加权后最大特征相似度值以及目标特征图对应的图像区域的置信度，对目标特征图对应的图像区域进行置信度更新，并基于更新后的置信度确定对应的图像区域是否为花粉颗粒；
其中，目标特征图为置信度低于预设阈值的图像区域对应的特征图。图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行一种花粉颗粒检测方法，该方法包括：获取待检测花粉图像中多个图像区域分别对应的特征图和所述每个图像区域对应的置信度；基于多个所述置信度对所述特征图进行相似度对比，确定任一目标特征图对应的最大特征相似度值；对所述目标特征图对应的最大特征相似度值进行加权处理，获得加权后最大特征相似度值；基于所述目标特征图对应的所述加权后最大特征相似度值以及所述目标特征图对应的图像区域的置信度，对所述目标特征图对应的图像区域进行置信度更新，并基于更新后的置信度确定对应的图像区域是否为花粉颗粒；其中，所述目标特征图为置信度低于预设阈值的图像区域对应的特征图。
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，计算机程序被处理器执行时，计算机能够执行上述各方法所提供的花粉颗粒检测方法，该方法包括：获取待检测花粉图像中多个图像区域分别对应的特征图和所述每个图像区域对应的置信度；基于多个所述置信度对所述特征图进行相似度对比，确定任一目标特征图对应的最大特征相似度值；对所述目标特征图对应的最大特征相似度值进行加权处理，获得加权后最大特征相似度值；基于所述目标特征图对应的所述加权后最大特征相似度值以及所述目标特征图对应的图像区域的置信度，对所述目标特征图对应的图像区域进行置信度更新，并基于更新后的置信度确定对应的图像区域是否为花粉颗粒；其中，所述目标特征图为置信度低于预设阈值的图像区域对应的特征图。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的花粉颗粒检测方法，该方法包括：获取待检测花粉图像中多个图像区域分别对应的特征图和所述每个图像区域对应的置信度；基于多个所述置信度对所述特征图进行相似度对比，确定任一目标特征图对应的最大特征相似度值；对所述目标特征图对应的最大特征相似度值进行加权处理，获得加权后最大特征相似度值；基于所述目标特征图对应的所述加权后最大特征相似度值以及所述目标特征图对应的图像区域的置信度，对所述目标特征图对应的图像区域进行置信度更新，并基于更新后的置信度确定对应的图像区域是否为花粉颗粒；其中，所述目标特征图为置信度低于预设阈值的图像区域对应的特征图。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种花粉颗粒检测方法，其特征在于，包括：
获取待检测花粉图像中多个图像区域分别对应的特征图和每个图像区域对应的置信度；
对所述特征图进行相似度对比，确定任一目标特征图对应的最大特征相似度值；
对所述目标特征图对应的最大特征相似度值进行加权处理，获得加权后最大特征相似度值；
基于所述目标特征图对应的所述加权后最大特征相似度值以及所述目标特征图对应的图像区域的置信度，对所述目标特征图对应的图像区域进行置信度更新，并基于更新后的置信度确定对应的图像区域是否为花粉颗粒；
其中，所述目标特征图为置信度低于预设阈值的图像区域对应的特征图；
所述对所述特征图进行相似度对比，确定任一目标特征图对应的最大特征相似度值，具体包括：
获取所述任一目标特征图对应的目标归一化直方图；
获取所有比较特征图对应的比较归一化直方图；
对所述目标归一化直方图和所述比较归一化直方图进行相关性比较得到特征相似度值；
选取特征相似度值中的最大值作为所述任一目标特征图对应的最大特征相似度值；
其中，所述比较特征图为置信度高于或等于预设阈值的图像区域对应的特征图；
所述对所述目标特征图对应的最大特征相似度值进行加权处理，具体包括：
基于所述目标特征图对应的最大特征相似度值，以及预设公式进行加权处理，使得所述加权后最大特征相似度值的值域范围为[1,2]。
2.根据权利要求1所述的花粉颗粒检测方法，其特征在于，所述预设公式为：
；
其中，为所述最大特征相似度值，为所述加权后最大特征相似度值。
3.根据权利要求1或2所述的花粉颗粒检测方法，其特征在于，所述基于所述目标特征图对应的所述加权后最大特征相似度值以及所述目标特征图对应的图像区域的置信度，对所述目标特征图对应的图像区域进行置信度更新，包括：
将所述目标特征图对应的所述加权后最大特征相似度值与所述目标特征图对应的图像区域的置信度相乘，得到所述目标特征图对应的图像区域的更新后的置信度。
4.根据权利要求1所述的花粉颗粒检测方法，其特征在于，所述获取待检测花粉图像中多个图像区域分别对应的特征图和所述每个图像区域对应的置信度，具体包括：
将所述待检测花粉图像输入至图像检测模型，输出所述待检测花粉图像的整体特征图、多个图像区域分别对应的位置坐标信息和每个图像区域分别对应的置信度；
根据所述每个图像区域对应的位置坐标信息在所述整体特征图上抠取所述每个图像区域对应的特征图；
其中，所述图像检测模型是基于花粉颗粒样本的样本图像以及对应的检测标签进行训练后得到的；所述检测标签是根据所述花粉颗粒样本预先确定的，并与所述样本图像一一对应。
5.一种花粉颗粒检测装置，其特征在于，包括：
获取模块，用于获取待检测花粉图像中多个图像区域分别对应的特征图和每个图像区域对应的置信度；
对比模块，用于对所述特征图进行相似度对比，确定任一目标特征图对应的最大特征相似度值；
加权模块，用于对所述目标特征图对应的最大特征相似度值进行加权处理，获得加权后最大特征相似度值；
更新模块，用于基于所述目标特征图对应的所述加权后最大特征相似度值以及所述目标特征图对应的图像区域的置信度，对所述目标特征图对应的图像区域进行置信度更新，并基于更新后的置信度确定对应的图像区域是否为花粉颗粒；
其中，所述目标特征图为置信度低于预设阈值的图像区域对应的特征图；
所述对所述特征图进行相似度对比，确定任一目标特征图对应的最大特征相似度值，具体包括：
获取所述任一目标特征图对应的目标归一化直方图；
获取所有比较特征图对应的比较归一化直方图；
对所述目标归一化直方图和所述比较归一化直方图进行相关性比较得到特征相似度值；
选取特征相似度值中的最大值作为所述任一目标特征图对应的最大特征相似度值；
其中，所述比较特征图为置信度高于或等于预设阈值的图像区域对应的特征图；
所述对所述目标特征图对应的最大特征相似度值进行加权处理，具体包括：
基于所述目标特征图对应的最大特征相似度值，以及预设公式进行加权处理，使得所述加权后最大特征相似度值的值域范围为[1,2]。
6.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述花粉颗粒检测方法的步骤。
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述花粉颗粒检测方法的步骤。
8.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述花粉颗粒检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111188370.9A CN113947575B (zh) | 2021-10-12 | 一种花粉颗粒检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111188370.9A CN113947575B (zh) | 2021-10-12 | 一种花粉颗粒检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113947575A CN113947575A (zh) | 2022-01-18 |
| CN113947575B true CN113947575B (zh) | 2024-07-02 |
Family
ID=
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105378453A (zh) * | 2012-12-19 | 2016-03-02 | 皇家飞利浦有限公司 | 用于流体样本中的颗粒的分类的系统和方法 |
| CN112435214A (zh) * | 2020-10-21 | 2021-03-02 | 北京工业大学 | 基于先验框线性缩放的花粉检测方法、装置和电子设备 |
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105378453A (zh) * | 2012-12-19 | 2016-03-02 | 皇家飞利浦有限公司 | 用于流体样本中的颗粒的分类的系统和方法 |
| CN112435214A (zh) * | 2020-10-21 | 2021-03-02 | 北京工业大学 | 基于先验框线性缩放的花粉检测方法、装置和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10817741B2 (en) | Word segmentation system, method and device | |
| CN111681273B (zh) | 图像分割方法、装置、电子设备及可读存储介质 | |
| US8849058B2 (en) | Systems and methods for image archaeology | |
| JP2017107543A (ja) | 細胞画像の自動分析方法及びシステム | |
| WO2023000160A1 (zh) | 高光谱遥感影像半监督分类方法、装置、设备及存储介质 | |
| CN114187277B (zh) | 基于深度学习的甲状腺细胞学多种类型细胞的检测方法 | |
| CN111046858B (zh) | 一种基于图像的动物物种细分类方法、系统及介质 | |
| CN112861785B (zh) | 一种基于实例分割和图像修复的带遮挡行人重识别方法 | |
| CN112163530B (zh) | 基于特征增强和样本选择的ssd小目标检测方法 | |
| CN110852327A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111368632A (zh) | 一种签名识别方法及设备 | |
| CN111415364A (zh) | 一种计算机视觉中图像分割样本的转换方法、系统及存储介质 | |
| CN111415373A (zh) | 基于孪生卷积网络的目标跟踪与分割方法、系统及介质 | |
| CN110796145B (zh) | 基于智能决策的多证件分割关联方法及相关设备 | |
| CN115861715A (zh) | 基于知识表示增强的图像目标关系识别算法 | |
| CN115082781A (zh) | 一种舰船图像检测方法、装置以及存储介质 | |
| CN110008949B (zh) | 一种图像目标检测方法、系统、装置和存储介质 | |
| Chen et al. | Improved fast r-cnn with fusion of optical and 3d data for robust palm tree detection in high resolution uav images | |
| CN115661810A (zh) | 安检ct目标物识别方法和装置 | |
| CN113947575B (zh) | 一种花粉颗粒检测方法及装置 | |
| CN116704490A (zh) | 车牌识别方法、装置和计算机设备 | |
| CN116030346A (zh) | 基于马尔可夫判别器的非成对弱监督云检测方法及系统 | |
| CN111914706B (zh) | 一种文字检测输出结果质量检测和控制的方法与装置 | |
| CN111931689B (zh) | 一种在线提取视频卫星数据鉴别特征的方法 | |
| CN112906656A (zh) | 水下照片珊瑚礁识别方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |