CN116310658B - 一种基于球形摄像机建立储粮害虫图像数据集的方法 - Google Patents

Abstract

本发明涉及粮仓储粮害虫检测技术领域，公开了一种基于球形摄像机建立储粮害虫图像数据集的方法，旨在解决现有储粮害虫图像数据集存在规模小以及图像多样性差的问题，包括：通过球形摄像机获取储粮害虫的视频数据，视频数据包括自然发生害虫的第一视频数据和人工投放目标害虫的第二视频数据；生成视频数据对应的图像数据，并筛选出图像数据中只包含书虱或者包含鞘翅目害虫的图像数据；根据书虱数量对只包含书虱的图像数据进行标记，根据鞘翅目害虫的位置和类别对包含鞘翅目害虫的图像数据进行标记；建立储粮害虫图像数据集。本发明提升了储粮害虫图像数据集中图片数据的数量和规模，适用于针对球形摄像机的粮仓储粮害虫智能识别算法的训练及优化。

Description

一种基于球形摄像机建立储粮害虫图像数据集的方法

技术领域

本发明涉及粮仓储粮害虫检测技术领域，具体涉及一种基于球形摄像机建立储粮害虫图像数据集的方法。

背景技术

粮食储藏是关系到国计民生的重大事件，做好粮食保质保量的安全储藏具有重大的意义。但是，储粮害虫的存在是导致储粮损失的主要原因之一，因此，储粮害虫的有效检测是十分重要的一项监管工作。

储粮害虫多爆发于储粮粮堆的上层，因此粮堆表面的害虫检测是粮库日常管理的重要工作内容。对于粮堆表面的害虫，主要采取人工观察和图像处理检测方法进行害虫发生情况的监管。人工观察主要通过在粮堆表面的关键位置点放置粘虫板对害虫进行诱捕和观察。图像处理方法主要是基于高清摄像机对粮堆进行图像采集，通过人工观察图像来判断粮堆表面的害虫发生情况。目前越来越多的储粮仓内安装了高清球形摄像机，在作为出入库和人员操作的安全监测设备的同时，也用于粮堆表面害虫的检测。因此，如何基于球形摄像机对储粮害虫进行智能识别是储粮领域重要的研究任务之一。

基于球形摄像机的图像，要实现对粮面害虫的自动检测，采用深度学习的图像识别技术是主要技术路线。由于深度学习是一种以数据为驱动力的机器学习方法，因此图像数据的规模、内容和质量会直接影响识别算法的性能。在机器视觉领域，为满足不同视觉任务算法的研究与发展，业界内逐渐有各种基准数据集被推出，用于算法的开发和性能评估。但是，对于储粮害虫智能识别或更广泛的农业害虫识别任务，害虫图像数据获取的难度和标记工作的高成本导致了害虫图像数据集的稀缺性，这也直接阻碍了害虫智能识别的深入发展。

针对于储粮害虫数据集的建设，现有技术通常是基于害虫标本的图像或者储粮害虫的显微和特写图像进行的，这些数据集的图像中只包含一头害虫，且在收集害虫图像的过程中并没有考虑害虫姿态、拍摄角度和图像背景的多样性。还有一些研究者基于其使用的害虫检测设备分别建立了不同背景的储粮害虫图像数据集。但是这些数据集都仅针对单一的图像采集设备和害虫检测场景而建立的，且图像采集主要在实验室环境中进行的，这使得这些数据集存在规模小、害虫种类少、图像背景、拍摄角度和拍摄视野大小单一等问题，导致基于其研究的害虫图像识别算法很难应用于实际的害虫检测场景中。

发明内容

本发明旨在解决现有储粮害虫图像数据集存在规模小以及图像多样性差的问题，提出一种基于球形摄像机建立储粮害虫图像数据集的方法。

本发明解决上述技术问题所采用的技术方案是：

一种基于球形摄像机建立储粮害虫图像数据集的方法，所述方法包括：

步骤1、通过球形摄像机获取储粮害虫的视频数据，所述视频数据包括自然发生害虫的第一视频数据以及人工投放目标害虫的第二视频数据；

步骤2、根据视频帧率生成所述视频数据对应的图像数据，并筛选出所述图像数据中只包含书虱或者包含鞘翅目害虫的图像数据；

步骤3、针对筛选出的图像数据，根据图像中的书虱数量对只包含书虱的图像数据进行标记，根据图像中鞘翅目害虫的位置和类别对包含鞘翅目害虫的图像数据进行标记；

步骤4、根据标记后的图像数据建立储粮害虫图像数据集。

进一步地，步骤1中，所述第一视频数据的获取方法包括：

从粮仓管理系统中调取粮仓安装的球形摄像机拍摄的自然发生害虫的第一视频数据。

进一步地，步骤1中，所述第二视频数据的获取方法包括：

步骤101、在粮仓安装的球形摄像机的可视范围内，将多个托盘铺设在粮堆表面分布设置的采样点，并在各托盘中放置与粮仓储存的粮食粮种一致的粮食，使放置的粮食覆盖托盘表面；

步骤102、根据各托盘中粮食的重量确定对应托盘投放害虫的数量，并根据确定的数量在托盘均匀地投放目标害虫；

步骤103、开启球形摄像机的自动巡航模式，通过球形摄像机拍摄各采样点人工投放目标害虫的第二视频数据。

进一步地，步骤1中，所述第二视频数据的获取方法还包括：

在实验室中模拟粮仓环境，采用与步骤101至步骤103相同的方式，通过不同型号的球形摄像机拍摄模拟的粮仓环境中各采样点人工投放目标害虫的第二视频数据。

进一步地，所述步骤2还包括：

剔除所述图像数据中图像模糊、目标害虫模糊以及目标害虫小于预设尺寸的图像。

进一步地，步骤3中，所述根据图像中的书虱数量对只包含书虱的图像数据进行标记，具体包括：

将图像划分为多个像素单元，分别对各像素单元内的书虱个数进行统计，再估算获得整张图像中的书虱数量；

根据所述书虱数量所处的范围对图像数据进行标记。

进一步地，步骤3中，所述根据图像中的书虱数量对只包含书虱的图像数据进行标记，具体还包括：

步骤301、基于已建立的书虱图像数据集训练用于识别书虱数量所处范围的第一检测模型；

步骤302、通过所述第一检测模型对只包含书虱的图像数据进行识别，并根据识别结果对相应的图像数据进行自动辅助标记；

步骤303、对自动辅助标记结果进行检查，将检查通过的图像数据加入储粮害虫图像数据集中，并重新进入步骤301。

进一步地，步骤3中，所述根据图像中鞘翅目害虫的位置和类别对包含鞘翅目害虫的图像数据进行标记，具体包括：

在图像中分别确定包含各鞘翅目害虫的最小矩形框，并根据每个最小矩形框的左上角和右下角的坐标值对图像数据进行标记；

确定鞘翅目害虫的种类，并根据鞘翅目害虫拉丁学名的单词首字母对图像数据进行标记，所述鞘翅目害虫的种类为：种、属或科。

进一步地，步骤3中，所述根据图像中鞘翅目害虫的位置和类别对包含鞘翅目害虫的图像数据进行标记，具体还包括：

步骤311、基于已建立的鞘翅目害虫图像数据集训练用于识别鞘翅目害虫的位置和类别的第二检测模型；

步骤312、通过所述第二检测模型对包含鞘翅目害虫的图像数据进行识别，并根据识别结果对相应的图像数据进行自动辅助标记；

步骤313、对自动辅助标记结果进行检查，将检查通过的图像数据加入鞘翅目害虫图像数据集中，并重新进入步骤311。

进一步地，所述方法还包括：

将所述第一视频数据对应的图像数据中不包含鞘翅目害虫但存在与鞘翅目害虫相似图像块的图像作为困难负样本，所述鞘翅目害虫相似图像块与鞘翅目害虫的相似度大于相似度阈值；

对已标记的包含鞘翅目害虫的图像进行裁剪得到单头鞘翅目害虫的图像，将单头鞘翅目害虫的图像拼接至困难负样本的图像中，对拼接后的图像进行标记后加入鞘翅目害虫图像数据集中。

本发明的有益效果是：本发明所述的基于球形摄像机建立储粮害虫图像数据集的方法，通过球形摄像机拍摄的自然发生害虫的视频数据以及人工投放目标害虫的视频数据来建立储粮害虫图像数据集，使得储粮害虫图像数据集能够包含多姿态、多角度以及多空间分辨率的目标害虫对应的图像数据，同时缓解了由于实际粮仓的储粮害虫发生情况差异导致的害虫类别分布不平衡的问题，提升了储粮害虫图像数据集中图片数据的数量和规模。由于在实际粮仓管理流程中，主要监管的储粮害虫为近十种鞘翅目储粮害虫和啮虫目虱啮科的书虱，本发明通过构建书虱和鞘翅目害虫的储粮害虫图像数据集，提高了储粮害虫图像数据集的通用性，并且针对不同种类的害虫，本发明采用不同的标记方法对相应的图像数据进行标记，在简化了标记流程的基础上使其能够支撑储粮害虫图像识别算法的研究，并提高识别算法在实际应用中的性能。本发明还能够对储粮害虫图像进行自动辅助标记，可以有效提高大规模储粮害虫图像数据集的构建速度，解决大规模储粮害虫图像数据集工作量大的问题。实仓环境中采集得到的图像中，存在大量类似于害虫目标的区域但不包含害虫的图像，本发明将其作为困难负样本并对其处理后加入储粮害虫图像数据集中，提高了困难负样本出现在训练数据中的比例，进而提高了储粮害虫图像识别算法的准确性。

附图说明

图1为本发明实施例所述基于球形摄像机建立储粮害虫图像数据集的方法的一种流程示意图；

图2为本发明实施例所述基于球形摄像机建立储粮害虫图像数据集的方法的另一种流程示意图；

图3为本发明实施例所述粮仓内采样点的位置示意图。

具体实施方式

下面将结合附图对本发明的实施方式进行详细描述。

本发明旨在提出一种基于球形摄像机建立储粮害虫图像数据集的方法，储粮害虫图像数据集可以为建立储粮害虫图像识别算法提供数据支撑，其主要的技术方案包括：通过球形摄像机获取储粮害虫的视频数据，所述视频数据包括自然发生害虫的第一视频数据以及人工投放目标害虫的第二视频数据；根据视频帧率生成所述视频数据对应的图像数据，并筛选出所述图像数据中只包含书虱或者包含鞘翅目害虫的图像数据；针对筛选出的图像数据，根据图像中的书虱数量对只包含书虱的图像数据进行标记，根据图像中鞘翅目害虫的位置和类别对包含鞘翅目害虫的图像数据进行标记；根据标记后的图像数据建立储粮害虫图像数据集。

可以理解，基于深度学习的图像识别算法具有特征提取有效、识别泛化能力强等优势，但是研究基于深度学习的识别算法需要大量带有准确标注的数据集作为基础。基于此，本发明结合目前实际粮仓中常用的球形摄像机来构建储粮害虫图像数据集，使其包含具有多种姿态以及多种空间分辨率的目标害虫，使其能够支撑储粮害虫图像识别算法的研究，并提高算法在实际应用中的性能。具体地，本发明首先通过球形摄像机分别获取不同空间分辨率下自然发生害虫的第一视频数据以及人工投放目标害虫的第二视频数据，其中，第一视频数据可以在实际粮仓中获取，第二视频数据可以在实际粮仓中人工投放目标害虫后获取，也可以在实验环境中获取；然后通过获取的视频数据生成对应的图像数据，例如截取视频的帧图像，并在获得图像数据后，剔除不包含目标害虫的图像；最后根据图像中的书虱数量对只包含书虱的图像数据进行标记，根据图像中鞘翅目害虫的位置和类别对包含鞘翅目害虫的图像数据进行标记，对所有图像数据标记完成后，即可建立包含大量带有准确标注的图像数据的储粮害虫图像数据集。

实施例

请参阅图1，本发明实施例所述的基于球形摄像机建立储粮害虫图像数据集的方法，包括以下步骤：

步骤1、通过球形摄像机获取储粮害虫的视频数据，所述视频数据包括自然发生害虫的第一视频数据以及人工投放目标害虫的第二视频数据；

请参阅图2，本实施例中，可以从粮仓管理系统中调取粮仓安装的球形摄像机拍摄的自然发生害虫的第一视频数据。具体可以从储粮粮库中调取质保人员在日常工作中拍摄的粮仓害虫视频数据。这些视频数据是质保人员通过粮库的管理软件，人工控制球形摄像机，对粮仓中墙面和粮堆表面的害虫进行视频采集获取的。

由于实际粮仓中，自然发生的害虫图像数据量很小，且不同区域粮库的储粮害虫发生情况差异很大，导致自然发生害虫图像数据中鞘翅目害虫的类别分布不均匀。此外，自然发生害虫图像数据还存在图像分辨率低、不聚焦、光线差等问题，对于基于深度学习的图像识别算法支持较弱。因此，本实施例还包括获取人工投放目标害虫的第二视频数据，具体包括：

步骤101、在粮仓安装的球形摄像机的可视范围内，将多个托盘铺设在粮堆表面分布设置的采样点，并在各托盘中放置与粮仓储存的粮食粮种一致的粮食，使放置的粮食覆盖托盘表面；

请参阅图3，球形摄像机的可视范围一般为球形摄像机安装位置正下方，以3m左右为半径的半圆或圆形区域，在该区域内的粮堆表面分布设置采样点，并在各采样点铺设托盘，然后在托盘中放置与实际储粮粮库相一致的粮种，如：小麦、稻谷和玉米等储藏原粮，使之覆盖托盘的表面。图2中方框位置代表采样点，“0”代表球形摄像机的放置点。

步骤102、根据各托盘中粮食的重量确定对应托盘投放害虫的数量，并根据确定的数量在托盘均匀地投放目标害虫；

本实施例中，目标害虫为鞘翅目害虫中的一种或多种，但每次人工投放的目标害虫仅为鞘翅目害虫中的一种，多种鞘翅目害虫需分多个批次进行人工投放。例如，针对每一个托盘构造5头/公斤以上的虫口密度，均匀地在托盘的中心和四角均匀投入一种鞘翅目害虫活虫。

步骤103、开启球形摄像机的自动巡航模式，通过球形摄像机拍摄各采样点人工投放目标害虫的第二视频数据。

在实际应用时，可以对球形摄像机的控制参数如缩放倍数、球形摄像机的水平、俯仰角度和球形摄像机图像设置参数等进行调节，以获取不同视野大小的害虫图像，从而获得同一种类不同空间分辨率的储粮害虫。还可以调整球形摄像机的设定参数，巡航采集害虫视频数据，设定参数包括图像分辨率、色彩模式、锐度、亮度和拍摄模式等。

为了保证后续图像标记工作的准确性，本实施例需保证图像中的目标害虫的数量及种类可以被害虫专家识别，当拍摄不同视野大小的图像时，将单个目标害虫边界框的最小像素面积控制在至少10像素×10像素，即预设尺寸。

由于在实际粮仓中，很难同时采集多种不同型号球形摄像机的害虫视频数据，因此，本实施例还可以在实验室中模拟粮仓环境，采用与步骤101至步骤103相同的方式，通过不同型号的球形摄像机拍摄模拟的粮仓环境中各采样点人工投放目标害虫的第二视频数据。

步骤2、根据视频帧率生成所述视频数据对应的图像数据，并筛选出所述图像数据中只包含书虱或者包含鞘翅目害虫的图像数据；

由于书虱目前从严格意义上并不属于粮库害虫防治的主要对象，但是书虱在我国南方粮仓中的爆发极为频繁，因此近年来书虱在粮仓中的发生情况也越来越受到关注。基于此，本实施例包括建立书虱及鞘翅目害虫对应的图像数据集。

在实际应用时，针对视频数据，可以基于视频的帧率采取5帧的间隔进行图像数据的生成。在获得图像数据之后，筛选出图像数据中只包含书虱或者包含鞘翅目害虫的图像数据，完成对图像数据的预分类。

为了进一步提高图像数据集的准确性，本实施例还包括：剔除图像数据中图像模糊、目标害虫模糊以及目标害虫小于预设尺寸的图像。

步骤3、针对筛选出的图像数据，根据图像中的书虱数量对只包含书虱的图像数据进行标记，根据图像中鞘翅目害虫的位置和类别对包含鞘翅目害虫的图像数据进行标记；

由于书虱的体长不到1mm，且爆发规模巨大，难以通过常规的边框标记方法。为了解决上述问题，针对书虱对应的图像数据，本实施例根据图像中的书虱数量对其进行标记，具体包括：

将图像划分为多个像素单元，分别对各像素单元内的书虱个数进行统计，再估算获得整张图像中的书虱数量；根据所述书虱数量所处的范围对图像数据进行标记。

具体而言，可以根据每100*100像素内的书虱个数进行统计，然后估算整张图像中书虱的数量，最后针对以下五个区间进行分类标记：0-50头、50-100头、100-500头、500-100头、1000头以上。

针对鞘翅目害虫对应的图像数据，本实施例根据图像中鞘翅目害虫的位置和类别对其进行标记，具体包括以下步骤：

在图像中分别确定包含各鞘翅目害虫的最小矩形框，并根据每个最小矩形框的左上角和右下角的坐标值对图像数据进行标记；确定鞘翅目害虫的种类，并根据鞘翅目害虫拉丁学名的单词首字母对图像数据进行标记，所述鞘翅目害虫的种类为：种、属或科。

具体地，针对鞘翅目害虫对应的图像数据，需要对图像中的所有鞘翅目害虫进行标记，标记的具体信息为：1）每个害虫的边界框的左上角、右下角的坐标值；2）每个害虫的种类（如果可以识别到种类就标记到种类，如果只能识别到属或科，则标记到属或科）。害虫图像的标记可以通过使用图像标记的工具实现，如LabelImage和LabelMe，对每张图像直接输出标记文件。本实施例中，目标害虫的种类标记皆取自害虫拉丁学名的单词首字母，并写为小写字母，这与后续的算法读取标记内容相关联，需要统一。目标害虫的种类及其对应的标签如下所示：

（1）扁谷盗科（土耳其扁谷盗、锈赤扁谷盗、长角扁谷盗），目前的实仓数据中得到的都是锈赤扁谷盗，所以在做标记时，将这些实仓中的扁谷盗科害虫都标记为锈赤扁谷盗，标记类别：cf；

（2）象甲科（米象、玉米象），目前的数据中都是玉米象，所以将这些实仓图像中的象虫类都标记为玉米象，标记类别：sz；

（3）拟谷盗类（赤拟谷盗、杂拟谷盗），标记类别：tc；

（4）锯谷盗，标记类别：os；

（5）谷蠧，标记类别：rd；

（6）黑菌虫，标记类别：ad；

（7）花斑皮蠹，标记类别：tv；

（8）拟裸蛛甲，标记类别：ga；

（9）咖啡豆象，标记类别：af；

（10）绿豆象，标记类别：cc；

（11）小粉盗，标记类别：pc；

（12）露尾甲，标记类别：nl。

（13）若图像中出现人眼难以识别种类，但可以确定为储粮害虫的目标：其类别标记为unknown。

对于储粮害虫的检测，识别结果的精确度即检测结果是否确定为害虫十分重要。因此，本实施例仅对图像中明确展示出其特征的鞘翅目害虫进行标记，具体的标记规则：只对整头全部暴露的害虫、半头但露出触角及头部的害虫和半头但露出足的害虫进行标记，其余情况不进行标记，避免给识别算法的训练造成负面影响。

步骤4、根据标记后的图像数据建立储粮害虫图像数据集。

在实际应用时，对所有筛选出的图像数据进行标记，并对标记结果进行交叉确认后，即可建立包含大量带有准确标注的图像数据的储粮害虫图像数据集。本实施例中，储粮害虫图像数据集包括书虱图像数据集和鞘翅目害虫图像数据集。

由于储粮害虫的标记工作需要标注人员对储粮害虫的识别及分类有较高的专业背景要求，且害虫标记工作量巨大。为了提高标记效率，本实施例还可以对图像数据进行自动辅助标记，对于只包含书虱的图像数据而言，自动辅助标记的方法包括以下步骤：

步骤301、基于已建立的书虱图像数据集训练用于识别书虱数量所处范围的第一检测模型；

步骤302、通过所述第一检测模型对只包含书虱的图像数据进行识别，并根据识别结果对相应的图像数据进行自动辅助标记；

步骤303、对自动辅助标记结果进行检查，将检查通过的图像数据加入储粮害虫图像数据集中，并重新进入步骤301。

对于包含鞘翅目害虫的图像数据而言，自动辅助标记的方法包括以下步骤：

步骤311、基于已建立的鞘翅目害虫图像数据集训练用于识别鞘翅目害虫的位置和类别的第二检测模型；

步骤312、通过所述第二检测模型对包含鞘翅目害虫的图像数据进行识别，并根据识别结果对相应的图像数据进行自动辅助标记将所述第一视频数据对应的图像数据中不包含鞘翅目害虫但存在与鞘翅目害虫相似图像块的图像作为困难负样本；

步骤313、对自动辅助标记结果进行检查，将检查通过的图像数据加入鞘翅目害虫图像数据集中，并重新进入步骤311。

具体地，本实施例首先基于已建立的标准数据集进行训练以构建储粮害虫的分类及检测模型，包括书虱发生等级的第一检测模型和鞘翅目害虫的第二检测模型；然后分别使用这两个检测模型对书虱和鞘翅目害虫的图像进行识别，从而生成自动标记结果；最后由害虫研究专家对自动标记结果进行人工抽样检查，将核查通过的数据加入已经标记完备的标准数据集中，然后基于扩充的数据集再次进行训练，以提高上述两个检测模型的性能，不断提高标记结果的可靠性。

由于很多实仓图像中并没有害虫目标出现，但是其中很多类似于害虫目标的图像块（困难负样本）无法直接参与模型的训练。为了提高参与训练的困难负样本数量。本实施例还通过提高参与训练的困难负样本数量来扩充训练数据集，以使得这些困难负样本可以参与模型的训练，从而降低算法的误检情况，具体包括：

将所述第一视频数据对应的图像数据中不包含鞘翅目害虫但存在与鞘翅目害虫相似图像块的图像作为困难负样本，所述鞘翅目害虫相似图像块与鞘翅目害虫的相似度大于相似度阈值；对已标记的包含鞘翅目害虫的图像进行裁剪得到单头鞘翅目害虫的图像，将单头鞘翅目害虫的图像拼接至困难负样本的图像中，对拼接后的图像进行标记后加入鞘翅目害虫图像数据集中。

具体地，本实施例首先基于实仓图像数据即第一视频数据对应的图像数据，选取包含大量困难负样本的图像数据；然后基于已有害虫标记结果，对目标害虫进行随机选取，根据边界框标记结果剪切得到单头目标害虫图像；最后采用图像拼接算法，将单头目标害虫图像随机拼接到选取的具有很多困难负样本的图像中，并生成相应标记数据，实现数据集的扩充。

在实际粮仓中，光照条件、球形摄像机型号和球形摄像机参数设置的不同都会导致图像的背景、色调、亮度、锐度等出现很大的差异。基于此，本实施例还可以使用OpenCV对害虫的图像数据进行数据增强，主要包括颜色抖动、锐度、亮度和HSV色彩空间的修改，来人工生成大量的害虫图像数据，以提高基于储粮害虫图像数据集训练获得的识别算法的泛化性能。

综上所述，本实施例提供的基于球形摄像机建立储粮害虫图像数据集的方法，通过球形摄像机拍摄的自然发生害虫的视频数据以及人工投放目标害虫的视频数据来建立储粮害虫图像数据集，使得储粮害虫图像数据集能够包含多姿态、多角度以及多空间分辨率的目标害虫对应的图像数据，同时缓解了由于实际粮仓的储粮害虫发生情况差异导致的害虫类别分布不平衡的问题，提升了储粮害虫图像数据集中图片数据的数量和规模。由于在实际粮仓管理流程中，主要监管的储粮害虫为近十种鞘翅目储粮害虫和啮虫目虱啮科的书虱，本实施例通过构建书虱和鞘翅目害虫的储粮害虫图像数据集，提高了储粮害虫图像数据集的通用性，并且针对不同种类的害虫，本实施例采用不同的标记方法对相应的图像数据进行标记，在简化了标记流程的基础上使其能够支撑储粮害虫图像识别算法的研究，并提高识别算法在实际应用中的性能。本实施例还能够对储粮害虫图像进行自动辅助标记，可以有效提高大规模储粮害虫图像数据集的构建速度，解决大规模储粮害虫图像数据集工作量大的问题。实仓环境中采集得到的图像中，存在大量类似于害虫目标的区域但不包含害虫的图像，本实施例将其作为困难负样本并对其处理后加入储粮害虫图像数据集中，提高了困难负样本出现在训练数据中的比例，进而提高了储粮害虫图像识别算法的准确性。并且通过对标记后的图像数据进行数据增强，进一步扩大了储粮害虫图像数据集规模，提高了基于储粮害虫图像数据集训练获得的识别算法的泛化性能。

Claims (8)

1.一种基于球形摄像机建立储粮害虫图像数据集的方法，其特征在于，所述方法包括：

步骤1、通过球形摄像机获取储粮害虫的视频数据，所述视频数据包括自然发生害虫的第一视频数据以及人工投放目标害虫的第二视频数据；

所述第一视频数据的获取方法包括：

从粮仓管理系统中调取粮仓安装的球形摄像机拍摄的自然发生害虫的第一视频数据；

所述第二视频数据的获取方法包括：

步骤101、在粮仓安装的球形摄像机的可视范围内，将多个托盘铺设在粮堆表面分布设置的采样点，并在各托盘中放置与粮仓储存的粮食粮种一致的粮食，使放置的粮食覆盖托盘表面；

步骤102、根据各托盘中粮食的重量确定对应托盘投放害虫的数量，并根据确定的数量在托盘均匀地投放目标害虫；

步骤103、开启球形摄像机的自动巡航模式，通过球形摄像机拍摄各采样点人工投放目标害虫的第二视频数据；

步骤2、根据视频帧率生成所述视频数据对应的图像数据，并筛选出所述图像数据中只包含书虱或者包含鞘翅目害虫的图像数据；

步骤3、针对筛选出的图像数据，根据图像中的书虱数量对只包含书虱的图像数据进行标记，根据图像中鞘翅目害虫的位置和类别对包含鞘翅目害虫的图像数据进行标记；

步骤4、根据标记后的图像数据建立储粮害虫图像数据集。

2.如权利要求1所述的基于球形摄像机建立储粮害虫图像数据集的方法，其特征在于，步骤1中，所述第二视频数据的获取方法还包括：

在实验室中模拟粮仓环境，采用与步骤101至步骤103相同的方式，通过不同型号的球形摄像机拍摄模拟的粮仓环境中各采样点人工投放目标害虫的第二视频数据。

3.如权利要求1所述的基于球形摄像机建立储粮害虫图像数据集的方法，其特征在于，所述步骤2还包括：

剔除所述图像数据中图像模糊、目标害虫模糊以及目标害虫小于预设尺寸的图像。

4.如权利要求1所述的基于球形摄像机建立储粮害虫图像数据集的方法，其特征在于，步骤3中，所述根据图像中的书虱数量对只包含书虱的图像数据进行标记，具体包括：

将图像划分为多个像素单元，分别对各像素单元内的书虱个数进行统计，再估算获得整张图像中的书虱数量；

根据所述书虱数量所处的范围对图像数据进行标记。

5.如权利要求1所述的基于球形摄像机建立储粮害虫图像数据集的方法，其特征在于，步骤3中，所述根据图像中的书虱数量对只包含书虱的图像数据进行标记，具体还包括：

步骤301、基于已建立的书虱图像数据集训练用于识别书虱数量所处范围的第一检测模型；

步骤302、通过所述第一检测模型对只包含书虱的图像数据进行识别，并根据识别结果对相应的图像数据进行自动辅助标记；

步骤303、对自动辅助标记结果进行检查，将检查通过的图像数据加入储粮害虫图像数据集中，并重新进入步骤301。

6.如权利要求1所述的基于球形摄像机建立储粮害虫图像数据集的方法，其特征在于，步骤3中，所述根据图像中鞘翅目害虫的位置和类别对包含鞘翅目害虫的图像数据进行标记，具体包括：

在图像中分别确定包含各鞘翅目害虫的最小矩形框，并根据每个最小矩形框的左上角和右下角的坐标值对图像数据进行标记；

确定鞘翅目害虫的种类，并根据鞘翅目害虫拉丁学名的单词首字母对图像数据进行标记，所述鞘翅目害虫的种类为：种、属或科。

7.如权利要求1所述的基于球形摄像机建立储粮害虫图像数据集的方法，其特征在于，步骤3中，所述根据图像中鞘翅目害虫的位置和类别对包含鞘翅目害虫的图像数据进行标记，具体还包括：

步骤311、基于已建立的鞘翅目害虫图像数据集训练用于识别鞘翅目害虫的位置和类别的第二检测模型；

步骤312、通过所述第二检测模型对包含鞘翅目害虫的图像数据进行识别，并根据识别结果对相应的图像数据进行自动辅助标记；

步骤313、对自动辅助标记结果进行检查，将检查通过的图像数据加入鞘翅目害虫图像数据集中，并重新进入步骤311。

8.如权利要求1所述的基于球形摄像机建立储粮害虫图像数据集的方法，其特征在于，所述方法还包括：

将所述第一视频数据对应的图像数据中不包含鞘翅目害虫但存在与鞘翅目害虫相似图像块的图像作为困难负样本，所述鞘翅目害虫相似图像块与鞘翅目害虫的相似度大于相似度阈值；

对已标记的包含鞘翅目害虫的图像进行裁剪得到单头鞘翅目害虫的图像，将单头鞘翅目害虫的图像拼接至困难负样本的图像中，对拼接后的图像进行标记后加入鞘翅目害虫图像数据集中。