CN115761460A - 大棚房风险识别方法、装置、电子设备及存储介质 - Google Patents

大棚房风险识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115761460A
CN115761460A CN202310031279.9A CN202310031279A CN115761460A CN 115761460 A CN115761460 A CN 115761460A CN 202310031279 A CN202310031279 A CN 202310031279A CN 115761460 A CN115761460 A CN 115761460A
Authority
CN
China
Prior art keywords
greenhouse
image
risk
model
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310031279.9A
Other languages
English (en)
Other versions
CN115761460B (zh
Inventor
张钟莉莉
吕芯悦
芦天罡
魏晓明
于景鑫
刘长斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intelligent Equipment Technology Research Center of Beijing Academy of Agricultural and Forestry Sciences
Original Assignee
Intelligent Equipment Technology Research Center of Beijing Academy of Agricultural and Forestry Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intelligent Equipment Technology Research Center of Beijing Academy of Agricultural and Forestry Sciences filed Critical Intelligent Equipment Technology Research Center of Beijing Academy of Agricultural and Forestry Sciences
Priority to CN202310031279.9A priority Critical patent/CN115761460B/zh
Publication of CN115761460A publication Critical patent/CN115761460A/zh
Application granted granted Critical
Publication of CN115761460B publication Critical patent/CN115761460B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/25—Greenhouse technology, e.g. cooling systems therefor

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供的大棚房风险识别方法、装置、电子设备及存储介质，属于图像处理技术领域，包括：获取目标温室内的待识别图像；将待识别图像输入至图像检测模型，确定由图像检测模型输出的目标温室内的违禁物品的位置信息和种类信息，以及便道比例数据；根据违禁物品的位置信息和种类信息，以及便道比例数据，确定目标温室为大棚房的风险等级。本发明提供的大棚房风险识别方法、装置、电子设备及存储介质，通过对温室图像中的图像中的违禁物品和非耕种面积进行识别，进而自动根据识别结果高效地确定温室的大棚房风险等级，进而实现温室内撂荒、大棚房问题等自动预警，为蔬菜稳产保供、设施产业结构调整等提供数据支持。

Description

大棚房风险识别方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种大棚房风险识别方法、装置、电子设备及存储介质。
背景技术
由于温室中私自占用耕地、农田，违法违规建设非农设施的现象泛滥，例如温室中的大棚房，严重侵占了耕地。因此，需要加强耕地保护，坚决遏制，是现阶段迫在眉睫的任务。
现有对农地非农化的违建现象的识别，主要是基于遥感技术实现对大棚房所在区域的监测。
然而，上述方法并不能识别温室内部的违建情况，进而确定是否存在大棚房。
发明内容
本发明提供的大棚房风险识别方法、装置、电子设备及存储介质，用以解决现有技术中遥感技术不能识别温室内部的违建情况的缺陷，实现自动根据识别结果高效地确定温室的大棚房风险等级。
本发明提供一种大棚房风险识别方法，包括：
获取目标温室内的待识别图像；
将所述待识别图像输入至图像检测模型，确定由所述图像检测模型输出的目标温室内的违禁物品的位置信息和种类信息，以及便道比例数据；
根据所述违禁物品的位置信息和种类信息，以及所述便道比例数据，确定所述目标温室为大棚房的风险等级；所述图像检测模型，是基于带有所述违禁物品的位置标签和种类标签，以及种植区域面积和非种植区域面积标签的样本图像训练后得到的。
根据本发明提供的一种大棚房风险识别方法，所述图像检测模型包括：物品检测模型和比例识别模型；
所述物品检测模型是基于目标检测模型构建的，用于对所述待识别图像进行目标检测，生成所述违禁物品的位置信息和种类信息；
所述比例识别模型是基于图像分割模型构建的，具体用于：
对所述待识别图像进行分割，确定所述待识别图像中的种植区域面积和非种植区域面积；
根据所述种植区域面积和所述非种植区域面积，生成所述便道比例数据。
根据本发明提供的一种大棚房风险识别方法，所述物品检测模型包括：骨干网络、特征金字塔网络和输出层；所述骨干网络包括多个CSP模块，所述CSP模块，用于对所述待识别图像进行下采样；
所述骨干网络，用于对所述待识别图像进行特征提取，确定多个层次的主干特征映射；
特征金字塔网络，用于对所述多个层次的主干特征映射进行上采样和特征融合，在所述待识别图像中包括违禁物品信息的情况下，生成所述违禁物品的位置信息和种类信息；
所述输出层，用于输出所述违禁物品的位置信息和种类信息。
根据本发明提供的一种大棚房风险识别方法，所述根据所述违禁物品的位置信息和种类信息，以及所述便道比例数据，确定所述目标温室为大棚房的风险等级，包括：
根据所述违禁物品的位置信息和种类信息，确定第一级别，并根据所述便道比例数据，确定第二级别；所述第一级别表征所述违禁物品导致所述目标温室为大棚房的风险，所述第二级别表征便道比例导致所述目标温室为大棚房的风险；
基于风险矩阵表，根据所述第一级别和第二级别，生成风险值；
根据所述风险值，确定所述目标温室为大棚房的风险等级。
根据本发明提供的一种大棚房风险识别方法，在所述将所述待识别图像输入至图像检测模型，确定由所述图像检测模型输出的违禁物品的位置信息和种类信息，以及便道比例数据之前，还包括：
获取多个样本图像；
在任一样本图像中包括违禁物品信息的情况下，确定所述任一样本图像中违禁物品的位置标签、种类标签，并确定所述任一样本图像中的样本种植区域面积和样本非种植区域面积标签；
将所述任一样本图像，以及所述任一样本图像的位置标签、种类标签，以及样本种植区域面积和样本非种植区域面积标签的组合作为一个训练样本，以获取多个训练样本；
利用所述多个训练样本分别对所述物品检测模型和所述比例识别模型进行训练。
根据本发明提供的一种大棚房风险识别方法，利用所述多个训练样本分别对所述物品检测模型和所述比例识别模型进行训练，包括：
利用所述多个训练样本对待训练模型进行预训练，获取预训练模型；
将所述预训练模型的权重参数迁移至目标神经网络；
利用所述多个训练样本对所述目标神经网络进行训练，获取再训练模型，所述再训练模型为所述物品检测模型和所述比例识别模型中的任一个。
根据本发明提供的一种大棚房风险识别方法，所述获取多个样本图像，包括：
获取温室内的多个初始图像；
对每个初始图像进行样本扩增，获取多个扩增图像；
在至少一个扩增图像中加入高斯噪声，获取多个样本图像。
本发明还提供一种大棚房风险识别装置，包括：
获取模块，用于获取目标温室内的待识别图像；
第一确定模块，用于将所述待识别图像输入至图像检测模型，确定由所述图像检测模型输出的目标温室内的违禁物品的位置信息和种类信息，以及便道比例数据；
第二确定模块，用于根据所述违禁物品的位置信息和种类信息，以及所述便道比例数据，确定所述目标温室为大棚房的风险等级；所述图像检测模型，是基于带有所述违禁物品的位置标签和种类标签，以及种植区域面积和非种植区域面积标签的样本图像训练后得到的。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述大棚房风险识别方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述大棚房风险识别方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述大棚房风险识别方法。
本发明提供的大棚房风险识别方法、装置、电子设备及存储介质，通过对温室图像中的图像中的违禁物品和非耕种面积进行识别，进而自动根据识别结果高效地确定温室的大棚房风险等级，进而实现温室内撂荒、大棚房问题等自动预警，为蔬菜稳产保供、设施产业结构调整等提供数据支持。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的大棚房风险识别方法的流程示意图之一；
图2是本发明提供的土壤-便道比例数据分布示意图；
图3是本发明提供的YOLOv5模型的mAP结果示意图；
图4是本发明提供的deeplabv3+模型的mIOU结果示意图；
图5是本发明提供的大棚房风险识别方法的流程示意图之二；
图6是本发明提供的大棚房风险识别装置的结构示意图；
图7是本发明提供的电子设备的结构示意图。
附图标记：
A Map Curve：平均精度均值曲线；Map 0.5：平均精度均值0.5；Epoch：训练轮次；train map：训练平均精度均值；A Miou Curve：均交并比曲线；Miou：均交并比（Meanintersection over union，Miou）；train miou：训练均交并比。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
对于设施农业用地的规模设置有限制，例如，与生产棚室相连的耳房（缓冲间、看护房）控制在单层、22.5平方米以内；连栋温室（大棚）的内部主要通道宽度一般不超过3米，其它棚室的内部通道宽度一般不超过1米。服务于设施农业项目的内部道路，作为辅助设施单独计算占地面积，不得超过项目总用地面积的3%，宽度（含路肩）不得超过6米。
温室内违建的问题主要包括：在农业园区或耕地上直接违法违规建设私家庄园，在农业大棚内违法违规建房，或是违规改扩建大棚看护房等。
在常见的违建建筑中，大棚房占用的土地70%是耕地，其中也有永久基本农田，如不及时制止，会对耕地造成重大冲击。
温室大棚房属于违法违规建设，大棚房识别是违建识别的一种。
目前，有关大棚房识别的方法较少，主要集中于使用遥感数据进行大棚房识别，方法如下：
第一方面，通过获取目标区域的土地利用信息图、交通信息和行政区图，确定监测大棚房的重要区域，基于历史遥感影像确定可能出现大棚房的重要区域的类别。
第二方面，通过比对检测，得到建筑物变化图斑。识别出建筑物的轮廓以及高度是否发生变化，然后识别出违建建筑的建筑变化图斑后，进一步核对确认，能明显提高识别效率。
第三方面，对获取的卫星图像进行预处理，将检测图像输入到成功的算法模型中进行处理，成功的算法模型为模型训练过程所获得的各类别平均精确率最高的模型，输出包含违建厂房相关信息的图像，展示卫星图像所在地的预警信息。
第四方面，选取一个卷积神经网络模型对可疑违建区域进行特征提取，利用特征图构建新旧时相图像的结构差异向量，训练支持向量机，输入两张同一建筑物的新旧时相图像，就可以判断是否存在可疑违建区域。
上述方案依靠遥感图像宏观监测大棚房所在区域，其方法主要是利用地图等宏观信息进行识别，虽然监测范围广，但是只能识别温室外部的大型违建建筑，难以识别温室内部的具体违建情况，不适合温室特定环境内小物品的检测，难以掌握温室内部的违建情况，目前温室内监测主要以人工巡查为主，不仅人力投入大，而且实时性不高。
而直接使用深度学习识别大棚房，可解释性差，并考虑到温室内地面硬化等违规情况，无法根据大棚房的多种定义精准识别大棚房，整体的识别准确率会有所下降。此外，深度学习需要大量的数据源作为支撑，而现有大棚房图像较少，不足以支撑深度学习训练。
针对上述问题，本发明以温室内部图像为基础，提供一种通过机器视觉算法识别大棚房的方法，针对典型大棚房的特征，分别构建了物品检测模型和比例识别模型，能够识别出大棚内的违建风险，如地面硬化、便道宽度超过60厘米，配备生活设施和堆放无关物品等情况，并为两个模型分别建立相应的风险等级评价清单，分出正常、中风险、高风险3个等级再采用风险矩阵分析法进行风险评估，以此综合判定大棚房风险等级。
下面结合图1至图7描述本发明的实施例所提供的大棚房风险识别方法、装置、电子设备及存储介质。
图1是本发明提供的大棚房风险识别方法的流程示意图之一，如图1所示，包括但不限于以下步骤：
首先，在步骤S1中，获取目标温室内的待识别图像。
待识别图像可以是对采集的目标温室内的图像进行降噪和图像增强后得到的。
可选地，所述获取多个样本图像，包括：
获取温室内的多个初始图像；
对每个初始图像进行样本扩增，获取多个扩增图像；
在至少一个扩增图像中加入高斯噪声，获取多个样本图像。
初始图像中可以包括违禁物品信息，还可以包括土壤-便道信息，土壤为种植区域，便道表示非种植区域。
针对实际采集的大棚房图像中存在的全局视野、角度单一、光照变化简单等问题，采用数据扩增方法增加数据集的样本，有效缓解模型过拟合的情况，提高模型泛化能力。
采集温室内的图像，针对大棚房模型训练需求，从全部图像中筛选出包括土壤-便道的初始图像1675张，包括违禁物品的初始图像118张，由于初始图像是实际拍摄的真实温室环境，违禁物品种类差别大，重复度不高，因此需要对图像进行清洗，并采用基于几何变换的扩增方法，对单张图像进行扩增，以10倍作为数据总量比例。基于几何变换的扩增方法能够消除数据集的位置、尺度、视角等方面的差异。
具体样本扩增操作可以如下：
首先，随机旋转图像一定角度α，改变图像内容的朝向，设定α范围是-35°＜α＜35°；其次，扩增数据集的裁剪比例是20%；使用水平镜像翻转；再者保持色调H不变，对每个像素的S和V分量进行指数运算，指数因子在0.25到4之间，增加光照变化，能够得到多个扩增图像。
最后，对图像像素RGB进行随机扰动，本次设定为20%的高斯噪声。在分类网络中加入具有零均值特性的高斯噪声，可在所有频率上产生数据点，使高频特征失真，减弱其对模型的影响，添加适量的噪声能够有效提升神经网络的学习能力。
对于在区间[a，b]内独立且服从均匀分布的随机数生成高斯随机数，该均匀分布 的期望
Figure 299443DEST_PATH_IMAGE001
和方差
Figure 683DEST_PATH_IMAGE002
分别为：
Figure 710013DEST_PATH_IMAGE003
Figure 863914DEST_PATH_IMAGE004
从区间[a，b]中随机取出m个数
Figure 684103DEST_PATH_IMAGE005
，用来计算高斯噪声
Figure 472805DEST_PATH_IMAGE006
：
Figure 618615DEST_PATH_IMAGE007
Figure 259812DEST_PATH_IMAGE008
其中，
Figure 618112DEST_PATH_IMAGE009
是添加高斯噪声后的图像；
Figure 538619DEST_PATH_IMAGE010
是原图像；
Figure 855331DEST_PATH_IMAGE011
是高斯噪声；
Figure 718245DEST_PATH_IMAGE012
为从区间[a，b]中随机取出的第k个数。
根据本发明提供的大棚房风险识别方法，通过对样本进行扩增，能够有效地降低样本量少的影响，同时增强模型的鲁棒性。
可选地，在所述将所述待识别图像输入至图像检测模型，确定由所述图像检测模型输出的目标温室内的违禁物品的位置信息和种类信息，以及便道比例数据之前，还包括：
获取多个样本图像；
在任一样本图像中包括违禁物品信息的情况下，确定所述任一样本图像中违禁物品的位置标签、种类标签，并确定所述任一样本图像中的样本种植区域面积和样本非种植区域面积标签；
将所述任一样本图像，以及所述任一样本图像的位置标签、种类标签，以及样本种植区域面积和样本非种植区域面积标签的组合作为一个训练样本，以获取多个训练样本；
利用所述多个训练样本分别对所述物品检测模型和所述比例识别模型进行训练。
针对大棚房的特征，将生活设施和堆放无关物品作为违禁物品，例如，表1中所示的违禁物品黑名单之一和表2所示的违禁物品黑名单之二中的物品可以列为违禁物品。
表1 违禁物品黑名单之一
Figure 145815DEST_PATH_IMAGE013
表2 违禁物品黑名单之二
Figure 410574DEST_PATH_IMAGE014
违禁物品检测算法检测出温室中是否存在配备生活设施和堆放无关物品等违禁物品的情况，以判断是否存在大棚房风险。
图2是本发明提供的土壤-便道比例数据分布示意图，横坐标为土壤-便道比例，单位为百分数，纵坐标为样本图像的个数，使用labelme标注图像中的土壤和便道，以及使用labelimg标注违禁物品，根据已有图像的标注，利用各部分的像素值计算土壤-便道的真实比例，得到便道比例数据，通过Tukey's Test方法识别一组数据中的异常值，数据分布如图2所示；并根据实际采集的温室图像，人工进行筛选和标注后，构建如表1和表2中所示的违禁物品黑名单共26类物品。
根据统计学原理Tukey's Test方法针对温室的土壤-便道比例分出正常、中风险、高风险3个等级。Tukey's Test方法如下：
最大值估计= Q3+k*(Q3-Q1)；
最小值估计= Q1-k*(Q3-Q1)；
其中，k代表系数；将一组数据由小到大排列，最小的那个数值记为下界，即最小值；位于1/4位置的数为下四分位数，记为Q1；位于1/2位置的数为上二分位数，记为Q2；位于3/4位置的数为上四分位数，记为Q3；最大的数值记为上界，即最大值。当k=3时，在最大值估计和最小值估计之外的值代表极度异常值；当k=1.5时，在最大值估计和最小值估计之外的值代表中度异常值。
结合实际情况，由于土壤-便道的比例不会为负数，因此当比例在0%-24.22%的范围内时，属于正常范围；当比例在24.23%-35.71%的范围内时，判定为中风险；当比例超过35.71%的范围内时，判定为存在高风险。
根据本发明提供的大棚房风险识别方法，通过将样本图像处理成训练样本，为模型的训练提供基础。
可选地，利用所述多个训练样本分别对所述物品检测模型和所述比例识别模型进行训练，包括：
利用所述多个训练样本对待训练模型进行预训练，获取预训练模型；
将所述预训练模型的权重参数迁移至目标神经网络；
利用所述多个训练样本对所述目标神经网络进行训练，获取再训练模型，所述再训练模型为所述物品检测模型和所述比例识别模型中的任一个。
步骤1，将所述多个训练样本划分为训练集、验证集和测试集；训练集和验证集用于模型训练阶段神经网络模型，测试集用于对模型的最终的准确率进行测试；
步骤2，利用训练集分别对待训练模型进行预训练，获取初步训练的神经网络模型；所述神经网络模型为所述物品检测模型和所述比例识别模型中的任一个；
步骤3，利用验证集对初步训练的神经网络模型进行初步验证，获取初步训练的神经网络模型的初步训练损失值和验证集的初步验证准确率；
步骤4，迭代执行步骤2至步骤3，并在每次迭代的过程中，逐步增加回调函数，在确认初步训练损失值至少连续3次减少，并且初步验证准确率没有连续下降的情况下，直至达到预设次数，以获取预训练的神经网络模型，执行步骤5；
在初步训练损失值持续3次未减少或者初步验证准确率连续下降的情况下，则停止迭代，获取预训练的神经网络模型，执行步骤4；
步骤5，利用迁移学习的思想使用预训练权重，将预训练模型的权重参数迁移至目标神经网络，利用训练集对预训练的神经网络模型进行训练，增加迭代次数，保存每一轮的训练权重，不断优化模型。获取再训练的神经网络模型；
步骤6，利用验证集对再训练的神经网络模型进行再验证，获取再训练的神经网络模型的再训练损失值和验证集的再验证准确率；
步骤7，迭代执行步骤5至步骤6，并在每次迭代的过程中，逐步增加回调函数，在确认再训练损失值至少连续3次减少，并且在再验证准确率没有连续下降的情况下，直至达到预设次数，以获取训练好的神经网络模型；
在再训练损失值持续3次未减少或者再验证准确率连续下降的情况下，则停止迭代，获取训练好的神经网络模型。
图3是本发明提供的YOLOv5模型的mAP结果示意图，物品检测模型使用训练好的权重，对图像进行违禁物品检测，结果如图3所示；若检测出有违禁物品，则说明存在大棚房风险。最终模型测试的准确率达到97%以上。
图4是本发明提供的deeplabv3+模型的mIOU结果示意图，利用多个训练样本对比例识别模型进行训练和测试后，结果如图4所示，最终模型测试的准确率达到90%以上，可以准确分割出土壤和便道。
根据本发明提供的大棚房风险识别方法，针对样本量较小的特点，利用迁移学习的思想使用预训练权重进行训练，训练代价较小，配合下游任务可以实现更快的收敛速度，并且能够有效地提高模型性能。
进一步地，在步骤S2中，将所述待识别图像输入至图像检测模型，确定由所述图像检测模型输出的目标温室内的违禁物品的位置信息和种类信息，以及便道比例数据。
可选地，所述图像检测模型包括：物品检测模型和比例识别模型；
所述物品检测模型是基于目标检测模型构建的，用于对所述待识别图像进行目标检测，生成所述违禁物品的位置信息和种类信息；
所述比例识别模型是基于图像分割模型构建的，具体用于：
对所述待识别图像进行分割，确定所述待识别图像中的种植区域面积和非种植区域面积；
根据所述种植区域面积和所述非种植区域面积，生成所述便道比例数据。
种植区域面积和非种植区域面积均可以包括待识别图像中的位置以及像素面积。
在基本的大棚房识别方法中，识别大棚房是采用直接识别的方式，但是大棚房的判定有很多因素，并不是单纯的一项，直接识别大棚房会存在迁移性差、识别精度低等问题，因此，本发明提出了一种结合YOLOv5和DeepLabv3+的温室大棚房识别算法。
物品检测模型是基于YOLOv5目标检测模型构建的，比例识别模型是基于DeepLabv3+分割算法构建的。
YOLOv5模型在目标检测算法中检测的速度和准确率都十分优异。
根据本发明提供的大棚房风险识别方法，通过利用两个模型分别对违禁物品和便道比例进行检测，从而为判定大棚房的风险提供基础。
可选地，所述物品检测模型包括：骨干网络、特征金字塔网络和输出层；所述骨干网络包括多个CSP模块，所述CSP模块，用于对所述待识别图像进行下采样；
所述骨干网络，用于对所述待识别图像进行特征提取，确定多个层次的主干特征映射；
特征金字塔网络，用于对所述多个层次的主干特征映射进行上采样和特征融合，在所述待识别图像中包括违禁物品信息的情况下，生成所述违禁物品的位置信息和种类信息；
所述输出层，用于输出所述违禁物品的位置信息和种类信息。
将待识别图像输入物品检测模型后，使用CSPDarknet53骨干网络进行特征提取，其中包含了5个CSP模块，每个CSP模块前面的卷积核的大小都是3×3，步长（stride）为2，可以起到下采样的作用。
然后，在特征金字塔阶段进行特征融合，采用了FPN+PAN的PANet结构，FPN层自顶向下传达强语义特征，而PAN则自底向上传达强定位特征，两两联手，从不同的主干层对不同的检测层进行参数聚合。
最后，输出违禁物品的位置信息和种类信息。
比例识别模型引入了空洞卷积，能够在不损失信息的情况下，加大了感受野，让每个卷积输出都包含较大范围的信息。将待识别图像输入比例识别模型后，可以得到分割后的土壤与便道，进而获取土壤像素值和便道像素值，计算土壤和便道的比例，输出便道比例数据，其中，便道比例数据为便道这类非种植区占种植区的比例。
根据本发明提供的大棚房风险识别方法，基于机器视觉，采用目标检测与图像分割相结合的方法综合判定大棚房，有效地提高了大棚房判定的准确率。
进一步地，在步骤S3中，根据所述违禁物品的位置信息和种类信息，以及所述便道比例数据，确定所述目标温室为大棚房的风险等级；所述图像检测模型，是基于带有所述违禁物品的位置标签和种类标签，以及种植区域面积和非种植区域面积标签的样本图像训练后得到的。
将得到的比例与土壤便道比例的警戒值相比较，若通过图像中得出的土壤和便道的比例超过了警戒值，则说明存在大棚房风险。
风险等级可以根据违禁物品的数量和便道比例数据综合评定。
可选地，所述根据所述违禁物品的位置信息和种类信息，以及所述便道比例数据，确定所述目标温室为大棚房的风险等级，包括：
根据所述违禁物品的位置信息和种类信息，确定第一级别，并根据所述便道比例数据，确定第二级别；所述第一级别表征所述违禁物品导致所述目标温室为大棚房的风险，所述第二级别表征便道比例导致所述目标温室为大棚房的风险；
基于风险矩阵表，根据所述第一级别和第二级别，生成风险值；
根据所述风险值，确定所述目标温室为大棚房的风险等级。
违禁物品包括中风险物品和高风险物品。
第一级别包括：正常、中风险和高风险；第二级别包括：正常、中风险和高风险；例如，表3展示了第一级别评价清单，根据实际场景针对违禁物品黑名单分出正常、中风险、高风险3个等级。
表3 第一级别评价清单
Figure 865564DEST_PATH_IMAGE015
对于第二级别，若便道比例数据低于中度异常值，判定为低风险；若便道比例数据处于中度异常值和极度异常值之间，包括中度异常值和极度异常值，判定为中风险；若便道比例数据高于极度异常值，判定为高风险。
最后，采用风险矩阵分析法进行风险评估，公式如下：
Figure 481353DEST_PATH_IMAGE016
其中，R是风险值，两种模型识别出来的风险的结合；
Figure 712614DEST_PATH_IMAGE017
是根据物品检测模型输出 的物品种类确定的第一等级；
Figure 831880DEST_PATH_IMAGE018
是根据比例识别模型输出的便道比例数据确定的第二等 级；R值越大，说明大棚房风险越大。
表4是本发明提供的风险矩阵表，如表4所示，其中正常、中风险、高风险3个风险等级的权重分别为1、2、3。
表4 风险矩阵表
Figure 457771DEST_PATH_IMAGE019
表格中间为利用风险矩阵分析法计算的风险分值，即R。当R为1时，判定为无大棚房风险；R为2时，判定为低风险；R为3~4时，判定为中风险；R为6时，判定为高风险；R为9时，判定为目标温室内出现大棚房。
本发明提供的大棚房风险识别方法，通过对温室图像中的图像中的违禁物品和非耕种面积进行识别，进而自动根据识别结果高效地确定温室的大棚房风险等级，进而实现温室内撂荒、大棚房问题等自动预警，为蔬菜稳产保供、设施产业结构调整等提供数据支持。
图5是本发明提供的大棚房风险识别方法的流程示意图之二，如图5所示，包括：
首先，对初始图像进行数据预处理，具体包括：对30%的图像加入高斯噪声，对30%的图像进行对比度变换，对40%的图像进行镜像翻转、旋转、裁剪操作，得到样本图像。
一方面，为解决大棚内配备生活设施和堆放无关物品等情况的问题，通过人工筛选和标注，建立常见的违禁物品黑名单，并对样本图像中的违禁物品的位置和种类进行标注，得到多个训练样本；针对样本图像中的违禁物品种类，构建温室违禁物品的物品检测模型；采用YOLOv5目标检测方法检测黑名单中的违禁物品并注明其所属种类，实现违禁物品信息准确获取。
利用训练样本对物品检测模型进行训练，在训练完成后输入测试样本图像，在测试图像中存在违禁物品的情况下，物品检测模型输出的测试样本图像上带有违禁物品种类和位置，并根据违禁物品的种类判断风险的第一等级；在测试图像中不存在违禁物品的情况下，物品检测模型输出的测试样本图像上没有标记，第一等级为正常。
另一方面，为解决大棚内地面硬化、便道宽度超过60厘米的违建情况，建立温室便道的比例识别模型；并对样本图像中的土壤和便道，以及非种植面积占种植面积的比例进行标注，得到多个训练样本。
利用训练样本对比例识别模型进行训练，在训练完成后输入测试样本图像，比例识别模型采用DeepLabv3+图像分割模型进行土壤与便道的分割，计算图像中土壤和便道的比例，设定土壤硬化、便道违建警戒值，在比例大于警戒值的情况下，根据比例的值评判风险的第二等级，在比例不大于警戒值的情况下，第二等级为正常。
最后，利用风险矩阵，将第一比例和第二比例进行风险合成，得到风险等级，实现大棚房识别与预警。
下面对本发明提供的大棚房风险识别装置进行描述，下文描述的大棚房风险识别装置与上文描述的大棚房风险识别方法可相互对应参照。
图6是本发明提供的大棚房风险识别装置的结构示意图，如图6所示，包括：
获取模块601，用于获取目标温室内的待识别图像；
第一确定模块602，用于将所述待识别图像输入至图像检测模型，确定由所述图像检测模型输出的目标温室内的违禁物品的位置信息和种类信息，以及便道比例数据；
第二确定模块603，用于根据所述违禁物品的位置信息和种类信息，以及所述便道比例数据，确定所述目标温室为大棚房的风险等级；所述图像检测模型，是基于带有所述违禁物品的位置标签和种类标签，以及种植区域面积和非种植区域面积标签的样本图像训练后得到的。
在装置运行的过程中，获取模块601获取目标温室内的待识别图像；第一确定模块602将所述待识别图像输入至图像检测模型，确定由所述图像检测模型输出的目标温室内的违禁物品的位置信息和种类信息，以及便道比例数据；第二确定模块603根据所述违禁物品的位置信息和种类信息，以及所述便道比例数据，确定所述目标温室为大棚房的风险等级；所述图像检测模型，是基于带有所述违禁物品的位置标签和种类标签，以及种植区域面积和非种植区域面积标签的样本图像训练后得到的。
本发明提供的大棚房风险识别装置，通过对温室图像中的图像中的违禁物品和非耕种面积进行识别，进而自动根据识别结果高效地确定温室的大棚房风险等级，进而实现温室内撂荒、大棚房问题等自动预警，为蔬菜稳产保供、设施产业结构调整等提供数据支持。
图7是本发明提供的电子设备的结构示意图，如图7所示，该电子设备可以包括：处理器（processor）710、通信接口（Communications Interface）720、存储器（memory）730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行大棚房风险识别方法，该方法包括：获取目标温室内的待识别图像；将所述待识别图像输入至图像检测模型，确定由所述图像检测模型输出的目标温室内的违禁物品的位置信息和种类信息，以及便道比例数据；根据所述违禁物品的位置信息和种类信息，以及所述便道比例数据，确定所述目标温室为大棚房的风险等级；所述图像检测模型，是基于带有所述违禁物品的位置标签和种类标签，以及种植区域面积和非种植区域面积标签的样本图像训练后得到的。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的大棚房风险识别方法，该方法包括：获取目标温室内的待识别图像；将所述待识别图像输入至图像检测模型，确定由所述图像检测模型输出的目标温室内的违禁物品的位置信息和种类信息，以及便道比例数据；根据所述违禁物品的位置信息和种类信息，以及所述便道比例数据，确定所述目标温室为大棚房的风险等级；所述图像检测模型，是基于带有所述违禁物品的位置标签和种类标签，以及种植区域面积和非种植区域面积标签的样本图像训练后得到的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的大棚房风险识别方法，该方法包括：获取目标温室内的待识别图像；将所述待识别图像输入至图像检测模型，确定由所述图像检测模型输出的目标温室内的违禁物品的位置信息和种类信息，以及便道比例数据；根据所述违禁物品的位置信息和种类信息，以及所述便道比例数据，确定所述目标温室为大棚房的风险等级；所述图像检测模型，是基于带有所述违禁物品的位置标签和种类标签，以及种植区域面积和非种植区域面积标签的样本图像训练后得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种大棚房风险识别方法，其特征在于，包括：
获取目标温室内的待识别图像；
将所述待识别图像输入至图像检测模型，确定由所述图像检测模型输出的目标温室内的违禁物品的位置信息和种类信息，以及便道比例数据；
根据所述违禁物品的位置信息和种类信息，以及所述便道比例数据，确定所述目标温室为大棚房的风险等级；所述图像检测模型，是基于带有所述违禁物品的位置标签和种类标签，以及种植区域面积和非种植区域面积标签的样本图像训练后得到的。
2.根据权利要求1所述的大棚房风险识别方法，其特征在于，所述图像检测模型包括：物品检测模型和比例识别模型；
所述物品检测模型是基于目标检测模型构建的，用于对所述待识别图像进行目标检测，生成所述违禁物品的位置信息和种类信息；
所述比例识别模型是基于图像分割模型构建的，具体用于：
对所述待识别图像进行分割，确定所述待识别图像中的种植区域面积和非种植区域面积；
根据所述种植区域面积和所述非种植区域面积，生成所述便道比例数据。
3.根据权利要求2所述的大棚房风险识别方法，其特征在于，所述物品检测模型包括：骨干网络、特征金字塔网络和输出层；所述骨干网络包括多个CSP模块，所述CSP模块，用于对所述待识别图像进行下采样；
所述骨干网络，用于对所述待识别图像进行特征提取，确定多个层次的主干特征映射；
特征金字塔网络，用于对所述多个层次的主干特征映射进行上采样和特征融合，在所述待识别图像中包括违禁物品信息的情况下，生成所述违禁物品的位置信息和种类信息；
所述输出层，用于输出所述违禁物品的位置信息和种类信息。
4.根据权利要求1-3任一项所述的大棚房风险识别方法，其特征在于，所述根据所述违禁物品的位置信息和种类信息，以及所述便道比例数据，确定所述目标温室为大棚房的风险等级，包括：
根据所述违禁物品的位置信息和种类信息，确定第一级别，并根据所述便道比例数据，确定第二级别；所述第一级别表征所述违禁物品导致所述目标温室为大棚房的风险，所述第二级别表征便道比例导致所述目标温室为大棚房的风险；
基于风险矩阵表，根据所述第一级别和第二级别，生成风险值；
根据所述风险值，确定所述目标温室为大棚房的风险等级。
5.根据权利要求2或3所述的大棚房风险识别方法，其特征在于，在所述将所述待识别图像输入至图像检测模型，确定由所述图像检测模型输出的目标温室内的违禁物品的位置信息和种类信息，以及便道比例数据之前，还包括：
获取多个样本图像；
在任一样本图像中包括违禁物品信息的情况下，确定所述任一样本图像中违禁物品的位置标签、种类标签，并确定所述任一样本图像中的样本种植区域面积和样本非种植区域面积标签；
将所述任一样本图像，以及所述任一样本图像的位置标签、种类标签，以及样本种植区域面积和样本非种植区域面积标签的组合作为一个训练样本，以获取多个训练样本；
利用所述多个训练样本分别对所述物品检测模型和所述比例识别模型进行训练。
6.根据权利要求5所述的大棚房风险识别方法，其特征在于，利用所述多个训练样本分别对所述物品检测模型和所述比例识别模型进行训练，包括：
利用所述多个训练样本对待训练模型进行预训练，获取预训练模型；
将所述预训练模型的权重参数迁移至目标神经网络；
利用所述多个训练样本对所述目标神经网络进行训练，获取再训练模型，所述再训练模型为所述物品检测模型和所述比例识别模型中的任一个。
7.根据权利要求6所述的大棚房风险识别方法，其特征在于，所述获取多个样本图像，包括：
获取温室内的多个初始图像；
对每个初始图像进行样本扩增，获取多个扩增图像；
在至少一个扩增图像中加入高斯噪声，获取多个样本图像。
8.一种大棚房风险识别装置，其特征在于，包括：
获取模块，用于获取目标温室内的待识别图像；
第一确定模块，用于将所述待识别图像输入至图像检测模型，确定由所述图像检测模型输出的目标温室内的违禁物品的位置信息和种类信息，以及便道比例数据；
第二确定模块，用于根据所述违禁物品的位置信息和种类信息，以及所述便道比例数据，确定所述目标温室为大棚房的风险等级；所述图像检测模型，是基于带有所述违禁物品的位置标签和种类标签，以及种植区域面积和非种植区域面积标签的样本图像训练后得到的。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述大棚房风险识别方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述大棚房风险识别方法。
CN202310031279.9A 2023-01-10 2023-01-10 大棚房风险识别方法、装置、电子设备及存储介质 Active CN115761460B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310031279.9A CN115761460B (zh) 2023-01-10 2023-01-10 大棚房风险识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310031279.9A CN115761460B (zh) 2023-01-10 2023-01-10 大棚房风险识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115761460A true CN115761460A (zh) 2023-03-07
CN115761460B CN115761460B (zh) 2023-08-01

Family

ID=85348866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310031279.9A Active CN115761460B (zh) 2023-01-10 2023-01-10 大棚房风险识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115761460B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3036578A1 (fr) * 2015-06-01 2016-12-02 Julien Sylvestre Systeme de gestion multi-serres
CN110210355A (zh) * 2019-05-24 2019-09-06 华南农业大学 稻田杂草种类识别方法及系统、目标位置检测方法及系统
CN110738133A (zh) * 2019-09-23 2020-01-31 中科禾信遥感科技（苏州）有限公司 不同农业设施图像轮廓边界识别方法和装置
CN110751079A (zh) * 2019-10-16 2020-02-04 北京海益同展信息科技有限公司 物品检测方法、装置、系统和计算机可读存储介质
CN111539403A (zh) * 2020-07-13 2020-08-14 航天宏图信息技术股份有限公司 农业大棚的识别方法、装置及电子设备
CN113450402A (zh) * 2021-07-16 2021-09-28 天津理工大学 用于蔬菜大棚巡检机器人的导航中心线提取方法
CN114387517A (zh) * 2022-01-11 2022-04-22 中国矿业大学(北京) 一种基于高分辨率遥感影像的温室大棚智能提取方法
DE202022102591U1 (de) * 2022-05-12 2022-06-27 Deepak Batham System zur Überwachung des Gesundheitszustands von Pflanzen in der Präzisionslandwirtschaft mittels Bildverarbeitung und Faltungsneuronalem Netz

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3036578A1 (fr) * 2015-06-01 2016-12-02 Julien Sylvestre Systeme de gestion multi-serres
CN110210355A (zh) * 2019-05-24 2019-09-06 华南农业大学 稻田杂草种类识别方法及系统、目标位置检测方法及系统
CN110738133A (zh) * 2019-09-23 2020-01-31 中科禾信遥感科技（苏州）有限公司 不同农业设施图像轮廓边界识别方法和装置
CN110751079A (zh) * 2019-10-16 2020-02-04 北京海益同展信息科技有限公司 物品检测方法、装置、系统和计算机可读存储介质
CN111539403A (zh) * 2020-07-13 2020-08-14 航天宏图信息技术股份有限公司 农业大棚的识别方法、装置及电子设备
CN113450402A (zh) * 2021-07-16 2021-09-28 天津理工大学 用于蔬菜大棚巡检机器人的导航中心线提取方法
CN114387517A (zh) * 2022-01-11 2022-04-22 中国矿业大学(北京) 一种基于高分辨率遥感影像的温室大棚智能提取方法
DE202022102591U1 (de) * 2022-05-12 2022-06-27 Deepak Batham System zur Überwachung des Gesundheitszustands von Pflanzen in der Präzisionslandwirtschaft mittels Bildverarbeitung und Faltungsneuronalem Netz

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
宋灿 等: "针对遥感图像大棚提取的深度学习模型研究", 《微电子学与计算机》, pages 51 - 56 *
李晨东 等: "农业温室大棚的火灾检测算法研究", 《电子设计工程》, pages 32 - 35 *

Also Published As

Publication number Publication date
CN115761460B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
Malambo et al. Automated detection and measurement of individual sorghum panicles using density-based clustering of terrestrial lidar data
Lindsay et al. Distinguishing actual and artefact depressions in digital elevation data
Pitkänen et al. Adaptive methods for individual tree detection on airborne laser based canopy height model
Tarolli et al. High-resolution morphologic characterization of conservation agriculture
Rizeei et al. Oil palm counting and age estimation from WorldView‐3 imagery and LiDAR data using an integrated OBIA height model and regression analysis
Gleason et al. Forest biomass estimation from airborne LiDAR data using machine learning approaches
Sofia et al. High‐resolution topography and anthropogenic feature extraction: Testing geomorphometric parameters in floodplains
Koukoulas et al. Mapping individual tree location, height and species in broadleaved deciduous forest using airborne LIDAR and multi‐spectral remotely sensed data
US8897483B2 (en) System and method for inventorying vegetal substance
Sofia et al. Metrics for quantifying anthropogenic impacts on geomorphology: road networks
Giuliani et al. Using crowdsourced web content for informing water systems operations in snow-dominated catchments
CN109186706A (zh) 一种用于城市雨洪淹没区预警的方法
Gleason et al. A Fusion Approach for Tree Crown Delineation from Lidar Data.
Malinowski et al. Local-scale flood mapping on vegetated floodplains from radiometrically calibrated airborne LiDAR data
Buján et al. Classification of rural landscapes from low-density lidar data: is it theoretically possible?
Geerling et al. Mapping river floodplain ecotopes by segmentation of spectral (CASI) and structural (LiDAR) remote sensing data
Malinowski et al. Mapping rill soil erosion in agricultural fields with UAV‐borne remote sensing data
CN112241844B (zh) 饮用水水源地环境风险源本底清单确定及更新方法和装置
Tesfamichael et al. A semi-variogram approach for estimating stems per hectare in Eucalyptus grandis plantations using discrete-return lidar height data
Liu et al. Mapping detention basins and deriving their spatial attributes from airborne LiDAR data for hydrological applications
CN111666914B (zh) 基于曲线间距离的耕地识别方法、系统、设备及存储介质
Nelson et al. Spatial statistical techniques for aggregating point objects extracted from high spatial resolution remotely sensed imagery
CN115761460A (zh) 大棚房风险识别方法、装置、电子设备及存储介质
Strobl et al. Comparison of the feasibility of three flood‐risk extent delineation techniques using Geographic Information System: case study in T avoliere d elle P uglie, I taly
Gruszczyński et al. Correction of low vegetation impact on UAV-derived point cloud heights with U-Net networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant