CN113239877B - 基于计算机视觉的农田监测方法及其相关设备 - Google Patents

基于计算机视觉的农田监测方法及其相关设备 Download PDF

Info

Publication number
CN113239877B
CN113239877B CN202110610499.8A CN202110610499A CN113239877B CN 113239877 B CN113239877 B CN 113239877B CN 202110610499 A CN202110610499 A CN 202110610499A CN 113239877 B CN113239877 B CN 113239877B
Authority
CN
China
Prior art keywords
animal
frame
coordinate
category
sound generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110610499.8A
Other languages
English (en)
Other versions
CN113239877A (zh
Inventor
李佳琳
王健宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202110610499.8A priority Critical patent/CN113239877B/zh
Publication of CN113239877A publication Critical patent/CN113239877A/zh
Application granted granted Critical
Publication of CN113239877B publication Critical patent/CN113239877B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M29/00—Scaring or repelling devices, e.g. bird-scaring apparatus
    • A01M29/16—Scaring or repelling devices, e.g. bird-scaring apparatus using sound waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Birds (AREA)
  • Insects & Arthropods (AREA)
  • Pest Control & Pesticides (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Environmental Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例属于人工智能领域，应用于智慧安防领域中，涉及一种基于计算机视觉的农田监测方法，包括利用摄像机实时采集农田的监控图像，将监控图像传输至神经网络模型，当监控图像中出现动物时，利用神经网络模型识别出动物类型，并确定动物位置，根据动物位置计算出离动物最近的发声装置，根据动物类型驱使发声装置发出与动物类型对应的驱赶声音，对动物进行驱赶。本申请还提供一种基于计算机视觉的农田监测装置、计算机设备及存储介质。此外，本申请还涉及区块链技术，监控图像可存储于区块链中。本申请可以提高识别动物的精准性，提升驱赶动物的效果，保证农作物不受侵害。

Description

基于计算机视觉的农田监测方法及其相关设备
技术领域
本申请涉及人工智能技术领域，尤其涉及一种基于计算机视觉的农田监测方法及其相关设备。
背景技术
农田是农业的重要组成部分，在夏季或秋季庄稼成熟之际，农田往往会集结大量的鸟类及其它危害农作物的动物，这些鸟兽大量吞食或破坏成熟的农作物，给农业生产造成巨大的损失。传统常用的驱赶侵害农作物动物的方法包括下述几种：1、在农田里放置或喷洒各种农药；2、采取人工驱逐或者安装栅栏的方法；3、在农田里放置稻草人或能在风中水平波动的带状或线状材料制成的动物防止器。但上述的方法均存在一些问题：首先，在农田里放置或喷洒农药会对农作物有一定的负面影响，可能会影响农作物产量和质量，严重地甚至造成农作物的死亡；其次，若采取人工驱逐破坏农作物的动物或安装栅栏保护，农田覆盖面积很大，既浪费大量的时间和精力又很难达到满意的效果；若是采用稻草人之类的动物防止器，虽然可在一段时间内收到一定的效果，但由于这些装置的形象不够生动也不能活动，无法让动物长时间的产生恐惧心理，所以放置的时间长了，动物还是可以意识到这些装置是安全无害的，无法对动物起到真正的惊吓、驱赶作用。
发明内容
本申请实施例的目的在于提出一种基于计算机视觉的农田监测方法及其相关设备，以解决相关技术中动物驱赶过程中费时费力且效果不佳的技术问题。
为了解决上述技术问题，本申请实施例提供一种基于计算机视觉的农田监测方法，采用了如下所述的技术方案：
利用摄像机实时采集农田的监控图像；
将所述监控图像传输至神经网络模型，当所述监控图像中出现动物时，利用所述神经网络模型识别出动物类型，并确定动物位置；
根据所述动物位置计算出离所述动物最近的发声装置；
根据所述动物类型驱使所述发声装置发出与所述动物类型对应的驱赶声音，对所述动物进行驱赶。
进一步的，所述利用所述神经网络模型识别出动物类型，并确定动物位置的步骤包括：
通过所述神经网络模型对所述监控图像进行特征提取，输出特征张量；
根据所述特征张量确定所述动物类型和所述动物位置。
进一步的，所述通过所述神经网络模型对所述监控图像进行特征提取，输出特征张量的步骤包括：
将所述监控图像划分为S*S个网格，并为每个所述网格配置B个预测边框，其中，所述S和B都为大于零的自然数；
对所述监控图像执行卷积池化操作，得到S*S个与所述网格对应的N维特征向量，其中，N为大于零的自然数，所述N维特征向量包含所述神经网络模型支持识别的每种动物类别的类别概率、B个所述预测边框的边框坐标以及B个所述预测边框的边框置信度；
将S*S个所述N维特征向量拼接得到S*S*N的特征张量，并进行输出。
进一步的，所述对所述监控图像执行卷积池化操作，得到S*S个与所述网格对应的N维特征向量的步骤包括：
通过卷积池化操作为每个所述网格生成与每个所述网格对应的B个所述预测边框，并预测得到每个所述预测边框对应的边框置信度和每种动物类别的类别概率；
根据所述类别概率和所述边框置信度计算出每种所述动物类别对应每个所述预测边框的置信分数；
遍历每种动物类别，将所述置信分数低于第一预设阈值的预测边框去除，得到候选边框，并采用非极大值抑制算法去除不满足预设条件的候选边框，得到当前动物类别对应的输出边框；
将所述输出边框对应的所述边框坐标、所述动物类别编码至所述N维特征向量中。
进一步的，所述采用非极大值抑制算法去除不满足预设条件的候选边框，得到当前动物类别对应的输出边框的步骤包括：
获取当前遍历到的所述动物类别中置信分数最高的候选边框作为目标边框，计算当前所述动物类别中除所述目标边框之外的每个所述候选边框与所述目标边框的交并比；
将所述交并比大于第二预设阈值所对应的所述候选边框去除，得到包括所述目标边框的输出边框。
进一步的，所述根据所述位置信息计算出离所述动物最近的发声装置的步骤包括：
基于所述动物位置得到所述动物的第一坐标，并获取所述发声装置的第二坐标；
根据所述第一坐标和所述第二坐标，计算得到所述动物与所述发声装置之间的距离；
根据所述距离确定离所述动物最近的所述发声装置。
进一步的，在所述根据所述动物类型驱使所述发声装置发出与所述动物类型对应的驱赶声音，对所述动物进行驱赶的步骤之后还包括：
通知农田管理员发出驱赶声音的所述发声装置的位置。
为了解决上述技术问题，本申请实施例还提供一种基于计算机视觉的农田监测装置，采用了如下所述的技术方案：
采集模块，用于利用摄像机实时采集农田的监控图像；
识别模块，用于将所述监控图像传输至神经网络模型，当所述监控图像中出现动物时，利用所述神经网络模型识别出动物类型，并确定动物位置；
计算模块，用于根据所述动物位置计算出离所述动物最近的发声装置；
驱赶模块，用于根据所述动物类型驱使所述发声装置发出与所述动物类型对应的驱赶声音，对所述动物进行驱赶。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
该计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上所述的基于计算机视觉的农田监测方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的基于计算机视觉的农田监测方法的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：
本申请利用摄像机实时采集农田的监控图像，将监控图像传输至神经网络模型，当监控图像中出现动物时，利用神经网络模型识别出动物类型，并确定动物位置，根据动物位置计算出离动物最近的发声装置，根据动物类型驱使发声装置发出与动物类型对应的驱赶声音，对动物进行驱赶；本申请通过利用计算机视觉以及神经网络系统识别动物，计算动物与最近的发声装置的距离，根据动物类型驱使该发声装置发出对应的驱赶声音驱赶动物，可以提高识别动物的精准性，提升驱赶动物的效果，保证农作物不受侵害，同时，节约了大量人力物力资源。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图；
图2根据本申请的基于计算机视觉的农田监测方法的一个实施例的流程图；
图3是本申请中YOLO神经网络模型的结构示意图；
图4是图2中步骤S202的一种具体实施方式的流程图；
图5是图4中步骤S402的一种具体实施方式的流程图；
图6是本申请中发声装置的结构示意图；
图7图2中步骤S203的一种具体实施方式的流程图；
图8是根据本申请的基于计算机视觉的农田监测装置的一个实施例的结构示意图；
图9是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
为了解决相关技术中动物驱赶过程中费时费力且效果不佳的问题，本申请提供了一种基于计算机视觉的农田监测方法，涉及人工智能图像识别，可以应用于如图1所示的系统架构100中，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的基于计算机视觉的农田监测方法一般由终端设备执行，相应地，基于计算机视觉的农田监测装置一般设置于终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的基于计算机视觉的农田监测的方法的一个实施例的流程图，包括以下步骤：
步骤S201，利用摄像机实时采集农田的监控图像。
将摄像机安装在农田中，摄像机可以安装多个，同时，考虑到摄像机存在最大视场的问题，可以将摄像机放置在农田的角落，并且可以通过蓝牙设备或者wifi与计算机进行连接。
通过摄像机实时采集农田的监控图像，将监控图像通过蓝牙设备或者wifi上传至计算机。需要说明的是，摄像机实时对农田进行监控，监控图像是将摄像机采集的视频分解成帧得到。
需要强调的是，为进一步保证监控图像的私密和安全性，上述监控图像还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
步骤S202，将监控图像传输至神经网络模型，当监控图像中出现动物时，利用神经网络模型识别出动物类型，并确定动物位置。
在本实施例中，神经网络模型设置在计算机上，神经网络模型具体为YOLO(YouOnly Look Once:Unified,Real-Time Object Detection)神经网络模型，是基于单个神经网络的目标检测模型。
具体地，将监控图像传输至YOLO神经网络模型，通过YOLO神经网络模型对监控图像进行特征提取，输出特征张量，根据特征张量确定动物类型和动物位置。
本实施例通过神经网络模型识别监控图像中的动物类型并确定动物位置，可以提高动物识别的准确率。
YOLO神经网络模型包括网格处理层、多个卷积与池化层以及全连接层，YOLO神经网络模型的结构示意图具体参见图3所示。应当理解，YOLO神经网络中卷积层与池化层最后连接全连接层，全连接层是要求固定大小的向量作为输入，也就要求原始图像有固定的尺寸，因此需要将图像设置为统一大小，例如，将图像剪切为448*448作为输入图像。
作为一种具体的实现方式，通过神经网络模型对监控图像进行特征提取，输出特征张量的步骤如下：
步骤S401，将监控图像划分为S*S个网格，并为每个网格配置B个预测边框，其中，S和B都为大于零的自然数。
具体地，将监控图像输入神经网络模型中，通过神经网络模型的网格处理层将监控图像划分为S*S个网格，并为每个网格配置B个预测边框(bounding box)，预测边框的作用为预测对应网格中对象的位置。
步骤S402，对监控图像执行卷积池化操作，得到S*S个与网格对应的N维特征向量，其中，N为大于零的自然数，N维特征向量包含神经网络模型支持识别的每种动物类别的类别概率、B个预测边框的边框坐标以及B个预测边框的边框置信度。
在本实施例中，卷积池化层包括卷积层和池化层，通过卷积层的卷积操作进行特征提取，池化层降低特征的维度，提高运算速度。将监控图像划分网格后，对每个网格执行卷积池化操作，到S*S个与网格对应的N维特征向量。
需要说明的是，N维特征向量是根据神经网络模型的结构得到的，本实施例则需要将通过卷积池化操作得到的每个网格对应的每种动物类别的类别概率、预测边框的边框坐标以及预测边框的边框置信度编码至与网格对应的N维特征向量中。
在本实施例中，N＝C+B*(4+1)，其中，“4”为单个网格对应的其中一个预测边框所预测得到的4个坐标值(x,y,w,h)，(x,y)为预测边框的中心坐标，(w,h)为预测边框的宽度和高度；“1”为预测边框的边框置信度，边框置信度表示该单个网格对应的预测边框中是否存在对象，置信度高表示该网格存在一个对象且位置比较准确，置信度低表示可能没有对象或者即便有对象也存在较大的位置偏差；C为神经网络模型支持识别的动物类别。
在本实施例的一些可选的实现方式中，对监控图像执行卷积池化操作，得到S*S个与网格对应的N维特征向量的步骤具体如下：
步骤S501，通过卷积池化操作为每个网格生成与每个网格对应的B个预测边框，并预测得到每个预测边框对应的边框置信度和每种动物类别的类别概率。
在本实施例中，将监控图像划分为S*S个网格，并为每个网格配置B个预测边框，则在卷积池化操作过程中，需要为每个网格预测出B个预测边框的边框坐标和边框置信度。
其中，边框置信度表示的是预测边框内有无对象的概率，并不预测对象属于哪个类别，边框置信度的计算公式如下：
其中，Pr(Object)表示预测边框内存在对象的概率，有对象存在则为1，无对象存在，则为0；表示预测边框与对象真实边框的IOU(Intersection over Union，交并比)，体现了预测边框与真实边框的接近程度。
步骤S502，根据类别概率和边框置信度计算出每种动物类别对应每个预测边框的置信分数。
具体地，计算出每种动物类别对应的每个预测边框的置信分数采用如下计算公式：
Scoreij＝Pi*Confidencej
其中，Scoreij表示每个网格中动物类别i位于第j个预测边框的分数；Pi表示C种动物类别中动物类别i的类别概率，Confidencej表示动物类别i在第j个预测边框的边框置信度。
步骤S503，遍历每种动物类别，将置信分数低于第一预设阈值的预测边框去除，得到候选边框，并采用非极大值抑制算法去除不满足预设条件的候选边框，得到当前动物类别对应的输出边框。
在本实施例中，每种动物类别都设置其对应的第一预设阈值，遍历每种动物类别，将置信分数低于第一预设阈值的预测边框去除，得到候选边框，对候选边框进行非极大值抑制计算，得到最终的输出边框。
本实施例通过对每个网格执行卷积池化操作，可以提高运算效率。
作为一种具体的实现方式，采用非极大值抑制算法去除不满足预设条件的候选边框，得到当前动物类别对应的输出边框的步骤具体如下：
获取当前遍历到的动物类别中置信分数最高的候选边框作为目标边框，计算当前动物类别中除目标边框之外的每个候选边框与目标边框的交并比。
将交并比大于第二预设阈值所对应的候选边框去除，得到包括目标边框的输出边框。
具体地，交并比为候选边框与目标边框交集和并集的比值，交并比越大，说明候选边框与目标边框重叠区域越多，与目标边框越接近，则可以将该候选边框去除，留下置信分数更高的目标边框，这样识别对象的准确率越高。
本实施例通过采用非极大值抑制算法确定输出结果，可以进一步提高图像识别的准确率。
步骤S403，将S*S个N维特征向量拼接得到S*S*N的特征张量，并进行输出。
在本实施例中，卷积池化层连接着全连接层，通过全连接层将S*S个N维特征向量进行拼接得到S*S*N的特征张量，也就是通过全连接层将每个网格对应的特征向量进行整合拼接为一个完整的特征张量，特征张量中包含输出边框的边框坐标和对应的动物类别，根据边框坐标和动物类别可以确定出监控图像中动物的动物类型和动物位置。
步骤S203，根据动物位置计算出离动物最近的发声装置。
在本实施例中，发声装置预先放置在农田里面，每个发声装置之间的距离可以相等设置，且摄像机和发声装置的位置是静态的，具体参见图6所示，可以通过计算出动物与摄像机的距离来确定离动物最近的发声装置，实现的步骤具体如下：
步骤S701，基于动物位置得到动物的第一坐标，并获取发声装置的第二坐标。
根据神经网络模型输出的特征张量确定出动物的动物位置，动物位置中包含有动物的第一坐标，由于监控图像是实时进行采集的，因此，第一坐标为动物的实时坐标。
在本实施例中，发声装置是静态设置在农田中的，其坐标也可以预先进行设置。
步骤S702，根据第一坐标和第二坐标，计算得到动物与发声装置之间的距离。
作为一种具体的实现方式，可以根据欧式定理计算动物与每个发声装置之间的距离，采用的的公式如下：
其中，x1，y1分别是动物的第一坐标，x2，y2分别是不同发声装置的第二坐标。
步骤S703，根据距离确定离动物最近的所述发声装置。
在本实施例中，计算出动物与每个发声装置的距离后，则可以确定距离动物最近的发声装置。
本实施例通过计算出动物与每个发声装置的距离，根据距离可以直接确定出距监测到动物的最近发声装置，可以提高计算效率。
步骤S204，根据动物类型驱使发声装置发出与动物类型对应的驱赶声音，对动物进行驱赶。
由于不同的动物会害怕不同的声音，例如猴子喜欢吱吱和唧唧的声音，如果发声装置播放的声音是某些动物所喜欢的声音，那么可能会起到相反的效果，为了防止这种事件的发生，可以提前在发声装置内设置多种不同的声音，根据YOLO神经网络中判别的动物类型驱使发声装置发出不同的声音，例如，当入侵的动物判断为猴子时，播放它不喜欢的声音进行驱赶，增加驱赶的成功率。
本申请通过利用摄像机实时采集农田的监控图像，将监控图像传输至神经网络模型，当监控图像中出现动物时，利用神经网络模型识别出动物的动物类型，并确定动物的动物位置，根据动物位置计算出离动物最近的发声装置，根据动物类型驱使发声装置发出与动物类型对应的驱赶声音，对动物进行驱赶；本申请通过计算机视觉以及神经网络系统识别动物，计算动物与最近的发声装置的距离，根据动物类型驱使该发声装置发出对应的驱赶声音驱赶动物，可以提高识别动物的精准性，提升驱赶动物的效果，保证农作物不受侵害，同时，节约了大量人力物力资源。
在本实施例的一些可选的实现方式中，在步骤204之后，还可以执行以下步骤：
通知农田管理员发出驱赶声音的发声装置的位置。
为了进一步增加驱赶的成功率，可以根据哪个扬声器发出声音，提醒农田管理员入侵动物的大致位置，方便他们进行驱赶，这样还可以节省人力。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本申请可应用于智慧安防领域中，从而推动智慧城市的建设。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图8，作为对上述图2所示方法的实现，本申请提供了一种基于计算机视觉的农田监测装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图8所示，本实施例所述的基于计算机视觉的农田监测装置800包括：采集模块801、识别模块802、计算模块803以及驱赶模块804。其中：
采集模块801用于利用摄像机实时采集农田的监控图像；
识别模块802用于将所述监控图像传输至神经网络模型，当所述监控图像中出现动物时，利用所述神经网络模型识别出动物类型，并确定动物位置；
计算模块803用于根据所述动物位置计算出离所述动物最近的发声装置；
驱赶模块804用于根据所述动物类型驱使所述发声装置发出与所述动物类型对应的驱赶声音，对所述动物进行驱赶。
需要强调的是，为进一步保证监控图像的私密和安全性，上述监控图像还可以存储于一区块链的节点中。
上述基于计算机视觉的农田监测装置，通过利用计算机视觉以及神经网络系统识别动物，计算动物与最近的发声装置的距离，根据动物类型驱使该发声装置发出对应的驱赶声音驱赶动物，可以提高识别动物的精准性，提升驱赶动物的效果，保证农作物不受侵害，同时，节约了大量人力物力资源。
在本实施例中，识别模块802包括特征提取子模块和确定子模块，特征提取子模块用于通过所述神经网络模型对所述监控图像进行特征提取，输出特征张量；确定子模块用于根据所述特征张量确定所述动物类型和所述动物位置。
本实施例通过神经网络模型识别监控图像中的动物类型并确定动物位置，可以提高动物识别的准确率。
在本实施例的一些可选的实现方式中，特征提取子模块包括网格单元、卷积池化单元和输出单元，网格单元用于将所述监控图像划分为S*S个网格，并为每个所述网格配置B个预测边框，其中，S和B都为大于零的自然数；卷积池化单元用于对所述监控图像执行卷积池化操作，得到S*S个与所述网格对应的N维特征向量，其中，N为大于零的自然数，所述N维特征向量包含所述神经网络模型支持识别的每种动物类别的类别概率、B个所述预测边框的边框坐标以及B个所述预测边框的边框置信度；输出单元用于将S*S个所述N维特征向量拼接得到S*S*N的特征张量，并进行输出。
在本实施例中，卷积池化单元进一步用于：
通过卷积池化操作为每个所述网格生成与每个所述网格对应的B个所述预测边框，并预测得到每个所述预测边框对应的边框置信度和每种动物类别的类别概率；
根据所述类别概率和所述边框置信度计算出每种所述动物类别对应每个所述预测边框的置信分数；
遍历每种动物类别，将所述置信分数低于第一预设阈值的预测边框去除，得到候选边框，并采用非极大值抑制算法去除不满足预设条件的候选边框，得到当前动物类别对应的输出边框；
将所述输出边框对应的所述边框坐标、所述动物类别编码至所述N维特征向量中。
本实施例通过对每个网格执行卷积池化操作，可以提高运算效率。
在本实施例中，卷积池化单元还进一步用于：
获取当前遍历到的所述动物类别中置信分数最高的候选边框作为目标边框，计算当前所述动物类别中除所述目标边框之外的每个所述候选边框与所述目标边框的交并比；
将所述交并比大于第二预设阈值所对应的所述候选边框去除，得到包括所述目标边框的输出边框。
本实施例通过采用非极大值抑制算法确定输出结果，可以进一步提高图像识别的准确率。
在本实施例的一些可选的实现方式中，计算模块803进一步用于：
基于所述动物位置得到所述动物的第一坐标，并获取所述摄像机的第二坐标；
根据所述第一坐标和所述第二坐标，计算得到所述动物与所述发声装置之间的距离；
根据所述距离确定离所述动物最近的所述发声装置。
本实施例通过计算出动物与每个发声装置的距离，根据距离可以直接确定出距监测到动物的最近发声装置，可以提高计算效率。
在本实施例中，基于计算机视觉的农田监测装置800还包括通知模块，用于通知农田管理员发出驱赶声音的所述发声装置的位置。
本实施例通过通知农田管理员可以进一步增加驱赶的成功率。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图9，图9为本实施例计算机设备基本结构框图。
所述计算机设备9包括通过系统总线相互通信连接存储器91、处理器92、网络接口93。需要指出的是，图中仅示出了具有组件91-93的计算机设备9，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器91至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器91可以是所述计算机设备9的内部存储单元，例如该计算机设备9的硬盘或内存。在另一些实施例中，所述存储器91也可以是所述计算机设备9的外部存储设备，例如该计算机设备9上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器91还可以既包括所述计算机设备9的内部存储单元也包括其外部存储设备。本实施例中，所述存储器91通常用于存储安装于所述计算机设备9的操作系统和各类应用软件，例如基于计算机视觉的农田监测方法的计算机可读指令等。此外，所述存储器91还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器92在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器92通常用于控制所述计算机设备9的总体操作。本实施例中，所述处理器92用于运行所述存储器91中存储的计算机可读指令或者处理数据，例如运行所述基于计算机视觉的农田监测方法的计算机可读指令。
所述网络接口93可包括无线网络接口或有线网络接口，该网络接口93通常用于在所述计算机设备9与其他电子设备之间建立通信连接。
本实施例通过处理器执行存储在存储器的计算机可读指令时实现如上述实施例基于计算机视觉的农田监测方法的步骤，通过利用计算机视觉以及神经网络系统识别动物，计算动物与最近的发声装置的距离，根据动物类型驱使该发声装置发出对应的驱赶声音驱赶动物，可以提高识别动物的精准性，提升驱赶动物的效果，保证农作物不受侵害，同时，节约了大量人力物力资源。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于计算机视觉的农田监测方法的步骤，通过利用计算机视觉以及神经网络系统识别动物，计算动物与最近的发声装置的距离，根据动物类型驱使该发声装置发出对应的驱赶声音驱赶动物，可以提高识别动物的精准性，提升驱赶动物的效果，保证农作物不受侵害，同时，节约了大量人力物力资源。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (8)

1.一种基于计算机视觉的农田监测方法，其特征在于，包括下述步骤：
利用摄像机实时采集农田的监控图像；
将所述监控图像传输至神经网络模型，所述神经网络模型包括网格处理层、多个卷积与池化层以及全连接层；
当所述监控图像中出现动物时，通过所述网格处理层、所述多个卷积与池化层和所述全连接层对所述监控图像进行特征提取，输出特征张量；
根据所述特征张量确定所述动物类型和所述动物位置，所述动物位置中包含有动物的第一坐标；
根据所述动物位置计算出离所述动物最近的发声装置；
根据所述动物类型驱使所述发声装置发出与所述动物类型对应的驱赶声音，对所述动物进行驱赶；
其中，所述根据所述位置信息计算出离所述动物最近的发声装置的步骤包括：
基于所述动物位置得到所述动物的第一坐标，并获取所述发声装置的第二坐标；
根据所述第一坐标和所述第二坐标，计算得到所述动物与所述发声装置之间的距离，采用如下计算公式：其中，x1，y1分别是动物的第一坐标，x2，y2分别是不同发声装置的第二坐标；
根据所述距离确定离所述动物最近的所述发声装置。
2.根据权利要求1所述的基于计算机视觉的农田监测方法，其特征在于，所述通过所述神经网络模型对所述监控图像进行特征提取，输出特征张量的步骤包括：
将所述监控图像划分为S*S个网格，并为每个所述网格配置B个预测边框，其中，所述S和B都为大于零的自然数；
对所述监控图像执行卷积池化操作，得到S*S个与所述网格对应的N维特征向量，其中，N为大于零的自然数，所述N维特征向量包含所述神经网络模型支持识别的每种动物类别的类别概率、B个所述预测边框的边框坐标以及B个所述预测边框的边框置信度；
将S*S个所述N维特征向量拼接得到S*S*N的特征张量，并进行输出。
3.根据权利要求2所述的基于计算机视觉的农田监测方法，其特征在于，所述对所述监控图像执行卷积池化操作，得到S*S个与所述网格对应的N维特征向量的步骤包括：
通过卷积池化操作为每个所述网格生成与每个所述网格对应的B个所述预测边框，并预测得到每个所述预测边框对应的边框置信度和每种动物类别的类别概率；
根据所述类别概率和所述边框置信度计算出每种所述动物类别对应每个所述预测边框的置信分数；
遍历每种动物类别，将所述置信分数低于第一预设阈值的预测边框去除，得到候选边框，并采用非极大值抑制算法去除不满足预设条件的候选边框，得到当前动物类别对应的输出边框；
将所述输出边框对应的所述边框坐标、所述动物类别编码至所述N维特征向量中。
4.根据权利要求3所述的基于计算机视觉的农田监测方法，其特征在于，所述采用非极大值抑制算法去除不满足预设条件的候选边框，得到当前动物类别对应的输出边框的步骤包括：
获取当前遍历到的所述动物类别中置信分数最高的候选边框作为目标边框，计算当前所述动物类别中除所述目标边框之外的每个所述候选边框与所述目标边框的交并比；
将所述交并比大于第二预设阈值所对应的所述候选边框去除，得到包括所述目标边框的输出边框。
5.根据权利要求1所述的基于计算机视觉的农田监测方法，其特征在于，在所述根据所述动物类型驱使所述发声装置发出与所述动物类型对应的驱赶声音，对所述动物进行驱赶的步骤之后还包括：
通知农田管理员发出驱赶声音的所述发声装置的位置。
6.一种基于计算机视觉的农田监测装置，其特征在于，包括：
采集模块，用于利用摄像机实时采集农田的监控图像；
识别模块，用于将所述监控图像传输至神经网络模型，所述神经网络模型包括网格处理层、多个卷积与池化层以及全连接层；当所述监控图像中出现动物时，通过所述网格处理层、所述多个卷积与池化层和所述全连接层对所述监控图像进行特征提取，输出特征张量；根据所述特征张量确定所述动物类型和所述动物位置，所述动物位置中包含有动物的第一坐标；
计算模块，用于根据所述动物位置计算出离所述动物最近的发声装置；
驱赶模块，用于根据所述动物类型驱使所述发声装置发出与所述动物类型对应的驱赶声音，对所述动物进行驱赶；
计算模块进一步用于：
基于所述动物位置得到所述动物的第一坐标，并获取所述发声装置的第二坐标；
根据所述第一坐标和所述第二坐标，计算得到所述动物与所述发声装置之间的距离，采用如下计算公式：其中，x1，y1分别是动物的第一坐标，x2，y2分别是不同发声装置的第二坐标；
根据所述距离确定离所述动物最近的所述发声装置。
7.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至5中任一项所述的基于计算机视觉的农田监测方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至5中任一项所述的基于计算机视觉的农田监测方法的步骤。
CN202110610499.8A 2021-06-01 2021-06-01 基于计算机视觉的农田监测方法及其相关设备 Active CN113239877B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110610499.8A CN113239877B (zh) 2021-06-01 2021-06-01 基于计算机视觉的农田监测方法及其相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110610499.8A CN113239877B (zh) 2021-06-01 2021-06-01 基于计算机视觉的农田监测方法及其相关设备

Publications (2)

Publication Number Publication Date
CN113239877A CN113239877A (zh) 2021-08-10
CN113239877B true CN113239877B (zh) 2024-05-10

Family

ID=77136228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110610499.8A Active CN113239877B (zh) 2021-06-01 2021-06-01 基于计算机视觉的农田监测方法及其相关设备

Country Status (1)

Country Link
CN (1) CN113239877B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112714410B (zh) * 2021-01-25 2023-04-07 中北大学 具有可移动节点的农业监测方法
CN114550083A (zh) * 2022-01-21 2022-05-27 深圳百里科技有限公司 智能农场生物驱赶方法、装置、设备及存储介质
CN115565006B (zh) * 2022-06-28 2023-08-11 哈尔滨学院 一种智能图像处理方法、电子设备及存储介质
CN115299428A (zh) * 2022-08-04 2022-11-08 国网江苏省电力有限公司南通供电分公司 一种基于深度学习的物联网智能驱鸟系统
CN115443979B (zh) * 2022-09-28 2024-03-19 广东电网有限责任公司江门供电局 一种杆架式变压器的小动物驱逐系统、方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015035979A (ja) * 2013-08-14 2015-02-23 理栄子 武田 野生動物追い込みシステム
CN110298265A (zh) * 2019-06-10 2019-10-01 东南大学 一种基于yolo神经网络的电梯中特定目标检测方法
CN110521716A (zh) * 2019-08-06 2019-12-03 熵康(深圳)科技有限公司 一种有害生物驱赶方法、装置、设备和系统
US10713536B1 (en) * 2019-06-27 2020-07-14 Guangdong Outdoor Technology Limited Camera method with animal recognition function and monitoring camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015035979A (ja) * 2013-08-14 2015-02-23 理栄子 武田 野生動物追い込みシステム
CN110298265A (zh) * 2019-06-10 2019-10-01 东南大学 一种基于yolo神经网络的电梯中特定目标检测方法
US10713536B1 (en) * 2019-06-27 2020-07-14 Guangdong Outdoor Technology Limited Camera method with animal recognition function and monitoring camera
CN110521716A (zh) * 2019-08-06 2019-12-03 熵康(深圳)科技有限公司 一种有害生物驱赶方法、装置、设备和系统

Also Published As

Publication number Publication date
CN113239877A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN113239877B (zh) 基于计算机视觉的农田监测方法及其相关设备
CN108009521B (zh) 人脸图像匹配方法、装置、终端及存储介质
EP3944148A2 (en) Generation method for classification model, classification method, apparatus, and medium
CN113177133B (zh) 一种图像检索方法、装置、设备及存储介质
CN107786549A (zh) 音频文件的添加方法、装置、系统及计算机可读介质
US20140245204A1 (en) System and method for collecting and representing field data in disaster affected areas
CN111538931A (zh) 基于大数据的舆情监控方法、装置、计算机设备及介质
US11497156B2 (en) Farm cultivation quality
CN112463422A (zh) 物联网故障运维方法、装置、计算机设备及存储介质
Chen et al. Monitoring the behaviours of pet cat based on YOLO model and raspberry Pi
CN115131604A (zh) 一种多标签图像分类方法、装置、电子设备及存储介质
CN109377406A (zh) 电子装置、基于梯度提升回归的建筑物电力负荷预测方法及存储介质
CN113886721B (zh) 个性化兴趣点推荐方法、装置、计算机设备及存储介质
CN114550052A (zh) 一种车辆事故处理方法、装置、计算机设备及存储介质
CN111709346B (zh) 基于深度学习和高分影像的历史建筑识别与检测方法
US20220198641A1 (en) Tree fall management
CN110751092B (zh) 基于物联网的农业监控方法及装置、存储介质及电子设备
CN112381118A (zh) 一种大学舞蹈考试测评方法及装置
CN109895780A (zh) 一种实现无人驾驶设备自主脱困的方法和装置
CN109754319B (zh) 信用分值确定系统、方法、终端及服务器
CN112016503B (zh) 人行道检测方法、装置、计算机设备及存储介质
CN112379689B (zh) 一种用于无人机升降时的安全预警方法及装置
CN113920720A (zh) 高速公路隧道设备故障处理方法、装置及电子设备
CN115601401B (zh) 基于牲畜群体运动特性的跟踪计数方法及其相关设备
CN113420628A (zh) 一种群体行为识别方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant