CN109284740A - 对鼠情进行统计的方法、装置、设备以及存储介质 - Google Patents

对鼠情进行统计的方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN109284740A
CN109284740A CN201811261458.7A CN201811261458A CN109284740A CN 109284740 A CN109284740 A CN 109284740A CN 201811261458 A CN201811261458 A CN 201811261458A CN 109284740 A CN109284740 A CN 109284740A
Authority
CN
China
Prior art keywords
mouse
picture
image
video
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811261458.7A
Other languages
English (en)
Inventor
黄清臻
李邦庚
田志博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Si Da Da Networking Technology (beijing) Co Ltd
Original Assignee
Si Da Da Networking Technology (beijing) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Si Da Da Networking Technology (beijing) Co Ltd filed Critical Si Da Da Networking Technology (beijing) Co Ltd
Priority to CN201811261458.7A priority Critical patent/CN109284740A/zh
Publication of CN109284740A publication Critical patent/CN109284740A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种对鼠情进行统计的方法、装置、设备以及存储介质。其中,使用基于机器学习的计算模型,对视频进行分析,生成与鼠情相关的统计信息。包括:通过利用训练好的计算模型对视频包含的视频帧进行检测处理,生成包含单个老鼠图像的图片。并对包含单个老鼠图像的图片进行特征提取,生成特征向量信息及特征向量数据库。然后对特征向量信息进行聚类处理,被聚为一类的视为同一个老鼠从而生成了包含老鼠个数的统计信息。整个过程不需要人工干预,能够精确地生成包含老鼠数量的统计信息。从而很好的解决了现有视觉监测方法中存在的检测效率低、成本高、识别率低、时效低以及信息不完整等技术问题。

Description

对鼠情进行统计的方法、装置、设备以及存储介质
技术领域
本申请涉及鼠情监测领域,特别是涉及一种对鼠情进行统计的方法、装置、设备以及存储介质。
背景技术
目前针对鼠情监测主要包括传统鼠情监测方法和逐渐流行的机器视觉监测方法。传统监测方法如粉剂法、鼠夹法、粘鼠板、目测法等方法。这些方法在识别鼠情及鼠密度上存在诸多不足:粉剂法以及目测法误差大,耗费人力资源;鼠夹法以及粘鼠板效率低,均无法观察活鼠的形态、活动规律等鼠情,且都存在消息延后无法获取及时动态信息。
针对传统的鼠情监测方法存在的问题,机器视觉入侵识别技术得以应用,而目前比较先进的入侵检测识别技术,主要依赖于激光感应,由于激光的原理仅仅是一条射线,因此在识别老鼠的过程中要装备大量的激光设备来提升激光所探测密度,成本造价太高,且激光仅适用于开阔地,会产生大量的辐射,造成投鼠忌器的负面作用。智能安防只能通过压力大小、温度等物理特征判断生物,并不能精确判断是否是老鼠或是其他同等大小生物。并且传感器有以下不足:作用型传感器:须用特殊光纤,成本高;非作用型传感器虽然成本低,但灵敏度较低。
并且,激光检测没有提取老鼠识别的足够的特征,无法准确识别每一只老鼠,也不能实现统计老鼠数量的功能。
针对上述的现有的监测方法中存在的检测效率低、成本高、识别率低、时效低以及信息不完整等技术问题,目前尚未提出有效的解决方案。
发明内容
本公开的实施例提供了一种对鼠情进行统计的方法、装置、设备以及存储介质,以至少解决现有的视觉监测方法中存在的检测效率低、成本高、识别率低、时效低以及信息不完整等技术问题。
根据本公开实施例的一个方面,提供了一种对鼠情进行统计的方法,包括:获取预定时段内的关于监控区域的视频。以及利用基于机器学习的计算模型,对视频所包含的多个视频帧进行分析,生成与监控区域内的鼠情相关的统计信息,其中统计信息包括预定时段内所述监控区域出现的老鼠的数量。
根据本公开实施例的另一个方面,还提供了一种存储介质,存储介质包括存储的程序,其中,在程序运行时由处理器执行以上任意一项的方法。
根据本公开实施例的另一个方面,还提供了一种对鼠情进行统计的装置,包括:视频获取模块,用于获取预定时段内的关于监控区域的视频。以及统计信息生成模块,用于利用基于机器学习的计算模型,对视频所包含的多个视频帧进行分析,生成与监控区域内的鼠情相关的统计信息。其中统计信息包括预定时段内监控区域出现的老鼠的数量。
根据本公开实施例的另一个方面,还提供了一种对鼠情进行统计的设备,包括:处理器;以及存储器,与处理器连接,用于为处理器提供处理以下处理步骤的指令:获取预定时段内的关于监控区域的视频;以及利用基于机器学习的计算模型,对视频所包含的多个视频帧进行分析,生成与监控区域内的鼠情相关的统计信息。其中统计信息包括预定时段内监控区域出现的老鼠的数量。
从而,根据本实施例的技术方案,使用基于机器学习的计算模型,对视频进行分析,生成与鼠情相关的统计信息。通过利用训练好的计算模型对视频进行处理,对视频中包含的视频帧进行检测处理,生成包含单个老鼠图像的图片。并对包含单个老鼠图像的图片进行特征提取,生成特征向量信息及特征向量数据库。然后对特征向量信息进行聚类处理,被聚为一类视为同一个老鼠,从而生成了包含老鼠个数的统计信息。整个过程不需要人工干预,能够精确地生成包含老鼠数量的统计信息。从而很好的解决了现有视觉监测方法中存在的检测效率低、成本高、识别率低、时效低以及信息不完整等技术问题。
附图说明
此处所说明的附图用来提供对本公开的进一步理解,构成本申请的一部分,本公开的示意性实施例及其说明用于解释本公开,并不构成对本公开的不当限定。在附图中:
图1是根据本公开实施例1所述的用于监控鼠情的计算机设备结构的示意图;
图2是根据本公开实施例1所述的用于对鼠情进行统计的系统的示意图;
图3是根据本公开实施例1所述的用于对鼠情进行统计的系统的连接图;
图4是根据本公开实施例1所述的用于对鼠情进行统计的方法流程示意图;
图5是根据本公开实施例1所示的多个视频帧示意图;
图6是根据本公开实施例1的示出的包含老鼠的多个视频帧以及与之对应的参数的示意图;
图7是根据本公开实施例1的示出的包含单只老鼠的图片;
图8是根据本公开实施例1示出的多个视频帧及对应的多个向量图;
图9是根据本公开实施例1示出的对一个视频帧进行处理的示意图;
图10是根据本公开实施例1示出的正交矩阵的使用效果示意图;
图11是根据本公开实施例2所述的对鼠情进行统计的装置示意图;以及
图12是根据本公开实施例3所述的对鼠情进行统计的设备示意图。
具体实施方式
为了使本技术领域的人员更好地理解本公开的技术方案,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本公开一部分的实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本公开保护的范围。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本实施例,还提供了一种对鼠情进行统计的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现对鼠情进行统计的方法的计算机终端(或移动设备)的硬件结构框图。如图1所示,计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b,……,102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本公开实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块,如本公开实施例中的一种用于实现对鼠情进行统计的方法对应的程序指令/数据存储装置,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的应用程序的一种用于实现对鼠情进行统计的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
此处需要说明的是,在一些可选实施例中,上述图1所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是,图1仅为特定具体实例的一个实例,并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。
图2是根据本实施例所述的一种用于实现对鼠情进行统计的方法的系统的示意图。参照图2和图3所示,该系统包括:计算处理装置21、摄像头22、hub23、路由器24、web预览设备25以及移动终端设备26。参考图3所示,计算处理装置21例如可以是mini PC,web预览设备25可以是计算机。需要说明的是,系统中的计算处理装置21可适用上面图1所述的硬件结构。
在上述运行环境下,根据本实施例的第一个方面,提供了一种用于实现对鼠情进行统计的方法,该方法由图2中所示的计算处理装置21实现。图4示出了该方法的流程示意图,参考图4所示,该方法包括:
S402:获取预定时段内的关于监控区域的视频;以及
S404:利用基于机器学习的计算模型,对视频所包含的多个视频帧进行分析,生成与监控区域内的鼠情相关的统计信息,其中统计信息包括预定时段内监控区域出现的老鼠的数量。
参考图2和图3所示,计算处理装置21从多个摄像头22获取预定时段内的关于监控区域的视频。其中各个摄像头22可以用于监控不同的区域。
然后,计算终端利用预先设置的基于机器学习的计算模型,对多个摄像头22采集的视频所包含的多个视频帧进行分析,从而生成与监控区域内的鼠情相关的统计信息。其中,统计信息包括预定时段内监控区域出现的老鼠的数量。此处所述的老鼠的数量,指的是不同老鼠的数量,不是老鼠在视频中出现的次数。
如上所述,传统的鼠情监测方法存在诸多不足:粉剂法以及目测法误差大,耗费人力资源;鼠夹法以及粘鼠板效率低,均无法观察活鼠的形态、活动规律等鼠情,且都存在消息延后无法获取及时动态信息。同时,现有的机器视觉入侵识别技术成本造价太高,且激光仅适用于开阔地,会产生大量的辐射。智能安防只能通过压力大小、温度等物理特征判断生物,并不能精确判断是否是老鼠或是其他同等大小生物。并且,激光检测没有提取老鼠识别的足够的特征,无法准确识别每一只老鼠,也不能实现统计老鼠数量的功能。
针对现有技术中存在的问题,本实施例通过计算终端获取关于监控区域的监控视频,并且利用基于机器学习的计算模型对监控视频进行分析,从而统计监控区域的鼠情,获取监控区域内出现的老鼠的数量。由于本实施例针对监控视频进行处理,因此相对于粉剂法以及目测法节省人力资源。相对于鼠夹法以及粘鼠板效率高,并可获取活鼠的形态、活动规律等鼠情。并且相对于现有的新型的机器视觉入侵识别技术,使用摄像头采集,可以在多种情形下进行监控,比激光对地形适应性强,比使有作用型传感器成本低,比非作用型传感器灵敏度高。且还能精确判断是否为老鼠及是否为同一只老鼠,从而准确统计包括预定时段内监控区域出现的老鼠的数量。
此外,本实施例中所述的基于机器学习的计算模型的具体形式不限,例如可以基于卷积神经网络的计算模型,也可以采用其他类型(例如分类数)的计算模型。
此外,具体地,参考图2所示,摄像头22对监控区域的视频进行采集,在本实施例中,摄像头22优先选用搭载rtsp功能的远红外网络摄像机,具有夜视功能,具有7*24采集监控区域的能力。
摄像头22将采集的视频通过由hub23和路由器24传输至计算处理装置21。在本实施例中,hub23和路由器24将所有装置进行通信连接,并采用网络流式传输方式传输数据。网络流式传输方式有利于视频的传输更流畅。
在本实施例中,计算处理装置21优先选用具有在300ms左右处理完一帧图片性能的计算单元,以保证及时完成对实时对采集的视频图片进行处理。本实施例的计算处理装置21为MINI PC,用来执行处理视频帧图片、生成统计信息的任务。
用户可根据实际情况和实际需要自定义视频采集的时间及每一视频帧采集的间隔,本实施例中用户可以通过web预览设备25和移动终端app客户端26设置视频采集时间为全天,根据视频帧采集间隔1000ms。
并且,在本实施例展示的系统中,如图2所示,用户可用web预览设备25方式访问或者用app客户端26打开数据库实时查看捕获信息和摄像头22信息,并且可以通过本地和网络自由设置摄像头开启、关闭状态,也可以设置摄像头22自动定时开启关闭,还可以设置视频流传输时间间隔。
通过本实施例中对用于实现对鼠情进行统计的方法的执行,很好的实现了24小时不间断监控抓拍;实时检测、识别、计数;提供抓拍证据;数据自动汇总;可视化统计分析;自动预警体系;实时监控查询等功能,为现有的监测方法中存在的检测效率低、成本高、识别率低、时效低以及信息不完整等技术问题提供了解决方案。
可选地,计算模型包括基于机器学习的检测模型、基于机器学习的特征提取模型以及聚类模型,并且利用计算模型,对多个视频帧进行分析,生成统计信息的操作,包括:利用检测模型检测多个视频帧中包含的老鼠图像,并且生成包含单个老鼠图像的图片;利用特征提取模型对包含单个老鼠图像的图片进行处理,生成与图片中的老鼠图像对应的特征向量;以及利用聚类模型对特征向量进行聚类处理,得到老鼠图像的类别的数量,并且将类别的数量作为预定时段内监控区域出现的老鼠的数量,根据老鼠的数量生成统计信息。
具体地,图5示出了多个视频帧1~12。在本实施例中,计算处理装置21利用预先设置的检测模型对视频帧图片进行检测处理,对图片中是否含有老鼠图像进行检测,并将图片中检测识别出的的每一只老鼠图像提取出来,生成包含单只老鼠图像的图片。例如,计算处理装置21从视频帧1、3和6中检测出老鼠图像,然后利用从视频帧1、3和6中检测出的老鼠图像生成包含单个老鼠图像的图片。然后计算处理装置21可以将提取出的多个目标特征向量加入到特征向量库,再根据聚类模型对多个目标特征向量进行聚类操作。
例如:计算处理装置21从多个目标特征向量中提取出其中一个目标特征向量,然后根据预先设定的算法,分别求取提取出的目标特征向量与其他目标特征向量之间的距离。当求取出的距离小于预先设定的阈值距离时,计算处理装置21判定提取出的目标特征向量与与之进行比对的目标特征向量为同一类别。
也就是说,计算处理装置21利用聚类模型对提取出的特征向量进行聚类处理的操作,在本实施例中,具体操作为:任意取一个特征向量,用聚类模型进行的运算,生成特征向量列表。然后根据特征向量,获取原图,就是同一只老鼠的图片,对剩余的特征向量继续执行搜索。最后,把所有图片中的同一只老鼠图片都挑选了出来,将拥有相同特征向量的归为一类,则类别的数量即为老鼠的数量。此操作可以将视频帧包含的大量的老鼠图像,根据对每个图像包含的特征向量进行比较。每只老鼠都具有独有的特征,尽管从各个角度、远近距离及明暗度下进行拍照,但是其独有特征是相同的。聚类模型就将拥有相同特征向量的图像判断是同一只老鼠的图像,继而能够统计出来具有几只老鼠。
然后计算处理装置21重复此操作,直到所有的目标特征向量都得到了分类,即将同一类别的目标特征向量对应的目标图片取出来,就得到了一只老鼠的所有图片。
通过这种方式,计算处理装置21可以从多个视频帧中生成包含单个老鼠图像的图片,并且根据该图片提取特征向量,再通过聚类模型对提取出的多个特征向量进行聚类操作的方式,快速且准确地识别出视频帧中包含的老鼠的数量。
此外,在本实施例中,计算处理装置21可以将获取的视频帧的尺寸统一为416*416像素,然后进行检测分析。因为在图片中老鼠图像有大有小,提取出的每一只老鼠像素也不一样。计算处理装置21将包含单只老鼠图像的图片统一缩放到预定的尺寸,并执行特征提取模型,将图片中包含的老鼠的特征向量提取出来。
可选地,利用检测模型检测多个视频帧中包含的老鼠图像,并且生成包含单个老鼠图像的图片的操作,包括:利用检测模型,生成老鼠图像在相应的视频帧中的位置及宽高信息;以及根据老鼠图像的位置及宽高信息从相应的视频帧中提取老鼠图像,并生成包含单个老鼠图像的图片。
具体地,图6示出了与包含老鼠的视频帧(以视频帧1为例)以及与之对应的参数的示意图。参考图6所示,与视频帧对应的参数包括:视频帧内包含有老鼠的置信度conf;老鼠的种类cls;与老鼠匹配的矩形框的左上角的横坐标x;与老鼠匹配的矩形框的左上角的纵坐标y;以及与老鼠匹配的矩形框的宽度w以及与老鼠匹配的矩形框的高度h。
其中,与老鼠匹配的矩形框的左上角的横坐标x和纵坐标y对应于老鼠图像位置信息,与老鼠匹配的矩形框的宽度w以及与老鼠匹配的矩形框的高度h对应于所述老鼠图像的宽高信息。
然后,计算处理装置21利用上述位置及宽高信息,即可根据视频帧生成包含单个老鼠的图片。例如,图7示出了包含单只老鼠的图片的示例。
从而,根据本实施例的技术方案,对视频帧进行分析,获取视频帧所包含的老鼠图像在视频帧中的位置信息以及宽高信息。然后利用获取的位置信息以及宽高信息,从视频帧中提取包含单只老鼠图像的图片。通过这种方式,可以准确地在视频帧中提取老鼠图像,避免出现提取出劣质图片的情况。从而有利于提高后续的聚类计算的准确性,进而提高了统计鼠情的准确率。
可选地,检测模型包含卷积神经网络,并且生成老鼠图像在相应的视频帧中的位置及宽高信息的操作,包括:利用卷积神经网络对多个视频帧进行处理,生成分别与多个视频帧对应的多个向量,其中多个向量包含对应的视频帧中老鼠图像的位置及宽高信息。
然后,参考图8所示,计算处理装置21利用第一卷积模型分别对每一个视频帧(例如视频帧1~12)进行分析,从而获得与多个视频帧对应的多个向量(即向量1~向量12)。其中,向量1与视频帧1对应,向量2与视频帧2对应,以此类推,向量12与视频帧12对应。
图9示出了针对一个视频帧的处理的示例。参考图9所示,416*416*3的视频帧输入至卷积神经网络,卷积神经网络的输出通道被调整为18个,从而输出了18个52*52的特征图(52*52*18)。将18个特征图分成3组,每组包括6个52*52的特征图。参考图9所示,在每一组特征图中,相同位置的元素(例如图中标出的相同位置处的黑色圆点)分别表示同一个6维向量中的一个元素。这样,每一组特征图就表示52*52个6维向量。从而,18个特征图就表示了3*52*52个6维向量。
具体地,参考图6所示,与视频帧对应的向量包括6个向量参数,分别是:视频帧内包含有老鼠的置信度conf;老鼠的种类cls;与老鼠匹配的矩形框的左上角的横坐标x;与老鼠匹配的矩形框的左上角的纵坐标y;与老鼠匹配的矩形框的宽度w以及与老鼠匹配的矩形框的高度h。
作为一个实例,置信度conf的取值范围可以为0~1,数值越大代表老鼠的概率越高。老鼠的种类cls的取值可以为0和1,其中0代表是非老鼠,1代表是老鼠。当然也可以选取其他的取值。
这样,18个特征图就包含了与视频帧对应的3*52*52个6维向量,其中每个6维向量均符合上面所述的定义。这样18个特征图就包含了3*52*52个矩形框的信息。
然后,采用非极大值抑制算法,从多个6维向量所表示的矩形框中确定最合适的一个矩形框,作为与该视频帧对应的矩形框的6维向量。
从而本实施例的技术方案利用卷积神经网络,对视频帧进行提取,从而获取了有关老鼠图像的位置信息以及宽高信息。由于相对与其他方法,卷积神经网络具有更加准确的识别特性,因此可以提供更加准确的位置信息以及宽高信息。从而,可以进一步提高对鼠情统计的准确度。
此外,在本系统中,所利用的卷积神经网络是在人工干预下训练方式生成。首先需要收集大量含老鼠的图片,人工进行筛选和标注,把老鼠在图像中的位置和大小标记并存储,并进行人工复审,确保标注无误。然后把图像统一压缩为416*416像素,并归一化到0-1之间,提供给检测网络。检测网络对输入为416*416像素的图片进行检测处理,输出的信息是图像的位置x、y与宽高w、h信息。然后通过余弦退火训练法反复训练得到检测模型,并通过模型压缩,模型剪枝等方法对检测模型进行性能优化。
可选地,特征提取模型包括含多个卷积层的卷积模型,并且利用特征提取模型对包含单个老鼠图像的图片进行处理,生成与图片中的老鼠图像对应的特征向量的操作,包括:利用卷积模型对包含单个老鼠的图片处理,生成与图片对应的特征向量,其中特征向量包括与所对应的图片中的老鼠图像的形貌相关的特征参数。
具体地,计算处理装置21利用卷积模型,分别对多个图片中包含的老鼠图像进行多个特征的提取。其中该卷积模型包括多个卷积层,计算处理装置21通过卷积模型可以快速地提取出目标特征,并生成多个目标特征向量。通过这种方式,计算处理装置21可以获得更加准确的识别结果。从而有利于后续的聚类操作得到更加准确的分类。从而提高统计的准确性。
其中,本实施例的方法对于所采用的卷积模型不做具体限定,可以采用现有的比较成熟的卷积神经网络中的卷积层。只要能够从包含单个老鼠的目标图片中提取出上述特征向量即可。
此外,在本实施例中,计算处理装置21执行特征提取模型对包含单个老鼠图像的图片进行处理之前,需先将包含单个老鼠图像的图片进行归一化处理,即将图片的尺寸缩放到224*224像素,并归化到0-1之间。执行卷积模型对归一处理过的图片进行处理,通过对每一幅图片进行特征提取处理,生成与图片对应的特征向量并构成特征向量库。特征向量包括与所对应的图片中的老鼠图像的形貌相关的特征参数。
在本实施例中,所利用的卷积模型由训练方式生成。首先要收集大量含老鼠的图片,人工进行筛选、标注识别输入是归一化为224*224的图片。构建包括卷积模型和分类模型的识别模型,其中分类模型用于将卷积模型输出的特征向量生成输出向量,输出向量用于指示特征向量对应的老鼠图像的类别;识别模型,生成与样本图片对应的输出向量;将输出向量与预先设置的与样本图片对应的进行比较,确定的类别对应的标识,计算出样本图片的标注向量与输出向量之间的L1空间距离作为损失函数,并计算损失函数的梯度;根据随机梯度下降原理进行反复训练得到卷积模型,并通过模型压缩,模型剪枝等方法对检测模型进行性能优化。
可选地,特征参数包含以下至少一项:特征向量对应的老鼠图像内包含的目标老鼠的眼睛、鼻子、嘴巴、体型、腿部、足部、尾巴、体毛以及胖瘦信息。
具体地,在实际使用中,特征参数越多,越能提高发现率,降低漏报率,误报率也越低,特征信息越全面,也越能够通过相互印证提高识别准确率。但特征参数越多也会加重计算处理装置21处理数据的压力。用户也可以根据监测时间的长短、老鼠出没的频率以及参考各设备的性能的强弱等因素设定特征向量的包含的参数。在本实施例中,特征向量库中的信息包括有眼睛、鼻子、嘴巴、体型、腿部、足部、尾巴、体毛以及胖瘦信息。
可选地,利用聚类模型对特征向量进行聚类处理的操作,包括:根据最近邻检索算法,对特征向量进行聚类操作。
具体地,计算处理装置21根据目标图片用卷积模型提取的特征向量,使用最近邻检索算法来挑选为同一只老鼠的图片,即计算处理装置21使用最近邻检索算法对多个目标特征向量进行聚类操作。其中最近邻检索算法(Approximate Nearest Neighbor,ANN)利用了数据量增大后数据之间会形成簇状聚集分布的特性,通过对数据分析聚类的方法对数据库中的数据进行分类或编码,对于目标数据根据其数据特征预测其所属的数据类别,返回类别中的部分或全部作为检索结果。系统采用矢量量化来实现最近邻检索,矢量量化的代表就是乘积量化(PQ),PQ的主要思想是将特征向量进行正交分解,在分解后的低维正交子空间上进行量化,由于低维空间可以采用较小的码本进行编码,因此可以降低数据存储空间。PQ方法采用基于查找表的非对称距离计算(Asymmetric Distance Computation,ADC)快速求取特征向量之间的距离,在压缩比相同的情况下,与采用汉明距离的二值编码方法,采用ADC的PQ方法的检索精度更高。然而,PQ方法假设各子空间的数据分布相互独立,当子空间数据的相互依赖较强时检索精度下降严重。针对这点就有通过旋转矩阵来调整数据空间的OPQ(Optimized Product Quantization)算法。如图10所示,原本按照1234维排列的数据空间通过与正交矩阵R相乘,其维度排列变成了3214,那么我们就可以寻找一个合适的正交矩阵重新排列向量的维度,使得其划分的各子空间之间的依赖性达到最小。
通过这种方式,计算处理装置21可以通过对提取好的多个目标特征向量进行聚类操作,并根据聚类操作生成的类别的个数,确定目标图片中包含的老鼠的数量。进而达到了可以又快又准确的识别出老鼠的数量的目的,从而进一步提高了鼠情统计的准确性。
此外,参考图1所示,根据本实施例的第二个方面,提供了一种存储介质104。存储介质104包括存储的程序,其中,在程序运行时由处理器执行以上任意一项所述的方法。
从而根据本实施例,利用处理器使用基于机器学习的计算模型,对视频进行分析,生成与鼠情相关的统计信息。通过利用训练好的计算模型对视频进行处理,不需要人工干预,能够精确地生成包含老鼠数量的统计信息。从而很好的解决了现有视觉监测方法中存在的检测效率低、成本高、识别率低、时效低以及信息不完整等技术问题。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
图11示出了根据本实施例所述的一种对鼠情进行统计的装置500,该装置500与根据实施例1所述的方法相对应。参考图11所示,该装置500包括:视频获取模块510,用于获取预定时段内的关于监控区域的视频。以及统计信息生成模块520,用于利用基于机器学习的计算模型,对视频所包含的多个视频帧进行分析,生成与监控区域内的鼠情相关的统计信息。其中统计信息包括预定时段内监控区域出现的老鼠的数量。
可选地,计算模型包括基于机器学习的检测模型、基于机器学习的特征提取模型以及聚类模型,并且,统计信息生成模块520包括:
检测子模块,用于利用检测模型检测多个视频帧中包含的老鼠图像,并且生成包含单个老鼠图像的图片。特征提取子模块,用于利用特征提取模型对包含单个老鼠图像的图片进行处理,生成与图片中的老鼠图像对应的特征向量。聚类子模块,用于利用聚类模型对特征向量进行聚类处理,得到老鼠图像的类别的数量,并且将类别的数量作为预定时段内监控区域出现的老鼠的数量,根据老鼠的数量生成统计信息。
可选地,检测子模块包括:老鼠图像检测单元,用于利用检测模型,生成老鼠图像在相应的视频帧中的位置及宽高信息。以及老鼠图片生成单元,用于根据老鼠图像的位置及宽高信息从相应的视频帧中提取老鼠图像,并生成包含单个老鼠图像的图片。
可选地,检测模型,包括卷积神经网络模型,并且老鼠图像检测单元包括:老鼠图像检测子单元,用于利用卷积神经网络对多个视频帧进行处理,生成分别与多个视频帧对应的多个向量,其中多个向量包含对应的视频帧中老鼠图像的位置及宽高信息。
可选地,特征提取模型包括含多个卷积层的卷积模型,并且特征提取子模块包括:特征向量生成单元,利用卷积模型对包含单个老鼠的向量图片处理,生成与图片对应的特征向量,其中特征向量包括与所对应的图片中的老鼠图像的形貌相关的特征参数。
可选地,特征参数包含以下至少一项:特征向量对应的老鼠图像内包含的目标老鼠的眼睛、鼻子、嘴巴、体型、腿部、足部、尾巴、体毛以及胖瘦信息。
可选地,聚类子模块包括:聚类操作单元,用于根据最近邻检索算法,对特征向量进行聚类操作。
从而根据本实施例,通过装置500中视频获取模块510监控区域的视频,通过统计信息生成模块520包含的各子模块和单元模块对视频进行分析,不需要人工干预,能够精确地生成包含老鼠数量的统计信息,从而很好的解决了现有视觉监测方法中存在的检测效率低、成本高、识别率低、时效低以及信息不完整等技术问题。
实施例3
图12示出了根据本实施例所述的一种对鼠情进行统计的设备600,该设备600与根据实施例1所述的方法相对应。参考图12所示,该设备600包括:处理器610。以及存储器620,与处理器610连接,用于为处理器610提供处理以下处理步骤的指令:获取预定时段内的关于监控区域的视频。以及利用基于机器学习的计算模型,对视频所包含的多个视频帧进行分析,生成与监控区域内的鼠情相关的统计信息,其中统计信息包括预定时段内监控区域出现的老鼠的数量。
可选地,计算模型包括基于机器学习的检测模型、基于机器学习的特征提取模型以及聚类模型。并且利用计算模型,对多个视频帧进行分析,生成统计信息的操作,包括:利用检测模型检测多个视频帧中包含的老鼠图像,并且生成包含单个老鼠图像的图片。利用特征提取模型对包含单个老鼠图像的图片进行处理,生成与图片中的老鼠图像对应的特征向量。利用聚类模型对特征向量进行聚类处理,得到老鼠图像的类别的数量。并且将类别的数量作为预定时段内监控区域出现的老鼠的数量,根据老鼠的数量生成统计信息。
可选地,利用检测模型检测多个视频帧中包含的老鼠图像。并且生成包含单个老鼠图像的图片的操作,包括:利用检测模型,生成老鼠图像在相应的视频帧中的位置及宽高信息;以及根据老鼠图像的位置及宽高信息从相应的视频帧中提取老鼠图像,并生成包含单个老鼠的图片。
可选地,检测模型包含卷积神经网络,并且生成老鼠图像在相应的视频帧中的位置及宽高信息的操作,包括:利用卷积神经网络对多个视频帧进行处理,生成分别与多个视频帧对应的多个向量,其中多个向量包含对应的视频帧中老鼠图像的位置及宽高信息。
可选地,特征提取模型包括含多个卷积层的卷积模型,并且利用特征提取模型对包含单个老鼠图像的图片进行处理,生成与图片中的老鼠图像对应的特征向量的操作,包括:利用卷积模型对包含单个老鼠的图片处理,生成与图片对应的特征向量。其中特征向量包括与所对应的图片中的老鼠图像的形貌相关的特征参数。
可选地,特征参数包含以下至少一项:特征向量对应的老鼠图像内包含的目标老鼠的眼睛、鼻子、嘴巴、体型、腿部、足部、尾巴、体毛以及胖瘦信息。
可选地,利用聚类模型对特征向量进行聚类处理的操作,包括:根据最近邻检索算法,对特征向量进行聚类操作。
从而根据本实施例,通过设备600中的处理器610运行存储于存储器620的程序,执行了对鼠情进行统计的方法。通过利用基于机器学习的计算模型,对视频进行分析,生成与鼠情相关的统计信息,不需要人工干预,能够精确地生成包含老鼠数量的统计信息。从而很好的解决了现有的视觉监测方法中存在的检测效率低、成本高、识别率低、时效低以及信息不完整等技术问题。
通过以上实施例示出的方法、装置和设备,执行了对鼠情进行统计的方法,通过利用基于机器学习的计算模型,对视频进行分析,生成与鼠情相关的统计信息。通过利用训练好的计算模型对视频进行处理,对视频中包含的视频帧进行检测处理,生成包含单个老鼠图像的图片。并对包含单个老鼠图像的图片进行特征提取,生成特征向量信息及特征向量数据库。然后对特征向量信息进行聚类处理,被聚为一类的视为同一个老鼠,从而生成了包含老鼠个数的统计信息。整个过程不需要人工干预,能够精确地生成包含老鼠数量的统计信息。从而很好的解决了现有的视觉监测方法中存在的检测效率低、成本高、识别率低、时效低以及信息不完整等技术问题。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种对鼠情进行统计的方法,其特征在于,包括:
获取预定时段内的关于监控区域的视频;以及
利用基于机器学习的计算模型,对所述视频所包含的多个视频帧进行分析,生成与所述监控区域内的鼠情相关的统计信息,其中所述统计信息包括所述预定时段内所述监控区域出现的老鼠的数量。
2.根据权利要求1所述的方法,其特征在于,所述计算模型包括基于机器学习的检测模型、基于机器学习的特征提取模型以及聚类模型,并且利用所述计算模型,对所述多个视频帧进行分析,生成所述统计信息的操作,包括:
利用所述检测模型检测所述多个视频帧中包含的老鼠图像,并且生成包含单个老鼠图像的图片;
利用所述特征提取模型对所述包含单个老鼠图像的图片进行处理,生成与所述图片中的老鼠图像对应的特征向量;以及
利用所述聚类模型对所述特征向量进行聚类处理,得到所述老鼠图像的类别的数量,并且将所述类别的数量作为所述预定时段内所述监控区域出现的老鼠的数量,根据所述老鼠的数量生成所述统计信息。
3.根据权利要求2所述的方法,其特征在于,利用所述检测模型检测所述多个视频帧中包含的老鼠图像,并且生成包含单个老鼠图像的图片的操作,包括:
利用所述检测模型,生成所述老鼠图像在相应的视频帧中的位置及宽高信息;以及
根据所述老鼠图像的所述位置及宽高信息从所述相应的视频帧中提取所述老鼠图像,并生成包含单个老鼠图像的所述图片。
4.根据权利要求3所述的方法,其特征在于,所述检测模型包含卷积神经网络,并且生成所述老鼠图像在相应的视频帧中的位置及宽高信息的操作,包括:
利用所述卷积神经网络对所述多个视频帧进行处理,生成分别与所述多个视频帧对应的多个向量,其中所述多个向量包含对应的视频帧中所述老鼠图像的位置及宽高信息。
5.根据权利要求2所述的方法,其特征在于,所述特征提取模型包括含多个卷积层的卷积模型,并且利用所述特征提取模型对所述包含单个老鼠图像的图片进行处理,生成与所述图片中的老鼠图像对应的特征向量的操作,包括:
利用所述卷积模型对包含单个老鼠的所述图片处理,生成与所述图片对应的特征向量,其中所述特征向量包括与所对应的图片中的老鼠图像的形貌相关的特征参数。
6.根据权利要求5所述的方法,其特征在于,所述特征参数包含以下至少一项:所述特征向量对应的老鼠图像内包含的目标老鼠的眼睛、鼻子、嘴巴、体型、腿部、足部、尾巴、体毛以及胖瘦信息。
7.根据权利要求2所述的方法,其特征在于,利用所述聚类模型对所述特征向量进行聚类处理的操作,包括:根据最近邻检索算法,对所述特征向量进行聚类操作。
8.一种存储介质(104),其特征在于,所述存储介质(104)包括存储的程序,其中,在所述程序运行时由处理器执行权利要求1至7中任意一项所述的方法。
9.一种对鼠情进行统计的装置(500),其特征在于,包括:
视频获取模块(510),用于获取预定时段内的关于监控区域的视频;以及
统计信息生成模块(520),用于利用基于机器学习的计算模型,对所述视频所包含的多个视频帧进行分析,生成与所述监控区域内的鼠情相关的统计信息,其中所述统计信息包括所述预定时段内所述监控区域出现的老鼠的数量。
10.一种对鼠情进行统计的设备(600),其特征在于,包括:
处理器(610);以及
存储器(620),与所述处理器(610)连接,用于为所述处理器(610)提供处理以下处理步骤的指令:
获取预定时段内的关于监控区域的视频;以及
利用基于机器学习的计算模型,对所述视频所包含的多个视频帧进行分析,生成与所述监控区域内的鼠情相关的统计信息,其中所述统计信息包括所述预定时段内所述监控区域出现的老鼠的数量。
CN201811261458.7A 2018-10-26 2018-10-26 对鼠情进行统计的方法、装置、设备以及存储介质 Pending CN109284740A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811261458.7A CN109284740A (zh) 2018-10-26 2018-10-26 对鼠情进行统计的方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811261458.7A CN109284740A (zh) 2018-10-26 2018-10-26 对鼠情进行统计的方法、装置、设备以及存储介质

Publications (1)

Publication Number Publication Date
CN109284740A true CN109284740A (zh) 2019-01-29

Family

ID=65178006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811261458.7A Pending CN109284740A (zh) 2018-10-26 2018-10-26 对鼠情进行统计的方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN109284740A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705522A (zh) * 2019-10-22 2020-01-17 上海秒针网络科技有限公司 老鼠种类识别方法及系统
CN112580604A (zh) * 2020-12-30 2021-03-30 杭州卫康有害生物防治有限公司 一种鼠情监测方法、系统及智能终端
CN112699852A (zh) * 2021-01-25 2021-04-23 青海省地方病预防控制所 一种旱獭智能识别监测系统
CN114451395A (zh) * 2021-06-30 2022-05-10 烟台卫达环境科技有限公司 一种鼠类防控方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705522A (zh) * 2019-10-22 2020-01-17 上海秒针网络科技有限公司 老鼠种类识别方法及系统
CN112580604A (zh) * 2020-12-30 2021-03-30 杭州卫康有害生物防治有限公司 一种鼠情监测方法、系统及智能终端
CN112699852A (zh) * 2021-01-25 2021-04-23 青海省地方病预防控制所 一种旱獭智能识别监测系统
CN114451395A (zh) * 2021-06-30 2022-05-10 烟台卫达环境科技有限公司 一种鼠类防控方法
CN114451395B (zh) * 2021-06-30 2022-12-23 烟台卫达环境科技有限公司 一种鼠类防控方法

Similar Documents

Publication Publication Date Title
JP7018462B2 (ja) 目標対象物の監視方法、装置及びシステム
CN110428522A (zh) 一种智慧新城的智能安防系统
CN109284740A (zh) 对鼠情进行统计的方法、装置、设备以及存储介质
CN109299683B (zh) 一种基于人脸识别和行为大数据的安防评估系统
CN109922310B (zh) 目标对象的监控方法、装置及系统
CN105872477B (zh) 视频监控方法和视频监控系统
CN104303193B (zh) 基于聚类的目标分类
CN108073908B (zh) 害虫识别方法及装置、计算机装置及存储介质
CN109299703A (zh) 对鼠情进行统计的方法、装置以及图像采集设备
CN104036236B (zh) 一种基于多参数指数加权的人脸性别识别方法
CN109309808A (zh) 一种基于人脸识别的监控系统及方法
CN113110207A (zh) 基于物联网传感器的虫害远程监测方法、系统及存储介质
CN107071344A (zh) 一种大规模分布式监控视频数据处理方法及装置
CN106844614A (zh) 一种户型图功能区域快速识别系统
CN103489006A (zh) 一种基于计算机视觉的水稻病虫草害诊断方法
CN109284735B (zh) 鼠情监控方法、装置及存储介质
CN109784274A (zh) 识别尾随的方法及相关产品
CN109101547B (zh) 用于野生动物的管理方法及装置
CN110139067A (zh) 一种野生动物监测数据管理信息系统
CN110059641B (zh) 基于多预置点的深度鸟类识别算法
CN107330414A (zh) 暴力行为监控方法
CN108874910B (zh) 基于视觉的小目标识别系统
CN117809124B (zh) 基于多特征融合的医学图像关联调用方法及系统
CN102867214B (zh) 区域范围内人数统计管理方法
CN110134810A (zh) 检索图像的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190129