CN109284735B - 鼠情监控方法、装置及存储介质 - Google Patents

鼠情监控方法、装置及存储介质 Download PDF

Info

Publication number
CN109284735B
CN109284735B CN201811210692.7A CN201811210692A CN109284735B CN 109284735 B CN109284735 B CN 109284735B CN 201811210692 A CN201811210692 A CN 201811210692A CN 109284735 B CN109284735 B CN 109284735B
Authority
CN
China
Prior art keywords
image
mouse
vector
region
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811210692.7A
Other languages
English (en)
Other versions
CN109284735A (zh
Inventor
黄清臻
马明阳
田志博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sparta Internet Of Things Technology (beijing) Co Ltd
Original Assignee
Sparta Internet Of Things Technology (beijing) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sparta Internet Of Things Technology (beijing) Co Ltd filed Critical Sparta Internet Of Things Technology (beijing) Co Ltd
Priority to CN201811210692.7A priority Critical patent/CN109284735B/zh
Publication of CN109284735A publication Critical patent/CN109284735A/zh
Application granted granted Critical
Publication of CN109284735B publication Critical patent/CN109284735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Abstract

本申请公开了一种鼠情监控方法、装置、处理器及存储介质。其中，包括：从图像采集装置获取预定场所的图像；以及基于卷积神经网络的计算模型，对图像进行分析，生成与预定场所是否存在鼠情的鼠情信息。从而，本实施例的技术方案解决了现有技术中存在的稳定性差，无法实现运行在移动端或嵌入式设备中等技术问题。

Description

鼠情监控方法、装置及存储介质
技术领域
本申请涉及鼠情监控领域，特别是涉及一种鼠情监控方法、装置、处理器及存储介质。
背景技术
目前常用的鼠情监控方法包括传统的识别手段以及相关视觉识别手段进行鼠情监控。
目前针对鼠情监控主要包括传统鼠情监控方法和逐渐流行的机器视觉监控方法。传统监控方法如粉剂法、鼠夹法、粘鼠板、目测法等方法。该方法在识别鼠情及鼠密度上存在诸多不足：粉剂法以及目测法误差大，耗费人力资源；鼠夹法以及粘鼠板效率低，均无法观察活鼠的形态、活动规律等鼠情，且都存在消息延后无法获取及时动态信息。
现有的利用机器视觉进行鼠情监控的方法包括背景建模方法和特征点监控方法：
背景建模法：常见的背景建模方法包括高斯混合背景建模方法和背景差分法等方法，其原理是是首先根据图像序列的第一帧或前几帧根据像素点差异建立背景参考模型，并使用图像序列中的当前帧和背景参考模型进行像素比较来判断该像素点是否属于运动物体。在基于背景建模法的运动目标识别中，背景图像建模和模拟的准确程度，直接影响到识别的效果。由于场景的复杂性、不可预知性以及各种环境干扰和噪声的存在，如光照的突然变化、实际背景图像中有些物体的波动、摄像机的抖动、运动物体进出场景对原场景的影响等，使得传统背景建模方法很难具备较高的稳定性。同时传统背景建模计算量较大，很难做到实时效果，且极其消耗计算资源，无法实时运行在移动端或嵌入式设备，对服务器造成极大压力。
且上述方法在实际工程中场景较为复杂的情况时均难以保持较高识别准确率，且如果采用摄像机进行不间断地拍照时，会产生大量的图像数据，将这些数据存放在数据库中时，由于数据量大，导致查看速度变慢，用户不能快速获得关于当前时间老鼠的识别图像。
针对上述的现有的鼠情监控方法稳定性较差，不能实现运行在移动端或嵌入式设备中的技术问题，目前尚未提出有效的解决方案。
发明内容
本公开的实施例提供了一种鼠情监控方法、装置、处理器及存储介质，以至少解决现有的鼠情监控方法存在的识别方法稳定性差，不能实现运行在移动端或嵌入式设备中技术问题。
根据本公开实施例的一个方面，提供了一种鼠情监控方法，包括：从图像采集装置获取预定场所的图像；以及基于卷积神经网络的计算模型，对图像进行分析，生成与预定场所是否存在鼠情的鼠情信息。
根据本公开实施例的另一个方面，还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时由处理器执行以上任意一项所述的方法。
根据本公开实施例的另一个方面，还提供了一种鼠情监控装置，包括：获取模块，用于从图像采集装置获取预定场所的图像；以及生成模块，用于基于卷积神经网络的计算模型，对图像进行分析，生成与预定场所是否存在鼠情的鼠情信息。
根据本公开实施例的另一个方面，还提供了一种鼠情监控装置，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：从图像采集装置获取预定场所的图像；以及基于卷积神经网络的计算模型，对图像进行分析，生成与预定场所是否存在鼠情的鼠情信息。
针对现有技术中存在的上述问题，本实施例的技术方案提供了一种鼠情监控方法，该方法通过处理器实施，并且利用处理器使用基于卷积神经网络的计算模型，对图像进行分析，生成是否存在鼠情的鼠情信息。由于各个移动终端中摄像模块采集的图像，都是通过各自的处理器完成分析的，因此就不需要由服务器集中进行统计，因此数据的分析就不再依赖于服务器的算力。从而本实施例的技术方案可以布局更多的移动终端进行监控。并且由于本实施例采用了基于卷积神经网络的计算模型，因此相对于传统的背景建模法以及特征点检测算法，具有更加准确的识别率和稳定性。并且该计算模型的算法为轻量级快速运行算法，能够在芯片有限的计算资源前提下快速进行检测计算；可以在移动端或嵌入式设备中实现，减速对服务器造的压力。
从而，本实施例的技术方案解决了现有的鼠情监控方法稳定性较差，不能实现运行在移动端或嵌入式设备中的技术问题。
附图说明
此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
图1是根据本公开实施例1的第一个方面的一种鼠情监控方法的计算机终端(或移动设备)的硬件结构框图；
图2是根据本公开实施例1的第一个方面所述的鼠情监控系统的示意图；
图3示出了图2中移动终端的示意图；
图4是根据本公开实施例1的第一个方面中鼠情监控方法的流程示意图；
图5是根据本公开实施例1的第一个方面将目标图像划分为多个图像区域 (例如12个)的示意图；
图6A是根据本公开实施例1的第一个方面所述的图像采集设备基于多个图像区域生成多个向量的示意图；
图6B是根据本公开实施例1的第一个方面针对一个图像区域的处理的示例示意图；
图7是根据本公开实施例1的目标图像的一个图像区域以及与之对应的向量的向量参数的示意图；
图8是根据本实施例的第二个方面所述的鼠情监控装置的示意图；以及
图9是根据本实施例的第三个方面所述的鼠情检查装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本公开的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
本实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现一种鼠情监控方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB) 端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本公开实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块，如本公开实施例中的一种鼠情监控方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的一种鼠情监控方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置 106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106 可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
此处需要说明的是，在一些可选实施例中，上述图1所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。
图2示出了根据本实施例所述的鼠情监控系统的示意图。参考图1所示，鼠情监控系统包括多个包括图像采集设备的移动终端220。优选地，移动终端 220例如可以是手机、平板电脑等具有摄像功能的移动终端220，该移动终端 220可实现自动变焦，通过变焦实现对监控区域大小的自动调整。从而，使得抓拍图像的大小、清晰度、老鼠大小以及角度适合算法计算。
多个移动终端220能够与网络连接，用于监控多个监控区域的鼠情实时情况。并且，移动终端220通过网络把鼠情的实时情况发送至服务器210。
图3示出了移动终端220的示意图，在移动终端220中设有摄像模块221、处理器222及通信模块223。处理器222的输入端与摄像模块221连接，输出端与通信模块223连接。连接处理器222用于处理移动终端220的摄像模块221 采集的图像。处理过的图像信息通过通信模块223上传到服务器210，或者其它终端或者设备中。
在上述运行环境下，根据本实施例的第一个方面，提供了一种鼠情监控方法，该方法由图3中所示的处理器222中实现。图4示出了该方法的流程示意图，参考图4所示，该方法包括：
S410：从图像采集装置获取预定场所的图像；以及
S420：基于卷积神经网络的计算模型，对图像进行分析，生成与预定场所是否存在鼠情的鼠情信息。
具体地，移动终端220通过从图像采集装置中的摄像模块221中获取预定场所的图像；其中预定场所可以是野外、厨房、餐厅等等。然后移动终端220 的处理器222利用卷积神经网络的计算模型，对图像进行分析，并生成与预定场所是否存在鼠情的鼠情信息。
正如前面背景技术中所述的，目前针对鼠情监控主要包括基于人工的传统检测方法和目前基于机器视觉的鼠情检测方法。
传统监控方法如粉剂法、鼠夹法、粘鼠板、目测法等方法。该方法在识别鼠情及鼠密度上存在诸多不足：粉剂法以及目测法误差大，耗费人力资源；鼠夹法以及粘鼠板效率低，均无法观察活鼠的形态、活动规律等鼠情，且都存在消息延后无法获取及时动态信息。
另外还有背景建模法：常见的背景建模方法包括高斯混合背景建模方法和背景差分法等方法，其原理是是首先根据图像序列的第一帧或前几帧根据像素点差异建立背景参考模型，并使用图像序列中的当前帧和背景参考模型进行像素比较来判断该像素点是否属于运动物体。在基于背景建模法的运动目标识别中，背景图像建模和模拟的准确程度，直接影响到识别的效果。由于场景的复杂性、不可预知性以及各种环境干扰和噪声的存在，如光照的突然变化、实际背景图像中有些物体的波动、摄像机的抖动、运动物体进出场景对原场景的影响等，使得传统背景建模方法很难具备较高的稳定性。传统背景建模计算量较大，很难做到实时效果，且极其消耗计算资源，无法实时运行在移动端或嵌入式设备，对服务器造成极大压力。
针对现有技术中存在的上述问题，本实施例的技术方案提供了一种鼠情监控方法，该方法通过处理器222实施，并且利用处理器222使用基于卷积神经网络的计算模型，对图像进行分析，生成是否存在鼠情的鼠情信息。由于各个移动终端220中摄像模块221采集的图像，都是通过各自的处理器222完成分析的，因此就不需要由服务器210集中进行统计，因此数据的分析就不再依赖于服务器210的算力。从而本实施例的技术方案可以布局更多的移动终端220 进行监控。并且由于本实施例采用了基于卷积神经网络的计算模型，因此相对于传统的背景建模法以及特征点检测算法，具有更加准确的识别率和稳定性。并且该计算模型的算法为轻量级快速运行算法，能够在芯片有限的计算资源前提下快速进行检测计算；可以在移动端或嵌入式设备中实现，减速对服务器造的压力。
从而，本实施例的技术方案解决了现有统计鼠情监控方法存在的稳定性差，无法实现运行在移动端或嵌入式设备中等技术问题。
优选地，上述方法中，基于卷积神经网络的计算模型，对所述图像进行分析，生成与图像采集装置所监控的监控区域内的是否有鼠情的鼠情信息的操作，包括：将图像划分成多个图像区域；基于多个图像区域，利用计算模型，分别生成与所述多个图像区域对应的多个第一向量，多个第一向量分别包含对应图像区域存在老鼠的置信度参数；以及根据多个第一向量，生成鼠情信息。其中第一向量还包括以下第一向量参数：矩形框在对应的图像区域内的位置，其中矩形框与第一向量对应的图像区域内的老鼠图像匹配；向量对应的图像区域内的老鼠图像的分类；以及矩形框的大小。
具体地，处理器222对采集的目标图像进行分析。对于当前分析的目标图像，处理器222首先将其划分为多个图像区域。图5示出了将目标图像划分为多个图像区域(例如12个)的示意图。其中，可以看到在划分的多个图像区域中，图像区域1、3和6中包含有老鼠图像。从而目标图像中包含有3个老鼠图像。其中，每个图像区域的大小例如可以是416*416*3的矩阵(考虑到图像包含3个颜色通道)。
然后，参考图6A所示，处理器222利用基于卷积神经网络的计算模型分别对每一个图像区域进行分析，从而获得与多个图像区域对应的多个第一向量 (即向量1～向量12)。其中，向量1与图像区域1对应，向量2与图像区域2 对应，以此类推，向量12与图像区域12对应。其中多个向量1～12中所包含的向量参数，能够反映出对应的图像区域中所包含的老鼠图像的情况。从而通过多个向量1～12的向量参数，能够识别图像中存在的老鼠。例如只要12个向量中有一个向量指示对应的图像区域中包含老鼠，则意味着该图像中包含有老鼠。
图6B示出了针对一个图像区域的处理的示例。参考图6B所示，416*416*3 的图像区域输入至卷积神经网络，所述卷积神经网络的输出通道被调整为18 个，从而输出了18个52*52的特征图(52*52*18)。将18个特征图分成3组，每组包括6个52*52的特征图。参考图6B所示，在每一组特征图中，相同位置的元素(例如图中标出的相同位置处的黑色圆点)分别表示同一个6维向量中的一个元素。这样，每一组特征图就表示52*52个6维向量。从而，18个特征图就表示了3*52*52个6维向量。
具体地，图7示出了目标图像的一个图像区域以及与之对应的向量的向量参数的示意图。参考图7所示，与图像区域对应的向量包括6个向量参数，分别是：图像区域内包含有老鼠的置信度conf；图像区域内老鼠的分类cls；与老鼠匹配的矩形框的左上角的横坐标x；与老鼠匹配的矩形框的左上角的纵坐标y；与老鼠匹配的矩形框的宽度w以及与老鼠匹配的矩形框的高度h。
作为一个实例，置信度conf的取值范围可以为0～1。图像区域内老鼠的分类cls的取值可以为0和1，其中0代表是非老鼠，1代表是老鼠。当然也可以选取其他的取值。
这样，18个特征图就包含了与图像区域对应的3*52*52个6维向量，其中每个6维向量均符合上面所述的定义。这样18个特征图就包含了3*52*52个矩形框的信息。
然后，采用非极大值抑制算法，从多个6维向量所表示的矩形框中确定最合适的一个矩形框，作为与该图像区域对应的矩形框的6维向量。
从而，通过以上向量参数，即可获得图像区域内的以下信息：是否包含老鼠以及老鼠的种类、在图像区域内的位置以及大小。由于每个向量都能够反映出对应的图像区域内的鼠情，因此根据与每个图像区域对应的向量，即可获得关于整个目标图像所反映的鼠情的信息，即生成鼠情信息。
从而根据本实施例的技术方案，由于将图像进一步划分成多个区域分别进行分析，因此可以准确地获得某一预定定点的每个图像所反映的鼠情的信息。
优选地，根据多个第一向量，生成所述鼠情信息操作，还包括：对多个第一向量执行修正操作；以及根据修正后的多个第一向量，生成鼠情信息，其中修正操作包括：判定目标向量是否指示对应的图像区域内包含老鼠图像，其中目标向量为多个第一向量作为修正操作的对象的向量；在目标向量指示对应的图像区域包含老鼠图像的情况下，计算目标向量对应的图像区域与预设的背景图像的相似性；以及在所计算的相似性大于预设的阈值的情况下，判定目标向量所对应的图像区域中不包含老鼠图像。
具体地，鉴于神经网络仍存在0.05的误检率，需要处理器222利用级联背景差分法对检测结果进行修正。当测试结果小于0.95时，则继续对原网络进行训练调试；测试精度高于0.95以上时，停止训练。具体地，处理器222获取作为修正对象的目标向量的向量参数。并且根据向量参数判定目标向量是否指示对应的图像区域包含老鼠图像。
例如当目标向量的向量参数conf为1时，代表图像区域内包含老鼠。然后处理器222计算目标向量对应的图像区域与预设的背景图像之间的相似性。如果相似性越高，则说明该图像区域与背景图像的差别越小，从而图像区域内包含老鼠图像的可能性越低。因此，当相似性高于预定阈值时，则认为计算模型对图像区域的分析结果有误，需要修正，将其结果判定为无老鼠图像。
背景图像通过以下方法更新，对于实际场景中的连续图像，每一帧图像与背景图像转换为灰度图之后进行差分，并比较相同位置像素点中像素值差距大于10的像素点的数量，若数量大于40000，则认为场景发生剧烈变化，不进行识别，连续30帧均与背景差分结果均大于40000，且此30帧背景差分结果均小于1000，则认为场景发生改变，需要更新背景，将背景图像更换为当前图像。
从而，通过本实施例的技术方案，将基于深度学习的卷积神经网络模型与背景差分法级联，从而进一步增强了检测的准确性。从而使得根据图形获得的第一向量并且根据第一向量输出是有存在老鼠的鼠情信息。
优选地，还包括通过以下操作对卷积神经网络的计算模型进行训练：获取预定数量的包含老鼠图像的样本图像；获取样本图像的样本信息，其中样本信息包括样本图像中老鼠图像的实际坐标信息、实际长宽信息、实际分类信息以及实际置信度参数；基于样本图像，利用计算模型得到第二向量，其中第二向量包括样本图像中老鼠图像的输出坐标、输出长宽信息、输出分类信息以及输出置信度参数；将第二向量与样本信息进行比较，以及根据比较的结果对计算模型进行优化。
具体地，通过预先布置在老鼠活动区域的摄像头采集图像，人工选择预定数量的包含老鼠图像的样本图像。获取样本信息，其样本信息包括图像中老鼠的实际坐标、实际长宽信息、实际分类信息以及实际置信度参数。根据计算模型，从样本图像中得到第二向量，第二向量与样本信息对应。第二向量与样本信息进行比较，根据结果优化计算模型。
优选地，基于将第二向量与样本信息进行比较，以及根据比较的结果对所述计算模型进行优化的操作，包括：根据第二向量与样本信息，计算计算模型的损失值，其中损失值的大小反映计算模型的准确率；以及根据损失值，利用梯度下降方法，并对计算模型进行反向更新。
具体地，通过计算第二向量与样本信息，求得计算模型的损失值，损失值越大说明计算模型准确率越低。当损失值小于预定阈值时，说明计算模型的效果非常不好。利用梯度下降方法，求得某一点使损失值变小的方向，检索损失值，不断优化计算模型。
优选地，计算损失值的操作，包括根据如下公式计算所述损失值：
loss＝losscoor+lossclass；
其中loss为损失值，losscoor为位置损失，lossclass为分类损失，并且所述 losscoor＝(x2-x1)2+(y2-y1)2+(w2-w1)2+(h2-h1)2；
其中x1、y1为样本图像中老鼠图像的所述实际坐标，w1、h1为样本图像中老鼠图像的实际长宽信息；x2、y2为样本图像中老鼠图像的输出坐标，w2、h2为样本图像中老鼠图像的输出长宽信息；并且
lossclass＝-[p2log(p1)+(1-p2)log(1-p1)+c2log(c1)+(1-c2)log(1-c1)]
其中p1为样本图像中老鼠图像的实际置信度参数，c1为样本图像中老鼠图像的实际分类参数，p2为样本图像中老鼠图像的输出置信度参数，c2为样本图像中老鼠图像的输出分类参数。
通过上述计算模型优化方法，不断的优化模型，使处理器222处理过的图像，输出的结构更加准确和稳定。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘) 中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
图8示出了根据本实施例的第一个方面所述的鼠情监控装置800，该装置 800与根据实施例1的第一个方面所述的方法相对应。参考图8所示，该装置 800包括：获取模块810，用于从图像采集装置获取预定场所的图像；以及生成模块820，用于基于卷积神经网络的计算模型，对图像进行分析，生成与预定场所是否存在鼠情的鼠情信息。
可选地，生成模块820包括：图像划分子模块，用于将图像划分成多个图像区域；第一向量生成子模块，用于基于多个图像区域，利用计算模型，分别生成与多个图像区域对应的多个第一向量，多个第一向量分别包含对应图像区域存在老鼠的置信度参数；以及生成子模块，用于根据多个第一向量，生成鼠情信息。
可选地，其中第一向量还包括以下第一向量参数：矩形框在对应的图像区域内的位置，其中矩形框与第一向量对应的图像区域内的老鼠图像匹配；所述向量对应的图像区域内的老鼠图像的分类；以及矩形框的大小。
可选地，所述生成子模块，包括：修正单元，用于对多个第一向量执行修正操作；以及鼠情信息生成单元，用于根据修正后的多个第一向量，生成鼠情信息。其中修正操作包括：判定目标向量是否指示对应的图像区域内包含老鼠图像，其中目标向量为多个第一向量作为所述修正操作的对象的向量；在目标向量指示对应的图像区域包含老鼠图像的情况下，计算目标向量对应的图像区域与预设的背景图像的相似性；以及在算的相似性大于预设的阈值的情况下，判定目标向量所对应的图像区域中不包含老鼠图像。
可选地，还包括对所述卷积神经网络的计算模型进行训练的训练模块。训练模块包括：样本获取子模块，用于获取预定数量的包含老鼠图像的样本图像；样本信息获取子模块，用于获取所述样本图像的样本信息，其中样本信息包括样本图像中老鼠图像的实际坐标、实际长宽信息、实际分类信息以及实际置信度参数；第二向量生成子模块，用于基于样本图像，利用计算模型得到第二向量，其中第二向量包括样本图像中老鼠图像的输出坐标、输出长宽信息、输出分类信息以及输出置信度参数；优化子模块，用于将第二向量与样本信息进行比较，以及根据比较的结果对计算模型进行优化。
可选地，优化子模块包括：计算单元，用于根据第二向量与样本信息，计算计算模型的损失值，其中损失值的大小反映计算模型的准确率；以及反向更新单元，用于根据损失值，利用梯度下降方法，并对计算模型进行反向更新。
可选地，计算所述损失值的操作，包括根据如下公式计算所述损失值： loss＝losscoor+lossclass；其中loss为损失值，losscoor为位置损失，lossclass为分类损失，并且所述losscoor＝(x2-x1)2+(y2-y1)2+(w2-w1)2+(h2-h1)2；其中x1、 y1为所述样本图像中老鼠图像的所述实际坐标，w1、h1为所述样本图像中老鼠图像的所述实际长宽信息；x2、y2为所述样本图像中老鼠图像的所述输出坐标， w2、h2为所述样本图像中老鼠图像的所述输出长宽信息；并且所述 lossclass＝-[p2log(p1)+(1-p2)log(1-p1)+c2log(c1)+(1-c2)log(1-c1)]其中p1为所述样本图像中老鼠图像的所述实际置信度参数，c1为所述样本图像中老鼠图像的所述实际分类参数；p2为所述样本图像中老鼠图像的所述输出置信度参数，c2为所述样本图像中老鼠图像的所述输出分类参数。
从而根据本实施例，针对现有技术中存在的上述问题，本实施例的技术方案提供了一种鼠情监控装置，由于本实施例采用了基于卷积神经网络的计算模型，因此相对于传统的背景建模法以及特征点检测算法，具有更加准确的识别率和稳定性。并且该计算模型的算法为轻量级快速运行算法，能够在芯片有限的计算资源前提下快速进行检测计算；可以在移动端或嵌入式设备中实现，减速对服务器造的压力。
从而，本实施例的技术方案解决了现有技术中存在的稳定性差，无法实现运行在移动端或嵌入式设备中等技术问题。
实施例3
图9示出了根据本实施例的第一个方面所述的鼠情检查装置900，该装置 900与根据实施例1的第一个方面所述的方法相对应。参考图9所示，该装置 900包括：处理器910；以及存储器920，与处理器910连接，用于为处理器910 提供处理以下处理步骤的指令：从图像采集装置获取预定场所的图像；以及基于卷积神经网络的计算模型，对所述图像进行分析，生成与所述预定场所是否存在鼠情的鼠情信息。
可选地，基于卷积神经网络的计算模型，对所述图像进行分析，生成与所述图像采集装置所监控的监控区域内的是否有鼠情的鼠情信息的操作，包括：将所述图像划分成多个图像区域；基于所述多个图像区域，利用所述计算模型，分别生成与所述多个图像区域对应的多个第一向量，所述多个第一向量分别包含对应图像区域存在老鼠的置信度参数；以及根据所述多个第一向量，生成所述鼠情信息。
可选地，其中所述第一向量还包括以下第一向量参数：矩形框在对应的图像区域内的位置，其中所述矩形框与所述第一向量对应的图像区域内的老鼠图像匹配；所述向量对应的图像区域内的老鼠图像的分类；以及所述矩形框的大小。
可选地，根据所述多个第一向量，生成所述鼠情信息操作，还包括：对所述多个第一向量执行修正操作；以及根据修正后的所述多个第一向量，生成鼠情信息，其中所述修正操作包括：判定目标向量是否指示对应的图像区域内包含老鼠图像，其中所述目标向量为所述多个第一向量作为所述修正操作的对象的向量；在所述目标向量指示对应的图像区域包含老鼠图像的情况下，计算所述目标向量对应的图像区域与预设的背景图像的相似性；以及在所计算的相似性大于预设的阈值的情况下，判定所述目标向量所对应的图像区域中不包含老鼠图像。
可选地，还包括通过以下操作对所述卷积神经网络的计算模型进行训练：获取预定数量的包含老鼠图像的样本图像；获取所述样本图像的样本信息，其中所述样本信息包括所述样本图像中老鼠图像的实际坐标、实际长宽信息、实际分类信息以及实际置信度参数；基于所述样本图像，利用所述计算模型得到第二向量，其中所述第二向量包括所述样本图像中老鼠图像的输出坐标信息、输出长宽信息、输出分类信息以及输出置信度参数；将所述第二向量与所述样本信息进行比较，以及根据所述比较的结果对所述计算模型进行优化。
可选地，基于将所述第二向量与所述样本信息进行比较，以及根据所述比较的结果对所述计算模型进行优化的操作，包括：根据所述第二向量与所述样本信息，计算所述计算模型的损失值，其中所述损失值的大小反映所述计算模型的准确率；以及根据所述损失值，利用梯度下降方法，并对所述计算模型进行反向更新。
可选地，计算所述损失值的操作，包括根据如下公式计算所述损失值： loss＝losscoor+lossclass；其中loss为损失值，losscoor为位置损失，lossclass为分类损失，并且所述losscoor＝(x2-x1)2+(y2-y1)2+(w2-w1)2+(h2-h1)2；其中x1、 y1为所述样本图像中老鼠图像的所述实际坐标，w1、h1为所述样本图像中老鼠图像的所述实际长宽信息；x2、y2为所述样本图像中老鼠图像的所述输出坐标， w2、h2为所述样本图像中老鼠图像的所述输出长宽信息；并且所述 lossclass＝-[p2log(p1)+(1-p2)log(1-p1)+c2log(c1)+(1-c2)log(1-c1)]其中p1为所述样本图像中老鼠图像的所述实际置信度参数，c1为所述样本图像中老鼠图像的所述实际分类参数，p2为所述样本图像中老鼠图像的所述输出置信度参数，c2为所述样本图像中老鼠图像的所述输出分类参数。
从而根据本实施例，针对现有技术中存在的上述问题，本实施例的技术方案提供了一种鼠情监控装置，由于本实施例采用了基于卷积神经网络的计算模型，因此相对于传统的背景建模法以及特征点检测算法，具有更加准确的识别率和稳定性。并且该计算模型的算法为轻量级快速运行算法，能够在芯片有限的计算资源前提下快速进行检测计算；可以在移动端或嵌入式设备中实现，减速对服务器造的压力。
从而，本实施例的技术方案解决了现有技术中存在的稳定性差，无法实现运行在移动端或嵌入式设备中等技术问题。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器 (RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种鼠情监控方法，其特征在于，包括：
从图像采集装置获取预定场所的图像；以及
基于卷积神经网络的计算模型，对所述图像进行分析，生成与所述预定场所是否存在鼠情的鼠情信息，并且其中，
基于卷积神经网络的计算模型，对所述图像进行分析，生成与所述图像采集装置所监控的监控区域内的是否有鼠情的鼠情信息的操作，包括：将所述图像划分成多个图像区域；基于所述多个图像区域，利用所述计算模型，分别生成与所述多个图像区域对应的多个第一向量，所述多个第一向量分别包含对应图像区域存在老鼠的置信度参数；以及根据所述多个第一向量，生成所述鼠情信息，并且其中，
所述第一向量还包括以下第一向量参数：矩形框在对应的图像区域内的位置，其中所述矩形框与所述第一向量对应的图像区域内的老鼠图像匹配；所述向量对应的图像区域内的老鼠图像的分类；以及所述矩形框的大小，并且其中，
根据所述多个第一向量，生成所述鼠情信息操作，还包括：对所述多个第一向量执行修正操作；以及根据修正后的所述多个第一向量，生成所述鼠情信息，其中
所述修正操作包括：判定目标向量是否指示对应的图像区域内包含老鼠图像，其中所述目标向量为所述多个第一向量中作为所述修正操作的对象的向量；在所述目标向量指示对应的图像区域包含老鼠图像的情况下，计算所述目标向量对应的图像区域与预设的背景图像的相似性；以及在所计算的相似性大于预设的阈值的情况下，判定所述目标向量所对应的图像区域中不包含老鼠图像。
2.根据权利要求1所述的方法，其特征在于，还包括通过以下操作对所述卷积神经网络的计算模型进行训练：
获取预定数量的包含老鼠图像的样本图像；
获取所述样本图像的样本信息，其中所述样本信息包括所述样本图像中老鼠图像的实际坐标、实际长宽信息、实际分类信息以及实际置信度参数；
基于所述样本图像，利用所述计算模型得到第二向量，其中所述第二向量包括所述样本图像中老鼠图像的输出坐标信息、输出长宽信息、输出分类信息以及输出置信度参数；
将所述第二向量与所述样本信息进行比较，以及根据所述比较的结果对所述计算模型进行优化。
3.根据权利要求2所述的方法，其特征在于，基于将所述第二向量与所述样本信息进行比较，以及根据所述比较的结果对所述计算模型进行优化的操作，包括：
根据所述第二向量与所述样本信息，计算所述计算模型的损失值，其中所述损失值的大小反映所述计算模型的准确率；以及
根据所述损失值，利用梯度下降方法，并对所述计算模型进行反向更新。
4.根据权利要求3所述的方法，其特征在于，计算所述损失值的操作，包括根据如下公式计算所述损失值：
loss＝losscoor+lossclass；
其中loss为损失值，losscoor为位置损失，lossclass为分类损失，并且
所述losscoor＝(x2-x1)2+(y2-y1)2+(w2-w1)2+(h2-h1)2；
其中x1、y1为所述样本图像中老鼠图像的所述实际坐标，w1、h1为所述样本图像中老鼠图像的所述实际长宽信息；x2、y2为所述样本图像中老鼠图像的所述输出坐标，w2、h2为所述样本图像中老鼠图像的所述输出长宽信息；并且
所述lossclass＝-[p2log(p1)+(1-p2)log(1-p1)+c2log(c1)+(1-c2)log(1-c1)]
其中p1为所述样本图像中老鼠图像的所述实际置信度参数，c1为所述样本图像中老鼠图像的所述实际分类参数，p2为所述样本图像中老鼠图像的所述输出置信度参数，c2为所述样本图像中老鼠图像的所述输出分类参数。
5.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时由处理器执行权利要求1至4中任意一项所述的方法。
6.一种鼠情监控装置，其特征在于，包括：
获取模块，用于从图像采集装置获取预定场所的图像；以及
生成模块，用于基于卷积神经网络的计算模型，对所述图像进行分析，生成与所述预定场所是否存在鼠情的鼠情信息，并且其中
生成模块包括：图像划分子模块，用于将图像划分成多个图像区域；第一向量生成子模块，用于基于多个图像区域，利用计算模型，分别生成与多个图像区域对应的多个第一向量，多个第一向量分别包含对应图像区域存在老鼠的置信度参数；以及生成子模块，用于根据多个第一向量，生成鼠情信息，
第一向量还包括以下第一向量参数：矩形框在对应的图像区域内的位置，其中矩形框与第一向量对应的图像区域内的老鼠图像匹配；所述向量对应的图像区域内的老鼠图像的分类；以及矩形框的大小，并且其中
所述生成子模块，包括：修正单元，用于对多个第一向量执行修正操作；以及鼠情信息生成单元，用于根据修正后的多个第一向量，生成鼠情信息，其中修正操作包括：判定目标向量是否指示对应的图像区域内包含老鼠图像，其中目标向量为多个第一向量作为所述修正操作的对象的向量；在目标向量指示对应的图像区域包含老鼠图像的情况下，计算目标向量对应的图像区域与预设的背景图像的相似性；以及在算的相似性大于预设的阈值的情况下，判定目标向量所对应的图像区域中不包含老鼠图像。
7.一种鼠情监控装置，其特征在于，包括：
处理器；以及
存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：
从图像采集装置获取预定场所的图像；以及
基于卷积神经网络的计算模型，对所述图像进行分析，生成与所述预定场所是否存在鼠情的鼠情信息，并且其中
基于卷积神经网络的计算模型，对所述图像进行分析，生成与所述图像采集装置所监控的监控区域内的是否有鼠情的鼠情信息的操作，包括：将所述图像划分成多个图像区域；基于所述多个图像区域，利用所述计算模型，分别生成与所述多个图像区域对应的多个第一向量，所述多个第一向量分别包含对应图像区域存在老鼠的置信度参数；以及根据所述多个第一向量，生成所述鼠情信息，并且其中，
所述第一向量还包括以下第一向量参数：矩形框在对应的图像区域内的位置，其中所述矩形框与所述第一向量对应的图像区域内的老鼠图像匹配；所述向量对应的图像区域内的老鼠图像的分类；以及所述矩形框的大小，并且其中，
根据所述多个第一向量，生成所述鼠情信息操作，还包括：对所述多个第一向量执行修正操作；以及根据修正后的所述多个第一向量，生成所述鼠情信息，其中
所述修正操作包括：判定目标向量是否指示对应的图像区域内包含老鼠图像，其中所述目标向量为所述多个第一向量中作为所述修正操作的对象的向量；在所述目标向量指示对应的图像区域包含老鼠图像的情况下，计算所述目标向量对应的图像区域与预设的背景图像的相似性；以及在所计算的相似性大于预设的阈值的情况下，判定所述目标向量所对应的图像区域中不包含老鼠图像。
CN201811210692.7A 2018-10-17 2018-10-17 鼠情监控方法、装置及存储介质 Active CN109284735B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811210692.7A CN109284735B (zh) 2018-10-17 2018-10-17 鼠情监控方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811210692.7A CN109284735B (zh) 2018-10-17 2018-10-17 鼠情监控方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN109284735A CN109284735A (zh) 2019-01-29
CN109284735B true CN109284735B (zh) 2019-11-29

Family

ID=65177543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811210692.7A Active CN109284735B (zh) 2018-10-17 2018-10-17 鼠情监控方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN109284735B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109922317B (zh) * 2019-03-12 2020-03-31 重庆工程职业技术学院 通信负载大数据调节装置
CN110516535A (zh) * 2019-07-12 2019-11-29 杭州电子科技大学 一种基于深度学习的老鼠活跃度检测方法和系统、及卫生评估方法
CN111767797A (zh) * 2020-05-29 2020-10-13 苏州浪潮智能科技有限公司 一种机房鼠类的监测方法、装置、设备及可读介质
CN112016537B (zh) * 2020-10-27 2021-01-08 成都考拉悠然科技有限公司 一种基于计算机视觉的综合检测老鼠的方法
CN114743108B (zh) * 2022-04-24 2023-04-18 中国农业科学院农业信息研究所 一种草原鼠情识别与量化方法和鼠情记录仪

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108540773A (zh) * 2018-04-12 2018-09-14 云丁网络技术(北京)有限公司 一种监控方法、装置、系统及云服务器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346620B (zh) * 2013-07-25 2017-12-29 佳能株式会社 对输入图像中的像素分类的方法和装置及图像处理系统
CN106295515B (zh) * 2016-07-28 2019-10-15 北京小米移动软件有限公司 确定图像中的人脸区域的方法及装置
CN106780727B (zh) * 2016-12-27 2020-09-08 深圳市捷顺科技实业股份有限公司 一种车头检测模型重建方法及装置
US10181082B2 (en) * 2017-02-06 2019-01-15 Brown University Method and system for automated behavior classification of test subjects
CN108062531B (zh) * 2017-12-25 2021-10-19 南京信息工程大学 一种基于级联回归卷积神经网络的视频目标检测方法
CN108553028A (zh) * 2018-04-12 2018-09-21 深圳市沃特沃德股份有限公司 驱赶老鼠方法及扫地机器人

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108540773A (zh) * 2018-04-12 2018-09-14 云丁网络技术(北京)有限公司 一种监控方法、装置、系统及云服务器

Also Published As

Publication number Publication date
CN109284735A (zh) 2019-01-29

Similar Documents

Publication Publication Date Title
CN109284735B (zh) 鼠情监控方法、装置及存储介质
CN108664893B (zh) 一种人脸检测方法及存储介质
CN106469302B (zh) 一种基于人工神经网络的人脸肤质检测方法
CN109218619A (zh) 图像获取方法、装置和系统
EP3719708A1 (en) Model test method and device
CN108460362A (zh) 一种检测人体部位的系统及方法
CN107885317A (zh) 一种基于手势的交互方法及装置
CN109299703A (zh) 对鼠情进行统计的方法、装置以及图像采集设备
CN110781914A (zh) 一种设备故障的监控处理方法、装置、设备和存储介质
CN109376637A (zh) 基于视频监控图像处理的人数统计系统
CN110135476A (zh) 一种个人安全装备的检测方法、装置、设备及系统
CN109472193A (zh) 人脸检测方法及装置
CN106650941B (zh) 一种基于可靠性管理的不确定性消除情景感知系统及其工作方法
CN108090402A (zh) 一种基于循环神经网络的视频人脸识别方法及系统
CN109508671A (zh) 一种基于弱监督学习的视频异常事件检测系统及其方法
CN110139067A (zh) 一种野生动物监测数据管理信息系统
CN108009497A (zh) 图像识别监控方法、系统、计算设备以及可读存储介质
CN109508583A (zh) 一种人群分布特征的获取方法和装置
CN108764456A (zh) 机载目标识别模型构建平台、机载目标识别方法及设备
CN110399822A (zh) 基于深度学习的举手动作识别方法、装置及存储介质
CN109284740A (zh) 对鼠情进行统计的方法、装置、设备以及存储介质
CN111768404A (zh) 口罩外观缺陷检测系统、方法、装置以及存储介质
CN109740527B (zh) 一种视频帧中图像处理方法
CN102867214B (zh) 区域范围内人数统计管理方法
CN111652168B (zh) 基于人工智能的群体检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant