CN109831634A - 目标对象的密度信息确定方法及装置 - Google Patents
目标对象的密度信息确定方法及装置 Download PDFInfo
- Publication number
- CN109831634A CN109831634A CN201910152412.XA CN201910152412A CN109831634A CN 109831634 A CN109831634 A CN 109831634A CN 201910152412 A CN201910152412 A CN 201910152412A CN 109831634 A CN109831634 A CN 109831634A
- Authority
- CN
- China
- Prior art keywords
- target
- target object
- image
- target area
- distribution density
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种目标对象的密度信息确定方法及装置，该方法包括：获取在预定时间段内对目标区域进行拍摄得到的图像信息；根据图像信息获取在目标区域中出现的目标对象的移动信息，其中，移动信息包括目标对象在目标区域中移动的移动时长；利用目标对象的移动信息确定目标对象在目标区域中的分布密度。通过本发明，解决了相关技术中对目标对象的分布密度计算不准确的问题，达到准确计算出目标对象的分布密度的效果。
Description
技术领域
本发明涉及计算机领域，具体而言，涉及目标对象的密度信息确定方法及装置。
背景技术
一座城市的卫生状况，不仅是社会发展程度和文明程度的体现，也关乎每一个居民的身体健康和生活质量，而在公共卫生管理的过程中，鼠患治理历来都是一项不容忽视的工作。老鼠不但破坏财物，还传播包括鼠疫、钩端螺旋体病等在内的三十多种疾病，对于城市的经济和居民的健康都可能造成巨大危害，因此，如何科学有效地防鼠、灭鼠就显得十分重要。
在鼠患防治的过程中，对于鼠密度的监测是一个必不可少的环节。通过对鼠密度的监测，相关部门可以及时掌握各区域的鼠患状况，有针对性地布署和开展后续灭鼠工作；同时，鼠密度监测也是对灭鼠成效的回测，便于鼠患防治工作的管理，并可为灭鼠方法的进一步完善提供参考依据。
然而，鉴于老鼠神出鬼没的生活习性和灵活迅速的行动特点，对鼠密度的监测并非易事，实际操作存在诸多困难。
目前，多数地区采用的鼠密度监测方法是“鼠夹法”，即在监测目标区域布放一定数量的鼠夹，一段时间后，汇总、统计所抓获的老鼠数量，从而计算该区域的鼠密度。
部分地区采用“投食法”统计各辖区的鼠患指数。具体操作办法是：随机选择一些地方的下水道、垃圾站投放老鼠食饵，间隔一定时间后，统计食饵被盗食的比例。
无论是“鼠夹法”还是“投食法”，虽然能在一定程度上了解监测区域的鼠患情况，但两种方法都存在一些显而易见的弊端：
选址科学性问题，这是两种方法都存在的问题，在何处布放鼠夹或食饵将很大程度上影响最后的统计结果，而目前的方法在选址上多依靠人为判断，存在较大随意性，科学性有待考量；且若对所放区域考察不足，监测结果就极易受到其他因素干扰，比如“投食法”，在所放食饵附近若恰好有其他食源，最终的统计结果就可能是被低估的。
人力依赖问题，两种方法的工具布署、维护和结果统计都极度依赖人力，而像清点死老鼠个数、识别食饵是否被吃过这类工作又是脏活，所以在开展工作时存在一定困难。
“投食法”特有的一个缺陷还在于，所投放的食饵可能存在过期、包装未去除等问题，也会极大地影响最终的统计结果。
针对上述技术问题，相关技术中尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种目标对象的密度信息确定方法及装置，以至少解决相关技术中对目标对象的分布密度计算不准确的问题。
根据本发明的一个实施例，提供了一种目标对象的密度信息确定方法，包括：获取在预定时间段内对目标区域进行拍摄得到的图像信息；根据图像信息获取在目标区域中出现的目标对象的移动信息，其中，移动信息包括目标对象在目标区域中移动的移动时长；利用目标对象的移动信息确定目标对象在目标区域中的分布密度。
根据本发明的另一个实施例，提供了一种目标对象的密度信息确定装置，包括：第一获取模块，用于获取在预定时间段内对目标区域进行拍摄得到的图像信息；第二获取模块，用于根据图像信息获取在目标区域中出现的目标对象的移动信息，其中，移动信息包括目标对象在目标区域中移动的移动时长；确定模块，用于利用目标对象的移动信息确定目标对象在目标区域中的分布密度。
根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，由于获取在预定时间段内对目标区域进行拍摄得到的图像信息；根据图像信息获取在目标区域中出现的目标对象的移动信息，其中，移动信息包括目标对象在目标区域中移动的移动时长；利用目标对象的移动信息确定目标对象在目标区域中的分布密度。可以实现基于目标对象在目标区域中的移动时长计算出目标对象的分布密度，因此，可以解决相关技术中对目标对象的分布密度计算不准确的问题，达到准确计算出目标对象的分布密度的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种目标对象的密度信息确定方法的移动终端的硬件结构框图；
图2是根据本发明实施例的目标对象的密度信息确定方法的流程图；
图3是根据本发明实施例的图像信息的示意图；
图4是根据本发明实施例的又一种可选的各模块数据连接的示意图；
图5是根据本发明实施例的目标对象的密度信息确定装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种目标对象的密度信息确定方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的目标对象的密度信息确定方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种目标对象的密度信息确定方法，图2是根据本发明实施例的目标对象的密度信息确定方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取在预定时间段内对目标区域进行拍摄得到的图像信息；
步骤S204，根据图像信息获取在目标区域中出现的目标对象的移动信息，其中，移动信息包括目标对象在目标区域中移动的移动时长；
步骤S206，利用目标对象的移动信息确定目标对象在目标区域中的分布密度。
通过本发明，由于获取在预定时间段内对目标区域进行拍摄得到的图像信息；根据图像信息获取在目标区域中出现的目标对象的移动信息，其中，移动信息包括目标对象在目标区域中移动的移动时长；利用目标对象的移动信息确定目标对象在目标区域中的分布密度。可以实现基于目标对象在目标区域中的移动时长计算出目标对象的分布密度，因此，可以解决相关技术中对目标对象的分布密度计算不准确的问题，达到准确计算出目标对象的分布密度的效果。
可选地，上述步骤的执行主体可以为终端等，但不限于此。
在一个可选的实施例中，客户端可以是带有显示屏幕的手机，目标对象可以是老鼠、蟑螂等害虫；预定时间段可以是一天，也可以是晚上或者是白天的时间段；目标区域可以是医院、学校、大街上等有害虫出现的区域。在本实施例中，图像信息可以是在拍摄的视频文件中提取的图像。
在一个可选的实施例中，移动信息还包括：在预定时间段内目标区域中出现的目标对象的个数，其中，利用目标对象的移动信息确定目标对象在目标区域中的分布密度包括：根据移动时长和个数确定目标对象在目标区域中的分布密度。在本实施例中，移动时长即是目标对象出现在视频文件中的时长，个数即是目标对象出现在视频文件中的个数。具体的技术方式如下：计算移动时长与个数的乘积，得到第一乘积；计算第一乘积与预定时间段的比值，得到第一比值；将第一比值的百分比确定为目标对象在目标区域中的分布密度。例如：目标对象是老鼠，预定时间段为24小时，对鼠密度的计算方式如下：鼠密度＝有鼠类活动的时长*该段时间内鼠只数/24*100％(单位：鼠次/小时)。
在一个可选的实施例中，还可以通过以下方式利用目标对象的移动信息确定目标对象在目标区域中的分布密度：计算移动时长与预定时间段的比值，得到第二比值；将第二比值的百分比确定为目标对象在目标区域中的分布密度。在本实施例中，例如，目标对象是老鼠，预定时间段是24小时，鼠密度的计算方式如下：鼠密度＝有鼠类活动的时间(单位：小时)/24(单位：小时)*100％。
在一个可选的实施例中，为了统计数据的准确性，可连续或间断地采集多天的数据，结合考虑天气、气候的变化情况，综合计算该段时间内的目标对象的分布密度。
在一个可选的实施例中，通过以下方式确定目标区域：获取待选区域中的人流密度；将人流密度满足预设阈值的待选区域确定为目标区域。在本实施例中，待选区域可以是学校、医院、大街上等区域，人流密度即是待选区域中的人流分布密度，例如，待选区域是学校的餐厅，计算出餐厅的大小，餐厅的人流密度的计算方式如下：人流密度＝人数(单位：小时)/餐厅的大小(单位：小时)*100％。预设阈值可以根据不同的区域进行设置，至少所选定的待选区域中是有人存在的。
在一个可选的实施例中，利用目标对象的移动信息确定目标对象在目标区域中的分布密度之后，方法还包括：向服务器发送分布密度；在客户端上接收服务器查找的与分布密度对应的目标操作结果，其中，目标操作结果用于指示捕捉目标对象；在客户端上显示目标操作结果。在本实施例中，目标操作结果可以预先存储在数据库或者缓存中，利用服务器从数据库或者是缓存中调取目标操作结果。客户端可以是带有显示屏幕的手机。目标操作结果可以是对目标对象进行捕捉的措施，也可以是对目标对象进行分析的结果，不限于此。
在一个可选的实施例中，利用目标对象的移动信息确定目标对象在目标区域中的分布密度之后，方法还包括：在客户端上显示分布密度。在本实施例中，客户端可以是带有触摸屏幕的手机，在手机上显示分布密度和目标操作结果，可以使得用户清楚的了解到目标对象的分布密度和捕捉方案，增加对捕捉目标对象的捕捉设备放置的准确性。
在一个可选的实施例中，通过以下方式获取在预定时间段内对目标区域进行拍摄得到的图像信息：获取摄像设备在预定时间段内对目标区域拍摄得到的视频文件；根据图像信息获取在目标区域中出现的目标对象的移动信息包括：根据视频文件确定在目标区域中是否出现目标对象；在确定出在目标区域中出现目标对象的情况下，根据视频文件确定获取目标对象的移动信息；其中，根据视频文件确定在目标区域中是否出现目标对象包括：对视频文件进行抽帧采样，得到一组视频帧图像；根据一组视频帧图像中的像素点的像素值在一组视频帧图像中确定出多个目标图像，其中，每个目标图像用于指示在目标区域中存在运动的对象；对每个目标图像进行目标对象的检测，得到每个目标图像的图像特征，其中，图像特征用于表示在存在运动的对象中，与目标对象之间的相似度大于第一阈值的对象所在的目标图像区域；根据每个目标图像特征确定出运动特征，其中，运动特征用于表示多个目标图像中存在运动的对象的运动速度和运动方向；根据运动特征和每个目标图像的图像特征，确定多个目标图像中是否出现有目标对象。
在一个可选的实施例中，通过以下方式根据视频文件确定获取目标对象的移动信息：记录目标对象出现在视频文件的第一时间；记录目标对象离开视频文件的第二时间；计算第一时间和第二时间之间的时长，以确定目标对象在目标区域中移动的移动时长。
下面结合具体实施例对本发明进行详细说明：
本实施例中的目标对象以老鼠为例进行说明：
应用数字化技术，在餐厅等注重食品安全的环境中辅助完成视频监测鼠迹之后的针对性防治工作。本实施例提供一种鼠密度计算的系统，该系统包括以下组成部分：
数据采集模块：
在合适的位置部署视频录制设备，采集一段连续时间的视频数据，用以观察虫类、鼠类出没情况，在画面中选取合适的位置，摆放鼠饵。
考虑到老鼠在夜间出没的特点，视频录制设备需具备夜间拍摄能力。可选的视频录制设备包括手机、摄像机、摄像头等等。
录制的视频需要保持画面背景的静止、图像的清晰，以确保后续鼠密度统计结果的准确性。
视频录制设备在完成视频采集工作后，保存视频到服务器，以待进一步地图像分析。
鼠密度计算模块：
对视频图像应用动态目标检测算法，对画面中移动物体进行轨迹提取，接着由分类网络判别该对象是否是老鼠。
计算视频中有老鼠出现的时长，以及每一段有老鼠出现的视频中，老鼠的只数。
根据中国疾病预防控制中心指定的《全国病媒生物监测方案》，其中鼠密度现行的统计方法为所有有效布放的鼠夹中，被鼠夹有效捕获的老鼠数量，为百分比结果。而应用本方法统计的鼠密度反映在某个特定位置，有鼠类活动的总时长在一整天时间中的占比：
鼠密度＝有鼠类活动的时间(单位：小时)/24(单位：小时)*100％
可选的，为了统计数据的准确性，可连续或间断地采集多天的数据，结合考虑天气、气候的变化情况，综合计算该段时间内的鼠密度。
可选的，为了综合考虑同一时刻，一只老鼠出没和多只老鼠出没，代表着鼠患严重情况的不同，计算鼠密度的公式可引入统计每一时刻下画面中的老鼠只数，以“鼠次”取代“有鼠类活动的时间”作为分母，计算鼠密度值。
反映在某个特定位置的鼠类活动剧烈程度，则鼠密度＝有鼠类活动的时长*该段时间内鼠只数/24*100％(单位：鼠次/小时)
考虑老鼠怕人的特性，人的出没，会减少老鼠出没，从而影响不同地域鼠密度统计偏差。在选址方面选取人流密度低，深夜无人路过的区域作为鼠密度测量场所。
本实施例可以为城镇等室外区域提供了一种鼠密度监测手段，能为有效指导和开展鼠患防治工作提供科学依据，并且有效解决了当前监测方法中的选址、人力依赖、食饵维护问题。
可选地，在本实施例中，还提供了一种目标对象的确定方法。假设图像采集设备为摄像设备，采集到的图像数据集是从视频文件中提取出的图像帧。图像采集设备所监控的目标建筑内的空间区域为目标区域。上述方法包括以下步骤：
步骤S1，获取摄像设备对目标区域拍摄得到的视频文件。
在本申请上述步骤S1提供的技术方案中，摄像设备可以为监控摄像头，比如，该摄像设备为红外微光夜视摄像头，用于对目标区域进行拍摄监控，得到视频文件。其中，目标区域为目标建筑内被检测的空间区域，也即，用于检测是否有目标对象出现的区域，该目标对象可以为体型较大的需要进行防治的病媒生物，比如，该目标对象为老鼠。
该实施例的视频文件包括对目标区域进行拍摄得到的原始视频数据，可以包括目标区域的监控视频序列，该监控视频序列也即图像视频序列。
可选地，该实施例在视频数据采集层通过ARM板获取目标区域的原始视频数据，以生成上述视频文件，从而实现了对目标区域的视频进行采集的目的。
步骤S2，对视频文件进行抽帧采样，得到一组视频帧图像。
在本申请上述步骤S2提供的技术方案中，在获取摄像设备对目标区域拍摄得到的视频文件之后，对视频文件进行预处理，可以在视频数据处理层对视频文件进行抽帧采样，得到一组视频帧图像。
在该实施例中，可以对视频文件进行等间隔的抽帧采样，从而得到视频文件的一组视频帧图像，比如，视频文件包括100个视频帧序列，在进行抽帧采样之后，得到10个视频帧序列，则将这10个视频帧序列作为上述一组视频帧图像，从而减少对目标对象进行确定的算法的运算量。
步骤S3，根据一组视频帧图像中的像素点的像素值在一组视频帧图像中确定出多个目标图像。
在本申请上述步骤S3提供的技术方案中，在对视频文件进行抽帧采样，得到一组视频帧图像之后，根据一组视频帧图像中的像素点的像素值在一组视频帧图像中确定出多个目标图像，其中，每个目标图像用于指示在对应的目标区域中存在运动的对象。
在该实施例中，对视频文件进行预处理，还包括对视频文件进行动态检测，从一组视频帧图像中确定用于指示在目标区域中存在运动的对象的目标图像，也即，在该目标图像中存在运动的对象，该目标图像可以为存在运动的对象的视频片段，其中，存在运动的对象可能是目标对象，也可能不是。该实施例可以通过动态检测算法确定目标图像，根据一组视频帧图像中的像素点的像素值在一组视频帧图像中确定出多个目标图像，进而执行步骤S4。
可选地，在一组视频帧图像中，除多个目标图像之外的视频帧图像未指示出在对应的目标区域中有运动的图像，可以不进行后续的检测。
步骤S4，对每个目标图像进行目标对象检测，得到每个目标图像的图像特征。
在本申请上述步骤S4提供的技术方案中，在根据一组视频帧图像中的像素点的像素值在一组视频帧图像中确定出多个目标图像之后，对每个目标图像进行目标对象检测，得到每个目标图像的图像特征，其中，图像特征针对每个目标图像而言，用于表示目标图像中存在运动的对象被判定为目标对象时存在运动的对象所在的目标图像区域。
在该实施例中，对每个目标图像进行目标对象检测，也即，对目标图像中存在的运动对象进行检测，可以通过目标检测系统采用动态目标检测方法和基于神经网络的目标检测方法对目标图像中存在的运动对象进行检测，得到每个目标图像的图像特征，其中，动态目标检测方法的运算速度快、对机器配置要求较低，而基于神经网络的目标检测方法的准确性和鲁棒性更好，图像特征可以为矩形框中的视觉信息，用于表示目标图像区域，该矩形框可以为检测框，用于表示在存在运动的对象中，与所要识别的目标对象之间的相似度大于第一阈值的对象所在的目标图像区域。也就是说，上述图像特征用于指示粗筛确认出的目标对象可能出现的位置。
步骤S5，根据每个目标图像的图像特征确定出运动特征。
在本申请上述步骤S5，提供的技术方案中，在对每个目标图像进行目标对象检测，得到每个目标图像的图像特征之后，根据每个目标图像的图像特征确定出运动特征，其中，运动特征用于表示多个目标图像中存在运动的对象的运动速度和运动方向。
在该实施例中，在对每个目标图像进行目标对象检测，得到每个目标图像的图像特征之后，可以将每个目标图像的图像特征输入至运动特征提取模块，该运动特征提取模块根据每个目标图像的图像特征确定出运动特征，该运动特征针对多个目标图像而言，用于表示多个目标图像中存在运动的对象的运动速度和运动方向，同时进一步过滤掉非目标对象的移动所造成的干扰图像，比如，删除掉蚊虫的移动等干扰信息。
可选地，在该实施例中，由于每个目标图像中存在运动的对象的运动是连续的，运动特征提取模块的运动特征提取算法可以先根据每个目标图像的图像特征检测多个目标图像之间的图像特征的相关性，可以将相关性大的图像特征对应的对象确定为同一对象，对每一目标图像的图像特征进行匹配，得到对象的一系列运动图片，最后可以使用3D的特征提取网络提取运动序列的特征，从而得到运动特征，比如，根据每个目标图像的检测框，计算多个目标图像之间检测框的相关性，可以将相关性大的检测框对应的对象确定为同一对象，对每个目标图像的检测框进行匹配，得到对象的一系列运动图片，最后使用3D的特征提取网络提取运动序列的特征，得到运动特征，进而确定多个目标图像中存在运动的对象的运动速度和运动方向。
可选地，该实施例也可以将多个目标图像的图像特征进行融合和且进行特征提取，从而防止单帧的目标检测器出现误判的情况，进而实现对目标图像进行精筛以准确确定出是否出现目标对象。
步骤S6，根据运动特征和每个目标图像的图像特征，确定多个目标图像中是否出现有目标对象。
在本申请上述步骤S6提供的技术方案中，在根据每个目标图像的图像特征确定出运动特征之后，可以将运动特征和每个目标图像的图像特征进行融合，输入至预先训练好的分类网络中，该分类网络为预先设计好的用于确定多个目标图像中是否出现有目标对象的分类网络模型，进而根据运动特征和每个目标图像的图像特征，确定多个目标图像中是否出现有目标对象，比如，确定多个目标图像中是否出现有老鼠。
可选地，该实施例可以将多个目标图像中有目标对象的图像中的图像特征输入至前端显示界面，该前端显示界面可以进而显示出目标对象的检测框和移动轨迹。
可选地，该实施例的分类网络模型可以用于过滤非目标对象的图片序列，而保留目标对象的图片序列，从而降低虚警率，保证目标对象提示信息的准确性。
通过上述步骤S1至步骤S6，通过获取摄像设备对目标区域拍摄得到的视频文件；对视频文件进行抽帧采样，得到一组视频帧图像；根据一组视频帧图像中的像素点的像素值在一组视频帧图像中确定出多个目标图像，其中，每个目标图像用于指示在目标区域中存在运动的对象；对每个目标图像进行目标对象检测，得到每个目标图像的图像特征，其中，图像特征用于表示在存在运动的对象中，与目标对象之间的相似度大于第一阈值的对象所在的目标图像区域；根据每个目标图像的图像特征确定出运动特征，其中，运动特征用于表示多个目标图像中存在运动的对象的运动速度和运动方向；根据运动特征和每个目标图像的图像特征，确定多个目标图像中是否出现有目标对象。也就是说，对目标区域的视频文件进行抽帧采样，得到一组视频帧图像，根据一组视频帧图像中的像素点的像素值在一组视频帧图像中确定出用于指示在目标区域中存在运动的对象的多个目标图像，再根据每个目标图像的图像特征确定出运动特征，进而根据运动特征和每个目标图像的图像特征，达到自动确定多个目标图像中是否出现有目标对象的目的，不仅大大减少了确定目标对象的人力成本，而且提高了确定目标对象的准确率，解决了对目标对象进行确定的效率低的问题，进而达到了提高鼠患检测准确度的效果。
作为一种可选的实施方式，步骤S3，根据一组视频帧图像中的像素点的像素值在一组视频帧图像中确定出多个目标图像包括：获取一组视频帧图像中的每个像素点的平均像素值；获取一组视频帧图像中的每个视频帧图像中的每个像素点的像素值与对应的平均像素值之间的差值；将一组视频帧图像中差值满足预定条件的视频帧图像确定为目标图像。
在该实施例中，在根据一组视频帧图像中的像素点的像素值在一组视频帧图像中确定出多个目标图像时，可以获取一组视频帧图像中的每个像素点的像素值，根据每个像素点的像素值计算出平均像素值，再获取一组视频帧图像中的每个像素点的像素值与对应的平均像素值之间的差值。
可选地，该实施例还可以获取一组视频帧图像中的每个视频帧图像中的每个像素点的像素值与背景或者每个视频帧图像的前一帧之间的差值。
在获取上述差值之后，判断差值是否满足预定条件，将一组视频帧图像中差值满足预定条件的视频帧图像确定为目标图像，从而得到一组视频帧图像中的多个目标图像。
作为一种可选的实施方式，获取一组视频帧图像中的每个视频帧图像中的每个像素点的像素值与对应的平均像素值之间的差值包括：对于一组视频帧图像中的每个视频帧图像中的每个像素点执行以下操作，其中，在执行以下操作时每个视频帧图像被视为当前视频帧图像，将每个像素点视为当前像素点：：D(x,y)＝|f(x,y)-b(x,y)|，其中，(x,y)为当前像素点在当前视频帧图像中的坐标，f(x,y)表示当前像素点的像素值，b(x,y)表示当前像素点的平均像素值，D(x,y)表示当前像素点的像素值与对应的平均像素值之间的差值。
在该实施例中，在获取一组视频帧图像中的每个视频帧图像中的每个像素点的像素值与对应的平均像素值之间的差值时，每个视频帧图像被视为当前视频帧图像，将每个像素点视为当前像素点：，可以通过(x,y)表示当前像素点在当前视频帧图像中的坐标，比如，为以当前视频帧图像左上角为原点，宽方向为X轴，高方向为Y轴建立的坐标系中像素点的坐标，通过f(x,y)表示当前像素点的像素值，通过b(x,y)表示当前像素点的平均像素值，通过D(x,y)表示当前像素点的像素值与对应的平均像素值之间的差值，按照公式D(x,y)＝|f(x,y)-b(x,y)|计算出当前像素点的像素值与对应的平均像素值之间的差值，从而通过上述方法达到获取一组视频帧图像中的每个视频帧图像中的每个像素点的像素值与对应的平均像素值之间的差值的目的。
作为一种可选的实施方式，将一组视频帧图像中差值满足预定条件的视频帧图像确定为目标图像包括：对于一组视频帧图像中的每个视频帧图像中的每个像素点执行以下操作，其中，在执行以下操作时每个视频帧图像被视为当前视频帧图像，将每个像素点视为当前像素点：：其中，D(x,y)表示为当前像素点的像素值与对应的平均像素值之间的差值，T为第一预设阈值；其中，预定条件包括：目标图像中M(x,y)＝1的像素点的个数超过第二预设阈值。
在该实施例中，在将一组视频帧图像中差值满足预定条件的视频帧图像确定为目标图像时，每个视频帧图像被视为当前视频帧图像，将每个像素点视为当前像素点：，通过M(x,y)表示当前视频帧图像，D(x,y)表示当前像素点的像素值与对应的平均像素值之间的差值，通过T表示第一预设阈值，如果当前视频帧中M(x,y)＝1的像素点的个数超过第二预设阈值，则将当前视频帧图像确定为目标图像，也即，则当前视频帧图像中存在运动的对象，为目标图像，否则，当前视频帧图像中不存在运动的对象。
该实施例的一组视频帧图像中多个目标图像组成了运动目标图像，可以经过形态学运算合并像素点可得出所有运动的对象，作为输出结果。
可选地，该实施例对目标图像中存在运动的对象的检测为基于神经网络的目标检测，可以将一组视频帧图像输入预先训练好的网络模型，得出所有存在运动的对象和其置信度，将大于某个置信度阈值的图像特征作为该网络模块的输出。使用的网络模型可以包含但不限于单次多目标检测器(Single Shot MultiBox Detector，简称为SSD)、区域卷积网络(Faster Region-CNN，简称为Faster-RCNN)、特征金字塔网络(Feature PyramidNetwork，简称为FPN)等，此处不做任何限制。
作为一种可选的实施方式，步骤S5，根据每个目标图像的图像特征确定出运动特征包括：获取与每个目标图像的图像特征所表示的目标图像区域对应的目标矢量，得到多个目标矢量，其中，每个目标矢量用于表示对应的一个目标图像中存在运动的对象在经过目标图像区域时的运动速度和运动方向；将多个目标矢量按照每个目标图像在视频文件中的时间顺序组成第一目标向量，其中，运动特征包括第一目标向量；或者获取与每个目标图像的图像特征所表示的目标图像区域对应的二维光流图，得到多个二维光流图，其中，每个二维光流图包括对应的一个目标图像中存在运动的对象在经过目标图像区域时的运动速度和运动方向；将多个二维光流图按照每个目标图像在视频文件中的时间顺序组成三维第二目标向量，其中，运动特征包括三维第二目标向量。
在该实施例中，每个目标图像的图像特征可以用于表示与目标图像区域对应的目标矢量，从而得到与多个目标视频帧一一对应的多个目标矢量，其中的每个目标矢量用于表示对应的一个目标图像中存在运动的对象在经过目标图像区域时的运动速度和运动方向，也即，可以将每个目标图像中存在运动的对象在经过目标图像区域时的运动速度和运动方向，作为每个目标图像的图像特征。在得到多个目标矢量之后，将多个目标矢量按照每个目标图像在视频文件中的时间顺序组成第一目标向量，其中，每个目标图像在视频文件中的时间顺序可以通过时间轴表示，进而可以将多个目标矢量沿着时间轴做拼接，得到第一目标向量，该第一目标向量为一维向量，将该一维向量作为运动特征进行输出。
可选地，每个目标图像的图像特征用于表示目标图像区域，可以计算每个目标图像区域的光流(Optical flow or optic flow)，得到与该目标图像区域对应的二维光流图，进而得到与多个目标图像一一对应的多个二维光流图，其中，光流用于描述相对于观察者的运动所造成的观测目标、表面或边缘的运动。该实施例的每个二维光流图包括对应的一个目标图像中存在运动的对象在经过目标图像区域时的运动速度和运动方向，也即，目标图像中存在运动的对象在经过目标图像区域时的运动速度和运动方向可以通过二维光流图来表示。在得到多个二维光流图之后，将多个二维光流图按照每个目标图像在视频文件中的时间顺序组成三维第二目标向量，其中，每个目标图像在视频文件中的时间顺序可以通过时间轴表示，可以将多个二维光流图沿着时间轴做拼接，得到第二目标向量，该第二目标向量为三维向量，将该三维向量作为运动特征进行输出。
该实施例通过用于表示对应的一个目标图像中存在运动的对象在经过目标图像区域时的运动速度和运动方向的目标矢量，或者与每个目标图像的图像特征所表示的目标图像区域对应的二维光流图来确定出运动特征，该运动特征可以为一维向量或者为三维向量，从而实现了根据每个目标图像的图像特征确定出运动特征的目的，进而根据运动特征和每个目标图像的图像特征，确定多个目标图像中是否出现有目标对象，达到自动确定多个目标图像中是否出现有目标对象的目的，提高了确定目标对象的准确率。
作为一种可选的示例，通过融合了对上述存在运动的对象的检测(目标检测)和运动特征提取的网络输出特征图，该特征图融合了包括视觉和运动特征的四维向量，其中，该四维向量可以包括但不限于时间维度、通道维度、长维度、高维度。
作为一种可选的实施方式，步骤S6，根据运动特征和每个目标图像的图像特征，确定多个目标图像中是否出现有目标对象包括：将运动特征和每个目标图像的图像特征输入到预先训练好的神经网络模型中，得到对象识别结果，其中，对象识别结果用于表示多个目标图像中是否出现有目标对象。
在该实施例中，在根据运动特征和每个目标图像的图像特征，确定多个目标图像中是否出现有目标对象时，可以将运动特征和每个目标图像的图像特征输入到预先训练好的神经网络模型中，得到对象识别结果，该神经网络模型也即分类网络模型，可以根据存在有运动的目标对象的图像特征样本、运动特征样本和用于指示目标对象的数据对初始神经网络模型进行训练，且用于确定视频帧图像中是否出现有目标对象的模型。对象识别结果也即分类结果、判别结果，用于表示多个目标图像中是否出现有目标对象。
作为一种可选的实施方式，将运动特征和每个目标图像的图像特征输入到预先训练好的神经网络模型中，得到对象识别结果包括：将每个图像特征经过包括卷积层、正则化层和激活函数层的神经网络层结构，得到多个第一特征向量；将多个第一特征向量与运动特征进行融合，得到第二特征向量；将第二特征向量输入到全连接层进行分类，得到第一分类结果，其中，神经网络模型包括神经网络层结构和全连接层，对象识别结果包括第一分类结果，第一分类结果用于表示多个目标图像中是否出现有目标对象；或者将每个图像特征经过包括卷积层、正则化层和激活函数层的第一神经网络层结构，得到多个第一特征向量；将运动特征经过包括卷积层、正则化层、激活函数层的第二神经网络层结构，得到第二特征向量；将多个第一特征向量与第二特征向量进行融合，得到第三特征向量；将第三特征向量输入到全连接层进行分类，得到第二分类结果，其中，神经网络模型包括第一神经网络层结构、第二神经网络层结构和全连接层，对象识别结果包括第二分类结果，第二分类结果用于表示多个目标图像中是否出现有目标对象。
在该实施例中，神经网络模型的总体结构可以分为卷积层、正则化层、激活函数层、全连接层，其中，卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的；正则化层可以用于防止神经网络模型训练的过拟合，激活函数层可以将非线性引入网络，全连接层在整个卷积神经网络中起到分类器的作用。
在该实施例中，在将运动特征和每个目标图像的图像特征输入到预先训练好的神经网络模型中，得到对象识别结果时，可以将每个图像特征经过包括卷积层、正则化层和激活函数层的神经网络层结构，得到多个第一特征向量，将该多个第一特征向量与上述运动特征进行融合，从而得到第二特征向量，其中，运动特征为一维运动特征。
作为一种可选的融合方式，可以将多个第一特征向量与运动特征进行拼接(或称为组合)，得到第二特征向量。
在得到第二特征向量之后，将第二特征向量输入到全连接层进行分类，也即，通全连接层对第二特征向量进行分类，从而得到第一分类结果，其中，该实施例的神经网络模型包括上述神经网络层结构和上述全连接层，第一分类结果用于表示多个目标图像中是否出现有目标对象的对象识别结果，比如，为多个目标图像中是否出现有老鼠的分类结果。
可选地，上述将每个图像特征经过包括卷积层、正则化层和激活函数层的神经网络层结构，得到多个第一特征向量，将多个第一特征向量与运动特征进行融合，得到第二特征向量，将第二特征向量输入到全连接层进行分类，得到第一分类结果的方法，可以在获取与每个目标图像的图像特征所表示的目标图像区域对应的目标矢量，得到多个目标矢量，将多个目标矢量按照每个目标图像在视频文件中的时间顺序组成第一目标向量之后执行。
可选地，在将运动特征和每个目标图像的图像特征输入到预先训练好的神经网络模型中，得到对象识别结果时，将每个图像特征经过包括卷积层、正则化层和激活函数层的第一神经网络层结构，得到多个第一特征向量；将上述运动特征经过包括卷积层、正则化层、激活函数层的第二神经网络层结构，得到第二特征向量。在得到第一特征向量和得到第二特征向量之后，将多个第一特征向量与第二特征向量进行融合，得到第三特征向量。
作为一种可选的融合方式，可以将多个第一特征向量与第二特征向量进行拼接(或称为组合)，得到第三特征向量。
在得到第三特征向量之后，将第三特征向量输入到全连接层进行分类，从而得到第二分类结果，其中，该实施例的神经网络模型包括第一神经网络层结构、第二神经网络层结构和全连接层，对象识别结果包括第二分类结果，该第二分类结果用于表示多个目标图像中是否出现有目标对象，比如，为多个目标图像中是否出现有老鼠的分类结果。
可选地，上述将每个图像特征经过包括卷积层、正则化层和激活函数层的第一神经网络层结构，得到多个第一特征向量，将运动特征经过包括卷积层、正则化层、激活函数层的第二神经网络层结构，得到第二特征向量，将多个第一特征向量与第二特征向量进行融合，得到第三特征向量，将第三特征向量输入到全连接层进行分类，得到第二分类结果的方法，可以在获取与每个目标图像的图像特征所表示的目标图像区域对应的二维光流图，得到多个二维光流图，将多个二维光流图按照每个目标图像在视频文件中的时间顺序组成三维第二目标向量之后执行。
作为另一种可选的示例，将运动特征和每个目标图像的图像特征输入到预先训练好的神经网络模型中，得到对象识别结果包括：将每个图像特征依次经过多个块，得到多个第一特征向量，其中，在每个块中会对块的输入依次执行卷积层上的卷积操作、正则化层上的正则化操作、激活函数层上的激活操作；将多个第一特征向量与运动特征进行拼接，得到第二特征向量；将第二特征向量输入到全连接层，通过全连接层输出得到第一分类结果，其中，神经网络模型包括多个块和全连接层，对象识别结果包括第一分类结果，第一分类结果用于表示多个目标图像中是否出现有目标对象；或者将每个图像特征依次经过多个第一块，得到多个第一特征向量，其中，在每个第一块中会对第一块的输入依次执行卷积层上的卷积操作、正则化层上的正则化操作、激活函数层上的激活操作；将运动特征依次经过多个第二块，得到第二特征向量，其中，在每个第二块中会对第二块的输入依次执行卷积层上的卷积操作、正则化层上的正则化操作、激活函数层上的激活操作；将多个第一特征向量与第二特征向量进行拼接，得到第三特征向量；将第三特征向量输入到全连接层，通过全连接层输出得到第二分类结果，其中，神经网络模型包括多个第一块、多个第二块和全连接层，对象识别结果包括第二分类结果，第二分类结果用于表示多个目标图像中是否出现有目标对象。
在该实施例中，还可以通过块对每个图像特征进行处理。可以将每个图像特征依次经过多个块，得到多个第一特征向量，在每个块中会对块的输入依次执行在卷积层上的卷积操作、在正则化层上的正则化操作以及在激活函数层上的激活操作。在得到多个第一特征向量之后，将多个第一特征向量与运动特征进行拼接，从而得到第二特征向量。在得到第二特征向量之后，将第二特征向量输入到全连接层进行分类，通过全连接层输出得到第一分类结果，其中，该实施例的神经网络模型包括多个块和全连接层，对象识别结果包括第一分类结果，该第一分类结果用于表示多个目标图像中是否出现有目标对象，比如，为多个目标图像中是否出现有老鼠的分类结果。
可选地，该实施例通过第一块对每个图像特征进行处理，将每个图像特征依次经过多个第一块，得到多个第一特征向量，在每个第一块中会对第一块的输入依次执行在卷积层上的卷积操作、在正则化层上的正则化操作以及在激活函数层上的激活操作。该实施例还可以通过第二块对运动特征进行处理，将运动特征依次经过多个第二块，得到第二特征向量，在每个第二块中会对第二块的输入依次执行在卷积层上的卷积操作、在正则化层上的正则化操作以及在激活函数层上的激活操作。在得到多个第一特征向量和第二特征向量之后，将多个第一特征向量与第二特征向量进行拼接，得到第三特征向量，最后将第三特征向量输入到全连接层进行分类，通过全连接层输出得到第二分类结果，其中，该实施例的神经网络模型包括多个第一块、多个第二块和全连接层，对象识别结果包括第二分类结果，该第二分类结果用于表示多个目标图像中是否出现有目标对象，比如，为多个目标图像中是否出现有老鼠的分类结果。
作为一种可选的实施方式，对视频文件进行抽帧采样，得到一组视频帧图像包括：对视频文件中的视频序列进行等间隔的抽帧采样，得到一组视频帧图像。
在该实施例中，视频文件包括视频序列，可以在对视频文件进行抽帧采样，得到一组视频帧图像时，对视频文件中的视频序列进行等间隔的抽帧采样，得到一组视频帧图像，从而减少对目标对象进行确定的算法的运算量，进而快速多个目标视频帧中是否出现有目标对象，提高了对目标对象进行确定的效率。
作为一种可选的实施方式，获取摄像设备对目标区域拍摄得到的视频文件包括：获取的视频文件包括：获取红外微光夜视摄像头对目标区域拍摄得到的视频文件，其中，视频文件中的视频帧图像为通过红外微光夜视摄像头拍摄到的图像。
在该实施例中，摄像设备可以为摄像头，比如，为红外微光夜视摄像头，该红外微光夜视摄像头带有红外照明功能。通过红外微光夜视摄像头对目标区域进行拍摄，得到视频文件，该视频文件中的视频帧图像为通过红外微光夜视摄像头拍摄到的图像。
可选地，该实施例的摄像设备还包括但不限于：移动侦测功能、联网功能(如wifi联网)及高清晰度(如大于1080p)配置。
作为一种可选的实施方式，在确定多个目标图像中是否出现有目标对象之后，该方法还包括：在确定出多个目标图像中出现有目标对象的情况下，确定目标对象在多个目标图像中的位置；将位置显示在多个目标图像中。
在该实施例中，在确定多个目标图像中是否出现有目标对象之后，在确定出多个目标图像中出现有目标对象的情况下，可以进一步确定目标对象在多个目标图像中的位置，比如，确定老鼠在多个目标图像中的位置，进而将位置显示在多个目标图像中，比如，将用于指示位置的图标、文本等信息显示在多个目标图像中。
可选地，该实施例还可以获取目标对象出现的时间、在目标区域中的活动区域等信息，将目标对象的位置、时间、在目标区域中的具体活动区域、在目标区域的活动频率、移动轨迹等信息输出至前端，该前端也即显示部件，目标对象出现的时间、活动区域等信息可以在显示界面中进行显示，从而避免了人工确定目标对象导致对目标对象进行确定的效率低下的为问题。
可选地，在确定出多个目标图像中出现有目标对象的情况下，可以发送报警信息至前端，该报警信息用于指示目标区域中出现有目标对象，以使相关防治人员采取防治措施，从而提高对目标对象进行防治的效率。
作为一种可选的实施方式，目标对象的确定方法由设置在本地的服务器执行。
该实施例的目标对象的确定方法可以由设置在本地的服务器执行，无需连接云服务器，内部即可实现上述的运算和可视化，避免了运算端在云服务器上，会有计算资源上、传输上的问题，导致整个框架效率较为低下的问题，从而提高了对目标对象进行确定的效率。
该实施例旨在应用图像识别的技术，融合图像特征和运动特征，自动检测监控视频中是否有目标对象，对目标对象做定位和跟踪，可以生成目标对象的移动轨迹和在各目标区域的活动频率，整个过程全为算法实现，无需额外的人力成本；另外，该实施例无需通过放置目标捕捉装置来确定目标区域中的目标对象，也无需花费人力进行观测，不仅大大减少了监测目标对象的人力成本，提高了对目标对象进行确定的效率，进而方便了进一步对目标对象进行防治的工作。
进一步，下面结合优选的实施例对本发明实施例的技术方案进行举例说明。具体以目标对象为老鼠进行举例说明。
根据本发明实施例的另一种目标对象的确定方法。该方法还包括：
步骤S1，获取红外微光夜视摄像头拍摄到的视频文件。
步骤S2，判断视频文件中是否存在运动物体。
步骤S3，如果存在运动物体，则提取存在运动物体的视频片段。
步骤S4，对存在运动物体的视频片段进行图像特征和动态特征提取。
步骤S5，根据提取到的图像特征和动态特征判断运动物体是否为老鼠。
步骤S6，如果判断结果为是，则发出提示信息。
该实施例采用获取红外微光夜视摄像头拍摄到的视频文件；判断视频文件中是否存在运动物体；如果存在运动物体，则提取存在运动物体的视频片段；对存在运动物体的视频片段进行图像特征和动态特征提取；根据提取到的图像特征和动态特征判断运动物体是否为老鼠；如果判断结果为是，则发出提示信息，从而解决了对目标对象进行确定的效率低的问题，进而达到了提高鼠患检测准确度的效果。
本发明实施例的技术方案可以作为一种融合视觉特征和轨迹特征的鼠患视频监测方法，可以应用在多种场景中用于检测拍摄到的视频中是否存在老鼠，通过红外微光夜视摄像头拍摄当前环境的视频文件，然后判断是否存在运动物体，如果存在运动物体，则通过提取运动物体的视频片段进行特征识别，进一步判断提取运动物体是否为老鼠，如果判断出是老鼠，则发出提示信息，提示信息可以是在屏幕上显示文字，也可以是发出声音提示信息，也可以是亮灯或闪烁等多种类型的提示信息。
需要说明的是，本发明实施例的技术方案中，监控摄像头采用的是红外微光夜视摄像头，另外，其判断、提取等处理过程是在本地服务器中进行的，无需将数据发送到远程服务器来处理，可以减少数据传输量，提高监测效率。
可选地，在发出提示信息之后，确定运动物体在视频文件中每帧图片中的位置；将预设标记叠加在每帧图片对应的位置处显示在前端界面上。
在发出有老鼠的提示后，确定老鼠在视频文件中每帧图片中的位置，然后将预设的标记叠加在每帧图片对应的位置处显示，预设标记可以是绿色或者红色的矩形框，把每帧图片中老鼠的位置用矩形框标记出，以方便用户可以及时查看到老鼠的位置和经常出没区域。
可选地，判断视频文件中是否存在运动物体包括：对视频文件中的视频序列进行等间隔的抽帧采样，得到采样视频帧；通过动态目标检测算法或者基于神经网络的目标检测算法判断采样视频帧图像中是否有运动物体。
在判断视频文件中是否存在运动物体时，可以对视频序列进行等间隔的抽帧采样，以减少算法的运算量，然后判断采样视频帧中是否有运动物体，判断时可以采用动态目标检测算法或者基于神经网络的目标检测算法中的任意一种，在一些情况下，也可以两者混合使用。
可选地，通过动态目标检测算法判断采样视频帧图像中是否有运动物体包括：通过Dk(x，y)＝|fk(x，y)-bk(x，y)|计算当前帧和背景或前一帧的差值；通过判断是否存在运动物体，其中，(x,y)为以图像左上角为原点，宽方向为X轴，高方向为Y轴建立的坐标系中像素点的坐标，k为当前帧的索引，f表示当前帧，b表示背景或者上一帧，M(x,y)为运动图像，T为阈值。
若M(x,y)为1表示有运动目标，所有X(x,y)的像素组成了运动目标图像，经过形态学运算合并像素点可得出所有运动的目标。
可选地，根据提取到的图像特征和动态特征判断运动物体是否为老鼠包括：将提取到的图像特征和动态特征输入到预先训练好的神经网络模型中，进行模型判别，得到模型输出结果；根据模型输出结果判断运动物体是否为老鼠。
可以通过预先训练好的神经网络模型对提取到的图像特征和动态特征进行模型判别，模型是预先根据大量的样本训练得到的，大量的样本包括图片和该图片中是否有老鼠的标签，在一些情况下，还可以包括该图片中的老鼠数量的标签，这样可以使模型更加精确。
本发明实施例的技术方案可以应用在厨房、餐厅等需要监测是否有鼠害的应用场景中，也可以使用于酒店业学校、实验室、医院等室内外对于环境卫生有要求的场所，对在鼠害防治工作中，应用本发明实施例的图像识别技术进行老鼠检测和跟踪，使用独立的一个装置，通过监控摄像头在本地完成鼠患的监控，无需放置鼠夹鼠笼，也无需花费人力进行观测，将监测鼠害变为高效全自动的流程工作，不仅大大减少了监测鼠害的人力成本，同时准确率高，方便对鼠害卫生的监管，并且提供了轨迹信息，方便了进一步的灭鼠工作。
本发明实施例的技术方案还提供了一种优选实施方式，下面结合该优选实施方式对本发明实施例的技术方案进行说明。
本发明实施例旨在应用图像识别的技术，融合视觉和图像序列特征，自动检测监控视频中是否有老鼠，对老鼠做定位和跟踪，并且生成老鼠的运动轨迹路线和各区域的活动频率，整个过程全为算法实现，无需额外的人力成本，并且是一个独立的装置，无需连接云服务器，内部可实现所有的运算和可视化。
根据本发明实施例的一种鼠患视频监测装置可以包括分为几个部件：红外微光夜视摄像头、数据处理模块和前端显示部件，上述装置工作时原理如下：红外微光夜视摄像头负责采集场景视频序列，数据处理模块接收视频序列并且检测视频中有无老鼠，若检测到老鼠，将老鼠的位置等一系列信息输出至前端显示界面，前端显示界面显示老鼠的位置、出现时间、活动区域并且可以即时进行鼠患的报警。
上述数据处理模块可以分为视频采集模块302、视频处理模块304和存储模块306。图3是根据本发明实施例的一种各模块数据连接的示意图，如图3所示，视频采集模块302通过ARM板3022采集视频数据，并通过视频预处理模块3024进行预处理，视频处理模块304读入已训练好的模型在嵌入式GPU处理器3042中根据深度学习算法进行视频处理，若深度学习网络模型检测到某一个片段时间有老鼠，则将该片段以及相应的检测结果存储至存储模块306，存储模块306将这一系列信息输出至前端。
图4是根据本发明实施例的一种鼠患检测系统的原理示意图。如图4所示，该算法包括以下几个模块：预处理、目标检测，运动特征提取和分类网络，系统的输入为原始视频序列，预处理包含两个步骤：抽帧和动态检测，先是对原始视频序列进行等间隔的抽帧采样，减少算法的运算量，然后利用目标检测算法进行目标检测，判断图像中是否有运动物体，若无运动物体，则不进行后续的检测，若有运动物体，则将有运动物体的视频片段输入后续模块。在目标检测过程中，对预处理后的视频序列的每一帧进行检测，在可能存在老鼠的位置获取图像特征(如该位置对应的检测框内的视觉信息)，并通过运动特征提取模块，将各个视频图像帧之间的信息进行融合和特征提取，防止单帧的目标检测器出现误判的情况，随后将提取的运动特征和与图像特征输入分类网络，由分类网络判别是否是老鼠，若是老鼠，则将老鼠在每一帧所在位置的矩形检测框传给前端显示界面。
需要说明的是，在本实施例中，上述目标检测过程是根据具体的机器计算资源分配了两种算法：动态目标检测算法和基于神经网络的目标检测算法，前者运算速度快、对机器配置要求低，后者准确性和鲁棒性。
1)动态目标检测算法包含背景差和帧差法，利用下述公式(1)，计算当前帧和背景或者前一帧的差值：
Dk(x，y)＝|fk(x，y)-bk(x，y)| (1)
上式中，(x,y)为以图像左上角为原点，宽方向为X轴，高方向为Y轴建立的坐标系中像素点的坐标，k为当前帧的索引，f代表当前帧，b代表背景或者上一帧。利用公式(2)判断是否存在运动目标：
M(x,y)为运动图像，T为阈值，若M(x,y)为1表示有运动目标，所有X(x,y)的像素组成了运动目标图像，经过形态学运算合并像素点可得出所有运动的目标，作为该模块的输出。
2)基于神经网络的目标检测算法将图片输入预先训练好的网络模型，得出所有可能的目标和其置信度，大于某个置信度阈值的检测框作为该模块的输出。使用的网络模型包含但不限于SSD、Faster-RCNN、FPN等。
图4是本发明实施例的一种Faster-RCNN网络模型的示意图。如图4所示，其中conv是卷积层，由卷积核(是一个矩阵)在输入上进行划窗，对每个输入的划窗位置都和矩阵根据公式(3)相点乘，结果F作为该划窗位置的特征输出。
F＝∑0≤i，j≤nk(i，j)*I(i，j) (3)
RPN为区域提出网络，会提出一系列的候选框，ROI pooling池化层将卷积层提到的特征图在RPN输出的坐标下的区域映射成大小(w，h)固定的矩形框，输入由全连接层构成的分类器和边框回归器，边框回归输出老鼠的可能坐标位置，分类器输出是该位置老鼠的置信度。
上述运动特征提取：因为物体的运动是连续的，运动特征提取算法先根据每一帧得到的检测框，计算帧与帧之间检测框的相关性，相关性大的检测框认为是同一物体，对每一帧的检测框进行匹配，得到物体的一系列运动图片，最后使用3D的特征提取网络提取运动序列的特征。
上述分类网络：将目标检测框中的视觉信息和运动特征融合，输入设计好的分类的网络模型，用于筛除非老鼠的图片序列，降低虚警率，将结果输入前端显示界面，显示老鼠的检测框和轨迹。
在本发明实施例中，对于整体的框架，还可以但不限于通过目标检测和分类网络来达到检测识别的目的，以节省框架布局成本。
本发明实施例提出了利用图像识别算法，自动识别监控视频中的老鼠，无需放置鼠夹鼠笼，也无需花费人力进行观测，将监测鼠害变为高效全自动的流程工作，不仅大大减少了监测鼠害的人力成本，同时准确率高，方便对后厨鼠害卫生的监管，同时，还可以提供老鼠活动的轨迹，便于人员选择灭鼠工具放置位置，方便了进一步的除害工作。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种目标对象的密度信息确定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本发明实施例的目标对象的密度信息确定装置的结构框图，如图5所示，该装置包括：第一获取模块52、第二获取模块54以及确定模块56，下面对该装置进行详细说明：
第一获取模块52，用于获取在预定时间段内对目标区域进行拍摄得到的图像信息；
第二获取模块54，用于根据图像信息获取在目标区域中出现的目标对象的移动信息，其中，移动信息包括目标对象在目标区域中移动的移动时长；
确定模块56，用于利用目标对象的移动信息确定目标对象在目标区域中的分布密度。
通过本发明，由于获取在预定时间段内对目标区域进行拍摄得到的图像信息；根据图像信息获取在目标区域中出现的目标对象的移动信息，其中，移动信息包括目标对象在目标区域中移动的移动时长；利用目标对象的移动信息确定目标对象在目标区域中的分布密度。可以实现基于目标对象在目标区域中的移动时长计算出目标对象的分布密度，因此，可以解决相关技术中对目标对象的分布密度计算不准确的问题，达到准确计算出目标对象的分布密度的效果。
可选地，上述步骤的执行主体可以为终端等，但不限于此。
在一个可选的实施例中，客户端可以是带有显示屏幕的手机，目标对象可以是老鼠、蟑螂等害虫；预定时间段可以是一天，也可以是晚上或者是白天的时间段；目标区域可以是医院、学校、大街上等有害虫出现的区域。在本实施例中，图像信息可以是在拍摄的视频文件中提取的图像。
在一个可选的实施例中，移动信息还包括：在预定时间段内目标区域中出现的目标对象的个数，其中，利用目标对象的移动信息确定目标对象在目标区域中的分布密度包括：根据移动时长和个数确定目标对象在目标区域中的分布密度。在本实施例中，移动时长即是目标对象出现在视频文件中的时长，个数即是目标对象出现在视频文件中的个数。具体的技术方式如下：计算移动时长与个数的乘积，得到第一乘积；计算第一乘积与预定时间段的比值，得到第一比值；将第一比值的百分比确定为目标对象在目标区域中的分布密度。例如：目标对象是老鼠，预定时间段为24小时，对鼠密度的计算方式如下：鼠密度＝有鼠类活动的时长*该段时间内鼠只数/24*100％(单位：鼠次/小时)。
在一个可选的实施例中，还可以通过以下方式利用目标对象的移动信息确定目标对象在目标区域中的分布密度：计算移动时长与预定时间段的比值，得到第二比值；将第二比值的百分比确定为目标对象在目标区域中的分布密度。在本实施例中，例如，目标对象是老鼠，预定时间段是24小时，鼠密度的计算方式如下：鼠密度＝有鼠类活动的时间(单位：小时)/24(单位：小时)*100％。
在一个可选的实施例中，为了统计数据的准确性，可连续或间断地采集多天的数据，结合考虑天气、气候的变化情况，综合计算该段时间内的目标对象的分布密度。
在一个可选的实施例中，通过以下方式确定目标区域：获取待选区域中的人流密度；将人流密度满足预设阈值的待选区域确定为目标区域。在本实施例中，待选区域可以是学校、医院、大街上等区域，人流密度即是待选区域中的人流分布密度，例如，待选区域是学校的餐厅，计算出餐厅的大小，餐厅的人流密度的计算方式如下：人流密度＝人数(单位：小时)/餐厅的大小(单位：小时)*100％。预设阈值可以根据不同的区域进行设置，至少所选定的待选区域中是有人存在的。
在一个可选的实施例中，利用目标对象的移动信息确定目标对象在目标区域中的分布密度之后，方法还包括：向服务器发送分布密度；在客户端上接收服务器查找的与分布密度对应的目标操作结果，其中，目标操作结果用于指示捕捉目标对象；在客户端上显示目标操作结果。在本实施例中，目标操作结果可以预先存储在数据库或者缓存中，利用服务器从数据库或者是缓存中调取目标操作结果。客户端可以是带有显示屏幕的手机。目标操作结果可以是对目标对象进行捕捉的措施，也可以是对目标对象进行分析的结果，不限于此。
在一个可选的实施例中，利用目标对象的移动信息确定目标对象在目标区域中的分布密度之后，方法还包括：在客户端上显示分布密度。在本实施例中，客户端可以是带有触摸屏幕的手机，在手机上显示分布密度和目标操作结果，可以使得用户清楚的了解到目标对象的分布密度和捕捉方案，增加对捕捉目标对象的捕捉设备放置的准确性。
在一个可选的实施例中，通过以下方式获取在预定时间段内对目标区域进行拍摄得到的图像信息：获取摄像设备在预定时间段内对目标区域拍摄得到的视频文件；根据图像信息获取在目标区域中出现的目标对象的移动信息包括：根据视频文件确定在目标区域中是否出现目标对象；在确定出在目标区域中出现目标对象的情况下，根据视频文件确定获取目标对象的移动信息；其中，根据视频文件确定在目标区域中是否出现目标对象包括：对视频文件进行抽帧采样，得到一组视频帧图像；根据一组视频帧图像中的像素点的像素值在一组视频帧图像中确定出多个目标图像，其中，每个目标图像用于指示在目标区域中存在运动的对象；对每个目标图像进行目标对象的检测，得到每个目标图像的图像特征，其中，图像特征用于表示在存在运动的对象中，与目标对象之间的相似度大于第一阈值的对象所在的目标图像区域；根据每个目标图像特征确定出运动特征，其中，运动特征用于表示多个目标图像中存在运动的对象的运动速度和运动方向；根据运动特征和每个目标图像的图像特征，确定多个目标图像中是否出现有目标对象。
在一个可选的实施例中，通过以下方式根据视频文件确定获取目标对象的移动信息：记录目标对象出现在视频文件的第一时间；记录目标对象离开视频文件的第二时间；计算第一时间和第二时间之间的时长，以确定目标对象在目标区域中移动的移动时长。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以上各步骤的计算机程序。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以上各步骤。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种目标对象的密度信息确定方法，其特征在于，包括：
获取在预定时间段内对目标区域进行拍摄得到的图像信息；
根据所述图像信息获取在所述目标区域中出现的目标对象的移动信息，其中，所述移动信息包括所述目标对象在所述目标区域中移动的移动时长；
利用所述目标对象的移动信息确定所述目标对象在所述目标区域中的分布密度。
2.根据权利要求1所述的方法，其特征在于，所述移动信息还包括：在所述预定时间段内所述目标区域中出现的所述目标对象的个数，其中，利用所述目标对象的移动信息确定所述目标对象在所述目标区域中的分布密度包括：
根据所述移动时长和所述个数确定所述目标对象在所述目标区域中的分布密度。
3.根据权利要求2所述的方法，其特征在于，根据所述移动时长和所述个数确定所述目标对象在所述目标区域中的分布密度包括：
计算所述移动时长与所述个数的乘积，得到第一乘积；
计算所述第一乘积与所述预定时间段的比值，得到第一比值；
将所述第一比值的百分比确定为所述目标对象在所述目标区域中的分布密度。
4.根据权利要求1所述的方法，其特征在于，利用所述目标对象的移动信息确定所述目标对象在所述目标区域中的分布密度包括：
计算所述移动时长与所述预定时间段的比值，得到第二比值；
将所述第二比值的百分比确定为所述目标对象在所述目标区域中的分布密度。
5.根据权利要求1所述的方法，其特征在于，通过以下方式确定所述目标区域：
获取待选区域中的人流密度；
将所述人流密度满足预设阈值的待选区域确定为所述目标区域。
6.根据权利要求1至5任一项所述的方法，其特征在于，利用所述目标对象的移动信息确定所述目标对象在所述目标区域中的分布密度之后，所述方法还包括：
向服务器发送所述分布密度；
在客户端上接收所述服务器查找的与所述分布密度对应的目标操作结果，其中，所述目标操作结果用于指示捕捉所述目标对象；
在所述客户端上显示所述目标操作结果。
7.根据权利要求1至5任一项所述的方法，其特征在于，利用所述目标对象的移动信息确定所述目标对象在所述目标区域中的分布密度之后，所述方法还包括：
在客户端上显示所述分布密度。
8.根据权利要求1所述的方法，其特征在于，
所述获取在预定时间段内对目标区域进行拍摄得到的图像信息包括：获取摄像设备在所述预定时间段内对所述目标区域拍摄得到的视频文件；
根据所述图像信息获取在所述目标区域中出现的目标对象的移动信息包括：根据所述视频文件确定在所述目标区域中是否出现所述目标对象；在确定出在所述目标区域中出现所述目标对象的情况下，根据所述视频文件确定获取所述目标对象的所述移动信息；
其中，根据所述视频文件确定在所述目标区域中是否出现所述目标对象包括：
对所述视频文件进行抽帧采样，得到一组视频帧图像；
根据所述一组视频帧图像中的像素点的像素值在所述一组视频帧图像中确定出多个目标图像，其中，每个所述目标图像用于指示在所述目标区域中存在运动的对象；
对每个所述目标图像进行目标对象的检测，得到每个所述目标图像的图像特征，其中，所述图像特征用于表示在所述存在运动的对象中，与所述目标对象之间的相似度大于第一阈值的对象所在的目标图像区域；
根据每个所述目标图像特征确定出运动特征，其中，所述运动特征用于表示所述多个目标图像中所述存在运动的对象的运动速度和运动方向；
根据所述运动特征和每个所述目标图像的图像特征，确定所述多个目标图像中是否出现有所述目标对象。
9.根据权利要求8所述的方法，其特征在于，根据所述视频文件确定获取所述目标对象的所述移动信息包括：
记录所述目标对象出现在所述视频文件的第一时间；
记录所述目标对象离开所述视频文件的第二时间；
计算所述第一时间和所述第二时间之间的时长，以确定所述目标对象在所述目标区域中移动的移动时长。
10.一种目标对象的密度信息确定装置，其特征在于，包括：
第一获取模块，用于获取在预定时间段内对目标区域进行拍摄得到的图像信息；
第二获取模块，用于根据所述图像信息获取在所述目标区域中出现的目标对象的移动信息，其中，所述移动信息包括所述目标对象在所述目标区域中移动的移动时长；
确定模块，用于利用所述目标对象的移动信息确定所述目标对象在所述目标区域中的分布密度。
11.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至9任一项中所述的方法。
12.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至9任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910152412.XA CN109831634A (zh) | 2019-02-28 | 2019-02-28 | 目标对象的密度信息确定方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910152412.XA CN109831634A (zh) | 2019-02-28 | 2019-02-28 | 目标对象的密度信息确定方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109831634A true CN109831634A (zh) | 2019-05-31 |
Family
ID=66864909
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910152412.XA Pending CN109831634A (zh) | 2019-02-28 | 2019-02-28 | 目标对象的密度信息确定方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109831634A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163913A (zh) * | 2019-06-06 | 2019-08-23 | 上海秒针网络科技有限公司 | 目标位置的确定方法及装置 |
| CN111680645A (zh) * | 2020-06-11 | 2020-09-18 | 王艳琼 | 一种垃圾分类处理方法及装置 |
| WO2021063046A1 (zh) * | 2019-09-30 | 2021-04-08 | 熵康(深圳)科技有限公司 | 一种分布式目标监测系统和方法 |
| CN112699852A (zh) * | 2021-01-25 | 2021-04-23 | 青海省地方病预防控制所 | 一种旱獭智能识别监测系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040141635A1 (en) * | 2000-11-24 | 2004-07-22 | Yiqing Liang | Unified system and method for animal behavior characterization from top view using video analysis |
| CN106254820A (zh) * | 2016-07-22 | 2016-12-21 | 北京小米移动软件有限公司 | 生物治理的方法及装置 |
| CN108259830A (zh) * | 2018-01-25 | 2018-07-06 | 深圳冠思大数据服务有限公司 | 基于云服务器的鼠患智能监控系统和方法 |
| CN109299703A (zh) * | 2018-10-17 | 2019-02-01 | 思百达物联网科技(北京)有限公司 | 对鼠情进行统计的方法、装置以及图像采集设备 |
-
2019
- 2019-02-28 CN CN201910152412.XA patent/CN109831634A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040141635A1 (en) * | 2000-11-24 | 2004-07-22 | Yiqing Liang | Unified system and method for animal behavior characterization from top view using video analysis |
| CN106254820A (zh) * | 2016-07-22 | 2016-12-21 | 北京小米移动软件有限公司 | 生物治理的方法及装置 |
| CN108259830A (zh) * | 2018-01-25 | 2018-07-06 | 深圳冠思大数据服务有限公司 | 基于云服务器的鼠患智能监控系统和方法 |
| CN109299703A (zh) * | 2018-10-17 | 2019-02-01 | 思百达物联网科技(北京)有限公司 | 对鼠情进行统计的方法、装置以及图像采集设备 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163913A (zh) * | 2019-06-06 | 2019-08-23 | 上海秒针网络科技有限公司 | 目标位置的确定方法及装置 |
| WO2021063046A1 (zh) * | 2019-09-30 | 2021-04-08 | 熵康(深圳)科技有限公司 | 一种分布式目标监测系统和方法 |
| CN111680645A (zh) * | 2020-06-11 | 2020-09-18 | 王艳琼 | 一种垃圾分类处理方法及装置 |
| CN111680645B (zh) * | 2020-06-11 | 2024-02-09 | 王艳琼 | 一种垃圾分类处理方法及装置 |
| CN112699852A (zh) * | 2021-01-25 | 2021-04-23 | 青海省地方病预防控制所 | 一种旱獭智能识别监测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109919009A (zh) | 目标对象的监控方法、装置及系统 | |
| CN109922310A (zh) | 目标对象的监控方法、装置及系统 | |
| CN109886130A (zh) | 目标对象的确定方法、装置、存储介质和处理器 | |
| CN109831634A (zh) | 目标对象的密度信息确定方法及装置 | |
| CN110378259A (zh) | 一种面向监控视频的多目标行为识别方法及系统 | |
| CN109154976A (zh) | 通过机器学习训练对象分类器的系统和方法 | |
| CN109919966A (zh) | 区域确定方法、装置、存储介质和处理器 | |
| CN105426820B (zh) | 基于安防监控视频数据的多人异常行为检测方法 | |
| CN109886555A (zh) | 食品安全的监测方法及装置 | |
| Kumar et al. | Study of robust and intelligent surveillance in visible and multi-modal framework | |
| DE112009000485T5 (de) | Objektvergleich für Verfolgung, Indizierung und Suche | |
| Janakiramaiah et al. | RETRACTED ARTICLE: Automatic alert generation in a surveillance systems for smart city environment using deep learning algorithm | |
| CN110659391A (zh) | 一种视频侦查方法及装置 | |
| CN110728810B (zh) | 一种分布式目标监测系统和方法 | |
| CN110659659A (zh) | 一种智能识别和预警害虫的方法及系统 | |
| CN111898581A (zh) | 动物检测方法、装置、电子设备及可读存储介质 | |
| CN109886129A (zh) | 提示信息生成方法和装置，存储介质及电子装置 | |
| CN111652043A (zh) | 对象状态识别方法、装置、图像采集设备及存储介质 | |
| CN111091025A (zh) | 图像处理方法、装置和设备 | |
| CN108829762A (zh) | 基于视觉的小目标识别方法和装置 | |
| CN111860457A (zh) | 一种斗殴行为识别预警方法及其识别预警系统 | |
| CN116416281A (zh) | 一种粮库ai视频监管分析方法及系统 | |
| CN108874910A (zh) | 基于视觉的小目标识别系统 | |
| CN105095891A (zh) | 一种人脸捕捉的方法，装置及系统 | |
| CN109934099A (zh) | 放置位置的提示方法及装置、存储介质、电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190531 |