CN114500934A - 一种用于实现野外监控图像自动传输的监控系统 - Google Patents

一种用于实现野外监控图像自动传输的监控系统 Download PDF

Info

Publication number
CN114500934A
CN114500934A CN202111602761.0A CN202111602761A CN114500934A CN 114500934 A CN114500934 A CN 114500934A CN 202111602761 A CN202111602761 A CN 202111602761A CN 114500934 A CN114500934 A CN 114500934A
Authority
CN
China
Prior art keywords
data
image
things terminal
wireless communication
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111602761.0A
Other languages
English (en)
Other versions
CN114500934B (zh
Inventor
张明虎
陈莹莹
李新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou University of Technology
Institute of Tibetan Plateau Research of CAS
Original Assignee
Lanzhou University of Technology
Institute of Tibetan Plateau Research of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou University of Technology, Institute of Tibetan Plateau Research of CAS filed Critical Lanzhou University of Technology
Priority to CN202111602761.0A priority Critical patent/CN114500934B/zh
Publication of CN114500934A publication Critical patent/CN114500934A/zh
Application granted granted Critical
Publication of CN114500934B publication Critical patent/CN114500934B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/10—Detection; Monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种用于实现野外监控图像自动传输的监控系统，包括：多个图像采集装置，地面物联网终端、可移动的数据中继设备和数据中心；每一图像采集装置部署在野外无网络的区域，并基于监测目标的触发自动采集监测目标的第一数据；并将所述第一数据传输至地面物联网终端；地面物联网终端获取第一数据中的有效数据并压缩得到第二数据，并接收到可移动的数据中继设备的唤醒指令后与可移动的数据中继设备连接，并将第二数据传输至可移动的数据中继设备；可移动的数据中继设备移动至公网覆盖区域时，借助于公网将接收的第二数据传输至数据中心。本发明的监控系统可以有效提高数据传输效率和传输质量，保证数据传输的准确性。

Description

一种用于实现野外监控图像自动传输的监控系统
技术领域
本发明涉及数据技术领域，尤其涉及一种用于实现野外监控图像自动传输的监控系统。
背景技术
目前的野生动物监测大多采用红外相机，野外部署的红外相机用来提供野生动物的拍照和视频录制服务，人工采集是红外相机存储照片和视频的主要获取方式，即工作人员按照一个月或者更多的时间周期进行一次的数据采集任务，且红外相机大多数部署在野生动物经常出没的地方，这为人工采集红外相机中的照片和视频数据带来了极大的安全隐患和较高的人力成本。
现有的用于野生动物监测的红外相机大多采用触发的方式实现设备的开机和拍照及视频拍摄，部署在野外的红外相机特别容易受到其他因素的干扰而导致误开机，进而导致产生大量的无效图片和无效视频，这极大的浪费了红外相机的存储空间以及数据传输带宽。因此，传统用于野生动物监测的红外相机阻碍了它们的应用与发展。
发明内容
(一)要解决的技术问题
鉴于现有技术的上述缺点、不足，本发明提供一种用于实现野外监控图像自动传输的监控系统。
(二)技术方案
为了达到上述目的，本发明采用的主要技术方案包括：
第一方面，本发明实施例提供一种用于实现野外监控图像自动传输的监控系统，包括：多个图像采集装置，地面物联网终端、可移动的数据中继设备和数据中心；
每一图像采集装置部署在野外无网络的区域，并基于监测目标的触发自动采集监测目标的包括图像和/或视频的第一数据；
多个图像采集装置基于各自预先配置的第一无线通信模块与地面物联网终端连接，并将所述第一数据传输至所述地面物联网终端；
所述地面物联网终端获取第一数据中的有效数据并压缩得到第二数据，并接收到所述可移动的数据中继设备的唤醒指令后，基于预先配置的第二无线通信模块与所述可移动的数据中继设备连接，并将第二数据传输至所述可移动的数据中继设备；
所述可移动的数据中继设备移动至公网覆盖区域时，借助于公网将接收的第二数据传输至数据中心。
可选地，所述图像采集设备为红外相机，且所述红外相机配置的第一无线通信模块为2.4GHz无线通信模块；
所述红外相机用于监测野生动物，在野生动物距离所述红外相机第一指定距离时触发所述红外相机开机；
所述红外相机开机后实时与所述地面物联网终端建立2.4GHz的数据传输链路。
可选地，所述地面物联网终端包括：
通信建立模块，基于预先配置的固定IP地址与自动开机的红外相机建立局域网的连接；
数据接收模块，用于接收所述红外相机传输的第一数据；
数据检测模块，用于基于光流的有效数据检测模块对所述第一数据中的图像和/或视频数据进行检测并去除无效图像，获得第一数据的有效数据；
数据压缩模块，用于基于CompressAI的图像数据压缩模型将所述有效数据中的图像数据压缩，生成二进制文件；将所述二进制文件和视频数据组成第二数据；
唤醒模块，用于接收可移动的数据中继设备发送的唤醒指令，以与所述可移动的数据中继设备建立通信；
第二无线通信模块，用于将所述第二数据发送所述可移动的数据中继设备。
可选地，所述数据检测模块，具体用于
针对视频流中项相邻图像帧，提取前一图像帧上的关键点的位置信息，以及提取后一图像帧上的匹配关键点的位置信息；采用关键点特征向量的欧式距离，计算第一帧图像上关键点在第二帧帧图像上的匹配关键点的位移即光流值；根据判断关键点的变化确定是否有野生动物。
可选地，所述可移动的数据中继设备包括：
唤醒指令发送模块，用于监测到与所述地面物联网终端的距离满足第二指定距离时，向所述地面物联网终端发送唤醒指令，以使所述地面物联网终端基于所述唤醒指令通过所述第二无线通信模块与所述数据中继设备建立通信连接；
第三无线通信模块，用于接收所述地面物联网终端上传的第二数据；
第四无线通信模块，用于监测到公网信息时，将所述第二数据通过公网发送到数据中心。
可选地，第二无线通信模块和所述第三无线通信模块均为5GHz Wi-Fi无线通信模块；
可移动的数据中继设备为无人机；
所述唤醒指令发送模块为LoRa无线通信模块；
所述第四无线通信模块为集成在无人机中的5G移动基站信息。
可选地，所述第二数据包括：bin格式的二进制文件；
所述数据中心包括：
解压模块，用于对第二数据中的bin格式的二进制文件进行解压处理，得到图像数据；
数据识别模块，用于对图像数据和/或视频数据中的每一帧图像进行分块处理，并获取每一图像的N个特征向量，并将每一图像的N个特征向量和预先建立的目标数据库中的每一图像的N个特征向量进行比对，获取任意两张图像的匹配度，选择匹配度最高的图像中的动物作为识别的目标；
所述目标数据库中存储有多个已知目标的各种角度和姿态的图像，且每一图像预先建立有N个特征向量，N为4、9、16、25、36或49。
可选地，所述数据识别模块具体用于：
针对第二数据中的每一图像，对所述图像进行第一识别处理，将存在目标的区域进行保留，获取监测目标的子图；
将所述子图转换成灰度图，并对所述灰度图进行分块，获得N个子灰度图，所述N个子灰度图不重叠且具有唯一的位置；
采用灰度直方图统计方式，获取每一子灰度图的一维特征向量；
将N个子灰度图的一维特征向量组成所述图像的N个特征向量，该特征向量代表所述图像的颜色统计特征和空间分布特征；
对所述N个特征向量进行归一化处理，得到归一化后的特征向量。
可选地，所述数据识别模块还用于根据公式(1)获取任意两张图像的匹配度P；
公式(1)
Figure BDA0003433470200000041
其中，fi(x，y)为第二数据中第i图像的特征向量，fj(x，y)为目标数据库中第j图像的特征向量，
Figure BDA0003433470200000042
为第二数据中第i图像的均值，
Figure BDA0003433470200000051
为目标数据库中第j图像的均值，x，y，u，υ均表示图像内部像素，X，Y表示图像的大小即像素总数。
可选地，地面物联网终端一般固定在以部署相机为中心的空旷地区，红外相机固定在树上或者其他能够稳定布设的地方，红外相机与地面物联网终端之间采用2.4GHz无线通信，通信距离大概在50-80米左右。
红外相机内置有红外热释电传感器(PIR)和高清近红外图像传感器，当野生动物在红外相机附近时，红外相机传感器红外热释电传感器感应到野生动物，触发近红外图像传感器拍摄野生动物。红外热释电传感器的感应距离在10-15米左右。
(三)有益效果
本发明的方法可以实现全自动监测野外动物，并实现全自动的数据传输，有效节省电量，保证传输质量。
本实施例的监控系统中的图像采集装置可布置在无移动公网覆盖的区域，在图像采集装置的合理范围内与地面物联网终端建立局域网连接，进而将红外相机的监测数据传输至地面物联网终端，使得地面物联网终端对监测数据进行筛选并压缩借助于可移动的数据中继设备对压缩后的数据传输至数据中心，保证数据传输的时效性和传输质量。
特别地，可移动的数据中继设备为无人机时，无人机与地面物联网终端建立数据传输链路，在无人机飞至有移动公网覆盖的区域，无人机与移动公网建立数据传输链路，进而形成完整的无人机物联网网络。由此，本发明的监控系统的中继过程无需人工实时处理，提高人工安全性，并显著改善传统红外相机存在的安全和无法实现数据自动传输的问题。
附图说明
图1为本发明一实施例提供的用于实现野外监控图像自动传输的监控系统的框架示意图；
图2为监控系统中无人机和地面物联网终端之间数据交互的示意图；
图3为监控系统的数据传输的时序图；
图4为红外相机与地面物联网终端之间通信的示意图；
图5为地面物联网终端中从第一数据中获取有效数据的示意图；
图6为地面物联网终端中图像数据压缩的示意图；
图7为无人机与地面物联网终端之间通信的示意图；
图8为数据中心中图像数据解压缩的示意图；
图9为无人机与数据中心之间数据传输的示意图。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
红外相机主要是应用在野生动物监测，红外相机的工作过程主要包括触发、拍照、存储、关机等流程，传统的红外相机数据获取主要依赖人工获取方式，通过人工将存储在本机SD卡上的图像、视频等数据拷贝至笔记本电脑或者更换新的SD卡。由于上述过程大部分依赖人工操作，因而获取效率比较低。
高速无人机物联网监控系统是指在无移动公网覆盖的区域，无人机携带监控系统与地面物联网终端建立数据传输链路，在无人机飞至有移动公网覆盖的区域，无人机与移动公网建立数据传输链路，进而形成完整的无人机物联网网络。具体而言，无人机携带基于5GHz Wi-Fi高速数据传输模块开发的移动中继，在无移动公网覆盖的区域远程获取存储在地面部署的物联网终端上的数据，并将监测数据通过5G移动公网传输至数据中心。5GHzWi-Fi模块是支撑IEEE 802.11.ac标准的高速数据传输模块，其理论传输速率达到867Mps。此外，在高速移动中继上配置低功耗长距离传输的LoRa无线通信模块，用于唤醒地面物联网终端上配置的5GHz Wi-Fi模块，该模块具有较高的功耗，不利于野外部署。
本发明实施例的监控系统用于红外相机数据的远程获取可以显著改善传统红外相机存在的问题。
实施例一
如图1所示，本实施例提供的用于实现野外监控图像自动传输的监控系统，该监控系统包括：多个图像采集装置，地面物联网终端、可移动的数据中继设备和数据中心；其中，图像采集装置、地面物联网终端和数据中继设备之间的数据传输构成数据中继过程，该过程无需人工参与和存储，如图1所示。
每一图像采集装置部署在野外无网络的区域，并基于监测目标的触发自动采集监测目标的包括图像和/或视频的第一数据；本实施例的图像采集装置可以是红外相机。
多个图像采集装置基于各自预先配置的第一无线通信模块与地面物联网终端连接，并将所述第一数据传输至所述地面物联网终端；举例来说，第一无线通信模块可以是2.4GHz无线通信模块。
本实施例中的红外相机安装在野生动物经常出没的地方，可以在相邻区域设置多个红外相机，在预设范围内的红外相机均可连接一个地面物联网终端，本实施例的红外相机和地面物联网终端组成一个局域网的连接。
本实施例中的红外相机用于监测野生动物，在野生动物距离所述红外相机第一指定距离(如10-15m等)时触发所述红外相机开机；所述红外相机开机后实时与所述地面物联网终端建立2.4GHz的数据传输链路。
通常，红外相机在开机后运行指定时间段(如8分钟或10分钟等)后可自动关机，以有效保存使用的电量。特别地，在自动关机之前需要将拍摄的有效数据传输至地面物联网终端。在传输完成之后进行自动关系。
本实施例的红外相机固定在树上或者能够稳定布设的区域，红外相机与地面物联网终端之间采用2.4GHz无线通信，通信距离大概在50-80米左右；红外相机内置有红外热释电传感器(PIR)和高清近红外图像传感器，当野生动物在红外相机附近时，红外相机传感器红外热释电传感器感应到野生动物，触发近红外图像传感器拍摄野生动物，红外热释电传感器的感应距离在10-15米。
地面物联网终端固定在以部署相机为中心的空旷区域，本实施例的地面物联网终端获取第一数据中的有效数据并压缩得到第二数据，并接收到所述可移动的数据中继设备的唤醒指令后，基于预先配置的第二无线通信模块与所述可移动的数据中继设备连接，并将第二数据传输至所述可移动的数据中继设备。
举例来说，本实施例的地面物联网终端可包括：通信建立模块、数据接收模块、数据检测模块、数据压缩模块、唤醒模块和第二无线通信模块。
其中，通信建立模块可基于预先配置的固定IP地址与自动开机的红外相机建立局域网的连接；
数据接收模块，用于接收所述红外相机传输的第一数据；
数据检测模块，用于基于光流的有效数据检测模块对所述第一数据中的图像和/或视频数据进行检测并去除无效图像，获得第一数据的有效数据；
数据压缩模块，用于基于CompressAI的图像数据压缩模型将所述有效数据中的图像数据压缩，生成二进制文件；将所述二进制文件和视频数据组成第二数据；
唤醒模块，用于接收可移动的数据中继设备发送的唤醒指令，以与所述可移动的数据中继设备建立通信；举例来说，唤醒模块可为LoRa无线通信模块；
第二无线通信模块，用于将所述第二数据发送所述可移动的数据中继设备，例如，该第二无线通信模块可为5GHz Wi-Fi无线通信模块。
本实施例的监控系统中的图像采集装置可布置在无移动公网覆盖的区域，在图像采集装置的合理范围内与地面物联网终端建立局域网连接，进而将红外相机的监测数据传输至地面物联网终端，使得地面物联网终端对监测数据进行筛选并压缩借助于可移动的数据中继设备对压缩后的数据传输至数据中心，保证数据传输的时效性和传输质量。
在一种具体的实现方式中，本实施例的可移动的数据中继设备移动至公网覆盖区域时，借助于公网将接收的第二数据传输至数据中心。
本实施例的数据中继设备可为无人机，此时，无人机的控制装置可包括下述的模块：唤醒指令发送模块、第三无线通信模块、第四无线通信模块；如图2所示的连接建立和信号传输过程。
具体地，唤醒指令发送模块，用于监测到与所述地面物联网终端的距离满足第二指定距离(如12m/20m)时，向所述地面物联网终端发送唤醒指令(如图2中的LoRa发送唤醒命令)，以使所述地面物联网终端基于所述唤醒指令通过所述第二无线通信模块与所述数据中继设备建立通信连接；唤醒指令发送模块可为LoRa无线通信模块；
第三无线通信模块用于接收所述地面物联网终端上传的第二数据，该第三无线通信模块可为5GHz Wi-Fi无线通信模块；
第四无线通信模块，用于监测到公网信息时，将所述第二数据通过公网发送到数据中心，第四无线通信模块可为集成在无人机的控制设备中的5G移动基站信息。
由此，无人机携带基于5GHz Wi-Fi高速数据传输模块开发的移动中继，在无移动公网覆盖的区域远程获取存储在地面部署的物联网终端上的数据，并将监测数据通过5G移动公网传输至数据中心。5GHz Wi-Fi模块是支撑IEEE 802.11.ac标准的高速数据传输模块，其理论传输速率达到867Mps。实现了监测数据的有效传输，保证了实时性和安全性。
此外，在高速移动中继上配置低功耗长距离传输的LoRa无线通信模块，用于唤醒地面物联网终端上配置的5GHz Wi-Fi模块，有效保证地面物联网终端的电量的使用时间。
另外，图3中示出整个的数据传输过程，具体包括下述的步骤：
1、野生动物触发红外相机开机；
2、红外相机开机后与地面物联网终端建立2.4GHz数据传输链路、传输图像和视频数据；
3、地面物联网终端基于光流数据检验模型/数据检测模型，检验图像和视频数据的有效性；保存有效视频数据；
4、地面物联网终端的数据压缩模型基于CompressAi的图像压缩模型压缩图像；保存压缩图像数据；
5、地面物联网终端与无人机建立LoRa唤醒链路，无人机向地面发送唤醒5GHz-WIFI无线通信模块指令，
6、地面物联网终端接收唤醒指令，唤醒5GHz-WIFI无线通信模块，并与无人机机载中继建立5GHz数据传输链路，传输压缩图像和有效视频数据。
7、无人机机载中继接收数据并存储。
8、无人机机载基于CompressAi的图像数据解压模型，解压压缩数据，恢复原始图像数据，并保存解压图像数据。
9、无人机机载中继与数据中心建立5G移动公网数据传输链路，将数据传输至数据中心。
上述传输方式保证了数据传输的质量，同时保证数据传输的时效性，无需人工实时处理，还有效保证红外相机的电量，显著改善传统红外相机存在的安全和无法实现数据自动传输的问题。
实施例二
如图2至9所示，红外相机用于野生动物监测，可经野生动物触发自动采集野生动物数据，包括图像数据和视频数据；红外相机配置2.4GHz无线通信模块(即前述的第二无线通信模块)，将采集到的野生动物监测数据自动传输至地面物联网终端。
本实施例的红外相机内置有红外热释电传感器(PIR)和高清近红外图像传感器，当野生动物在红外相机附近时，红外相机传感器红外热释电传感器感应到野生动物，触发近红外图像传感器拍摄野生动物。红外热释电传感器的感应距离在10-15米左右。
地面物联网终端
本实施例的地面物联网终端配置2.4GHz Wi-Fi无线通信模块、5GHz Wi-Fi无线通信模块和LoRa无线通信模块，其中，2.4GHz无线通信模块用于接收来附近部署红外相机传输的野生动物监测数据；LoRa无线通信模块用于接收来自无人机发出的唤醒指令，实现唤醒地面物联网终端上配置的高功耗的5GHz Wi-Fi无线通信模块，5GHzWi-Fi无线通信模块将采集到的数据转发至作为可移动的中继设备的无人机。
在实际应用中，地面物联网终端还集成有数据检测模块和数据压缩模块，其中，数据检测模块是基于Nginx服务器软件开发的、基于光流的有效数据检测模型；数据压缩模块是基于CompressAI的图像数据压缩模型。
基于光流的有效数据检测模型用于检测图像、视频中是否有野生动物，进而判断数据是否有效；基于CompressAI的图像数据压缩模型将存储的有效图像数据进行压缩，以节约数据传输带宽。
无人机
无人机的控制设备中配置LoRa无线通信模块、5GHz Wi-Fi无线通信模块和5G移动基站，其中LoRa无线通信模块用于发送唤醒指令，远程唤醒地面物联网终端上配置的高功耗的5GHz Wi-Fi无线通信模块；5GHz Wi-Fi无线通信模块用于接收来自地面物联网终端传输的野生动物的压缩后的监测数据；待无人机飞至有5G移动公网覆盖的区域，5G移动基站将接收的监测数据通过移动公网发送至数据中心。
在一种可能的实现方式中，无人机的控制设备中还集成了基于CompressAI的图像数据解压模型；基于CompressAI的图像数据解压模型将接受到的来自地面物联网终端经基于CompressAI的图像数据压缩模型压缩的数据进行解压，恢复原始数据。
结合图2和图3所示的流程和交互过程的示意图，上述三个设备主要工作流程包括野生动物监测、数据发送、数据接收、数据检验、数据压缩、数据发送、数据解压、数据发送，其中各个阶段都存在数据的发送和接收。
在图3中，野生动物触发红外相机开机，以及其他原因导致的红外相机误触发开机。红外相机实时采集野生动物数据，并同时与地面物联网终端建立2.GHz数据传输链路，向地面物联网终端发送监测的野生动物数据。
针对地面物联网终端，部署在地面物联网终端上的Nginx服务解析配置文件，设置有固定IP地址，并启动Nginx服务模块。
Nginx服务模块基于异步框架，可在非常低的资源使用率下提供大量的并发请求处理能力，对请求的处理速度非常快，同时具有拓展性、可靠性高、并发性高、内存占有量低。在Nginx服务模块中，有一个主进程管理各个工作进程，每个工作进程都是相对独立的，当有工作进程挂掉的时候，主进程都会重新创建工作进程并恢复挂掉工作进程的工作。Nginx对内存的使用非常的讲究。十万个非活跃的保活连接仅占用30MB的内存；Nginx有能力支撑很高的单机并发量。
本实施例中，受限于地面物联网终端的内存限制，采用Nginx服务模块，其低内存嵌入，提高设备性能。
地面物联网终端上的2.4GHz Wi-Fi无线通信模块处于长期工作状态，红外相机触发开机后与地面物联网终端建立局域网连接，并获得IP地址，向Nginx服务的指定IP地址上传数据，如图4所示。
地面物联网终端内部的控制器调用部署的基于光流的有效数据检测模型，通过光流算法判断红外相机采集的图像和视频数据的有效性。
例如，Lucas-Kanade(LK)光流模型读取两张图像数据，判断两张图像中同一目标的不同位置，进而判断图像中是否有野生动物。视频数据是通过读取视频的前后两帧数据进行同样的判断。
光流，简单说也就是画面移动过程中，图像上每个像素的x，y位移量，比如第t帧的时候A点的位置是(x1，y1)，那么在第t+1帧的时候再找到A点，假如它的位置是(x2，y2)，此时可以确定A点的运动了：
(u，v)＝(x2，y2)-(x1，y1)；如图5所示。
假设I(x，y，t)为时刻t像素点(x，y)的像素值，该像素点在两个图像帧之间移动了Δx，Δy，Δt。则可以得出相同亮度的结论：
I(x，y，x)＝I(x+Δx，y+Δy，t+Δt)
假设运动很小，可以从泰勒级数推导一阶泰勒展开式：
Figure BDA0003433470200000141
因此，从这个方程中可以得到：
Figure BDA0003433470200000142
令
Figure BDA0003433470200000143
则u，υ也就是在X，Y方向的光流值。
SIFT属于一种检测局部特征的算法，该算法通过求一幅图中的特征点及其有关scale和orientation的描述子得到特征并进行图像特征点匹配。SIFT特征不只具有尺度不变性，即使改变旋转角度，图像亮度或拍摄视角，仍然能够得到好的检测效果。
本实施例中可以采用SIFT特征提取方法，提取第一帧图像上的关键点的位置信息，以及提取第二帧图像上的匹配关键点的位置信息；进而采用关键点特征向量的欧式距离，计算第一帧图像上关键点在第二帧帧图像上的匹配关键点的位移，也就是光流值；通过判断关键点的变化来判断是否有野生动物。
基于上述监测过程，视频流第一帧图像上的关键点与第三帧、第四帧......第n帧分别循环执行计算关键点位移变化。
如果关键点有位移变化，则认为有野生动物存在，数据属于有效数据，数据保留。
在获取有效的监测数据之后，地面物联网终端的控制器调用部署的基于CompressAI的图像数据压缩模型，通过人工智能压缩模型，对本地存储的图像数据进行压缩，压缩后生成二进制文件，如图6所示。
具体地，CompressAI压缩模型读取一张图像数据，输入经过前期训练的压缩模型，生成.bin格式的二进制文件。
无人机
无人机的控制设备中携带机载中继，飞至地面物联网终端附近，从远程获取地面物联网终端上存储的压缩文件(二进制文件)和保留的有效视频数据。
例如，通过无人机上的LoRa无线通信模块向地面物联网终端发送唤醒指令，地面物联网终端收到唤醒指令，唤醒地面物联网终端上配置的5GHz Wi-Fi无线通信模块，无人机飞至地面物联网终端正上空，无人机与地面物联网终端之间建立5GHz高速无线通信链路，地面物联网终端向无人机发送缓存在本地的数据，包括压缩后的二进制文件和保留的有效视频数据。无人机将获取的数据本地保存。
无人机调用部署的基于CompressAI的图像数据解压模型，通过人工智能解压模型，对本地存储的图像数据进行解压，解压后生成与原始图像几乎完全一致的图像数据，如图8所示。
CompressAI解压模型读取一个二进制压缩，输入经过前期训练的解压模型，生成.jpg格式的图像数据。
当无人机飞至有移动公网覆盖的区域，与移动公网建立通信链路，将本地存储的解压后的图像数据和有效的视频数据，通过5G链路传输至云端，最终传输至数据中心，如图9所示，数据中心可对传输的数据进行处理，通过数据发布平台展示。
所述数据中心包括：解压模块、数据识别模块；
解压模块，用于对第二数据中的bin格式的二进制文件进行解压处理，得到图像数据；
数据识别模块，用于对图像数据和/或视频数据中的每一帧图像进行分块处理，并获取每一图像的N个特征向量，并将每一图像的N个特征向量和预先建立的目标数据库中的每一图像的N个特征向量进行比对，获取任意两张图像的匹配度，选择匹配度最高的图像中的动物作为识别的目标；
所述目标数据库中存储有多个已知目标的各种角度和姿态的图像，且每一图像预先建立有N个特征向量，N为4、9、16、25、36或49。
举例来说，所述数据识别模块具体用于：
针对第二数据中的每一图像，对所述图像进行第一识别处理，将存在目标的区域进行保留，获取监测目标的子图；
将所述子图转换成灰度图，并对所述灰度图进行分块，获得N个子灰度图，所述N个子灰度图不重叠且具有唯一的位置；
采用灰度直方图统计方式，获取每一子灰度图的一维特征向量；
将N个子灰度图的一维特征向量组成所述图像的N个特征向量，该特征向量代表所述图像的颜色统计特征和空间分布特征；
对所述N个特征向量进行归一化处理，得到归一化后的特征向量。
在本实施例中，所述数据识别模块还用于根据公式(1)获取任意两张图像的匹配度P；
Figure BDA0003433470200000161
其中，fi(x，y)为第二数据中第i图像的特征向量，fj(x，y)为目标数据库中第j图像的特征向量，
Figure BDA0003433470200000162
为第二数据中第i图像的均值，
Figure BDA0003433470200000163
为目标数据库中第j图像的均值，x，y，u，υ均表示图像内部像素，X，Y表示图像的大小即像素总数。
匹配度P能够提供精确的图像匹配相似性，当P＝1时，表示为最佳匹配。
图像本实施例的方法中，无人机与地面物联网终端建立数据传输链路，在无人机飞至有移动公网覆盖的区域，无人机与移动公网建立数据传输链路，进而形成完整的无人机物联网网络。由此，本发明的监控系统无需人工实时处理，提高人工安全性，并显著改善传统红外相机存在的安全和无法实现数据自动传输的问题。
应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中，这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。
此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。

Claims (10)

1.一种用于实现野外监控图像自动传输的监控系统，其特征在于，包括：多个图像采集装置，地面物联网终端、可移动的数据中继设备和数据中心；
每一图像采集装置部署在野外无网络的区域，并基于监测目标的触发自动采集监测目标的包括图像和/或视频的第一数据；
多个图像采集装置基于各自预先配置的第一无线通信模块与地面物联网终端连接，并将所述第一数据传输至所述地面物联网终端；
所述地面物联网终端获取第一数据中的有效数据并压缩得到第二数据，并接收到所述可移动的数据中继设备的唤醒指令后，基于预先配置的第二无线通信模块与所述可移动的数据中继设备连接，并将第二数据传输至所述可移动的数据中继设备；
所述可移动的数据中继设备移动至公网覆盖区域时，借助于公网将接收的第二数据传输至数据中心。
2.根据权利要求1所述的监控系统，其特征在于，所述图像采集设备为红外相机，且所述红外相机配置的第一无线通信模块为2.4GHz无线通信模块；
所述红外相机用于监测野生动物，在野生动物距离所述红外相机第一指定距离时触发所述红外相机开机；
所述红外相机开机后实时与所述地面物联网终端建立2.4GHz的数据传输链路。
3.根据权利要求2所述的监控系统，其特征在于，所述地面物联网终端包括：
通信建立模块，基于预先配置的固定IP地址与自动开机的红外相机建立局域网的连接；
数据接收模块，用于接收所述红外相机传输的第一数据；
数据检测模块，用于基于光流的有效数据检测模块对所述第一数据中的图像和/或视频数据进行检测并去除无效图像，获得第一数据的有效数据；
数据压缩模块，用于基于CompressAI的图像数据压缩模型将所述有效数据中的图像数据压缩，生成二进制文件；将所述二进制文件和视频数据组成第二数据；
唤醒模块，用于接收可移动的数据中继设备发送的唤醒指令，以与所述可移动的数据中继设备建立通信；
第二无线通信模块，用于将所述第二数据发送所述可移动的数据中继设备。
4.根据权利要求3所述的监控系统，其特征在于，所述数据检测模块，具体用于
针对视频流中项相邻图像帧，提取前一图像帧上的关键点的位置信息，以及提取后一图像帧上的匹配关键点的位置信息；采用关键点特征向量的欧式距离，计算第一帧图像上关键点在第二帧帧图像上的匹配关键点的位移即光流值；根据判断关键点的变化确定是否有野生动物。
5.根据权利要求3所述的监控系统，其特征在于，所述可移动的数据中继设备包括：
唤醒指令发送模块，用于监测到与所述地面物联网终端的距离满足第二指定距离时，向所述地面物联网终端发送唤醒指令，以使所述地面物联网终端基于所述唤醒指令通过所述第二无线通信模块与所述数据中继设备建立通信连接；
第三无线通信模块，用于接收所述地面物联网终端上传的第二数据；
第四无线通信模块，用于监测到公网信息时，将所述第二数据通过公网发送到数据中心。
6.根据权利要求3所述的监控系统，其特征在于，第二无线通信模块和所述第三无线通信模块均为5GHz Wi-Fi无线通信模块；
可移动的数据中继设备为无人机；
所述唤醒指令发送模块为LoRa无线通信模块；
所述第四无线通信模块为集成在无人机中的5G移动基站信息。
7.根据权利要求3所述的监控系统，其特征在于，所述第二数据包括：bin格式的二进制文件；
所述数据中心包括：
解压模块，用于对第二数据中的bin格式的二进制文件进行解压处理，得到图像数据；
数据识别模块，用于对图像数据和/或视频数据中的每一帧图像进行分块处理，并获取每一帧图像的N个特征向量，并将每一帧图像的N个特征向量和预先建立的目标数据库中的每一图像的N个特征向量进行比对，获取任意两张图像的匹配度，选择匹配度最高的图像中的动物作为识别的目标；
所述目标数据库中存储有多个已知目标的各种角度和姿态的图像，且每一图像预先建立有N个特征向量，N为4、9、16、25、36或49。
8.根据权利要求7所述的监控系统，其特征在于，所述数据识别模块具体用于：
针对第二数据中的每一图像，对所述图像进行第一识别处理，将存在目标的区域进行保留，获取监测目标的子图；
将所述子图转换成灰度图，并对所述灰度图进行分块，获得N个子灰度图，所述N个子灰度图不重叠且具有唯一的位置；
采用灰度直方图统计方式，获取每一子灰度图的一维特征向量；
将N个子灰度图的一维特征向量组成所述图像的N个特征向量，该特征向量代表所述图像的颜色统计特征和空间分布特征；
对所述N个特征向量进行归一化处理，得到归一化后的特征向量。
9.根据权利要求8所述的监控系统，其特征在于，所述数据识别模块还用于根据公式(1)获取任意两张图像的匹配度P；
公式(1)
Figure FDA0003433470190000041
其中，fi(x，y)为第二数据中第i图像的特征向量，fj(x，y)为目标数据库中第j图像的特征向量，
Figure FDA0003433470190000042
为第二数据中第i图像的均值，
Figure FDA0003433470190000043
为目标数据库中第j图像的均值，x，y，u，υ均表示图像内部像素，X，Y表示图像的大小。
10.根据权利要求3所述的监控系统，其特征在于，
地面物联网终端固定在以部署相机为中心的空旷区域，红外相机固定在树上或者能够稳定布设的区域，红外相机与地面物联网终端之间采用2.4GHz无线通信，通信距离大概在50-80米左右；
红外相机内置有红外热释电传感器和高清近红外图像传感器，当野生动物在红外相机附近时，红外相机传感器红外热释电传感器感应到野生动物，触发近红外图像传感器拍摄野生动物。
CN202111602761.0A 2021-12-24 2021-12-24 一种用于实现野外监控图像自动传输的监控系统 Active CN114500934B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111602761.0A CN114500934B (zh) 2021-12-24 2021-12-24 一种用于实现野外监控图像自动传输的监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111602761.0A CN114500934B (zh) 2021-12-24 2021-12-24 一种用于实现野外监控图像自动传输的监控系统

Publications (2)

Publication Number Publication Date
CN114500934A true CN114500934A (zh) 2022-05-13
CN114500934B CN114500934B (zh) 2023-08-11

Family

ID=81497038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111602761.0A Active CN114500934B (zh) 2021-12-24 2021-12-24 一种用于实现野外监控图像自动传输的监控系统

Country Status (1)

Country Link
CN (1) CN114500934B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001068447A2 (en) * 2000-03-10 2001-09-20 Sky Calypso Inc. Internet linked environmental data collection system and method
CN102404875A (zh) * 2011-11-01 2012-04-04 北京航空航天大学 一种分布式智能无线图像传感器网络节点设备
CN102547247A (zh) * 2012-01-31 2012-07-04 天津大学 基于长距离无线mesh网络的野外智慧监控系统
CN102892184A (zh) * 2012-06-29 2013-01-23 北京博力恒昌科技有限公司 一种实现Zigbee模块单火线或电池供电的装置和方法
CN103065129A (zh) * 2012-12-30 2013-04-24 信帧电子技术（北京）有限公司 对大熊猫识别的方法
CN103065126A (zh) * 2012-12-30 2013-04-24 信帧电子技术（北京）有限公司 不同场景对人体图像再识别的方法
CN109510971A (zh) * 2019-01-08 2019-03-22 中南林业科技大学 一种基于物联网的野生动物智能观测系统
CN110351663A (zh) * 2019-05-31 2019-10-18 西安电子科技大学 多网络融合的无人机、物联网监测系统及方法
US10659144B1 (en) * 2019-01-31 2020-05-19 At&T Intellectual Property I, L.P. Management of massively distributed internet of things (IOT) gateways based on software-defined networking (SDN) via fly-by master drones
CN112615984A (zh) * 2020-12-11 2021-04-06 北京林业大学 一种一体化野生动物图像自动采集装置及方法
CN113645401A (zh) * 2021-07-21 2021-11-12 甘肃祁连山国家级自然保护区管护中心(大熊猫祁连山国家公园甘肃省管理局张掖分局) 一种基于北斗物联网的野生动物生存环境监测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001068447A2 (en) * 2000-03-10 2001-09-20 Sky Calypso Inc. Internet linked environmental data collection system and method
CN102404875A (zh) * 2011-11-01 2012-04-04 北京航空航天大学 一种分布式智能无线图像传感器网络节点设备
CN102547247A (zh) * 2012-01-31 2012-07-04 天津大学 基于长距离无线mesh网络的野外智慧监控系统
CN102892184A (zh) * 2012-06-29 2013-01-23 北京博力恒昌科技有限公司 一种实现Zigbee模块单火线或电池供电的装置和方法
CN103065129A (zh) * 2012-12-30 2013-04-24 信帧电子技术（北京）有限公司 对大熊猫识别的方法
CN103065126A (zh) * 2012-12-30 2013-04-24 信帧电子技术（北京）有限公司 不同场景对人体图像再识别的方法
CN109510971A (zh) * 2019-01-08 2019-03-22 中南林业科技大学 一种基于物联网的野生动物智能观测系统
US10659144B1 (en) * 2019-01-31 2020-05-19 At&T Intellectual Property I, L.P. Management of massively distributed internet of things (IOT) gateways based on software-defined networking (SDN) via fly-by master drones
CN110351663A (zh) * 2019-05-31 2019-10-18 西安电子科技大学 多网络融合的无人机、物联网监测系统及方法
CN112615984A (zh) * 2020-12-11 2021-04-06 北京林业大学 一种一体化野生动物图像自动采集装置及方法
CN113645401A (zh) * 2021-07-21 2021-11-12 甘肃祁连山国家级自然保护区管护中心(大熊猫祁连山国家公园甘肃省管理局张掖分局) 一种基于北斗物联网的野生动物生存环境监测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
姚仲敏;荆宝刚;逄世良;: "基于WSN的无人机扎龙湿地鹤类图像监测系统", 家畜生态学报 *

Also Published As

Publication number Publication date
CN114500934B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN111405241B (zh) 一种用于视频监控的边缘计算方法和系统
CN108109385B (zh) 一种输电线防外破的车辆识别与危险行为判别系统与方法
CN101512549B (zh) 数字图像采集装置中的实时人脸追踪
CN108960290A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN110580428A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN112399075B (zh) 补光灯的控制方法、监控设备、电子装置和存储介质
CN103824064A (zh) 一种海量人脸发现与识别方法
CN111339831B (zh) 一种照明灯控制方法和系统
CN112733690A (zh) 一种高空抛物检测方法、装置及电子设备
CN116916049B (zh) 一种基于云计算技术的视频数据在线采集与存储系统
CN115588121B (zh) 基于传感数据和图像序列的塔吊吊物类别检测方法及系统
CN112040198A (zh) 一种基于图像处理的智能水表读数识别系统与方法
CN107566803A (zh) 一种监控视频的储存方法和监控系统
CN111401215A (zh) 一种多类别目标检测的方法及系统
Saffari et al. Battery-free camera occupancy detection system
CN107248091A (zh) 一种人脸识别互动营销系统
KR20180094554A (ko) 3d 이미지 생성 장치 및 방법
CN114241012A (zh) 一种高空抛物的判定方法及装置
CN114500934B (zh) 一种用于实现野外监控图像自动传输的监控系统
CN112613358A (zh) 物品的识别方法、装置、存储介质以及电子装置
US9875549B2 (en) Change detection in video data
CN110837771A (zh) 一种基于卷积神经网络的鸟类识别方法和装置
CN113472998B (zh) 图像处理方法、装置、电子设备和存储介质
CN116152906A (zh) 图像识别方法、装置、通信设备及可读存储介质
CN109035328B (zh) 一种图像指向性的识别方法、系统、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant