CN113542697A - 基于深度学习的采砂船自适应监控系统的自适应监控方法 - Google Patents

基于深度学习的采砂船自适应监控系统的自适应监控方法 Download PDF

Info

Publication number
CN113542697A
CN113542697A CN202111081338.0A CN202111081338A CN113542697A CN 113542697 A CN113542697 A CN 113542697A CN 202111081338 A CN202111081338 A CN 202111081338A CN 113542697 A CN113542697 A CN 113542697A
Authority
CN
China
Prior art keywords
deep learning
monitoring
module
server
sand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111081338.0A
Other languages
English (en)
Other versions
CN113542697B (zh
Inventor
许小华
包学才
王海菁
张秀平
高江林
汪国斌
李亚琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Institute of Technology
Jiangxi Academy of Water Resources
Original Assignee
Nanchang Institute of Technology
Jiangxi Academy of Water Resources
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Institute of Technology, Jiangxi Academy of Water Resources filed Critical Nanchang Institute of Technology
Priority to CN202111081338.0A priority Critical patent/CN113542697B/zh
Publication of CN113542697A publication Critical patent/CN113542697A/zh
Application granted granted Critical
Publication of CN113542697B publication Critical patent/CN113542697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J7/00—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries
    • H02J7/34—Parallel operation in networks using both storage and other dc sources, e.g. providing buffering
    • H02J7/35—Parallel operation in networks using both storage and other dc sources, e.g. providing buffering with light sensitive cells
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Power Engineering (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了基于深度学习的采砂船自适应监控系统的自适应监控方法，包括前端监控终端、推理识别装置以及服务器管理装置；前端监控终端包括嵌入式微处理器、水岸监控摄像机、北斗定位模块、能量状况监测模块；推理识别装置包括嵌入式PC机以及与嵌入式PC机电性连接的无线图像传输通信模块、深度学习加速卡、4G无线通信模块，以太网模块和SD卡数据存储模块；服务器管理装置包括采砂船管理Web平台以及采砂船管理Web平台电性连接的采砂船识别服务器、监测状态分析服务器的和存储服务器；本发明能够实现河湖采砂船进出采砂区域的自动识别以及河湖非法采砂船的识别、取证及预警功能。

Description

基于深度学习的采砂船自适应监控系统的自适应监控方法
技术领域
本发明涉及河湖治理的自适应监控系统技术领域，特别是涉及基于深度学习的采砂船自适应监控系统的自适应监控方法。
背景技术
随着城市建设加快，河湖采砂需求量巨增，无序非法采砂行为频发，严重破坏河湖环境和威胁防洪安全，而河湖采砂船的智能监管是河湖治理以及河湖水生态环境保护与建设的重要技术手段。当前河湖采砂信息化管理平台主要以采砂信息登记、查询、统计、分析和报表生成为主，时效性差、巡查效率低、取证执法难，采砂船管理以及非法采砂行业等靠人工巡检，难以得到有效管控，无法适应采砂乱象的监测、识别、追踪、取证、预警等智能监管要求。为解决对河湖采砂船的实时识别与追踪以及实现偏远水岸对河湖采砂船的持续监测问题，迫切需要开发一种对河湖采砂船进行识别、取证和预警的智能化自适应监控系统。
专利公开号CN112087528A公开了一种基于深度学习的水环境智能监测系统及方法，解决水环境的智能识别以及实现长期有效监测的问题，开发了一种智能污染识别、自适应图像和视频取证、自动污染预警的水环境污染监测系统。虽然也是用到了一种基于深度学习方法，但是本质和本技术完全不同，本技术核心在于如何提供具有根据能量变化的自适应选择深度学习算法类型和视频帧采集间隔频度的采砂监控监测识别系统。
发明内容
本发明的目的是提供基于深度学习的采砂船自适应监控系统的自适应监控方法，通过前端监控终端的视频采集，结合推理识别装置的自适应智能化识别，以及服务器管理装置根据能量状态和识别精度的分析计算，实现采砂船进行自适应图像采集、识别、取证和预警等智能化功能。
为实现上述目的，本发明提供了如下方案：基于深度学习的采砂船自适应监控系统的自适应监控方法，
采砂船自适应监控系统包括前端监控终端、推理识别装置以及服务器管理装置；所述前端监控终端包括嵌入式微处理器、水岸监控摄像机、北斗定位模块、无线图像传输通信模块一、4G无线通信模块一、能量状况监测模块、太阳能充电模块、太阳能电池板、可充电蓄电池；其中嵌入式微处理器分别电性连接水岸监控摄像机、北斗定位模块、无线图像传输通信模块一、4G无线通信模块一、能量状况监测模块；能量状况监测模块电性连接太阳能充电模块，太阳能充电模块分别电性连接太阳能电池板和可充电蓄电池，可充电蓄电池分别电性连接嵌入式微处理器和能量状况监测模块；
所述推理识别装置包括嵌入式PC机、以太网模块、深度学习加速卡、无线图像传输通信模块二、4G无线通信模块二和SD卡数据存储模块；其中嵌入式PC机分别电性连接以太网模块、深度学习加速卡、无线图像传输通信模块二、4G无线通信模块二和SD卡数据存储模块；
所述服务器管理装置包括采砂船管理Web服务器平台、采砂船识别服务器、监测状态分析服务器、存储服务器；其中采砂船管理Web服务器平台电性连接采砂船识别服务器、监测状态分析服务器、存储服务器；
所述前端监控终端与所述推理识别装置之间通过无线图像传输通信模块一和无线图像传输通信模块二进行通信，所述推理识别装置与所述服务器管理装置通过推理识别装置的以太网模块连接网络或通过推理识别装置的4G无线通信模块连接网络进行通信；
采砂船自适应监控方法，包括以下步骤：
S1，前端监控终端将水岸监控摄像机拍摄的河面采砂船等图像信息通过无线图像传输通信模块一发送至所述推理识别装置，前端监控终端将能量状况监测模块采集到可充电蓄电池的能量状态、太阳能充电模块获取的能量情况和图像监测能量消耗等信息与所述北斗定位模块的定位信息一并经4G无线通信模块一传输至服务器管理装置；
S2，推理识别装置中的所述嵌入式PC机根据确定的视频帧采集间隔频度，将采集的图像信息发送至深度学习加速卡通过深度学习算法一对河面过往船只进行识别，并根据识别结果判断船只否是采砂船；
S3，如果是，推理识别装置保存根据视频帧采集间隔频度采集的图像，保存4-5张，并存储至SD卡数据存储模块，根据检测有线网络和4G无线网络的网络状况，自适应选择以太网模块或4G无线通信模块二将最近一次保存的图像传输至服务器管理装置进一步检测与识别，以确定是具体的备案采砂船还是非法采砂船，并转至步骤S5；
S4, 如果否，转至步骤S2；
S5，服务器管理装置中的采砂船识别服务器对保存4-5张图像利用图像分割算法以及深度学习算法二对采砂船进行进一步识别，判断是否是合法备案的采砂船只；
如果是，则将图像信息传输至采砂船管理Web服务器平台显示，并将图像信息发送至存储服务器进行存储记录；
如果否，则将图像信息传输至采砂船管理Web服务器平台显示并在网页上显示非法采砂船的预警信息，并发送图像信息至存储服务器用于非法采砂取证。
S6,服务器管理装置中监测状态分析服务器根据定位信息、可充电蓄电池能量状态、太阳能充电模块获取的能量情况和图像监测能量消耗等信息，利用回归算法预测计算确定前端监控终端视频帧采集间隔频度和深度学习算法一的类型，并将视频帧采集间隔频度参数发送至前端监控终端，以及将深度学习算法一的类型发送至推理识别装置，然后转至步骤S2。
进一步的，所述深度学习算法一的类型包括One stage 和Two stage 两种类型目标检测识别深度学习算法，所述One stage是指直接回归物体的类别概率和位置坐标值的算法，所述Two stage是指先生成一系列作为样本的候选框，再通过深度神经网络进行样本分类的算法；所述深度学习算法一的类型选择根据服务器管理装置中监测状态分析服务器的计算结果来确定；所述深度学习算法二为关键点检测深度学习方法。
进一步的，所述服务器管理装置中监测状态分析服务器根据可充电蓄电池剩余能量状态、太阳能充电模块获取的能量情况以及图像监测能量消耗等信息预测计算来自适应确定视频帧采集间隔频度，具体如下：可充电蓄电池预计处于低能量状态下，视频帧采集间隔频度为2次/秒，可充电蓄电池预计处于中等能量状态下，视频帧采集间隔频度为6次/秒，可充电蓄电池预计处于高能量状态下，视频帧采集间隔频度为10次/秒。
进一步的，所述水岸监控摄像机为仿生复眼摄像机，所述仿生复眼摄像机是由相机阵列系统组成，能实现超高分辨率、远距离、宽视场视觉效果，并具备红外夜视功能。
进一步的，所述无线图像传输通信模块一和无线图像传输通信模块二为支持2.5Mbps以上传输速率。
进一步的，所述嵌入式PC机为搭载了Linux操作系统的小型计算机系统，包括存储器、HDMI、Flash和USB等设备和接口。
进一步的，所述深度学习加速卡为集成了GPU芯片，能对深度学习算法进行加速运行计算。
进一步的，所述采砂船识别服务器具有可用于深度学习算法训练的GPU或NPU等硬件配置。
本发明的有益效果是：本发明提供的基于深度学习的采砂船自适应监控系统及方法，通过前端监控终端自适应间隔采集视频帧图像，并通过无线图像传输通信模块一将图像数据传至推理识别装置，推理识别装置自适应选择One stage 或Two stage类型深度学习算法进行采砂船识别，通过将识别结果图像传至服务器管理装置中采砂船识别服务器利用关键点检测深度学习方法进一步识别具体合法采砂船，实现对识别的采砂船图像进行有效存储和取证，从而提高河湖采砂智能监测能力；通过服务器管理装置中的监测状态分析服务器反馈的不同视频帧采集间隔频度参数前端监控终端，实现前端监控终端自适应间隔采集视频帧图像，解决因偏远区域能量不足时常导致采集图像出现中断的问题；通过服务器管理装置反馈的识别精度、视频帧采集间隔频度等参数给推理识别装置，实现推理识别装置自适应选择One stage 或Two stage类型深度学习算法，实现识别精度、计算复杂度和能量消耗的均衡；能过推理识别装置和服务器管理装置两级装置不同深度学习算法的检测识别，解决单一装置识别延时过高的问题。
附图说明
图1为本发明基于深度学习的采砂船自适应监控系统的模块示意图；
图2为本发明基于深度学习的采砂船自适应监控系统整体传输路径的简易示意图；
图3为本发明基于深度学习的采砂船自适应监控方法的工作流程图；
附图标记说明：1、嵌入式微处理器；2、水岸监控摄像机；3、北斗定位模块；4、无线图像传输通信模块一；5、4G无线通信模块一；6、能量状况监测模块；7、太阳能充电模块；8、太阳能电池板；9、可充电蓄电池；10、嵌入式PC机；11、以太网模块；12、深度学习加速卡；13、无线图像传输通信模块二；14、4G无线通信模块二；15、SD卡数据存储模块；16、采砂船管理Web服务器平台；17、采砂船识别服务器；18、监测状态分析服务器；19、存储服务器；20、前端监控终端；21、推理识别装置；22、服务器管理装置。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供基于深度学习的采砂船自适应监控系统的自适应监控方法，
通过前端监控终端的视频采集，结合推理识别装置的自适应智能化识别，以及服务器管理装置根据能量状态和识别精度的分析计算，实现采砂船进行自适应图像采集、识别、取证和预警等智能化功能，从而提高河湖采砂管理及河湖治理的智能化监测能力。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1至图2所示，本发明实施例提供的基于深度学习的水环境智能监测系统，包括前端监控终端20、推理识别装置21、服务器管理装置22；
所述前端监控终端20将所述水岸监控摄像机2拍摄的河面采砂船等图像信息通过无线图像传输通信模块一4发送至所述推理识别装置21，所述推理识别装置21根据确定的深度学习算法类型对采集图像进行检测识别，然后推理识别装置21将识别确定为采砂船的图像传至服务器管理装置22进一步识别是否为合法备案采砂船，当为合法备采砂船时，在采砂船管理Web服务器平台16显示采砂船位置信息和图像显示，在所述服务器管理装置22采砂船识别服务器17中确认为非法采砂船时，及时向河湖采砂监管部分人员发送非法采砂的位置和图片信息；
所述前端监控终端20将所述能量状况监测模块6采集到可充电蓄电池9和太阳能充电模块7的能量状态以及图像监测消耗能量等信息，与所述北斗定位模块3的定位信息一并经4G无线通信模块一5传输至服务器管理装置22；
所述前端监控终端20包括嵌入式微处理器1、水岸监控摄像机2、北斗定位模块3、无线图像传输通信模块一4、4G无线通信模块一5、能量状况监测模块6、太阳能充电模块7、太阳能电池板8、可充电蓄电池9；所述嵌入式微处理器1电性连接水岸监控摄像机2、北斗定位模块3、无线图像传输通信模块一4、4G无线通信模块一5、能量状况监测模块6；所述太阳能充电模块7电性连接太阳能电池板8和可充电蓄电池9；所述能量状况监测模块6电性连接太阳能充电模块7和可充电蓄电池9；所述水岸监控摄像机2为仿生复眼摄像机，所述仿生复眼摄像机是由相机阵列系统组成，能实现超高分辨率、远距离、宽视场视觉效果，并具备红外夜视功能；所述无线图像传输通信模块一4和无线图像传输通信模块二13为支持2.5Mbps以上传输速率；
所述前端监控终端20中的水岸监控摄像机2根据确定的视频帧采集间隔频度采集监控图像，并通过无线图像传输通信模块一将图像数据传至推理识别装置；所述前端监控终端20中的能量状况监测模块6将采集的可充电蓄电池9的能量状态、太阳能充电模块7获取的能量情况和图像监测能量消耗等信息，通过4G无线通信模块一5传输至服务器管理装置22；
所述推理识别装置21包括嵌入式PC机10以及与所述嵌入式PC机10电性连接的以太网模块11、深度学习加速卡12、无线图像传输通信模块二13、4G无线通信模块二14和SD卡数据存储模块15；所述嵌入式PC机10为搭载了Linux操作系统的小型计算机系统，包括存储器、HDMI、Flash和USB等设备和接口；所述深度学习加速卡为集成了GPU芯片，能对深度学习算法进行加速运行计算；
所述推理识别装置21通过无线图像传输通信模块二13接收前端监控终端20发送的图像信息；所述推理识别装置21中深度学习加速卡12通过深度学习算法一对采集视频帧图像进行采砂船识别，识别结果经4G无线通信模块二14或以太网模块11传输至服务器管理装置22，所述深度学习算法一的类型选择根据服务器管理装置22中采砂船识别服务器17反馈的识别精度结果来确定选择One stage 还是Two stage类型算法；
所述服务器管理装置22包括采砂船管理Web服务器平台16以及所述采砂船管理Web服务器平台16电性连接的采砂船识别服务器17、监测状态分析服务器18、存储服务器19；所述采砂船识别服务器17具有可用于深度学习算法训练的GPU或NPU等硬件配置，并将识别结果保存至存储服务器19；所述监测状态分析服务器18根据最近一段时间接收到前端监控终端20的蓄电池剩余能量和太能量充电模块7反映的获取能量状况，利用回归算法预测出视频帧采集间隔频度，并反馈至前端监控终端20；所述采砂船管理Web服务器平台16显示采砂船识别服务器17的结果并对识别为非法采砂船的预警功能。
如图3所示，本发明提供的基于深度学习的采砂船自适应监控方法具体工作过程如下：
所述前端监控终端20将所述水岸监控摄像机2拍摄的河面采砂船等图像信息通过无线图像传输通信模块一4发送至所述推理识别装置21，所述能量状况监测模块6将可充电蓄电池9的能量状态、太阳能充电模块7获取的能量情况和图像监测消耗能量的信息与所述北斗定位模块3的定位信息一并经4G无线通信模块一5传输至服务器管理装置22；
所述推理识别装置21中的所述嵌入式PC机10根据确定的视频帧采集间隔频度，视频帧采集间隔频度由所述服务器管理装置22中监测状态分析服务器18根据可充电蓄电池9的能量状态、太阳能充电模块7获取的能量情况和图像监测能量消耗信息自适应预测计算确定，即可充电蓄电池9处于低能量状态下，视频帧采集间隔频度为2次/秒，可充电蓄电池9处于中等能量状态下，视频帧采集间隔频度为6次/秒，可充电蓄电池9处于高能量状态下，视频帧采集间隔频度为10次/秒；所述推理识别装置21将采集的图像信息发送至深度学习加速卡12通过深度学习算法一对河面过往船只进行识别，并根据识别结果判断船只否是采砂船；所述深度学习算法一的类型包括One stage 和Two stage 两种类型目标检测识别深度学习算法，所述One stage是指直接回归物体的类别概率和位置坐标值的算法，所述Twostage是指 先生成一系列作为样本的候选框，再通过深度神经网络进行样本分类的算法。所述深度学习算法一的类型选择根据服务器管理装置22中监测状态分析服务器18的计算结果来确定；
当识别并判断为采砂船时,所述推理识别装置21保存根据视频帧采集间隔频度来采集图像，根据需要一般保存4-5张，并存储至SD卡数据存储模块15，根据检测有线网络和4G无线网络的网络状况，自适应选择以太网模块11或4G无线通信模块二14将最近一次保存的图像传输至服务器管理装置22进一步检测与识别，以确定是具体的备案采砂船还是非法采砂船。所述服务器管理装置22中的采砂船识别服务器17对接收的4-5张图像利用图像分割算法以及深度学习算法二对采砂船进行进一步识别，判断是否是合法备案的采砂船只；所述深度学习算法二为关键点检测深度学习方法；
如果判断为合法备案采砂船只，则将图像信息传输至采砂船管理Web服务器平台16显示，并将图像信息发送至存储服务器19进行存储记录；如果判断为不合法采砂船只，则将图像信息传输至采砂船管理Web服务器平台16显示并在网页上显示非法采砂船的预警信息，并发送图像信息至存储服务器19用于非法采砂取证；
所述服务器管理装置22中监测状态分析服务器18根据定位信息、可充电蓄电池9的能量状态和图像监测能量消耗信息，利用回归算法预测计算确定具体前端监控终端20合适的视频帧采集间隔频度和深度学习算法一的类型，并将视频帧采集间隔频度参数发送至前端监控终端20，以及将深度学习算法一的类型参数发送至推理识别装置21；
本发明提供的基于深度学习的采砂船自适应监控系统及方法，通过前端监控终端自适应间隔采集视频帧图像，并通过无线图像传输通信模块一将图像数据传至推理识别装置，推理识别装置自适应选择One stage 或Two stage类型深度学习算法进行采砂船识别，通过将识别结果图像传至服务器管理装置中采砂船识别服务器利用步关键点检测深度学习方法进一步识别具体合法采砂船，实现对识别的采砂船图像进行有效存储和取证，从而提高河湖采砂智能监测能力；通过服务器管理装置中的监测状态分析服务器反馈的不同视频帧采集间隔频度参数前端监控终端，实现前端监控终端自适应间隔采集视频帧图像，解决因偏远区域能量不足时常导致采集图像出现中断的问题；通过服务器管理装置反馈的识别精度、视频帧采集间隔频度等参数给推理识别装置，实现推理识别装置自适应选择Onestage 或Two stage类型深度学习算法，实现识别精度、计算复杂度和能量消耗的均衡；能过推理识别装置和服务器管理装置两级装置不同深度学习算法的检测识别，解决单一装置识别延时过高的问题。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制，必须要根据权利要求的范围来确定技术性范围。

Claims (8)

1.基于深度学习的采砂船自适应监控系统的自适应监控方法，其特征在于：
采砂船自适应监控系统包括前端监控终端（20）、推理识别装置（21）以及服务器管理装置（22）；
所述前端监控终端（20）包括嵌入式微处理器（1）、水岸监控摄像机（2）、北斗定位模块（3）、无线图像传输通信模块一（4）、4G无线通信模块一（5）、能量状况监测模块（6）、太阳能充电模块（7）、太阳能电池板（8）和可充电蓄电池（9）；其中嵌入式微处理器（1）分别电性连接水岸监控摄像机（2）、北斗定位模块（3）、无线图像传输通信模块一（4）、4G无线通信模块一（5）、能量状况监测模块（6）；能量状况监测模块（6）电性连接太阳能充电模块（7），太阳能充电模块（7）分别电性连接太阳能电池板（8）和可充电蓄电池（9），可充电蓄电池（9）分别电性连接嵌入式微处理器（1）和能量状况监测模块（6）；
所述推理识别装置（21）包括嵌入式PC机（10）、以太网模块（11）、深度学习加速卡（12）、无线图像传输通信模块二（13）、4G无线通信模块二（14）和SD卡数据存储模块（15）；其中嵌入式PC机（10）分别电性连接以太网模块（11）、深度学习加速卡（12）、无线图像传输通信模块二（13）、4G无线通信模块二（14）和SD卡数据存储模块（15）；
所述服务器管理装置（22）包括采砂船管理Web服务器平台（16）、采砂船识别服务器（17）、监测状态分析服务器（18）、存储服务器（19）；其中采砂船管理Web服务器平台（16）电性连接采砂船识别服务器（17）、监测状态分析服务器（18）、存储服务器（19）；
所述前端监控终端（20）与所述推理识别装置（21）之间通过无线图像传输通信模块一（4）和无线图像传输通信模块二（13）进行通信，所述推理识别装置（21）与所述服务器管理装置（22）通过推理识别装置（21）的以太网模块（11）连接网络进行通信或通过推理识别装置（21）的4G无线通信模块（14）连接网络进行通信；
采砂船自适应监控方法，包括以下步骤：
S1，前端监控终端（20）将水岸监控摄像机（2）拍摄的河面视频图像通过无线图像传输通信模块一（4）发送至推理识别装置（21），前端监控终端（20）将能量状况监测模块（6）采集到可充电蓄电池（9）剩余能量状态、太阳能充电模块（7）获取的能量情况和图像监测能量消耗信息与北斗定位模块（3）的定位信息一并经4G无线通信模块一（5）传输至服务器管理装置（22）；
S2，推理识别装置（21）中的嵌入式PC机（10）根据确定的视频帧采集间隔频度，将采集的图像信息发送至深度学习加速卡（12），通过深度学习算法一对河面过往船只进行识别，并根据识别结果判断船只否是采砂船；
S3，如果是，推理识别装置（21）保存根据视频帧采集间隔频度采集的图像，保存4-5张，并存储至SD卡数据存储模块（15），根据检测以太网有线网络和4G无线网络的网络状况，自适应选择以太网模块（11）或4G无线通信模块二（14）将最近一次保存的图像传输至服务器管理装置（22）进一步检测与识别，以确定是具体的备案采砂船还是非法采砂船，并转至步骤S5；
S4, 如果否，转至步骤S2；
S5，服务器管理装置（22）中的采砂船识别服务器（17）对保存4-5张图像利用图像分割算法以及深度学习算法二对采砂船进行进一步识别，判断是否是合法备案的采砂船只；
如果是，则将图像信息传输至采砂船管理Web服务器平台（16）显示，并将图像信息发送至存储服务器（19）进行存储记录；
如果否，则将图像信息传输至采砂船管理Web服务器平台（16）显示并在网页上显示非法采砂船的预警信息，并发送图像信息至存储服务器（19）用于非法采砂取证；
S6,服务器管理装置（22）中监测状态分析服务器（18）根据定位信息、可充电蓄电池（9）的能量状态、太阳能充电模块（7）获取的能量情况和图像监测能量消耗信息，利用回归算法预测计算确定前端监控终端（20）视频帧采集间隔频度和深度学习算法一的类型，并将视频帧采集间隔频度参数发送至前端监控终端（20），以及将深度学习算法一的类型发送至推理识别装置（21），然后转至步骤S2。
2.根据权利要求1所述的基于深度学习的采砂船自适应监控系统的自适应监控方法，其特征在于，所述深度学习算法一的类型包括One stage 和Two stage 两种类型目标检测识别深度学习算法；所述One stage是指直接回归物体的类别概率和位置坐标值的算法，所述Two stage是指首先生成一系列作为样本的候选框，再通过深度神经网络进行样本分类的算法；
所述深度学习算法一的类型选择根据服务器管理装置（22）中监测状态分析服务器（18）的计算结果来确定；所述深度学习算法二为关键点检测深度学习方法。
3.根据权利要求1所述的基于深度学习的采砂船自适应监控系统的自适应监控方法，其特征在于，所述步骤S6中，服务器管理装置（22）中监测状态分析服务器（18）根据可充电蓄电池（9）的剩余能量状态、太阳能充电模块（7）获取的能量情况以及图像监测能量消耗信息预测计算来自适应确定视频帧采集间隔频度，具体如下：
可充电蓄电池（9）预计处于低能量状态下，视频帧采集间隔频度为2次/秒，可充电蓄电池（9）预计处于中等能量状态下，视频帧采集间隔频度为6次/秒，可充电蓄电池（9）预计处于高能量状态下，视频帧采集间隔频度为10次/秒。
4.根据权利要求1所述的基于深度学习的采砂船自适应监控系统的自适应监控方法，其特征在于，所述水岸监控摄像机（2）为仿生复眼摄像机，仿生复眼摄像机是由相机阵列系统组成，能实现超高分辨率、远距离、宽视场视觉效果，并具备红外夜视功能。
5.根据权利要求1所述的基于深度学习的采砂船自适应监控系统的自适应监控方法，其特征在于，所述无线图像传输通信模块一（4）和无线图像传输通信模块二（13）为支持2.5Mbps以上传输速率的无线通信模块。
6.根据权利要求1所述的基于深度学习的采砂船自适应监控系统的自适应监控方法，其特征在于，所述嵌入式PC机（10）为搭载了Linux操作系统的小型计算机系统，包括存储器、HDMI、Flash和USB设备和接口。
7.根据权利要求1所述的基于深度学习的采砂船自适应监控系统的自适应监控方法，其特征在于，所述深度学习加速卡（12）为集成GPU芯片，能对深度学习算法进行加速运行计算。
8.根据权利要求1所述的基于深度学习的采砂船自适应监控系统的自适应监控方法，其特征在于，所述采砂船识别服务器（17）具有可用于深度学习算法训练的GPU或NPU硬件配置。
CN202111081338.0A 2021-09-15 2021-09-15 基于深度学习的采砂船自适应监控系统的自适应监控方法 Active CN113542697B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111081338.0A CN113542697B (zh) 2021-09-15 2021-09-15 基于深度学习的采砂船自适应监控系统的自适应监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111081338.0A CN113542697B (zh) 2021-09-15 2021-09-15 基于深度学习的采砂船自适应监控系统的自适应监控方法

Publications (2)

Publication Number Publication Date
CN113542697A true CN113542697A (zh) 2021-10-22
CN113542697B CN113542697B (zh) 2021-12-10

Family

ID=78123123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111081338.0A Active CN113542697B (zh) 2021-09-15 2021-09-15 基于深度学习的采砂船自适应监控系统的自适应监控方法

Country Status (1)

Country Link
CN (1) CN113542697B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114924477A (zh) * 2022-05-26 2022-08-19 西南大学 基于图像识别及pid智能控制的电拦鱼过船装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203465585U (zh) * 2013-09-22 2014-03-05 重庆惠泽科技发展有限公司 用于河道采砂的远程监控装置
CN103854434A (zh) * 2014-03-17 2014-06-11 南昌大学 采砂作业监测取证系统
CN108460382A (zh) * 2018-03-26 2018-08-28 西安电子科技大学 基于深度学习单步检测器的光学遥感图像舰船检测方法
CN109447048A (zh) * 2018-12-25 2019-03-08 苏州闪驰数控系统集成有限公司 一种人工智能预警系统
CN109886221A (zh) * 2019-02-26 2019-06-14 浙江水利水电学院 基于图像显著性检测的采砂船识别方法
CN110111519A (zh) * 2018-07-23 2019-08-09 李苏宁 基于视频图像识别技术的长江河道禁采执法工作系统
CN110363115A (zh) * 2019-06-28 2019-10-22 上海交通大学 基于ais轨迹数据的船舶作业异常半监督实时检测方法
CN110929182A (zh) * 2019-11-12 2020-03-27 江西省水利科学研究院 一种智能采砂监控装置及其监控方法
US20200226371A1 (en) * 2019-01-14 2020-07-16 Sourcewater, Inc. Image processing of aerial imagery for energy infrastructure analysis using joint image identification
US20200264268A1 (en) * 2019-02-20 2020-08-20 Vulcan Technologies Llc Real-time vessel navigation tracking
CN112016409A (zh) * 2020-08-11 2020-12-01 艾普工华科技（武汉）有限公司 一种基于深度学习的工步规范视觉识别判定方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203465585U (zh) * 2013-09-22 2014-03-05 重庆惠泽科技发展有限公司 用于河道采砂的远程监控装置
CN103854434A (zh) * 2014-03-17 2014-06-11 南昌大学 采砂作业监测取证系统
CN108460382A (zh) * 2018-03-26 2018-08-28 西安电子科技大学 基于深度学习单步检测器的光学遥感图像舰船检测方法
CN110111519A (zh) * 2018-07-23 2019-08-09 李苏宁 基于视频图像识别技术的长江河道禁采执法工作系统
CN109447048A (zh) * 2018-12-25 2019-03-08 苏州闪驰数控系统集成有限公司 一种人工智能预警系统
US20200226371A1 (en) * 2019-01-14 2020-07-16 Sourcewater, Inc. Image processing of aerial imagery for energy infrastructure analysis using joint image identification
US20200264268A1 (en) * 2019-02-20 2020-08-20 Vulcan Technologies Llc Real-time vessel navigation tracking
CN109886221A (zh) * 2019-02-26 2019-06-14 浙江水利水电学院 基于图像显著性检测的采砂船识别方法
CN110363115A (zh) * 2019-06-28 2019-10-22 上海交通大学 基于ais轨迹数据的船舶作业异常半监督实时检测方法
CN110929182A (zh) * 2019-11-12 2020-03-27 江西省水利科学研究院 一种智能采砂监控装置及其监控方法
CN112016409A (zh) * 2020-08-11 2020-12-01 艾普工华科技（武汉）有限公司 一种基于深度学习的工步规范视觉识别判定方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JING SHENGGUO,ET AL.: "Mechanism and feasibility of partial back-filling technique for water protection mining", 《2011 INTERNATIONAL SYMPOSIUM ON WATER RESOURCE AND ENVIRONMENTAL PROTECTION》 *
R. RAMYA,ET AL.: "Sand Mining Detection - Using IOT", 《2020 7TH INTERNATIONAL CONFERENCE ON SMART STRUCTURES AND SYSTEMS (ICSSS)》 *
汤文华等.: "基于深度学习的图像识别技术在非法采砂监管中的应用", 《中国农村水利水电》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114924477A (zh) * 2022-05-26 2022-08-19 西南大学 基于图像识别及pid智能控制的电拦鱼过船装置

Also Published As

Publication number Publication date
CN113542697B (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
CN109657592B (zh) 一种智能挖掘机的人脸识别方法
CN102289902B (zh) 一种架空输电线路监测预警系统及其工作方法
KR102095555B1 (ko) 필드양식장 불법행위감시가 가능한 무인비행체 및 인공지능 딥러닝을 이용한 불법행위 분석과 인식에 따른 감시 방법
CN108227606B (zh) 一种基于多源感知的船舶安防智能管理系统
CN107948465B (zh) 一种检测摄像头被干扰的方法和装置
CN110321853A (zh) 基于视频智能检测的分布式电缆防外破系统
CN115603466B (zh) 一种基于人工智能视觉识别的船舶岸电系统
CN110097787B (zh) 一种基于监控航标灯的船只碰撞预警监测系统及方法
CN111225189A (zh) 中小型航道桥梁监控装置
CN112394349B (zh) 海洋浮标智能安防监控方法、装置、系统及存储介质
CN104658152A (zh) 一种基于视频的运动物体入侵报警方法
CN113542697B (zh) 基于深度学习的采砂船自适应监控系统的自适应监控方法
CN109996037A (zh) 一种水域的安全监控方法、装置、设备及系统
CN109660760A (zh) 一种内河航道的船舶抓拍方法及系统
CN109935053A (zh) 突发性滑坡预警系统
Zhang et al. Transmission line abnormal target detection based on machine learning yolo v3
Wu et al. A new multi-sensor fusion approach for integrated ship motion perception in inland waterways
CN116740649B (zh) 一种基于深度学习的船员越界落水行为实时检测方法
CN112289004B (zh) 一种河流监测预警方法及系统
CN106482781A (zh) 一种海洋浮式平台原型测量系统
CN116597693A (zh) 一种内河航运监控系统及方法
CN103093579A (zh) 一种基于视频的泥石流或山体滑坡报警系统
CN116246204A (zh) 一种采砂行为的监控方法、装置、系统及存储介质
CN114235082B (zh) 一种基于采砂量监测系统的智能计量方法
CN115860144A (zh) 一种用于反窃电现场的机器学习系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant