CN112184628B - 一种红外双波图像及云端预警的巡堤防汛查险系统及方法 - Google Patents

一种红外双波图像及云端预警的巡堤防汛查险系统及方法 Download PDF

Info

Publication number
CN112184628B
CN112184628B CN202010925818.XA CN202010925818A CN112184628B CN 112184628 B CN112184628 B CN 112184628B CN 202010925818 A CN202010925818 A CN 202010925818A CN 112184628 B CN112184628 B CN 112184628B
Authority
CN
China
Prior art keywords
cloud
infrared
image
early warning
wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010925818.XA
Other languages
English (en)
Other versions
CN112184628A (zh
Inventor
赵长青
张春雷
狄效国
吴敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Elock Artificial Intelligence Technology Nanjing Co ltd
Original Assignee
Elock Artificial Intelligence Technology Nanjing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Elock Artificial Intelligence Technology Nanjing Co ltd filed Critical Elock Artificial Intelligence Technology Nanjing Co ltd
Priority to CN202010925818.XA priority Critical patent/CN112184628B/zh
Publication of CN112184628A publication Critical patent/CN112184628A/zh
Application granted granted Critical
Publication of CN112184628B publication Critical patent/CN112184628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/10—Alarms for ensuring the safety of persons responsive to calamitous events, e.g. tornados or earthquakes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A50/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Strategic Management (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Educational Administration (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Geology (AREA)
  • Emergency Management (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Alarm Systems (AREA)

Abstract

本申请公开了一种基于红外双波图像、智能便携地面站、云端决策预警系统和防汛指挥终端的堤防系统和方法，本申请通过在无人机上搭载可见光和红外相机可以快速高效的完成巡检任务，地面站通过自带的AI智能算法实现图像融合，通过图像分析及温度差异比对等技术，运算得出潜在的危险地点及危险等级系数，可以监测夜间光线不足，雨、雾等恶劣天气及难以察觉的环境温度变化；确保遇有险情能够快速反应、高效处置，为驻地人民群众生命财产安全筑起防护屏障；强大的云端AI分析能力及海量存储能力支持决策+预警功能，及早发现堤坝漏洞、渗水等，为及早应对赢得宝贵时间；支持多端同步，防汛指挥室和现场等多地通过分享方式，同步监测汛情，便捷。

Description

一种红外双波图像及云端预警的巡堤防汛查险系统及方法
技术领域
本申请涉及技术防汛通信测绘技术领域，具体而言，涉及一种红外双波图像及云端预警的巡堤防汛查险系统及方法。
背景技术
堤防是防御洪水的屏障，一旦发生较大洪水侵害，易发生各类险情，尤其是漏洞、管涌、渗水等系列险情，所以需要有现代新型巡堤查险手段能通过分析和处理做到有情况早发现、有险情快处置、有管涌快反应。目前传统的巡堤查险方式主要是大量人力巡检，这种巡堤查险具有很大的盲目性极易受人为因素影响，特别是夜晚巡堤更加困难，不仅不能及时发现险情致使险情扩大延误战机，还额外增加了大量的人力物力和财力。
发明内容
本申请的主要目的在于提供一种红外双波图像及云端预警的巡堤防汛查险系统及方法，以解决目前的问题。
为了实现上述目的，本申请提供了如下技术：
本发明第一方面在于提供一种红外双波图像及云端预警的巡堤防汛查险系统，包括：
巡堤双波信息采集模块：其用于利用无人机实时采集并发送堤防的红外和可见光双波图像信息；
智能便携地面站：其用于接收所述巡堤双波信息采集模块发送的红外和可见光双波图像信息并进行AI智能融合图像识别，以及实现堤防双波图像信息云端同步；
云端决策预警系统：其用于接收所述智能便携地面站云端同步的堤防双波图像信息，基于AI智能分析而获取堤防监测预警信息；
防汛指挥终端：其用于接收云端同步的红外和可见光双波图像信息以及所述云端决策预警系统获取的堤防监测预警信息，进行堤防远程综合监控预警。
优选地，所述智能便携地面站包括：
信息同步上传模块：其用于将接收的可见光和红外双波图像信息上传同步到云端。
优选地，所述智能便携地面站还包括：
AI智能融合图像识别系统：其用于实时智能融合红外和可见光双波图像并运算识别出可能存在管涌险情的危险地点及危险等级系数；
无人机云端控制系统：其用于提供无人机云端控制功能；
云台拍摄控制系统：其用于提供云台缩放旋转拍摄远程控制功能。
优选地，所述AI智能融合图像识别系统包括：
图像预处理模块：其用于将可见光及红外图像均经过NSST分解处理后得到高频子带和低频子带；
高频图像融合模块：其用于将高频子带利用FCN网络提取图像的深度特征而获特征映射图，利用最大加权融合策略进行融合，获取高频子带的权重图，其中，权重的计算公式为：
F(i，j)＝max(αF1+βF2)，
F1和F2分别代表可见光和红外图像的高频自带图像，α和β代表2个自带的权重值；
低频图像融合模块：其用于利用区域能量指导低频子带融合源图像能量，保留源图像的基本信息，其中，区域能量的计算公式为：
区域能量值是Ei，j，能量越大表示保留的信息越多，(i，j)的邻域系数为α×β。
优选地，所述AI智能融合图像识别系统还包括：
NSST逆变换模块：其用于将所述高频图像融合模块和所述低频图像融合模块分别融合处理后的图像进行分解融合，以此得到最终的双波融合图像。
优选地，所述云端决策预警系统包括：
监测资料收集系统：其用于根据堤防双波图像信息而定时将水位、雨量监测信息传递至云端水情管理数据库；
汛期预警演算系统：其用于根据堤防双波图像信息而将水情管理数据库中的水位、雨量信息进行汛期灾害仿真智能演算，并与预设阈值做对比分析，获取演算结果；.
汛期预警中心：其用于根据汛期预警演算系统的演算结果而将汛情灾害范围发至防汛指挥中心，发出堤防汛期信号。
本发明第二方面在于提供一种红外双波图像及云端预警的巡堤防汛查险方法，包括如下步骤：
S1、获取红外和可见光双波图像信息：利用无人机实时采集并发送堤防的红外和可见光双波图像信息；
S2、AI智能融合图像识别及云端同步：接收所述巡堤双波信息采集模块发送的可见光和红外双波图像信息并进行AI智能融合图像识别，实时智能融合可见光及红外图像并运算识别出可能存在管涌等险情的危险地点及危险等级系数；以及实现堤防双波图像信息云端同步；
S3、云端决策预警分析：接收所述智能便携地面站云端同步的堤防双波图像信息，基于AI智能分析而获取堤防监测预警信息；
S4、防汛指挥终端监控预警：接收云端同步的红外和可见光双波图像信息以及所述云端决策预警系统获取的堤防监测预警信息，进行堤防远程综合监控预警。
优选地，所述接收所述巡堤双波信息采集模块发送的可见光和红外双波图像信息并进行AI智能融合图像识别，具体包括：
图像预处理：将可见光及红外图像均经过NSST分解处理后得到高频子带和低频子带；
高频图像融合：将高频子带利用FCN网络提取图像的深度特征而获特征映射图，利用最大加权融合策略进行融合，获取高频子带的权重图，其中，权重的计算公式为：
F(i，j)＝max(αF1+βF2)，
F1和F2分别代表可见光和红外图像的高频自带图像，α和β代表2个自带的权重值；
低频图像融合：利用区域能量指导低频子带融合源图像能量，保留源图像的基本信息，其中，区域能量的计算公式为：
区域能量值是Ei，j，能量越大表示保留的信息越多，(i，j)的邻域系数为α×β。
优选地，所述接收所述巡堤双波信息采集模块发送的可见光和红外双波图像信息并进行AI智能融合图像识别，还包括：
NSST逆变换：将所述高频图像融合模块和所述低频图像融合模块分别融合处理后的图像进行分解融合，以此得到最终的双波融合图像。
优选地，所述接收所述智能便携地面站云端同步的堤防双波图像信息，基于AI智能分析而获取堤防监测预警信息，包括：
监测资料收集：其用于根据堤防双波图像信息而定时将水位、雨量监测信息传递至云端水情管理数据库；
汛期预警演算：其用于根据堤防双波图像信息而将水情管理数据库中的水位、雨量等信息进行汛期灾害仿真智能演算，并与预设阈值做对比分析，获取演算结果；.
汛期预警中心预警：其用于根据汛期预警演算系统的演算结果而将汛情灾害范围发至防汛指挥中心，发出堤防汛期信号。
与现有技术相比较，本申请能够带来如下技术效果：
1、相较于传统人力巡堤，本申请通过在无人机上搭载可见光和红外相机可以快速高效的完成巡检任务，地面站通过自带的AI智能算法实现图像融合，通过图像分析及温度差异比对等技术，运算得出潜在的危险地点及危险等级系数，可以监测夜间光线不足，雨、雾等恶劣天气，及其他人员难以察觉的环境温度变化；确保遇有险情能够快速反应、高效处置，为驻地人民群众生命财产安全筑起防护屏障；
2、强大的云端AI分析能力及海量存储能力支持决策+预警功能，及早发现堤坝的漏洞、渗水、管涌等，为及早应对赢得宝贵时间；
3、支持多端同步，防汛指挥室和现场等多地通过分享方式，同步监测汛情，为指挥带来一定的便捷性。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本发明无人机智能巡堤查险系统的实施结构示意图；
图2是本发明AI智能融合图像识别系统的组成结构示意图；
图3是本发明AI智能融合图像识别系统的具体工作流程示意图；
图4是本发明无人机智能巡堤查险方法的实施流程图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
另外，术语“多个”的含义应为两个以及两个以上。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
实施例1
本发明通过轻小型无人机组网飞行搭载可见光和红外双波视频相机等不同传感器，全天候对堤坝实行不间断视频影像采集，尤其是通过红外热成像功能，可以监测夜间光线不足，雨、雾等恶劣天气，及其他人员难以察觉的环境温度变化。这些数据会实时同步回传到地面站及云端，地面站通过自带的AI智能算法实现图像融合，通过融合图像分析及温度差异比对等技术，运算得出潜在的危险地点及危险等级系数，帮助及时发现潜在的漏洞、渗水、管涌等险情。同时，强大的云端分析能力支持决策和预警功能，通过监控资料收集、预警演算及预警发布三大功能，可以实现对汛期灾情的整体防范。
在本技术中，可见光成像具有光谱信息丰富，分辨率高、动态范围大等优点，但缺陷是抗干扰能力弱，在外界光线弱或者天气状况较差的情况下，通过可见光成像往往难以捕捉到重要的图像关注信息。红外成像具有被动工作、抗干扰能力强、目标识别能力强、全天候工作等特点，但红外缺点是图像分辨率较低，若直接进行缺陷及故障检测容易产生较大误差，需要通过增强图像对比度等技术手段对红外图像进行增强现实。因此，可见光与红外融合后能有效地综合和发掘他们的特征信息，增强场景理解。
为了实现上述目的，本申请提供了如下技术：
如附图1所示，
本发明第一方面在于提供一种红外双波图像及云端预警的巡堤防汛查险系统，包括：
巡堤双波信息采集模块：其用于利用无人机实时采集并发送堤防的红外和可见光双波图像信息；
本处，利用无人机实时将可见光与红外图像回传，在空中全方位多角度重点监测、拍摄堤坝及周边水面的水温与水流情况，便携式地面站实时进行智能融合可见光及红外图像并运算识别出可能存在管涌等险情的危险地点及危险等级系数。结合云端决策和预警系统，整体对汛期防灾做有利支持。
智能便携地面站：其用于接收所述巡堤双波信息采集模块发送的可见光和红外双波图像信息并进行AI智能融合图像识别，以及实现堤防双波图像信息云端同步；
便携式地面站实时智能融合图像并运算识别出可能存在管涌等险情的危险地点及危险等级系数。另外，地面操控站提供手自动切换操作便于灵活设置飞行线路，提供云台的缩放和旋转及拍照等功能便于多角度的监控堤坝汛情。
便携式地面站实时进行智能融合可见光及红外图像并运算识别出可能存在管涌等险情的危险地点及危险等级系数。结合云端决策+预警系统，整体对汛期防灾做有利支持。
云端决策预警系统：其用于接收所述智能便携地面站云端同步的堤防双波图像信息，基于AI智能分析而获取堤防监测预警信息；
云端决策预警系统预先设定云端服务器，设有云端资料数据处理平台，通过海量监测资料收集、汛期预警演算及汛期预警中心共同作用，对智能便携地面站云端同步的堤防双波图像信息，基于AI智能分析而获取堤防监测预警信息。
结合便携式地面站智能融合可见光及红外图像并运算识别出可能存在管涌等险情的危险地点及危险等级系数，综合提供云端分析服务。
防汛指挥终端：其用于接收云端同步的红外和可见光双波图像信息以及所述云端决策预警系统获取的堤防监测预警信息，进行堤防远程综合监控预警。
防汛指挥终端建立自各个防汛指挥室或者其他地方的终端上。基于无线或者有线进行数据传输，用于接收云端同步的红外和可见光双波图像信息以及所述云端决策预警系统获取的堤防监测预警信息，进行堤防远程综合监控预警。
优选地，所述智能便携地面站包括：
信息同步上传模块：其用于将接收的可见光和红外双波图像信息上传同步到云端。
便携式地面操控站上带有“一键分享”功能，可以将当前视频监控画面实时同步到云端并允许多端同步查看原始画面，防汛指挥室可以将画面同步投放到大屏幕便于指挥汛情。
优选地，所述智能便携地面站还包括：
AI智能融合图像识别系统：其用于实时智能融合可见光及红外图像并运算识别出可能存在管涌等险情的危险地点及危险等级系数；
无人机云端控制系统：其用于提供无人机云端控制功能；
云台拍摄控制系统：其用于提供云台缩放旋转拍摄远程控制功能。
智能便携地面站可以远程操控无人机和云台的空中动作，技术成熟，无人机云端控制系统设置在智能便携地面站上，地面操控站提供手自动切换操作便于灵活设置飞行线路，提供云台的缩放和旋转及拍照等功能便于多角度的监控堤坝汛情。
如附图2所示，为AI智能融合图像识别系统的组成结构示意图；
优选地，所述AI智能融合图像识别系统包括：
1、图像预处理模块：其用于将可见光及红外图像均经过NSST分解处理后得到高频子带和低频子带；
图像预处理步骤中，将红外图像和可见光图像均经过NSST分解处理后得到高频子带和低频子带，使不同尺度空间上重叠的特征充分分离。红外与可见光图像融合需要先进行图像的预处理，图像预处理主要是指剔除一些极其不准确的图像，包括采集过程中生成的噪音、失真、畸变等情况进行优化，并对图像进行对比度增强处理。然后进行图像配准及图像的融合。
2、高频图像融合模块：其用于将高频子带利用FCN网络提取图像的深度特征而获特征映射图，利用最大加权融合策略进行融合，获取高频子带的权重图，其中，权重的计算公式为：
F(i，j)＝max(αF1+βF2)，
F1和F2分别代表可见光和红外图像的高频自带图像，α和β代表2个自带的权重值；
高频图像融合中，高频图像含有的信息直接影响融合图像的分辨率和清晰度，因为高频子带中主要含有图像的纹理细节和边缘特征。因此将红外图像及可见光中高频子带信息输入到训练好的FCN网络提取图像的深度特征，生成特征映射图，然后利用最大加权平均融合策略获取图像高频子带的权重图。
3、低频图像融合模块：其用于利用区域能量指导低频子带融合源图像能量，保留源图像的基本信息，其中，区域能量的计算公式为：
区域能量值是Ei，j，能量越大表示保留的信息越多，(i，j)的邻域系数为α×β。
低频图像融合中，图像中的大部分能量信息被包含于低频子带，低频子带保留了图像的大部分特征。区域能量融合能够结合相邻区域的区域中心元素的能量大小进行评估，然后选择能量较大的元素。利用区域能量指导低频子带融合能使低频子带包含源图像的绝大部分能量，以便保留源图像的基本信息。
4、如附图3所示，为AI智能融合图像识别系统的具体工作流程示意图。
智能便携地面站自带的AI智能融合图像识别系的技术方案主要包括如下步骤：
将红外图像和可见光图像均经过NSST分解处理后得到高频子带和低频子带，使不同尺度空间上重叠的特征充分分离。
将高频子带利用FCN网络提取细节部分的多层特征获取权重映射图，利用最大加权融合策略进行融合。
将低频子带选择区域能量融合策略进行融合。
通过使用NSST逆变换得到最后的红外和可见光的融合图像。
优选地，所述AI智能融合图像识别系统还包括：
NSST逆变换模块：其用于将所述高频图像融合模块和所述低频图像融合模块分别融合处理后的图像进行分解融合，以此得到最终的双波融合图像。
NSST分解包括多尺度分解和多方向分解，可以保持良好的方向性和平移不变性，能够更好地保留图像的细节信息。FCN特征提取模块的构建是基于改进的卷积神经网络算法，其主要包括池化层、卷积层、反卷积层和Relu层。在图像特征提取部分包含7个卷积层、3个池化层，卷积层设置为3*3，池化层大小为2*2，反卷积核数为2。
优选地，所述云端决策预警系统包括：
监测资料收集系统：其用于根据堤防双波图像信息而定时将水位、雨量监测信息传递至云端水情管理数据库；
汛期预警演算系统：其用于根据堤防双波图像信息而将水情管理数据库中的水位、雨量等信息进行汛期灾害仿真智能演算，并与预设阈值做对比分析，获取演算结果；.
汛期预警中心：其用于根据汛期预警演算系统的演算结果而将汛情灾害范围发至防汛指挥中心，发出堤防汛期信号。
监测资料收集、汛期预警演算及汛期预警中心，是基于云端打造的在线资料分析预警平台，具有强大的AI智能分析处理能力和海量存储能力，其中，监测资料收集是指各水位监测站架设的无线传感器定时将水位、雨量监测信息传递至云端水情管理数据库。汛期预警演算是指云端服务器及时将水情管理数据库中的水位、雨量等信息进行汛期灾害仿真智能演算，并与之前设置好的阈值做对比分析。汛期预警中心是指如果演算结果超过了预警阈值，系统会主动将汛情灾害范围发至防汛指挥中心等多端同步，做到及早发现及早处理。
本发明第二方面在于提供一种红外双波图像及云端预警的巡堤防汛查险方法，如图4所示，包括如下步骤：
S1、获取红外和可见光双波图像信息：利用无人机实时采集并发送堤防的红外和可见光双波图像信息；
S2、AI智能融合图像识别及云端同步：接收所述巡堤双波信息采集模块发送的可见光和红外双波图像信息并进行AI智能融合图像识别，实时智能融合可见光及红外图像并运算识别出可能存在管涌等险情的危险地点及危险等级系数；以及实现堤防双波图像信息云端同步；
S3、云端决策预警分析：接收所述智能便携地面站云端同步的堤防双波图像信息，基于AI智能分析而获取堤防监测预警信息；
S4、防汛指挥终端监控预警：接收云端同步的红外和可见光双波图像信息以及所述云端决策预警系统获取的堤防监测预警信息，进行堤防远程综合监控预警。
如附图4所示，本方法利用无人机实时将可见光与红外图像回传，获取红外和可见光双波图像信息，在空中全方位多角度重点监测、拍摄堤坝及周边水面的水温与水流情况，便携式地面站实时进行智能融合可见光及红外图像并运算识别出可能存在管涌等险情的危险地点及危险等级系数，进行AI智能融合图像识别及云端同步。结合云端决策和预警系统，整体对汛期防灾做有利支持。
利用便携式地面站实时智能融合图像并运算识别出可能存在管涌等险情的危险地点及危险等级系数。另外，地面操控站提供手自动切换操作便于灵活设置飞行线路，提供云台的缩放和旋转及拍照等功能便于多角度的监控堤坝汛情。
便携式地面站实时进行智能融合可见光及红外图像并运算识别出可能存在管涌等险情的危险地点及危险等级系数。结合云端决策+预警系统，整体对汛期防灾做有利支持。
云端决策预警系统预先设定云端服务器，设有云端资料数据处理平台，通过海量监测资料收集、汛期预警演算及汛期预警中心共同作用，对智能便携地面站云端同步的堤防双波图像信息，基于AI智能分析而获取堤防监测预警信息。结合便携式地面站智能融合可见光及红外图像并运算识别出可能存在管涌等险情的危险地点及危险等级系数，综合提供云端分析服务。
防汛指挥终端建立自各个防汛指挥室或者其他地方的终端上。基于无线或者有线进行数据传输，用于接收云端同步的红外和可见光双波图像信息以及所述云端决策预警系统获取的堤防监测预警信息，进行堤防远程综合监控预警。
优选地，所述接收所述巡堤双波信息采集模块发送的可见光和红外双波图像信息并进行AI智能融合图像识别，具体包括：
图像预处理：将可见光及红外图像均经过NSST分解处理后得到高频子带和低频子带；
高频图像融合：将高频子带利用FCN网络提取图像的深度特征而获特征映射图，利用最大加权融合策略进行融合，获取高频子带的权重图，其中，权重的计算公式为：
F(i，j)＝max(αF1+βF2)，
F1和F2分别代表可见光和红外图像的高频自带图像，α和β代表2个自带的权重值；
i，j分别代表可见光和红外图像。
高频图像含有的信息直接影响融合图像的分辨率和清晰度，因为高频子带中主要含有图像的纹理细节和边缘特征。因此将红外图像及可见光中高频子带信息输入到训练好的FCN网络提取图像的深度特征，生成特征映射图，然后利用最大加权平均融合策略获取图像高频子带的权重图。
低频图像融合：利用区域能量指导低频子带融合源图像能量，保留源图像的基本信息，其中，区域能量的计算公式为：
区域能量值是Ei，j，能量越大表示保留的信息越多，(i，j)的邻域系数为α×β。
图像中的大部分能量信息被包含于低频子带，低频子带保留了图像的大部分特征。区域能量融合能够结合相邻区域的区域中心元素的能量大小进行评估，然后选择能量较大的元素。利用区域能量指导低频子带融合能使低频子带包含源图像的绝大部分能量，以便保留源图像的基本信息。
优选地，所述接收所述巡堤双波信息采集模块发送的可见光和红外双波图像信息并进行AI智能融合图像识别，还包括：
NSST逆变换：将所述高频图像融合模块和所述低频图像融合模块分别融合处理后的图像进行分解融合，以此得到最终的双波融合图像。
优选地，所述接收所述智能便携地面站云端同步的堤防双波图像信息，基于AI智能分析而获取堤防监测预警信息，包括：
监测资料收集：其用于根据堤防双波图像信息而定时将水位、雨量监测信息传递至云端水情管理数据库；
汛期预警演算：其用于根据堤防双波图像信息而将水情管理数据库中的水位、雨量等信息进行汛期灾害仿真智能演算，并与预设阈值做对比分析，获取演算结果；.
汛期预警中心预警：其用于根据汛期预警演算系统的演算结果而将汛情灾害范围发至防汛指挥中心，发出堤防汛期信号。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种红外双波图像及云端预警的巡堤防汛查险系统，其特征在于，包括：
巡堤双波信息采集模块：其用于利用无人机实时采集并发送堤防的红外和可见光双波图像信息；
智能便携地面站：其用于接收所述巡堤双波信息采集模块发送的可见光和红外双波图像信息并进行AI智能融合图像识别，以及实现堤防双波图像信息云端同步；
AI智能融合图像识别系统包括：
图像预处理模块：其用于将红外和可见光双波图像均经过NSST分解处理后得到高频子带和低频子带；
高频图像融合模块：其用于将高频子带利用FCN网络提取图像的深度特征而获特征映射图，利用最大加权融合策略进行融合，获取高频子带的权重图，其中，权重的计算公式为：
F(i，j)＝max(αF1+βF2)，
F1和F2分别代表可见光和红外图像的高频自带图像，α和β代表2个自带的权重值；i，j分别代表可见光和红外图像；F(i，j)为可见光和红外图像的权重；
低频图像融合模块：其用于利用区域能量指导低频子带融合源图像能量，保留源图像的基本信息，其中，区域能量的计算公式为：
区域能量值是Ei，j，能量越大表示保留的信息越多，(i，j)的邻域系数为α×β，M(i+i′，j+j′)为图像中从坐标(i,j)到坐标(i+i`,j+j`)的区域内的每个点的能量值；
云端决策预警系统：其用于接收智能便携地面站云端同步的堤防双波图像信息，基于AI智能分析而获取堤防监测预警信息；
防汛指挥终端：其用于接收云端同步的红外和可见光双波图像信息以及所述云端决策预警系统获取的堤防监测预警信息，进行堤防远程综合监控预警。
2.如权利要求1所述的一种红外双波图像及云端预警的巡堤防汛查险系统，其特征在于，所述智能便携地面站包括：
信息同步上传模块：其用于将接收的可见光和红外双波图像信息上传同步到云端。
3.如权利要求1或2所述的一种红外双波图像及云端预警的巡堤防汛查险系统，其特征在于，所述智能便携地面站还包括：
AI智能融合图像识别系统：其用于实时智能融合红外和可见光双波图像并运算识别出可能存在管涌险情的危险地点及危险等级系数；
无人机云端控制系统：其用于提供无人机云端控制功能；
云台拍摄控制系统：其用于提供云台缩放旋转拍摄远程控制功能。
4.如权利要求3所述的一种红外双波图像及云端预警的巡堤防汛查险系统，其特征在于，所述AI智能融合图像识别系统还包括：
NSST逆变换模块：其用于将所述高频图像融合模块和所述低频图像融合模块分别融合处理后的图像进行分解融合，得到最终的双波融合图像。
5.如权利要求1或4所述的一种红外双波图像及云端预警的巡堤防汛查险系统，其特征在于，所述云端决策预警系统包括：
监测资料收集系统：其用于根据堤防双波图像信息定时将水位、雨量监测信息传递至云端水情管理数据库；
汛期预警演算系统：其用于根据堤防双波图像信息将水情管理数据库中的水位、雨量信息进行汛期灾害仿真智能演算，并与预设阈值做对比分析，获取演算结果；
汛期预警中心：其用于根据汛期预警演算系统的演算结果将汛情灾害范围发至防汛指挥中心，发出堤防汛期信号。
6.一种红外双波图像及云端预警的巡堤防汛查险方法，其特征在于，包括如下步骤：
S1、获取红外和可见光双波图像信息：利用无人机实时采集并发送堤防的红外和可见光双波图像信息；
S2、AI智能融合图像识别及云端同步：接收巡堤双波信息采集模块发送的可见光和红外双波图像信息并进行AI智能融合图像识别，实时智能融合可见光及红外图像并运算识别出可能存在管涌险情的危险地点及危险等级系数；以及实现堤防双波图像信息云端同步；
所述接收所述巡堤双波信息采集模块发送的可见光和红外双波图像信息并进行AI智能融合图像识别，具体包括：
图像预处理：将可见光及红外图像均经过NSST分解处理后得到高频子带和低频子带；
高频图像融合：将高频子带利用FCN网络提取图像的深度特征而获特征映射图，利用最大加权融合策略进行融合，获取高频子带的权重图，其中，权重的计算公式为：
F(i，j)＝max(αF1+βF2)，
F1和F2分别代表可见光和红外图像的高频自带图像，α和β代表2个自带的权重值；i，j分别代表可见光和红外图像；F(i，j)为可见光和红外图像的权重；
低频图像融合：利用区域能量指导低频子带融合源图像能量，保留源图像的基本信息，其中，区域能量的计算公式为：
区域能量值是Ei，j，能量越大表示保留的信息越多，(i，j)的邻域系数为α×β，M(i+i′，j+j′)为图像中从坐标(i,j)到坐标(i+i`,j+j`)的区域内的每个点的能量值；
S3、云端决策预警分析：接收智能便携地面站云端同步的堤防双波图像信息，基于AI智能分析而获取堤防监测预警信息；
S4、防汛指挥终端监控预警：接收云端同步的红外和可见光双波图像信息以及云端决策预警系统获取的堤防监测预警信息，进行堤防远程综合监控预警。
7.如权利要求6所述的一种红外双波图像及云端预警的巡堤防汛查险方法，其特征在于，所述接收所述巡堤双波信息采集模块发送的可见光和红外双波图像信息并进行AI智能融合图像识别，还包括：
NSST逆变换：将高频图像融合模块和低频图像融合模块分别融合处理后的图像进行分解融合，以此得到最终的双波融合图像。
8.如权利要求7所述的一种红外双波图像及云端预警的巡堤防汛查险方法，其特征在于，所述接收所述智能便携地面站云端同步的堤防双波图像信息，基于AI智能分析而获取堤防监测预警信息，包括：
监测资料收集：其用于根据堤防双波图像信息而定时将水位、雨量监测信息传递至云端水情管理数据库；
汛期预警演算：其用于根据堤防双波图像信息而将水情管理数据库中的水位、雨量信息进行汛期灾害仿真智能演算，并与预设阈值做对比分析，获取演算结果；
汛期预警中心预警：其用于根据汛期预警演算系统的演算结果而将汛情灾害范围发至防汛指挥中心，发出堤防汛期信号。
CN202010925818.XA 2020-09-04 2020-09-04 一种红外双波图像及云端预警的巡堤防汛查险系统及方法 Active CN112184628B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010925818.XA CN112184628B (zh) 2020-09-04 2020-09-04 一种红外双波图像及云端预警的巡堤防汛查险系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010925818.XA CN112184628B (zh) 2020-09-04 2020-09-04 一种红外双波图像及云端预警的巡堤防汛查险系统及方法

Publications (2)

Publication Number Publication Date
CN112184628A CN112184628A (zh) 2021-01-05
CN112184628B true CN112184628B (zh) 2024-04-02

Family

ID=73925854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010925818.XA Active CN112184628B (zh) 2020-09-04 2020-09-04 一种红外双波图像及云端预警的巡堤防汛查险系统及方法

Country Status (1)

Country Link
CN (1) CN112184628B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408396B (zh) * 2021-06-15 2022-03-18 广西交科集团有限公司 一种基于云计算的桥梁智能感知系统
CN114264420B (zh) * 2021-12-14 2023-04-25 黄河勘测规划设计研究院有限公司 基于主动场源的堤防安全监测方法
CN115127754B (zh) * 2022-05-13 2024-10-18 河海大学 土石堤坝安全状况空中巡测装置及方法
CN114627124B (zh) * 2022-05-16 2022-07-26 江西武大扬帆科技有限公司 一种基于深度学习的泡泉检测方法及交互反馈系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105717932A (zh) * 2016-02-03 2016-06-29 安徽钰龙信息科技有限公司 一种无人机车载监控及指挥系统
CN107748530A (zh) * 2017-11-15 2018-03-02 王清平 一种防汛指挥系统
CN108416963A (zh) * 2018-05-04 2018-08-17 湖北民族学院 基于深度学习的森林火灾预警方法及系统
KR20180129500A (ko) * 2017-05-26 2018-12-05 이화여자대학교 산학협력단 위성 영상을 이용한 재해 및 재난 경보 방법 및 그 방법을 수행하는 재해 및 재난 경보 서버
CN110274160A (zh) * 2019-06-13 2019-09-24 咏峰（大连）科技有限公司 一种基于红外可见光融合图像的管道巡检系统
CN111008946A (zh) * 2019-11-07 2020-04-14 武汉多谱多勒科技有限公司 消防现场使用的红外与可见光图像智能融合装置与方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7786877B2 (en) * 2008-06-20 2010-08-31 Billy Hou Multi-wavelength video image fire detecting system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105717932A (zh) * 2016-02-03 2016-06-29 安徽钰龙信息科技有限公司 一种无人机车载监控及指挥系统
KR20180129500A (ko) * 2017-05-26 2018-12-05 이화여자대학교 산학협력단 위성 영상을 이용한 재해 및 재난 경보 방법 및 그 방법을 수행하는 재해 및 재난 경보 서버
CN107748530A (zh) * 2017-11-15 2018-03-02 王清平 一种防汛指挥系统
CN108416963A (zh) * 2018-05-04 2018-08-17 湖北民族学院 基于深度学习的森林火灾预警方法及系统
CN110274160A (zh) * 2019-06-13 2019-09-24 咏峰（大连）科技有限公司 一种基于红外可见光融合图像的管道巡检系统
CN111008946A (zh) * 2019-11-07 2020-04-14 武汉多谱多勒科技有限公司 消防现场使用的红外与可见光图像智能融合装置与方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
基于可见光、热红外及激光雷达传感的无人机图像融合方法;汪勇;张英;廖如超;郭启迪;袁新星;康泰钟;;激光杂志(第02期);全文 *
基于无人机的三维消防辅助救援系统构建;闫肃;张国维;朱国庆;潘荣亮;;消防科学与技术(第05期);全文 *
基于红外探测技术的嵌入式智能监测平台研究;关永;吴敏华;张杰;赵冬生;张聪霞;;电子器件(第03期);全文 *
无人机巡检图像采集融合系统研究;张传江;刘险峰;陈帮干;李坚;曹金芳;;科技风(第08期);全文 *

Also Published As

Publication number Publication date
CN112184628A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN112184628B (zh) 一种红外双波图像及云端预警的巡堤防汛查险系统及方法
CN112381784B (zh) 一种基于多光谱图像的设备检测系统
WO2021088300A1 (zh) 一种基于非对称双流网络的rgb-d多模态融合人员检测方法
CN108109385B (zh) 一种输电线防外破的车辆识别与危险行为判别系统与方法
CN106356757B (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
CN101673448B (zh) 一种森林火灾探测方法及系统
WO2020221284A1 (zh) 一种流域性洪涝场景的无人机监测方法及系统
CN106682592B (zh) 一种基于神经网络方法的图像自动识别系统及方法
US9465987B1 (en) Monitoring and detecting weather conditions based on images acquired from image sensor aboard mobile platforms
CN201629019U (zh) 一种森林火灾探测系统
CN109241902B (zh) 一种基于多尺度特征融合的山体滑坡检测方法
CN201936415U (zh) 森林火情自动识别报警系统
CN112216052A (zh) 森林防火监测预警方法和装置及设备、存储介质
CN112053391B (zh) 一种基于动态三维模型的监控预警方法、系统及存储介质
CN114399734A (zh) 一种基于视觉信息的森林火灾预警方法
CN106462737A (zh) 用于浑浊性检测的系统和方法
CN111899452A (zh) 基于边缘计算的森林防火预警系统
CN113947555A (zh) 基于深度神经网络的红外与可见光融合的视觉系统及方法
US12106376B2 (en) Method and apparatus for processing an insurance claim
CN112862150A (zh) 一种基于图像与视频多模型的森林火情预警方法
CN118555462B (zh) 一种仿生鹰眼监测设备
CN106846304A (zh) 基于红外检测的电气设备检测方法及装置
Tragulnuch et al. High voltage transmission tower detection and tracking in aerial video sequence using object-based image classification
CN114037910A (zh) 一种无人机森林火灾检测系统
CN109871788A (zh) 一种输电走廊自然灾害影像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant