CN116721136B - 管涌险情识别方法、电子设备及存储介质 - Google Patents

管涌险情识别方法、电子设备及存储介质 Download PDF

Info

Publication number
CN116721136B
CN116721136B CN202310821985.3A CN202310821985A CN116721136B CN 116721136 B CN116721136 B CN 116721136B CN 202310821985 A CN202310821985 A CN 202310821985A CN 116721136 B CN116721136 B CN 116721136B
Authority
CN
China
Prior art keywords
piping
region
suspected
pixel
thermal infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310821985.3A
Other languages
English (en)
Other versions
CN116721136A (zh
Inventor
杨思全
王中根
李任之
孙洪泉
高绿洲
刘勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Natural Hazards
Original Assignee
National Institute of Natural Hazards
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Natural Hazards filed Critical National Institute of Natural Hazards
Priority to CN202310821985.3A priority Critical patent/CN116721136B/zh
Publication of CN116721136A publication Critical patent/CN116721136A/zh
Application granted granted Critical
Publication of CN116721136B publication Critical patent/CN116721136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Radiation Pyrometers (AREA)
  • Image Processing (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)

Abstract

本申请的实施例提供了一种管涌险情识别方法、电子设备及存储介质，该方法包括：获取目标地区的热红外图像和可见光图像；分别对热红外图像和可见光图像进行分析，以分别确定热红外图像中的第一疑似管涌区和可见光图像中的第二疑似管涌区；对热红外图像和可见光图像进行配准，以得到配准结果；基于配准结果，对第一疑似管涌区和第二疑似管涌区进行叠加分析，以得到热红外图像中的第三疑似管涌区；以及基于热红外图像，在第三疑似管涌区中确定从中心到边缘温度渐高的区域，并根据该区域确定目标地区的真实管涌区。这种基于多模图像的管涌识别方案可实施性较好、识别精度高。此外，该方案的计算量也相对较小，因此识别效率也较高，实时性较好。

Description

管涌险情识别方法、电子设备及存储介质
技术领域
本申请涉及防汛抢险技术领域，更具体地涉及一种管涌险情识别方法、一种电子设备及一种存储介质。
背景技术
传统方案中多依靠人力去巡堤查险，不仅成本高、效率低，而且随着人口老龄化和外出务工人员的增多，此种方法变得难以为继。因此急需发展新的技术手段，替代人力巡堤查险。
近年来，研究者们提出基于诸如直升机、无人机、机器狗、有人车、无人车等多种新设备平台替代人力进行巡堤查险的新方法。利用无人机等设备平台获取堤坝的现场数据。然后利用管涌险情智能识别方法对这些现场图像数据进行分析，以识别出管涌的位置。然而，现有技术中的管涌识别方法多采用复杂的模型对获取的图像数据进行目标识别分析，以确定管涌区的位置。这类模型依赖于大量的样本数据对其进行疑似管涌点判别训练，才能保证识别的精度，否则这种方案识别的精度极差。然而，样本数据的获取需要耗费大量的时间，因此这种方案的可实施性较差。
发明内容
考虑到上述问题而提出了本申请。根据本申请的一个方面，提供了一种管涌险情识别方法，包括：
获取目标地区的热红外图像和可见光图像；
分别对热红外图像和可见光图像进行分析，以分别确定热红外图像中的第一疑似管涌区和可见光图像中的第二疑似管涌区；
对热红外图像和可见光图像进行配准，以得到配准结果；
基于配准结果，对第一疑似管涌区和第二疑似管涌区进行叠加分析，以得到热红外图像中的第三疑似管涌区；以及
基于热红外图像，在第三疑似管涌区中确定从中心到边缘温度渐高的区域，并根据从中心到边缘温度渐高的区域确定目标地区的真实管涌区。
示例性地，在第三疑似管涌区中确定从中心到边缘温度渐高的区域，包括：
对于热红外图像中的每个第三疑似管涌区，
基于该第三疑似管涌区中每个像素的像素值，确定每个像素对应的温度，并确定该第三疑似管涌区的中心像素，其中中心像素对应的温度不高于该第三疑似管涌区中的其他像素对应的温度；
在该第三疑似管涌区中，确定多个第一子区域并确定每个第一子区域对应的平均温度，其中，多个第一子区域包括：包括或者包围中心像素的中心子区域和包围中心子区域的至少一个环形子区域，且多个第一子区域之间不存在重叠区域；
对于多个第一子区域中任意两个相邻的第一子区域，若位于外侧的第一子区域对应的平均温度高于位于内侧的第一子区域所对应的平均温度，则将该多个第一子区域确定为从中心到边缘温度渐高的区域。
示例性地，确定多个第一子区域包括：
以中心像素为中心，确定中心子区域，其中，中心子区域是正方形，且中心子区域的边缘线与中心像素的距离均等于预设距离；
确定环形子区域，其中，每个环形子区域的内边缘线和外边缘线均是正方形，每个环形子区域的内边缘线与外边缘线的距离均等于预设距离，并且多个第一子区域中任意两个相邻的第一子区域中，位于外侧的第一子区域的内边缘线与位于内侧的第一子区域的外边缘线重合。
示例性地，分别对热红外图像和可见光图像进行分析，以分别确定热红外图像中的第一疑似管涌区和可见光图像中的第二疑似管涌区，包括：
基于热红外图像中的每个像素的像素值，确定第一疑似管涌区，其中，对于每一个第一疑似管涌区，该第一疑似管涌区的像素对应的温度低于该第一疑似管涌区之外的相邻像素对应的温度；和/或
对可见光图像进行地物类型划分，并根据划分结果确定第二疑似管涌区。
示例性地，基于热红外图像中的每个像素的像素值，确定第一疑似管涌区，包括：
将热红外图像划分为多个第二子区域；
对于每个第二子区域，
基于该第二子区域中每个像素的像素值，确定该第二子区域对应的参考温度，其中，该第二子区域中的第一像素的数目大于或等于该第二子区域中的像素的总数的一半，第一像素对应的温度高于参考温度；
基于该第二子区域中每个像素对应的温度和参考温度，确定该第二子区域中的疑似管涌子区域，其中疑似管涌子区域中的像素对应的温度低于参考温度与预设温度之和；以及
基于疑似管涌子区域，确定第一疑似管涌区。
示例性地，基于热红外图像中的每个像素的像素值，确定第一疑似管涌区，包括：
对于热红外图像中的任意两个相邻像素，基于该两个相邻像素的像素值的差值，确定该两个相邻像素对应的温度差；以及
在热红外图像中剔除热红外图像中的、温度差大于或等于差值阈值的相邻像素，以获得参考像素；
基于参考像素确定第一疑似管涌区。
示例性地，对可见光图像进行地物类型划分，并根据划分结果确定第二疑似管涌区，包括：
采用随机森林的方法确定可见光图像中的多种地物类型区域，其中，多种地物类型区域包括可能存在管涌区的第一类型区域和不可能存在管涌区的第二类型区域；以及
基于可见光图像中的第一类型区域，确定第二疑似管涌区。
示例性地，基于配准结果，对第一疑似管涌区和第二疑似管涌区进行叠加分析，以得到热红外图像中的第三疑似管涌区，包括：
对于热红外图像的第一疑似管涌区中的每个像素，基于配准结果，判断该像素在可见光图像中的位置对应像素是否属于第二疑似管涌区，并且将该像素在可见光图像中的位置对应像素属于第二疑似管涌区的确定为管涌疑似像素；以及
将所确定的管涌疑似像素组成的区域确定为第三疑似管涌区。
根据本申请的另一方面，还提供一种电子设备，包括处理器和存储器，其中，存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行上述管涌险情识别方法。
根据本申请的另一方面，还提供一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行上述管涌险情识别方法。
上述方案中，首先通过分别对获取的目标地区的热红外图像和可见光图像进行分析，初步确定每个图像中的疑似管涌区的位置。进而，基于将这两种图像配准的配准结果，将两图像中的疑似管涌区进行叠加分析，进一步较精准地定位出热红外图像中的第三疑似管涌区。最后，将第三疑似管涌区中的从中心到边缘温度渐高的区域，确定为目标地区的真实管涌区。这种基于多模图像的管涌识别方案无需大量样本的训练，且可以适用于高分辨率图像的识别，因此可实施性较好。并且，该方案中通过对管涌区的多级判定，使得终识别出的管涌区的精度也显著提高。此外，该方案的计算量也相对较小，因此识别效率也较高，实时性较好。鉴于此，这种管涌识别方案可以有效用于险情预测，从而具有重要的社会意义。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1示出了根据本申请一个实施例的管涌险情识别方法的示意性流程图；
图2示出根据本申请一个实施例的测试的存在真实管涌区的热红外图像随时间变化的示意图；
图3a示出根据本申请一个实施例的一个可见光图像的示意图；
图3b示出对图3a的可见光图像进行地物类型划分后的图像的示意图；
图4示出根据本申请一个实施例的第三疑似管涌区中的多个第一子区域的简单示意图；
图5示出根据本申请一个实施例的真实管涌区的示意图；
图6示出根据本申请另一实施例的管涌险情识别方法的示意性流程图；
图7示出根据本申请一个实施例的管涌险情识别系统的示意性框图；以及
图8示出根据本申请一个实施例的电子设备的示意性框图。
具体实施方式
为了使得本申请的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。基于本申请中描述的本申请实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本申请的保护范围之内。
为了至少部分地解决上述技术问题，根据本申请实施例的一个方面，提供一种管涌险情识别方法。图1示出根据本申请一个实施例的管涌险情识别方法100的示意性流程图。如图1所示，管涌险情识别方法100包括步骤S110、步骤S130、步骤S150、步骤S170和步骤S190。
步骤S110，获取目标地区的热红外图像和可见光图像。
根据本申请实施例，目标地区可以是任何合适的期望进行观测的地区。可以采用任何现有的或未来研发的合适的热红外图像采集装置和可见光图像采集装置获取目标地区的热红外图像和可见光图像。根据本申请的优选实施例，可以采用可搭载于无人机平台的热红外图像采集装置和可见光图像采集装置获取目标地区的热红外图像和可见光图像。例如，可以采用大疆M300无人机平台，搭载H20T可见光和热红外双光吊舱，设置无人机以预设飞行高度和预设飞行速度在目标地区上方巡航拍摄。由此，可以以俯瞰目标地区的角度实时采集目标地区的热红外图像和可见光图像。
此步骤中所获取的热红外图像和可见光图像可以是RGB图像，也可以是灰度图像。热红外图像和可见光图像可以是静态图像，也可以是动态视频中的视频帧。热红外图像和可见光图像可以是满足预设分辨率要求的图像。此外，热红外图像和可见光图像可以是图像采集装置直接采集到的原始图像，也可以是对原始图像进行预处理操作后的图像。该预处理操作可以包括为了改善图像的视觉效果，提高图像的清晰度，或是突出图像中的某些特征以便于处理的所有操作。示例性而非限制性地，预处理操作可以包括对原始图像的数字化、几何变换、归一化、滤波等操作。
根据本申请实施例，热红外图像和可见光图像可以是在相同时刻采集到的，也可以是在较短时间内先后采集到的。可以理解，热红外图像和可见光图像所涉及的目标地区的范围可以是大致相同的。示例性地，热红外图像和可见光图像的图像大小、分辨率均可以相同。或者，两者的尺寸和分辨率也可以存在差异。
步骤S130，分别对热红外图像和可见光图像进行分析，以分别确定热红外图像中的第一疑似管涌区和可见光图像中的第二疑似管涌区。
此步骤中，可以根据预先观测或分析出的管涌区分别在热红外图像和可见光图像中的图像特征，分别采用相应合适的图像分析方法初步确定出疑似管涌区分别在热红外图像和可见光图像中的大致位置。
对于热红外图像，其每个像素的像素值均可以对应一个温度值，该温度值可以表示该像素位置的物体的温度信息。示例性地，管涌区的温度可能与其周围的非管涌区的温度存在差异。例如，管涌区的温度通常比其周围的非管涌区的温度低预设范围。因此，对于热红外图像，可以通过分析各个像素位置对应的温度，并基于上述管涌区域非管涌区的温差特征，初步确定疑似管涌区在热红外图像中的位置。即，确定出第一疑似管涌区在热红外图像中的位置。
对于可见光图像，其中所涉及的不同物体对应的像素的像素值不同，并且同一相机所拍摄到的同种物体的像素相同或相似。因此，可以基于可见光图像中的各个像素的像素值识别出其中所涉及的物体的类别。示例性地，管涌区可能仅存在于特定类别的地物中。因此，可以在此步骤中采用任何合适的方法可以分析确定出图像中所涉及的目标地区的不同地物的地物类别。若其中包含特定类别的地物，则将该特定类别的地物所在的区域初步确定为疑似管涌区。即，确定出第二疑似管涌区在可见光图像中的位置。当然，对于可见光图像也可以采用其他合适的方法确定出第二疑似管涌区的位置。例如，管涌区也可能具有特定的图像特征。则在此步骤中，也可以采用各种检测算法或分割算法将可见光图像中满足预设图像特征的区域确定为第二疑似管涌区。
步骤S150，对热红外图像和可见光图像进行配准，以得到配准结果。
由于热红外图像和可见光图像是采用不同的图像采集装置采集到的，因此，即使两者是在同一时刻采集到的也可能会存在差异。在此步骤中可以采用任何现有的或者未来研发的合适的图像配准方法将热红外图像和可见光图像进行配准。可选地，可以采用传统的基于特征的方法实现此步骤的图像配准。例如，可以首先采用各种合适的关键点检测算法分别检测两幅图像中的特征点，然后可以采用合适的特征点匹配算法匹配两幅图像中的特征点，并根据特征点匹配结果将两幅图像中的一者进行图像变换，例如可以将可见光图像进行单应性变换，得到变换后的可见光图像。可以理解，变换后的可见光图像可以是与热红外图像精确对齐的。在一个具体的示例中，可以采用基于注意力的模板匹配和多级聚合回溯方法将可见光图像可以是与热红外图像进行配准。替代地，还可以采用深度学习的方法实现对两幅图像的配准。例如可以利用预训练的VGG网络进行图像特征提取，进而实现图像配准。
步骤S170，基于配准结果，对第一疑似管涌区和第二疑似管涌区进行叠加分析，以得到热红外图像中的第三疑似管涌区。
可以采用任何合适的方法将热红外图像中的第一疑似管涌区和可见光图像中的第二疑似管涌区叠加在一起。例如，可以将上述示例中变换后的可见光图像与可见光图像按照其匹配特征点的对应关系叠加在一起。使得叠加后的两个图像中，同一特征点对所对应的像素的像素位置相同。然后，可以在叠加后的热红外图像上分别确定第一疑似管涌区和第二疑似管涌区各自的区域位置。并可以采用任何合适的确定逻辑，根据第一疑似管涌区和第二疑似管涌区的区域位置，确定第三疑似管涌区。可选地，可以直接将热红外图像上第一疑似管涌区和对应第二疑似管涌区的区域的交集区确定为第三疑似管涌区。替代地，也可以进一步将该交集区的子区域确定为第三疑似管涌区。例如，可以将满足预设像素值范围的像素所在的区域确定为第三疑似管涌区。当然，也可以采用其他合适的确定逻辑，确定出第三疑似管涌区，只要第三疑似管涌区的每个像素均在这两个区域内即可。
需要说明的是，现有技术中大多仅对单一模式的图像进行识别，以确定单一模式图像中的管涌区，例如仅通过红外光图像进行识别。因此，识别结果的精度较低。而根据本申请实施例的管涌险情识别方法则通过获取两种模式的红外光图像分别进行识别，并综合对两种模式的识别结果，确定第三疑似管涌区。所确定的第三疑似管涌区更接近于真实管涌区，因此识别精度可以大大提高。
步骤S190，基于热红外图像，在第三疑似管涌区中确定从中心到边缘温度渐高的区域，并根据从中心到边缘温度渐高的区域确定目标地区的真实管涌区。
步骤S170所确定的第三疑似管涌区可以是热红外图像中的一个区域，也可以是多个区域。此步骤中，可以进一步对每个第三疑似管涌区进行筛选判断，以更精确地定位出真实管涌区的位置。
此前，发明人通过大量的室内实验和室外实验研究发现，随着时间的推移，真实管涌区的温度场程有梯度性向周围升高现象。图2示出根据本申请一个实施例的测试的存在真实管涌区的热红外图像随时间变化的示意图。如图所示，在t＝0的时刻位于中间的管涌区的像素颜色为深蓝色，而其周围区域的像素颜色为较为一致的蓝色。表明管涌区和非管涌区存在一定温度差别。随着时间的增加，位于管涌区的像素温度逐渐升高，其温度场程也逐渐呈梯度性向周围升高。换言之，在管涌区形成之后，管涌区逐渐呈现出中心到边缘温度渐高的多层温度场区域，出现较为明显的温度扩散效应。而对于热红外图像中不包括管涌区的区域，或说距离管涌区较远的非管涌区则不会呈现这种温度扩散效应。因此，可以将管涌区的这一特性，作为确定真实管涌区的判定标准，对第三疑似管涌区进行筛选后确定出目标地区的真实管涌区。
根据本申请实施例，可以采用任何合适的分析方法，对热红外图像中的每个第三疑似管涌区所对应的温度进行分析，以确定其中是否存在从中心到边缘温度渐高的区域。在一个示例中，可以基于预设的区域划分标准，将热红外图像中的第三疑似管涌区以对应最低温度的像素为中心划分为多个包围该中心的子区域，并分析这些子区域各自所对应的区域温度之间的关系。例如，可以分析判定包围中心的多个子区域中，靠近中心的子区域对应的区域温度是否大于靠近边缘的子区域对应的区域温度。若是，则可以将该多个子区域确定为从中心到边缘温度渐高的区域。在另一示例中，也可以首先确定对应最低温度的像素，并确定以该像素为中心、沿预设方向(例如图像宽度方向或高度方向)的固定长度(例如20个像素)的线段，并分析落在该线段上的每个像素所对应的温度，进而可以根据该线段上的各个像素对应的温度与像素的坐标之间的关系，判定该线段上的像素是否随着与中心距离的增加对应的温度也逐渐升高。进而，可以基于该线段确定从中心到边缘温度渐高的区域。为了简便，可以将每个第三疑似管涌区中的从中心到边缘温度渐高的区域称作温度渐高区域。示例性而非限制性地，可以将以该线段为半径的圆形区域确定为温度渐高区域。
若通过上述方法确定当前的第三疑似管涌区中不存在温度渐高区域，则可以将该第三疑似管涌区剔除；若确定当前的第三疑似管涌区中存在温度渐高区域，则可以进一步根据图像中的温度渐高区域确定真实管涌区。
对于在整个图像中所确定的温度渐高区域为1个的情况，可以根据该温度渐高区域确定真实管涌区。可选地，可以直接将该温度渐高区域确定为真实管涌区。又可选地，也可以将该温度渐高区域所在的第三疑似管涌区确定为真实管涌区。替代地，还可以将温度渐高区域按照任何合适的方法进行拓展，将拓展后的区域确定为真实管涌区。
对于在整个图像中所确定的温度渐高区域为多个的情况，可以根据该多个温度渐高区域，确定真实管涌区。在一个示例中，可以将每个温度渐高区域所在的区域(例如其所在的第三疑似管涌区)确定为真实管涌区。在另一示例中，也可以采用任何合适的方法合并整个图像中的多个温度渐高区域，作为真实管涌区。例如，可以首先确定覆盖该多个温度渐高区域的最小区域，然后可以将该最小区域进行拓展，将拓展后的区域确定为真实管涌区。或者，也可以首先将每个温度渐高区域进行拓展，然后合并拓展后的温度渐高区域，作为真实管涌区。
上述方案中，首先通过分别对获取的目标地区的热红外图像和可见光图像进行分析，初步确定每个图像中的疑似管涌区的位置。进而，基于将这两种图像配准的配准结果，将两图像中的疑似管涌区进行叠加分析，进一步较精准地定位出热红外图像中的第三疑似管涌区。最后，将第三疑似管涌区中的从中心到边缘温度渐高的区域，确定为目标地区的真实管涌区。这种基于多模图像的管涌识别方案无需大量样本的训练，且可以适用于高分辨率图像的识别，因此可实施性较好。并且，该方案中通过对管涌区的多级判定，使得终识别出的管涌区的精度也显著提高。此外，该方案的计算量也相对较小，因此识别效率也较高，实时性较好。鉴于此，这种管涌识别方案可以有效用于险情预测，从而具有重要的社会意义。
示例性地，步骤S130分别对热红外图像和可见光图像进行分析，以分别确定热红外图像中的第一疑似管涌区和可见光图像中的第二疑似管涌区，包括步骤S131和/或步骤S132。
步骤S131，基于热红外图像中的每个像素的像素值，确定第一疑似管涌区。其中，对于每一个第一疑似管涌区，该第一疑似管涌区的像素对应的温度低于该第一疑似管涌区之外的相邻像素对应的温度。
如前所述，热红外图像中每个像素的像素值与其对应的温度存在预设关系。因此，可以基于该图像中像素的像素值确定像素对应的温度。发明人通过大量的室内实验和室外实验研究发现，真实管涌区的温度低于周围环境的温度。再次参考图2，从图中可以看出，无论在管涌区形成之后的任何时刻，管涌区的温度均比周边区域对应的温度低。因此，可以采用任何合适的分析方法从热红外图像中确定符合这一特性的区域，作为初步疑似管涌区，即第一疑似管涌区。
示例性而非限制性地，可以遍历整个热红外图像中的每个像素，根据每个像素的像素值确定其对应的温度。然后，可以将整个图像中对应温度较低的像素所形成的区域确定为第一疑似管涌区。可选地，可以统计分析整个图像区域对应的参考温度。示例性地，该参考温度可以是图像中各个像素对应的温度中的最低温度，也可以是平均温度，还可以是将各个像素对应的温度进行排序后的中位数温度或其他位序的温度。并可以根据参考温度设置温度判定标准，可以将对应温度符合温度判定标准的像素所形成的区域，确定为第一疑似管涌区。以参考温度为平均温度为例，可以将对应温度比平均温度低预设温度范围的像素所形成的区域确定为第一疑似管涌区。示例性地，预设温度范围可以根据不同地区的温度差异进行设置，例如3℃至10℃。替代地，也可以将整个图像区域分为若干个子区域。然后，可以确定每个子区域中对应的参考温度。进而确定第一疑似管涌区。这种方案的具体示例将在后文进行阐述，在此不赘述。
步骤S132，对可见光图像进行地物类型划分，并根据划分结果确定第二疑似管涌区。发明人通过研究发现，管涌区仅存在于特定类别的地物中。因此，可以在此步骤中对可见光图像进行地物类型划分。可以采用任何现有的或者未来研发的地物类型划分方法实现此步骤。例如，可以采用诸如迭代自组织聚类算法、K-Means聚类算法、随机森林算法等各种无监督的分类方法实现地物类别划分。或者，也可以采用诸如实例分割网络、语义分割网络等有监督的分类模型实现。所划分的地物类别可以根据实际需求进行设置，例如可以划分为草地、道路、树木、水体、土地、水稻等类别。
需要说明的是，尚未有技术将可见光图像的地物分类用于管涌识别中。而本申请实施例则创新性地将可见光图像的地物分类应用于管涌识别技术领域中，并基于识别结果初步确定疑似管涌区。将这种方案用于管涌识别中可以显著提高管涌识别的准确性。
在通过上述方法得到划分结果之后，可以根据划分结果确定初步的疑似管涌区，作为第二疑似管涌区。例如，可以将多种类别的区域中可能存在管涌区的地物类别所在的区域直接确定为第二疑似管涌区。
上述确定第一疑似管涌区和/或第二疑似管涌区的方案执行逻辑更合理，并且所确定的疑似管涌区更准确，因此识别精度较高。
示例性地，步骤S131基于热红外图像中的每个像素的像素值，确定第一疑似管涌区，包括步骤S131.1、步骤S131.2和步骤S131.3。
发明人在研究中发现：热红外图像在采集、存贮和通讯传输过程中可能存在一些干扰因素，导致某些像素的像素值不符合真实情况。例如，由于干扰因素的影响，位于热红外图像边缘的像素的像素值不准确，这些像素对应的温度可能为极其异常的低温。这可能对第一疑似管涌区的判断造成干扰。因此，可以首先将这类异常像素剔除，以保证识别的准确度。
步骤S131.1，对于热红外图像中的任意两个相邻像素，基于该两个相邻像素的像素值的差值，确定该两个相邻像素对应的温度差。对于热红外图像中的任一像素，均可以找到与其相邻的至少3个像素。例如，位于图像四个角点的像素可以确定与其相邻的3个像素。位于图像边缘的非角点的像素可以找到与其相邻的5个像素。而位于图像中间区域的像素则均可以找到与其相邻的8个像素。进而，可以分别确定该像素和其每个相邻像素所对应的温度的差值。
步骤S131.2，在热红外图像中剔除热红外图像中的、温度差大于或等于差值阈值的相邻像素，以获得参考像素。该差值阈值可以是异常温度差的判定标准。该差值阈值应大于正常范围的温差的最大值。发明人还发现，通常情况下，热红外图像中管涌点涌水的温度要明显低于周围地物的温度。汛期晴天情况下，周围地物与管涌点涌水水温的温差最大，能达到10℃以上，即便是阴雨天，管涌点涌水与周围地物温差也能达到3-5℃。即，真实管涌点涌水的温度要比周围地物的温度大约低3至10℃。因此，差值阈值可以是大于或等于10℃的任意值。例如，可以设置差值阈值为10℃。在此步骤中，若相邻两个像素的温差超过10℃，则可以将这两个像素剔除，并可以将剔除后的每个像素确定为参考像素。
步骤S131.3，基于参考像素确定第一疑似管涌区。示例性而非限制性地，可以遍历整个热红外图像中的每个参考像素，根据每个参考像素的像素值确定其对应的温度。然后，可以采用诸如前述示例中的分析方法，确定出图像中对应温度较低的参考像素所形成的区域，作为第一疑似管涌区。
可以确定出一个疑似管涌区，也可以确定出多个第一疑似管涌区。若仅确定出一个第一疑似管涌区，则可以将该区域之外的其他参考像素形成的区域称作非疑似管涌区。则第一疑似管涌区的大部分参考像素所对应的温度均低于非疑似管涌区中的参考像素对应的温度。若确定出多个第一疑似管涌区，则可以将该多个区域之外的其他参考像素形成的区域称作非疑似管涌区。那么，对于每个第一疑似管涌区中的大部分参考像素所对应的温度均低于位于其附近的非疑似管涌区中的参考像素所对应的温度。
上述方案通过分析热红外图像中每两个相邻像素对应的温度的差值，并将差值较大的异常像素过滤掉，以避免这些异常像素对管涌识别的干扰，从而保证较好的识别准确度。
示例性地，步骤S131基于所述热红外图像中的每个像素的像素值，确定第一疑似管涌区，包括步骤S131.4至步骤S131.7。可以理解，尽管管涌区的温度要低于其周围地物的温度，但是管涌区的温度也可能并非所摄区域中所包含的所有地物温度的最低值。例如，所摄区域中可能包括部分河流区。该河流区的温度也可能比管涌区的温度低。因此，为了避免漏识别，可以将热红外图像划分为多个子区域，并对每个子区域进行分析，以识别管涌区可能存在的各个位置。
步骤S131.4，将热红外图像划分为多个第二子区域。可以采用任何合适的图像划分方法或划分标准进行划分，每个第二子区域的形状可以是任何合适的形状，例如覆盖预设数目像素的圆形、方形或椭圆形等。本申请不对其进行限制。示例性而非限制性地，可以将热红外图像的图像区域平均划分为4*4个矩形图像块。每个矩形图像块即为一个第二子区域。
步骤S131.5，对于每个第二子区域，基于该第二子区域中每个像素的像素值，确定该第二子区域对应的参考温度。其中，该第二子区域中的第一像素的数目大于或等于该第二子区域中的像素的总数的一半。第一像素对应的温度高于参考温度。
在一个示例中，可以遍历该第二子区域中确定其中每个像素对应的温度。然后，可以直接将这些温度按照由低至高的顺序进行排序后，确定其中的中位数温度。可以设置参考温度小于或等于该中位数温度。例如，在第二子区域中包括1000个像素，这1000个像素对应的温度按照由低至高的顺序排序后，可以将位序在500之后的温度确定为参考温度。
在另一示例中，也可以分别确定每个第二子区域中每行像素和/或每列像素(或者斜向的行像素)中的各个像素所对应的温度的最小值。即，确定行最低温度和/或列最低温度。然后，将每个子区域中的行最低温度和/或列最低温度按照由低至高的顺序进行排序，可以将这些温度中的中位数温度确定为参考温度。或者，也可以将位序为固定百分位的温度确定为参考温度，该固定百分位小于等于50％。例如可以将行最低温度和/或列最低温度中处于第25％位序的温度确定为参考温度。总之，该参考温度可以低于该子区域中的大部分像素对应的温度。
在一个优选的实施例中，步骤S131.5可以包括步骤S131.51至步骤S131.53。步骤S131.51，基于该第二子区域中每个像素的像素值，确定每个像素对应的温度。步骤S131.52，确定该第二子区域中每一行的像素对应的温度的最小值和/或每一列的像素对应的温度的最小值，作为单位最低温度。步骤S131.53，将所确定的各个单位最低温度的中位数确定为该第二子区域对应的参考温度。
步骤S131.6，对于每个第二子区域，基于该第二子区域中每个像素对应的温度和参考温度，确定该第二子区域中的疑似管涌子区域。其中，疑似管涌子区域中的像素对应的温度低于参考温度与预设温度之和。预设温度可以根据实际需求进行任意设置。如前所述，发明人发现真实管涌点涌水的温度比周围地物的温度大约低3至10℃。因此，可以基于这个范围设置合适的预设温度。例如，在上述参考温度为每个第二子区域中各个像素对应温度的最小值的实施例中，可以将预设温度设置为10℃；在上述参考温度为每个第二子区域中各个像素对应温度的中位数的实施例中，可以将预设温度设置为3℃。此外，对于不同的目标地区，预设温度也可以根据当地的地物温度进行调整。以当前第二子区域中确定的参考温度为25℃、预设温度为3℃为例，在此步骤中，可以将该第二子区域中对应温度低于28℃的像素所形成的区域确定为疑似管涌子区域。本领域普通技术人员容易理解该方案，在此不再赘述。
步骤S131.7，基于疑似管涌子区域，确定第一疑似管涌区。可以采用任何合适的确定逻辑，基于疑似管涌子区域确定第一疑似管涌区。可选地，在确定了热红外图像中每个第二子区域中的疑似管涌子区域之后，可以直接将这些疑似管涌子区域所组成的区域确定为第一疑似管涌区。替代地，也可以根据预设的区域处理方法将这些疑似管涌子区域中的一些区域进行合并或剔除处理，将合并或剔除处理之后的区域确定为第一疑似管涌区。例如，可以将图像中距离较近的多个疑似管涌子区域合并为一个区域。或者，也可以将包含的像素数量小于预设阈值的疑似管涌子区域剔除。
上述方案中，通过将热红外图像划分为多个子区域，并确定每个子区域中像素所对应的最低温度，根据该最低温度在每个子区域中确定疑似管涌子区域，进而确定第一疑似管涌区。这种方法可以有效避免对管涌区的漏识别，从而可以保证较好的识别精度。并且，这种方法易于实施，计算量也较小，因此实时性好。
示例性地，步骤S132对可见光图像进行地物类型划分，并根据划分结果确定第二疑似管涌区，包括步骤S132.1和步骤S132.2。
步骤S132.1，采用随机森林的方法确定可见光图像中的多种地物类型区域。其中，多种地物类型区域包括可能存在管涌区的第一类型区域和不可能存在管涌区的第二类型区域。
如前所述，发明人通过研究发现：管涌区仅存在于特定类别的地物中。例如，管涌区可能仅存在于农田区、砂地区、草地区或者土地区。这些区域可以称作第一类型区域。而管涌区不可能存在于堤坝区、道路区、灌木区或道路区。这些类型区域可以称作第二类型区域。
在此步骤中可以采用随机森林的方法对可见光图像进行地物类别的解译，以确定可见光图像中的第一类型区域和第二类型区域。示例性地，可以按照以下方法构建组成随机森林算法的多个决策树：(1)训练样本的选择。决策树采用自助采样法(bootstrapsampling)来选取训练样本集D。在总共包含m个样本的数据集合中首先随机取出一个样本，并将其标记为D中的样本，然后将此样本放回到原始数据集中，接着重复上述样本选取操作m次，获取包含m个样本的集合，此样本集合就是用于建立决策树的训练样本集。由于采用取出再放回的样本选取规则，同一个样本有可能多次出现在训练样本集中，同时原始数据集中的部分样本有可能不会出现在训练样本集中。根据概率公式：
limm→∞(1-1/m)m＝1/e≈0.368，原始数据集中大约有36.8％的样本不会出现在训练样本集中。(2)决策树枝叶的生成。决策树的构建是一个递归的过程，通过在预测变量中选择能够得到训练样本集D的最优划分的特征或属性来不断地构建决策树中的枝叶(节点)。首先将D作为根节点，在特征属性集A中选择最优划分属性a1为根节点生成一个分枝，若D中属于a1的样本个数为空，则将此分枝节点标记为叶节点，并将其类别标记为D中样本最多的类，如果属于a1的样本个数不为空，则将此样本在特征属性集A中选择最优划分属性a2继续划分节点，直到所有样本按照特征属性集A的所有属性划分完毕，一棵决策树的创建就此完成。在生成决策树的枝叶时，判断是否为最优划分属性是使用节点的“纯度”表示的，即按照此划分规则获取的结果中样本属于同一个类别的比例越大，此划分方式更优。节点的“纯度”用基尼(Gini)指数表示，其含义是在节点中随机选出的两个样本标记为不同类别的概率。决策树会通过所有用于分割的特征对节点的划分结果进行搜索，最大化地提升分割的“纯度”。基尼指数定义为：
其中，k表示D中的第k类样本，pk表示其所占的比例。Gini(D)越小，样本集合D的“纯度”越高。最优划分属性即是特征属性集合A中能够得到最小基尼指数的划分属性。
由于随机森林的方法具有预测精度高、训练速度快、可处理高维数据等多个优点。因此，采用随机森林的方法对可见光图像进行地物类型的划分，所划分区域的准确度更高，且划分效率也更高，从而有助于提高管涌识别的精度和效率。
根据上述方法，可以较准确地确定出可见光图像中的多种地物类型区域。图3a示出根据本申请一个实施例的一个可见光图像的示意图。该图可以视作解译前的原始可见光图像。图3b示出对图3a的可见光图像进行地物类型划分后的图像的示意图。如图所示，该图中包括5个分别以不同颜色填充的区域。每个区域可以是预设划分的一个地物类型区域。图中示出了划分出的包括道路区和灌木区等5种不同的地物类型区域在可见光图像中的位置。
步骤S132.2，基于可见光图像中的第一类型区域，确定第二疑似管涌区。以第一类型区域包括农田区、砂地区、草地区、水体区和土地区，第二类型区域包括堤坝区、道路区、灌木区为例，再次参考图3b，可以将图中划分出的属于第二类型区域的道路区和灌木区剔除，将划分出的土地区、草地区、水体区所共同组成的区域确定为第二疑似管涌区。
上述方案中，首先采用随机森林的方法确定可见光图像中的多种地物类型区域。将这种划分方法用于管涌识别可以显著提高识别精度，并且采用随机森林的方法划分的地物类别的准确率高，处理速度快。还根据划分结果，基于可能存在管涌区的地物类型区域确定了第二疑似管涌区。这种初步确定疑似管涌区的方案执行逻辑简单且合理，既可以避免无效识别，又可以避免漏识别。从而识别精度和效率均较高。
示例性地，步骤S170基于配准结果，对第一疑似管涌区和第二疑似管涌区进行叠加分析，以得到热红外图像中的第三疑似管涌区，包括步骤S171和步骤S172。
步骤S171，对于热红外图像的第一疑似管涌区中的每个像素，基于配准结果，判断该像素在可见光图像中的位置对应像素是否属于第二疑似管涌区，并且将该像素在可见光图像中的位置对应像素属于第二疑似管涌区的确定为管涌疑似像素。步骤S172，将所确定的管涌疑似像素组成的区域确定为第三疑似管涌区。
示例性地，可以基于特征匹配的方式将可见光图像向热红外图像进行配准。可见光图像中可以包括多个第一匹配特征点，热红外图像中可以包括多个第二匹配特征点。每个第一匹配特征点可以对应一个第二匹配特征点。在配准后的可见光图像中的每一个第一匹配特征点处的像素与热红外图像中的对应该第一特征点的第二特征点处的像素位置相同。由此，可以基于第一疑似管涌区在热红外图像中的位置，在配准后的可见光图像中确定相同位置的区域。该区域的像素可以称作是第一疑似管涌区的像素在可见光图像中的位置对应像素。进而，可以确定此区域与配准后的可见光图像中的第二疑似管涌区的相交区域。并可以将位于相交区域中的每个像素在热红外图像中的对应像素确定为管涌疑似像素。并将所确定的管涌疑似像素组成的区域确定为第三疑似管涌区。换言之，此步骤中可以将两种图像配准后，基于配准结果将两个图像中的两个疑似管涌区叠加在一起，并将两个区域的相交区域确定为第三疑似管涌区。
通过上述方案，通过将两种模式的图像所分别确定的疑似管涌区对齐叠加，进一步将两个区域的交集形成的区域确定为第三疑似管涌区。这种方案所确定的第三疑似管涌区更准确，并且计算量也更小，从而识别效率和识别精度均较高。
示例性地，步骤S190中在第三疑似管涌区中确定从中心到边缘温度渐高的区域，包括步骤S191、步骤S192和步骤S193。
步骤S191，对于热红外图像中的每个第三疑似管涌区，基于该第三疑似管涌区中每个像素的像素值，确定每个像素对应的温度，并确定该第三疑似管涌区的中心像素。其中，中心像素对应的温度不高于该第三疑似管涌区中的其他像素对应的温度。
可以理解，若在步骤S170确定出一个第三疑似管涌区，则此步骤中可以直接对该第三疑似管涌区进行分析。若步骤S170确定出多个第三疑似管涌区，则可以遍历该多个第三疑似管涌区进行分别分析。在步骤S191中，可以确定每个第三疑似管涌区中各个像素对应的温度。并确定这些温度的最小值，将该最小值温度对应的像素确定为中心像素。该中心像素的数目可以是一个，也可以是多个。
步骤S192，对于热红外图像中的每个第三疑似管涌区，在该第三疑似管涌区中，确定多个第一子区域并确定每个第一子区域对应的平均温度。其中，多个第一子区域包括：包括或者包围中心像素的中心子区域和包围中心子区域的至少一个环形子区域，且多个第一子区域之间不存在重叠区域。
多个子区域的数目为任意多个。根据本申请实施例，多个子区域的数目可以是任何大于等于2的整数。优选地，多个子区域的数目大于或等于3。中心子区域可以包括该中心像素，也可以不包括该中心像素。即其可以是环形子区域，也可以是实心的封闭子区域，如圆形区域或方形区域等。环形子区域可以是任何形状的环形，诸如正圆环、椭圆环、方环、矩形环或内外边缘线均为不规则多边形的环形。
可以采用任何合适的方法确定多个第一子区域。例如，对于每个第一子区域，可以将与中心像素距离满足相应的预设距离范围的像素组成的区域确定该第一子区域。该预设距离范围可以以像素点为单位。示例性而非限制性地，由内而外地，中心子区域中的像素与中心像素的距离不大于10个像素；临近中心子区域的第一环形子区域的像素与中心像素的距离大于10个像素且不大于20个像素；临近第一环形子区域的第二环形子区域的像素与中心像素的距离大于20个像素且不大于30个像素……
对于每个第三疑似管涌区中包括多个中心像素的情况：若这些中心像素之间的距离小于第一距离阈值，则可以以这些中心像素中的任一个作为中心像素确定多个第一子区域；若这些中心像素中至少一个第一中心像素与其他中心像素的距离大于第二距离阈值，则可以分别确定该第一中像素周围的多个第一子区域。
多个第一区域之间不存在重叠区域，即，各个第一子区域围绕中心像素逐渐向外扩展。对于相邻的两个第一子区域中，位于外侧的第一子区域的内边缘线可以与位于内侧的第一子区域的外边缘线重合或者前者在后者的外部。图4示出根据本申请一个实施例的第三疑似管涌区中的多个第一子区域的简单示意图。如图所示，可以采用上述示例中的方法将第三疑似管涌区(图中虚线所包围的区域)以中心像素O点为中心划分为3个第一子区域。其中，包括中心子区域(图中灰色填充区域所示)、第一环形子区域(图中斜线填充区域所示)和第二环形子区域(图中方格填充区域所示)。可以理解，图中的3个第一子区域之间没有重叠区域。
在步骤S192中，确定了多个第一子区域之后，还可以基于每个第一子区域中每个像素对应的温度，确定该子区域的对应的平均温度。例如，可以将每个第一子区域中的所有像素对应的温度的平均值作为该平均温度。由此，可以分别确定出每个第一子区域对应的平均温度。
步骤S193，对于多个第一子区域中任意两个相邻的第一子区域，若位于外侧的第一子区域对应的平均温度高于位于内侧的第一子区域所对应的平均温度，则将多个第一子区域确定为从中心到边缘温度渐高的区域。
再次参考图4，可以在步骤S192分别确定出每个第三疑似管涌区的中心子区域对应的第一平均温度、第一环形子区域对应的第二平均温度以及第二环形子区域对应的第三平均温度。若第一平均温度小于第二平均温度，且第二平均温度小于第三平均温度，则可以将多个第一子区域确定为从中心到边缘温度渐高的区域。
本领域普通技术人员可以理解该方案的多种实现方式，在此不再赘述。
上述方案中，通过确定每个第三疑似管涌区中的对应最低温度的中心像素，并确定围绕该中心像素并逐渐外扩的多个第一子区域。并根据多个第一子区域分别对应的平均温度，确定该疑似管涌区中的真实管涌区。这种方案计算简单，可以快速且准确地确定该第三疑似管涌区中是否包括从中心到边缘温度渐高的区域。从而，识别效率和精度均较高。
示例性地，步骤S192中确定多个第一子区域包括步骤S192.1和步骤S192.2。
步骤S192.1，以中心像素为中心，确定中心子区域，其中，中心子区域是正方形，且中心子区域的边缘线与中心像素的距离均等于预设距离。预设距离可以根据诸如图像的分辨率大小、所测地区的实际情况等设置为合适的值。例如预设距离为5px。再次参考图4，可以在第三疑似管涌区中确定以该中心像素为中心点的10px*10px的方形区域为中心子区域。
步骤S192.2，确定环形子区域。其中，每个环形子区域的内边缘线和外边缘线均是正方形，每个环形子区域的内边缘线与外边缘线的距离均等于预设距离，并且多个第一子区域中任意两个相邻的第一子区域中，位于外侧的第一子区域的内边缘线与位于内侧的第一子区域的外边缘线重合。同样以图4为例，可以确定以中心像素为中心点、外边缘线为20px*20px的方形、内边缘线为10px*10px的方形所形成的区域为第一环形子区域。可以确定以中心像素为中心点、外边缘线为30px*30px的方形、内边缘线为20px*20px的方形所形成的区域为第二环形子区域。
上述确定多个第一子区域的方案较简单，计算量较小，因此有助提高管涌识别效率。
示例性地，步骤S190中根据从中心到边缘温度渐高的区域确定目标地区的真实管涌区，包括：将所述热红外图像中的从中心到边缘温度渐高的区域进行合并，根据合并后的区域确定目标地区的真实管涌区。
如前所述，对于在整个图像中所确定的温度渐高区域为1个的情况，可以根据该温度渐高区域确定真实管涌区。可选地，可以直接将该温度渐高区域确定为真实管涌区。又可选地，也可以将该温度渐高区域所在的第三疑似管涌区确定为真实管涌区。优选地，还可以将温度渐高区域按照任何合适的方法进行拓展，将拓展后的区域确定为真实管涌区。
对于在整个图像中所确定的温度渐高区域为多个的情况，可以采用任何合适的方法合并整个图像中的多个温度渐高区域，作为真实管涌区。例如，可以首先确定覆盖该多个温度渐高区域的最小区域，然后可以将该最小区域进行拓展，将拓展后的区域确定为真实管涌区。或者，也可以首先将每个温度渐高区域进行拓展，然后合并拓展后的温度渐高区域，作为真实管涌区。
图5示出根据本申请一个实施例的真实管涌区的示意图。如图所示，图中的每个灰色填充的方形区域可以是所确定的第三疑似管涌区中的温度渐高区域在可见光图像中的对应区域。可以理解，在该图像对应的目标地区中，共确定出3个温度渐高区域。在此步骤中则可以将这3个温度渐高区域进行合并，根据合并后的区域确定目标地区的真实管涌区(图中黑色虚线框所覆盖的区域)。该图中示出的真实管涌区可以是3个温度渐高区域的合并拓展区域。即，最终可以在每组图像(可见光图像和热红外图像)中确定一个真实管涌区。
这种方案执行逻辑更合理，可以较简单且准确地确定出当前目标地区的真实管涌区。并且，计算量小，处理效率高。
图6示出根据本申请另一实施例的管涌险情识别方法的示意性流程图。如图6所示，可以采用大疆M300无人机平台，搭载H20T可见光和热红外双光吊舱，设置无人机以预设飞行高度和预设飞行速度在目标地区上方巡航拍摄，获取目标地区的热红外图像和可见光图像。优选地，预设飞行高度可以在30米至60米之间。预设飞行速度稳定在8米每秒至12米每秒。图像采集频率可以设置在2秒至4秒之间。对于所获取的每组热红外图像和可见光图像，可以分别进行分析，以分别初步确定疑似管涌区在每个图像中的位置。对于热红外图像，可以基于每个像素的像素值，确定各个像素对应的温度。进而确定每两个相邻像素对应的温度的差值，若温差大于差值阈值，则可以将这两个像素剔除。差值阈值例如是10℃。然后，可以将剔除了异常像素的热红外图像划分为多个第二子区域。并可以基于每个第二子区域中各个像素对应的温度，确定每个第二子区域中的参考温度。该参考温度例如是该子区域中各行像素对应温度的最小值的中位数。进而，可以将对应温度小于参考温度和预设温度之和的像素所组成的区域确定为该第二子区域中的疑似管涌子区域。进而可以将整个图像中的多个疑似管涌子区域，确定为第一疑似管涌区。对于该组图像中的可见光图像。可以采用随机森林的方法对该图像进行地物分类，以确定不同地物类型区域在图像中的位置。然后，可以基于分类结果，剔除图像中不可能存在管涌区的地物类型区域，如可以将堤坝区、道路区、林地区和房屋区剔除掉，仅保留可能存在管涌区的地物类型区域，作为第二疑似管涌区。可以将每组图像中的热红外图像和可见光图像进行配准，并根据配准结果对第一疑似管涌区和第二疑似管涌区进行叠加分析，可以将两个区域在热红外图像中的相交区域确定为第三疑似管涌区。最后，可以对每个第三疑似管涌区进行子区域划分，并根据划分后的多个第二子区域各自对应的平均温度，确定该第三疑似管涌区是否为真实管涌区。具体地，可以以每个第三疑似管涌区中对应最低温度的像素为中心像素，确定以该中心像素为中心的10px*10px的方形区域为中心子区域，确定包围该中心子区域的外边缘线为20px*20px的方形、内边缘线为10px*10px的方形所形成的区域为第一环形子区域。确定以中心像素为中心点、外边缘线为30px*30px的方形、内边缘线为20px*20px的方形所形成的区域为第二环形子区域。并确定中心子区域对应的第一平均温度、第一环形子区域对应的第二平均温度以及第二环形子区域对应的第三平均温度。可以将满足“第一平均温度小于第二平均温度且第二平均温度小于第三平均温度”条件的每个第三疑似管涌区中的多个第二子区域确定为温度渐高区域。然后可以合并整个图像中的各个温度渐高区域，确定目标地区的真实管涌区。最终，可以综合多组图像中真实管涌区的位置，整体确定所摄范围的的真实管涌区。
根据本申请的另一方面，还提供一种管涌险情识别系统。图7示出根据本申请一个实施例的管涌险情识别系统700的示意性框图。如图7所示，管涌险情识别系统100包括获取模块710、第一确定模块720、配准模块730、叠加分析模块740和第二确定模块750。
获取模块710，用于获取目标地区的热红外图像和可见光图像。
第一确定模块720，用于分别对所述热红外图像和所述可见光图像进行分析，以分别确定所述热红外图像中的第一疑似管涌区和所述可见光图像中的第二疑似管涌区。
配准模块730，用于对所述热红外图像和所述可见光图像进行配准，以得到配准结果。
叠加分析模块740，用于基于所述配准结果，对所述第一疑似管涌区和所述第二疑似管涌区进行叠加分析，以得到所述热红外图像中的第三疑似管涌区。
第二确定模块750，用于基于所述热红外图像，在所述第三疑似管涌区中确定从中心到边缘温度渐高的区域，以作为所述目标地区的真实管涌区。
根据本申请的另一方面，还提供一种电子设备。图8示出根据本申请一个实施例的电子设备800的示意性框图。如图所示，该电子设备800包括处理器810和存储器820。其中，存储器820中存储有计算机程序指令，计算机程序指令被处理器810运行时用于上述管涌险情识别方法100。
根据本申请的另一方面，还提供一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行上述管涌险情识别方法100。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本申请的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本申请的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本申请的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本申请的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的管涌险情识别系统和电子设备中的一些模块的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本申请的具体实施方式或对具体实施方式的说明，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种管涌险情识别方法，其特征在于，包括：
获取目标地区的热红外图像和可见光图像；
分别对所述热红外图像和所述可见光图像进行分析，以分别确定所述热红外图像中的第一疑似管涌区和所述可见光图像中的第二疑似管涌区；
对所述热红外图像和所述可见光图像进行配准，以得到配准结果；
基于所述配准结果，对所述第一疑似管涌区和所述第二疑似管涌区进行叠加分析，以得到所述热红外图像中的第三疑似管涌区；以及
基于所述热红外图像，在所述第三疑似管涌区中确定从中心到边缘温度渐高的区域，并根据所述从中心到边缘温度渐高的区域确定所述目标地区的真实管涌区；
其中，所述分别对所述热红外图像和所述可见光图像进行分析，以分别确定所述热红外图像中的第一疑似管涌区和所述可见光图像中的第二疑似管涌区，包括：
确定所述可见光图像中的多种地物类型区域，其中，所述多种地物类型区域包括可能存在管涌区的第一类型区域和不可能存在管涌区的第二类型区域；以及
基于所述可见光图像中的第一类型区域，确定所述第二疑似管涌区；
所述对所述第一疑似管涌区和所述第二疑似管涌区进行叠加分析，以得到所述热红外图像中的第三疑似管涌区，包括：
对于所述热红外图像的所述第一疑似管涌区中的每个像素，基于所述配准结果，判断该像素在所述可见光图像中的位置对应像素是否属于所述第二疑似管涌区，并且将该像素在所述可见光图像中的位置对应像素属于所述第二疑似管涌区的确定为管涌疑似像素；以及
将所确定的管涌疑似像素组成的区域确定为所述第三疑似管涌区。
2.如权利要求1所述的管涌险情识别方法，其特征在于，所述在所述第三疑似管涌区中确定从中心到边缘温度渐高的区域，包括：
对于所述热红外图像中的每个第三疑似管涌区，
基于该第三疑似管涌区中每个像素的像素值，确定每个像素对应的温度，并确定该第三疑似管涌区的中心像素，其中所述中心像素对应的温度不高于该第三疑似管涌区中的其他像素对应的温度；
在该第三疑似管涌区中，确定多个第一子区域并确定每个第一子区域对应的平均温度，其中，所述多个第一子区域包括：包括或者包围所述中心像素的中心子区域和包围所述中心子区域的至少一个环形子区域，且所述多个第一子区域之间不存在重叠区域；
对于所述多个第一子区域中任意两个相邻的第一子区域，若位于外侧的第一子区域对应的平均温度高于位于内侧的第一子区域所对应的平均温度，则将所述多个第一子区域确定为所述从中心到边缘温度渐高的区域。
3.如权利要求2所述的管涌险情识别方法，其特征在于，所述确定多个第一子区域包括：
以所述中心像素为中心，确定所述中心子区域，其中，所述中心子区域是正方形，且所述中心子区域的边缘线与所述中心像素的距离均等于预设距离；
确定所述环形子区域，其中，每个环形子区域的内边缘线和外边缘线均是正方形，每个环形子区域的内边缘线与外边缘线的距离均等于所述预设距离，并且所述多个第一子区域中任意两个相邻的第一子区域中，位于外侧的第一子区域的内边缘线与位于内侧的第一子区域的外边缘线重合。
4.如权利要求1至3任一项所述的管涌险情识别方法，其特征在于，所述分别对所述热红外图像和所述可见光图像进行分析，以分别确定所述热红外图像中的第一疑似管涌区和所述可见光图像中的第二疑似管涌区，包括：
基于所述热红外图像中的每个像素的像素值，确定所述第一疑似管涌区，其中，对于每一个第一疑似管涌区，该第一疑似管涌区的像素对应的温度低于该第一疑似管涌区之外的相邻像素对应的温度。
5.如权利要求4所述的管涌险情识别方法，其特征在于，所述基于所述热红外图像中的每个像素的像素值，确定所述第一疑似管涌区，包括：
将所述热红外图像划分为多个第二子区域；
对于每个第二子区域，
基于该第二子区域中每个像素的像素值，确定该第二子区域对应的参考温度，其中，该第二子区域中的第一像素的数目大于或等于该第二子区域中的像素的总数的一半，所述第一像素对应的温度高于所述参考温度；
基于该第二子区域中每个像素对应的温度和所述参考温度，确定该第二子区域中的疑似管涌子区域，其中所述疑似管涌子区域中的像素对应的温度低于所述参考温度与预设温度之和；以及
基于所述疑似管涌子区域，确定所述第一疑似管涌区。
6.如权利要求4所述的管涌险情识别方法，其特征在于，所述基于所述热红外图像中的每个像素的像素值，确定所述第一疑似管涌区，包括：
对于所述热红外图像中的任意两个相邻像素，基于该两个相邻像素的像素值的差值，确定该两个相邻像素对应的温度差；以及
在所述热红外图像中剔除所述热红外图像中的、所述温度差大于或等于差值阈值的相邻像素，以获得参考像素；
基于所述参考像素确定所述第一疑似管涌区。
7.如权利要求1至3任一项所述的管涌险情识别方法，其特征在于，所述确定所述可见光图像中的多种地物类型区域，包括：
采用随机森林的方法确定所述可见光图像中的多种地物类型区域。
8.一种电子设备，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行如权利要求1至7任一项所述的管涌险情识别方法。
9.一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行如权利要求1至7任一项所述的管涌险情识别方法。
CN202310821985.3A 2023-07-05 2023-07-05 管涌险情识别方法、电子设备及存储介质 Active CN116721136B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310821985.3A CN116721136B (zh) 2023-07-05 2023-07-05 管涌险情识别方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310821985.3A CN116721136B (zh) 2023-07-05 2023-07-05 管涌险情识别方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116721136A CN116721136A (zh) 2023-09-08
CN116721136B true CN116721136B (zh) 2024-03-19

Family

ID=87871542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310821985.3A Active CN116721136B (zh) 2023-07-05 2023-07-05 管涌险情识别方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116721136B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101078208A (zh) * 2007-04-26 2007-11-28 中国科学院力学研究所 一种堤坝管涌探测方法
CN114241310A (zh) * 2021-12-21 2022-03-25 江西省水利科学院 基于改进yolo模型的堤防管涌险情智能识别方法
CN114545965A (zh) * 2021-12-31 2022-05-27 中国人民解放军国防科技大学 一种基于深度学习的无人机圩堤管涌巡查系统及方法
CN115690614A (zh) * 2022-10-10 2023-02-03 武汉兴图新科电子股份有限公司 一种提高堤防管涌数据采集精度的试验方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101078208A (zh) * 2007-04-26 2007-11-28 中国科学院力学研究所 一种堤坝管涌探测方法
CN114241310A (zh) * 2021-12-21 2022-03-25 江西省水利科学院 基于改进yolo模型的堤防管涌险情智能识别方法
CN114545965A (zh) * 2021-12-31 2022-05-27 中国人民解放军国防科技大学 一种基于深度学习的无人机圩堤管涌巡查系统及方法
CN115690614A (zh) * 2022-10-10 2023-02-03 武汉兴图新科电子股份有限公司 一种提高堤防管涌数据采集精度的试验方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Hydro-Dams Security Assessment by Visible and Infrared Image Fusion》;Mihaela Gordan等;《IFAC Workshop ICPS’07》;第2-4节，图1-6 *
《基于被动红外热成像的土石堤坝渗漏探测试验研究》;马仁练 等;《水利学报》;第53卷(第1期);第4.2节 *

Also Published As

Publication number Publication date
CN116721136A (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
US9251420B2 (en) System for mapping and identification of plants using digital image processing and route generation
US8135174B2 (en) Automatic image object identification using threshold gradient magnitude based on terrain type
CN111028255B (zh) 基于先验信息与深度学习的农田区域预筛选方法及装置
CN111046613B (zh) 基于路径追踪的最佳河道计算方法及基于多时相遥感影像的河网提取方法
Devereux et al. An efficient image segmentation algorithm for landscape analysis
CN113255580A (zh) 抛洒物识别、车辆抛洒滴漏识别方法和装置
CN110009054B (zh) 一种利用几何与强度特征的分层次机载LiDAR点云分类方法
CN116721136B (zh) 管涌险情识别方法、电子设备及存储介质
CN110929739A (zh) 一种自动化的不透水面范围遥感迭代提取方法
CN112967286B (zh) 一种新增建设用地检测方法及装置
CN114550005A (zh) 一种自然保护区内建筑物识别方法及系统
CN114494281A (zh) 基于增强型燃烧指数的中小型火烧迹地自动提取方法
Arrahmah et al. Evaluation of SSD Architecture for Small Size Object Detection: A Case Study on UAV Oil Pipeline Monitoring
CN114037922A (zh) 一种基于层级上下文网络的航拍图像分割方法
CN113379738A (zh) 一种基于图像的疫木检测与定位方法及系统
CN114140703A (zh) 一种森林松材线虫病害智能识别方法及系统
Du et al. Shadow detection in high-resolution remote sensing image based on improved K-means
Shen et al. Individual tree location detection by high-resolution RGB satellite imagery in urban area
Afriansyah et al. Image Mapping Detection of Green Areas Using Speed Up Robust Features
Wang et al. Information Extraction of the Vehicle from High-Resolution Remote Sensing Image Based on Convolution Neural Network
López et al. Multi-Spectral Imaging for Weed Identification in Herbicides Testing
Djenaliev et al. Extraction of built-up areas from Landsatimagery using the object-oriented classificationmethod
Yang et al. A new framework for GEOBIA: accurate individual plant extraction and detection using high-resolution RGB data from UAVs
CN114663790B (zh) 一种智能遥感测绘方法及系统
Poy et al. Pilot Study on Tree Hazard Risk Assessment with Limited Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant