CN116758441A - 一种无人机集群智能调度管理系统 - Google Patents
一种无人机集群智能调度管理系统 Download PDFInfo
- Publication number
- CN116758441A CN116758441A CN202310723287.XA CN202310723287A CN116758441A CN 116758441 A CN116758441 A CN 116758441A CN 202310723287 A CN202310723287 A CN 202310723287A CN 116758441 A CN116758441 A CN 116758441A
- Authority
- CN
- China
- Prior art keywords
- target
- pixel point
- search window
- cluster
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000694 effects Effects 0.000 claims abstract description 28
- 238000004458 analytical method Methods 0.000 claims abstract description 24
- 238000012216 screening Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 14
- 230000000875 corresponding effect Effects 0.000 claims description 383
- 238000001914 filtration Methods 0.000 claims description 18
- 230000002596 correlated effect Effects 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 4
- 238000007726 management method Methods 0.000 description 31
- 239000000463 material Substances 0.000 description 12
- 230000008569 process Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 239000012925 reference material Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000013439 planning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Remote Sensing (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
Abstract
本发明涉及图像去噪技术领域,具体涉及一种无人机集群智能调度管理系统,该系统包括:通过多个模块之间的相互配合可以实现以下步骤:获取待调度无人机区域对应的目标红外图像;确定噪声干扰指标;从预设搜索窗口集合中筛选出最优搜索窗口;从每个目标像素点对应的最优搜索窗口中筛选出参考像素点集合;对目标像素点和参考像素点对应的邻域窗口进行差异分析处理;对参考像素点集合中的参考像素点进行聚类分组处理;确定目标权重;对目标像素点进行自适应非局部均值去噪;对无人机集群进行调度管理。本发明通过对目标红外图像进行去噪,解决了对红外图像进行去噪的效果较差的技术问题,从而提高了对无人机集群进行调度管理的准确度。
Description
技术领域
本发明涉及图像去噪技术领域,具体涉及一种无人机集群智能调度管理系统。
背景技术
随着科技的发展,无人机的应用越来越广泛,例如,无人机可以应用于为灾情现场的人员提供救援物资。为了提高无人机救援效率,往往需要基于采集的待调度无人机区域的红外图像,对无人机集群进行调度管理。其中,待调度无人机区域可以是需要进行无人机调度的区域。比如,待调度无人机区域可以是需要无人机进行救援的火灾现场。由于采集的红外图像中往往包含影响图像清晰度的噪声,从而往往影响后续对无人机集群进行调度管理的准确度,因此为了提高对无人机集群进行调度管理的准确度,往往需要对采集的红外图像进行去噪。目前,对图像进行去噪时,通常采用的方式为:采用预设尺寸的搜索窗口,对图像进行非局部均值去噪,得到去噪后的图像。
然而,当采用非局部均值去噪的方式,对待调度无人机区域的红外图像进行去噪时,经常会存在如下技术问题:
预设尺寸往往是基于人工经验设置的尺寸,当采用人工的方式,设置搜索窗口的尺寸时,往往是凭借人为的主观经验对搜索窗口的尺寸进行设置,作出的设置结果往往不准确,因此,当采用人工的方式,设置搜索窗口的尺寸时,往往导致搜索窗口尺寸设置的准确度低下,从而导致对红外图像进行去噪的效果较差,进而往往导致对无人机集群进行调度管理的准确度低下。
发明内容
本发明的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本发明的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
为了解决由于图像去噪效果不好导致的对无人机集群进行调度管理的准确度低下的技术问题,本发明提出了一种无人机集群智能调度管理系统。
本发明提供了一种无人机集群智能调度管理系统,该系统包括:
图像获取模块,用于获取待调度无人机区域对应的目标红外图像;
效果分析模块,用于根据预设搜索窗口集合中的每个不同尺寸的预设搜索窗口,对所述目标红外图像进行非局部均值去噪效果分析处理,得到所述预设搜索窗口对应的噪声干扰指标;
窗口筛选模块,用于根据噪声干扰指标,从预设搜索窗口集合中筛选出最优搜索窗口;
像素点筛选模块,用于从所述目标红外图像中的每个目标像素点对应的最优搜索窗口中筛选出参考像素点集合;
差异分析模块,用于对每个目标像素点和每个参考像素点对应的邻域窗口进行差异分析处理,得到所述目标像素点和所述参考像素点之间的目标差异指标;
聚类分组模块,用于根据目标差异指标,对每个目标像素点对应的参考像素点集合中的各个参考像素点进行聚类分组处理,得到所述目标像素点对应的相似聚类簇和差别聚类簇集合;
确定模块,用于根据目标差异指标,确定每个目标像素点对应的相似聚类簇对应的目标权重和差别聚类簇集合中的每个参考像素点对应的目标权重;
自适应非局部均值模块,用于根据所述目标红外图像中的每个目标像素点对应的相似聚类簇对应的目标权重和差别聚类簇集合中的各个参考像素点对应的目标权重,对所述目标像素点进行自适应非局部均值去噪,得到目标去噪图像;
调度管理模块,用于根据所述目标去噪图像,对无人机集群进行调度管理。
可选地,所述根据预设搜索窗口集合中的每个不同尺寸的预设搜索窗口,对所述目标红外图像进行非局部均值去噪效果分析处理,得到所述预设搜索窗口对应的噪声干扰指标,包括:
对所述目标红外图像进行边缘检测,得到目标边缘点集合;
根据所述目标边缘点集合,确定所述预设搜索窗口集合中的每个预设搜索窗口对应的噪声干扰指标。
可选地,所述根据所述目标边缘点集合,确定所述预设搜索窗口集合中的每个预设搜索窗口对应的噪声干扰指标,包括:
将所述预设搜索窗口,确定为所述目标边缘点集合中的每个目标边缘点对应的搜索窗口;
将每个目标边缘点对应的搜索窗口中梯度大小相同的边缘像素点,划分为一个边缘像素点组,得到所述目标边缘点在所述预设搜索窗口对应的边缘像素点组集合;
将所述边缘像素点组集合中边缘像素点组的数量,确定为所述目标边缘点在所述预设搜索窗口对应的梯度类型数量;
根据所述边缘像素点组集合和所述目标边缘点对应的搜索窗口,确定所述目标边缘点在所述预设搜索窗口对应的梯度复杂熵;
将所述目标边缘点集合中所有目标边缘点在所述预设搜索窗口对应的梯度复杂熵的方差,确定为所述预设搜索窗口对应的参考复杂指标;
将所述目标边缘点集合中目标边缘点的数量,确定为第一数量;
将所述目标边缘点集合中的各个目标边缘点在所述预设搜索窗口对应的梯度类型数量的累加值,确定为所述预设搜索窗口对应的第二数量;
将所述预设搜索窗口对应的第二数量与所述第一数量的比值,确定为所述预设搜索窗口对应的第一滤波指标;
根据所述预设搜索窗口对应的第一滤波指标和参考复杂指标,确定所述预设搜索窗口对应的噪声干扰指标,其中,第一滤波指标与噪声干扰指标呈负相关,参考复杂指标与噪声干扰指标呈正相关。
可选地,所述根据所述边缘像素点组集合和所述目标边缘点对应的搜索窗口,确定所述目标边缘点在所述预设搜索窗口对应的梯度复杂熵,包括:
将所述边缘像素点组集合中的每个边缘像素点组中边缘像素点的数量,在所述目标边缘点对应的搜索窗口中边缘像素点的数量中的占比,确定为目标占比,得到所述目标边缘点在所述预设搜索窗口对应的目标占比集合;
根据所述目标占比集合,确定所述目标边缘点在所述预设搜索窗口对应的梯度复杂熵。
可选地,所述对每个目标像素点和每个参考像素点对应的邻域窗口进行差异分析处理,得到所述目标像素点和所述参考像素点之间的目标差异指标,包括:
将所述目标像素点对应的邻域窗口和所述参考像素点对应的邻域窗口内,相同位置处的像素点对应的灰度值的差值的平方,确定为第一差异,得到所述目标像素点和所述参考像素点之间的第一差异集合;
根据所述第一差异集合,确定所述目标像素点和所述参考像素点之间的目标差异指标,其中,第一差异集合中的第一差异与目标差异指标呈正相关。
可选地,所述根据目标差异指标,确定每个目标像素点对应的相似聚类簇对应的目标权重和差别聚类簇集合中的每个参考像素点对应的目标权重,包括:
根据每个目标像素点和每个参考像素点之间的目标差异指标,确定所述参考像素点对应的第一权重,其中,目标差异指标与第一权重呈负相关;
将所述差别聚类簇集合中的每个参考像素点对应的第一权重,确定为所述差别聚类簇集合中的每个参考像素点对应的目标权重;
根据所述相似聚类簇中的各个参考像素点对应的第一权重,确定所述相似聚类簇对应的目标权重,其中,第一权重与目标权重呈正相关。
可选地,所述根据所述目标红外图像中的每个目标像素点对应的相似聚类簇对应的目标权重和差别聚类簇集合中的各个参考像素点对应的目标权重,对所述目标像素点进行自适应非局部均值去噪,得到目标去噪图像,包括:
将所述目标像素点对应的相似聚类簇的聚类中心对应的灰度值,确定为所述目标像素点对应的第一灰度指标;
将所述目标像素点对应的第一灰度指标和所述目标像素点对应的相似聚类簇对应的目标权重的乘积,确定为所述目标像素点对应的第二灰度指标;
将所述目标像素点对应的差别聚类簇集合中的每个参考像素点对应的灰度值和目标权重的乘积,确定为所述差别聚类簇集合中的每个参考像素点对应的第三灰度指标;
将所述差别聚类簇集合中的各个参考像素点对应的第三灰度指标的累加值,确定为所述目标像素点对应的第四灰度指标;
将所述目标像素点对应的第二灰度指标与第四灰度指标的和,确定为所述目标像素点对应的目标灰度指标;
将所述目标红外图像中的各个目标像素点对应的灰度值更新为对应的目标灰度指标,得到目标去噪图像。
可选地,所述根据目标差异指标,对每个目标像素点对应的参考像素点集合中的各个参考像素点进行聚类分组处理,得到所述目标像素点对应的相似聚类簇和差别聚类簇集合,包括:
将所述目标像素点和每个参考像素点之间的目标差异指标,确定为所述参考像素点对应的聚类指标;
从所述目标像素点对应的参考像素点集合中筛选出聚类指标最小的参考像素点,作为所述目标像素点对应的初始聚类中心;
根据预设差异阈值和所述目标像素点对应的初始聚类中心,对所述目标像素点对应的参考像素点集合中的各个参考像素点进行聚类,得到所述目标像素点对应的目标聚类簇集合;
对所述目标像素点对应的目标聚类簇集合进行分组处理,得到所述目标像素点对应的相似聚类簇和差别聚类簇集合。
可选地,所述对所述目标像素点对应的目标聚类簇集合进行分组处理,得到所述目标像素点对应的相似聚类簇和差别聚类簇集合,包括:
将所述目标像素点对应的初始聚类中心所在的聚类簇,确定为所述目标像素点对应的相似聚类簇;
将所述目标像素点对应的目标聚类簇集合中除了初始聚类中心所在的聚类簇之外的各个聚类簇,确定为差别聚类簇,得到所述目标像素点对应的差别聚类簇集合。
可选地,所述从所述目标红外图像中的每个目标像素点对应的最优搜索窗口中筛选出参考像素点集合,包括:
将所述目标像素点对应的最优搜索窗口中除了中心像素点之外的各个像素点,确定为参考像素点,得到所述目标像素点对应的参考像素点集合。
本发明具有如下有益效果:
本发明的一种无人机集群智能调度管理系统,通过对目标红外图像进行去噪,解决了对红外图像进行去噪的效果较差的技术问题,从而提高了对无人机集群进行调度管理的准确度。首先,由于目标红外图像往往包含待调度无人机区域的环境状态信息,因此获取待调度无人机区域对应的目标红外图像可以便于后续基于去噪后的目标红外图像,对无人机集群进行调度管理。接着,由于采用不同的搜索窗口对图像进行非局部均值去噪的效果往往不同,因此基于预设搜索窗口集合中的每个预设搜索窗口,对目标红外图像进行非局部均值去噪效果分析处理,量化了每个预设搜索窗口对应的噪声干扰指标,从而在一定程度上降低了人为的主观影响,进而可以使后续筛选的最优搜索窗口更加的准确,从而可以提高后续对目标红外图像进行去噪的效果。然后,从目标红外图像中的每个目标像素点对应的最优搜索窗口中筛选出参考像素点集合,可以便于后续对每个目标像素点进行精确去噪。之后,综合考虑目标像素点和参考像素点之间的目标差异指标,可以提高相似聚类簇和差别聚类簇集合确定的准确度,并且可以提高目标权重确定的准确度。继续,根据目标权重,对目标红外图像中的每个目标像素点进行自适应非局部均值去噪,提高了对目标红外图像进行去噪的精确度。最后,基于目标去噪图像,实现了对无人机集群的调度管理,并且本发明量化了多个与去噪相关的指标,所以相较于采用人工预设的搜索窗口,对图像进行非局部均值去噪,本发明比较客观的确定了最优搜索窗口,并且综合考虑了参考像素点集合、目标差异指标、相似聚类簇、差别聚类簇集合和目标权重,因此本发明对目标红外图像中的每个目标像素点进行自适应非局部均值去噪,提高了图像去噪的精确度,从而提高了对无人机集群进行调度管理的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明的一种无人机集群智能调度管理系统的结构示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一个实施例。此外,一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明提供了一种无人机集群智能调度管理系统,该系统包括:
图像获取模块,用于获取待调度无人机区域对应的目标红外图像;
效果分析模块,用于根据预设搜索窗口集合中的每个预设搜索窗口,对目标红外图像进行非局部均值去噪效果分析处理,得到预设搜索窗口对应的噪声干扰指标;
窗口筛选模块,用于根据噪声干扰指标,从预设搜索窗口集合中筛选出最优搜索窗口;像素点筛选模块,用于从目标红外图像中的每个目标像素点对应的最优搜索窗口中筛选出参考像素点集合;
差异分析模块,用于对每个目标像素点和每个参考像素点对应的邻域窗口进行差异分析处理,得到目标像素点和参考像素点之间的目标差异指标;
聚类分组模块,用于根据目标差异指标,对每个目标像素点对应的参考像素点集合中的各个参考像素点进行聚类分组处理,得到目标像素点对应的相似聚类簇和差别聚类簇集合;
确定模块,用于根据目标差异指标,确定每个目标像素点对应的相似聚类簇对应的目标权重和差别聚类簇集合中的每个参考像素点对应的目标权重;
自适应非局部均值模块,用于根据目标权重,对目标红外图像中的每个目标像素点进行自适应非局部均值去噪,得到目标去噪图像;
调度管理模块,用于根据目标去噪图像,对无人机集群进行调度管理。
参考图1,示出了根据本发明的一种无人机集群智能调度管理系统的结构示意图。该无人机集群智能调度管理系统,包括:
图像获取模块101,用于获取待调度无人机区域对应的目标红外图像。
在一些实施例中,可以获取待调度无人机区域对应的目标红外图像。
其中,待调度无人机区域可以是需要进行无人机调度的区域。目标红外图像可以是待调度无人机区域的红外图像。
需要说明的是,由于目标红外图像往往包含待调度无人机区域的环境状态信息,因此获取待调度无人机区域对应的目标红外图像可以便于后续基于去噪后的目标红外图像,对无人机集群进行调度管理。
作为示例,可以通过安装在待调度无人机区域的红外遥感器,采集待调度无人机区域对应的目标红外图像。
作为又一示例,可以通过安装在无人机上的红外遥感器,采集待调度无人机区域对应的目标红外图像。
需要说明的是,城市突发事件往往存在事故现场环境复杂,不可控因素多,次生险情隐蔽性强等特点。在各类城市危险任务场合,人工应急支持往往面临着应急响应不及时、现场情况反馈不全面、城市交通堵塞和意外人员伤亡等缺点。如地震、火灾等,灾情现场受观察条件限制,救援人员在信息缺失的情况下贸然进场的危险性极大,尤其是夜间环境下的救援难度会直线上升。现有针对此类城市突发情况,往往通过无人机调度平台指挥操控无人机集群提供应急支持保障,为城市突发情况全过程提供完整的、多维度的和快速响应的无人机防灾减灾服务,因此待调度无人机区域可以是事故现场所在的区域。
火灾是比较常见的城市突发事件,现有利用无人机群搭载各式传感器对灾情进行多方位监测,如高分辨率相机、红外线摄像头、激光雷达等,为救援人员提供信息支持。但是灾情现场一般都存在极大的环境破坏,包括信号被中断、浓烟遮蔽视线、大面积停电或燃气泄漏等情况,往往都会导致夜间环境中的红外辐射强度下降,从而影响红外相机的探测能力和成像质量。无人机飞行调度平台除了派遣、规划无人机飞行路径之外,往往还需要对无人机采集的灾情数据进行高效管理,为了使救援无人机群在灾情监测、搜救等方面最大发挥作用,无人机调度平台往往需要对无人机采集的红外图像进行去噪处理,本发明的主要改进点是对红外图像进行去噪处理。
无人机调度平台可以包括:无人机基本信息管理模块、可视化位置监控模块、巡视路线规划模块、空域计划申请模块、任务检测管理模块、采集数据管理和储存模块、实时视频及视频储存管理模块、数据预处理模块、重大应急事件管理模块和无人机集群控制模块。
当灾情发生时,根据初步灾情信息人工判定,或利用已训练神经网络评估灾情规模、等级,派遣对应数量的无人机前往灾情现场,并根据建筑物群以及现场环境规划巡视路线。派遣的无人机群达到现场后,无人机飞控系统自动按照无人机调度平台预定巡视规划路线和预定任务安排环绕灾情现场,在不同高度、角度下进行多方位的监测作业,其搭载的GPS(Global Positioning System,全球定位系统)定位、无线通信、传输功能可以实现多台无人机协同监测。将灾情实时动态以高清影像、音频、红外图像等形式反馈至调度平台。其中视频影像和音频数据在火灾现场受限太大,无法发挥有效作用,对于火灾热源检测或搜救作业而言,红外图像更为可靠,因此本发明采集目标红外图像,用于后续的处理。
由于红外图像(比如火灾现场的红外图像)受到空气湍流扰动,图像信息往往比较低频,且由于噪声来源比较复杂,往往存在多种噪声,因此可以采用非局部均值去噪算法,对红外图像进行去噪。该算法通过对图像中具有相似纹理的像素点进行加权平均来恢复图像。由于该方法往往不需要先验信息,适用于多种类型的噪声去除,如高斯白噪声、椒盐噪声、孤立异常点等。
效果分析模块102,用于根据预设搜索窗口集合中的每个不同尺寸的预设搜索窗口,对目标红外图像进行非局部均值去噪效果分析处理,得到预设搜索窗口对应的噪声干扰指标。
在一些实施例中,可以根据预设搜索窗口集合中的每个不同尺寸的预设搜索窗口,对上述目标红外图像进行非局部均值去噪效果分析处理,得到上述预设搜索窗口对应的噪声干扰指标。
其中,预设搜索窗口集合中的预设搜索窗口可以是预先设置的不同尺寸的搜索窗口。预设搜索窗口可以是正方形窗口。预设搜索窗口的边长可以是奇数。例如,若预设搜索窗口集合中预设搜索窗口的数量为4,则预设搜索窗口集合可以包括:15×15的搜索窗口、17×17的搜索窗口、19×19的搜索窗口和21×21的搜索窗口。
需要说明的是,由于采用不同的搜索窗口对图像进行非局部均值去噪的效果往往不同,因此基于预设搜索窗口集合中的每个预设搜索窗口,对目标红外图像进行非局部均值去噪效果分析处理,量化了每个预设搜索窗口对应的噪声干扰指标,从而在一定程度上降低了人为的主观影响,进而可以使后续筛选的最优搜索窗口更加的准确,从而可以提高后续对目标红外图像进行去噪的效果。
作为示例,本步骤可以包括以下步骤:
第一步,对上述目标红外图像进行边缘检测,得到目标边缘点集合。
其中,目标边缘点集合可以包括:目标红外图像中的各个边缘像素点。
例如,可以采用Sobel算子(Sobel operator,索贝尔算子),对目标红外图像进行边缘检测,得到目标边缘点集合。
第二步,根据上述目标边缘点集合,确定上述预设搜索窗口集合中的每个预设搜索窗口对应的噪声干扰指标。
例如,根据上述目标边缘点集合,确定上述预设搜索窗口集合中的每个预设搜索窗口对应的噪声干扰指标可以包括以下子步骤:
第一子步骤,将上述预设搜索窗口,确定为上述目标边缘点集合中的每个目标边缘点对应的搜索窗口。
其中,目标边缘点可以位于该目标边缘点对应的搜索窗口的中心位置。搜索窗口可以是参与滤波的窗口。
第二子步骤,将每个目标边缘点对应的搜索窗口中梯度大小相同的边缘像素点,划分为一个边缘像素点组,得到上述目标边缘点在上述预设搜索窗口对应的边缘像素点组集合。
其中,边缘像素点组可以包括:搜索窗口中梯度大小相同的边缘像素点。
比如,若某个目标边缘点对应的搜索窗口包括:第一边缘像素点、第二边缘像素点、第三边缘像素点、第四边缘像素点、第五边缘像素点和第六边缘像素点,并且第一边缘像素点和第二边缘像素点对应的梯度大小相等,第三边缘像素点、第四边缘像素点和第五边缘像素点对应的梯度大小相等,则边缘像素点组集合可以包括3个边缘像素点组,具体可以为:{第一边缘像素点,第二边缘像素点}、{第三边缘像素点,第四边缘像素点,第五边缘像素点}和{第六边缘像素点}。
第三子步骤,将上述边缘像素点组集合中边缘像素点组的数量,确定为上述目标边缘点在上述预设搜索窗口对应的梯度类型数量。
其中,预设搜索窗口对应的梯度类型数量可以表征该预设搜索窗口中梯度大小不同的边缘像素点的种数。
第四子步骤,根据上述边缘像素点组集合和上述目标边缘点对应的搜索窗口,确定上述目标边缘点在上述预设搜索窗口对应的梯度复杂熵。
比如,根据上述边缘像素点组集合和上述目标边缘点对应的搜索窗口,确定上述目标边缘点在上述预设搜索窗口对应的梯度复杂熵可以包括以下步骤:
首先,将上述边缘像素点组集合中的每个边缘像素点组中边缘像素点的数量,在上述目标边缘点对应的搜索窗口中边缘像素点的数量中的占比,确定为目标占比,得到上述目标边缘点在上述预设搜索窗口对应的目标占比集合。
其中,某个目标边缘点在某个预设搜索窗口对应的目标占比集合可以包括:该目标边缘点在该预设搜索窗口对应的边缘像素点组集合中的各个边缘像素点组中边缘像素点的数量,在该目标边缘点对应的搜索窗口中边缘像素点的数量中的占比。该目标边缘点在该预设搜索窗口对应的边缘像素点组集合中边缘像素点的数量可以等于该目标边缘点对应的搜索窗口中边缘像素点的数量。
如,若搜索窗口中边缘像素点的数量为9,边缘像素点组集合中的某个边缘像素点组中边缘像素点的数量为2,则目标占比可以为
接着,根据上述目标占比集合,确定上述目标边缘点在上述预设搜索窗口对应的梯度复杂熵。
如,确定目标边缘点在预设搜索窗口对应的梯度复杂熵对应的公式可以为:
其中,Hij是目标边缘点集合中第j个目标边缘点,在预设搜索窗口集合中第i个预设搜索窗口对应的梯度复杂熵。nij是第j个目标边缘点在第i个预设搜索窗口对应的边缘像素点组集合中边缘像素点组的数量。Gij是第j个目标边缘点对应的搜索窗口中边缘像素点的数量,此时的搜索窗口为第i个预设搜索窗口。Gijv是第j个目标边缘点在第i个预设搜索窗口对应的边缘像素点组集合中,第v个边缘像素点组中边缘像素点的数量。是第j个目标边缘点在第i个预设搜索窗口对应的边缘像素点组集合中,第v个边缘像素点组中边缘像素点的数量,在第j个目标边缘点对应的搜索窗口(第i个预设搜索窗口)中边缘像素点的数量中的占比,也就是目标占比。/>是以自然常数为底/>的对数。
j是目标边缘点集合中目标边缘点的序号。i是预设搜索窗口集合中预设搜索窗口的序号。
需要说明的是,当Hij越大时,往往说明第j个目标边缘点对应的第i个预设搜索窗口内边缘像素点的梯度大小越复杂,往往说明第j个目标边缘点对应的第i个预设搜索窗口内的信息越复杂。其中,第j个目标边缘点对应的第i个预设搜索窗口可以是以第j个目标边缘点为中心像素点,并且尺寸与第i个预设搜索窗口尺寸相同的搜索窗口。
第五子步骤,将上述目标边缘点集合中所有目标边缘点在上述预设搜索窗口对应的梯度复杂熵的方差,确定为上述预设搜索窗口对应的参考复杂指标。
第六子步骤,将上述目标边缘点集合中目标边缘点的数量,确定为第一数量。
其中,第一数量可以是表征目标红外图像中边缘像素点的数量。
第七子步骤,将上述目标边缘点集合中的各个目标边缘点在上述预设搜索窗口对应的梯度类型数量的累加值,确定为上述预设搜索窗口对应的第二数量。
第八子步骤,将上述预设搜索窗口对应的第二数量与上述第一数量的比值,确定为上述预设搜索窗口对应的第一滤波指标。
第九子步骤,根据上述预设搜索窗口对应的第一滤波指标和参考复杂指标,确定上述预设搜索窗口对应的噪声干扰指标。
其中,第一滤波指标可以与噪声干扰指标呈负相关。参考复杂指标可以与噪声干扰指标呈正相关。
比如,确定预设搜索窗口对应的噪声干扰指标对应的公式可以为:
其中,Qi是预设搜索窗口集合中第i个预设搜索窗口对应的噪声干扰指标。σi是第i个预设搜索窗口对应的参考复杂指标,也就是目标边缘点集合中所有目标边缘点在第i个预设搜索窗口对应的梯度复杂熵的方差。Ai是第i个预设搜索窗口对应的第一滤波指标。σi与Qi呈正相关。Ai与Qi呈负相关。nij是第j个目标边缘点在第i个预设搜索窗口对应的梯度类型数量,也就是第j个目标边缘点在第i个预设搜索窗口对应的边缘像素点组集合中边缘像素点组的数量。M是第一数量,也就是目标边缘点集合中目标边缘点的数量。是第i个预设搜索窗口对应的第二数量,也就是目标边缘点集合中的各个目标边缘点在第i个预设搜索窗口对应的梯度类型数量的累加值。j是目标边缘点集合中目标边缘点的序号。i是预设搜索窗口集合中预设搜索窗口的序号。
需要说明的是,当σi越小时,往往说明目标边缘点集合中的各个目标边缘点对应的第i个预设搜索窗口内梯度复杂情况越稳定;往往说明采用第i个预设搜索窗口,对目标红外图像进行非局部均值去噪时可以使得非局部均值滤波越接近熵极限;往往说明采用第i个预设搜索窗口,对目标红外图像进行非局部均值去噪时,目标红外图像的细节信息被保留的越好。为了避免预设搜索窗口过小时可能导致确定的噪声干扰指标也比较小,从而可能导致对去噪效果好坏的误判,因此将作为σi的权重,可以避免将过小的预设搜索窗口,误判为最优搜索窗口。搜索窗口过小时往往导致噪声残留。当Ai越小时,往往说明目标边缘点集合中的各个目标边缘点在第i个预设搜索窗口对应的梯度类型数量相对越少,往往说明目标边缘点集合中的各个目标边缘点在第i个预设搜索窗口中的梯度类型越少,往往说明第i个预设搜索窗口越可能是过小的搜索窗口,往往说明采用第i个预设搜索窗口进行去噪的效果越不好,往往说明越需要拉大第i个预设搜索窗口对应的噪声干扰指标。因此当Qi越小时,往往说明第i个预设搜索窗口可以使非局部均值滤波在目标红外图像上遍历时越接近熵极限,往往可以使参与加权滤波过程的各个边缘像素点对应的梯度类型的数量越接近,且在一定程度上限制了相似度冗余,可以更好的保留局部图像细节,往往说明采用第i个预设搜索窗口,对目标红外图像进行去噪的效果越好。
窗口筛选模块103,用于根据噪声干扰指标,从预设搜索窗口集合中筛选出最优搜索窗口。
在一些实施例中,可以根据噪声干扰指标,从预设搜索窗口集合中筛选出最优搜索窗口。
作为示例,可以从上述预设搜索窗口集合中筛选出噪声干扰指标最小的预设搜索窗口,作为最优搜索窗口。
需要说明的是,预设搜索窗口对应的噪声干扰指标越小,采用预设搜索窗口进行去噪的效果往往越好,因此从预设搜索窗口集合中筛选出的噪声干扰指标最小的预设搜索窗口,往往是预设搜索窗口集合中去噪效果最好的预设搜索窗口。
像素点筛选模块104,用于从目标红外图像中的每个目标像素点对应的最优搜索窗口中筛选出参考像素点集合。
在一些实施例中,可以从上述目标红外图像中的每个目标像素点对应的最优搜索窗口中筛选出参考像素点集合。
其中,目标像素点可以位于该目标像素点对应的最优搜索窗口的中心位置。
需要说明的是,从目标红外图像中的每个目标像素点对应的最优搜索窗口中筛选出参考像素点集合,可以便于后续对每个目标像素点进行精确去噪。
作为示例,可以将上述目标像素点对应的最优搜索窗口中除了中心像素点之外的各个像素点,确定为参考像素点,得到上述目标像素点对应的参考像素点集合。其中,中心像素点可以为位于最优搜索窗口的中心位置处的像素点。
又如,可以将目标红外图像中第一个目标像素点记为第一目标像素点,第一目标像素点对应的参考像素点集合可以包括:第一目标像素点对应的最优搜索窗口中除了第一目标像素点之外的像素点。
差异分析模块105,用于对每个目标像素点和每个参考像素点对应的邻域窗口进行差异分析处理,得到目标像素点和参考像素点之间的目标差异指标。
在一些实施例中,可以对每个目标像素点和每个参考像素点对应的邻域窗口进行差异分析处理,得到上述目标像素点和上述参考像素点之间的目标差异指标。
需要说明的是,目标像素点和参考像素点之间的目标差异指标越大,往往说明该目标像素点和该参考像素点之间的差异越大。
作为示例,本步骤可以包括以下步骤:
第一步,将上述目标像素点对应的邻域窗口和上述参考像素点对应的邻域窗口内,相同位置处的像素点对应的灰度值的差值的平方,确定为第一差异,得到上述目标像素点和上述参考像素点之间的第一差异集合。
其中,邻域窗口可以是预先设置的正方形窗口。邻域窗口的尺寸可以小于预设搜索窗口的尺寸。比如,邻域窗口可以是5×5的窗口。像素点可以位于该像素点对应的邻域窗口的中心位置。
例如,可以将目标像素点对应的邻域窗口和参考像素点对应的邻域窗口内,相同位置处的像素点对应的灰度值的差值的平方,确定为第一差异。比如,目标像素点对应的邻域窗口的中心位置与参考像素点对应的邻域窗口的中心位置可以为相同位置。
第二步,根据上述第一差异集合,确定上述目标像素点和上述参考像素点之间的目标差异指标。
其中,第一差异集合中的第一差异可以与目标差异指标呈正相关。
例如,确定目标像素点和参考像素点之间的目标差异指标对应的公式可以为:
其中,MSEtb是目标红外图像中第t个目标像素点和第t个目标像素点对应的参考像素点集合中,第b个参考像素点之间的目标差异指标。n是邻域窗口内像素点的数量。比如,若邻域窗口是5×5的窗口,则n可以是25。Itd是第t个目标像素点对应的邻域窗口内第d个像素点对应的灰度值。Itbd是第t个目标像素点对应的参考像素点集合中,第b个参考像素点对应的邻域窗口内第d个像素点对应的灰度值。(Itd-Itbd)2与MSEtb呈正相关。d是邻域窗口内像素点的序号。t是目标红外图像中目标像素点的序号。b是第t个目标像素点对应的参考像素点集合中参考像素点的序号。
需要说明的是,当MSEtb越大时,往往说明第t个目标像素点对应的邻域窗口和第b个参考像素点对应的邻域窗口之间的差异越大,往往说明第t个目标像素点对应的邻域窗口和第b个参考像素点对应的邻域窗口之间的相似度越低。
聚类分组模块106,用于根据目标差异指标,对每个目标像素点对应的参考像素点集合中的各个参考像素点进行聚类分组,得到目标像素点对应的相似聚类簇和差别聚类簇集合。
在一些实施例中,可以根据目标差异指标,对每个目标像素点对应的参考像素点集合中的各个参考像素点进行聚类分组处理,得到上述目标像素点对应的相似聚类簇和差别聚类簇集合。
需要说明的是,综合考虑目标像素点和参考像素点之间的目标差异指标,可以提高相似聚类簇和差别聚类簇集合确定的准确度。
作为示例,本步骤可以包括以下步骤:
第一步,将上述目标像素点和每个参考像素点之间的目标差异指标,确定为上述参考像素点对应的聚类指标。
例如,可以将目标像素点和该目标像素点对应的参考像素点集合中第一个参考像素点之间的目标差异指标,确定为该目标像素点对应的参考像素点集合中第一个参考像素点对应的聚类指标。
第二步,从上述目标像素点对应的参考像素点集合中筛选出聚类指标最小的参考像素点,作为上述目标像素点对应的初始聚类中心。
其中,聚类指标最小的参考像素点可以是与目标像素点最相似的参考像素点。
第三步,根据预设差异阈值和上述目标像素点对应的初始聚类中心,对上述目标像素点对应的参考像素点集合中的各个参考像素点进行聚类,得到上述目标像素点对应的目标聚类簇集合。
其中,预设差异阈值可以是预先设置的认为参考像素点归属于聚类中心所在的聚类簇时,所允许的该参考像素点与聚类中心之间最大的聚类指标差异。参考像素点与聚类中心之间的聚类指标差异可以是参考像素点与聚类中心对应的聚类指标的差值的绝对值。目标像素点对应的目标聚类簇集合可以是对该目标像素点对应的参考像素点集合中的各个参考像素点进行聚类,得到的多个聚类簇。
例如,根据预设差异阈值和初始聚类中心,对参考像素点集合中的各个参考像素点进行聚类,得到目标聚类簇集合可以包括以下子步骤:
第一子步骤,将初始聚类中心对应的聚类指标和参考像素点集合中的每个参考像素点对应的聚类指标的差值的绝对值,确定为初始聚类中心和每个参考像素点之间的相似度差异。
第二子步骤,当初始聚类中心和参考像素点之间的相似度差异小于或等于预设差异阈值时,将初始聚类中心和参考像素点划分到同一个聚类簇。
第三子步骤,当初始聚类中心和参考像素点之间的相似度差异大于预设差异阈值时,将参考像素点划分到除了初始聚类中心所在的聚类簇之外的聚类簇。
第四步,对上述目标像素点对应的目标聚类簇集合进行分组处理,得到上述目标像素点对应的相似聚类簇和差别聚类簇集合。
例如,对上述目标像素点对应的目标聚类簇集合进行分组处理,得到上述目标像素点对应的相似聚类簇和差别聚类簇集合可以包括以下子步骤:
第一子步骤,将上述目标像素点对应的初始聚类中心所在的聚类簇,确定为上述目标像素点对应的相似聚类簇。
第二子步骤,将上述目标像素点对应的目标聚类簇集合中除了初始聚类中心所在的聚类簇之外的各个聚类簇,确定为差别聚类簇,得到上述目标像素点对应的差别聚类簇集合。
确定模块107,用于根据目标差异指标,确定每个目标像素点对应的相似聚类簇对应的目标权重和差别聚类簇集合中的每个参考像素点对应的目标权重。
在一些实施例中,可以根据目标差异指标,确定每个目标像素点对应的相似聚类簇对应的目标权重和差别聚类簇集合中的每个参考像素点对应的目标权重。
需要说明的是,综合考虑目标像素点和参考像素点之间的目标差异指标,可以提高目标权重确定的准确度。
作为示例,本步骤可以包括以下步骤:
第一步,根据每个目标像素点和每个参考像素点之间的目标差异指标,确定上述参考像素点对应的第一权重。
其中,目标差异指标可以与第一权重呈负相关。
例如,确定参考像素点对应的第一权重对应的公式可以为:
wtb=exp(-MSEtb)
其中,wtb是目标红外图像中第t个目标像素点对应的参考像素点集合中,第b个参考像素点对应的第一权重。MSEtb是第t个目标像素点和第b个参考像素点之间的目标差异指标。exp(-MSEtb)是自然常数的-MSEtb次方。t是目标红外图像中目标像素点的序号。b是第t个目标像素点对应的参考像素点集合中参考像素点的序号。
需要说明的是,由于MSEtb可以表征第t个目标像素点对应的邻域窗口和第b个参考像素点对应的邻域窗口之间的差异,因此当MSEtb越小时,往往说明第t个目标像素点对应的邻域窗口和第b个参考像素点对应的邻域窗口之间的相似度越高,往往说明第t个目标像素点和第b个参考像素点越相似,往往可以为第b个参考像素点设置更大的权重。
第二步,将上述差别聚类簇集合中的每个参考像素点对应的第一权重,确定为上述差别聚类簇集合中的每个参考像素点对应的目标权重。
例如,可以将目标像素点对应的差别聚类簇集合中的某个参考像素点对应的第一权重,确定为该参考像素点对应的目标权重。
第三步,根据上述相似聚类簇中的各个参考像素点对应的第一权重,确定上述相似聚类簇对应的目标权重。
其中,第一权重可以与目标权重呈正相关。
例如,确定相似聚类簇对应的目标权重对应的公式可以为:
其中,wt是目标红外图像中第t个目标像素点对应的相似聚类簇对应的目标权重。nt是第t个目标像素点对应的相似聚类簇中参考像素点的数量。wtc是第t个目标像素点对应的相似聚类簇中第c个参考像素点对应的第一权重。wtc与wt呈正相关。t是目标红外图像中目标像素点的序号。c是第t个目标像素点对应的相似聚类簇中参考像素点的序号。
需要说明的是,wt可以表征第t个目标像素点对应的相似聚类簇中所有像素点的总权重。
自适应非局部均值模块108,用于根据目标红外图像中的每个目标像素点对应的相似聚类簇对应的目标权重和差别聚类簇集合中的各个参考像素点对应的目标权重,对目标像素点进行自适应非局部均值去噪,得到目标去噪图像。
在一些实施例中,可以根据上述目标红外图像中的每个目标像素点对应的相似聚类簇对应的目标权重和差别聚类簇集合中的各个参考像素点对应的目标权重,对上述目标像素点进行自适应非局部均值去噪,得到目标去噪图像。
其中,目标去噪图像可以是对目标红外图像进行自适应非局部均值去噪后,得到的图像。无人机集群智能调度管理可以实现对多个无人机进行调度管理。
需要说明的是,根据目标权重,对目标红外图像中的每个目标像素点进行自适应非局部均值去噪,提高了对目标红外图像进行去噪的精确度。
作为示例,本步骤可以包括以下步骤:
第一步,将上述目标像素点对应的相似聚类簇的聚类中心对应的灰度值,确定为上述目标像素点对应的第一灰度指标。
第二步,将上述目标像素点对应的第一灰度指标和上述目标像素点对应的相似聚类簇对应的目标权重的乘积,确定为上述目标像素点对应的第二灰度指标。
第三步,将上述目标像素点对应的差别聚类簇集合中的每个参考像素点对应的灰度值和目标权重的乘积,确定为上述差别聚类簇集合中的每个参考像素点对应的第三灰度指标。
第四步,将上述差别聚类簇集合中的各个参考像素点对应的第三灰度指标的累加值,确定为上述目标像素点对应的第四灰度指标。
第五步,将上述目标像素点对应的第二灰度指标与第四灰度指标的和,确定为上述目标像素点对应的目标灰度指标。
例如,确定目标像素点对应的目标灰度指标对应的公式可以为:
其中,Bt是目标红外图像中第t个目标像素点对应的目标灰度指标。Bt1是第t个目标像素点对应的第二灰度指标。Bt2是第t个目标像素点对应的第四灰度指标。wt是第t个目标像素点对应的相似聚类簇对应的目标权重。It是第t个目标像素点对应的第一灰度指标,也就是第t个目标像素点对应的相似聚类簇的聚类中心对应的灰度值,相似聚类簇的聚类中心可以是初始聚类中心。Nt是第t个目标像素点对应的差别聚类簇集合中参考像素点的数量。wtr是第t个目标像素点对应的差别聚类簇集合中第r个参考像素点对应的目标权重。Itr是第t个目标像素点对应的差别聚类簇集合中第r个参考像素点对应的灰度值。wtr×Itr是第t个目标像素点对应的差别聚类簇集合中第r个参考像素点对应的第三灰度指标。t是目标红外图像中目标像素点的序号。r是第t个目标像素点对应的差别聚类簇集合中参考像素点的序号。
需要说明的是,当第t个目标像素点对应的邻域窗口和对应的参考像素点集合中的多个参考像素点对应的邻域窗口之间的相似度越高时,往往说明第t个目标像素点对应的邻域窗口和多个参考像素点对应的邻域窗口之间的冗余度可能越高。所以为相似聚类簇的聚类中心设置目标权重,可以拉大权重极差,可以避免由于为相似聚类簇中的每个像素点设置目标权重引起的过平滑问题,也就是可以避免较多对应的邻域窗口之间相似度接近使加权后图像过度平滑的问题。因此设置第t个目标像素点对应的去噪后的灰度值为Bt,使在最优搜索窗口下进行非局部均值滤波更容易接近熵极限,参与每个像素点非局部均值滤波的图像元素类型更均匀,且通过获取相似度冗余聚簇,就是相似聚类簇,合并权重值赋予最高相似度像素点的方式,可以抑制低频红外图像中相似度冗余导致的加权权重值分布过于平均致使图像平滑的问题,使局部细节信息更好的保留。
第六步,将上述目标红外图像中的各个目标像素点对应的灰度值更新为对应的目标灰度指标,得到目标去噪图像。
调度管理模块109,用于根据目标去噪图像,对无人机集群进行调度管理。
在一些实施例中,可以根据上述目标去噪图像,对无人机集群进行调度管理。
其中,无人机集群可以包括预设数量个无人机。预设数量可以是预先设置的数量。例如,预设数量可以是50。
需要说明的是,基于目标去噪图像,实现了对无人机集群的调度管理,并且本发明量化了多个与去噪相关的指标,所以相较于采用人工预设的搜索窗口,对图像进行非局部均值去噪,本发明比较客观的确定了最优搜索窗口,并且综合考虑了参考像素点集合、目标差异指标、相似聚类簇、差别聚类簇集合和目标权重,因此本发明对目标红外图像中的每个目标像素点进行自适应非局部均值去噪,提高了图像去噪的精确度,从而提高了对无人机集群进行调度管理的准确度。
作为示例,可以根据目标去噪图像,判断待调度无人机区域的环境状况,根据判断的环境状况,确定待调度无人机区域需要进行救援的无人机数量,即为目标数量,并从无人机集群中抽调目标数量个无人机到待调度无人机区域进行救援。
作为又一示例,若待调度无人机区域为发生火灾的区域,可以根据目标去噪图像,通过物资确定网络,确定待调度无人机区域的需要的物资,并派遣无人机集群中存放该物资的无人机到待调度无人机区域进行救援。
其中,物资确定网络可以用于判断受灾现场需要的物资情况。例如,物资确定网络可以是DNN(Deep Neural Networks,深度神经网络)。
可选地,物资确定网络的训练过程可以包括以下步骤:
第一步,收集多种不同火情的火灾现场图像。
其中,火灾现场图像可以是发生火灾区域的图像。
第二步,通过人工的方式,判断每种火灾现场图像对应的参考物资信息。
其中,火灾现场图像对应的参考物资信息可以包括该火灾现场图像对应的火灾现场需要的物资情况。
第三步,构建物资确定网络。
例如,可以构建DNN,并将构建的DNN作为训练前的物资确定网络。
第四步,根据收集的多种火灾现场图像和各种火灾现场图像对应的参考物资信息,对构建的物资确定网络进行训练,得到训练完成的物资确定网络。
例如,可以将收集的多种火灾现场图像作为训练集,将参考物资信息作为训练标签,对构建的物资确定网络进行训练,得到训练完成的物资确定网络。
综上,本发明量化了多个与去噪相关的指标,比较客观的确定了最优搜索窗口,使在最优搜索窗口下进行非局部均值滤波更容易接近熵极限,参与每个像素点非局部均值滤波的图像元素类型更均匀,且通过获取相似度冗余聚簇,也就是相似聚类簇,合并权重值赋予最高相似度像素点的方式,可以抑制低频红外图像中相似度冗余导致的加权权重值分布过于平均致使图像平滑的问题,使局部细节信息更好的保留。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种无人机集群智能调度管理系统,其特征在于,所述系统包括:
图像获取模块,用于获取待调度无人机区域对应的目标红外图像;
效果分析模块,用于根据预设搜索窗口集合中的每个不同尺寸的预设搜索窗口,对所述目标红外图像进行非局部均值去噪效果分析处理,得到所述预设搜索窗口对应的噪声干扰指标;
窗口筛选模块,用于根据噪声干扰指标,从预设搜索窗口集合中筛选出最优搜索窗口;
像素点筛选模块,用于从所述目标红外图像中的每个目标像素点对应的最优搜索窗口中筛选出参考像素点集合;
差异分析模块,用于对每个目标像素点和每个参考像素点对应的邻域窗口进行差异分析处理,得到所述目标像素点和所述参考像素点之间的目标差异指标;
聚类分组模块,用于根据目标差异指标,对每个目标像素点对应的参考像素点集合中的各个参考像素点进行聚类分组处理,得到所述目标像素点对应的相似聚类簇和差别聚类簇集合;
确定模块,用于根据目标差异指标,确定每个目标像素点对应的相似聚类簇对应的目标权重和差别聚类簇集合中的每个参考像素点对应的目标权重;
自适应非局部均值模块,用于根据所述目标红外图像中的每个目标像素点对应的相似聚类簇对应的目标权重和差别聚类簇集合中的各个参考像素点对应的目标权重,对所述目标像素点进行自适应非局部均值去噪,得到目标去噪图像;
调度管理模块,用于根据所述目标去噪图像,对无人机集群进行调度管理。
2.根据权利要求1所述的一种无人机集群智能调度管理系统,其特征在于,所述根据预设搜索窗口集合中的每个不同尺寸的预设搜索窗口,对所述目标红外图像进行非局部均值去噪效果分析处理,得到所述预设搜索窗口对应的噪声干扰指标,包括:
对所述目标红外图像进行边缘检测,得到目标边缘点集合;
根据所述目标边缘点集合,确定所述预设搜索窗口集合中的每个预设搜索窗口对应的噪声干扰指标。
3.根据权利要求2所述的一种无人机集群智能调度管理系统,其特征在于,所述根据所述目标边缘点集合,确定所述预设搜索窗口集合中的每个预设搜索窗口对应的噪声干扰指标,包括:
将所述预设搜索窗口,确定为所述目标边缘点集合中的每个目标边缘点对应的搜索窗口;
将每个目标边缘点对应的搜索窗口中梯度大小相同的边缘像素点,划分为一个边缘像素点组,得到所述目标边缘点在所述预设搜索窗口对应的边缘像素点组集合;
将所述边缘像素点组集合中边缘像素点组的数量,确定为所述目标边缘点在所述预设搜索窗口对应的梯度类型数量;
根据所述边缘像素点组集合和所述目标边缘点对应的搜索窗口,确定所述目标边缘点在所述预设搜索窗口对应的梯度复杂熵;
将所述目标边缘点集合中所有目标边缘点在所述预设搜索窗口对应的梯度复杂熵的方差,确定为所述预设搜索窗口对应的参考复杂指标;
将所述目标边缘点集合中目标边缘点的数量,确定为第一数量;
将所述目标边缘点集合中的各个目标边缘点在所述预设搜索窗口对应的梯度类型数量的累加值,确定为所述预设搜索窗口对应的第二数量;
将所述预设搜索窗口对应的第二数量与所述第一数量的比值,确定为所述预设搜索窗口对应的第一滤波指标;
根据所述预设搜索窗口对应的第一滤波指标和参考复杂指标,确定所述预设搜索窗口对应的噪声干扰指标,其中,第一滤波指标与噪声干扰指标呈负相关,参考复杂指标与噪声干扰指标呈正相关。
4.根据权利要求3所述的一种无人机集群智能调度管理系统,其特征在于,所述根据所述边缘像素点组集合和所述目标边缘点对应的搜索窗口,确定所述目标边缘点在所述预设搜索窗口对应的梯度复杂熵,包括:
将所述边缘像素点组集合中的每个边缘像素点组中边缘像素点的数量,在所述目标边缘点对应的搜索窗口中边缘像素点的数量中的占比,确定为目标占比,得到所述目标边缘点在所述预设搜索窗口对应的目标占比集合;
根据所述目标占比集合,确定所述目标边缘点在所述预设搜索窗口对应的梯度复杂熵。
5.根据权利要求1所述的一种无人机集群智能调度管理系统,其特征在于,所述对每个目标像素点和每个参考像素点对应的邻域窗口进行差异分析处理,得到所述目标像素点和所述参考像素点之间的目标差异指标,包括:
将所述目标像素点对应的邻域窗口和所述参考像素点对应的邻域窗口内,相同位置处的像素点对应的灰度值的差值的平方,确定为第一差异,得到所述目标像素点和所述参考像素点之间的第一差异集合;
根据所述第一差异集合,确定所述目标像素点和所述参考像素点之间的目标差异指标,其中,第一差异集合中的第一差异与目标差异指标呈正相关。
6.根据权利要求1所述的一种无人机集群智能调度管理系统,其特征在于,所述根据目标差异指标,确定每个目标像素点对应的相似聚类簇对应的目标权重和差别聚类簇集合中的每个参考像素点对应的目标权重,包括:
根据每个目标像素点和每个参考像素点之间的目标差异指标,确定所述参考像素点对应的第一权重,其中,目标差异指标与第一权重呈负相关;
将所述差别聚类簇集合中的每个参考像素点对应的第一权重,确定为所述差别聚类簇集合中的每个参考像素点对应的目标权重;
根据所述相似聚类簇中的各个参考像素点对应的第一权重,确定所述相似聚类簇对应的目标权重,其中,第一权重与目标权重呈正相关。
7.根据权利要求1所述的一种无人机集群智能调度管理系统,其特征在于,所述根据所述目标红外图像中的每个目标像素点对应的相似聚类簇对应的目标权重和差别聚类簇集合中的各个参考像素点对应的目标权重,对所述目标像素点进行自适应非局部均值去噪,得到目标去噪图像,包括:
将所述目标像素点对应的相似聚类簇的聚类中心对应的灰度值,确定为所述目标像素点对应的第一灰度指标;
将所述目标像素点对应的第一灰度指标和所述目标像素点对应的相似聚类簇对应的目标权重的乘积,确定为所述目标像素点对应的第二灰度指标;
将所述目标像素点对应的差别聚类簇集合中的每个参考像素点对应的灰度值和目标权重的乘积,确定为所述差别聚类簇集合中的每个参考像素点对应的第三灰度指标;
将所述差别聚类簇集合中的各个参考像素点对应的第三灰度指标的累加值,确定为所述目标像素点对应的第四灰度指标;
将所述目标像素点对应的第二灰度指标与第四灰度指标的和,确定为所述目标像素点对应的目标灰度指标;
将所述目标红外图像中的各个目标像素点对应的灰度值更新为对应的目标灰度指标,得到目标去噪图像。
8.根据权利要求1所述的一种无人机集群智能调度管理系统,其特征在于,所述根据目标差异指标,对每个目标像素点对应的参考像素点集合中的各个参考像素点进行聚类分组处理,得到所述目标像素点对应的相似聚类簇和差别聚类簇集合,包括:
将所述目标像素点和每个参考像素点之间的目标差异指标,确定为所述参考像素点对应的聚类指标;
从所述目标像素点对应的参考像素点集合中筛选出聚类指标最小的参考像素点,作为所述目标像素点对应的初始聚类中心;
根据预设差异阈值和所述目标像素点对应的初始聚类中心,对所述目标像素点对应的参考像素点集合中的各个参考像素点进行聚类,得到所述目标像素点对应的目标聚类簇集合;
对所述目标像素点对应的目标聚类簇集合进行分组处理,得到所述目标像素点对应的相似聚类簇和差别聚类簇集合。
9.根据权利要求8所述的一种无人机集群智能调度管理系统,其特征在于,所述对所述目标像素点对应的目标聚类簇集合进行分组处理,得到所述目标像素点对应的相似聚类簇和差别聚类簇集合,包括:
将所述目标像素点对应的初始聚类中心所在的聚类簇,确定为所述目标像素点对应的相似聚类簇;
将所述目标像素点对应的目标聚类簇集合中除了初始聚类中心所在的聚类簇之外的各个聚类簇,确定为差别聚类簇,得到所述目标像素点对应的差别聚类簇集合。
10.根据权利要求1所述的一种无人机集群智能调度管理系统,其特征在于,所述从所述目标红外图像中的每个目标像素点对应的最优搜索窗口中筛选出参考像素点集合,包括:
将所述目标像素点对应的最优搜索窗口中除了中心像素点之外的各个像素点,确定为参考像素点,得到所述目标像素点对应的参考像素点集合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310723287.XA CN116758441B (zh) | 2023-06-16 | 2023-06-16 | 一种无人机集群智能调度管理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310723287.XA CN116758441B (zh) | 2023-06-16 | 2023-06-16 | 一种无人机集群智能调度管理系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116758441A true CN116758441A (zh) | 2023-09-15 |
CN116758441B CN116758441B (zh) | 2024-01-26 |
Family
ID=87947384
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310723287.XA Active CN116758441B (zh) | 2023-06-16 | 2023-06-16 | 一种无人机集群智能调度管理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116758441B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117011195A (zh) * | 2023-10-07 | 2023-11-07 | 慧医谷中医药科技(天津)股份有限公司 | 一种辅助中医的人体红外成像数据处理系统 |
CN117633554A (zh) * | 2023-12-14 | 2024-03-01 | 艾信智慧医疗科技发展(苏州)有限公司 | 医用箱式物流传输监测及预警系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104268847A (zh) * | 2014-09-23 | 2015-01-07 | 西安电子科技大学 | 一种基于交互非局部均值滤波的红外与可见光图像融合方法 |
US20210104021A1 (en) * | 2019-10-02 | 2021-04-08 | Lg Electronics Inc. | Method and apparatus for processing image noise |
CN113222853A (zh) * | 2021-05-26 | 2021-08-06 | 武汉博宇光电系统有限责任公司 | 一种基于噪声估计的渐进式红外图像降噪方法 |
CN113888440A (zh) * | 2021-10-20 | 2022-01-04 | 上海热芯视觉科技有限公司 | 基于fpga的红外图像降噪方法及系统 |
-
2023
- 2023-06-16 CN CN202310723287.XA patent/CN116758441B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104268847A (zh) * | 2014-09-23 | 2015-01-07 | 西安电子科技大学 | 一种基于交互非局部均值滤波的红外与可见光图像融合方法 |
US20210104021A1 (en) * | 2019-10-02 | 2021-04-08 | Lg Electronics Inc. | Method and apparatus for processing image noise |
CN113222853A (zh) * | 2021-05-26 | 2021-08-06 | 武汉博宇光电系统有限责任公司 | 一种基于噪声估计的渐进式红外图像降噪方法 |
CN113888440A (zh) * | 2021-10-20 | 2022-01-04 | 上海热芯视觉科技有限公司 | 基于fpga的红外图像降噪方法及系统 |
Non-Patent Citations (3)
Title |
---|
张宁;宋小鹏;刘?;张鹏程;桂志国;: "基于直觉模糊散度的自适应非局部均值去噪算法", 测试技术学报, no. 01 * |
文武;黄地龙;郭曦榕;: "保信去噪在图像预处理中的应用", 红外技术, no. 07 * |
胡金蓉;黄增喜;王晓明;杜亚军;: "基于自适应搜索窗的非局部均值去噪算法", 成都大学学报(自然科学版), no. 03 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117011195A (zh) * | 2023-10-07 | 2023-11-07 | 慧医谷中医药科技(天津)股份有限公司 | 一种辅助中医的人体红外成像数据处理系统 |
CN117011195B (zh) * | 2023-10-07 | 2024-01-23 | 慧医谷中医药科技(天津)股份有限公司 | 一种辅助中医的人体红外成像数据处理系统 |
CN117633554A (zh) * | 2023-12-14 | 2024-03-01 | 艾信智慧医疗科技发展(苏州)有限公司 | 医用箱式物流传输监测及预警系统 |
CN117633554B (zh) * | 2023-12-14 | 2024-05-14 | 艾信智慧医疗科技发展(苏州)有限公司 | 医用箱式物流传输监测及预警系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116758441B (zh) | 2024-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111353413B (zh) | 一种输电设备低漏报率缺陷识别方法 | |
CN116758441B (zh) | 一种无人机集群智能调度管理系统 | |
CN108037770B (zh) | 基于人工智能的无人机输电线路巡检系统和方法 | |
CN106412501B (zh) | 一种视频的施工安全行为智能监控系统及其监控方法 | |
CN109255286B (zh) | 基于深度学习网络框架的无人机光学快速检测识别方法 | |
US11615620B2 (en) | Systems and methods of enforcing distancing rules | |
CN112633057B (zh) | 一种公交车内异常行为智能监控方法 | |
CN111915128B (zh) | 一种对地震诱发的次生滑坡灾后评估与救援辅助系统 | |
CN111223263A (zh) | 一种全自动综合型火灾预警响应系统 | |
CN111488803A (zh) | 一种融合目标检测和目标跟踪的机场目标行为理解系统 | |
CN111160149B (zh) | 基于运动场景及深度学习的车载人脸识别系统及方法 | |
CN113240249B (zh) | 基于无人机增强现实的城市工程质量智能评价方法及其系统 | |
CN111626199A (zh) | 面向大型多人车厢场景的异常行为分析方法 | |
CN108500992A (zh) | 一种多功能的移动安防机器人 | |
CN109377713A (zh) | 一种火灾预警方法及系统 | |
CN110619276A (zh) | 基于无人机移动监控的异常及暴力检测系统和方法 | |
US20220084133A1 (en) | Method and apparatus for processing an insurance claim | |
CN113450573A (zh) | 基于无人机图像识别的交通监测方法和交通监测系统 | |
CN116846059A (zh) | 一种用于电网巡检和监控的边缘检测系统 | |
CN115116137A (zh) | 基于轻量化YOLO v5网络模型与时空记忆机制的行人检测方法 | |
CN115294519A (zh) | 一种基于轻量化网络的异常事件检测及预警方法 | |
CN114283548A (zh) | 一种无人机火灾持续监测方法及其系统 | |
US20210357654A1 (en) | Systems and methods of identifying persons-of-interest | |
Stipaničev et al. | Vision based wildfire and natural risk observers | |
CN117437470A (zh) | 一种基于人工智能的火灾危险等级评估方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |