CN113076991B - 基于非线性积分算法的多元目标信息综合处理方法及装置 - Google Patents

基于非线性积分算法的多元目标信息综合处理方法及装置 Download PDF

Info

Publication number
CN113076991B
CN113076991B CN202110343102.3A CN202110343102A CN113076991B CN 113076991 B CN113076991 B CN 113076991B CN 202110343102 A CN202110343102 A CN 202110343102A CN 113076991 B CN113076991 B CN 113076991B
Authority
CN
China
Prior art keywords
target
data
image
type
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110343102.3A
Other languages
English (en)
Other versions
CN113076991A (zh
Inventor
朱宇涛
张志�
王日冬
谭礼晋
时鸽
杨丽萍
姚梁希
余博
李娜
李超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pla 93114
Original Assignee
Pla 93114
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pla 93114 filed Critical Pla 93114
Priority to CN202110343102.3A priority Critical patent/CN113076991B/zh
Publication of CN113076991A publication Critical patent/CN113076991A/zh
Application granted granted Critical
Publication of CN113076991B publication Critical patent/CN113076991B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于非线性积分算法的多元目标信息综合处理方法及装置，方法包括：采用多源传感设备对目标进行持续跟踪采集，获取包括目标影像数据和传感器数据在内的多源异构数据集；对多源异构数据集中的目标影像数据进行预处理得到第一类目标数据；对多源异构数据集中的传感器数据进行预处理得到第二类目标数据；采用深度神经网络模型分别对第一类目标数据和第二类目标数据进行目标状态识别获取第一类目标识别信息和第二类目标识别信息；通过模糊积分算法对第一、第二类目标识别信息进行融合，获取最终的目标状态识别结果。本发明通过对多种摄像头和传感器采集目标的多种数据的融合，实现不同光照情况下的目标定位与识别，提高了识别准确率。

Description

基于非线性积分算法的多元目标信息综合处理方法及装置
技术领域
本发明涉及目标探测技术领域。尤其一种基于非线性积分算法的多元目标信息综合处理方法及装置。
背景技术
多元目标信息指的是不同协议，不同时间点，不同接口，不同类型的数据，需要进行时间对准、空间对准，接口转换，提取有用信息，忽略冗余信息的综合处理方法，可通过深度神经网络来实现。
针对目标探测的实际需求研究多种传感器数据的一致性描述和对应，并进行深度融合，实现不同种类，不同环境下的动态目标定位，识别与跟踪。在目标识别中，为了提高识别准确度，需将所获取的多个参数综合起来分析，提高信息的冗余性和互补性，提高不同光照条件下目标识别精度是目前急需解决的问题。
发明内容
鉴于上述的分析，本发明旨在一种基于非线性积分算法的多元目标信息综合处理方法及装置，能够采用多摄像头和多传感器采集的多种特征对应与索引与预测，实现目标在不同光照情况下的检测与识别。
本发明提供的技术方案是：
本发明公开了一种基于非线性积分算法的多元目标信息综合处理方法，包括以下步骤：
采用多源传感设备对目标进行持续跟踪采集，获取包括目标影像数据和传感器数据在内的多源异构数据集；
对多源异构数据集中的目标影像数据进行预处理得到第一类目标数据；对多源异构数据集中的传感器数据进行预处理得到第二类目标数据；
采用深度神经网络模型分别对第一类目标数据和第二类目标数据进行目标状态识别获取第一类目标识别信息和第二类目标识别信息；
通过非线性的模糊积分算法对第一、第二类目标识别信息进行融合，获取最终的目标状态识别结果。
进一步地，对多源异构数据集中的目标影像数据进行预处理包括影像配准、影像多视、影像滤波和辐射校正。
进一步地，所述对目标影像数据进行影像配准、影像多视和影像滤波包括：
1)将摄像设备中同一个摄像头在某一时间段内采集相同目标的影像数据按时间序列进行排列，选择时间最早或时间居中的影像作为主影像；
2)将除去主影像的其余影像与主影像进行配准；
3)对配准后的影像数据进行包括增强Lee滤波、Kuan滤波或自适应滤波在内的滤波处理，用于降低相干影像形成的斑点噪声；
4)最后根据距离向分辨率、方位向分辨率和中心入射角设置影像数据的多视比，使影像数据的地距方位向和距离向分辨率一致。
进一步地，所述辐射校正，通过以一幅清晰的目标影像为参考影像，将其它目标影像和参考影像进行灰度匹配校正，建立各波段之间的RPC模型；并将其它目标影像逐波段的归一化到参考影像，使其它目标影像和参考影像具有相同的辐射尺度。
进一步地，所述目标影像数据为由包括红外摄像头、可见光摄像头和SAR摄像头在内的摄像设备拍摄的数据；
所述传感数据为由包括温、湿度传感器以及速度传感器在内的传感器采集的数据。
进一步地，所述深度神经网络模型包括卷积神经网络和深度随机配置网络；
所述卷积神经网络用于对第一类目标数据进行特征目标识别和目标状态识别获取第一类目标识别信息；
所述深度随机配置网络用于对第二类目标数据进行目标状态识别获取第二类目标识别信息。
进一步地，所述模糊积分算法，包括：
步骤S401、根据所述第一类目标识别信息和第二类目标识别信息建立目标分类结果矩阵；目标分类结果矩阵的每一列表示不同样本对相同目标的识别结果，其中目标状态正常记为0，目标状态异常记为1，每个矩阵的每一行表示同一样本中不同目标的识别结果；
步骤S402、在目标分类结果矩阵中计算分类结果为1目标状态真实值为0的概率p01，分类结果为1目标状态真实值为1的概率p11，分类结果为0目标状态真实值为0的概率p00，分类结果为0目标状态真实值为1的概率p10；
步骤S403、采用Choquet模糊积分对目标分类结果矩阵中的分类结果概率进行融合，获取最终的目标状态识别结果。
进一步地，Choquet模糊积分中，根据公式 获取可信度获取模糊积分中的参数λ；式中gi代表第i个目标的模糊密度；n为目标的个数。
本发明还公开了一种基于上述多元目标信息综合处理方法的多元目标信息综合处理装置，包括：
多源传感设备，用于对目标进行持续跟踪采集，获取包括目标影像数据和传感数据在内的多源异构数据集；
预处理模块，用于对多源异构数据集中的目标影像数据进行预处理得到第一类目标数据；对多源异构数据集中的传感数据进行预处理得到第二类目标数据；
神经网络模块，用于采用深度神经网络模型分别对第一类目标数据和第二类目标数据进行目标状态识别获取第一类目标识别信息和第二类目标识别信息；
模糊积分模块，用于通过模糊积分对第一、第二类目标识别信息进行融合，获取最终的目标状态识别结果。
进一步地，所述多源传感设备包括摄像设备和传感器；
所述摄像设备包括红外摄像头、可见光摄像头和SAR摄像头
传感器包括温、湿度传感器以及速度传感器。本发明至少可实现以下有益效果之一：
本发明基于非线性积分算法的多元目标信息综合处理方法及装置有以下有益效果：
通过对多种摄像头和传感器采集目标的多种数据的融合，实现不同光照情况下的目标定位与识别，提高了识别准确率。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为本发明实施例中的多元目标信息综合处理方法的流程图。
图2为本发明实施例中的多元目标信息综合处理装置的原理示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理。
如图1所示，本实施例中公开的一种基于非线性积分算法的多元目标信息综合处理方法，如图1所示，包括以下步骤：
步骤S1、采用多源传感设备对目标进行持续跟踪采集，获取包括目标影像数据和传感器数据在内的多源异构数据集；
具体的，所述多源传感设备包括摄像设备和传感器；
所述摄像设备包括红外摄像头、可见光摄像头和SAR摄像头；
所述传感器包括温、湿度传感器以及速度传感器。
可选的，所述红外摄像头、可见光摄像头和SAR摄像头可同时工作，采集的数据同时包括为红外图像、可见光图像和/或SAR影像的目标影像数据；
可选的，所述红外摄像头、可见光摄像头和SAR摄像头可根据光照情况或时间段分时工作，在不同的光照情况或时间段，采集的数据分别为红外图像、可见光图像和/或SAR的目标影像数据。
本实施例的传感器采集包括目标的所处环境信息、速度等多方面参数，作为获取目标更精确结果的支撑数据。
多源传感设备采集的多类的目标影像数据和传感器数据共同构成多源异构数据集。
步骤S2、对多源异构数据集中的目标影像数据进行预处理得到第一类目标数据；对多源异构数据集中的传感器数据进行预处理得到第二类目标数据；
具体的，对多源异构数据集中的目标影像数据进行预处理包括影像配准、影像多视、影像滤波和辐射校正后得到第一类目标数据；
对多源异构数据集中的传感器数据主要通过系统内的设备对数据进行滤波、整形处理，获取相应的第二类目标数据。
更具体的，所述对目标影像数据进行影像配准、影像多视和影像滤波包括：
1)将摄像设备中同一个摄像头在某一时间段内采集相同目标的影像数据按时间序列进行排列，选择时间最早或时间居中的影像作为主影像。
2)将除去主影像的其余影像与主影像进行配准。
具体的配准方式是使用图像处理软件，选择基础配准点，默认参数即可，其中，像元大小选择根据基础图像，运行输出配准后的影像结果。
3)对配准后的影像数据进行包括增强Lee滤波、Kuan滤波或自适应滤波在内的滤波处理，用于降低相干影像形成的斑点噪声。
相干影像的相干系数是同时利用影像对的幅度和相位信息形成的，能够直观反映两次成像过程中目标稳定性的估计。
4)最后根据距离向分辨率、方位向分辨率和中心入射角设置影像数据的多视比，使影像数据的地距方位向和距离向分辨率一致。
更具体的，预处理步骤中辐射校正采用相对辐射校正方法对图像数据实施处理；纠正因大气状况变化以及不同光照条件造成的差异，减小传感器状态产生的噪声。
所述相对辐射校正方法以所述一种摄像头采集的一幅清晰影像为参考影像，将其它时相影像(目标影像)和参考影像通过图像处理软件进行灰度匹配校正，建立各波段之间的RPC模型，并将目标影像逐波段的归一化到参考影像，使目标影像和参考影像具有相同的辐射尺度。
步骤S3、采用深度神经网络模型分别对第一类目标数据和第二类目标数据进行目标状态识别获取第一类目标识别信息和第二类目标识别信息；
其中，第一类目标识别信息是对目标影像数据进行处理获得的目标状态识别结果，第二类目标识别信息是对传感数据进行处理获得的目标状态识别结果；
为了对采集的多种数据整合，获取大量采集数据之间的联系以识别出目标的状态，先对采集到的数据采用深度神经网络分类。所述深度神经网络模型包括卷积神经网络和深度随机配置网络；
所述卷积神经网络用于对第一类目标数据进行特征目标识别和目标状态识别获取第一类目标识别信息；
所述深度随机配置网络用于对第二类目标数据进行目标状态识别获取第二类目标识别信息。
更具体的，所述深度神经网络分类模块具体为：
1)按照预设时刻采集数据样本，并记录对应时刻的目标状态真实值，
2)建立卷积神经网络和深度随机配置网络，网络模型参数设为初始值；
3)确定网络模型中的层数和损失函数，所述损失函数用于反向传播时网络修正模型参数，直到损失函数收敛，模型建立完成；
4)按照预设时刻采集数据样本，并记录对应时刻的目标状态，所述数据样本分别输入到卷积神经网络和深度随机配置网络，对应得到第一分类结果和第二分类结果；
具体的，卷积神经网络和深度随机配置网络均包括连接到输入变量的输入层、隐藏层和产生输出变量的输出层；
具体的，损失函数是用来评估模型的预测值与真实值之间的差异程度，损失函数如下：
无论真实样本标签y是0还是1，L都表征了预测输出与样本标签y的差距，i表示样本数量的数量；
具体的，采用不同的卷积神经网络和深度随机配置网络两种网络分别对第一类目标数据和第二类目标数据进行处理，降低两类结果之间的干扰，以提高识别的准确性。
其中，卷积神经网络可以通过尽可能保留重要的参数，去掉大量不重要的参数,来达到更好的学习效果。深度随机配置网络在增量构建过程引入监督机制来分配隐含层参数以确保其无限逼近特性，具有易于实现、收敛速度快、泛化性能好等优点。
每个深度神经网络的多个样本的识别结果整理成表格形式，如表1所示：
识别状态 目标1 目标2 …… 目标n
样本1
样本2
……
样本m
表1 深度神经网络输出数据整理结果
具体的，上述表格中样本识别结果若和样本标签一致，则对应结果填写1，若不一致则填写0；
步骤S4、通过非线性的模糊积分算法对第一、第二类目标识别信息进行融合，获取最终的目标状态识别结果。
通过模糊积分算法获得优化的分类结果。通过结合不同传感器的样本集以及结合分类识别结果的特点和优势，可以获取较为详细的目标数据和准确的目标结果，可实现不同光照情况下的目标定位与识别演示。
具体的，模糊积分作为一种基于模糊测度的非线性数学方法，它具有考虑多源信息的重要程度进行融合的能力，本实施例的模糊积分算法采用Choquet模糊积分，具体的计算过程如下：
步骤S401、根据所述第一类目标识别信息和第二类目标识别信息建立目标分类结果矩阵；目标分类结果矩阵的每一列表示不同样本对相同目标的识别结果，其中目标状态正常记为0，目标状态异常记为1，每个矩阵的每一行表示同一样本中不同目标的识别结果；
步骤S402、在目标分类结果矩阵中计算分类结果为1目标状态真实值为0的概率p01，分类结果为1目标状态真实值为1的概率p11，分类结果为0目标状态真实值为0的概率p00，分类结果为0目标状态真实值为1的概率p10；
目标分类结果矩阵中所述状态识别结果如表2所示
表2
步骤S403、采用Choquet模糊积分对目标分类结果矩阵中的分类结果概率进行融合，获取最终的目标状态识别结果。
具体包括以下步骤：
1)在给定论域Y＝{y1,y2,…,yn}，由它得到的博雷尔集上的一个模糊测度定义为g：当博雷尔集取值[0,1]，使得g(Y)＝1，测度函数值h(yi)是函数h在yi的值为h(yi)，h(y1)≥h(y2)≥…≥h(yn)，h(yn+1)＝0；
根据每个目标的每种分类结果的可信度获取模糊积分中的λ，结合模糊测度定义以及递推公式有：
获取目标状态的结果中，对应pij的结果有p01表示分类结果为1的情况下目标状态真实值为0的概率，p11表示分类结果为1的情况下目标状态真实值为1的概率，p00表示分类结果为0的情况下目标状态真实值为0的概率，p0表示分类结果为0的情况下目标状态真实值为1的概率，其中，结合p00和p11的概率值可以得出较为符合实验结果的中间数值，则获取中间数λ的公式为：λ+1＝(1+p00)(1+p11)；
即，Choquet模糊积分中，根据公式获取可信度获取模糊积分中的参数λ；式中gi代表第i个目标的模糊密度；n为目标的个数。
2)获取模糊积分中的模糊测度g；
将上式结果赋予目标状态结果可能性指标集E，其计算结果ei表示可能性的目标状态，集合各计算结果形成目标状态结果类型的可能性指标集E＝{e1,e2,…,en}；
式中Ai＝{y1,y2,…,yn}，g(Ai)是根据模糊密度函数递推计算得到的模糊测度gλ，即
g(A1)＝g({y1})＝gi
g(Ai)＝gi+g(Ai-1)+λgig(Ai-1)，1＜i≤n；
gi代表第i个信息的模糊密度，i＝1,2,…,n；λ是中间数；
5)获取模糊积分值e，即得到最终的分类结果，公式为：
根据目标状态结果类型的可能性指标集E，其中，指标集包含n个目标可能性的目标状态结果，计算得到的模糊e是从属于指标集E中元素，从而根据计算结果确定目标状态类型，最终得出目标的分类结果。
综上所述，本实施例的方案通过多种摄像头和传感器采集目标的多种数据的融合，实现不同光照情况下的目标定位与识别，提高了识别正确率。
本实施例还公开了一种基于非线性积分算法的多元目标信息综合处理装置，如图2所示，包括：
多源传感设备，用于对目标进行持续跟踪采集，获取包括目标影像数据和传感数据在内的多源异构数据集；
具体的，所述多源传感设备包括摄像设备和传感器；
所述摄像设备包括红外摄像头、可见光摄像头和SAR摄像头
传感器包括温、湿度传感器以及速度传感器。
预处理模块，用于对多源异构数据集中的目标影像数据进行预处理得到第一类目标数据；对多源异构数据集中的传感数据进行预处理得到第二类目标数据；
具体的，预处理模块包括目标影像数据预处理模块和传感器数据预处理模块，
目标影像数据预处理模块，对多源异构数据集中的目标影像数据进行预处理包括影像配准、影像多视、影像滤波和辐射校正后得到第一类目标数据；
传感器数据预处理模块，对多源异构数据集中的传感器数据主要通过系统内的设备对数据进行滤波、整形处理，获取相应的第二类目标数据。
神经网络模块，用于采用深度神经网络模型分别对第一类目标数据和第二类目标数据进行目标状态识别获取第一类目标识别信息和第二类目标识别信息；
神经网络模块包括卷积神经网络模块和深度随机配置网络模块；
所述卷积神经网络模块，用于对第一类目标数据进行目标状态识别获取第一类目标识别信息；
所述深度随机配置网络模块，用于对第二类目标数据进行目标状态识别获取第二类目标识别信息。
模糊积分模块，用于通过模糊积分对第一、第二类目标识别信息进行融合，获取最终的目标状态识别结果。
本实施例的具体技术细节和有益效果与上一实施例相同，请参照上一实施例，在此就不一一赘述了。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于非线性积分算法的多元目标信息综合处理方法，其特征在于，包括以下步骤：
采用多源传感设备对目标进行持续跟踪采集，获取包括目标影像数据和传感器数据在内的多源异构数据集；
所述目标影像数据为由包括红外摄像头、可见光摄像头和SAR摄像头在内的摄像设备拍摄的数据；
所述红外摄像头、可见光摄像头和SAR摄像头根据光照情况或时间段分时工作，在不同的光照情况或时间段，采集的数据分别为红外图像、可见光图像或SAR的目标影像数据；
所述传感器数据为由包括温、湿度传感器以及速度传感器在内的传感器采集的数据；作为获取目标更精确结果的支撑数据；
对多源异构数据集中的目标影像数据进行预处理得到第一类目标数据；对多源异构数据集中的传感器数据进行预处理得到第二类目标数据；
采用深度神经网络模型分别对第一类目标数据和第二类目标数据进行目标状态识别获取第一类目标识别信息和第二类目标识别信息；
通过非线性的模糊积分算法对第一、第二类目标识别信息进行融合，获取最终的目标状态识别结果；
对多源异构数据集中的目标影像数据进行预处理包括影像配准、影像多视、影像滤波和辐射校正；
所述对目标影像数据进行影像配准、影像多视和影像滤波包括：
1)将摄像设备中同一个摄像头在某一时间段内采集相同目标的影像数据按时间序列进行排列，选择时间最早或时间居中的影像作为主影像；
2)将除去主影像的其余影像与主影像进行配准；
3)对配准后的影像数据进行包括增强Lee滤波、Kuan滤波或自适应滤波在内的滤波处理，用于降低相干影像形成的斑点噪声；
4)最后根据距离向分辨率、方位向分辨率和中心入射角设置影像数据的多视比，使影像数据的地距方位向和距离向分辨率一致；
所述辐射校正，通过以一幅清晰的目标影像为参考影像，将其它目标影像和参考影像进行灰度匹配校正，建立各波段之间的RPC模型；并将其它目标影像逐波段的归一化到参考影像，使其它目标影像和参考影像具有相同的辐射尺度。
2.根据权利要求1所述的多元目标信息综合处理方法，其特征在于，所述深度神经网络模型包括卷积神经网络和深度随机配置网络；
所述卷积神经网络用于对第一类目标数据进行特征目标识别和目标状态识别获取第一类目标识别信息；
所述深度随机配置网络用于对第二类目标数据进行目标状态识别获取第二类目标识别信息。
3.根据权利要求1所述的多元目标信息综合处理方法，其特征在于，所述模糊积分算法，包括：
步骤S401、根据所述第一类目标识别信息和第二类目标识别信息建立目标分类结果矩阵；目标分类结果矩阵的每一列表示不同样本对相同目标的识别结果，其中目标状态正常记为0，目标状态异常记为1，每个矩阵的每一行表示同一样本中不同目标的识别结果；
步骤S402、在目标分类结果矩阵中计算分类结果为1目标状态真实值为0的概率p01，分类结果为1目标状态真实值为1的概率p11，分类结果为0目标状态真实值为0的概率p00，分类结果为0目标状态真实值为1的概率p10；
步骤S403、采用Choquet模糊积分对目标分类结果矩阵中的分类结果概率进行融合，获取最终的目标状态识别结果。
4.根据权利要求3所述的多元目标信息综合处理方法，其特征在于，Choquet模糊积分中，根据公式获取可信度获取模糊积分中的参数λ；式中gi代表第i个目标的模糊密度；n为目标的个数。
5.一种基于权利要求1-4任一项多元目标信息综合处理方法的多元目标信息综合处理装置，其特征在于，包括：
多源传感设备，用于对目标进行持续跟踪采集，获取包括目标影像数据和传感数据在内的多源异构数据集；
预处理模块，用于对多源异构数据集中的目标影像数据进行预处理得到第一类目标数据；对多源异构数据集中的传感数据进行预处理得到第二类目标数据；
神经网络模块，用于采用深度神经网络模型分别对第一类目标数据和第二类目标数据进行目标状态识别获取第一类目标识别信息和第二类目标识别信息；
模糊积分模块，用于通过模糊积分对第一、第二类目标识别信息进行融合，获取最终的目标状态识别结果。
6.根据权利要求5所述的多元目标信息综合处理装置，其特征在于，所述多源传感设备包括摄像设备和传感器；
所述摄像设备包括红外摄像头、可见光摄像头和SAR摄像头
传感器包括温、湿度传感器以及速度传感器。
CN202110343102.3A 2021-03-30 2021-03-30 基于非线性积分算法的多元目标信息综合处理方法及装置 Active CN113076991B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110343102.3A CN113076991B (zh) 2021-03-30 2021-03-30 基于非线性积分算法的多元目标信息综合处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110343102.3A CN113076991B (zh) 2021-03-30 2021-03-30 基于非线性积分算法的多元目标信息综合处理方法及装置

Publications (2)

Publication Number Publication Date
CN113076991A CN113076991A (zh) 2021-07-06
CN113076991B true CN113076991B (zh) 2024-03-08

Family

ID=76611981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110343102.3A Active CN113076991B (zh) 2021-03-30 2021-03-30 基于非线性积分算法的多元目标信息综合处理方法及装置

Country Status (1)

Country Link
CN (1) CN113076991B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102231205A (zh) * 2011-06-24 2011-11-02 北京戎大时代科技有限公司 一种多模监控装置及方法
CN102306375A (zh) * 2011-08-31 2012-01-04 北京航空航天大学 一种sar与可见光像素级融合图像的分割方法
CN105321172A (zh) * 2015-08-31 2016-02-10 哈尔滨工业大学 一种sar、红外、可见光图像融合方法
CN108230375A (zh) * 2017-12-27 2018-06-29 南京理工大学 基于结构相似性快速鲁棒的可见光图像与sar图像配准方法
CN111209434A (zh) * 2020-01-09 2020-05-29 国网江苏省电力有限公司徐州供电分公司 一种基于多源异构数据融合的变电站设备巡检系统及方法
CN111339959A (zh) * 2020-02-28 2020-06-26 西南交通大学 基于sar和光学影像融合的近海浮筏养殖区提取方法
CN112307901A (zh) * 2020-09-28 2021-02-02 国网浙江省电力有限公司电力科学研究院 一种面向滑坡检测的sar与光学影像融合方法及系统
CN112329853A (zh) * 2020-11-05 2021-02-05 湖南省沅江市安沅水利水电建设有限公司 基于影像融合的交通事故检测方法、装置、设备及介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102231205A (zh) * 2011-06-24 2011-11-02 北京戎大时代科技有限公司 一种多模监控装置及方法
CN102306375A (zh) * 2011-08-31 2012-01-04 北京航空航天大学 一种sar与可见光像素级融合图像的分割方法
CN105321172A (zh) * 2015-08-31 2016-02-10 哈尔滨工业大学 一种sar、红外、可见光图像融合方法
CN108230375A (zh) * 2017-12-27 2018-06-29 南京理工大学 基于结构相似性快速鲁棒的可见光图像与sar图像配准方法
CN111209434A (zh) * 2020-01-09 2020-05-29 国网江苏省电力有限公司徐州供电分公司 一种基于多源异构数据融合的变电站设备巡检系统及方法
CN111339959A (zh) * 2020-02-28 2020-06-26 西南交通大学 基于sar和光学影像融合的近海浮筏养殖区提取方法
CN112307901A (zh) * 2020-09-28 2021-02-02 国网浙江省电力有限公司电力科学研究院 一种面向滑坡检测的sar与光学影像融合方法及系统
CN112329853A (zh) * 2020-11-05 2021-02-05 湖南省沅江市安沅水利水电建设有限公司 基于影像融合的交通事故检测方法、装置、设备及介质

Also Published As

Publication number Publication date
CN113076991A (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN110363158B (zh) 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法
CN108734208B (zh) 基于多模态深度迁移学习机制的多源异构数据融合系统
CN112132042A (zh) 基于对抗域适应的sar图像目标检测方法
CN112465880B (zh) 基于多源异构数据认知融合的目标检测方法
CN111797744B (zh) 一种基于共现滤波算法的多模态遥感图像匹配方法
CN114266977A (zh) 基于超分辨可选择网络的多auv的水下目标识别方法
CN110826509A (zh) 一种基于高分遥感影像的草原围栏信息提取系统及方法
CN116343284A (zh) 基于注意力机制的多特征户外环境情绪识别方法
CN109978897B (zh) 一种多尺度生成对抗网络的异源遥感图像配准方法及装置
CN117409190A (zh) 一种实时红外图像目标检测方法、装置、设备及存储介质
CN115079116A (zh) 基于Transformer和时间卷积网络的雷达目标识别方法
CN113076991B (zh) 基于非线性积分算法的多元目标信息综合处理方法及装置
CN112684424B (zh) 一种毫米波雷达与相机的自动标定方法
CN112001894B (zh) 一种甲状腺边界平滑度检测装置
CN116681742A (zh) 基于图神经网络的可见光与红外热成像图像配准方法
CN116433528A (zh) 一种目标区域检出的图像细节增强显示方法及系统
CN115908419A (zh) 一种利用贝叶斯网络优化伪标签的无监督高光谱图像变化检测方法
CN115984646A (zh) 面向遥感跨卫星观测的分布式目标检测方法、装置和卫星
CN115909086A (zh) 基于多级增强网络的sar目标检测识别方法
CN109190506A (zh) 一种基于核稀疏和空间约束的高光谱目标检测方法
CN115019367A (zh) 遗传病面部识别装置及方法
CN113762389B (zh) 一种基于动态诊断的高光谱影像小样本分类方法
CN117079416B (zh) 基于人工智能算法的多人5d雷达跌倒检测方法及系统
Fan Research on edge detection of agricultural pest and disease leaf image based on LvQ neural network
CN114550015A (zh) 基于深度学习的无人机影像自动识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant