CN113792755B - 一种小波深度图像融合环境感知与目标识别方法 - Google Patents

一种小波深度图像融合环境感知与目标识别方法 Download PDF

Info

Publication number
CN113792755B
CN113792755B CN202110923174.5A CN202110923174A CN113792755B CN 113792755 B CN113792755 B CN 113792755B CN 202110923174 A CN202110923174 A CN 202110923174A CN 113792755 B CN113792755 B CN 113792755B
Authority
CN
China
Prior art keywords
underwater
image
wavelet
fusion
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110923174.5A
Other languages
English (en)
Other versions
CN113792755A (zh
Inventor
朱大奇
陈琦
褚振忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202110923174.5A priority Critical patent/CN113792755B/zh
Publication of CN113792755A publication Critical patent/CN113792755A/zh
Application granted granted Critical
Publication of CN113792755B publication Critical patent/CN113792755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/257—Belief theory, e.g. Dempster-Shafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明公开了一种小波深度图像融合环境感知与目标识别方法，包括以下步骤：S1、在不同时间序列的水下同质图像的小波系数进行融合；S2、通过深度卷积神经网络对水下图像特征提取与分类；S3、水下异质图像D‑S证据推理信息融合目标识别。根据本发明，应用多传感器信息融合的多维信息处理优势，克服单传感器水下目标识别与环境感知的缺性，提高水下环境感知与目标识别的精度。

Description

一种小波深度图像融合环境感知与目标识别方法
技术领域
本发明涉及深海水下目标识别与环境感知的技术领域，特别涉及一种小波深度图像融合环境感知与目标识别方法。
背景技术
水下作业空间是一个动态的、非结构化的三维空间，尤其是在深海环境中，高压、低温、黑暗、弱信号等，直接影响了水下目标的准确感知与识别；另外，即使AUV在浅海区域的水下空间工作，也常常存在水下光照不足、水体浑浊透光性差的情况及动态未知的水声信号干扰，同样难以获得可靠的环境与目标信息。复杂的水下作业环境必然增加AUV水下环境感知与目标识别研究的复杂度。
另一方面，水下环境感知与目标识别的手段有限，常用传感器主要包括水声和光视觉两类。光视觉传感器通常用来近距离观察目标和探测环境，具有探测方向性好、定位较准确和成像分辨率高等特点。但是水对光的特殊衰减、反射和散射等效应，使得水下光学成像与一般的光学图像有显著不同，传统的图像处理与识别方法难以直接适用水下环境，对远距离与浑浊水下环境更是无法使用。另一类是水声传感器，也就是各种不同类型的声纳，但海洋介质的不均匀性和多变性导致声波传播规律非常复杂，声纳在水下探测时存在一定的定位和方向偏差，也受到各种噪声的干扰。声纳成像目前只能利用阴影的方式对目标轮廓进行粗略估算，容易产生失真，且分辨率较低。如何将水下光视觉图像与水下声纳图像融合到一起，避开各自缺陷与不足，充分发挥各自传感器优势，实现水下目标与环境的准确感知，是一个重要的技术难题。
发明内容
针对现有技术中存在的不足之处，本发明的目的是提供一种小波深度图像融合环境感知与目标识别方法，应用多传感器信息融合的多维信息处理优势，克服单传感器水下目标识别与环境感知的缺性，提高水下环境感知与目标识别的精度。为了实现根据本发明的上述目的和其他优点，提供了一种小波深度图像融合环境感知与目标识别方法，包括以下步骤：
S1、在不同时间序列的水下同质图像的小波系数进行融合；
S2、通过深度卷积神经网络对水下图像特征提取与分类；
S3、水下异质图像D-S证据推理信息融合目标识别。
优选的，所述步骤S1包括：
S11、对声纳的时间序列图像进行二维离散的小波分解，得到一个低频分量和多个不同方向的高频分量；
S12、对各分解层的小波系数进行融合处理，高频和低频分量采取不同的融合算子；
S13、融合后的系数进行逆变换，得到融合后的声纳图像，最大限度保留原始图像的有用信息，同时抛弃了无用的图像信息。
优选的，所述步骤S2中包括输入层、中间层及输出层，其中所述输入层为小波同质融合的水下图像(声纳或光学视频)，所述中间层为DBN深度置信网络，所述输出层为Softmax输出分类器。
优选的，通过水下图像分类识别模型将DBN深度置信网络和Softmax分类器结合，通过设置一定的层数和隐含层单元数目，再通过Softmax分类器实现数据分类，有效避免了维数灾难给分类结果带来的影响，其中障碍物和目标物的特征用一组信度函数值表达：(miO,miT,miB),miO,miT分别表示第i个传感器识别对象为不同障碍物，目标物的可信值，miB为第i个传感器对象识别的不确定值，所有信度值之和为“1”。
优选的，所述步骤S3中由声纳(或水下视频图像)经DBN深度置信网络学习识别后，输出“不同障碍物”、“目标物”信度识别向量和不确定分类值，异质传感器信息融合是指不同传感器(不同的水下声纳传感器、水下光视觉系统)的特征信度识别向量的融合，包括以下步骤：
S31、获取所有传感器的分类信度函数值；
S32、根据Dempster合并规则，求取两类传感器共同作用下的信度函数；
S33、使用相关决策规则，提取到具有最大支持度的决策结果，从而判定水下识别对象是各类障碍物状态，还是目标物状态，从而准确感知水下环境，实现水下目标准确识别。
本发明与现有技术相比，其有益效果是：将两种传感图像融合，在小波同质图像信息融合处理的基础上，应用深度卷积神经网络进行水下图像的深度学习辨识，提取不同传感器目标识别的特征信度数值；最后，将深度学习模型与证据推理模型相结合，实现水下多传感器异质图像信息融合目标辨识，获得更准确的水下目标与环境信息，深度卷积神经网络水下图像特征提取与分类。DBN深度置信网络是一个集特征提取和分类为一体的深度学习模型，能够达到实时在线识别，同时具备较高的辨识精度。提高水下目标(障碍物)识别实时性的同时，保证目标(障碍物)识别的准确性，证据推理模型进行水下目标异质信息融合分类识别，通过异质图像空间信息融合，弥补水下光学和声学传感器各自的缺陷，提高水下环境与目标感知的识别精度。
附图说明
图1为根据本发明的小波深度图像融合环境感知与目标识别方法的水下异质图像D-S证据推理信息融合目标识别流程图；
图2为根据本发明的小波深度图像融合环境感知与目标识别方法的时间序列水下同质图像小波融合原理图流程图；
图3为根据本发明的小波深度图像融合环境感知与目标识别方法的DBN深度置信网络水下图像特征提取与分类流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1-3，一种小波深度图像融合环境感知与目标识别方法，包括以下步骤：S1、在不同时间序列的水下同质图像的小波系数进行融合，是同一传感器在连续的、不同时刻信息融合，以声纳传感器为例，先对声纳的时间序列图像进行二维离散的小波分解，得到一个低频分量和多个不同方向的高频分量；接下来对各分解层的小波系数进行融合处理，高频和低频分量采取不同的融合算子。最后对融合后的系数进行逆变换，得到融合后的声纳图像，最大限度保留原始图像的有用信息，同时抛弃了无用的图像信息；
S2、通过深度卷积神经网络对水下图像特征提取与分类，DBN深度置信网络是一个集特征提取和分类为一体的深度学习模型，能够达到实时在线识别，同时具备较高的辨识精度。针对水下障碍物、目标物的特征提取识别问题，此处通过建立DBN分类识别模型进行障碍物和目标物的特征提取；
S3、水下异质图像D-S证据推理信息融合目标识别，在水下光视觉与声纳图像深度学习特征提取的基础上，应用证据推理模型进行水下目标异质信息融合分类识别，通过异质图像空间信息融合，弥补水下光学和声学传感器各自的缺陷，提高水下环境与目标感知的识别精度。对水下图像(声纳或光学视频)经DBN深度置信网络水下图像分类学习识别后，输出“不同障碍物”、“目标物”、“自由航行区”信度识别向量和不确定分类值，异质传感器信息融合是针对深度卷积神经网络学习处理的不同水下图像，应用DS证据推理计算不同传感器(水下声纳/水下光视觉)的特征信度识别向量。
进一步的，所述步骤S1包括：
S11、对声纳的时间序列图像进行二维离散的小波分解，得到一个低频分量和多个不同方向的高频分量；
S12、对各分解层的小波系数进行融合处理，高频和低频分量采取不同的融合算子；
S13、融合后的系数进行逆变换，得到融合后的声纳图像，最大限度保留原始图像的有用信息，同时抛弃了无用的图像信息。
进一步的，所述步骤S2中包括输入层、中间层及输出层，其中所述输入层为小波同质融合的水下图像(声纳或光学视频)，所述中间层为DBN深度置信网络，所述输出层为Softmax输出分类器。
进一步的，通过水下图像分类识别模型将DBN深度置信网络和Softmax分类器结合，通过设置一定的层数和隐含层单元数目，再通过Softmax分类器实现数据分类，有效避免了维数灾难给分类结果带来的影响，其中障碍物和目标物的特征用一组信度函数值表达：(miO,miT,miB),miO,miT分别表示第i个传感器识别对象为不同障碍物，目标物的可信值，miB为第i个传感器对象识别的不确定值，所有信度值之和为“1”。
进一步的，所述步骤S3中由声纳(或水下视频图像)经DBN深度置信网络学习识别后，输出“不同障碍物”、“目标物”信度识别向量和不确定分类值，异质传感器信息融合是指不同传感器(不同的水下声纳传感器、水下光视觉系统)的特征信度识别向量的融合，包括以下步骤：
S31、获取所有传感器的分类信度函数值；
S32、根据Dempster合并规则，求取两类传感器共同作用下的信度函数；
S33、使用相关决策规则，提取到具有最大支持度的决策结果，从而判定水下识别对象是各类障碍物状态，还是目标物状态，从而准确感知水下环境，实现水下目标准确识别。
这里说明的设备数量和处理规模是用来简化本发明的说明的，对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。
尽管本发明的实施方案已公开如上，但其并不仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (1)

1.一种小波深度图像融合环境感知与目标识别方法，其特征在于，包括以下步骤：
S1、将不同时间序列的水下同质图像的小波系数进行融合；步骤S1包括：
S11、对声纳的时间序列图像进行二维离散的小波分解，得到一个低频分量和多个不同方向的高频分量；
S12、对各分解层的小波系数进行融合处理，高频和低频分量采取不同的融合算子；
S13、将融合后的系数进行逆变换，得到融合后的声纳图像，最大限度保留原始图像的有用信息，同时抛弃了无用的图像信息；
S2、通过深度卷积神经网络对水下图像特征提取与分类；步骤S2中深度卷积神经网络包括输入层、中间层及输出层，其中所述输入层为小波同质融合的水下图像，水下图像包括声纳图像或光学视频图像，所述中间层为DBN深度置信网络，所述输出层为Softmax输出分类器，通过水下图像分类识别模型将DBN深度置信网络和Softmax分类器结合，通过设置一定的层数和隐含层单元数目，再通过Softmax分类器实现数据分类，有效避免了维数灾难给分类结果带来的影响，其中障碍物和目标物的特征用一组信度函数值表达：miO,miT,miB；miO表示第i个传感器识别对象为不同障碍物的可信值；miT表示第i个传感器识别对象为目标物的可信值；miB为第i个传感器对象识别的不确定值，所有信度值之和为“1”；
S3、对水下异质图像应用D-S证据推理信息融合进行目标识别，具体为在对水下光学视频图像与声纳图像进行深度学习特征提取的基础上，应用证据推理模型进行水下目标异质信息融合分类识别，包括以下步骤：
S31、获取所有传感器的分类信度函数值；
S32、根据Dempster合并规则，求取两类传感器共同作用下的信度函数；
S33、使用相关决策规则，提取到具有最大支持度的决策结果，从而判定水下识别对象是各类障碍物状态，还是目标物状态，从而准确感知水下环境，实现水下目标准确识别。
CN202110923174.5A 2021-08-12 2021-08-12 一种小波深度图像融合环境感知与目标识别方法 Active CN113792755B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110923174.5A CN113792755B (zh) 2021-08-12 2021-08-12 一种小波深度图像融合环境感知与目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110923174.5A CN113792755B (zh) 2021-08-12 2021-08-12 一种小波深度图像融合环境感知与目标识别方法

Publications (2)

Publication Number Publication Date
CN113792755A CN113792755A (zh) 2021-12-14
CN113792755B true CN113792755B (zh) 2024-05-14

Family

ID=78875889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110923174.5A Active CN113792755B (zh) 2021-08-12 2021-08-12 一种小波深度图像融合环境感知与目标识别方法

Country Status (1)

Country Link
CN (1) CN113792755B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114745062B (zh) * 2022-04-18 2023-09-01 广东蓝鲲海洋科技有限公司 一种深海设备的数据通信方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101539241A (zh) * 2009-05-07 2009-09-23 北京航空航天大学 一种管道泄漏监测网络的层级式多源数据融合方法
CN104808210A (zh) * 2015-04-16 2015-07-29 深圳大学 一种声纳和双目视觉成像系统的融合成像装置及方法
KR20160072295A (ko) * 2014-12-12 2016-06-23 삼성중공업 주식회사 복합 영상 생성 장치 및 방법
CN108492323A (zh) * 2018-01-18 2018-09-04 天津大学 融合机器视觉与听觉的水下运动物体检测与识别方法
CN109635928A (zh) * 2018-12-06 2019-04-16 华北电力大学 一种基于深度学习模型融合的电压暂降原因识别方法
CN111860613A (zh) * 2020-06-30 2020-10-30 江苏科技大学 一种基于多源异构信号的多目标追踪及状态预测方法
CN112184661A (zh) * 2020-09-27 2021-01-05 国网上海市电力公司 一种基于图像融合深度学习模型的电力设备缺陷识别方法
CN112633493A (zh) * 2020-12-01 2021-04-09 北京理工大学 一种面向工业设备数据的故障诊断方法及系统
CN113111832A (zh) * 2021-04-23 2021-07-13 温州大学 一种基于空洞卷积神经网络的液压阀故障诊断方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101539241A (zh) * 2009-05-07 2009-09-23 北京航空航天大学 一种管道泄漏监测网络的层级式多源数据融合方法
KR20160072295A (ko) * 2014-12-12 2016-06-23 삼성중공업 주식회사 복합 영상 생성 장치 및 방법
CN104808210A (zh) * 2015-04-16 2015-07-29 深圳大学 一种声纳和双目视觉成像系统的融合成像装置及方法
CN108492323A (zh) * 2018-01-18 2018-09-04 天津大学 融合机器视觉与听觉的水下运动物体检测与识别方法
CN109635928A (zh) * 2018-12-06 2019-04-16 华北电力大学 一种基于深度学习模型融合的电压暂降原因识别方法
CN111860613A (zh) * 2020-06-30 2020-10-30 江苏科技大学 一种基于多源异构信号的多目标追踪及状态预测方法
CN112184661A (zh) * 2020-09-27 2021-01-05 国网上海市电力公司 一种基于图像融合深度学习模型的电力设备缺陷识别方法
CN112633493A (zh) * 2020-12-01 2021-04-09 北京理工大学 一种面向工业设备数据的故障诊断方法及系统
CN113111832A (zh) * 2021-04-23 2021-07-13 温州大学 一种基于空洞卷积神经网络的液压阀故障诊断方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于D-S 证据理论的数据融合算法及其在电路故障诊断中的应用;朱大奇 等;电子学报;第30卷(第2期);221-223 *
基于证据理论的AUV目标识别研究;李凡 等;华中科技大学学报(自然科学版);33(04);1-3 *
智能水下机器人多传感器信息融合的一种方法;张汝波 等;哈尔滨工程大学学报;18(02);72-76 *

Also Published As

Publication number Publication date
CN113792755A (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
JP2878409B2 (ja) ３次元物体撮像方式
CN107392965B (zh) 一种基于深度学习和双目立体视觉相结合的测距方法
CN108492323B (zh) 融合机器视觉与听觉的水下运动物体检测与识别方法
Lu et al. Depth map reconstruction for underwater Kinect camera using inpainting and local image mode filtering
JP2018163096A (ja) 情報処理方法および情報処理装置
de Oliveira et al. Deep convolutional autoencoder applied for noise reduction in range-Doppler maps of FMCW radars
CN113792755B (zh) 一种小波深度图像融合环境感知与目标识别方法
CN115187666A (zh) 深度学习和图像处理结合的侧扫声呐海底高程探测方法
CN111856445B (zh) 一种目标检测方法、装置、设备及系统
Mathias et al. Deep Neural Network Driven Automated Underwater Object Detection.
CN108460773B (zh) 一种基于偏移场水平集的声纳图像分割方法
CN116188944A (zh) 一种基于Swin-Transformer和多尺度特征融合的红外弱小目标检测方法
CN115131756A (zh) 一种目标检测方法及装置
US20220075068A1 (en) Decision-based sensor fusion with global optimization for indoor mapping
CN115328131A (zh) 一种无人船的避障方法、装置、无人船及存储介质
Muduli et al. A Review On Recent Advancements In Signal Processing and Sensing Technologies for AUVs
Li et al. Research on underwater navigation algorithm based on SIFT matching algorithm
JP2882861B2 (ja) 超音波３次元物体撮像方式
KR101696088B1 (ko) 초음파 물체 인식 방법 및 장치
CN114754732B (zh) 一种基于多目视觉的距离测量方法
Abu et al. Automatic detection of underwater objects in sonar imagery
CN117473456B (zh) 一种雷视智能融合的方法及系统
Song et al. GM-APD lidar single-source data self-guided: Obtaining high-resolution depth map
Tanigawa et al. Invisible-to-Visible: Privacy-Aware Human Segmentation using Airborne Ultrasound via Collaborative Learning Probabilistic U-Net
Patel et al. Segmentation of 3D acoustic images for object recognition purposes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant