CN111709487B - 基于决策级融合的水下多源声学图像底质分类方法及系统 - Google Patents
基于决策级融合的水下多源声学图像底质分类方法及系统 Download PDFInfo
- Publication number
- CN111709487B CN111709487B CN202010572718.3A CN202010572718A CN111709487B CN 111709487 B CN111709487 B CN 111709487B CN 202010572718 A CN202010572718 A CN 202010572718A CN 111709487 B CN111709487 B CN 111709487B
- Authority
- CN
- China
- Prior art keywords
- underwater
- image
- landform
- classification
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
本发明公开了一种基于决策级融合的水下多源声学图像底质分类方法及系统。该方法包括:获取在统一空间坐标系下的地貌图像、地形图像和地层剖面图像;确定地貌分割图像、地形分割图像和地层剖面分割图像;对各分割图像进行特征提取得到地貌特征、地形特征和地层特征;将地貌特征和地形特征分别输入至多个训练好的机器学习分类模型中得到多个第一分类结果和多个第二分类结果,将地层特征输入至训练好的机器学习分类模型中得到第三分类结果;基于D‑S证据理论将多个第一分类结果和多个第二分类结果融合,或将多个第一分类结果、多个第二分类结果和第三分类结果融合,得到水下多源声学图像的底质分类结果。本发明能实现水下底质的自动、高精度分类。
Description
技术领域
本发明涉及水下声学图像分类技术领域,特别是涉及一种基于决策级融合的水下多源声学图像底质分类方法及系统。
背景技术
底质分类是指对海洋、湖泊、河流等水体底层物质(如泥、沙、粗砂、砾石、礁石等)的分类。水下底质分类对水下科学研究、资源开发、环境保护和水下维权具有重要意义。侧扫声呐、多波束声呐系统和浅地层剖面仪等多源探测是声学法底质分类的常用技术,通过对上述三类声学设备获取的多源声学图像进行分析和解译,可实现底质类型的分类。多源声学图像具有多维、多源、异构的特点,其提供的信息含义既有较大差别,又有良好的互补性。融合多源声学图像信息实现底质分类,具有单独使用任意一种或两种数据用于分类无法比拟的优势。这是因为侧扫声呐和多波束声呐系统可获取底质反向散射强度地貌图像、多波束声呐系统可获取水底地形合成地形图像(用不同灰度或色彩表示水底高程)、浅地层剖面仪可获取水底剖面声反射强度图像,即地层剖面图像。地貌、地形和地层剖面图像分别提供了水底二维、三维表面和三维剖面信息,三类数据的整合提供了多维度的声学特征信息,更有利于底质分类。
现有的基于多源声学图像信息实现水下底质分类的方法有人工判别法、通用融合方法和图像融合方法。人工判别法是通过人工综合判读的方式将侧扫声呐、多波束和浅地层剖面等多源声学数据用于水下调查与底质分类,该方法已经在国内外水下调查工作中得到了广泛应用,但这种方式依赖判别人员的经验,判别过程不易回溯,且大范围应用时工作量巨大,分类精度有待提高。通用融合方法的本质是实现多源、异构声学图像数据的空间集成,将多源声学图像按照其空间关系集成在统一的坐标系下,但是并未形成针对水下底质分类等具体应用为核心的融合方法及系统,无法实现自动化水下底质分类。多源声学数据的图像融合方法更重要的目的是通过融合获取更高质量的图像数据或有用信息,其主要集中在数据层面融合多源声学图像以改善数据质量,对于浅地层剖面数据提供的水下地层剖面信息未能实现有效融合与利用。
发明内容
基于此,有必要提供一种基于决策级融合的水下多源声学图像底质分类方法及系统,以实现水下底质的自动分类,提高水下底质自动分类的分类精度。
为实现上述目的,本发明提供了如下方案:
基于决策级融合的水下多源声学图像底质分类方法,包括:
获取水下地貌图像和水下地形图像;所述水下地貌图像和所述水下地形图像为在统一空间坐标系下的图像;
采用多分辨率图像分割算法对所述水下地貌图像进行分割,得到水下地貌分割图像;所述水下地貌分割图像包括多个地貌分割体;
将所述水下地形图像与所述水下地貌分割图像叠加,得到水下地形分割图像;所述水下地形分割图像包括多个地形分割体;
提取所述水下地貌分割图像中每个地貌分割体的地貌特征;所述地貌特征包括水底地貌的灰度统计特征、水底地貌的灰度共生矩阵特征、水底地貌的基于高阶统计量的不变矩特征和水底地貌的分形维数特征;
提取所述水下地形分割图像中每个地形分割体的地形特征;所述地形特征包括水底坡度统计特征、水底坡向统计特征、水底表面曲率统计特征和水底地表的分形维数特征;
将所述地貌特征输入至多个训练好的机器学习分类模型中,得到多个第一分类结果,将所述地形特征输入至多个所述训练好的机器学习分类模型中,得到多个第二分类结果;
基于D-S证据理论将多个所述第一分类结果和多个所述第二分类结果融合,得到水下多源声学图像的底质分类结果。
基于决策级融合的水下多源声学图像底质分类系统,包括:
第一图像获取模块,用于获取水下地貌图像和水下地形图像;所述水下地貌图像和所述水下地形图像为在统一空间坐标系下的图像;
图像分割模块,用于采用多分辨率图像分割算法对所述水下地貌图像进行分割,得到水下地貌分割图像;所述水下地貌分割图像包括多个地貌分割体;
第一图像叠加模块,用于将所述水下地形图像与所述水下地貌分割图像叠加,得到水下地形分割图像;所述水下地形分割图像包括多个地形分割体;
第一特征提取模块,用于提取所述水下地貌分割图像中每个地貌分割体的地貌特征;所述地貌特征包括水底地貌的灰度统计特征、水底地貌的灰度共生矩阵特征、水底地貌的基于高阶统计量的不变矩特征和水底地貌的分形维数特征;
第二特征提取模块,用于提取所述水下地形分割图像中每个地形分割体的地形特征;所述地形特征包括水底坡度统计特征、水底坡向统计特征、水底表面曲率统计特征和水底地表的分形维数特征;
第一分类模块,用于将所述地貌特征输入至多个训练好的机器学习分类模型中,得到多个第一分类结果,将所述地形特征输入至多个所述训练好的机器学习分类模型中,得到多个第二分类结果;
第一分类结果融合模块,用于基于D-S证据理论将多个所述第一分类结果和多个所述第二分类结果融合,得到水下多源声学图像的底质分类结果。
与现有技术相比,本发明的有益效果是:
本发明提出了基于决策级融合的水下多源声学图像底质分类方法及系统。其将地貌特征输入至多个训练好的机器学习分类模型中,得到多个第一分类结果,将地形特征输入至多个训练好的机器学习分类模型中,得到多个第二分类结果;基于D-S证据理论将多个第一分类结果和多个第二分类结果融合,得到水下多源声学图像的底质分类结果。本发明实现了基于地貌、地形特征分类的决策级融合,满足了水下底质的自动分类的应用需求,提高了水下底质自动分类的分类精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例1基于决策级融合的水下多源声学图像底质分类方法的流程图;
图2为本发明实施例2水下浅地层剖面图像层界检测结果图;
图3为本发明实施例2浅层剖面图像特征示意图;
图4为本发明实施例2两类底质的水体底质界面线的复杂度曲线图;
图5为本发明实施例2基于水下地貌图像和水下地形图像的决策级融合与底质分类方法的流程图;
图6为本发明实施例2基于水下地貌图像、水下地形图像和水下地层剖面图像的决策级融合与底质分类方法的流程图;
图7为本发明实施例3基于决策级融合的水下多源声学图像底质分类系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
参见图1,基于决策级融合的水下多源声学图像底质分类方法,包括:
步骤101:获取水下地貌图像和水下地形图像;所述水下地貌图像和所述水下地形图像为在统一空间坐标系下的图像。
步骤102:采用多分辨率图像分割算法对所述水下地貌图像进行分割,得到水下地貌分割图像。所述水下地貌分割图像包括多个地貌分割体。
步骤103:将所述水下地形图像与所述水下地貌分割图像叠加,得到水下地形分割图像。所述水下地形分割图像包括多个地形分割体。
步骤104:提取所述水下地貌分割图像中每个地貌分割体的地貌特征。所述地貌特征包括水底地貌的灰度统计特征、水底地貌的灰度共生矩阵特征、水底地貌的基于高阶统计量的不变矩特征和水底地貌的分形维数特征。
步骤105:提取所述水下地形分割图像中每个地形分割体的地形特征。所述地形特征包括水底坡度统计特征、水底坡向统计特征、水底表面曲率统计特征和水底地表的分形维数特征。
步骤106:将所述地貌特征输入至多个训练好的机器学习分类模型中,得到多个第一分类结果,将所述地形特征输入至多个所述训练好的机器学习分类模型中,得到多个第二分类结果。
步骤107:基于D-S证据理论将多个所述第一分类结果和多个所述第二分类结果融合,得到水下多源声学图像的底质分类结果。
其中,步骤107,具体包括:
1)获取地貌训练样本和地形训练样本;所述地貌训练样本包括由多幅水下地貌训练图像组成的第一训练集和一幅水下地貌验证图像;所述地形训练样本包括由多幅水下地形训练图像组成的第二训练集和一幅水下地形验证图像;所述水下地貌训练图像、所述水下地貌验证图像、所述水下地形训练图像和所述水下地形验证图像均为底质类别已知的图像。
2)将所述第一训练集分别输入至多个机器学习分类模型中,得到多个训练好的第一机器学习分类模型,将所述第二训练集分别输入至多个所述机器学习分类模型中,得到多个训练好的第二机器学习分类模型。
3)将所述水下地貌验证图像输入至各所述训练好的第一机器学习分类模型中,得到多个第一混淆矩阵,将所述水下地形验证图像输入至各所述训练好的第二机器学习分类模型中,得到多个第二混淆矩阵。
4)采用多个所述第一混淆矩阵和多个所述第二混淆矩阵对多个所述第一分类结果和多个所述第二分类结果进行筛选,并将由筛选后的第一分类结果和筛选后的第二分类结果组成的集合确定为第一待融合分类数据集。
5)由所述第一混淆矩阵、所述第二混淆矩阵和所述第一待融合分类数据集确定第一证据测度矩阵;所述第一证据测度矩阵由多个第一证据体的信度测度向量组成;所述第一待融合分类数据集中的一个分类结果作为一个第一证据体。该步骤具体包括:
51)由所述第一混淆矩阵和所述第二混淆矩阵得到各第一证据体的信度测度向量,Ej=[mj(A1),mj(A2),…,mj(AN)],其中,Ej表示第j个第一证据体的信度测度向量,mj(A1)表示第j个第一证据体Ej将某对象判定为类别k,则实际的类别为类别1的概率,mj(A2)表示第j个第一证据体Ej将某对象判定为类别k,则实际的类别为类别2的概率,mj(AN)表示第j个第一证据体Ej将某对象判定为类别k,则实际的类别为类别N的概率,k∈{1,2,…,N}。
52)由所述第一证据体的信度测度向量和所述第一待融合分类数据集确定第一证据测度矩阵
其中,n表示第一证据体的总数量。
6)将冲突比例再分配规则作为证据合成规则,信度函数值最大作为融合决策规则,对所述第一证据测度矩阵进行证据推理,得到水下多源声学图像的底质分类结果。
其中,步骤106具体包括:
1)对所述地貌特征和所述地形特征分别进行特征筛选。具体的:基于距离算法分别对所述地貌特征、所述地形特征进行聚类,得到多个地貌特征簇和多个地形特征簇。每个所述地貌特征簇内的特征量之间的距离均小于第一设定距离;从各所述地貌特征簇内均任选一个特征量组成地貌特征量集合。每个所述地形特征簇内的特征量之间的距离均小于第二设定距离;从各所述地形特征簇内均任选一个特征量组成地形特征量集合。
2)对所述地貌特征量集合和所述地形特征量集合分别进行特征选择。具体的:采用全局搜索算法、最大相关最小冗余算法或启发式搜索算法,分别对所述地貌特征量集合、所述地形特征量集合进行特征选择,得到地貌特征选择集合和地形特征选择集合。
3)将所述地貌特征选择集合输入至多个训练好的机器学习分类模型中,得到多个第一分类结果,将所述地形特征量集合输入至多个所述训练好的机器学习分类模型中,得到多个第二分类结果。
作为一种可选的实施方式,在步骤106之后,还包括:
步骤108:获取水下地层剖面图像;所述水下地层剖面图像与所述水下地貌图像在统一空间坐标系下。
步骤109:当所述水下地层剖面图像与所述水下地貌图像或所述水下地形图像存在重叠的区域时,将所述水下地层剖面图像与所述水下地貌分割图像叠加,得到水下地层剖面分割图像。所述水下地层剖面分割图像包括多个地层剖面分割体。
步骤110:提取所述水下地层剖面分割图像中每个地层剖面分割体的地层特征;所述地层特征包括界面线特征量、界面层特征量和表层剖面特征量。所述界面线特征量表示水体底质界面线的复杂度;所述界面层特征量为水体底质界面层的灰度均值;所述表层剖面特征量包括表层剖面的灰度统计特征和表层剖面的垂向纹理特征。
步骤111:将所述地层特征输入至训练好的机器学习分类模型中,得到第三分类结果。
步骤112:基于D-S证据理论将多个所述第一分类结果、多个所述第二分类结果以及所述第三分类结果融合,得到水下多源声学图像的底质分类结果。
其中,步骤112,具体包括:
1)获取地貌训练样本、地形训练样本和地形训练样本;所述地貌训练样本包括由多幅水下地貌训练图像组成的第一训练集和一幅水下地貌验证图像;所述地形训练样本包括由多幅水下地形训练图像组成的第二训练集和一幅水下地形验证图像;所述地层训练样本包括由多幅水下地层训练图像组成的第三训练集和一幅水下地层验证图像;所述水下地貌训练图像、所述水下地貌验证图像、所述水下地形训练图像、所述水下地形验证图像、所述水下地层训练图像和所述水下地层验证图像均为底质类别已知的图像。
2)将所述第一训练集分别输入至多个机器学习分类模型中,得到多个训练好的第一机器学习分类模型;将所述第二训练集分别输入至多个所述机器学习分类模型中,得到多个训练好的第二机器学习分类模型;将所述第三训练集输入至所述机器学习分类模型中,得到训练好的第三机器学习分类模型。
3)将所述水下地貌验证图像输入至各所述训练好的第一机器学习分类模型中,得到多个第一混淆矩阵,将所述水下地形验证图像输入至各所述训练好的第二机器学习分类模型中,得到多个第二混淆矩阵,将所述水下地层验证图像输入至所述训练好的第三机器学习分类模型中,得到第三混淆矩阵。
4)依据所述第三分类结果统计各所述地层剖面分割体中浅层剖面测线上的不同底质所占的比例,形成比例行向量。
5)将所述比例行向量乘以所述第三混淆矩阵,得到更新后的第三混淆矩阵。
6)采用多个所述第一混淆矩阵和多个所述第二混淆矩阵对多个所述第一分类结果和多个所述第二分类结果进行筛选,并将由筛选后的第一分类结果、筛选后的第二分类结果和所述第三分类结果组成的集合确定为第二待融合分类数据集。筛选方法为:根据第一混淆矩阵计算第一分类结果的总体精度和对各底质类别分类的用户精度;根据第二混淆矩阵计算第二分类结果的总体精度和对各底质类别分类的用户精度;根据总体精度由高到低依次筛选出相应的第一分类结果和第二分类结果,直到新加入的第一分类结果或第二分类结果对各底质类别分类的用户精度均不高于已筛选出的分类结果为止,则完成分类结果的筛选。所述总体精度和对各底质类别分类的用户精度计算方法如下:
混淆矩阵的计算是将分类结果与真实分类图像的像素匹配后统计得到的。混淆矩阵ω的表示方法如下:
其中,n为图像中的总类别数;ω中的元素Nkl表示分类结果中类别为k对应分类图像中真实类别为l的像素个数(k,l∈{1,2,…,n}),即行表示分类结果,列表示真实类别。
类别k的用户精度(User’s Accuracy,UA)表示正确地分为类别k的像素数与分类结果为k的总像素数之比,用来衡量结果中类别k被错分为其他类别的程度,该值越大表明越不易被错分,计算公式如下:
总体精度(Overall Accuracy,OA)表示分类结果中被正确分类的像素数占总像素数的比率,计算公式如下:
7)由所述第一混淆矩阵、所述第二混淆矩阵、所述更新后的第三混淆矩阵和所述第二待融合分类数据集确定第二证据测度矩阵;所述第二证据测度矩阵由多个第二证据体的信度测度向量组成;所述第二待融合分类数据集中的一个分类结果作为一个第二证据体。该步骤具体包括:
71)由所述第一混淆矩阵、所述第二混淆矩阵和所述更新后的第三混淆矩阵得到各第二证据体的信度测度向量,Ej′=[mj′(A1),mj′(A2),…,mj′(AN)],其中,Ej′表示第j个第二证据体的信度测度向量,mj′(A1)表示第j个第二证据体Ej′将某对象判定为类别k,则实际的类别为类别1的概率,mj′(A2)表示第j个第二证据体Ej将某对象判定为类别k,则实际的类别为类别2的概率,mj′(AN)表示第j个第二证据体Ej将某对象判定为类别k,则实际的类别为类别N的概率,k∈{1,2,…,N}。
72)由所述第二证据体的信度测度向量和所述第二待融合分类数据集确定第一证据测度矩阵
其中,h表示第二证据体的总数量。
8)将冲突比例再分配规则(PCR5)作为证据合成规则,信度函数值最大作为融合决策规则,对所述第二证据测度矩阵进行证据推理,得到水下多源声学图像的底质分类结果。
其中,步骤110,所述提取所述水下地层剖面分割图像中每个地层剖面分割体的地层特征,具体包括:
1)确定所述水下地层剖面分割图像中的水体底质界面线、水体底质界面层和表层剖面。
所述水体底质界面线为所述浅地层剖面图像中表示水体的像素与表示底质的像素之间的分界线;所述水体底质界面层为所述浅地层剖面图像中,位于所述水体底质界面线之下设定宽度范围内的像素构成的层;所述水体底质界面层的厚度与所述浅地层剖面图像的数据源有关,通常大于1像素且小于整个剖面图像高度的5%,可约1~10像素。
该步骤中,采用“人工判别层界检测方法”,或采用比较成熟的图像边缘检测算法(如Roberts、Sobel、Prewitt、Laplacian、Canny等自动边缘检测算法)对所述浅地层剖面图像的各层进行划分。
2)由所述水体底质界面线确定所述浅地层剖面图像的界面线特征量;所述界面线特征量表示所述水体底质界面线的复杂度;所述水体底质界面线的复杂度采用所述水体底质界面线上各目标分界点与对应邻域内的所有分界点连线的斜率值的标准差表示;所述目标分界点为所述水体底质界面线上任意一个分界点。该步骤具体包括:
浅层剖面图像中的水体-底质界面线可描绘水底地形剖面特征,界面线平滑且横向连接性越好,则表明水底越平坦或起伏越小。假设判读出的水体-底质界面线上各点坐标用(xi,yi)表示,其中xi表示分界点的水平坐标(Ping序列号),即分界点的所属序列标号,yi表示分界点的水深值(i=1,2,…,n,n为浅层剖面图像的列数),经过点(xi,yi)到与之相距为d列的分界点(xi+d,yi+d)的直线斜率为:
实验表明,受到水体-底质界面线提取误差的影响,相邻两点(即d=1)的连线斜率变化规律性差,无法衡量某点(xi,yi)所处水底表面的复杂度。因此,本实施例提出新的界面线复杂度的度量指标:在给定的邻域w内,距离分界点(xi,yi)距离不大于w的所有分界点与该分界点连线斜率kid的标准差si。以si作为该点的复杂度指标,公式如下:
其中,μi为分界点(xi,yi)与邻域w内所有分界点连线的斜率的均值,即分界点均值。分界点标准差si越大表明分界点(xi,yi)附近的界面线起伏越大,复杂度越高;反之,si越小表明起伏越小,复杂度越低。
3)由所述水体底质界面层确定每个地层剖面分割体的界面层特征量。
4)由所述表层剖面确定每个地层剖面分割体的表层剖面特征量。
所述表层剖面特征量包括所述表层剖面的灰度统计特征和所述表层剖面的垂向纹理特征。
所述表层剖面的灰度统计特征为所述表层剖面的灰度均值;所述表层剖面的垂向纹理特征为设定θ=-90°,计算灰度共生矩阵(GLCM),然后根据GLCM计算的9个特征量,其分别为表层剖面的角二阶矩、对比度、相关系数、逆差矩、同质性、熵、方差、簇阴影和簇显著性。
具体的,图像的垂向纹理特征用灰度共生矩阵(GLCM)表示,其定义为灰度分别为i和j,连线与水平正方向夹角为θ,距离为d的两个像素在整个图像中出现的频率pij(d,θ)构成的矩阵。其表达式如下:
pij(d,θ)=#{(k,l),(m,n)∈(Ly×Lx)|ρ((k,l),(m,n))=d,
A((k,l),(m,n))=θ,f(k,l)=i,f(m,n)=j}
其中,#为计数符号,Lx和Ly分别表示图像的水平和垂直宽度范围,(k,l)和(m,n)表示两个像素在图像中的坐标,ρ((k,l),(m,n))表示这两个像素之间的距离,A((k,l),(m,n))表示这两个像素连线与水平正方向(通常为水平向右方向)的夹角,f(k,l)和f(m,n)分别表示其对应的灰度值,pij(d,θ)为整个图像中满足等式右侧条件的像素个数。若图像的灰度级为N,则其生成的GLCM大小即为N×N。
当给定距离d和夹角θ时,相应的GLCM元素以下用p(i,j)表示(i,j∈[1,N]),定义GLCM的行元素与列元素之和构成的数组分别为px和py,即
对p(i,j)进行统计,则得到整个图像的特征,特征表达式如下:
(1)角二阶矩(Angular Second Moment,ASM)/能量(Energy)
角二阶矩也被称作能量,GLCM中元素的取值越集中,即图像某方向上的灰度值一致性越大,则角二阶矩的值越大。
(2)对比度/反差度(Contrast,CONT)
GLCM的对比度可衡量图像中某方向上灰度值的差异,灰度差异性越大则对比度越大。
(3)相关系数(Correlation,CORR)
其中,μx和μy分别表示数组px和py的均值,σx和σy分别表示数组px和py的标准差。GLCM的相关系数可衡量图像中像素灰度的线性相关性,在图像中的某方向上,像素灰度值的线性变化规律越明显则相关系数越大。
(4)逆差矩/惯性矩(Inverse Difference Moment,IDM)
逆差矩也称为“惯性矩”,可衡量图像的局部均一性。图像中具有相同或相近灰度值的区域越多,则逆差矩越大。
(5)同质性(Homogeneity,HOM)
图像中具有相同或相近灰度值的区域越多,则表示同质性越好。
(6)熵(Entropy,ENT)
GLCM的熵可衡量图像纹理的随机性,图像中的纹理分布越无规律或者同质性越差则GLCM的熵越大。
(7)方差(Variance,VAR)
GLCM的方差可衡量图像的异质性(Heterogeneity),这种特征与同质性(Homogeneity)相反,图像某方向上的像素灰度值偏离其平均值越大则方差越大。GLCM的方差不具有空间频率属性,因此其方差与对比度不同,即方差越大对比度越大,反之则不一定成立。
(8)簇阴影(Cluster Shade,CSHA)
GLCM的簇阴影可衡量GLCM的偏度(Skewness),图像灰度分布的不对称性越强,则簇阴影的值越大。
(9)簇显著性(Cluster Prominence,CPRO)
GLCM的簇显著性可衡量GLCM元素的集中度,图像的灰度值变化越大,则簇显著性的值越大。
GLCM特征的提取需要规定统计共生的两个像素之间的距离d(单位为像素)和其连线与水平方向的夹角θ,基于水下底质空间分布的尺度考虑,取d=5像素,θ=90°计算灰度共生矩阵。然后,分别计算上述9个特征量,它们分别是:角二阶矩、对比度、相关系数、逆差矩、同质性、熵、方差、簇阴影、簇显著性。
5)将所述界面线特征量、所述界面层特征量和所述表层剖面特征量确定为所述水下地层剖面分割图像的地层特征。
其中,步骤111,具体包括:
1)对所述地层特征进行特征筛选。具体为:基于距离算法对所述地层特征进行聚类,得到多个地层特征簇;每个所述地层特征簇内的特征量之间的距离均小于第三设定距离;从各所述地层特征簇内均任选一个特征量组成地层特征量集合。
2)对所述地层特征量集合进行特征选择。具体为:采用全局搜索算法、最大相关最小冗余算法或启发式搜索算法,对所述地层特征量集合进行特征选择,得到地层特征选择集合。
3)将所述地层特征选择集合输入至训练好的机器学习分类模型中,得到第三分类结果。
实施例中的步骤108-步骤112,在基于地貌、地形特征分类的决策级融合,满足了水下底质的自动分类的应用需求,提高了水下底质自动分类的分类精度的基础上,融合了地貌、地形和地层三种主题的数据,解决了现有技术中无法将水下地貌、地形、浅地层剖面数据实现有效融合与利用的问题,进一步提高了水下底质自动分类的分类精度。
下面提供了一个更为具体的实施方式。
实施例2
本实施例的基于决策级融合的水下多源声学图像底质分类方法的构思为:
(1)数据结构统一,即将原始的水下多源声学探测数据转化为声学图像,从而构成集成的声学探测空间数据库。常用的水下声学图像可按照主题不同分为水下地貌图像、水下地形图像和水下浅地层剖面图像。其中,水下地貌图像是指通过侧扫声呐或多波束声呐系统获取水下反向散射强度记录形成的灰度图像;水下地形图像是指通过多波束声呐系统获取的水底高程值并用灰度或色彩表示形成的地形图像;水下浅地层剖面图像是指通过浅地层剖面仪获取水底剖面声反射强度记录形成的灰度图像。上述不同主题的多源声学图像可通过各类声学设备自带的软件实现图像输出。
(2)空间坐标统一,即根据数据获取时的空间位置,确定不同主题的多源声学图像各像素对应的空间位置,包括经纬度坐标、水下高程或底质深度,从而将多源声学图像融合到统一坐标系下的数据库中。上述不同主题的多源声学图像各像素对应的空间位置可通过各类声学设备自带的软件得到。
(3)信息维度统一,即基于声学应用数据库中的水下多源声学图像数据进行特征提取、特征融合和特征分类,从而将具有不同空间维度的多源声学图像信息在特征空间或分类决策空间进行统一。
本实施例的基于决策级融合的水下多源声学图像底质分类方法的具体为:
步骤一:多源声学数据获取
将原始的水下多源声学探测数据转化为声学图像,从而构成集成的声学探测空间数据库。常用的水下声学图像可按照主题不同分为水下地貌图像、水下地形图像和水下浅地层剖面图像。
步骤二:多源声学数据坐标换算
根据数据获取时的空间位置,确定不同主题的多源声学图像各像素对应的空间位置,包括经纬度坐标、水下高程或底质深度,从而将多源声学图像融合到统一坐标系下的数据库中。
步骤三:对水下地貌图像进行多尺度分割
本实施例采用多分辨率分割(Multiresolution Segmentation)算法进行水下地貌图像的多尺度分割,分割结果为相互独立的块状分割体,可作为后续过程中特征提取和分类的基本单元。多分辨率分割算法是一种现有的分割算法,可采用eCognition影像分析软件实现。
将过上述步骤可得到水下地貌分割图像,再通过将水下地形图像与水下地貌分割图像叠加,由于水下地层剖面图像描述的是浅地层剖面仪垂直投影正下方的底质分层情况,因此将水下地层剖面图像对应的测量线与水下地貌分割图像叠加,得到水下地形分割图像和水下地层剖面分割图像。
步骤四:多源声学图像的特征提取
1、水下地貌分割图像的特征提取
本实施例中,主要从水下地貌分割图像中提取灰度统计特征、灰度共生矩阵特征、基于高阶统计量的不变矩特征和分形维数特征,共36个特征。具体的:第一类9个灰度统计特征,分别为:图像的灰度均值、图像的灰度标准差、图像灰度直方图的偏度、图像灰度直方图的峰度、图像灰度直方图的能量、图像灰度直方图的熵、图像灰度直方图的变异系数、图像灰度直方图的中位数、图像灰度直方图的四分位距;第二类18个灰度共生矩阵(GrayLevel Co-occurrence Matrix,GLCM)特征量,分别为:角二阶矩、对比度、相关系数、逆差矩、同质性、熵、方差、簇阴影、簇显著性这9个特征量在0°,45°,90°,135°共4个角度上的最大值、最小值(共18个特征量);第三类8个基于高阶统计量的不变矩特征;第四类1个基于盒计数法的分形维数特征。本实施例中的上述36个特征可以基于现有的计算方法得到,在此不再赘述。
2、水下地形分割图像的特征提取
水下地形图像主要来自多波束声呐系统测量得到的水深数据(Bathymetry),通过水深数据可构建水下数字表面模型(Digital Surface Model,DSM)。根据水下DSM可衍生计算坡度、坡向和曲率等数据以突出某些地形特征,这些数据一般是根据水底地形格网或图像的像素及其较小邻域计算得到的。本实施例提取水下地形分割图像的水底坡度(水底坡度的均值和水底坡度的标准差)、水底坡向(水底坡向标准差、水底坡向偏度、水底坡向的灰度共生矩阵的角二阶矩、对比度、相关系数和方差的各向最大值)、水底表面曲率(水底表面曲率的均值、水底表面曲率的标准差)和水底地表的分形维数特征,共11个特征。
(1)2个水底坡度(Slope)相关统计特征
坡度可用每个像素到与其相邻像素方向上高程值的最大变化率进行描述。例如,取一个像素周围的8像素邻域对应的高程值进行统计,该像素与邻域像元的高程差h与两像素距离d的比值h/d即为这两像素间的高程值变化率,在8像素邻域内找到最大的高程值变化率即为坡度,坡度角θ则可定义为:
θ=max{arctan(h/d)}。
坡度的绝对值越小表示地势越接近水平。坡度可较好地描述水底地形的起伏程度,对于礁石等造成水底起伏变化较大的底质具有较好的辨识能力,也可用于辨别平坦地形以推测砾石、泥等底质的分布。本实施例基于多波束测深数据计算水底坡度,并提取水底坡度的均值和水底坡度的标准差两类统计特征。
(2)6个坡向(Aspect)相关统计特征
坡向可被视为坡度的方向,即每个像素到其相邻像素方向上高程值变化率最大的下坡方向。坡向可用0°到360°的平面角度(与正北方向的夹角)表示。水底坡面的具体方向性并不易用于区分底质类型,但是从水底坡向图像中可以很清晰地识别礁石、沙波以及地质构造形成的地形褶皱,这表明坡向的纹理统计信息对礁石、沙波等与底质有关地形有较好的识别能力。本实施例基于多波束测深数据计算水底坡向,并提取坡向数据的标准差、偏度以及灰度共生矩阵的角二阶矩、对比度、相关系数和方差的各向最大值共6个特征量。
(3)2个曲率(Curvature)相关统计特征
对一个像素及其周围3×3窗口内的高程值进行多项式拟合,再对得到的表面多项式方程求二阶导数即得到地形的曲率。沿坡度方向的曲率称为剖面曲率(ProfileCurvature),垂直于坡度方向的曲率称为平面曲率(Planform Curvature)。曲率可用于描述水底凸起或凹陷的形状特征,曲率大于0表示表面上凸,小于0表示表面下凹。
曲率的绝对值越大表示表面变化越剧烈,曲率为0则表示表面平坦。从曲率图像中可以很清晰地识别礁石等底质类型。本实施例基于多波束测深数据计算水底表面曲率,并提取曲率数据的均值和标准差两个统计特征。
(4)1个水底地表的分形维数特征
分形维数原本用于描述地理实体的形态复杂度,因此也适用于对水底地形DSM图像的区域性描述。
3、水下浅地层剖面分割图像的特征提取
(1)浅地层剖面图像的预处理
浅地层剖面图像常被用于人工判读,因此其预处理过程相对简单,主要包括原始数据滤波、回波增益补偿、采样点深度计算和呯(Ping)数据定位等过程。获取浅地层剖面图像后,直接使用固定的分割尺度将图像分为空间连续、互不重叠且具有相近的图像灰度特征的若干列子图像,所述若干列子图像确定为所述水底地层图像的图像分割单元。
(2)层界检测方法
本实施例中采用多次波压制完成浅底层剖面图像预处理,再采用人工判别层界检测方法,或图像边缘检测算法如:Roberts、Sobel、Prewitt、Laplacian、Canny等自动边缘检测方法确定所述水底地层图像中的水体底质界面线、水体底质界面层和表层剖面。下面采用一次函数拟合的预测相减法快速实现浅层剖面图像的多次波压制,最终实现了对水下浅地层剖面分割图像中的水体底质界面线、水体底质界面层和表层剖面的确定,如图2所示,图2中横坐标表示序列号,纵坐标表示水深值。
(3)特征提取
根据图像分割单元,分别提取水下浅地层剖面图像每个图像分割单元的以下特征量。
(a)水体-底质界面线的复杂度(界面线特征量)
其中,图3为本发明实施例2浅层剖面图像特征示意图。图4展示了两类底质的水体底质界面线的复杂度曲线。其中,图3中左侧方框(a)内的表层底质为强风化砂岩,该框的水体底质界面线及其复杂度曲线分别如图4的(a)部分所示,图4的(a)部分中竖直的线表示海水-底质界面深度,曲线表示界面线复杂度;图3中右侧方框(b)内的表层底质为淤泥质粘土,该框的水体底质界面线及其复杂度曲线分别如图4的(b)部分所示,图4的(b)部分中竖直的线表示海水-底质界面深度,曲线表示界面线复杂度。
(b)水体-底质界面层的灰度均值(界面层特征量)
在浅层剖面图像中,水体-底质界面处往往存在一层较薄的强反射层,称之为“界面层”。界面层上方的入射介质均为水体,该层内回波信号的强度不同则意味着水底表层的声阻抗不同,因此界面层的灰度值可作为分辨不同底质类型的指标之一。本实施例取该层的灰度均值作为界面层的特征量,灰度均值的计算原理为:
n为图像灰度级减1,例如,图像灰度级为256,则n=255;ri为相应的灰度值;p(ri)为图像灰度值ri出现的概率或频率;灰度均值相当于灰度值的一阶原点矩。
(c)表层剖面内的灰度均值(表层剖面的灰度统计特征)
浅层剖面图像中,在水体-底质界面层以下一般为表层底质的剖面图像,称之为“表层剖面”,该剖面的厚度反映了表层介质的厚度,其灰度值则反映了表层介质内部的声阻抗特性。对于不同的表层底质,其对应的剖面层图像灰度值、灰度值相近区域的聚集、分散或平行分布特征也会有所不同。其中,最为显著的特征之一是表层剖面内的灰度均值,其计算原理同上式。
(d)9个表层剖面内的垂直方向纹理特征(表层剖面的垂向纹理特征)
表层剖面的另一显著特征是其灰度的垂直方向纹理。根据浅地层剖面仪的工作原理可知,声信号在地层内传播过程中受到介质层体散射影响会出现强度的衰减,在浅层剖面图像中则反映为层内灰度值的垂直梯度变化。声信号强度随深度衰减越快则图像灰度值的垂直梯度越大,反之,衰减越慢则灰度值的垂直梯度越小。声信号衰减的程度与介质类型有关,因此灰度垂直梯度不同的区域表明剖面介质类型不同。一般来说,泥底质具有较高的孔隙度和含水量,对声信号的反射和衰减作用较小,透射能力较强;砂底质则有较大的反射和衰减作用,透射能力较弱。利用图像的灰度共生矩阵(GLCM)可以确定图像特定方向的纹理分布情况,本实施例提取GLCM的9个特征量,分别是:角二阶矩、对比度、相关系数、逆差矩、同质性、熵、方差、簇阴影、簇显著性。对于GLCM的方向角θ,取θ=-90°,即以水平向下方向统计不同灰度像元之间的共生关系,共生的两个像元之间的距离d应根据浅层剖面图像的垂直分辨率确定。
步骤五:多源声学图像的特征筛选
本实施例给出了一种基于相关性聚类的特征筛选方法以达到消除高度相关的特征量、减少分类计算成本的目的,其主要过程包括4部分:数据归一化、特征量相关性评价、基于相关性指标的特征聚类和基于聚类结果的特征筛选。
(1)数据归一化
步骤四得到的各类特征量是基于不同的统计方法得到的,因此,各特征量的值域和量纲存在差异。为了消除这种差异性便于数据比较,应对数据进行归一化。本实施例采用最值归一化方法,即最大最小值归一化实现归一化。
(2)特征量的相关性评价
本实施例根据这些特征量归一化后的数据特点,采用了Speraman相关系数进行评价。
(3)基于相关性指标的特征聚类
凝聚层次聚类是一种典型的聚类方法,其策略是以每一个对象作为一个簇(Cluster),根据一定的规则将这些簇逐步合并为更大的簇,直到所有对象全部合并或满足某个终止条件为止。凝聚层次聚类的核心问题是确定簇合并的规则,即定义簇之间的距离,并以距离越近的簇越优先合并。上述给出特征量之间的相关系数rs(x,y)的计算方法,因此可直接以如下公式作为特征量之间的距离定义:d(x,y)=1-rs(x,y),其中,x、y(x≠y)表示任意两个被度量的特征量,rs(x,y)为其相关系数。因为有-1≤rs(x,y)≤1,所以根据d(x,y)的定义可知两个特征量之间的正相关性越强则其距离越近,负相关性越强则其距离越远。
(4)基于聚类结果的特征筛选
设定阈值Td,并列举该阈值水平下完成合并的各簇所包含的所有初始特征量,并认为在该阈值水平下合并为同一簇的每个初始特征量均可代表整个簇。从各簇中筛选一个初始特征量作为代表,淘汰其它特征量,由此筛选出的特征量集合即为筛选后的特征集合。特征筛选可带有一定的经验性,通常以便于计算为准则,有时也应考虑所选特征量对异常数据的敏感性。根据上述公式可知,通常情况下阈值Td越低保留的特征量越多。
下面基于上述原理,对地貌特征、地形特征和所述地层特征进一步筛选。最终得到地貌特征量集合、地形特征量集合和地层特征量集合。为了进一步提高提取的特征的准确性,以更好的用于后期分类,在此基础上,对上述特征筛选后的多源声学特征集合进行进一步的特征选择。
步骤六:多源声学图像的特征选择
特征选择是从一组特征中挑选出一些最有效的特征以降低特征空间维数的过程。在基于多特征的图像分类过程中,特征选择也是关键问题之一。不论是采用监督分类还是非监督分类策略,所选特征子集是否包含与类别无关或冗余的特征量将直接影响分类效果。特征选择方法可采用:
(1)特征选择方法一:基于全局搜索的特征选择方法。(2)特征选择方法二:基于最大相关最小冗余算法(mRMR)的特征选择方法。(3)特征选择方法三:基于启发式搜索算法的特征选择方法。常用的启发式搜索算法如粒子群算法、蚁群算法、遗传算法、模拟退火算法等。在实际应用时,可以根据不同的需求,选择上述任一方法实现对筛选后的的特征的进一步选择。
经过上述步骤三-步骤六,实现了对不同主题的多源声学图像的特征提取、特征筛选和特征选择,用于水下底质分类。本实施例用于底质分类的融合特征量包括的地貌图像特征、地形图像特征和地层图像特征,分别如表1-3所示。
表1地貌图像特征
表2地形图像特征
表3地层图像特征
步骤七:底质分类
基于每一个分割体对应的地貌、地形和地层图像特征,可利用训练样本图像的相应特征进行分类器训练,然后对待分类样本进行分类,得到每个分割体的底质分类结果。其中,分类器的选择包括但不限于以下5种。(1)K-近邻分类(K-Nearest Neighborsclassification,KNN)。(2)朴素贝叶斯分类(Naive Bayesian classification)。(3)决策树分类(Decision Tree Classification)。(4)支持向量机分类(Support VectorMachine,SVM)。(5)随机森林分类(Random Forest,RF)。下面基于D-S证据理论将多个分类结果融合,得到水下多源声学图像的底质分类结果。
1、首先对D-S证据理论进行介绍。
使用D-S证据理论进行决策级融合需要明确以下4个问题:(1)选择哪些数据进行融合;(2)如何定义基本信度分配函数(Basic Belief Assignment,BBA函数)(3)采用哪种证据合成规则;(4)采用哪种融合决策规则。
(1)待融合数据的选取
基于D-S证据推理的决策级融合能在一定程度上利用输入数据之间的冗余和互补信息提升决策精度,但这种提升趋势并不随被融合证据数量的增加而延续,这是因为当更多的证据无法提供更多互补信息,而数据之间的冗余度过高时,继续增加证据将增加证据之间的冲突程度,反而成为噪声信息影响决策。
基于上述规律,本实施例提出以下方法确定加入D-S证据推理过程的数据及其加入顺序:根据多个分类器训练过程中产生的混淆矩阵计算对训练数据的分类总体精度,按照总体精度由高到低依次排序作为证据添加的顺序。将水下地貌、地形两类数据分为两个证据集合轮流选择加入待融合的数据集。具体的筛选过程可参见上述实施例1,在此不再赘述。
(2)BBA函数的计算
对于本实施例先前采用的监督分类方法,一种可行的定义BBA函数的方法是利用分类器训练过程中的混淆矩阵。分类器的混淆矩阵通常是采用交叉验证(Cross-validation)方法得到的,即将训练样本分为K份,用其中1份作为模拟测试样本而使用剩余的K-1份做训练,再用训练好的分类器验证对这1份模拟测试样本的分类精度,令每1份样本均做一次模拟测试样本,将平均分类结果作为混淆矩阵,混淆矩阵的公式为:
其中,ω为混淆矩阵,n为图像中的总类别数;ω中的元素Nkl表示分类结果中类别为k对应分类图像中真实类别为l的像素个数(k,l∈{1,2,…,n}),即行表示分类结果,列表示真实类别。
首先,对混淆矩阵ω进行行归一化,即:
然后,根据某一数据源j(作为一个证据体Ej)输入的分类结果类别k(k∈{1,2,…,n})确定该证据体对应的BBA:
mj(Al)=P(k,l),l∈{1,2,…,n};
mj(Al)的含义是:若证据体Ej将某对象判定为类别k,则其实际的类别为l的概率。联立公式和易证明mj(Al)满足约束条件,即:
(3)证据合成规则选取
通过多分类器对多源数据分类的结果有较大的差异性(冲突性),因此本实施例采用冲突比例再分配规则(PCR5)规则作为融合规则。PCR5规则为:
(m1(C)+m2(Xi)≠0,m1(Xi)+m2(C)≠0),
其中,Ai,Bj,Xi∈2θ,Ai∩Bj=C,Xi为中间变量。当式中某项的分母为0时则应舍弃该项。
以下通过一个实例证明PCR5规则是比Dempster给出的合成规则更优的融合规则。
根据Dempster融合规则,由于信度测度向量E1与E2融合时有K=1,故证据体E1、E2正交,融合失效;
根据PCR5融合规则,则有:
由信度函数值最大作为融合决策规则,由融合决策规则可知,显然焦元A1具有最大的信度函数值Bel(A1)。这4个证据体中后2个证据一致支持A1,前3个证据相互冲突,根据多数投票原则更应支持A1,PCR5规则得到的结论与此更接近。融合决策规则具体为:表示判别结果对应于有最大的信度函数值的焦元。
2、基于水下地貌图像和水下地形图像的决策级融合与底质分类方法
参见图5,水下地貌图像和水下地形图像的决策级融合与底质分类方法为:
Step1:直接利用特征选择和特征选择后的水下地貌和地形特征作为输入,采用上述介绍的多种分类器,用训练样本训练分类器,同时得到混淆矩阵,再用训练好的分类器分别对水下地貌图像和水下地形图像进行特征分类,得到基于水下地貌图像和水下地形图像的多分类决策,即每一个图像分割的对象都对应一个分类结果。
Step2:通过分析混淆矩阵,选择需要融合的分类结果数据。
Step3:基于混淆矩阵和各分割对象的分类结果确定的BBA函数构建证据测度矩阵(EMM)。
Step4:根据证据合成规则和融合决策规则,依次对各分割对象的EMM进行证据推理得到融合结果。
Step5:将上述证据推理结果还原到图像上,得到最终的底质分类图像。
3、基于水下地貌图像、水下地形图像和水下地层剖面图像的决策级融合与底质分类方法
根据上述介绍的D-S证据理论融合方法,对于水下浅地层剖面数据测线与水下地貌、地形图像存在重叠的区域,可利用浅层剖面图像的分类结果构建新的证据体,再采用D-S证据推理进行融合,参见图6,基本过程如下:
Step1:对水下地貌图像、水下地形图像分别进行图像分割、特征提取和多分类器底质分类,得到分割后各图像对象的分类结果和分类混淆矩阵。
Step2:基于水下浅层剖面图像进行底质分类,得到浅层剖面测线上每个测点对应的底质分类结果,同时也可计算分类混淆矩阵。
Step3:将浅层剖面测线与水下地貌分割图像叠加,将叠加在不同图像对象上的测线各分为一段,并统计各段测线上的不同底质所占比例。
Step4:将上述测线段作为新的证据体与其经过的图像分割对象进行关联,用测线上各类底质所占比例值形成的行向量乘以浅层剖面分类结果的混淆矩阵(得到新的行向量),以此作为新证据体的信度测度向量(EMV)。
Step5:对于有测线经过的分割对象,加入新的证据体进行决策级融合。
Step6:将上述证据推理结果还原到图像上,得到最终的底质分类图像。
实施例3
参见图7,本实施例中的基于决策级融合的水下多源声学图像底质分类系统,包括:
第一图像获取模块201,用于获取水下地貌图像和水下地形图像;所述水下地貌图像和所述水下地形图像为在统一空间坐标系下的图像。
图像分割模块202,用于采用多分辨率分割算法对所述水下地貌图像进行分割,得到水下地貌分割图像;所述水下地貌分割图像包括多个地貌分割体。
第一图像叠加模块203,用于将所述水下地形图像与所述水下地貌分割图像叠加,得到水下地形分割图像;所述水下地形分割图像包括多个地形分割体。
第一特征提取模块204,用于提取所述水下地貌分割图像中每个地貌分割体的地貌特征;所述地貌特征包括水底地貌图像的灰度统计特征、灰度共生矩阵特征、基于高阶统计量的不变矩特征和分形维数特征。
第二特征提取模块205,用于提取所述水下地形分割图像中每个地形分割体的地形特征;所述地形特征包括水底坡度统计特征、水底坡向统计特征、水底表面曲率统计特征和水底地表的分形维数特征。
第一分类模块206,用于将所述地貌特征输入至多个训练好的机器学习分类模型中,得到多个第一分类结果,将所述地形特征输入至多个所述训练好的机器学习分类模型中,得到多个第二分类结果。
第一分类结果融合模块207,用于基于D-S证据理论将多个所述第一分类结果和多个所述第二分类结果融合,得到水下多源声学图像的底质分类结果。
作为一种可选的实施方式,所述基于决策级融合的水下多源声学图像底质分类系统,还包括:
第二图像获取模块,用于获取水下地层剖面图像;所述水下地层剖面图像与所述水下地貌图像在统一空间坐标系下。
第二图像叠加模块,用于当所述水下地层剖面图像与所述水下地貌图像或所述水下地形图像存在重叠的区域时,将所述水下地层剖面图像与所述水下地貌分割图像叠加,得到水下地层剖面分割图像;所述水下地层剖面分割图像包括多个地层剖面分割体。
第三特征提取模块,用于提取所述水下地层剖面分割图像中每个地层剖面分割体的地层特征;所述地层特征包括界面线特征量、界面层特征量和表层剖面特征量;所述界面线特征量表示水体底质界面线的复杂度;所述界面层特征量为水体底质界面层的灰度均值;所述表层剖面特征量包括表层剖面的灰度统计特征和表层剖面的垂向纹理特征。
第二分类模块,用于将所述地层特征输入至训练好的机器学习分类模型中,得到第三分类结果。
第二分类结果融合模块,基于D-S证据理论将多个所述第一分类结果、多个所述第二分类结果以及所述第三分类结果融合,得到水下多源声学图像的底质分类结果。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (8)
1.基于决策级融合的水下多源声学图像底质分类方法,其特征在于,包括:
获取水下地貌图像和水下地形图像;所述水下地貌图像和所述水下地形图像为在统一空间坐标系下的图像;
采用多分辨率图像分割算法对所述水下地貌图像进行分割,得到水下地貌分割图像;所述水下地貌分割图像包括多个地貌分割体;
将所述水下地形图像与所述水下地貌分割图像叠加,得到水下地形分割图像;所述水下地形分割图像包括多个地形分割体;
提取所述水下地貌分割图像中每个地貌分割体的地貌特征;所述地貌特征包括水底地貌的灰度统计特征、水底地貌的灰度共生矩阵特征、水底地貌的基于高阶统计量的不变矩特征和水底地貌的分形维数特征;
提取所述水下地形分割图像中每个地形分割体的地形特征;所述地形特征包括水底坡度统计特征、水底坡向统计特征、水底表面曲率统计特征和水底地表的分形维数特征;
将所述地貌特征输入至多个训练好的机器学习分类模型中,得到多个第一分类结果,将所述地形特征输入至多个所述训练好的机器学习分类模型中,得到多个第二分类结果;
基于D-S证据理论将多个所述第一分类结果和多个所述第二分类结果融合,得到水下多源声学图像的底质分类结果,具体包括:
获取地貌训练样本和地形训练样本;所述地貌训练样本包括由多幅水下地貌训练图像组成的第一训练集和一幅水下地貌验证图像;所述地形训练样本包括由多幅水下地形训练图像组成的第二训练集和一幅水下地形验证图像;所述水下地貌训练图像、所述水下地貌验证图像、所述水下地形训练图像和所述水下地形验证图像均为底质类别已知的图像;
将所述第一训练集分别输入至多个机器学习分类模型中,得到多个训练好的第一机器学习分类模型,将所述第二训练集分别输入至多个所述机器学习分类模型中,得到多个训练好的第二机器学习分类模型;
将所述水下地貌验证图像输入至各所述训练好的第一机器学习分类模型中,得到多个第一混淆矩阵,将所述水下地形验证图像输入至各所述训练好的第二机器学习分类模型中,得到多个第二混淆矩阵;
采用多个所述第一混淆矩阵和多个所述第二混淆矩阵对多个所述第一分类结果和多个所述第二分类结果进行筛选,并将由筛选后的第一分类结果和筛选后的第二分类结果组成的集合确定为第一待融合分类数据集;
由所述第一混淆矩阵、所述第二混淆矩阵和所述第一待融合分类数据集确定第一证据测度矩阵;所述第一证据测度矩阵由多个第一证据体的信度测度向量组成;所述第一待融合分类数据集中的一个分类结果作为一个第一证据体;
将冲突比例再分配规则作为证据合成规则,信度函数值最大作为融合决策规则,对所述第一证据测度矩阵进行证据推理,得到水下多源声学图像的底质分类结果。
2.根据权利要求1所述的基于决策级融合的水下多源声学图像底质分类方法,其特征在于,在所述将所述地貌特征输入至多个训练好的机器学习分类模型中,得到多个第一分类结果,将所述地形特征输入至多个所述训练好的机器学习分类模型中,得到多个第二分类结果之后,还包括:
获取水下地层剖面图像;所述水下地层剖面图像与所述水下地貌图像在统一空间坐标系下;
当所述水下地层剖面图像与所述水下地貌图像或所述水下地形图像存在重叠的区域时,将所述水下地层剖面图像与所述水下地貌分割图像叠加,得到水下地层剖面分割图像;所述水下地层剖面分割图像包括多个地层剖面分割体;
提取所述水下地层剖面分割图像中每个地层剖面分割体的地层特征;所述地层特征包括界面线特征量、界面层特征量和表层剖面特征量;所述界面线特征量表示水体底质界面线的复杂度;所述界面层特征量为水体底质界面层的灰度均值;所述表层剖面特征量包括表层剖面的灰度统计特征和表层剖面的垂向纹理特征;
将所述地层特征输入至训练好的机器学习分类模型中,得到第三分类结果;
基于D-S证据理论将多个所述第一分类结果、多个所述第二分类结果以及所述第三分类结果融合,得到水下多源声学图像的底质分类结果。
3.根据权利要求2所述的基于决策级融合的水下多源声学图像底质分类方法,其特征在于,所述基于D-S证据理论将多个所述第一分类结果、多个所述第二分类结果以及所述第三分类结果融合,得到水下多源声学图像的底质分类结果,具体包括:
获取地貌训练样本、地形训练样本和地层训练样本;所述地貌训练样本包括由多幅水下地貌训练图像组成的第一训练集和一幅水下地貌验证图像;所述地形训练样本包括由多幅水下地形训练图像组成的第二训练集和一幅水下地形验证图像;所述地层训练样本包括由多幅水下地层训练图像组成的第三训练集和一幅水下地层验证图像;所述水下地貌训练图像、所述水下地貌验证图像、所述水下地形训练图像、所述水下地形验证图像、所述水下地层训练图像和所述水下地层验证图像均为底质类别已知的图像;
将所述第一训练集分别输入至多个机器学习分类模型中,得到多个训练好的第一机器学习分类模型;将所述第二训练集分别输入至多个所述机器学习分类模型中,得到多个训练好的第二机器学习分类模型;将所述第三训练集输入至所述机器学习分类模型中,得到训练好的第三机器学习分类模型;
将所述水下地貌验证图像输入至各所述训练好的第一机器学习分类模型中,得到多个第一混淆矩阵,将所述水下地形验证图像输入至各所述训练好的第二机器学习分类模型中,得到多个第二混淆矩阵,将所述水下地层验证图像输入至所述训练好的第三机器学习分类模型中,得到第三混淆矩阵;
依据所述第三分类结果统计各所述地层剖面分割体中浅层剖面测线上的不同底质所占的比例,形成比例行向量;
将所述比例行向量乘以所述第三混淆矩阵,得到更新后的第三混淆矩阵;
采用多个所述第一混淆矩阵和多个所述第二混淆矩阵对多个所述第一分类结果和多个所述第二分类结果进行筛选,并将由筛选后的第一分类结果、筛选后的第二分类结果和所述第三分类结果组成的集合确定为第二待融合分类数据集;
由所述第一混淆矩阵、所述第二混淆矩阵、所述更新后的第三混淆矩阵和所述第二待融合分类数据集确定第二证据测度矩阵;所述第二证据测度矩阵由多个第二证据体的信度测度向量组成;所述第二待融合分类数据集中的一个分类结果作为一个第二证据体;
将冲突比例再分配规则作为证据合成规则,信度函数值最大作为融合决策规则,对所述第二证据测度矩阵进行证据推理,得到水下多源声学图像的底质分类结果。
4.根据权利要求2所述的基于决策级融合的水下多源声学图像底质分类方法,其特征在于,所述提取所述水下地层剖面分割图像中每个地层剖面分割体的地层特征,具体包括:
确定所述水下地层剖面分割图像中的水体底质界面线、水体底质界面层和表层剖面;
由所述水体底质界面线确定所述水下地层剖面分割图像的界面线特征量;所述界面线特征量表示所述水体底质界面线的复杂度;所述水体底质界面线的复杂度采用所述水体底质界面线上各目标分界点与对应邻域内的所有分界点连线的斜率值的标准差表示;所述目标分界点为所述水体底质界面线上任意一个分界点;
由所述水体底质界面层确定每个地层剖面分割体的界面层特征量;
由所述表层剖面确定每个地层剖面分割体的表层剖面特征量;
将所述界面线特征量、所述界面层特征量和所述表层剖面特征量确定为所述水下地层剖面分割图像的地层特征。
5.根据权利要求4所述的基于决策级融合的水下多源声学图像底质分类方法,其特征在于,所述由所述水体底质界面线确定每个地层剖面分割体的界面线特征量,具体包括:
由所述水体底质界面线,计算目标分界点与目标分界点邻域内的分界点连线的斜率,
其中,kid为目标分界点(xi,yi)与目标分界点邻域内的分界点(xi+d,yi+d)连线的斜率,xi为水体底质界面线上的第i个分界点的所属序列标号,yi为水体底质界面线上的第i个分界点对应的水深值,xi+d为水体底质界面线上的第i+d个分界点的所属序列标号,yi+d为水体底质界面线上的第i+d个分界点对应的水深值,d为(xi,yi)与(xi+d,yi+d)相距的列数;
由目标分界点与目标分界点邻域内的所有分界点连线的斜率,计算分界点连线斜率的均值,
其中,μi为分界点连线斜率的均值,w为目标分界点的邻域;
由目标分界点与目标分界点邻域内的所有分界点连线的斜率以及所述分界点连线斜率的均值,计算标准差,
其中,si为目标分界点与其邻域内各分界点连线斜率的标准差,si表征水体底质界面线的复杂度。
6.根据权利要求1所述的基于决策级融合的水下多源声学图像底质分类方法,其特征在于,所述由所述第一混淆矩阵、所述第一混淆矩阵和所述第一待融合分类数据集确定第一证据测度矩阵,具体包括:
由所述第一混淆矩阵和所述第二混淆矩阵得到各第一证据体的信度测度向量,
Ej=[mj(A1),mj(A2),…,mj(AN)],
其中,Ej表示第j个第一证据体的信度测度向量,mj(A1)表示第j个第一证据体Ej将某对象判定为类别k,则实际的类别为类别1的概率,mj(A2)表示第j个第一证据体Ej将某对象判定为类别k,则实际的类别为类别2的概率,mj(AN)表示第j个第一证据体Ej将某对象判定为类别k,则实际的类别为类别N的概率,k∈{1,2,…,N};
由所述第一证据体的信度测度向量和所述第一待融合分类数据集确定第一证据测度矩阵
其中,n表示第一证据体的总数量。
7.基于决策级融合的水下多源声学图像底质分类系统,其特征在于,包括:
第一图像获取模块,用于获取水下地貌图像和水下地形图像;所述水下地貌图像和所述水下地形图像为在统一空间坐标系下的图像;
图像分割模块,用于采用多分辨率图像分割算法对所述水下地貌图像进行分割,得到水下地貌分割图像;所述水下地貌分割图像包括多个地貌分割体;
第一图像叠加模块,用于将所述水下地形图像与所述水下地貌分割图像叠加,得到水下地形分割图像;所述水下地形分割图像包括多个地形分割体;
第一特征提取模块,用于提取所述水下地貌分割图像中每个地貌分割体的地貌特征;所述地貌特征包括水底地貌的灰度统计特征、水底地貌的灰度共生矩阵特征、水底地貌的基于高阶统计量的不变矩特征和水底地貌的分形维数特征;
第二特征提取模块,用于提取所述水下地形分割图像中每个地形分割体的地形特征;所述地形特征包括水底坡度统计特征、水底坡向统计特征、水底表面曲率统计特征和水底地表的分形维数特征;
第一分类模块,用于将所述地貌特征输入至多个训练好的机器学习分类模型中,得到多个第一分类结果,将所述地形特征输入至多个所述训练好的机器学习分类模型中,得到多个第二分类结果;
第一分类结果融合模块,用于基于D-S证据理论将多个所述第一分类结果和多个所述第二分类结果融合,得到水下多源声学图像的底质分类结果,具体包括:
获取地貌训练样本和地形训练样本;所述地貌训练样本包括由多幅水下地貌训练图像组成的第一训练集和一幅水下地貌验证图像;所述地形训练样本包括由多幅水下地形训练图像组成的第二训练集和一幅水下地形验证图像;所述水下地貌训练图像、所述水下地貌验证图像、所述水下地形训练图像和所述水下地形验证图像均为底质类别已知的图像;
将所述第一训练集分别输入至多个机器学习分类模型中,得到多个训练好的第一机器学习分类模型,将所述第二训练集分别输入至多个所述机器学习分类模型中,得到多个训练好的第二机器学习分类模型;
将所述水下地貌验证图像输入至各所述训练好的第一机器学习分类模型中,得到多个第一混淆矩阵,将所述水下地形验证图像输入至各所述训练好的第二机器学习分类模型中,得到多个第二混淆矩阵;
采用多个所述第一混淆矩阵和多个所述第二混淆矩阵对多个所述第一分类结果和多个所述第二分类结果进行筛选,并将由筛选后的第一分类结果和筛选后的第二分类结果组成的集合确定为第一待融合分类数据集;
由所述第一混淆矩阵、所述第二混淆矩阵和所述第一待融合分类数据集确定第一证据测度矩阵;所述第一证据测度矩阵由多个第一证据体的信度测度向量组成;所述第一待融合分类数据集中的一个分类结果作为一个第一证据体;
将冲突比例再分配规则作为证据合成规则,信度函数值最大作为融合决策规则,对所述第一证据测度矩阵进行证据推理,得到水下多源声学图像的底质分类结果。
8.根据权利要求7所述的基于决策级融合的水下多源声学图像底质分类系统,其特征在于,还包括:
第二图像获取模块,用于获取水下地层剖面图像;所述水下地层剖面图像与所述水下地貌图像在统一空间坐标系下;
第二图像叠加模块,用于当所述水下地层剖面图像与所述水下地貌图像或所述水下地形图像存在重叠的区域时,将所述水下地层剖面图像与所述水下地貌分割图像叠加,得到水下地层剖面分割图像;所述水下地层剖面分割图像包括多个地层剖面分割体;
第三特征提取模块,用于提取所述水下地层剖面分割图像中每个地层剖面分割体的地层特征;所述地层特征包括界面线特征量、界面层特征量和表层剖面特征量;所述界面线特征量表示水体底质界面线的复杂度;所述界面层特征量为水体底质界面层的灰度均值;所述表层剖面特征量包括表层剖面的灰度统计特征和表层剖面的垂向纹理特征;
第二分类模块,用于将所述地层特征输入至训练好的机器学习分类模型中,得到第三分类结果;
第二分类结果融合模块,用于基于D-S证据理论将多个所述第一分类结果、多个所述第二分类结果以及所述第三分类结果融合,得到水下多源声学图像的底质分类结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010572718.3A CN111709487B (zh) | 2020-06-22 | 2020-06-22 | 基于决策级融合的水下多源声学图像底质分类方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010572718.3A CN111709487B (zh) | 2020-06-22 | 2020-06-22 | 基于决策级融合的水下多源声学图像底质分类方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111709487A CN111709487A (zh) | 2020-09-25 |
CN111709487B true CN111709487B (zh) | 2023-04-18 |
Family
ID=72541395
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010572718.3A Active CN111709487B (zh) | 2020-06-22 | 2020-06-22 | 基于决策级融合的水下多源声学图像底质分类方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111709487B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114758408B (zh) * | 2020-12-28 | 2024-05-07 | 山东大学 | 基于多分类器的混淆行为冲突管理系统及方法 |
CN113298006B (zh) * | 2021-06-04 | 2024-01-19 | 西北工业大学 | 基于脑机融合认知与决策的异常目标检测新方法 |
CN116188964B (zh) * | 2023-01-09 | 2024-01-26 | 中国海洋大学 | 一种利用多波束图像进行海底滑坡实时识别的方法 |
CN117953314A (zh) * | 2024-03-26 | 2024-04-30 | 自然资源部第三海洋研究所 | 一种多维特征优选海洋底质分类方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108388899A (zh) * | 2018-01-29 | 2018-08-10 | 哈尔滨工程大学 | 一种基于纹理特征与形状特征相融合的水声图像特征提取方法 |
CN110781924A (zh) * | 2019-09-29 | 2020-02-11 | 哈尔滨工程大学 | 一种基于全卷积神经网络的侧扫声纳图像特征提取方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10809376B2 (en) * | 2017-01-06 | 2020-10-20 | Massachusetts Institute Of Technology | Systems and methods for detecting objects in underwater environments |
-
2020
- 2020-06-22 CN CN202010572718.3A patent/CN111709487B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108388899A (zh) * | 2018-01-29 | 2018-08-10 | 哈尔滨工程大学 | 一种基于纹理特征与形状特征相融合的水声图像特征提取方法 |
CN110781924A (zh) * | 2019-09-29 | 2020-02-11 | 哈尔滨工程大学 | 一种基于全卷积神经网络的侧扫声纳图像特征提取方法 |
Non-Patent Citations (4)
Title |
---|
M. Vimal Raj and S. Sakthivel Murugan.Underwater Image Classification using Machine Learning Technique.《2019 International Symposium on Ocean Technology (SYMPOL)》.2020,第1-8页. * |
杨蕊. 基于侧扫声呐图像的底质特征提取及分类技术研究.《中国优秀硕士学位论文全文数据库 (信息科技辑)》.2019,I138-4505. * |
王晓.侧扫声呐图像精处理及目标识别方法研究.《中国博士学位论文全文数据库 (信息科技辑)》.2020,I138-71. * |
程晓涛等.基于D-S证据理论的网络表示融合方法.《电子学报》.2020,第48卷(第05期),第854-860页. * |
Also Published As
Publication number | Publication date |
---|---|
CN111709487A (zh) | 2020-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111709487B (zh) | 基于决策级融合的水下多源声学图像底质分类方法及系统 | |
CN111091105B (zh) | 基于新的边框回归损失函数的遥感图像目标检测方法 | |
CN110287932B (zh) | 基于深度学习图像语义分割的道路阻断信息提取方法 | |
CN109523521B (zh) | 基于多切片ct图像的肺结节分类和病灶定位方法和系统 | |
Yin et al. | Hot region selection based on selective search and modified fuzzy C-means in remote sensing images | |
CN110796667B (zh) | 基于改进小波聚类的彩色图像分割方法 | |
CN110287975B (zh) | 基于nsst形态特征及深度kelm的浮选加药异常检测方法 | |
CN106295124A (zh) | 利用多种图像检测技术综合分析基因子图相似概率量的方法 | |
Chawan et al. | Automatic detection of flood using remote sensing images | |
CN103366371A (zh) | 基于k分布和纹理特征的sar图像分割方法 | |
Taibi et al. | Robust reservoir rock fracture recognition based on a new sparse feature learning and data training method | |
Sun et al. | Probabilistic neural network based seabed sediment recognition method for side-scan sonar imagery | |
CN105654042B (zh) | 玻璃温度计的检定温度字符识别方法 | |
CN110390338A (zh) | 一种基于非线性引导滤波与比率梯度的sar高精度匹配方法 | |
Saha et al. | A new line symmetry distance based automatic clustering technique: application to image segmentation | |
CN112784777A (zh) | 基于对抗学习的无监督高光谱图像变化检测方法 | |
Unsalan et al. | A theoretical and experimental investigation of graph theoretical measures for land development in satellite imagery | |
Berger et al. | Automated ice-bottom tracking of 2D and 3D ice radar imagery using Viterbi and TRW-S | |
Bourgine et al. | 4D embryogenesis image analysis using PDE methods of image processing | |
CN111738332B (zh) | 基于特征级融合的水下多源声学图像底质分类方法及系统 | |
CN111738332A (zh) | 基于特征级融合的水下多源声学图像底质分类方法及系统 | |
CN111738278B (zh) | 一种水下多源声学图像特征提取方法及系统 | |
CN109409375B (zh) | 一种基于轮廓结构学习模型的sar图像语义分割方法 | |
Wang et al. | Sonar objective detection based on dilated separable densely connected CNNs and quantum-behaved PSO algorithm | |
CN110751652A (zh) | 基于巴氏距离和纹理模式度量的sar图像分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |