CN111695552A - 多特征融合的水下目标建模及优化方法 - Google Patents
多特征融合的水下目标建模及优化方法 Download PDFInfo
- Publication number
- CN111695552A CN111695552A CN202010468627.5A CN202010468627A CN111695552A CN 111695552 A CN111695552 A CN 111695552A CN 202010468627 A CN202010468627 A CN 202010468627A CN 111695552 A CN111695552 A CN 111695552A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- image block
- underwater
- modeling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种多特征融合的水下目标建模及优化方法,通过对水下图像生成角点进行似物性建模定位目标区域,衍生用于水下目标信息提取的判别依据;并利用图像内部的纹理和对比度特征在该区域选择出准确表征目标信息的标签,利用ERM传播标签得到初始目标图;并结合图像空间、纹理和颜色特征优化传播结果,以解决初始目标图存在边缘模糊和灰度变化不均的问题。本发明方法与传统的水下目标建模和优化方法相比,融合多种目标特征,且在保证算法良好运算速度的前提下提高了水下目标建模的准确性,整体性能得到提高。
Description
技术领域
本发明属于目标建模技术领域,涉及一种多特征融合的水下目标建模及优化方法。
背景技术
目标建模技术在水下科学研究和实际工程中发挥着重要的作用。但是受到水下目标多样性、场景复杂性和成像模糊性等影响,水下成像通常面临复杂的照明条件、目标对比度较低和水浑浊不清等问题,给基于图的水下目标建模带来较大困难。基于图的目标建模因其快速而准确的优点被广泛研究,但是这种模型很大程度上依赖于选取的先验传播标签,水下复杂环境会扭曲背景与目标之间的特征差异,造成表征目标特征的标签选取不准确,那么最终建模结果则会出现很大误差。而现有技术在提取目标信息时多采用由背景向目标演化方法,只提取非目标即背景区域信息,而不先验聚焦于目标本身特征。这些方法在场景变化单一、目标与背景有显著区别时能获得较为准确的建模结果,然而在目标形态多变、水体光线散射衰减严重复杂水下场景中,现有方法很难取得有效的建模结果。
发明内容
发明目的:本发明目的在于提出一种多特征融合的水下目标建模及优化方法,以克服现有建模技术在无法准确定位提取目标信息的问题,提高了水下目标建模结果的准确性。
技术方案:为实现上述发明目的,本发明提供的多特征融合的水下目标建模及优化方法,对水下目标角点似物性进行建模定位目标存在区域;并通过该模型衍生用于目标信息提取的判决依据,结合图像内部特征,在候选区域中提取目标标签信息;通过图模型传播目标标签,并结合图像空间、纹理和颜色特征优化传播结果。该方法包括如下步骤:
(1)根据角点似物性规则建立水下目标区域定位模型;所述角点似物性规则为:在目标可能存在区域中,检测出的角点分布密集度,且似物性强度要高于非目标存在区域;
(2)根据所述水下目标区域定位模型计算角点密集度和每个角点的似物性强度,以定位目标可能存在区域,从而衍生用于水下目标信息提取的判别依据;
(3)在所述目标可能存在区域中,结合所述判别依据和图像内部特征提取表征目标信息的标签;
(4)利用扩展随机游走算法ERM传播目标标签,遍历所有目标可能存在的标签区域,生成初始目标图;
(5)融合图像空间、纹理和颜色特征优化每个遍历到的标签区域,实现整体结果优化。
进一步地,所述步骤(1)中角点似物性规则表示为:
角点分布密集度:角点在图像块中分布的密集程度:
其中ξi为第i个图像块中的角点密集度,Ci和Ni分别为第i个图像块中的角点总个数和像素总个数;
似物性强度:每个角点与其他角点之间的近似目标物体强度:
其中sm为第m个角点的近似物强度,(xm,ym)和(xn,yn)为第m和n角点的坐标,H为角点的总个数;将像素级别的似物性强度转为图像块级别,表示为:
其中si表示第i个图像块近似物强度,spi为第i个图像块;
根据上述规则,目标信息提取模型为:vi=ξi×si;其中vi表示第i个图像块的属于目标的可能性。
进一步地,所述步骤(2)中水下目标信息提取的判别依据,具体为:
当vi大于等于通过OSTU计算的自适应阈值Th时,认为图像块i在目标区域内,当vi小于自适应阈值Th时,认为图像块i是背景:
其中true表示目标区域,false表示背景区域;
目标区域定位表达为:将所有图像块包围起来形成的多边形区域即为目标所在区域。
进一步地,所述步骤(5)中采用图像空间、纹理和颜色特征对初始目标图边缘和整体光滑优化,将图像再次分割为M个分区,每个分区内有r个图像块,则对初始目标图的优化可表示为:
其中和为原始分割图像中第i个图像块优化后和未优化时的目标概率值,每个分区内的第i个图像块目标概率值由该分区其他r-1个图像块和自身目标概率值加权优化,β1和β2为权重因子,i取值大于0小于等于N,N为原始分割图像块的数量,j取值不包含第i个图像块且大于0小于等于r-1,公式第一项为结合空间、纹理和颜色特征加权目标概率值,在每个图像块内,ψij定义如下:
其中(pi,bi)和(pj,bj)分别表示原始分割图像中第i个图像块和再次分割分区内第j个图像块的纹理和颜色特征,ε为指数因子。
有益效果:本发明针对基于图的目标建模方法在水下环境中建模能力不足做了以下改进,通过分析建立角点似物性模型定位目标所在区域;并利用图像自身的纹理和对比度特征在该区域选择出准确表征目标信息的标签,利用ERM传播标签得到初始目标图;并结合图像空间、纹理和颜色特性优化传播结果,以解决初始目标图存在目标边缘模糊和灰度变化不均的问题。本发明方法与传统的目标建模方法相比,融合多种特征表征目标信息,在保证算法良好运算速度的前提下提高了水下目标建模结果的准确性,整体性能得到提高。
附图说明
图1是本发明实施例的方法流程图。
图2是目标信息标签提取示意图。图(a)为输入原图,图(b)为分割图像块图,图(c)为目标区域建模定位图,图(d)为目标信息标签选择结果。每一行代表不同水下目标的图像。
图3是融合图像空间、纹理和颜色特征优化示意图。其中图(a)初始目标图,图(b)为优化后结果,图(c)为二值化后结果。每一行代表不同水下目标的图像。
图4是本发明与不同算法结果比较图。其中图(a)原图,(b)Ground-truth,(c)Itti,(d)PCNN,(e)HFT,(f)MR,(g)GBVS,(h)GS,(i)PBS,(g)SF,(k)wCtr*,(l)RRWR;(m)本发明。每一行代表不同水下目标的图像。
具体实施方式
为了清楚的突出本发明的目的和优点,下面将结合本发明实例中的附图对本发明作进一步的描述。
本发明实施例公开的一种多特征融合的水下目标建模及优化方法,实现过程主要包括如下步骤:
(1)根据角点似物性规则建立水下目标区域定位模型;所述角点似物性规则为:在目标可能存在区域中,检测出的角点分布密集度,且似物性强度要高于非目标存在区域;
(2)根据所述水下目标区域定位模型计算角点密集度和每个角点的似物性强度,以定位目标可能存在区域,从而衍生用于水下目标信息提取的判别依据;
(3)在所述目标可能存在区域中,结合所述判别依据和图像内部特征提取表征目标信息的标签;
(4)利用扩展随机游走算法传播目标标签,遍历所有目标可能存在的标签区域,生成初始目标图;
(5)融合图像空间、纹理和颜色特征优化每个遍历到的标签区域,实现整体结果优化。
所述步骤(1)中角点似物性规则表示为:
角点分布密集度:角点在图像块中分布的密集程度:
其中ξi为第i个图像块中的角点密集度,Ci和Ni分别为第i个图像块中的角点总个数和像素总个数;
似物性强度:每个角点与其他角点之间的近似目标物体强度:
其中sm为第m个角点的近似物强度,(xm,ym)和(xn,yn)为第m和n角点的坐标,H为角点的总个数;将像素级别的似物性强度转为图像块级别,表示为:
其中si表示第i个图像块近似物强度,spi为第i个图像块;
根据上述规则,目标信息提取模型为:vi=ξi×si;vi表示第i个图像块的属于目标的可能性。
所述步骤(2)中水下目标信息提取的判别依据,具体为:
当vi大于等于自适应阈值Th时,认为图像块i在目标区域内,当vi小于自适应阈值Th时,认为图像块i是背景:
其中Th为自适应阈值,通过OSTU方法(最大类间差方法)计算的得到;true表示目标区域,false表示背景区域;
目标区域定位表达为:将所有图像块包围起来形成的多边形区域即为目标所在区域。
所述步骤(3)图像内部特征为纹理特征和对比度特征,表示为:
其中,ψi是第i个图像块的纹理特征,li是第i个图像块内纹理的像素总和,Ni是第i个图像块内的像素总数。
其中图像上任意点的对比度特征指的是它们与背景平均值的差异,是像素点x与背景平均值之间的差,ζ是背景像素点的总个数,和和和分别像素点x在r、g、b颜色通道的对比度大小和平均对比度大小,上标c表示颜色空间;
将像素级别的对比度特征转为图像块级别,表示为:
其中λi表示第i个图像块的对比度强度,spi为第i个图像块;
结合判别依据和图像内部特征提取表征目标信息的标签可表示为:
其中φi为第i个图像块的融合目标概率值,Θ表示图像目标区域。对所有φi的结果自适应阈值选择,前G个φi值的图像块作为表征目标信息的标签;目标信息标签提取结果如图2所示。
所述步骤(4)中利用ERW遍历图像块并生成目标初始图,首先对输入图像构建无向图G=(V,E),V表示图像块集合:V={sp1,sp2,...,spm},m表示图像块的总个数,E表示任意两个图像块之间的所有连接,由权重矩阵衡量每对图像块之间的相似性和邻接关系,矩阵中每个元素表示为:
其中k(spi),k(spj)为图像块spi和spj的平均颜色特征,σ2为控制因子,||||2表示2范数运算。任意图像块spi的度为与它相连的所有边之和,则度量矩阵为:设为所有已选出的初始图像块标签集合,表示所有图像块的标签向量,若那么否则根据已选出的初始图像块标签,通过最小化能量函数实现标签传播,可表示为:
其中ω和λ为调节因子,Ci是以图像块spi为中心的邻接图像块集合,yspi是外部分类器,表示外部输入图像,有利于提高目标概率值赋值的准确性,m表示图像块总个数;基于扩展随机游走方法的目标建模可参考文献【Kong Y,Wang L,Liu X,et al.,“Patternmining saliency,”in European Conference on Computer Vision,pp.583-598,Springer,Amsterdam,Netherlands(2016)】,此处不再赘述。
所述步骤(5)中,将图像再次分割为M个分区,每个分区内有r个图像块,则对初始目标图的优化可表示为:
其中和为原始分割图像中第i个图像块优化后和未优化时的目标概率值,每个分区内的第i个图像块目标概率值由该分区其他r-1个图像块和自身目标概率值加权优化,β1和β2为权重因子,i取值大于0小于等于N,N为原始分割图像块的数量,j取值不包含第i个图像块且大于0小于等于r-1,公式第一项为结合空间、纹理和颜色特征加权目标概率值,在每个图像块内,ψij定义如下:
其中(pi,bi)和(pj,bj)分别表示原始分割图像中第i个图像块和再次分割分区内第j个图像块的纹理和颜色特征,ε为指数因子。优化前后的图像如图3所示。
本发明与现有不同算法的识别结果如图4所示,在PR(准确率),TPR(正阳性),FS(F值),Sim(相似性),FPR(假阳性),PWC(错分百分比)的指标比较结果如下表。
表1指标比较结果
Method | PR | TPR | FS | Sim | FPR | PWC |
Itti | 0.2574 | 0.9446 | 0.3687 | 0.2509 | 0.1195 | 11.8529 |
PCNN | 0.2344 | 0.7183 | 0.2259 | 0.1418 | 0.2072 | 21.4634 |
HFT-OSTU | 0.4565 | 0.8583 | 0.5019 | 0.3680 | 0.0553 | 6.2703 |
MR-OSTU | 0.6553 | 0.8022 | 0.6001 | 0.5009 | 0.0563 | 6.6128 |
GBVS-OSTU | 0.2956 | 0.9583 | 0.4020 | 0.2849 | 0.1177 | 11.7096 |
GS-OSTU | 0.4675 | 0.8964 | 0.5030 | 0.4112 | 0.0827 | 8.6990 |
PBS-OSTU | 0.6596 | 0.8206 | 0.6337 | 0.5398 | 0.0791 | 8.5917 |
SF-OSTU | 0.7216 | 0.4266 | 0.4656 | 0.3667 | 0.0041 | 2.7868 |
wCtr*-OSTU | 0.5970 | 0.8335 | 0.5817 | 0.4710 | 0.0596 | 6.8224 |
RRWR-OSTU | 0.6601 | 0.7938 | 0.5940 | 0.4940 | 0.0560 | 6.5793 |
OUR | 0.8645 | 0.8410 | 0.8326 | 0.7357 | 0.0029 | 0.8820 |
由上可知,本发明方法与传统的目标建模方法相比,在保证算法良好运算速度的前提下提高了水下目标建模结果的准确性,整体性能得到提高。
Claims (5)
1.多特征融合的水下目标建模及优化方法,其特征在于:利用角点进行似物性建模定位目标所在区域,同时融合图像空间、纹理和颜色特征优化初始结果,包括如下步骤:
(1)根据角点似物性规则建立水下目标区域定位模型;所述角点似物性规则为:在目标可能存在区域中,检测出的角点分布密集度,且似物性强度要高于非目标存在区域;
(2)根据所述水下目标区域定位模型计算角点密集度和每个角点的似物性强度,以定位目标可能存在区域,从而衍生用于水下目标信息提取的判别依据;
(3)在所述目标可能存在区域中,结合所述判别依据和图像内部特征提取表征目标信息的标签;
(4)利用扩展随机游走算法传播目标标签,遍历所有目标可能存在的标签区域,生成初始目标图;
(5)融合图像空间、纹理和颜色特征优化每个遍历到的标签区域,实现整体结果优化。
5.根据权利要求1所述的多特征融合的水下目标建模及优化方法,其特征在于:所述步骤(5)中采用图像空间、纹理和颜色特征对初始目标图边缘和整体光滑优化,优化方法为如下形式:
其中和为原始分割图像中第i个图像块优化后和未优化时的目标概率值,M为再次对图像分割后的M个分区,r为再次分割后每个图像块内原始分割图像块的数量,每个分区内的第i个图像块目标概率值由该分区其他r-1个图像块和自身目标概率值加权优化,β1和β2为权重因子,公式第一项为结合空间、纹理和颜色特征加权目标概率值,在每个图像块内,ψij定义如下:
其中(pi,bi)和(pj,bj)分别表示原始分割图像中第i个图像块和再次分割分区内第j个图像块的纹理和颜色特征,ε为指数因子。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010468627.5A CN111695552B (zh) | 2020-05-28 | 2020-05-28 | 多特征融合的水下目标建模及优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010468627.5A CN111695552B (zh) | 2020-05-28 | 2020-05-28 | 多特征融合的水下目标建模及优化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111695552A true CN111695552A (zh) | 2020-09-22 |
CN111695552B CN111695552B (zh) | 2022-07-26 |
Family
ID=72478495
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010468627.5A Active CN111695552B (zh) | 2020-05-28 | 2020-05-28 | 多特征融合的水下目标建模及优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111695552B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114782761A (zh) * | 2022-06-23 | 2022-07-22 | 山东能源数智云科技有限公司 | 基于深度学习的智能仓储物料识别方法和系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106909925A (zh) * | 2017-03-03 | 2017-06-30 | 河海大学 | 一种水下图像目标检测方法 |
WO2018176185A1 (zh) * | 2017-03-27 | 2018-10-04 | 中国科学院深圳先进技术研究院 | 一种纹理合成方法及其装置 |
-
2020
- 2020-05-28 CN CN202010468627.5A patent/CN111695552B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106909925A (zh) * | 2017-03-03 | 2017-06-30 | 河海大学 | 一种水下图像目标检测方法 |
WO2018176185A1 (zh) * | 2017-03-27 | 2018-10-04 | 中国科学院深圳先进技术研究院 | 一种纹理合成方法及其装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114782761A (zh) * | 2022-06-23 | 2022-07-22 | 山东能源数智云科技有限公司 | 基于深度学习的智能仓储物料识别方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111695552B (zh) | 2022-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108319972B (zh) | 一种针对图像语义分割的端到端差异网络学习方法 | |
CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
CN107680054B (zh) | 雾霾环境下多源图像融合方法 | |
CN108648161B (zh) | 非对称核卷积神经网络的双目视觉障碍物检测系统及方法 | |
CN108447080B (zh) | 基于分层数据关联和卷积神经网络的目标跟踪方法、系统和存储介质 | |
CN112270249A (zh) | 一种融合rgb-d视觉特征的目标位姿估计方法 | |
CN111797716A (zh) | 一种基于Siamese网络的单目标跟踪方法 | |
CN110032925B (zh) | 一种基于改进胶囊网络与算法的手势图像分割与识别方法 | |
CN110569782A (zh) | 一种基于深度学习目标检测方法 | |
CN112288758B (zh) | 一种电力设备红外与可见光图像配准方法 | |
CN111612817A (zh) | 基于深浅特征自适应融合与上下文信息的目标跟踪方法 | |
CN112308921B (zh) | 一种基于语义和几何的联合优化动态slam方法 | |
CN113326735B (zh) | 一种基于YOLOv5的多模态小目标检测方法 | |
CN104392459A (zh) | 基于改进的fcm和均值漂移的红外图像分割方法 | |
CN112767478B (zh) | 一种基于表观指导的六自由度位姿估计方法 | |
CN112581543A (zh) | 运动机器人视觉导航方法 | |
CN112329784A (zh) | 一种基于时空感知及多峰响应的相关滤波跟踪方法 | |
CN108388901B (zh) | 基于空间-语义通道的协同显著目标检测方法 | |
CN111274964B (zh) | 一种基于无人机视觉显著性分析水面污染物的检测方法 | |
CN111429485B (zh) | 基于自适应正则化和高信度更新的跨模态滤波跟踪方法 | |
CN111047603A (zh) | 一种基于新型马尔可夫随机场和区域合并的航拍图像混合分割算法 | |
CN116381672A (zh) | 基于孪生网络雷达x波段多扩展目标自适应跟踪方法 | |
CN111695552B (zh) | 多特征融合的水下目标建模及优化方法 | |
CN114495170A (zh) | 一种基于局部抑制自注意力的行人重识别方法及系统 | |
CN110717910B (zh) | 基于卷积神经网络的ct图像目标检测方法及ct扫描仪 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |