CN111723670A - 一种基于改进FastMBD的遥感目标检测算法 - Google Patents

一种基于改进FastMBD的遥感目标检测算法 Download PDF

Info

Publication number
CN111723670A
CN111723670A CN202010434585.3A CN202010434585A CN111723670A CN 111723670 A CN111723670 A CN 111723670A CN 202010434585 A CN202010434585 A CN 202010434585A CN 111723670 A CN111723670 A CN 111723670A
Authority
CN
China
Prior art keywords
significant
mbd
image
size
fastmbd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010434585.3A
Other languages
English (en)
Other versions
CN111723670B (zh
Inventor
王鑫
邓梁
吕国芳
严勤
石爱业
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202010434585.3A priority Critical patent/CN111723670B/zh
Publication of CN111723670A publication Critical patent/CN111723670A/zh
Application granted granted Critical
Publication of CN111723670B publication Critical patent/CN111723670B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于改进FastMBD的遥感目标检测算法，首先对图像按照不同尺寸划分成若干子图像，并对子图像计算FastMBD显著图，再滤除阴影对应的显著值，将同一尺寸的子图像组合形成局部显著图，然后把不同尺寸对应的局部显著图进行融合，将融合图像进行一致性突出得到改进FastMBD显著图以后，最后再通过内外显著比值提取显著目标，即可完成目标检测任务。

Description

一种基于改进FastMBD的遥感目标检测算法
技术领域
本发明涉及一种基于改进FastMBD的目标检测算法，属于数字图像处理技术领域。
背景技术
目标检测可以分为有监督和无监督两种，其中有监督的方法大多是训练模型，然后对测试图像进行检测，因为训练过程将耗时良久，并受训练样本制约，甚至考虑到尺度、计算量等原因，大多数检测过程都可以通过无监督检测进行预检测，以削减计算量，提高算法效率。
显著目标检测由于其低时耗，无监督等优点常被应用于目标检测领域，其中FastMBD算法就是兼具目标检测与计算效率高的良好目标检测模型。然而FastMBD算法是基于目标处于中心的假设建立的算法，但是在遥感图像中，通常一张图像会含有多个甚至大量目标存在，因此FastMBD算法在遥感图像上应用时会导致召回率的大幅降低。
针对这一问题，本发明提出一种基于改进FastMBD的遥感目标检测算法，通过将FastMBD算法增强对比度的后处理局限于一个一个的局部区域，从而避开FastMBD原假设，提高召回率。
发明内容
发明目的：针对现有技术中存在的问题，本发明提供出了一种基于改进FastMBD的遥感目标检测算法。改进了显著图计算生成，增强了目标显著性，该方法有效提高了显著目标检测过后的召回率。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于改进FastMBD的遥感目标检测算法，该方法包括以下步骤：
(4)显著图计算：将输入的遥感图像img按照不同尺寸划分成若干子图像，同一尺寸的子图像可拼合出原图img，对子图像计算快速最小障碍距离(Fast Minimum BarrierDistance)即可得到对应FastMBD显著图，将原图img中的阴影对应的FastMBD显著图中的显著值进行滤除，即将其置位于0，将同一尺寸的子图像组合形成局部显著图，把不同尺寸对应的局部显著图进行加性融合，可得融合显著图。
(5)一致性突出：利用像素差异性与多元高斯分布函数即可计算出融合显著图对应的邻域相似性。将邻域相似性与融合显著图相乘即可得到邻域一致性，将邻域一致性叠加到融合显著图即可得到改进FastMBD显著图。
(6)显著目标提取：在改进FastMBD显著图improve_mbd上，将待测坐标(x,y)设为中心，即可构建一系列同心窗，将同心窗中的内窗显著总量比上外窗显著总量即可得到内外显著比值，遍历所有内外显著比值，判断是否满足迭代阈值条件即可判定坐标(x,y)处是否包含显著目标，判断完毕就更新待测坐标，横坐标与纵坐标皆逐渐递增，重新构建同心窗判定，直至将改进FastMBD显著图improve_mbd上所有坐标都判定完毕。
进一步的，步骤(1)中，显著图计算具体方法如下：
(1.1)假定预设尺寸为size，按照下列递归算法可将图像分割成若干子图像：
1)将原图img加入到待分割图像集合splitImg
2)从待分割图像集合splitImg取出当次需要分割的图像split
3)判断图像split的行高是否小于等于预设尺寸size，若满足条件，进行第4步，否则，将其按照行高均匀划分成上、中、下三个部分，即每个部分各占图像split的三分之一，且三个部分列宽一致，依次加入到待分割图像集合splitImg并返回第2步；
4)判断图像split列宽是否小于等于预设尺寸size，若满足条件，将图像split放入子图像集合sub_imgsize，否则，将其按照列宽均匀划分成左、中、右三个部分，即每个部分各占图像split的三分之一，且三个部分行高一致，依次加入待分割图像集合splitImg并返回第2步；
通过不断遍历待分割图像，直至集合splitImg为空，即可得到若干子图像
Figure BDA0002501739560000024
其中，
Figure BDA0002501739560000021
表示子图像集合sub_imgsize中第k个子图像，而subNum表示子图像集合中子图像总数目。
(1.2)障碍距离计算公式如下：
Figure BDA0002501739560000022
其中，β(x,y)(p,q)表示起点为(x,y)，终点为(p,q)的障碍距离，
Figure BDA0002501739560000023
表示起点为(x,y)，终点为(p,q)的路径，将起点设为(0,0)，从起点到终点通过光栅扫描到达，即在
Figure BDA0002501739560000031
上按照纵坐标从小到大，横坐标从小到大的顺序依次从起点访问至终点，通过计算路径上的极差，即可计算出障碍距离β(0,0)(p,q)。同理，将将起点设为(H,W)，W、H分别为
Figure BDA0002501739560000032
的宽和高，从起点到终点通过反向光栅扫描到达，即按照纵坐标从大到小，横坐标从大到小的顺序依次从起点访问至终点，如此可计算出障碍距离β(H,W)(p,q)。
此时，将每个像素上的障碍距离更新为最小值，即可获得FastMBD显著图：
Figure BDA0002501739560000033
Figure BDA0002501739560000034
Figure BDA0002501739560000035
其中，
Figure BDA0002501739560000036
为
Figure BDA0002501739560000037
对应的FastMBD显著图，而
Figure BDA0002501739560000038
表示
Figure BDA0002501739560000039
中坐标(p,q)处的显著值，max(π)、min(π)分别表示光栅扫描与反向光栅扫描中坐标(p,q)处所有路径的最大值与最小值。
(1.3)先计算
Figure BDA00025017395600000310
中RGB三通道对应的标准差
Figure BDA00025017395600000311
以及均值
Figure BDA00025017395600000312
Figure BDA00025017395600000313
Figure BDA00025017395600000314
其中，
Figure BDA00025017395600000315
表示子图像
Figure BDA00025017395600000316
的R通道坐标(p,q)处的像素值，同理，
Figure BDA00025017395600000317
表示G通道坐标(p,q)处的像素值，
Figure BDA00025017395600000318
表示B通道坐标(p,q)处的像素值。而
Figure BDA00025017395600000319
Figure BDA00025017395600000320
分别为坐标(p,q)处子图像
Figure BDA00025017395600000321
上的RGB三通道对应标准差以及均值。
将子图像
Figure BDA00025017395600000322
中的阴影对应的FastMBD显著图中的高显著进行滤除，将其置位于0，具体计算公式如下：
Figure BDA0002501739560000041
以欧式距离综合考虑标准差与均值，大于阴影阈值shadowThres就保留原显著值，否则当做阴影滤除。
(1.4)将同一尺寸的子图像
Figure BDA0002501739560000042
按照
Figure BDA0002501739560000043
在原图像img中对应位置来组合形成局部显著图mbdsize。
(1.5)把不同尺寸对应的局部显著图mbdsize进行加性融合，可得融合显著图mix_mbd：
Figure BDA0002501739560000044
其中，sizeNum表示尺寸种类数目，mix_mbd(p,q)为mix_mbd上坐标(p,q)处的显著值，同理，mbdsize(p,q)表示mbdsize上坐标(p,q)处的显著值，ωsize是对应于局部显著图mbdsize的加性融合权重，可通过计算下式可得：
Figure BDA0002501739560000045
Figure BDA0002501739560000046
其中，∑pq|mbdsize(p,q)|是对mbdsize上所有坐标的显著值的绝对值进行求和，而
Figure BDA0002501739560000047
是将所有局部显著图绝对值求和结果进行乘积运算。因此，Psize是通过衡量mbdsize在所有局部显著图之中的占比情况来计算权重，最终计算出所有权重以后进行归一化操作即可得到对应于Psize的归一化权重ωsize。
进一步的，步骤(2)中，一致性突出方法如下：
(2.1)通过原图img的RGB三通道求解均值mean、标准差std，然后即可构建5个通道的参考图像refer＝[R,G,B,mean,std]。
然后利用第一步获得的融合显著图以及参考向量可计算出像素差异性：
Figure BDA0002501739560000051
其中，Rx、Ry分别是参考图像refer上位置为(p,q)、
Figure BDA0002501739560000052
的参考向量，
Figure BDA0002501739560000053
分别是位置(p,q)的8邻域像素对其的坐标偏移量，而mix_mbd(p,q)与
Figure BDA0002501739560000054
分别表示融合显著图mix_mbd上对应于位置(p,q)、
Figure BDA0002501739560000055
的显著值，而最终计算出的
Figure BDA0002501739560000056
即为位置(p,q)的像素与邻域像素
Figure BDA0002501739560000057
的像素差异性。
将坐标偏移量设为(1,0)与(0,1)之后，分别可计算获得minus_abs(1,0)(p,q)和minus_abs(0，1)(p,q)。
(2.2)将像素差异性minus_abs(1,0)(p,q)输入多元高斯分布函数即可计算出对应的邻域相似性similar_mbd(1,0)(p,q)：
Figure BDA0002501739560000058
Figure BDA0002501739560000059
其中，similar_mbd(1,0)(p,q)表示位置(p,q)的像素与坐标偏移量为(1,0)的邻域像素之间的邻域相似性，而
Figure BDA00025017395600000510
对应像素差异性minus_abs(1,0)(p,q)第一个通道的方差，其余通道依次对应。同理，将minus_abs(0，1)(p,q)送入多元高斯分布函数即可计算得到similar_mbd(0,1)(p,q)。
(2.3)邻域相似性结合融合显著图可算出邻域一致性：
consistence(1,0)(p,q)＝mix_mbd(p,q)*mix_mbd(p+1,q)*similar_mbd(1,0)(p,q)
consistence(0,1)(p,q)＝mix_mbd(p,q)*mix_mbd(p,q+1)*similar_mbd(0,1)(p,q)
其中consistence(1,0)(p,q)表示位置(p,q)的像素与坐标偏移量为(1,0)的邻域像素之间的邻域一致性，同理consistence(0,1)(p,q)表示位置(p,q)的像素与坐标偏移量为(0,1)的邻域像素之间的邻域一致性。将不同邻域像素计算的邻域一致性进行求和即可得到最终的邻域一致性：
consistence(p,q)＝consistence(1,0)(p,q)+consistence(0,1)(p,q)
然后将邻域一致性叠加到融合显著图上即可得到改进FastMBD显著图improve_mbd：
improve_mbd(p,q)＝mix_mbd(p,q)+consistence(p,q)
进一步的，步骤(3)中，显著目标提取方法如下：
(3.1)设以待测坐标(x,y)为中心构建同心窗
Figure BDA0002501739560000061
其中，winNum表示同心窗总个数，
Figure BDA0002501739560000062
表示一个横坐标取值从x-k到x+k，纵坐标取值从y-k到y+k的窗口，窗口本质为一个内部权重皆为1的卷积核。随着参数k的增加，窗口涵盖范围逐步递增，从而形成一系列中心相同的同心窗。
将
Figure BDA0002501739560000063
内的显著值总量设为
Figure BDA0002501739560000064
Figure BDA0002501739560000065
其中，
Figure BDA0002501739560000066
为改进FastMBD显著图improve_mbd上与
Figure BDA0002501739560000067
匹配的待测区域，即improve_mbd上一个横坐标取值从x-k到x+k，纵坐标取值从y-k到y+k的区域，
Figure BDA0002501739560000068
表示卷积操作，卷积操作用于待测区域的显著值求和。
(3.2)
Figure BDA0002501739560000069
与
Figure BDA00025017395600000610
是相邻的窗口，
Figure BDA00025017395600000611
的涵盖范围更小，因此视为内窗，而
Figure BDA00025017395600000612
也就相对应外窗，取得两者的显著值总量以后，将内窗显著总量比上外窗显著总量即可得到显著总量比值
Figure BDA00025017395600000613
Figure BDA00025017395600000614
参数k逐步增加，窗口逐步扩大，遍历所有内外显著比值，判断是否满足迭代阈值iterThres，即可判断同心窗内是否包含显著目标：
Figure BDA0002501739560000071
其中，
Figure BDA0002501739560000072
表示了第k个内窗与外窗的显著比值满足条件，即内外显著比值大于预设迭代阈值iterThres，也就表明显著目标的尺寸应当与
Figure BDA0002501739560000073
的尺寸一致。最终，将改进FastMBD显著图improve_mbd上所有坐标都依次设为待测坐标，以此计算内外显著比值，即可判定所有坐标上包含有显著目标。
有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效果：
本发明提出了一种有效的改进FastMBD显著图计算方法。针对遥感目标分布离散而FastMBD算法过于关注图像中心的问题，从局部显著图的角度改进了显著图生成方法，获得了边缘遥感目标更为突出的显著表示，对于后续检测的召回率提升有着积极的影响。
附图说明
图1为本发明实施例的框架图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示，一种基于改进FastMBD的遥感目标检测算法，该方法包括如下步骤：
第一步，将输入的遥感图像img按照不同尺寸划分成若干子图像，同一尺寸的子图像可拼合出原图img，对子图像计算快速最小障碍距离(Fast Minimum Barrier Distance)即可得到对应FastMBD显著图，将原图img中的阴影对应的FastMBD显著图中的显著值进行滤除，即将其置位于0，将同一尺寸的子图像组合形成局部显著图，把不同尺寸对应的局部显著图进行加性融合，可得融合显著图。
首先按照下列递归算法将图像分割成若干子图像：
1)将原图img加入到待分割图像集合splitImg；
2)从待分割图像集合splitImg取出当次需要分割的图像split；
3)判断图像split的行高是否小于等于预设尺寸size，若满足条件，进行第4步，否则，将其按照行高均匀划分成上、中、下三个部分，即每个部分各占图像split的三分之一，且三个部分列宽一致，依次加入到待分割图像集合splitImg并返回第2步；
4)判断图像split列宽是否小于等于预设尺寸size，若满足条件，将图像split放入子图像集合sub_imgsize，否则，将其按照列宽均匀划分成左、中、右三个部分，即每个部分各占图像split的三分之一，且三个部分行高一致，依次加入待分割图像集合splitImg并返回第2步；
通过不断遍历待分割图像，直至集合splitImg为空，即可得到若干子图像
Figure BDA0002501739560000081
其中，
Figure BDA0002501739560000082
表示子图像集合sub_imgsize中第k个子图像，而subNum表示子图像集合中子图像总数目。
然后，对每一张子图像
Figure BDA0002501739560000083
皆计算一遍障碍距离：
Figure BDA0002501739560000084
其中，β(x,y)(p,q)表示起点为(x,y)，终点为(p,q)的障碍距离，
Figure BDA0002501739560000085
表示起点为(x,y)，终点为(p,q)的路径，将起点设为(0,0)，从起点到终点通过光栅扫描到达，即在
Figure BDA0002501739560000086
上按照纵坐标从小到大，横坐标从小到大的顺序依次从起点访问至终点，通过计算路径上的极差，即可计算出障碍距离β(0,0)(p,q)。同理，将将起点设为(H,W)，W、H分别为
Figure BDA0002501739560000087
的宽和高，从起点到终点通过反向光栅扫描到达，即按照纵坐标从大到小，横坐标从大到小的顺序依次从起点访问至终点，如此可计算出障碍距离β(H,W)(p,q)。
此时，将每个像素上的障碍距离更新为最小值，即可获得FastMBD显著图：
Figure BDA0002501739560000088
Figure BDA0002501739560000089
Figure BDA00025017395600000810
其中，
Figure BDA00025017395600000811
为
Figure BDA00025017395600000812
对应的FastMBD显著图，而
Figure BDA00025017395600000813
表示
Figure BDA00025017395600000814
中坐标(p,q)处的显著值，max(π)、min(π)分别表示光栅扫描与反向光栅扫描中坐标(p,q)处所有路径的最大值与最小值。
再然后，先计算
Figure BDA0002501739560000091
中RGB三通道对应的标准差
Figure BDA0002501739560000092
以及均值
Figure BDA0002501739560000093
Figure BDA0002501739560000094
Figure BDA0002501739560000095
其中，
Figure BDA0002501739560000096
表示子图像
Figure BDA0002501739560000097
的R通道坐标(p,q)处的像素值，同理，
Figure BDA0002501739560000098
表示G通道坐标(p,q)处的像素值，
Figure BDA0002501739560000099
表示B通道坐标(p,q)处的像素值。而
Figure BDA00025017395600000910
Figure BDA00025017395600000911
分别为坐标(p,q)处子图像
Figure BDA00025017395600000912
上的RGB三通道对应标准差以及均值。
将子图像
Figure BDA00025017395600000913
中的阴影对应的FastMBD显著图中的高显著进行滤除，将其置位于0，具体计算公式如下：
Figure BDA00025017395600000914
以欧式距离综合考虑标准差与均值，大于阴影阈值shadowThres就保留原显著值，否则当做阴影滤除。之后再将同一尺寸的子图像
Figure BDA00025017395600000915
按照
Figure BDA00025017395600000916
在原图像img中对应位置来组合形成局部显著图mbdsize。
最后，把不同尺寸对应的局部显著图mbdsize进行加性融合，可得融合显著图mix_mbd：
Figure BDA00025017395600000917
其中，sizeNum表示尺寸种类数目，mix_mbd(p,q)为mix_mbd上坐标(p,q)处的显著值，同理，mbdsize(p,q)表示mbdsize上坐标(p,q)处的显著值，ωsize是对应于局部显著图mbdsize的加性融合权重，可通过计算下式可得：
Figure BDA0002501739560000101
Figure BDA0002501739560000102
其中，∑pq|mbdsize(p,q)|是对mbdsize上所有坐标的显著值的绝对值进行求和，而
Figure BDA0002501739560000103
是将所有局部显著图绝对值求和结果进行乘积运算。因此，Psize是通过衡量mbdsize在所有局部显著图之中的占比情况来计算权重，最终计算出所有权重以后进行归一化操作即可得到对应于Psize的归一化权重ωsize。
第二步，利用像素差异性与多元高斯分布函数即可计算出融合显著图对应的邻域相似性。将邻域相似性与融合显著图相乘即可得到邻域一致性，将邻域一致性叠加到融合显著图即可得到改进FastMBD显著图。
首先，对原图img的RGB三通道求解均值mean、标准差std，然后即可构建5个通道的参考图像refer＝[R,G,B,mean,std]。
然后利用第一步获得的融合显著图以及参考向量可计算出像素差异性：
Figure BDA0002501739560000104
其中，Rx、Ry分别是参考图像refer上位置为(p,q)、
Figure BDA0002501739560000105
的参考向量，
Figure BDA0002501739560000106
分别是位置(p,q)的8邻域像素对其的坐标偏移量，而mix_mbd(p,q)与
Figure BDA0002501739560000107
分别表示融合显著图mix_mbd上对应于位置(p,q)、
Figure BDA0002501739560000108
的显著值，而最终计算出的
Figure BDA0002501739560000109
即为位置(p,q)的像素与邻域像素
Figure BDA00025017395600001010
的像素差异性。
将坐标偏移量设为(1,0)与(0,1)之后，分别可计算获得minus_abs(1,0)(p,q)和minus_abs(0，1)(p,q)。
再将像素差异性minus_abs(1,0)(p,q)输入多元高斯分布函数即可计算出对应的邻域相似性similar_mbd(1,0)(p,q)：
Figure BDA0002501739560000111
Figure BDA0002501739560000112
其中，similar_mbd(1,0)(p,q)表示位置(p,q)的像素与坐标偏移量为(1,0)的邻域像素之间的邻域相似性，而
Figure BDA0002501739560000113
对应像素差异性minus_abs(1,0)(p,q)第一个通道的方差，其余通道依次对应。同理，将minus_abs(0，1)(p,q)送入多元高斯分布函数即可计算得到similar_mbd(0,1)(p,q)。
最后邻域相似性结合融合显著图可算出邻域一致性：
consistence(1,0)(p,q)＝mix_mbd(p,q)*mix_mbd(p+1,q)*similar_mbd(1,0)(p,q)
consistence(0,1)(p,q)＝mix_mbd(p,q)*mix_mbd(p,q+1)*similar_mbd(0,1)(p,q)
其中consistence(1,0)(p,q)表示位置(p,q)的像素与坐标偏移量为(1,0)的邻域像素之间的邻域一致性，同理consistence(0,1)(p,q)表示位置(p,q)的像素与坐标偏移量为(0,1)的邻域像素之间的邻域一致性。将不同邻域像素计算的邻域一致性进行求和即可得到最终的邻域一致性：
consistence(p,q)＝consistence(1,0)(p,q)+consistence(0,1)(p,q)
然后将邻域一致性叠加到融合显著图上即可得到改进FastMBD显著图improve_mbd：
improve_mbd(p,q)＝mix_mbd(p,q)+consistence(p,q)
第三步，在改进FastMBD显著图improve_mbd上，将待测坐标(x,y)设为中心，即可构建一系列同心窗，将同心窗中的内窗显著总量比上外窗显著总量即可得到内外显著比值，遍历所有内外显著比值，判断是否满足迭代阈值条件即可判定坐标(x,y)处是否包含显著目标，判断完毕就更新待测坐标，横坐标与纵坐标皆逐渐递增，重新构建同心窗判定，直至将改进FastMBD显著图improve_mbd上所有坐标都判定完毕。
首先，以待测坐标(x,y)为中心构建同心窗
Figure BDA0002501739560000121
其中，winNum表示同心窗总个数，
Figure BDA0002501739560000122
表示一个横坐标取值从x-k到x+k，纵坐标取值从y-k到y+k的窗口，窗口本质为一个内部权重皆为1的卷积核。随着参数k的增加，窗口涵盖范围逐步递增，从而形成一系列中心相同的同心窗。
将
Figure BDA0002501739560000123
内的显著值总量设为
Figure BDA0002501739560000124
Figure BDA0002501739560000125
其中，
Figure BDA0002501739560000126
为改进FastMBD显著图improve_mbd上与
Figure BDA0002501739560000127
匹配的待测区域，即improve_mbd上一个横坐标取值从x-k到x+k，纵坐标取值从y-k到y+k的区域，
Figure BDA0002501739560000128
表示卷积操作，卷积操作用于待测区域的显著值求和。
然后，
Figure BDA0002501739560000129
与
Figure BDA00025017395600001210
是相邻的窗口，
Figure BDA00025017395600001211
的涵盖范围更小，因此视为内窗，而
Figure BDA00025017395600001212
也就相对应外窗，取得两者的显著值总量以后，将内窗显著总量比上外窗显著总量即可得到显著总量比值
Figure BDA00025017395600001213
Figure BDA00025017395600001214
参数k逐步增加，窗口逐步扩大，遍历所有内外显著比值，判断是否满足迭代阈值iterThres，即可判断同心窗内是否包含显著目标：
Figure BDA00025017395600001215
其中，
Figure BDA00025017395600001216
表示了第k个内窗与外窗的显著比值满足条件，即内外显著比值大于预设迭代阈值iterThres，也就表明显著目标的尺寸应当与
Figure BDA00025017395600001217
的尺寸一致。最终，将改进FastMBD显著图improve_mbd上所有坐标都依次设为待测坐标，以此计算内外显著比值，即可判定所有坐标上包含有显著目标。

Claims (4)

1.一种基于改进FastMBD的遥感目标检测算法，其特征在于，该算法包括以下步骤：
(1)显著图计算：将输入的遥感图像img按照不同尺寸划分成若干子图像，同一尺寸的子图像可拼合出原图img，对子图像计算快速最小障碍距离(Fast Minimum BarrierDistance)即可得到对应FastMBD显著图，将原图img中的阴影对应的FastMBD显著图中的显著值进行滤除，即将其置位于0，将同一尺寸的子图像组合形成局部显著图，把不同尺寸对应的局部显著图进行加性融合，可得融合显著图；
(2)一致性突出：利用像素差异性与多元高斯分布函数即可计算出融合显著图对应的邻域相似性，将邻域相似性与融合显著图相乘即可得到邻域一致性，将邻域一致性叠加到融合显著图即可得到改进FastMBD显著图；
(3)显著目标提取：在改进FastMBD显著图improve_mbd上，将待测坐标(x,y)设为中心，即可构建一系列同心窗，将同心窗中的内窗显著总量比上外窗显著总量即可得到内外显著比值，遍历所有内外显著比值，判断是否满足迭代阈值条件即可判定坐标(x,y)处是否包含显著目标，判断完毕就更新待测坐标，横坐标与纵坐标皆逐渐递增，重新构建同心窗判定，直至将改进FastMBD显著图improve_mbd上所有坐标都判定完毕。
2.根据权利要求1所述的一种基于改进FastMBD的遥感目标检测算法，其特征在于，步骤(1)是先将图像分割成若干子图像，再进行FastMBD显著图计算，然后将显著子图像组合形成局部显著图，最后融合局部显著图得到融合显著图，具体计算方法如下：
(1.1)假定预设尺寸为size，按照下列递归算法可将图像分割成若干子图像：
1)将原图img加入到待分割图像集合splitImg
2)从待分割图像集合splitImg取出当次需要分割的图像split；
3)判断图像split的行高是否小于等于预设尺寸size，若满足条件，进行第4步，否则，将其按照行高均匀划分成上、中、下三个部分，即每个部分各占图像split的三分之一，且三个部分列宽一致，依次加入到待分割图像集合splitImg并返回第2步；
4)判断图像split列宽是否小于等于预设尺寸size，若满足条件，将图像split放入子图像集合sub_imgsize，否则，将其按照列宽均匀划分成左、中、右三个部分，即每个部分各占图像split的三分之一，且三个部分行高一致，依次加入待分割图像集合splitImg并返回第2步；
通过不断遍历待分割图像，直至集合splitImg为空，即可得到若干子图像
Figure FDA0002501739550000021
其中，
Figure FDA0002501739550000022
表示子图像集合sub_imgsize中第k个子图像，而subNum表示子图像集合中子图像总数目；
(1.2)障碍距离计算公式如下：
Figure FDA0002501739550000023
其中，β(x,y)(p,q)表示起点为(x,y)，终点为(p,q)的障碍距离，
Figure FDA0002501739550000024
表示起点为(x,y)，终点为(p,q)的路径，将起点设为(0,0)，从起点到终点通过光栅扫描到达，即在
Figure FDA0002501739550000025
上按照纵坐标从小到大，横坐标从小到大的顺序依次从起点访问至终点，通过计算路径上的极差，即可计算出障碍距离β(0,0)(p,q)，同理，将将起点设为(H,W)，W、H分别为
Figure FDA0002501739550000026
的宽和高，从起点到终点通过反向光栅扫描到达，即按照纵坐标从大到小，横坐标从大到小的顺序依次从起点访问至终点，如此可计算出障碍距离β(H,W)(p,q)；
此时，将每个像素上的障碍距离更新为最小值，即可获得FastMBD显著图：
Figure FDA0002501739550000027
Figure FDA0002501739550000028
Figure FDA0002501739550000029
其中，
Figure FDA00025017395500000210
为
Figure FDA00025017395500000211
对应的FastMBD显著图，而
Figure FDA00025017395500000212
表示
Figure FDA00025017395500000213
中坐标(p,q)处的显著值，max(π)、min(π)分别表示光栅扫描与反向光栅扫描中坐标(p,q)处所有路径的最大值与最小值；
(1.3)先计算
Figure FDA00025017395500000214
中RGB三通道对应的标准差
Figure FDA00025017395500000215
以及均值
Figure FDA00025017395500000216
Figure FDA0002501739550000031
Figure FDA0002501739550000032
其中，
Figure FDA0002501739550000033
表示子图像
Figure FDA0002501739550000034
的R通道坐标(p,q)处的像素值，同理，
Figure FDA0002501739550000035
表示G通道坐标(p,q)处的像素值，
Figure FDA0002501739550000036
表示B通道坐标(p,q)处的像素值。而
Figure FDA0002501739550000037
分别为坐标(p,q)处子图像
Figure FDA0002501739550000038
上的RGB三通道对应标准差以及均值；
将子图像
Figure FDA0002501739550000039
中的阴影对应的FastMBD显著图中的高显著进行滤除，将其置位于0，具体计算公式如下：
Figure FDA00025017395500000310
以欧式距离综合考虑标准差与均值，大于阴影阈值shadowThres就保留原显著值，否则当做阴影滤除；
(1.4)将同一尺寸的子图像
Figure FDA00025017395500000311
按照
Figure FDA00025017395500000312
在原图像img中对应位置来组合形成局部显著图mbdsize；
(1.5)把不同尺寸对应的局部显著图mbdsize进行加性融合，可得融合显著图mix_mbd：
Figure FDA00025017395500000313
其中，sizeNum表示尺寸种类数目，mix_mbd(p,q)为mix_mbd上坐标(p,q)处的显著值，同理，mbdsize(p,q)表示mbdsize上坐标(p,q)处的显著值，ωsize是对应于局部显著图mbdsize的加性融合权重，可通过计算下式可得：
Figure FDA00025017395500000314
Figure FDA0002501739550000041
其中，∑pq|mbdsize(p,q)|是对mbdsize上所有坐标的显著值的绝对值进行求和，而
Figure FDA0002501739550000042
是将所有局部显著图绝对值求和结果进行乘积运算，Psize是通过衡量mbdsize在所有局部显著图之中的占比情况来计算权重，最终计算出所有权重以后进行归一化操作即可得到对应于Psize的归一化权重ωsize。
3.根据权利要求1所述的一种基于改进FastMBD的遥感目标检测算法，其特征在于，步骤(2)通过像素差异性计算出邻域相似性，结合显著值得到一致性，并将其叠加至融合显著图以得到改进FastMBD显著图，具体计算方法如下：
(2.1)通过原图img的RGB三通道求解均值mean、标准差std，然后即可构建5个通道的参考图像refer＝[R,G,B,mean,std]。
然后利用第一步获得的融合显著图以及参考向量可计算出像素差异性：
Figure FDA0002501739550000043
其中，Rx、Ry分别是参考图像refer上位置为(p,q)、
Figure FDA0002501739550000044
的参考向量，
Figure FDA0002501739550000045
分别是位置(p,q)的8邻域像素对其的坐标偏移量，而mix_mbd(p,q)与
Figure FDA0002501739550000046
分别表示融合显著图mix_mbd上对应于位置(p,q)、
Figure FDA0002501739550000047
的显著值，而最终计算出的
Figure FDA0002501739550000048
即为位置(p,q)的像素与邻域像素
Figure FDA0002501739550000049
的像素差异性；
将坐标偏移量设为(1,0)与(0,1)之后，分别可计算获得minus_abs(1,0)(p,q)和minus_abs(0，1)(p,q)；
(2.2)将像素差异性minus_abs(1,0)(p,q)输入多元高斯分布函数即可计算出对应的邻域相似性similar_mbd(1,0)(p,q)：
Figure FDA00025017395500000410
Figure FDA0002501739550000051
其中，similar_mbd(1,0)(p,q)表示位置(p,q)的像素与坐标偏移量为(1,0)的邻域像素之间的邻域相似性，而
Figure FDA0002501739550000052
对应像素差异性minus_abs(1,0)(p,q)第一个通道的方差，其余通道依次对应，同理，将minus_abs(0，1)(p,q)送入多元高斯分布函数即可计算得到similar_mbd(0,1)(p,q)；
(2.3)邻域相似性结合融合显著图可算出邻域一致性：
consistence(1,0)(p,q)＝mix_mbd(p,q)*mix_mbd(p+1,q)*similar_mbd(1,0)(p,q)
consistence(0,1)(p,q)＝mix_mbd(p,q)*mix_mbd(p,q+1)*similar_mbd(0,1)(p,q)
其中consistence(1,0)(p,q)表示位置(p,q)的像素与坐标偏移量为(1,0)的邻域像素之间的邻域一致性，同理consistence(0,1)(p,q)表示位置(p,q)的像素与坐标偏移量为(0,1)的邻域像素之间的邻域一致性，将不同邻域像素计算的邻域一致性进行求和即可得到最终的邻域一致性：
consistence(p,q)＝consistence(1,0)(p,q)+consistence(0,1)(p,q)
然后将邻域一致性叠加到融合显著图上即可得到改进FastMBD显著图improve_mbd：
improve_mbd(p,q)＝mix_mbd(p,q)+consistence(p,q)。
4.根据权利要求1所述的一种基于改进FastMBD的遥感目标检测算法，其特征在于，步骤(3)通过构建同心窗，利用内窗显著性比上外窗显著性即可提取显著目标，提取方法如下：
(3.1)设以待测坐标(x,y)为中心构建同心窗
Figure FDA0002501739550000053
其中，winNum表示同心窗总个数，
Figure FDA0002501739550000054
表示一个横坐标取值从x-k到x+k，纵坐标取值从y-k到y+k的窗口，窗口本质为一个内部权重皆为1的卷积核，随着参数k的增加，窗口涵盖范围逐步递增，从而形成一系列中心相同的同心窗；
将
Figure FDA0002501739550000061
内的显著值总量设为
Figure FDA0002501739550000062
Figure FDA0002501739550000063
其中，
Figure FDA0002501739550000064
为改进FastMBD显著图improve_mbd上与
Figure FDA0002501739550000065
匹配的待测区域，即improve_mbd上一个横坐标取值从x-k到x+k，纵坐标取值从y-k到y+k的区域，
Figure FDA0002501739550000066
表示卷积操作，卷积操作用于待测区域的显著值求和；
(3.2)
Figure FDA0002501739550000067
与
Figure FDA0002501739550000068
是相邻的窗口，
Figure FDA0002501739550000069
的涵盖范围更小，将其视为内窗，而
Figure FDA00025017395500000610
也就相对应外窗，取得两者的显著值总量以后，将内窗显著总量比上外窗显著总量即可得到显著总量比值
Figure FDA00025017395500000611
Figure FDA00025017395500000612
参数k逐步增加，窗口逐步扩大，遍历所有内外显著比值，判断是否满足迭代阈值iterThres，即可判断同心窗内是否包含显著目标：
Figure FDA00025017395500000613
其中，
Figure FDA00025017395500000614
表示了第k个内窗与外窗的显著比值满足条件，即内外显著比值大于预设迭代阈值iterThres，也就表明显著目标的尺寸应当与
Figure FDA00025017395500000615
的尺寸一致，最终，将改进FastMBD显著图improve_mbd上所有坐标都依次设为待测坐标，以此计算内外显著比值，即可判定所有坐标上包含有显著目标。
CN202010434585.3A 2020-05-21 2020-05-21 一种基于改进FastMBD的遥感目标检测算法 Active CN111723670B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010434585.3A CN111723670B (zh) 2020-05-21 2020-05-21 一种基于改进FastMBD的遥感目标检测算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010434585.3A CN111723670B (zh) 2020-05-21 2020-05-21 一种基于改进FastMBD的遥感目标检测算法

Publications (2)

Publication Number Publication Date
CN111723670A true CN111723670A (zh) 2020-09-29
CN111723670B CN111723670B (zh) 2022-08-05

Family

ID=72564860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010434585.3A Active CN111723670B (zh) 2020-05-21 2020-05-21 一种基于改进FastMBD的遥感目标检测算法

Country Status (1)

Country Link
CN (1) CN111723670B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631119A (zh) * 2022-09-08 2023-01-20 江苏北方湖光光电有限公司 一种提高目标显著性的图像融合方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767400A (zh) * 2017-06-23 2018-03-06 北京理工大学 基于层次化显著性分析的遥感图像序列动目标检测方法
US20180285683A1 (en) * 2017-03-30 2018-10-04 Beihang University Methods and apparatus for image salient object detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180285683A1 (en) * 2017-03-30 2018-10-04 Beihang University Methods and apparatus for image salient object detection
CN107767400A (zh) * 2017-06-23 2018-03-06 北京理工大学 基于层次化显著性分析的遥感图像序列动目标检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631119A (zh) * 2022-09-08 2023-01-20 江苏北方湖光光电有限公司 一种提高目标显著性的图像融合方法

Also Published As

Publication number Publication date
CN111723670B (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
EP3306562B1 (en) Image processing method and device
CN105205781B (zh) 输电线路航拍图像拼接方法
CN104182949B (zh) 基于直方图特征点配准的影像匀色与融合方法及系统
CN101588445B (zh) 一种基于深度的视频感兴趣区域提取方法
CN102903085B (zh) 基于角点匹配的快速图像拼接方法
CN110197153B (zh) 一种户型图中墙体自动识别方法
CN104134200B (zh) 一种基于改进加权融合的运动场景图像拼接方法
EP2797052B1 (en) Detecting a saliency region in an image
CN105513064A (zh) 一种基于图像分割和自适应权重的立体匹配方法
CN109559273B (zh) 一种面向车底图像的快速拼接方法
CN104463870A (zh) 一种图像显著区域检测方法
CN110414385B (zh) 一种基于单应性变换和特征窗口的车道线检测方法及系统
CN110298344A (zh) 一种基于机器视觉的仪表旋钮定位与检测方法
CN108875621A (zh) 图像处理方法、装置、计算机设备及存储介质
EP3177016A2 (en) Enhanced search strategies for hierarchical motion estimation
CN115457063A (zh) Pcb板圆孔的边缘提取方法、装置、设备及存储介质
CN109410235B (zh) 融合边缘特征的目标跟踪方法
CN108665495B (zh) 图像处理方法及装置、移动终端
CN111723670B (zh) 一种基于改进FastMBD的遥感目标检测算法
CN117764989A (zh) 一种视觉辅助的显示屏缺陷检测方法
CN113296095A (zh) 一种用于脉冲探地雷达的目标双曲线边缘提取方法
CN109636822B (zh) 一种基于新构建隶属度函数的改进Canny自适应边缘提取方法
JP3659426B2 (ja) エツジ検出方法及びエツジ検出装置
US11354794B2 (en) Deposit detection device and deposit detection method
CN106991669B (zh) 一种基于深度选择性差异的显著性检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant