CN111274964B - 一种基于无人机视觉显著性分析水面污染物的检测方法 - Google Patents
一种基于无人机视觉显著性分析水面污染物的检测方法 Download PDFInfo
- Publication number
- CN111274964B CN111274964B CN202010066732.6A CN202010066732A CN111274964B CN 111274964 B CN111274964 B CN 111274964B CN 202010066732 A CN202010066732 A CN 202010066732A CN 111274964 B CN111274964 B CN 111274964B
- Authority
- CN
- China
- Prior art keywords
- super
- pixel image
- image block
- saliency map
- primary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 51
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 44
- 239000003344 environmental pollutant Substances 0.000 title claims abstract description 33
- 231100000719 pollutant Toxicity 0.000 title claims abstract description 33
- 230000000007 visual effect Effects 0.000 title claims abstract description 24
- 239000013598 vector Substances 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 46
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 21
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 8
- 230000000694 effects Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 239000000356 contaminant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/20—Controlling water pollution; Waste water treatment
Abstract
本发明公开了一种基于无人机视觉显著性分析水面污染物的检测方法。该方法包括以下步骤：S1.利用线性迭代聚类算法将输入图像分割为多个互不重叠的超像素图像块；S2.从图像边界区域中，选出优化背景模板；S3.根据优化背景模板，通过图像的稀疏表示，得到初级显著图；S4.根据初级显著图，选取出显著值较大的构成前景模板；S5.根据前景模板和优化背景模板，估算出参数向量；S6.根据参数向量对超像素图像块进行多维颜色特征线性融合，得到次级显著图；S7.利用贝叶斯融合方式将初级显著图和次级显著图进行融合，生成最终显著图；本发明检测方法同经典显著性检测方法相比，对水面污染物图片具有更好的检测效果，且计算量小、步骤简单，更适用于无人机监测平台。
Description
技术领域
本发明涉及信息技术领域，尤其涉及一种基于无人机视觉显著性分析水面污染物的检测方法。
背景技术
随着社会工业化的不断发展，越来越多的水环境开始出现恶化问题，并且已进入水环境污染事故高发期。而显著性识别作为视觉感知的一种重要技术手段，可以直观地检测出水面漂浮的污染物，将其应用到水面污染物监测中具有重要意义。水面污染物检测主要采用在目标水域安装摄像头实时监控设备，但是这些设备大多在某一位置固定不变，只能监控到一定水域范围的水面污染物。同时，由于水域地理环境多样化，以及设备硬件成本，网络和供电等多因素的限制，这种方法投入和维护成本高且不能适应特殊水域环境。
传统的图像显著性识别算法可大致分为两类，一类是自上而下的检测方式，一类是自下而上的检测方式。自下而上的方法主要利用低级别特征，如纹理、强度、颜色和轮廓来计算显著图。其中比较具有代表性的方法有：Klein和Frintrop利用Kullback-Leibler散度来测量中心与周围的差异，从而获得显著图；Achanta和Süsstrunk设计了一种最大对称的周边区域选择机制，对于每个像素，先计算选择出其对应的周边区域，然后计算其与周边区域差异性，其对比差值作为其显著值；Zhu等人提出了一种基于超像素的显着性检测方法，其中基于颜色信息的边界先验法则和局部对比度原则被用于从背景中提取显著性物体；Zhai和Shah利用每个像素与整幅图像亮度平均值作对比，计算对应的图。
另一方面，自上而下的方法则通过人工标定的真值图，经过训练、学习的方式得到的高级特征进行显著性检测。其中比较有代表性的方法有：Wang等人使用基于上下文信息模型的分类器来自动提取显著性区域；Li等人利用一组背景模板重建输入图像，然后再分别使用sparse和dense重建误差来测量其显著值。Jian等人考虑了显著区域和背景的外观差异和空间分布的不同，并提出了使用吸收马尔可夫链来得到显著图。Lu等人通过对已有的图像库标签数据大量学习，生成了一组显著性种子，并使用这些种子来识别显著性区域。
总的来说，自上而下的方法可以得到更好的检测结果，但通常计算量、需要的存储空间较大。相比之下，自下而上的方法通常更简单，更快捷。但这些方法在利用于基于无人机视觉显著性分析的水面污染物检测时，存在以下关键问题；首先传统的检测方法为了得到更加清晰的物体边界，通常在像素级别上来进行显著性计算，计算成本太大；并且通常的识别算法都是针对监测原图来进行处理，而某些原图尺寸很大，造成算法不适合在资源有限的视觉感知平台上运行；其次，传统的方法在面对复杂多变的水环境监测图像时，效果并不理想。水环境复杂多变，不同应用条件下，水面色差、光照、倒影以及水面目标大小、区域分布等差异很大，很多情况下水面背景与目标区域区分度低，这些因素使得水面显著性目标区域检测比较困难。
发明内容
本发明的目的在于，针对现有技术的上述不足，提出一种计算复杂度较低、步骤简单的基于无人机视觉显著性分析的水面污染物检测方法。
本发明的目的可以通过以下技术方案来实现：
一种基于无人机视觉显著性分析水面污染物的检测方法，包括以下步骤：
S1.利用线性迭代聚类算法对无人机拍摄的图像进行分割，将其分割为多个互不重叠的超像素图像块；
S2.从图像的边界区域中，利用背景优化选取策略从步骤S1得到的超像素图像块中选取不包含目标物体的区域的超像素图像块作为优化背景模板；
S3.根据步骤S2得到的优化背景模板，通过图像的稀疏表示，得到与无人机拍摄的图像对应的初级显著图；
S4.根据步骤S3得到的初级显著图，利用OTSU阈值分割方法计算出初级显著图阈值，从初级显著图中选取初级显著值大于或等于初级显著图阈值的超像素图像块构成前景模板；
S5.根据步骤S4得到的前景模板和S2中得到的优化背景模板，构造出颜色矩阵，通过求解通过解最小二乘问题，拟合得到一个参数向量；
S6.再对步骤S1得到的每个超像素图像块，在3个典型颜色空间上根据步骤S5得到的参数向量进行多维颜色特征线性融合，得到次级显著图；
S7.利用贝叶斯融合的方式将S3得到的初级显著图和S6得到的次级显著图进行融合，生成最终显著图。
优选的，所述步骤S2中，优化背景模板的选取步骤如下：
S2.1.将图像边界的所有超像素图像块全部挑选出来，组成原始背景模板；
S2.2.按如下公式，分别计算原始背景模板中每个超像素图像块与其他超像素图像块之间以空间距离为权重的颜色距离的和，得出每个超像素图像块的权重距离和值：
其中，S(i)代表超像素图像块i的权重距离和值；dcolor(i,j)代表超像素图像块i和超像素图像块j之间在CIELAB空间上的颜色距离；dspatial(i,j)代表超像素图像块i和超像素图像块j之间的空间距离；σ是常数0.25；
S2.3.将步骤S2.2中求得的各超像素图像块的权重距离和值进行归一化处理；
S2.4.对每张输入图像，根据其原始背景模板中各超像素图像块的权重距离和值，按如下公式求取其对应的背景模板阈值：
τ＝Smax-k×D
其中Smax是原始模板中各超像素图像块最大的权重距离和值；D是各超像素权重距离和值的方差；k是常数8；
S2.5.将步骤S2.3中归一化处理后的每个超像素图像块的权重距离和值与步骤S2.4中得到背景模板阈值进行比较，将权重距离和值小于或等于该阈值的超像素图像块用于构建优化背景模板。
优选的，所述步骤S3中，初级显著图的具体获取步骤如下：
S3.1.对每个超像素图像块，利用3个典型的颜色空间(RGB，CIELAB，HSV)和其对应的横纵坐标来进行特征表示，即每个超像素图像块用一个1×11维的特征向量进行表示；
S3.2.将步骤S2中得到的优化背景模板中的各个超像素图像块对应的特征向量组合构成特征矩阵U；假定优化背景模板中包含m个超像素图像块，则U对应一个m×11的特征矩阵；
S3.3.对于优化背景模板中的每个超像素图像块，根据步骤S3.2得到的特征矩阵U，通过求解如下最小问题来完成图像稀疏表示过程：
其中，Xi为超像素图像块i对应的特征向量，Vi为超像素图像块i对应的稀疏表示结果，λ是常数0.01；
S3.4.根据步骤S3.3求得的每个超像素图像块的稀疏表示结果，通过计算其与原始特征表示之间的重构差，作为该超像素图像块对应初始显著值，其对应公式如下所示：
S3.5.对每个超像素图像块，根据步骤S3.4计算出其对应的初级显著值，然后将该值赋值给超像素图像块包含的像素点，构成初级显著图。
优选的，所述步骤S4中，前景模板的具体获取步骤如下：
S4.1.根据步骤S3获得的初级显著值，对其所对应的所有超像素图像块，按从大到小进行排序，得到超像素图像块序列；
S4.2.利用OTSU阈值分割方法，计算出初级显著图阈值，利用初级显著图阈值对排序后的超像素图像块进行分割，选取初级显著值较大于或等于初级显著图阈值的前n个初级显著值大的超像素图像块区域，作为前景模板，假定前景模板中包含n个超像素图像块。
优选的，所述步骤S5中，参数向量的具体获取步骤如下：
S5.1.对每个超像素图像块在RGB，CIELAB，HSV这3个颜色空间上进行表示，构成一个9维颜色系数向量；
S5.2.将步骤S4得到前景模板的颜色向量和步骤S2得到的优化背景模板的颜色向量构成颜色矩阵P，对应大小为(n+m)×9，其前n行颜色向量来源于前景模板，后m行颜色向量来源于优化背景模板；
S5.3.利用如下公式，通过解最小二乘问题，拟合得到参数向量b：
其中，Z是一个(n+m)×9维度的常数矩阵，且该常数矩阵Z中前n行元素值为1，后m行元素值为0。
优选的，所述步骤S6中，次级显著图的具体获取步骤如下：
S6.1根据步骤S5求得的参数向量b，利用如下公式计算每个超像素图像块的次级显著值：
Sf(i)＝T(i)×b
其中，T(i)为每个超像素图像块的颜色特征向量；
S6.2.将每个超像素图像块的次级显著值赋值给该超像素图像块包含的像素点，得到次级显著图。
优选的，所述步骤S7中，最终显著图的具体获取步骤如下：
S7.1.将步骤S3得到的初级显著图和S6得到的次级显著图先进行归一化处理；
S7.2.将初级显著图作为先验概率，次级显著图用来计算相似度，利用如下贝叶斯融合框架来计算每个超像素图像块的概率值：
其中，Sb(x)为初级显著图，Sf(x)为次级显著图，Fb和Bb分别是通过用平均显著性值分割初级显著图获得的前景和背景区域；
S7.3.将步骤S7.2获取的每个超像素图像块的概率值，作为其最终显著值，最后将最终显著值赋值给其中包含的像素点，从而得到最终显著图。
本发明设计了一种计算复杂度较低、步骤简单，基于无人机视觉显著性分析的水面污染物检测方法；该方法首先利用简单线性迭代聚类(SLIC)算法将无人机拍摄的图像分割成一个个互不重叠的超像素，并基于每个超像素执行后续的显著性识别操作；由于SLIC算法可以很好地保留输入图像的结构信息，而且超级像素的数量远小于原始像素的数量，因此，通过该方式设计地显著性识别算法不仅计算复杂度低，而且还可以很好地保留显著性区域的边界。然后，我们选择图像中的一些边缘超像素来构建准确的优化背景模板，接下来，利用图像稀疏表示通过这些优化背景模板得到初级显著图。在初级显著图中，背景区域可以被较好地抑制，但是显著性区域并不能完全地显示出来。为了进一步改善检测结果，我们将每个超像素用一个多维的颜色系数向量来表示，并根据初级显著图估算而来的关键参数向量，利用多维颜色系数的线性组合的方式来得到次级显著图。在次级显著图中，显著区域通常可以被完整突出地提取出来，但背景区域难免会出现很多误检的地方，最后，为了得到质量更好的显著性识别结果，利用贝叶斯框架将初级显著图和次级显著图进行融合，生成最终显著图。本发明提出的显著性检测方法，同经典的显著性检测方法相比，对水面污染物图片具有更好的检测效果，并且计算量小、步骤简单，更适用于无人机监测平台。
附图说明
图1是本发明实施例的基于无人机视觉显著性分析的水面污染物检测方法的流程图；
图2是本发明实施例的基于无人机视觉显著性分析的水面污染物检测方法的步骤S2的具体流程图；
图3是本发明实施例的基于无人机视觉显著性分析的水面污染物检测方法的步骤S3的具体流程图；
图4是本发明实施例的基于无人机视觉显著性分析的水面污染物检测方法的步骤S4的具体流程图；
图5是本发明实施例的基于无人机视觉显著性分析的水面污染物检测方法的步骤S5的具体流程图；
图6是本发明实施例的基于无人机视觉显著性分析的水面污染物检测方法的步骤S6的具体流程图；
图7是本发明实施例的基于无人机视觉显著性分析的水面污染物检测方法的步骤S7的具体流程图；
图8a是无人机拍摄的图像；
图8b是通过COV方法检测无人机拍摄的图像的结果图；
图8c是通过DSR方法检测无人机拍摄的图像的结果图；
图8d是通过FES方法检测无人机拍摄的图像的结果图；
图8e是通过FT方法检测无人机拍摄的图像的结果图；
图8f是通过HC方法检测无人机拍摄的图像的结果图；
图8g是通过MC方法检测无人机拍摄的图像的结果图；
图8h是通过MSS方法检测无人机拍摄的图像的结果图；
图8i是通过SR方法检测无人机拍摄的图像的结果图；
图8j是本发明的一种基于无人机视觉显著性分析水面污染物的检测方法检测无人机拍摄的图像的结果图；
图8k是无人机拍摄的图像的真值图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
实施例1
如图1所示，一种基于无人机视觉显著性分析水面污染物的检测方法，包括以下步骤：
1.利用线性迭代聚类算法对无人机拍摄的图像进行分割，将其分割为多个互不重叠的超像素图像块；确保后续步骤中检测算法都在超像素级别上进行，而不是在传统的像素点级别上运行，能够大幅提高检测算法的运行速度。
2.从图像的边界区域中，利用背景优化选取策略从步骤1得到的超像素图像块中选取不包含目标物体的区域的超像素图像块作为优化背景模板；
如图2所示，优化背景模板的获取方法具体如下：
2.1.将图像边界的所有超像素图像块全部挑选出来，组成原始背景模板；
2.2.按如下公式，分别计算原始背景模板中每个超像素图像块与其他超像素图像块之间以空间距离为权重的颜色距离的和，得出每个超像素图像块的权重距离和值：
其中，S(i)代表超像素图像块i的权重距离和值；dcolor(i,j)代表超像素图像块i和超像素图像块j之间在CIELAB空间上的颜色距离；dspatial(i,j)代表超像素图像块i和超像素图像块j之间的空间距离；σ是常数0.25；
2.3.将步骤2.2中求得的各超像素图像块的权重距离和值进行归一化处理；
2.4.对每张输入图像，根据其原始背景模板中各超像素图像块的权重距离和值，按如下公式求取其对应的背景模板阈值：
τ＝Smax-k×D
其中Smax是原始模板中各超像素图像块最大的权重距离和值；D是各超像素图像块权重距离和值的方差；k是常数8；
2.5.将步骤2.3中归一化处理后的每个超像素图像块的权重距离和值与步骤2.4中得到背景模板阈值进行比较，将权重距离和值小于或等于该阈值的超像素图像块用于构建优化背景模板。
3.根据步骤2得到的优化背景模板，通过图像的稀疏表示，得到与无人机拍摄的图像对应的初级显著图；
如图3所示，初级显著图的具体获取步骤如下：
3.1.对每个超像素图像块，利用3个典型的颜色空间(RGB，CIELAB，HSV)和其对应的横纵坐标来进行特征表示，即每个超像素图像块用一个1×11维的特征向量进行表示；
3.2.将步骤2中得到的优化背景模板中的各个超像素图像块对应的特征向量组合构成特征矩阵U；假定优化背景模板中包含m个超像素图像块，则U对应一个m×11的特征矩阵；
3.3.对于优化背景模板中的每个超像素图像块，根据步骤3.2得到的特征矩阵U，通过求解如下最小问题来完成图像稀疏表示过程：
其中，Xi为超像素图像块i对应的特征向量，Vi为超像素图像块i对应的稀疏表示结果，λ是常数0.01；
3.4.根据步骤3.3求得的每个超像素图像块的稀疏表示结果，通过计算其与原始特征表示之间的重构差，作为该超像素图像块对应初始显著值，其对应公式如下所示：
3.5.对每个超像素图像块，根据步骤3.4计算出其对应的初级显著值，然后将该值赋值给超像素图像块包含的像素点，构成初级显著图。
4.根据步骤3得到的初级显著图，利用OTSU阈值分割方法计算出初级显著图阈值，从初级显著图中选取出初级显著值较大于或等于初级显著图阈值的超像素图像块构成前景模板；
如图4所示，前景模板的具体获取步骤如下：
4.1.根据步骤3获得的初级显著值，对其所对应的所有超像素图像块，按从大到小进行排序，得到超像素图像块序列；
4.2.利用OTSU阈值分割方法，计算出初级显著图阈值，利用初级显著图阈值对排序后的超像素图像块进行分割，选取初级显著值较大于或等于初级显著图阈值的前n个初级显著值大的超像素图像块区域，作为前景模板，假定前景模板中包含n个超像素图像块。。
5.根据步骤4得到的前景模板和步骤2中得到的优化背景模板，构造出颜色矩阵，通过求解通过解最小二乘问题，拟合得到一个参数向量；
如图5所示，参数向量的具体获取步骤如下：
5.1.对每个超像素图像块在RGB，CIELAB，HSV这3个颜色空间上进行表示，构成一个9维颜色系数向量；
5.2.将步骤4得到前景模板的颜色向量和步骤2得到的优化背景模板的颜色向量构成颜色矩阵P，对应大小为(n+m)×9，其前n行颜色向量来源于前景模板，后m行颜色向量来源于优化背景模板；
5.3.利用如下公式，通过解最小二乘问题，拟合得到参数向量b：
其中，Z是一个(n+m)×9维度的常数矩阵，且该常数矩阵Z中前n行元素值为1，后m行元素值为0。
6.再对步骤S1得到的每个超像素图像块，在3个典型颜色空间上根据步骤5得到的参数向量进行多维颜色特征线性融合，得到次级显著图；
如图6所示，次级显著图的具体获取步骤如下：
6.1根据步骤5求得的参数向量b，利用如下公式计算每个超像素图像块的次级显著值：
Sf(i)＝T(i)×b
其中，T(i)为每个超像素图像块的颜色特征向量；
6.2.将每个超像素图像块的次级显著值赋值给该超像素图像块包含的像素点，得到次级显著图。
7.利用贝叶斯融合的方式将步骤3得到的初级显著图和步骤6得到的次级显著图进行融合，生成最终显著图；
如图7所示，最终显著图的具体获取步骤如下：
7.1.将步骤3得到的初级显著图和步骤6得到的次级显著图先进行归一化处理；
7.2.将初级显著图作为先验概率，次级显著图用来计算相似度，利用如下贝叶斯融合框架来计算每个超像素图像块的概率值：
其中，Sb(x)为初级显著图，Sf(x)为次级显著图，Fb和Bb分别是通过用平均显著性值分割初级显著图获得的前景和背景区域；
7.3.将步骤7.2获取的每个超像素图像块的概率值，作为其最终显著值，最后将最终显著值赋值给其中包含的像素点，从而得到最终显著图。
本发明设计了一种计算复杂度较低、步骤简单，基于无人机视觉显著性分析的水面污染物检测方法；该方法首先利用简单线性迭代聚类(SLIC)算法将输入图像分割成一个个互不重叠的超像素，并基于每个超像素执行后续的显著性识别操作；由于SLIC算法可以很好地保留输入图像的结构信息，而且超级像素的数量远小于原始像素的数量；因此，通过该方式设计地显著性识别算法不仅计算复杂度低，而且还可以很好地保留显著性区域的边界。然后，我们选择图像中的一些边缘超像素来构建准确的优化背景模板；接下来，利用图像稀疏表示通过这些优化背景模板得到初级显著图。在初级显著图中，背景区域可以被较好地抑制，但是显著性区域并不能完全地显示出来。为了进一步改善检测结果，我们将每个超像素用一个多维的颜色系数向量来表示，并根据初级显著图估算而来的关键参数向量，利用多维颜色系数的线性组合的方式来得到次级显著图。在次级显著图中，显著区域通常可以被完整突出地提取出来，但背景区域难免会出现很多误检的地方；最后，为了得到质量更好的显著性识别结果，利用贝叶斯框架将初级显著图和次级显著图进行融合，生成最终显著图。本发明提出的显著性检测方法，同经典的显著性检测方法相比，对水面污染物图片具有更好的检测效果，并且计算量小、步骤简单，更适用于无人机监测平台。
对t时刻，无人机拍摄采集到的监测RGB彩色图像IMG，根据本发明实施例的方法进行显著性检测；并且与典型显著性检测算法结果图进行对比，对比结果如图8所示，其中，图8a为无人机拍摄的图像，图8b为COV方法检测结果图，图8c为DSR方法检测结果图，图8d为FES方法检测结果图，图8e为FT方法检测结果图，图8f为HC检测结果图，图8g为MC法检测结果图，图8h为MSS方法检测结果图，图8i为SR方法检测结果图，图8j为本发明的方法检测结果图，图8k为真值图；由图8可以得出，本发明提出的基于无人机视觉显著性分析水面污染物的检测方法，同经典的显著性检测方法相比，对水面污染物图片具有更好的检测效果，并且计算量小、步骤简单，更适用于无人机监测平台。
以上未涉及之处，适用于现有技术。
在不冲突的情况下，本文中上述实施例及实施例中的特征可以相互结合。以上所述仅为本发明的较佳实施例，并不用以限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于无人机视觉显著性分析水面污染物的检测方法，其特征在于，包括以下步骤：
S1.利用线性迭代聚类算法对无人机拍摄的图像进行分割，将其分割为多个互不重叠的超像素图像块；
S2.从图像的边界区域中，利用背景优化选取策略从步骤S1得到的超像素图像块中选取不包含目标物体的区域的超像素图像块作为优化背景模板，所述目标物体为无人机拍摄的图像中的污染物；
S3.根据步骤S2得到的优化背景模板，通过图像的稀疏表示，得到与原始无人机拍摄的图像对应的初级显著图；
S4.根据步骤S3得到的初级显著图，利用OTSU阈值分割方法计算出初级显著图阈值，从初级显著图中选取初级显著值大于或等于初级显著图阈值的超像素图像块构成前景模板；
S5.根据步骤S4得到的前景模板和S2中得到的优化背景模板，构造出颜色矩阵，通过求解最小二乘问题，拟合得到一个参数向量；
S6.再对步骤S1得到的每个超像素图像块，在3个典型颜色空间上根据步骤S5得到的参数向量进行多维颜色特征线性融合，得到次级显著图；
S7.利用贝叶斯融合的方式将S3得到的初级显著图和S6得到的次级显著图进行融合，生成最终显著图；
所述步骤S2中，优化背景模板的选取步骤如下：
S2.1.将图像边界的所有超像素图像块全部挑选出来，组成原始背景模板；
S2.2.按如下公式，分别计算原始背景模板中每个超像素图像块与剩下的超像素图像块之间以空间距离为权重的颜色距离的和，得出每个超像素图像块的权重距离和值：
其中，S(i)代表超像素图像块i的权重距离和值；dcolor(i,j)代表超像素图像块i和超像素图像块j之间在CIELAB空间上的颜色距离；dspatial(i,j)代表超像素图像块i和超像素图像块j之间的空间距离；σ是常数0.25；
S2.3.将步骤S2.2中求得的各超像素图像块的权重距离和值进行归一化处理；
S2.4.对每张图像，根据其原始背景模板中各超像素图像块的权重距离和值，按如下公式求取其对应的背景模板阈值：
τ＝Smax-k×D
其中Smax是原始模板中各超像素图像块最大的权重距离和值；D是各超像素权重距离和值的方差；k是常数8；
S2.5.将步骤S2.3中归一化处理后的每个超像素图像块的权重距离和值与步骤S2.4中得到背景模板阈值进行比较，将权重距离和值小于或等于该阈值τ的超像素图像块用于构建优化背景模板；
所述步骤S3中，初级显著图的具体获取步骤如下：
S3.1.对每个超像素图像块，利用3个典型的颜色空间，RGB，CIELAB和HSV和3个典型的颜色空间对应的横纵坐标来进行特征表示，即每个超像素图像块用一个1×11维的特征向量进行表示；
S3.2.将步骤S2中得到的优化背景模板中的各个超像素图像块对应的特征向量组合构成特征矩阵U；假定优化背景模板中包含m个超像素图像块，则U对应一个m×11的特征矩阵；
S3.3.对于优化背景模板中的每个超像素图像块，根据步骤S3.2得到的特征矩阵U，通过求解如下最小问题来完成图像稀疏表示过程：
其中，Xi为超像素图像块i对应的特征向量，Vi为超像素图像块i对应的稀疏表示结果，λ是常数0.01；
S3.4.根据步骤S3.3求得的每个超像素图像块的稀疏表示结果，通过计算其与原始特征表示之间的重构差，作为每个所述超像素图像块对应初始显著值，其对应公式如下所示：
S3.5.对每个超像素图像块，根据步骤S3.4计算出其对应的初级显著值，然后将该初级显著值赋值给所述超像素图像块包含的像素点，构成初级显著图。
2.如权利要求1所述的一种基于无人机视觉显著性分析水面污染物的检测方法，其特征在于，所述步骤S4中，前景模板的具体获取步骤如下：
S4.1.根据步骤S3获得的初级显著值，对其所对应的所有超像素图像块，按从大到小进行排序，得到超像素图像块序列；
S4.2.利用OTSU阈值分割方法，计算出初级显著图阈值，利用初级显著图阈值对排序后的超像素图像块进行分割，选取初级显著值大于或等于初级显著图阈值的超像素图像块区域，作为前景模板，假定前景模板中包含n个超像素图像块。
3.如权利要求2所述的一种基于无人机视觉显著性分析水面污染物的检测方法，其特征在于，所述步骤S5中，参数向量的具体获取步骤如下：
S5.1.对每个超像素图像块在RGB，CIELAB，HSV这3个颜色空间上进行表示，构成一个9维颜色系数向量；
S5.2.将步骤S4得到前景模板的颜色向量和步骤S2得到的优化背景模板的颜色向量构成颜色矩阵P，对应大小为(n+m)×9，其前n行颜色向量来源于前景模板，后m行颜色向量来源于优化背景模板；
S5.3.利用如下公式，通过解最小二乘问题，拟合得到参数向量b：
其中，Z是一个(n+m)×9维度的常数矩阵，且该常数矩阵Z中前n行元素值为1，后m行元素值为0。
4.如权利要求3所述的一种基于无人机视觉显著性分析水面污染物的检测方法，其特征在于，所述步骤S6中，次级显著图的具体获取步骤如下：
S6.1根据步骤S5求得的参数向量b，利用如下公式计算每个超像素图像块的次级显著值：
Sf(i)＝T(i)×b
其中，T(i)为每个超像素图像块的颜色特征向量；
S6.2.将每个超像素图像块的次级显著值赋值给该超像素图像块包含的像素点，得到次级显著图。
5.如权利要求4所述的一种基于无人机视觉显著性分析水面污染物的检测方法，其特征在于，所述步骤S7中，最终显著图的具体获取步骤如下：
S7.1.将步骤S3得到的初级显著图和S6得到的次级显著图先进行归一化处理；
S7.2.将初级显著图作为先验概率，次级显著图用来计算相似度，利用如下贝叶斯融合框架来计算每个超像素图像块的概率值：
其中，Sb(x)为初级显著图，Sf(x)为次级显著图，Fb和Bb分别是通过用平均显著性值分割初级显著图获得的前景和背景区域；
S7.3.将步骤S7.2获取的每个超像素图像块的概率值，作为其最终显著值，最后将最终显著值赋值给每个所述超像素图像块包含的像素点，从而得到最终显著图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010066732.6A CN111274964B (zh) | 2020-01-20 | 2020-01-20 | 一种基于无人机视觉显著性分析水面污染物的检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010066732.6A CN111274964B (zh) | 2020-01-20 | 2020-01-20 | 一种基于无人机视觉显著性分析水面污染物的检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111274964A CN111274964A (zh) | 2020-06-12 |
| CN111274964B true CN111274964B (zh) | 2023-04-07 |
Family
ID=70996865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010066732.6A Active CN111274964B (zh) | 2020-01-20 | 2020-01-20 | 一种基于无人机视觉显著性分析水面污染物的检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111274964B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112184607B (zh) * | 2020-09-27 | 2022-08-09 | 清华大学 | 毫米波太赫兹成像质量提升方法及成像系统 |
| CN112767297B (zh) * | 2021-02-05 | 2022-09-23 | 中国人民解放军国防科技大学 | 基于图像衍生的复杂背景下红外无人机群目标仿真方法 |
| CN114926753B (zh) * | 2022-06-16 | 2023-10-13 | 无锡慧眼人工智能科技有限公司 | 一种海量图像条件下的快速目标场景信息提取方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780582A (zh) * | 2016-12-16 | 2017-05-31 | 西安电子科技大学 | 基于纹理特征和颜色特征融合的图像显著性检测方法 |
| CN107992874A (zh) * | 2017-12-20 | 2018-05-04 | 武汉大学 | 基于迭代稀疏表示的图像显著目标区域提取方法及系统 |
| CN108416347A (zh) * | 2018-01-04 | 2018-08-17 | 天津大学 | 基于边界先验和迭代优化的显著目标检测算法 |
| CN108549891A (zh) * | 2018-03-23 | 2018-09-18 | 河海大学 | 基于背景与目标先验的多尺度扩散显著目标检测方法 |
| CN108805136A (zh) * | 2018-03-26 | 2018-11-13 | 中国地质大学（武汉） | 一种面向水面污染物监测的显著性检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7720282B2 (en) * | 2005-08-02 | 2010-05-18 | Microsoft Corporation | Stereo image segmentation |
-
2020
- 2020-01-20 CN CN202010066732.6A patent/CN111274964B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780582A (zh) * | 2016-12-16 | 2017-05-31 | 西安电子科技大学 | 基于纹理特征和颜色特征融合的图像显著性检测方法 |
| CN107992874A (zh) * | 2017-12-20 | 2018-05-04 | 武汉大学 | 基于迭代稀疏表示的图像显著目标区域提取方法及系统 |
| CN108416347A (zh) * | 2018-01-04 | 2018-08-17 | 天津大学 | 基于边界先验和迭代优化的显著目标检测算法 |
| CN108549891A (zh) * | 2018-03-23 | 2018-09-18 | 河海大学 | 基于背景与目标先验的多尺度扩散显著目标检测方法 |
| CN108805136A (zh) * | 2018-03-26 | 2018-11-13 | 中国地质大学（武汉） | 一种面向水面污染物监测的显著性检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111274964A (zh) | 2020-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109583425B (zh) | 一种基于深度学习的遥感图像船只集成识别方法 | |
| CN111428748B (zh) | 一种基于hog特征和svm的红外图像绝缘子识别检测方法 | |
| CN106909902B (zh) | 一种基于改进的层次化显著模型的遥感目标检测方法 | |
| CN109684922B (zh) | 一种基于卷积神经网络的多模型对成品菜的识别方法 | |
| CN111274964B (zh) | 一种基于无人机视觉显著性分析水面污染物的检测方法 | |
| CN107273832B (zh) | 基于积分通道特征与卷积神经网络的车牌识别方法及系统 | |
| CN111368712A (zh) | 一种基于深度学习的高光谱图像伪装目标检测方法 | |
| CN112287941B (zh) | 一种基于自动字符区域感知的车牌识别方法 | |
| CN110929593A (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
| CN111401387B (zh) | 异常样本构建方法、装置、计算机设备和存储介质 | |
| CN109919053A (zh) | 一种基于监控视频的深度学习车辆停车检测方法 | |
| CN104657980A (zh) | 一种改进的基于Meanshift的多通道图像分割算法 | |
| CN107862702A (zh) | 一种结合边界连通性与局部对比性的显著性检测方法 | |
| CN113033385A (zh) | 一种基于深度学习的违章建筑遥感识别方法及系统 | |
| CN110633727A (zh) | 基于选择性搜索的深度神经网络舰船目标细粒度识别方法 | |
| CN111402185B (zh) | 一种图像检测方法及装置 | |
| Dornaika et al. | A comparative study of image segmentation algorithms and descriptors for building detection | |
| CN111476226A (zh) | 一种文本定位方法、装置及模型训练方法 | |
| CN113034454B (zh) | 一种基于人类视觉感官的水下图像质量评价方法 | |
| Wu et al. | Vehicle detection in high-resolution images using superpixel segmentation and CNN iteration strategy | |
| CN112417961B (zh) | 一种基于场景先验知识的海面目标检测方法 | |
| CN110334703B (zh) | 一种昼夜图像中的船舶检测和识别方法 | |
| CN115082781A (zh) | 一种舰船图像检测方法、装置以及存储介质 | |
| CN110599517A (zh) | 一种基于局部特征和全局hsv特征组合的目标特征描述方法 | |
| CN114140792B (zh) | 基于动态滑动窗口的微小目标检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200612 Assignee: Hubei Hongrui Membrane Technology Co.,Ltd. Assignor: CHINA University OF GEOSCIENCES (WUHAN CITY) Contract record no.: X2024980001471 Denomination of invention: A detection method for water surface pollutants based on drone visual saliency analysis Granted publication date: 20230407 License type: Common License Record date: 20240129 Application publication date: 20200612 Assignee: Wuhan Xingqi Technology Co.,Ltd. Assignor: CHINA University OF GEOSCIENCES (WUHAN CITY) Contract record no.: X2024980001469 Denomination of invention: A detection method for water surface pollutants based on drone visual saliency analysis Granted publication date: 20230407 License type: Common License Record date: 20240129 Application publication date: 20200612 Assignee: Wuhan Xintiande Energy Technology Co.,Ltd. Assignor: CHINA University OF GEOSCIENCES (WUHAN CITY) Contract record no.: X2024980001464 Denomination of invention: A detection method for water surface pollutants based on drone visual saliency analysis Granted publication date: 20230407 License type: Common License Record date: 20240129 Application publication date: 20200612 Assignee: Wuhan Shitu Technology Co.,Ltd. Assignor: CHINA University OF GEOSCIENCES (WUHAN CITY) Contract record no.: X2024980001462 Denomination of invention: A detection method for water surface pollutants based on drone visual saliency analysis Granted publication date: 20230407 License type: Common License Record date: 20240129 Application publication date: 20200612 Assignee: Wuhan Rongguo Biotechnology Co.,Ltd. Assignor: CHINA University OF GEOSCIENCES (WUHAN CITY) Contract record no.: X2024980001461 Denomination of invention: A detection method for water surface pollutants based on drone visual saliency analysis Granted publication date: 20230407 License type: Common License Record date: 20240129 |