CN112417931A - 一种基于视觉显著性的水面物体检测和分类的方法 - Google Patents
一种基于视觉显著性的水面物体检测和分类的方法 Download PDFInfo
- Publication number
- CN112417931A CN112417931A CN201910783704.3A CN201910783704A CN112417931A CN 112417931 A CN112417931 A CN 112417931A CN 201910783704 A CN201910783704 A CN 201910783704A CN 112417931 A CN112417931 A CN 112417931A
- Authority
- CN
- China
- Prior art keywords
- image
- calculating
- region
- water surface
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 71
- 230000000007 visual effect Effects 0.000 title claims abstract description 26
- 239000013598 vector Substances 0.000 claims abstract description 55
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 36
- 238000012706 support-vector machine Methods 0.000 claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 238000003066 decision tree Methods 0.000 claims abstract description 17
- 241000195493 Cryptophyta Species 0.000 claims abstract description 12
- 230000011218 segmentation Effects 0.000 claims abstract description 10
- 238000003709 image segmentation Methods 0.000 claims abstract description 7
- 230000009466 transformation Effects 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 10
- 238000007637 random forest analysis Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000002834 transmittance Methods 0.000 claims description 6
- 238000012634 optical imaging Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 230000001172 regenerating effect Effects 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003911 water pollution Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/182—Network patterns, e.g. roads or rivers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Abstract
本发明公开一种基于视觉显著性的水面物体检测和分类的方法，具体包括以下步骤：第一步，对输入图像进行去雾处理；第二步，通过纹理与河岸线的检测结果进行河道区域分割；第三步，利用基于图论的视觉显著性模型计算图像的显著图；第四步，根据边缘直方图描述符计算显著性区域的特征向量，并通过基于决策树的多分类支持向量机对特征进行识别；第五步，采用基于小波变换的图像分割算法分割水面物体；第六步，统计数据，输出结果。本发明可以快速、准确地对船，水藻和垃圾等水面物体进行定位、识别和分割，在河道治理辅助领域具有重要的应用价值。
Description
技术领域
本发明属于图像处理以及计算机视觉技术领域，具体是一种基于视觉显著性的水面物体检测和分类的方法，用于对水面物体进行准确的定位、识别和分割。
背景技术
近年来，我国全面推行的河长制是以保护水资源、防治水污染、改善水环境、修复水生态为主要任务，是落实绿色发展理念、推进生态文明建设的内在要求，是解决我国复杂水问题、维护河湖健康生命的有效举措，是完善水治理体系、保障国家水安全的制度创新。同时，随着对地观测技术的高速发展，无人机等航空影像可实现近地高精度目标获取，为河道水域上的目标物体检测和识别提供了丰富的数据源。对水面物体中船舶的检测和识别，可加强对河道的交通监控，满足河长制任务中加强河湖水域岸线管理保护和对河湖违法行为监管的工作需求，对于水面上藻类和垃圾的检测和识别，可辅助水生态环境的保护和改善，满足河长制主要任务中保护水资源、防治水污染、改善水环境、修复水生态的工作需求。
目前，现有的水面上物体检测和分类的方法大都采用面积计算以及高度和视角的比例关系来检测和识别障碍物，但不能在图像中分割出目标物体，也无法识别多个目标物体的具体种类。
公开号为CN106485200A的中国专利公开了一种环保无人机用的水面物体识别系统及其识别方法，其识别方法包括以下步骤：S1、控制无人机在高度hi悬停后控制摄像机拍摄视频Mi；控制无人机在高度hj悬停后控制摄像机拍摄视频Mj；S2、从视频Mi中抽取一帧图像并对此图像进行分析，获取此图像中疑似物体的边界Oi；从视频Mj中抽取一帧图像并对此图像进行分析，获取此图像中疑似物体的边界Oj；这种环保无人机用的水面物体识别方法采用面积计算方法，判别是否为疑似物体，采用高度和视角的比例关系，辨识是否为同一障碍物；但其不能在图像中分割出目标物体，也无法识别多个目标物体的具体种类，因此，亟需进一步改进。
发明内容
本发明的目的是针对现有技术存在的问题，提供一种基于视觉显著性的水面物体检测和分类的方法，用以快速、准确地对船，水藻和垃圾等水面物体进行定位、识别和分割；本发明结合现有的基于图论的视觉显著性模型(GBVS)，基于决策树的多分类支持向量机和基于小波变换的图像分割算法，提高对目标物体检测、识别和分割的速度和精度。
为实现上述目的，本发明采用的技术方案是：
一种基于视觉显著性的水面物体检测和分类的方法，包括以下步骤：
S1，获取水面原始图像，并对所述原始图像进行去雾的预处理；
S2，对预处理后的图像进行纹理分析和河岸线检测，并根据分析检测结果进行河道区域分割；
S3，利用基于图论的视觉显著性模型计算图像的显著图；
S4，根据边缘直方图描述符计算显著图中显著性区域的特征向量，并通过基于决策树的多分类支持向量机算法对特征进行识别；
S5，采用基于小波变换的图像分割算法分割水面物体；
S6，统计数据，输出结果。
具体地，步骤S1中，对所述原始图像进行去雾处理的方法需要采用大气中光学成像模型，所述光学成像模型为：
I(x)＝J(x)t(x)+A(1-t(x))
式中，I(x)为原始图像，J(x)为去雾后的图像，A为全局背景光，t(x)为大气透射率；对原始图像进行去雾处理的具体方法为：
将原始图像作为引导图像I，预估透射率图
式中，Ic、Ac分别是I、A的三个颜色通道R、G、B；Ω(x)是以像素点x为中心的局部区域块；取w＝0.92，Ac＝255；则去雾后的图像为：
式中，t0为大气透射率阈值，取t0＝0.10；
考虑到在暗色先验原理可能不成立的情况下，增加参数Q作为限差；当|I(x)-A|＜Q，说明背景光与物体本身颜色相差不大，将其认为是明亮区域；当|I(x)-A|＞Q，说明背景光与物体本身颜色相差比较大，认为此区域符合暗原色先验原理，最终的去雾图像为：
式中，Q的范围取50～100。
具体地，步骤S2中，进行河道区域分割的方法为：采用灰度共生矩阵分析法对去雾后的图像进行纹理分析，找出河道的大致位置；再利用结构化随机森林算法和霍夫直线拟合算法找到河岸线，并根据河岸线进行河道区域分割，具体方法为：
将去雾后图像的灰度级压缩为16级，计算灰度共生矩阵P，利用灰度共生矩阵P分别求出角二阶矩ASM、对比度con、相关性cor和熵Entropy四个主要特征值，具体公式如下：
式中，i，j分别为灰度共生矩阵P的行号和列号；
由得到的四个特征值计算出特征向量，并根据特征向量来判断图像的纹理复杂度，判断纹理复杂度的具体依据为：ASM的值越小、con的值越大、cor的值越小、Entropy的值越大的特征向量表示的纹理复杂度越高；反之，表示的纹理复杂度越低；纹理复杂度高的区域是地面，反之为河道，以此来确定河道区域的大致位置；
再将去雾后图像二值化，利用结构化随机森林算法对边缘进行检测，再通过霍夫直线拟合算法拟合出大致的河岸线，再根据河岸线的位置，将图像进行分割，得到河道图像。
具体地，步骤S3中，计算图像的显著图的方法为：
将河道图像进行1/2下采样，重复执行8次1/2下采样操作，得到9层高斯金字塔；
计算图像的亮度特征I，公式为：
I＝(r+g+b)/3
式中，r，g，b分别表示图像的三个颜色通道；
计算四个颜色特征：红R、绿G、蓝B、黄Y，公式如下：
R＝r-(g+b)/2
G＝g-(r+b)/2
B＝b-(r+g)/2
Y＝(r+g)/2-|r-g|/2-b
计算方向特征，使用Gabor滤波器对图像的亮度特征在0度，45度，90度和135度四个主要方向上进行滤波，得到该四个方向的特征；
计算特征图，根据计算得到的三个特征分别在高斯金字塔中的不同尺度之间做差，产生3组特征图集，共42张不同尺度的特征图；
再通过马尔可夫链方法生成与特征图对应的激活图，具体方法为：
对特征图M定义距离，公式如下：
式中，M(i,j)和M(p,q)分别代表节点(i,j)和(p,q)的特征，其中i，p表示矩阵M的行号，j，q表示矩阵M的列号；
将特征图M上每个像素点两两连接构成图G，定义边的权重，公式如下：
ω1((i,j),(p,q))≡d((i,j)||(p,q))·F(i-p,j-q)
式中，a，b是算法输入参数，σ是算法自由参数；
对从特征图M中任何节点出去的边权重进行归一化处理，并在有向图G上定义一个马尔可夫链：将节点和马尔可夫链中的状态做一个等价，边权重和转移概率做一个等价，再根据马尔可夫链平稳分布对节点进行计算获得显著值，从而得到特征图对应的激活图；
最后把激活图进行归一化合并为最终的显著图。
具体地，步骤S4中，根据边缘直方图描述符计算显著图中显著性区域的特征向量的方法为：先随机选择显著性区域中的6个关键点，然后通过边缘直方图描述符计算同一显著性区域中的6个关键点的特征向量，并用这6个特征向量的均值来表示对应显著性区域的特征，具体方法为：
根据显著图确定每个显著性区域的大致位置，再通过图像的大小利用随机数法生成坐标，对生成的坐标判断是否属于显著性区域，如果是则将该坐标与对应的显著性区域进行标识，如果不是，则重新生成坐标；再判断该区域是否已经取了6个关键点，如果否，则记录该坐标并将该区域所需坐标数减一，再判断是否所有区域都取了6个关键点，如果是则输出结果，如果否则需生成新的坐标；如果是，则判断是否所有区域都取了6个关键点，如果是则输出结果，如果否则需生成新的坐标进行判断；直到所有显著性区域都取得6个关键点为止；
再取一个关键点为中心生成一个16×16像素的区域图像，再将这个区域图像分成4×4＝16个子图，将每个子图标号为SI(0,0)，...，SI(3,3)，对于每个子图再分成4个图像块，分别用(0,0)，(0,1)，(1,0)和(1,1)表示四个图像块，再把每个图像块分成四个子块，并将其标号为0,1,2,3；
求一个图像块的边缘方向，具体方法为：
计算图像块中的4个子块的平均灰度值，分别表示为a0(x,y)，a1(x,y)，a2(x,y)，a3(x,y)，其中下标的数字表示子块标识数，右标(x,y)表示图像块标识数；
再将每个图像块的4个子块与5个边缘方向滤波器分别做卷积得到每个图像块在5个方向的边缘值，分别表示为mv(x,y)，mh(x,y)，md-45(x,y)，md-135(x,y)和mnd(x,y)，并取其中的最大值对应的边缘方向作为该图像块的边缘方向；计算图像块在5个方向的边缘值的公式为：
式中，fv(k)表示在垂直方向滤波器的值，fh(k)表示水平方向滤波器的值，fd-45(k)表示45度方向滤波器的值，fd-135(k)表示135度方向滤波器的值，fnd(k)表示非方向滤波器的值，其中k表示子块的标号；
计算一个子图的边缘直方图，具体方法为：
把一个子图中的所有图像块的边缘方向都计算出来，然后按照五个边缘方向对该子图中所有的图像块进行统计，得出每个边缘方向的个数，继而生成该子图的边缘直方图；
计算一个关键点的特征向量，具体方法为：
把该图像的16个子图的边缘直方图全部生成完，这样就可以得到16×5＝80维的特征向量，并用它表示该关键点的特征向量；
计算一个显著性区域的特征向量，具体方法为：
求出6个关键点的特征向量，再求这6个特征向量的均值，并用计算得到的均值来表示该显著性区域的特征；直到把显著图中所有显著性区域的特征都计算完为止。
进一步地，随机选择显著性区域中的6个关键点的方法包括：
根据显著图确定各个显著性区域的位置坐标并为每个区域进行标识，然后在整个图像坐标范围内利用随机数法生成随机坐标，判断是否属于显著性区域，如果是则保留该坐标，否则不保留，然后判断该坐标具体属于哪一个区域，并为该坐标与其对应的区域进行标识，如果某一区域已经随机选择了6个关键点而又有一个新的点属于该区域，则不保留新的点，直到每个区域都找到6个关键点为止。
进一步地，步骤S4中，基于决策树的多分类支持向量机算法对特征进行识别的方法为：按照船、水藻和垃圾的顺序进行识别，构建的第一个支持向量机SVM1是识别船的特征，构建的第二个支持向量机SVM2是识别水藻和垃圾的特征，具体步骤为：
训练SVM，具体方法为：
输入一张训练图像，通过人工标记训练图像中水面物体区域的位置，使用边缘直方图描述符计算输入图像的特征向量，基于决策树的多分类支持向量机是一个多分类器，依次对船，水藻和垃圾区域内的特征向量取均值作为正样本进行训练，背景区域内特征向量的均值作为负样本进行训练；
识别特征，具体方法为：
利用训练好的基于决策树的多分类支持向量机对特征进行判决，判断是否能够描述某一水面目标物体，如果是，则保存识别结果；如果不是，则继续识别特征，直到把所有特征都识别完为止。
具体地，步骤S6中，统计数据包括：统计同一种类的水面物体的数量以及根据显著图得到水面物体的位置信息；输出结果包括：水面物体的分割图像、识别结果、位置信息级数量信息。
与现有技术相比，本发明的有益效果是：(1)本发明通过对原始图像进行去雾预处理，可以减少雾天拍摄的河道图像中有雾背景的影响，提高了水面物体检测，识别和分割的准确性；(2)本发明通过使用灰度共生矩阵法进行纹理分析，判断出河道的大致位置，并通过结构化随机森林和霍夫直线拟合得到河岸线，并根据河岸线对图像进行分割，排除了地面及地面上物体对于水面物体定位，识别和分割的干扰，加快了处理速度，提高了水面物体识别和分割的准确率；(3)本发明通过基于图论的视觉显著性模型GBVS计算图像的显著图，处理速度快，对显著性区域计算准确，根据显著性区域能够对水面物体进行较为准确的定位，并提高了对水面物体分割的准确性；(4)本发明通过边缘直方图描述符计算显著性区域的特征向量，采用基于决策树的多分类支持向量机对特征进行识别，能够有效精确地对水面物体进行识别，利用基于小波变换的图像分割算法，能够准确的分割出各个水面物体，并根据统计能够得到不同水面物体的数量信息。
附图说明
图1为本发明一种基于视觉显著性的水面物体检测和分类方法的流程示意框图；
图2为本发明中基于决策树的多分类支持向量机示意图；
图3为本发明中5个边缘方向滤波器的示意图；
图4为本发明中为每一个显著性区域分别随机选择6个关键点的流程示意图。
具体实施方式
下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。
本实施例提供了一种基于视觉显著性的水面物体检测和分类的方法，引入了暗原色先验去雾算法、灰度共生矩阵分析算法、结构化随机森林算法、霍夫直线拟合算法、基于图论的视觉显著性模型GBVS算法、基于决策树的多分类支持向量机识别算法和基于小波变换的图像分割算法。一方面，能够有效排除雾天背景、地面和地面上物体的干扰，另一方面，能够对目标物体进行定位、特征提取、特征识别和分割。该方法检测速度快，识别准确率高，水面物体分割较为精确，且能够统计不同种类的水面物体的数量。
如图1所示，本实施例一种基于视觉显著性的水面物体检测和分类的方法，具体包括以下步骤：
S1，获取水面原始图像，并对所述原始图像进行去雾的预处理；
大气中光学成像模型为：
I(x)＝J(x)t(x)+A(1-t(x))
式中，I(x)为原始图像，J(x)为去雾后的图像，A为全局背景光，t(x)为大气透射率；结合暗原色先验去雾方法对原始图像进行去雾处理的具体方法为：
将原始图像作为引导图像I，预估透射率图
式中，Ic、Ac分别是I、A的三个颜色通道R、G、B；Ω(x)是以像素点x为中心的局部区域块；
在本发明优选地实施例中，取w＝0.92，Ac＝255；则去雾后的图像为：
式中，t0为大气透射率阈值，在本发明优选地实施例中，取t0＝0.10；
考虑到在暗色先验原理可能不成立的情况下，增加参数Q作为限差；当|I(x)-A|＜Q，说明背景光与物体本身颜色相差不大，将其认为是明亮区域；当|I(x)-A|＞Q，说明背景光与物体本身颜色相差比较大，认为此区域符合暗原色先验原理，最终的去雾图像为：
式中，Q的范围取50～100，在本发明优选地实施例中，Q取70。
S2，对预处理后的图像进行纹理分析和河岸线检测，并根据分析检测结果进行河道区域分割；具体方法为：
将去雾后图像的灰度级压缩为16级，计算灰度共生矩阵P，利用灰度共生矩阵P分别求出角二阶矩(即能量)ASM、对比度con、相关性cor和熵Entropy四个主要特征值，具体公式如下：
式中，i，j分别为灰度共生矩阵P的行号和列号；
由得到的四个特征值计算出特征向量，并根据特征向量来判断图像的纹理复杂度，判断纹理复杂度的具体依据为：ASM的值越小、con的值越大、cor的值越小、Entropy的值越大的特征向量表示的纹理复杂度越高；反之，表示的纹理复杂度越低；其中ASM和con对纹理复杂度的判别影响较大。纹理复杂度高的区域是地面，反之为河道，以此来确定河道区域的大致位置；
在本发明优选地实施例中，ASM的阈值取0.3652，con的阈值取0.1873，cor的阈值取2.1246，Entropy的阈值取1.5482；通过比较特征向量中四个特征值与阈值之间的大小关系，来判断特征向量所表示纹理的复杂程度。
再将去雾后图像二值化，利用结构化随机森林算法对边缘进行检测，再通过霍夫直线拟合算法拟合出大致的河岸线，在本发明优选地实施例中河岸线几乎为直线；再根据河岸线的位置，将图像进行分割，得到河道图像。
S3，利用基于图论的视觉显著性模型计算图像的显著图，通过ITTI算法，提取步骤S2中河道图像中的特征(亮度特征，颜色特征和方向特征)，在多种尺度下使用中央周边操作生成体现显著性度量的特征图(feature maps)，具体方法如下：
将河道图像进行1/2下采样，重复执行8次1/2下采样操作，得到9层高斯金字塔(图像尺度从0层的1:1到8层的1:256)；
计算图像的亮度特征I，公式为：
I＝(r+g+b)/3
式中，r，g，b分别表示图像的三个颜色通道；
计算四个颜色特征：红R、绿G、蓝B、黄Y，公式如下：
R＝r-(g+b)/2
G＝g-(r+b)/2
B＝b-(r+g)/2
Y＝(r+g)/2-|r-g|/2-b
计算方向特征，使用Gabor滤波器对图像的亮度特征在0度，45度，90度和135度四个主要方向上进行滤波，得到该四个方向的特征；
计算特征图，根据计算得到的三个特征分别在高斯金字塔中的不同尺度之间做差，产生3组特征图集，共42张不同尺度的特征图；
再通过马尔可夫链方法生成与特征图(feature maps)对应的激活图(activationmaps)，具体方法为：
对特征图M定义距离，公式如下：
式中，M(i,j)和M(p,q)分别代表节点(i,j)和(p,q)的特征，其中i，p表示矩阵M的行号，j，q表示矩阵M的列号；
将特征图M上每个像素点两两连接构成图G，定义边的权重，公式如下：
ω1((i,j),(p,q))≡d((i,j)||(p,q))·F(i-p,j-q)
式中，a，b是算法输入参数，σ是算法自由参数；
对从特征图M中任何节点出去的边权重进行归一化处理，并在有向图G上定义一个马尔可夫链：将节点和马尔可夫链中的状态做一个等价，边权重和转移概率做一个等价，再根据马尔可夫链平稳分布对节点进行计算获得显著值，从而得到特征图对应的激活图；
最后把激活图进行归一化合并为最终的显著图。
S4，根据边缘直方图描述符计算显著图中显著性区域的特征向量，并通过基于决策树的多分类支持向量机算法对特征进行识别；具体包括以下步骤：
S41，根据边缘直方图描述符计算显著性区域特征向量，如图4所示，先随机选择显著性区域中的6个关键点，然后通过边缘直方图描述符计算同一显著性区域中的6个关键点的特征向量，并用这6个特征向量的均值来表示对应显著性区域的特征，具体方法为：
根据显著图确定每个显著性区域的大致位置，再通过图像的大小利用随机数法生成坐标，对生成的坐标判断是否属于显著性区域，如果是则将该坐标与对应的显著性区域进行标识，如果不是，则重新生成坐标；再判断该区域是否已经取了6个关键点，如果否，则记录该坐标并将该区域所需坐标数减一，再判断是否所有区域都取了6个关键点，如果是则输出结果，如果否则需生成新的坐标；如果是，则判断是否所有区域都取了6个关键点，如果是则输出结果，如果否则需生成新的坐标进行判断；直到所有显著性区域都取得6个关键点为止；
进一步地，随机选择显著性区域中的6个关键点的方法包括：
根据显著图确定各个显著性区域的位置坐标并为每个区域进行标识，然后在整个图像坐标范围内利用随机数法生成随机坐标，判断是否属于显著性区域，如果是则保留该坐标，否则不保留，然后判断该坐标具体属于哪一个区域，并为该坐标与其对应的区域进行标识，如果某一区域已经随机选择了6个关键点而又有一个新的点属于该区域，则不保留新的点，直到每个区域都找到6个关键点为止。
再取一个关键点为中心生成一个16×16像素的区域图像，再将这个区域图像分成4×4＝16个子图，将每个子图标号为SI(0,0)，...，SI(3,3)，对于每个子图再分成4个图像块，分别用(0,0)，(0,1)，(1,0)和(1,1)表示四个图像块，再把每个图像块分成四个子块，并将其标号为0,1,2,3；
求一个图像块的边缘方向，具体方法为：
计算图像块中的4个子块的平均灰度值，分别表示为a0(x,y)，a1(x,y)，a2(x,y)，a3(x,y)，其中下标的数字表示子块标识数，右标(x,y)表示图像块标识数；
再将每个图像块的4个子块与如图3所示的5个边缘方向(垂直、水平、45°、135°和非方向)滤波器分别做卷积得到每个图像块在5个方向的边缘值，分别表示为mv(x,y)，mh(x,y)，md-45(x,y)，md-135(x,y)和mnd(x,y)，并取其中的最大值对应的边缘方向作为该图像块的边缘方向；计算图像块在5个方向的边缘值的公式为：
式中，fv(k)表示在垂直方向滤波器的值，fh(k)表示水平方向滤波器的值，fd-45(k)表示45度方向滤波器的值，fd-135(k)表示135度方向滤波器的值，fnd(k)表示非方向滤波器的值，其中k表示子块的标号；
计算一个子图的边缘直方图，具体方法为：
把一个子图中的所有图像块的边缘方向都计算出来，然后按照五个边缘方向对该子图中所有的图像块进行统计，得出每个边缘方向的个数，继而生成该子图的边缘直方图；
计算一个关键点的特征向量，具体方法为：
把该图像的16个子图的边缘直方图全部生成完，这样就可以得到16×5＝80维的特征向量，并用它表示该关键点的特征向量；
计算一个显著性区域的特征向量，具体方法为：
求出6个关键点的特征向量，再求这6个特征向量的均值，并用计算得到的均值来表示该显著性区域的特征；直到把显著图中所有显著性区域的特征都计算完为止。
S42，基于决策树的多分类支持向量机算法对特征进行识别，按照船、水藻和垃圾的顺序进行识别，构建的第一个支持向量机SVM1是识别船的特征，构建的第二个支持向量机SVM2是识别水藻和垃圾的特征，其中决策规则是样本之间的欧氏距离，具体方法为：
训练SVM，输入一张训练图像，通过人工标记训练图像中水面物体区域的位置，使用边缘直方图描述符计算输入图像的特征向量，如图2所示，基于决策树的多分类支持向量机是一个多分类器，依次对船，水藻和垃圾区域内的特征向量取均值作为正样本进行训练，背景区域内特征向量的均值作为负样本进行训练；
识别特征，利用训练好的基于决策树的多分类支持向量机对特征进行判决，判断是否能够描述某一水面目标物体，如果是，则保存识别结果；如果不是，则继续识别特征，直到把所有特征都识别完为止。
S5，根据步骤S4中随机选择的显著性区域中的关键点，采用基于小波变换的图像分割算法，把各个水面物体分割出来。
S6，统计数据，输出结果。
统计数据包括：统计同一种类的水面物体的数量以及根据显著图得到水面物体的位置信息；输出结果包括：水面物体的分割图像、识别结果、位置信息级数量信息。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (8)
1.一种基于视觉显著性的水面物体检测和分类的方法，其特征在于，包括以下步骤：
S1，获取水面原始图像，并对所述原始图像进行去雾的预处理；
S2，对预处理后的图像进行纹理分析和河岸线检测，并根据分析检测结果进行河道区域分割；
S3，利用基于图论的视觉显著性模型计算图像的显著图；
S4，根据边缘直方图描述符计算显著图中显著性区域的特征向量，并通过基于决策树的多分类支持向量机算法对特征进行识别；
S5，采用基于小波变换的图像分割算法分割水面物体；
S6，统计数据，输出结果。
2.根据权利要求1所述的一种基于视觉显著性的水面物体检测和分类的方法，其特征在于，步骤S1中，对所述原始图像进行去雾处理的方法需要采用大气中光学成像模型，所述光学成像模型为：
I(x)＝J(x)t(x)+A(1-t(x))
式中，I(x)为原始图像，J(x)为去雾后的图像，A为全局背景光，t(x)为大气透射率；对原始图像进行去雾处理的具体方法为：
将原始图像作为引导图像I，预估透射率图
式中，Ic、Ac分别是I、A的三个颜色通道R、G、B；Ω(x)是以像素点x为中心的局部区域块；取w＝0.92，Ac＝255；则去雾后的图像为：
式中，t0为大气透射率阈值，取t0＝0.10；
考虑到在暗色先验原理可能不成立的情况下，增加参数Q作为限差；当|I(x)-A|＜Q，说明背景光与物体本身颜色相差不大，将其认为是明亮区域；当|I(x)-A|＞Q，说明背景光与物体本身颜色相差比较大，认为此区域符合暗原色先验原理，最终的去雾图像为：
式中，Q的范围取50～100。
3.根据权利要求1所述的一种基于视觉显著性的水面物体检测和分类的方法，其特征在于，步骤S2中，进行河道区域分割的方法为：采用灰度共生矩阵分析法对去雾后的图像进行纹理分析，找出河道的大致位置；再利用结构化随机森林算法和霍夫直线拟合算法找到河岸线，并根据河岸线进行河道区域分割，具体方法为：
将去雾后图像的灰度级压缩为16级，计算灰度共生矩阵P，利用灰度共生矩阵P分别求出角二阶矩ASM、对比度con、相关性cor和熵Entropy四个主要特征值，具体公式如下：
式中，i，j分别为灰度共生矩阵P的行号和列号；
由得到的四个特征值计算出特征向量，并根据特征向量来判断图像的纹理复杂度，判断纹理复杂度的具体依据为：ASM的值越小、con的值越大、cor的值越小、Entropy的值越大的特征向量表示的纹理复杂度越高；反之，表示的纹理复杂度越低；纹理复杂度高的区域是地面，反之为河道，以此来确定河道区域的大致位置；
再将去雾后图像二值化，利用结构化随机森林算法对边缘进行检测，再通过霍夫直线拟合算法拟合出大致的河岸线，再根据河岸线的位置，将图像进行分割，得到河道图像。
4.根据权利要求1所述的一种基于视觉显著性的水面物体检测和分类的方法，其特征在于，步骤S3中，计算图像的显著图的方法为：
将河道图像进行1/2下采样，重复执行8次1/2下采样操作，得到9层高斯金字塔；
计算图像的亮度特征I，公式为：
I＝(r+g+b)/3
式中，r，g，b分别表示图像的三个颜色通道；
计算四个颜色特征：红R、绿G、蓝B、黄Y，公式如下：
R＝r-(g+b)/2
G＝g-(r+b)/2
B＝b-(r+g)/2
Y＝(r+g)/2-|r-g|/2-b
计算方向特征，使用Gabor滤波器对图像的亮度特征在0度，45度，90度和135度四个主要方向上进行滤波，得到该四个方向的特征；
计算特征图，根据计算得到的三个特征分别在高斯金字塔中的不同尺度之间做差，产生3组特征图集，共42张不同尺度的特征图；
再通过马尔可夫链方法生成与特征图对应的激活图，具体方法为：
对特征图M定义距离，公式如下：
式中，M(i,j)和M(p,q)分别代表节点(i,j)和(p,q)的特征，其中i，p表示矩阵M的行号，j，q表示矩阵M的列号；
将特征图M上每个像素点两两连接构成图G，定义边的权重，公式如下：
ω1((i,j),(p,q))≡d((i,j)||(p,q))·F(i-p,j-q)
式中，a，b是算法输入参数，σ是算法自由参数；
对从特征图M中任何节点出去的边权重进行归一化处理，并在有向图G上定义一个马尔可夫链：将节点和马尔可夫链中的状态做一个等价，边权重和转移概率做一个等价，再根据马尔可夫链平稳分布对节点进行计算获得显著值，从而得到特征图对应的激活图；
最后把激活图进行归一化合并为最终的显著图。
5.根据权利要求1所述的一种基于视觉显著性的水面物体检测和分类的方法，其特征在于，步骤S4中，根据边缘直方图描述符计算显著图中显著性区域的特征向量的方法为：先随机选择显著性区域中的6个关键点，然后通过边缘直方图描述符计算同一显著性区域中的6个关键点的特征向量，并用这6个特征向量的均值来表示对应显著性区域的特征，具体方法为：
根据显著图确定每个显著性区域的大致位置，再通过图像的大小利用随机数法生成坐标，对生成的坐标判断是否属于显著性区域，如果是则将该坐标与对应的显著性区域进行标识，如果不是，则重新生成坐标；再判断该区域是否已经取了6个关键点，如果否，则记录该坐标并将该区域所需坐标数减一，再判断是否所有区域都取了6个关键点，如果是则输出结果，如果否则需生成新的坐标；如果是，则判断是否所有区域都取了6个关键点，如果是则输出结果，如果否则需生成新的坐标进行判断；直到所有显著性区域都取得6个关键点为止；
再取一个关键点为中心生成一个16×16像素的区域图像，再将这个区域图像分成4×4＝16个子图，将每个子图标号为SI(0,0)，...，SI(3,3)，对于每个子图再分成4个图像块，分别用(0,0)，(0,1)，(1,0)和(1,1)表示四个图像块，再把每个图像块分成四个子块，并将其标号为0,1,2,3；
求一个图像块的边缘方向，具体方法为：
计算图像块中的4个子块的平均灰度值，分别表示为a0(x,y)，a1(x,y)，a2(x,y)，a3(x,y)，其中下标的数字表示子块标识数，右标(x,y)表示图像块标识数；
再将每个图像块的4个子块与5个边缘方向滤波器分别做卷积得到每个图像块在5个方向的边缘值，分别表示为mv(x,y)，mh(x,y)，md-45(x,y)，md-135(x,y)和mnd(x,y)，并取其中的最大值对应的边缘方向作为该图像块的边缘方向；计算图像块在5个方向的边缘值的公式为：
式中，fv(k)表示在垂直方向滤波器的值，fh(k)表示水平方向滤波器的值，fd-45(k)表示45度方向滤波器的值，fd-135(k)表示135度方向滤波器的值，fnd(k)表示非方向滤波器的值，其中k表示子块的标号；
计算一个子图的边缘直方图，具体方法为：
把一个子图中的所有图像块的边缘方向都计算出来，然后按照五个边缘方向对该子图中所有的图像块进行统计，得出每个边缘方向的个数，继而生成该子图的边缘直方图；
计算一个关键点的特征向量，具体方法为：
把该图像的16个子图的边缘直方图全部生成完，这样就可以得到16×5＝80维的特征向量，并用它表示该关键点的特征向量；
计算一个显著性区域的特征向量，具体方法为：
求出6个关键点的特征向量，再求这6个特征向量的均值，并用计算得到的均值来表示该显著性区域的特征；直到把显著图中所有显著性区域的特征都计算完为止。
6.根据权利要求5所述的一种基于视觉显著性的水面物体检测和分类的方法，其特征在于，随机选择显著性区域中的6个关键点的方法包括：
根据显著图确定各个显著性区域的位置坐标并为每个区域进行标识，然后在整个图像坐标范围内利用随机数法生成随机坐标，判断是否属于显著性区域，如果是则保留该坐标，否则不保留，然后判断该坐标具体属于哪一个区域，并为该坐标与其对应的区域进行标识，如果某一区域已经随机选择了6个关键点而又有一个新的点属于该区域，则不保留新的点，直到每个区域都找到6个关键点为止。
7.根据权利要求1所述的一种基于视觉显著性的水面物体检测和分类的方法，其特征在于，步骤S4中，基于决策树的多分类支持向量机算法对特征进行识别的方法为：按照船、水藻和垃圾的顺序进行识别，构建的第一个支持向量机SVM1是识别船的特征，构建的第二个支持向量机SVM2是识别水藻和垃圾的特征，具体步骤为：
训练SVM，具体方法为：
输入一张训练图像，通过人工标记训练图像中水面物体区域的位置，使用边缘直方图描述符计算输入图像的特征向量，基于决策树的多分类支持向量机是一个多分类器，依次对船，水藻和垃圾区域内的特征向量取均值作为正样本进行训练，背景区域内特征向量的均值作为负样本进行训练；
识别特征，具体方法为：
利用训练好的基于决策树的多分类支持向量机对特征进行判决，判断是否能够描述某一水面目标物体，如果是，则保存识别结果；如果不是，则继续识别特征，直到把所有特征都识别完为止。
8.根据权利要求1所述的一种基于视觉显著性的水面物体检测和分类的方法，其特征在于，步骤S6中，统计数据包括：统计同一种类的水面物体的数量以及根据显著图得到水面物体的位置信息；输出结果包括：水面物体的分割图像、识别结果、位置信息级数量信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910783704.3A CN112417931B (zh) | 2019-08-23 | 2019-08-23 | 一种基于视觉显著性的水面物体检测和分类的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910783704.3A CN112417931B (zh) | 2019-08-23 | 2019-08-23 | 一种基于视觉显著性的水面物体检测和分类的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112417931A true CN112417931A (zh) | 2021-02-26 |
| CN112417931B CN112417931B (zh) | 2024-01-26 |
Family
ID=74779922
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910783704.3A Active CN112417931B (zh) | 2019-08-23 | 2019-08-23 | 一种基于视觉显著性的水面物体检测和分类的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112417931B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113744365A (zh) * | 2021-07-19 | 2021-12-03 | 稿定（厦门）科技有限公司 | 基于显著性感知的文案智能布局方法、系统、储存介质 |
| CN115147733A (zh) * | 2022-09-05 | 2022-10-04 | 山东东盛澜渔业有限公司 | 一种基于人工智能的海洋垃圾识别回收方法 |
| CN115457276A (zh) * | 2022-09-20 | 2022-12-09 | 哈尔滨理工大学 | 基于视觉检测的输配电变压器高压绕组缠绕角度检测方法 |
| CN117197127A (zh) * | 2023-11-02 | 2023-12-08 | 广东乾威精密连接器有限公司 | 一种基于机器视觉的汽车端子检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103810707A (zh) * | 2014-01-28 | 2014-05-21 | 华东理工大学 | 一种基于移动视觉焦点的图像视觉显著性检测方法 |
| US20150104064A1 (en) * | 2012-05-15 | 2015-04-16 | Dvp Technologies Ltd. | Method and system for detection of foreign objects in maritime environments |
| CN105022990A (zh) * | 2015-06-29 | 2015-11-04 | 华中科技大学 | 一种基于无人艇应用的水面目标快速检测方法 |
| CN109214420A (zh) * | 2018-07-27 | 2019-01-15 | 北京工商大学 | 基于视觉显著性检测的高纹理图像分类方法及系统 |
| WO2019104767A1 (zh) * | 2017-11-28 | 2019-06-06 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
-
2019
- 2019-08-23 CN CN201910783704.3A patent/CN112417931B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150104064A1 (en) * | 2012-05-15 | 2015-04-16 | Dvp Technologies Ltd. | Method and system for detection of foreign objects in maritime environments |
| CN103810707A (zh) * | 2014-01-28 | 2014-05-21 | 华东理工大学 | 一种基于移动视觉焦点的图像视觉显著性检测方法 |
| CN105022990A (zh) * | 2015-06-29 | 2015-11-04 | 华中科技大学 | 一种基于无人艇应用的水面目标快速检测方法 |
| WO2019104767A1 (zh) * | 2017-11-28 | 2019-06-06 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
| CN109214420A (zh) * | 2018-07-27 | 2019-01-15 | 北京工商大学 | 基于视觉显著性检测的高纹理图像分类方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 胡春海;万欣;李勇骁;刘斌;赵兴;: "视觉显著性驱动的运动鱼体视频分割算法", 燕山大学学报, no. 01 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113744365A (zh) * | 2021-07-19 | 2021-12-03 | 稿定（厦门）科技有限公司 | 基于显著性感知的文案智能布局方法、系统、储存介质 |
| CN113744365B (zh) * | 2021-07-19 | 2024-04-26 | 稿定（厦门）科技有限公司 | 基于显著性感知的文案智能布局方法、系统、储存介质 |
| CN115147733A (zh) * | 2022-09-05 | 2022-10-04 | 山东东盛澜渔业有限公司 | 一种基于人工智能的海洋垃圾识别回收方法 |
| CN115147733B (zh) * | 2022-09-05 | 2022-11-25 | 山东东盛澜渔业有限公司 | 一种基于人工智能的海洋垃圾识别回收方法 |
| CN115457276A (zh) * | 2022-09-20 | 2022-12-09 | 哈尔滨理工大学 | 基于视觉检测的输配电变压器高压绕组缠绕角度检测方法 |
| CN115457276B (zh) * | 2022-09-20 | 2023-05-30 | 哈尔滨理工大学 | 基于视觉检测的输配电变压器高压绕组缠绕角度检测方法 |
| CN117197127A (zh) * | 2023-11-02 | 2023-12-08 | 广东乾威精密连接器有限公司 | 一种基于机器视觉的汽车端子检测方法 |
| CN117197127B (zh) * | 2023-11-02 | 2024-02-20 | 广东乾威精密连接器有限公司 | 一种基于机器视觉的汽车端子检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112417931B (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112417931B (zh) | 一种基于视觉显著性的水面物体检测和分类的方法 | |
| CN108446700B (zh) | 一种基于对抗攻击的车牌攻击生成方法 | |
| CN108121991B (zh) | 一种基于边缘候选区域提取的深度学习舰船目标检测方法 | |
| CN109740460B (zh) | 基于深度残差密集网络的光学遥感图像舰船检测方法 | |
| CN103049763B (zh) | 一种基于上下文约束的目标识别方法 | |
| CN108334881B (zh) | 一种基于深度学习的车牌识别方法 | |
| CN106022232A (zh) | 基于深度学习的车牌检测方法 | |
| CN106909941A (zh) | 基于机器视觉的多表字符识别系统及方法 | |
| CN107066933A (zh) | 一种道路标牌识别方法及系统 | |
| CN104809481A (zh) | 一种基于自适应色彩聚类的自然场景文本检测的方法 | |
| CN106650731A (zh) | 一种鲁棒的车牌、车标识别方法 | |
| CN111754519B (zh) | 一种基于类激活映射的对抗防御方法 | |
| CN110659550A (zh) | 交通标志牌识别方法、装置、计算机设备和存储介质 | |
| CN110008900B (zh) | 一种由区域到目标的可见光遥感图像候选目标提取方法 | |
| CN111898621A (zh) | 一种轮廓形状识别方法 | |
| CN107704865A (zh) | 基于结构森林边缘候选区域提取的舰船目标检测算法 | |
| CN108021890A (zh) | 一种基于plsa和bow的高分遥感影像港口检测方法 | |
| Rabee et al. | License plate detection and recognition in complex scenes using mathematical morphology and support vector machines | |
| Zhang et al. | Automatic detection of road traffic signs from natural scene images based on pixel vector and central projected shape feature | |
| Zhang et al. | A robust chinese license plate detection and recognition systemin natural scenes | |
| CN113033363A (zh) | 一种基于深度学习的车辆稠密目标检测方法 | |
| CN109829511B (zh) | 基于纹理分类的下视红外图像中云层区域检测方法 | |
| CN115909072A (zh) | 一种基于改进YOLOv4算法的弹着点水柱检测方法 | |
| Joshi et al. | Automatic rooftop detection using a two-stage classification | |
| Chen et al. | Context-aware lane marking detection on urban roads |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |