CN111950549B - 一种基于海天线与视觉显著性融合的海面障碍物检测方法 - Google Patents

一种基于海天线与视觉显著性融合的海面障碍物检测方法 Download PDF

Info

Publication number
CN111950549B
CN111950549B CN202010809048.2A CN202010809048A CN111950549B CN 111950549 B CN111950549 B CN 111950549B CN 202010809048 A CN202010809048 A CN 202010809048A CN 111950549 B CN111950549 B CN 111950549B
Authority
CN
China
Prior art keywords
image
sea
saliency
pixel
seawater
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010809048.2A
Other languages
English (en)
Other versions
CN111950549A (zh
Inventor
张铁荟
李恒宇
杨万辉
谢少荣
罗均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202010809048.2A priority Critical patent/CN111950549B/zh
Publication of CN111950549A publication Critical patent/CN111950549A/zh
Application granted granted Critical
Publication of CN111950549B publication Critical patent/CN111950549B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明属于计算机视觉技术领域，具体公开了一种基于海天线与视觉显著性融合的海面障碍物检测方法。该方法具体步骤如下：（1）检测图像中海天线位置，根据海天线位置提取图像中的海水区域图像；（2）计算海水区域图像的空间显著性；（3）计算海水区域图像的时域显著性；（4）将海水区域图像的空间显著性和时域显著性进行融合，得到海水区域图像的视觉显著性图；（5）采用固定阈值分割方法对视觉显著性图进行分割，提取视觉显著性图中的障碍物目标。本发明的检测方法能够消除复杂背景信息的干扰，极大提高障碍物目标检测的精确度，有利于检测出复杂背景下的海面目标，而且对海面图像中的静态和动态障碍物目标具有较高的敏感性和准确性。

Description

一种基于海天线与视觉显著性融合的海面障碍物检测方法
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种基于海天线与视觉显著性融合的海面障碍物检测方法。
背景技术
近年来无人艇在民用和军用领域获得越来越广泛的应用，如海洋环境监控，海洋测绘、海上搜救、海洋巡逻、无人水面作战等等。其中，海面障碍物检测是无人艇各项海面工作中的基础任务，也是一个重点和难点问题。由于海上气候多变，雾霾频发，且风力引起的船体摇晃等问题为海上障碍物检测带来了一定的难度。同时，近岸区域环境大都复杂多变，大量的干扰信息更是影响了视觉障碍物检测的精度。因此，一种鲁棒的海面障碍物的检测方法有助于无人艇加强对周围环境的感知和避免海上碰撞事故的发生。
视觉显著性指通过智能算法模拟人的视觉特点，提取图像中的感兴趣区域。常用的视觉显著性检测方法原理包含自底向上的数据驱动的注意机制和自上而下的基于任务驱动的目标注意机制。自底向上的数据驱动注意机制通过图像的梯度、对比度、颜色、亮度等信息判断图像中目标区域与周围区域的差异性，进而得到与周围环境明显不同的显著性区域。该类方法通过利用图像空间信息寻找显著性区域，是基于空间的显著性检测方法。自上而下的显著性检测方法基于高级特征的先验信息，对图像的特定特征来计算图像区域的显著性，如监控任务中移动目标会引起注意，该类方法一般需要基于前帧先验信息，是基于时域的显著性检测方法。因此，空间显著性对图像中突出区域具有更高的敏感性而时域显著性对于场景中的移动目标具有更高的敏感性。
发明内容
本发明的目的旨在提供一种基于海天线与视觉显著性融合的海面障碍物检测方法。
为实现发明目的，本发明采用的技术方案如下：
一种基于海天线与视觉显著性融合的海面障碍物检测方法，包括以下步骤：
(1)检测图像中海天线位置，根据海天线位置提取图像中的海水区域图像；
(2)计算海水区域图像的空间显著性；
(3)计算海水区域图像的时域显著性；
(4)将海水区域图像的空间显著性和时域显著性进行融合，得到海水区域图像的视觉显著性图；
(5)采用固定阈值分割方法对视觉显著性图进行分割，提取视觉显著性图中的障碍物目标。
根据上述的基于海天线与视觉显著性融合的海面障碍物检测方法，优选地，步骤(2)中所述空间显著性的计算方法为：
计算海水区域图像中任一像素Ik与海水区域图像全局像素在Lab颜色空间的空间颜色显著性值Sals1(Ik)；计算海水区域图像中任一像素Ik与海水区域图像全局像素在图像空间的空间距离显著性值Sals2(Ik)；将空间颜色显著性值Sals1(Ik)和空间距离显著性值Sals2(Ik)进行线性加权融合，得到海水区域图像的空间显著性Sals(Ik)。
根据上述的基于海天线与视觉显著性融合的海面障碍物检测方法，优选地，所述空间显著性Sals(Ik)的计算方法具体步骤为：
(2a)计算海水区域图像中任一像素Ik与海水区域图像全局像素在Lab颜色空间的空间颜色显著性值Sals1(Ik)，Sals1(Ik)的计算公式如式(I)所示；
Figure BDA0002630251920000021
其中，Ii表示海水区域图像中除Ik之外的任意一个像素，I代表海水区域图像中所有像素的集合，D(Ik,Ii)为像素Ik和像素Ii在Lab颜色空间的欧式空间距离；
由于具有相同颜色通道值的像素的空间颜色显著性值相同，因此，根据式(I)可以得到如式(II)所示的变形公式；
Figure BDA0002630251920000022
其中，cl为像素Ik的颜色通道值，n为图像中不同像素颜色的总数；cj为像素Ii的颜色通道值，fj为海水区域图像中颜色通道值cj出现的频率；
(2b)计算海水区域图像中任一像素Ik与海水区域图像全局像素在图像空间的空间距离显著性值Sals2(Ik)，Sals1(Ik)的计算公式如式(III)所示；
Figure BDA0002630251920000031
其中，S(Ik,Ii)为像素Ik和像素Ii在图像空间的欧式空间距离；
(2c)将空间颜色显著性值Sals1(Ik)和空间距离显著性值Sals2(Ik)进行线性加权融合，得到海水区域图像的空间显著性Sals(Ik)，Sals(Ik)的计算公式如式(IV)所示：
Sals(Ik)＝Sals1(Ik)+αtSals2(Ik) (IV)
其中，αt为权重系数。
根据上述的基于海天线与视觉显著性融合的海面障碍物检测方法，优选地，海水区域图像中任一像素的颜色通道值的出现频率计算方法为：
(2a-1)对海水区域图像在RGB颜色空间进行颜色通道值量化处理，将海水区域图像的每个颜色通道值量化为12个等级，量化后海水区域图像的颜色种类为1728种；
(2a-2)将量化后的1728种颜色按照每种颜色出现频率从大到小进行排序，从1728种颜色中选取颜色出现频率P≥0.9的m种颜色，将剩余(1728-m)种颜色中的每一种颜色分别转换为m种颜色中与其颜色距离度量最小的颜色，得到变换海水区域图像；
(2a-3)统计变换海水区域图像的彩色直方图，根据彩色直方图得到图像中任一像素的颜色通道值在图像全局像素中出现的频率。
根据上述的基于海天线与视觉显著性融合的海面障碍物检测方法，优选地，步骤(3)中所述时域显著性的计算方法为：海水区域的时域显著性是由当前帧图像与其前i帧图像中每一帧图像的时域显著性值线性加权融合得到，其计算公式如式(V)所示：
Figure BDA0002630251920000032
其中，SalT表示海水区域的时域显著性，
Figure BDA0002630251920000033
表示当前帧图像与其前第一帧图像的时域显著性值，
Figure BDA0002630251920000034
表示当前帧图像与其前第二帧图像的时域显著性值，
Figure BDA0002630251920000035
表示当前帧图像与其前第i帧图像的时域显著性值。
根据上述的基于海天线与视觉显著性融合的海面障碍物检测方法，优选地，步骤(3)中所述时域显著性的计算方法为：海水区域的时域显著性是由当前帧图像与其前3帧图像中每一帧图像的时域显著性值线性加权融合得到。
根据上述的基于海天线与视觉显著性融合的海面障碍物检测方法，优选地，所述
Figure BDA0002630251920000041
的计算方法为：
采用SIFT特征匹配算法检测当前帧图像与其前第i帧图像之间的匹配特征点对，筛除不位于海水区域内的匹配特征点对；然后根据匹配特征点对的对应关系，计算当前帧图像中任一特征点pi与当前帧图像中其它所有特征点之间的运动对比度即得
Figure BDA0002630251920000042
的计算公式如式(VI)所示：
Figure BDA0002630251920000043
其中，n为匹配得到的匹配特征点对总数，pj为当前帧图像中除pi之外的任意一个特征点，DisT(pi,pj)为特征点pi和特征点pj之间的运动对比度度量。
根据上述的基于海天线与视觉显著性融合的海面障碍物检测方法，优选地，两个特征点之间的运动对比度度量计算方法为：
(3a)针对当前帧海水区域图像中存在的所有特征点，采用随机抽样一致性算法建立多个单应性矩阵Hi，每个单应性矩阵包含多个内点，每个特征点对应一个单应性矩阵，特征点p＝[x,y,1]T和其对应匹配点p′＝[x′,y′,1]T为采用SIFT特征匹配算法检测当前帧图像与其前第i帧图像找到的匹配特征点对，将特征点p利用单应性矩阵H进行坐标变换得到计算点
Figure BDA0002630251920000044
坐标变换的计算公式如式(VII)所示：
Figure BDA0002630251920000045
计算点
Figure BDA0002630251920000046
的坐标
Figure BDA0002630251920000047
为特征点p变换后的齐次坐标，参数{ai,i＝1,2,...,8}为单应性矩阵H的元素；
(3b)将计算点
Figure BDA0002630251920000051
的坐标值进行归一化，使其第三个元素值为1，计算点
Figure BDA0002630251920000052
的坐标与实际点p′之间存误差，所述误差用ε(p,H)表示，ε(p,H)的计算公式如式(VIII)所示：
Figure BDA0002630251920000053
(3c)假设Hm为步骤(3a)中利用随机抽样一致性建立的一个单应性矩阵，Hm对应的内点集合为
Figure BDA0002630251920000054
其中，nm为Hm中内点的总数；根据单应性矩阵Hm和式(VIII)计算得到两个特征点之间的运动对比度度量，计算公式如式(IX)所示：
DisT(pi,pj)＝ε(pi,Hm) (IX)
其中，pj在单应性矩阵Hm的内点集合Lm中，内点集合Lm的外边界矩形即为显著性区域，该区域的显著性为所有内点显著性的平均值。
根据上述的基于海天线与视觉显著性融合的海面障碍物检测方法，优选地，步骤(4)中海水区域图像的空间显著性和时域显著性进行融合得到海水区域图像视觉显著图的计算公式如式(X)所示：
Sal(I)＝SalT(I)+αSSalS(I) (X)
其中，Sal(I)表示视觉显著性图，αS为权重系数。
根据上述的基于海天线与视觉显著性融合的海面障碍物检测方法，优选地，步骤(1)中检测海天线位置的具体操作为：
采用霍夫变换对图像做直线检测，得到的选取结果，然后以选取结果中获得投票最多的直线作为海天线检测结果。
根据上述的基于海天线与视觉显著性融合的海面障碍物检测方法，优选地，步骤(5)中视觉显著图中显著性值大于设定阈值的区域判定为障碍物目标区域。
根据上述的基于海天线与视觉显著性融合的海面障碍物检测方法，优选地，步骤(1)中所述图像为彩色图像。
与现有技术相比，本发明取得的积极有益效果为：
(1)本发明对检测图像中的海天线位置进行定位，根据海天线位置提取图像中的海水区域图像，将海天线以上的部分作为背景信息舍弃，后续的直接对提取的海水区域图像进行分析，判断海面障碍物；因此，本发明的方法能够消除复杂背景信息的干扰，极大提高障碍物目标检测的精确度，同时也减少了计算量，提高了计算速度。
(2)现有技术中通常采用计算像素与图像全局像素在颜色空间的空间颜色显著性值作为图像的空间显著性，该计算方法会导致只要图像中两个像素的颜色值相同，无论两个像素的远近，对任意像素的显著性值的贡献比是相同的；但是实际中，任一像素只有与其相邻区域像素差异大才为显著性区域，图像中较远区域像素对该像素的显著性值的影响较小。
本发明在计算海水区域图像的空间显著性时，不仅计算海水区域图像中任一像素与海水区域图像全局像素在Lab颜色空间的空间颜色显著性值；同时计算海水区域图像中任一像素与海水区域图像全局像素在图像空间的空间距离显著性值；将空间颜色显著性值和空间距离显著性值进行线性加权融合，得到海水区域图像的空间显著性。本发明计算方法综合考虑了像素在颜色空间的颜色显著性和像素在图像空间的空间距离显著性，解决了现有技术中仅检测颜色空间显著性，忽略像素距离因素影响的问题。
(3)本发明在计算海水区域图像的时域显著性时，是将当前帧图像与其前i帧图像中每一帧图像的时域显著性值线性加权融合得到，该计算方法从时间维度上融合当前图像与多帧图像的前后运动信息，从而融合得到更多图像中运动目标信息，能够提高运动目标的显著性检测效果。
(4)本发明的海面障碍物检测方法通过将海水区域图像的空间显著性和时域显著性进行融合，能够有效地检测出复杂背景下的海面目标，而且对海面图像中的静态和动态障碍物目标具有较高的敏感性和准确性。
附图说明
图1为本发明实施例1基于海天线与视觉显著性融合的海面障碍物检测方法的流程图。
具体实施方式
以下通过具体实施例对本发明作进一步详细的说明，但并不限制本发明的范围。
实施例1：
一种基于海天线与视觉显著性融合的海面障碍物检测方法，如图1所示，包括以下步骤：
(1)获取彩色海面图像，检测海面图像中海天线位置，根据海天线位置提取海面图像中的海水区域图像。
检测海天线位置的具体操作为：采用霍夫变换对海面图像做直线检测，得到的选取结果，然后以选取结果中获得“投票”最多的直线作为海天线检测结果。根据海天线检测结果，将海面图像中海天线以上部分作为背景信息舍弃，得到海水区域图像。
(2)计算海水区域图像的空间显著性。
空间显著性的计算方法为：
计算海水区域图像中任一像素Ik与海水区域图像全局像素在Lab颜色空间的空间颜色显著性值Sals1(Ik)；计算海水区域图像中任一像素Ik与海水区域图像全局像素在图像空间的空间距离显著性值Sals2(Ik)；将空间颜色显著性值Sals1(Ik)和空间距离显著性值Sals2(Ik)进行线性加权融合，得到海水区域图像的空间显著性Sals(Ik)。
其中，空间显著性Sals(Ik)的计算方法具体步骤为：
(2a)计算海水区域图像中任一像素Ik与海水区域图像全局像素在Lab颜色空间的空间颜色显著性值Sals1(Ik)，Sals1(Ik)的计算公式如式(I)所示；
Figure BDA0002630251920000071
其中，Ii表示海水区域图像中除Ik之外的任意一个像素，I代表海水区域图像中所有像素的集合，D(Ik,Ii)为像素Ik和像素Ii在Lab颜色空间的欧式空间距离。
由于具有相同颜色通道值的像素的空间颜色显著性值相同，因此，根据式(I)可以得到如式(II)所示的变形公式；
Figure BDA0002630251920000072
其中，cl为像素Ik的颜色通道值，n为图像中不同像素颜色的总数；cj为像素Ii的颜色通道值，fj为海水区域图像中颜色通道值cj出现的频率。
(2b)计算海水区域图像中任一像素Ik与海水区域图像全局像素在图像空间的空间距离显著性值Sals2(Ik)，Sals1(Ik)的计算公式如式(III)所示；
Figure BDA0002630251920000081
其中，S(Ik,Ii)为像素Ik和像素Ii在图像空间的欧式空间距离。
(2c)将空间颜色显著性值Sals1(Ik)和空间距离显著性值Sals2(Ik)进行线性加权融合，得到海水区域图像的空间显著性Sals(Ik)，Sals(Ik)的计算公式如式(IV)所示：
Sals(Ik)＝Sals1(Ik)+αtSals2(Ik) (IV)
其中，αt为权重系数。
海水区域图像中任一像素的颜色通道值的出现频率计算方法为：
(2a-1)对海水区域图像在RGB颜色空间进行颜色通道值量化处理，将海水区域图像的每个颜色通道值量化为12个等级，量化后海水区域图像的颜色种类为1728种；
(2a-2)将量化后的1728种颜色按照每种颜色出现频率从大到小进行排序，从1728种颜色中选取颜色出现频率P≥0.9的m种颜色，将剩余(1728-m)种颜色中的每一种颜色分别转换为m种颜色中与其颜色距离度量最小的颜色，得到变换海水区域图像；
(2a-3)统计变换海水区域图像的彩色直方图，根据彩色直方图得到图像中任一像素的颜色通道值在图像全局像素中出现的频率。
(3)计算海水区域图像的时域显著性。
时域显著性的计算方法为：海水区域的时域显著性是由当前帧图像与其前i(i＝3)帧图像中每一帧图像的时域显著性值线性加权融合得到，其计算公式如式(V)所示：
Figure BDA0002630251920000082
SalT表示海水区域的时域显著性，
Figure BDA0002630251920000083
表示当前帧图像与其前第一帧图像的时域显著性值，
Figure BDA0002630251920000084
表示当前帧图像与其前第二帧图像的时域显著性值，
Figure BDA0002630251920000085
表示当前帧图像与其前第i帧图像的时域显著性值。
其中，
Figure BDA0002630251920000086
的计算方法为：
采用SIFT特征匹配算法检测当前帧图像与其前第i帧图像之间的匹配特征点对，筛除不位于海水区域内的匹配特征点对；然后根据匹配特征点对的对应关系，计算当前帧图像中任一特征点pi与当前帧图像中其它所有特征点之间的运动对比度即得
Figure BDA0002630251920000091
的计算公式如式(VI)所示：
Figure BDA0002630251920000092
n为匹配得到的匹配特征点对总数，pj为当前帧图像中除pi之外的任意一个特征点，DisT(pi,pj)为特征点pi和特征点pj之间的运动对比度度量。
两个特征点之间的运动对比度度量计算步骤具体如下：
(3a)针对当前帧海水区域图像中存在的所有特征点，采用随机抽样一致性算法建立多个单应性矩阵Hi，每个单应性矩阵包含多个内点，每个特征点对应一个单应性矩阵，特征点p＝[x,y,1]T和其对应匹配点p′＝[x′,y′,1]T为采用SIFT特征匹配算法检测当前帧图像与其前第i帧图像找到的匹配特征点对，将特征点p利用单应性矩阵H进行坐标变换得到计算点
Figure BDA0002630251920000093
坐标变换的计算公式如式(VII)所示：
Figure BDA0002630251920000094
计算点
Figure BDA0002630251920000095
的坐标
Figure BDA0002630251920000096
为特征点p变换后的齐次坐标，参数{ai,i＝1,2,...,8}为单应性矩阵H的元素。
(3b)将计算点
Figure BDA0002630251920000097
的坐标值进行归一化，使其第三个元素值为1，计算点
Figure BDA0002630251920000098
的坐标与实际点p′之间存误差，所述误差用ε(p,H)表示，ε(p,H)的计算公式如式(VIII)所示：
Figure BDA0002630251920000099
(3c)假设Hm为步骤(3a)中利用随机抽样一致性建立的一个单应性矩阵，Hm对应的内点集合为
Figure BDA0002630251920000101
其中，nm为Hm中内点的总数；根据单应性矩阵Hm和式(VIII)计算得到两个特征点之间的运动对比度度量，计算公式如式(IX)所示：
DisT(pi,pj)＝ε(pi,Hm) (IX)
其中，pj在单应性矩阵Hm的内点集合Lm中。内点集合Lm的外边界矩形即为显著性区域，该区域的显著性为所有内点显著性的平均值。
(4)将海水区域图像的空间显著性和时域显著性按式(X)所示进行融合，得到海水区域图像的视觉显著性图。
Sal(I)＝SalT(I)+αSSalS(I) (X)
其中，Sal(I)表示视觉显著性图，αS为权重系数。
(5)采用固定阈值分割方法对视觉显著性图进行分割，视觉显著图中显著性值大于设定阈值的区域判定为障碍物目标区域，提取视觉显著性图中的障碍物目标。
实施例2：
实施例2的内容与实施例1基本相同，其不同之处在于：
步骤(3)中海水区域图像的时域显著性的计算方法为：
海水区域的时域显著性是由当前帧图像与其前i(i＝1)帧图像中每一帧图像的时域显著性值线性加权融合得到。
实施例3：
实施例3的内容与实施例1基本相同，其不同之处在于：
步骤(3)中海水区域图像的时域显著性的计算方法为：
海水区域的时域显著性是由当前帧图像与其前i(i＝2)帧图像中每一帧图像的时域显著性值线性加权融合得到。
实施例4：
实施例4的内容与实施例1基本相同，其不同之处在于：
步骤(3)中海水区域图像的时域显著性的计算方法为：
海水区域的时域显著性是由当前帧图像与其前i(i＝4)帧图像中每一帧图像的时域显著性值线性加权融合得到。
实施例5：
实施例5的内容与实施例1基本相同，其不同之处在于：
步骤(3)中海水区域图像的时域显著性的计算方法为：
海水区域的时域显著性是由当前帧图像与其前i(i＝6)帧图像中每一帧图像的时域显著性值线性加权融合得到。
以上所述仅为本发明的较佳实施例而已，但不仅限于上述实例，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于海天线与视觉显著性融合的海面障碍物检测方法，其特征在于，包括以下步骤：
(1)检测图像中海天线位置，根据海天线位置提取图像中的海水区域图像；
(2)计算海水区域图像的空间显著性；
(3)计算海水区域图像的时域显著性；
(4)将海水区域图像的空间显著性和时域显著性进行融合，得到海水区域图像的视觉显著性图；
(5)采用固定阈值分割方法对视觉显著性图进行分割，提取视觉显著性图中的障碍物目标；
步骤(2)中所述空间显著性的计算方法为：
计算海水区域图像中任一像素Ik与海水区域图像全局像素在Lab颜色空间的空间颜色显著性值Sals1(Ik)；计算海水区域图像中任一像素Ik与海水区域图像全局像素在图像空间的空间距离显著性值Sals2(Ik)；将空间颜色显著性值Sals1(Ik)和空间距离显著性值Sals2(Ik)进行线性加权融合，得到海水区域图像的空间显著性Sals(Ik)；
所述空间显著性Sals(Ik)的计算方法具体步骤为：
(2a)计算海水区域图像中任一像素Ik与海水区域图像全局像素在Lab颜色空间的空间颜色显著性值Sals1(Ik)，Sals1(Ik)的计算公式如式(I)所示；
Figure FDA0003696571660000011
其中，Ii表示海水区域图像中除Ik之外的任意一个像素，I代表海水区域图像中所有像素的集合，D(Ik,Ii)为像素Ik和像素Ii在Lab颜色空间的欧式空间距离；由于具有相同颜色通道值的像素的空间颜色显著性值相同，因此，根据式(I)可以得到如式(II)所示的变形公式；
Figure FDA0003696571660000012
其中，cl为像素Ik的颜色通道值，n为图像中不同像素颜色的总数；cj为像素Ii的颜色通道值，fj为海水区域图像中颜色通道值cj出现的频率；
(2b)计算海水区域图像中任一像素Ik与海水区域图像全局像素在图像空间的空间距离显著性值Sals2(Ik)，Sals2 (Ik)的计算公式如式(III)所示；
Figure FDA0003696571660000021
其中，S(Ik,Ii)为像素Ik和像素Ii在图像空间的欧式空间距离；
(2c)将空间颜色显著性值Sals1(Ik)和空间距离显著性值Sals2(Ik)进行线性加权融合，得到海水区域图像的空间显著性Sals(Ik)，Sals(Ik)的计算公式如式(IV)所示：
Sals(Ik)＝Sals1(Ik)+αtSals2(Ik) (IV)
其中，αt为权重系数。
2.根据权利要求1所述的基于海天线与视觉显著性融合的海面障碍物检测方法，其特征在于，海水区域图像中任一像素的颜色通道值的出现频率计算方法为：
(2a-1)对海水区域图像在RGB颜色空间进行颜色通道值量化处理，将海水区域图像的每个颜色通道值量化为12个等级，量化后海水区域图像的颜色种类为1728种；
(2a-2)将量化后的1728种颜色按照每种颜色出现频率从大到小进行排序，从1728种颜色中选取颜色出现频率P≥0.9的m种颜色，将剩余(1728-m)种颜色中的每一种颜色分别转换为m种颜色中与其颜色距离度量最小的颜色，得到变换海水区域图像；
(2a-3)统计变换海水区域图像的彩色直方图，根据彩色直方图得到图像中任一像素的颜色通道值在图像全局像素中出现的频率。
3.根据权利要求1所述的基于海天线与视觉显著性融合的海面障碍物检测方法，其特征在于，步骤(3)中所述时域显著性的计算方法为：海水区域的时域显著性是由当前帧图像与其前i帧图像中每一帧图像的时域显著性值线性加权融合得到，其计算公式如式(V)所示：
Figure FDA0003696571660000022
其中，SalT表示海水区域的时域显著性，
Figure FDA0003696571660000023
表示当前帧图像与其前第一帧图像的时域显著性值，
Figure FDA0003696571660000024
表示当前帧图像与其前第二帧图像的时域显著性值，
Figure FDA0003696571660000025
表示当前帧图像与其前第i帧图像的时域显著性值。
4.根据权利要求3所述的基于海天线与视觉显著性融合的海面障碍物检测方法，其特征在于，所述
Figure FDA0003696571660000031
的计算方法为：
采用SIFT特征匹配算法检测当前帧图像与其前第i帧图像之间的匹配特征点对，筛除不位于海水区域内的匹配特征点对；然后根据匹配特征点对的对应关系，计算当前帧图像中任一特征点pi与当前帧图像中其它所有特征点之间的运动对比度即得
Figure FDA0003696571660000032
Figure FDA0003696571660000033
的计算公式如式(VI)所示：
Figure FDA0003696571660000034
其中，n为匹配得到的匹配特征点对总数，pj为当前帧图像中除pi之外的任意一个特征点，DisT(pi,pj)为特征点pi和特征点pj之间的运动对比度度量。
5.根据权利要求4所述的基于海天线与视觉显著性融合的海面障碍物检测方法，其特征在于，两个特征点之间的运动对比度度量计算方法为：
(3a)针对当前帧海水区域图像中存在的所有特征点，采用随机抽样一致性算法建立多个单应性矩阵Hi，每个单应性矩阵包含多个内点，每个特征点对应一个单应性矩阵，特征点p＝[x,y,1]T和其对应匹配点p′＝[x′,y′,1]T为采用SIFT特征匹配算法检测当前帧图像与其前第i帧图像找到的匹配特征点对，将特征点p利用单应性矩阵H进行坐标变换得到计算点
Figure FDA0003696571660000035
坐标变换的计算公式如式(VII)所示：
Figure FDA0003696571660000036
计算点
Figure FDA0003696571660000037
的坐标
Figure FDA0003696571660000038
为特征点p变换后的齐次坐标，参数{ai,i＝1,2,...,8}为单应性矩阵H的元素；
(3b)将计算点
Figure FDA0003696571660000039
的坐标值进行归一化，使其第三个元素值为1，计算点
Figure FDA00036965716600000310
的坐标与实际点p′之间存在误差，所述误差用ε(p,H)表示，ε(p,H)的计算公式如式(VIII)所示：
Figure FDA0003696571660000041
(3c)Hm为步骤(3a)中利用随机抽样一致性建立的一个单应性矩阵，Hm对应的内点集合为
Figure FDA0003696571660000042
其中，nm为Hm中内点的总数；根据单应性矩阵Hm和式(VIII)计算得到两个特征点之间的运动对比度度量，计算公式如式(IX)所示：
DisT(pi,pj)＝ε(pi,Hm) (IX)
其中，pj在单应性矩阵Hm的内点集合Lm中，内点集合Lm的外边界矩形即为显著性区域，该区域的显著性为所有内点显著性的平均值。
6.根据权利要求1所述的基于海天线与视觉显著性融合的海面障碍物检测方法，其特征在于，步骤(4)中海水区域图像的空间显著性和时域显著性进行融合得到海水区域图像视觉显著图的计算公式如式(X)所示：
Sal(I)＝SalT(I)+αSSalS(I) (X)
其中，Sal(I)表示视觉显著性图，αS为权重系数。
7.根据权利要求1所述的基于海天线与视觉显著性融合的海面障碍物检测方法，其特征在于，步骤(1)中检测海天线位置的具体操作为：
采用霍夫变换对图像做直线检测，得到选取结果，然后以选取结果中获得投票最多的直线作为海天线检测结果。
8.根据权利要求1所述的基于海天线与视觉显著性融合的海面障碍物检测方法，其特征在于，步骤(5)中视觉显著图中显著性值大于设定阈值的区域判定为障碍物目标区域。
CN202010809048.2A 2020-08-12 2020-08-12 一种基于海天线与视觉显著性融合的海面障碍物检测方法 Active CN111950549B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010809048.2A CN111950549B (zh) 2020-08-12 2020-08-12 一种基于海天线与视觉显著性融合的海面障碍物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010809048.2A CN111950549B (zh) 2020-08-12 2020-08-12 一种基于海天线与视觉显著性融合的海面障碍物检测方法

Publications (2)

Publication Number Publication Date
CN111950549A CN111950549A (zh) 2020-11-17
CN111950549B true CN111950549B (zh) 2022-07-22

Family

ID=73333246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010809048.2A Active CN111950549B (zh) 2020-08-12 2020-08-12 一种基于海天线与视觉显著性融合的海面障碍物检测方法

Country Status (1)

Country Link
CN (1) CN111950549B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218832A (zh) * 2012-10-15 2013-07-24 上海大学 基于图像中全局颜色对比度和空域分布的视觉显著性算法
CN106611427A (zh) * 2015-10-21 2017-05-03 中国人民解放军理工大学 基于候选区域融合的视频显著性检测方法
CN106780582A (zh) * 2016-12-16 2017-05-31 西安电子科技大学 基于纹理特征和颜色特征融合的图像显著性检测方法
CN107967474A (zh) * 2017-11-24 2018-04-27 上海海事大学 一种基于卷积神经网络的海面目标显著性检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9158976B2 (en) * 2011-05-18 2015-10-13 International Business Machines Corporation Efficient retrieval of anomalous events with priority learning
CN102509099B (zh) * 2011-10-21 2013-02-27 清华大学深圳研究生院 一种图像显著区域检测方法
CN107767400B (zh) * 2017-06-23 2021-07-20 北京理工大学 基于层次化显著性分析的遥感图像序列动目标检测方法
CN108846844B (zh) * 2018-04-13 2022-02-08 上海大学 一种基于海天线的海面目标检测方法
CN108764027A (zh) * 2018-04-13 2018-11-06 上海大学 一种基于改进的rbd显著性计算的海面目标检测方法
CN108734173A (zh) * 2018-04-20 2018-11-02 河海大学 基于Gestalt优化的红外视频时空显著性检测方法
CN109767454B (zh) * 2018-12-18 2022-05-10 西北工业大学 基于时-空-频显著性的无人机航拍视频运动目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218832A (zh) * 2012-10-15 2013-07-24 上海大学 基于图像中全局颜色对比度和空域分布的视觉显著性算法
CN106611427A (zh) * 2015-10-21 2017-05-03 中国人民解放军理工大学 基于候选区域融合的视频显著性检测方法
CN106780582A (zh) * 2016-12-16 2017-05-31 西安电子科技大学 基于纹理特征和颜色特征融合的图像显著性检测方法
CN107967474A (zh) * 2017-11-24 2018-04-27 上海海事大学 一种基于卷积神经网络的海面目标显著性检测方法

Also Published As

Publication number Publication date
CN111950549A (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
Zhang et al. Ship detection for visual maritime surveillance from non-stationary platforms
CN111582089B (zh) 基于卫星红外与可见光图像的海上目标信息融合方法
CN107767400B (zh) 基于层次化显著性分析的遥感图像序列动目标检测方法
CN110033431B (zh) 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法
CN111144207B (zh) 一种基于多模态信息感知的人体检测和跟踪方法
CN114266977B (zh) 基于超分辨可选择网络的多auv的水下目标识别方法
CN110428425B (zh) 一种基于海岸线矢量数据的sar图像海陆分离方法
CN108711172B (zh) 基于细粒度分类的无人机识别与定位方法
CN111476159A (zh) 一种基于双角回归的检测模型训练、检测方法及装置
CN109708658B (zh) 一种基于卷积神经网络的视觉里程计方法
CN104463877A (zh) 一种基于雷达影像与电子海图信息的岸线配准方法
CN112818905B (zh) 一种基于注意力和时空信息的有限像素车辆目标检测方法
CN113743385A (zh) 一种无人船水面目标检测方法、装置及无人船
CN111160293A (zh) 基于特征金字塔网络的小目标船只检测方法及系统
Wang et al. A feature-supervised generative adversarial network for environmental monitoring during hazy days
CN115546741A (zh) 一种双目视觉和激光雷达无人艇海洋环境障碍物识别方法
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
CN110298855B (zh) 一种基于高斯混合模型和纹理分析的海天线检测方法
CN116168028A (zh) 低可见度下基于边缘滤波的高铁原始图像处理方法和系统
CN114821358A (zh) 光学遥感图像海上舰船目标提取与识别方法
CN113933828A (zh) 一种无人艇环境自适应多尺度目标检测方法及系统
CN113837924A (zh) 一种基于无人艇感知系统的水岸线检测方法
CN111950549B (zh) 一种基于海天线与视觉显著性融合的海面障碍物检测方法
CN112395985B (zh) 基于无人飞行器图像的地面无人车辆视觉道路检测方法
CN111709308B (zh) 一种基于无人机的海上遇险人员检测和跟踪方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant