CN106991682B - 自动港口货船的提取方法及装置 - Google Patents
自动港口货船的提取方法及装置 Download PDFInfo
- Publication number
- CN106991682B CN106991682B CN201610038953.6A CN201610038953A CN106991682B CN 106991682 B CN106991682 B CN 106991682B CN 201610038953 A CN201610038953 A CN 201610038953A CN 106991682 B CN106991682 B CN 106991682B
- Authority
- CN
- China
- Prior art keywords
- ship
- sub
- picture
- connected domain
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 24
- 238000001914 filtration Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 37
- 238000004458 analytical method Methods 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 25
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 abstract description 26
- 238000001228 spectrum Methods 0.000 description 24
- 238000001514 detection method Methods 0.000 description 12
- 230000011218 segmentation Effects 0.000 description 9
- 230000003595 spectral effect Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明适用于监控技术领域，提供了一种自动港口货船的提取方法及装置，所述方法包括如下步骤：S1、获取场景图像的视频帧；S2、根据所述获取的视频帧计算全局显著性图；S3、对所述全局显著性图进行阈值处理和连通域提取，得到所述视频帧中各个连通域对应的区域图片；S4、遍历所述区域图片，根据预设的过滤条件滤除不包括船舶的区域图片；S5、对过滤后的区域图片进行局部显著性分析，得到所述港口货船的结果图。本发明提供的方法及装置可提高船舶监控的精确度。
Description
技术领域
本发明属于监控技术领域，尤其涉及一种自动港口货船的提取方法及装置。
背景技术
由于智能监控技术水平的提高，能够实现的各种智能监控功能也越来越丰富，如人头计数、车辆跟踪、烟雾检测。智能视频监控应用于社会的各行各业已经是大趋势，不同行业正逐步采用智能监控技术来加强自身的管理能力，如油田防盗监测、监狱打架斗殴报警。现有实际工程项目中关于海事船舶检测的方案大多都是采用软硬件结合的方式，使用海事专用摄像机、船舶AIS系统来完成海事监控中需要的船舶跟踪、定位、计数、测速功能。而监控系统仅仅完成视频录取和调取检阅的作用。用智能视频监控技术来完成港口船舶的精定位、船舶分割、计数、测速还在探索阶段，这方面真正行之有效、精确度高，能够稳定应用于工程项目上的案例非常少。对这些为海事局进行港口管理提供帮助的监控功能进行探索和应用显得非常有必要。
公开号CN201410216050.3的中国专利申请了一种基于显著性区域检测的红外舰船目标分割方法。该专利主要利用船舶目标与水面和无关建筑物对红外辐射反应成像强度的不同。融合双边滤波、边缘强度检测、海森矩阵特征图来得到显著性图。再用自适应阈值分割得到结果图。这种算法缺点是必须在热红外成像图片上做处理，且当水面上船舶过多时，双边滤波和局部行对比度检测会出现混淆现象，直接降低检测结果的精确度，甚至无法得到有效船舶分割结果。
公开号为CN201210248684.8开发了一种基于显著性分析的红外遥感海面船只检测方法。也是在红外遥感图像的基础上进行检测。在已分割出的海面区域上，计算海面子区域的灰度直方图与整个海面区域灰度直方图的相似度值来得到图像的显著性图。对显著性图进行大尺度超像素分割算法，再对尺寸和形状信息进行过滤得到最终的结果图。同样，这种简单基于灰度直方图的显著性分析在普通光学摄像监控镜头得到的场景图像中会出现大量的杂质，且得到的船舶会出现隔断或边缘冗余的情况，精度低。红外成像图片对温度变化敏感，连续帧之间的检测结果也会出现明显的不一致性，鲁棒性差。
公开号为CN201310408461.8的专利发明了一种基于频谱奇异值分解的海上目标显著性检测方法。这种显著性方法在LAB空间内先分别对l、a、b三个通道进行傅里叶变换得到幅度谱和相位谱。再对各个幅度谱进行奇异值分解得到它们的非主要分量。用得到的非主要分量和原相位谱结合进行反傅里叶变换得到三个通道的显著性图。融合三个通道得到全彩色显著性图。该专利仅仅提出一种显著性分析的计算方法，并未涉及到船舶的提取分割，仅仅通过一副彩色结果显著图无法得到船舶的精定位轮廓信息。对于容易出现的船舶被隔断，午间水面大面积反光出现的水波纹情况均没有提及有效的解决方案。
综上，目前迫切需要一种能够用于海事监控中计算复杂度低实现简单，所获取船舶轮廓精度高，无需特殊硬件或船舶先验信息的港口货船精确提取算法。
发明内容
本发明实施例的目的在于提供一种自动港口货船的提取方法及装置，旨在解决由现有的海事监控精确度差的问题。
本发明实施例是这样实现的，一种自动港口货船的提取方法，所述方法包括如下步骤：
S1、获取场景图像的视频帧；
S2、根据所述获取的视频帧计算全局显著性图；
S3、对所述全局显著性图进行阈值处理和连通域提取，得到所述视频帧中各个连通域对应的区域图片；
S4、遍历所述区域图片，根据预设的过滤条件滤除不包括船舶的区域图片；
S5、对过滤后的区域图片进行局部显著性分析，得到所述港口货船的结果图。
进一步地，所述步骤S5具体包括：
S51、获取一所述过滤后的区域图片；
S52、计算所述区域图片的局部显著性图；
S53、对所述局部显著性图进行灰度变换和阈值处理，得到区域二值图；
S54、提取所述区域二值图内所有子连通域，进行水波纹滤除，确认含有船舶的子连通域；
S55、当所述含有船舶的子连通域不包含被截断的船舶时，将该子连通域复制至预设的结果图，并返回步骤S51获取另一所述过滤后的区域图片直到遍历所有过滤后的区域图片。
进一步地，所述步骤S5还包括：
S56、当所述含有船舶的子连通域包含被截断的船舶时，对该子连通域所在区域图片进行船舶生长计算直到该区域图片不包含被截断的船舶；
S57、将所述区域图片内的子连通域复制至所述结果图，并返回步骤S51。
进一步地，所述步骤S52具体包括：
S521、将所述视频帧转换至Lab彩色空间Lab(x,y)；
S522、计算所述Lab(x,y)的平均色，得到平均色图像M(x,y)，以及计算所述Lab(x,y)的高斯模糊图像G(x,y)；
S523、计算坐标(x,y)计算Lab(x,y)和G(x,y)的色差，得到显著性图S(x,y)；
S524、将所述S(x,y)像素值缩放至[0,1]范围，得到所述局部显著性图。
进一步地，所述S54具体包括：
S541、遍历所有子连通域，记录所有面积大于或等于预设的最小面积阈值的子连通域的面积；
S542、当所述已记录面积的子连通域的数量小于预设的数量值，且其中最大面积的子连通域与所在区域图片的面积比例大于预设的比例值时，将所述已记录面积的子连通域作为所述确认含有船舶的子连通域。
本发明还提出一种自动港口货船的提取装置，所述装置包括：
获取模块，用于获取场景图像的视频帧；
计算模块，用于根据所述获取的视频帧计算全局显著性图；
处理模块，用于对所述全局显著性图进行阈值处理和连通域提取，得到所述视频帧中各个连通域对应的区域图片；
过滤模块，用于遍历所述区域图片，根据预设的过滤条件滤除不包括船舶的区域图片；
分析模块，用于对过滤后的区域图片进行局部显著性分析，得到所述港口货船的结果图。
进一步地，所述分析模块包括：
获取单元，用于获取一所述过滤后的区域图片；
计算单元，用于计算所述区域图片的局部显著性图；
处理单元，用于对所述局部显著性图进行灰度变换和阈值处理，得到区域二值图；
水波纹滤除单元，用于提取所述区域二值图内所有子连通域，进行水波纹滤除，确认含有船舶的子连通域；
复制单元，用于当所述含有船舶的子连通域不包含被截断的船舶时，将该子连通域复制至预设的结果图，并返回所述获取单元获取另一所述过滤后的区域图片直到遍历所有过滤后的区域图片。
进一步地，所述分析模块还包括：
船舶生长单元，用于当所述含有船舶的子连通域包含被截断的船舶时，对该子连通域所在区域图片进行船舶生长计算直到该区域图片内的子连通域不包含被截断的船舶；
所述复制单元还用于将所述区域图片内的子连通域复制至所述结果图，并返回获取单元获取另一过滤后的区域图片。
进一步地，所述计算单元包括：
转换子单元，用于将所述视频帧转换至Lab彩色空间Lab(x,y)；
平均色计算子单元，用于计算所述Lab(x,y)的平均色，得到平均色图像M(x,y)，以及计算所述Lab(x,y)的高斯模糊图像G(x,y)；
显著性图计算子单元，用于计算坐标(x,y)计算Lab(x,y)和G(x,y)的色差，得到显著性图S(x,y)；
像素值标准化子单元，用于将所述S(x,y)像素值缩放至[0,1]范围，得到所述局部显著性图。
进一步地，所述水波纹滤除单元包括：
记录子单元，用于遍历所有子连通域，记录所有面积大于或等于预设的最小面积阈值的子连通域的面积；
确认子单元，用于当所述已记录面积的子连通域的数量小于预设的数量值，且其中最大面积的子连通域与所在区域图片的面积比例大于预设的比例值时，将所述已记录面积的子连通域作为所述确认含有船舶的子连通域。
本发明实施例先采用全局进行显著性分析提取船舶的大概位置，经过对候选区域的筛选，滤除伪目标之后再进行局部区域的显著性分析完成精确定位。本发明实施例同时加入了水波纹区域的检测筛选算法以及被隔断船舶的生长算法，能够提取完整、精确的船舶轮廓进而分割。在显著性分析方法的开发上，利用港口监控场景自身的特点经过试验选取了适合此场景下的全局粗定位和局部精定位的显著性分析算法，鲁棒性高。
附图说明
图1是本发明实施例一提供的自动港口货船的提取方法的流程图；
图2是本发明实施例一提供的自动港口货船的提取方法中局部显著性分析的流程图；
图3是本发明实施例一提供的自动港口货船的提取方法中局部显著性算法的流程图；
图4是本发明实施例一提供的自动港口货船的提取方法中水波纹滤除的流程图；
图5是本发明实施例二提供的自动港口货船的提取装置的结构图；
图6是本发明实施例二提供的自动港口货船的提取装置中分析模块的结构图；
图7是本发明实施例二提供的自动港口货船的提取装置中计算单元的结构图；
图8是本发明实施例二提供的自动港口货船的提取装置中水波纹滤除单元的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例一
本发明实施例一提出一种自动港口货船的提取方法。如图1所示，本发明实施例一的方法包括如下步骤：
S1、获取场景图像的视频帧。通过监控摄像头得到港口的实时视频，进行预处理得到场景图像的视频帧。预处理主要是确定监测区域，包括去除江岸(海岸)部分，只保留江面(海面)部分。
S2、根据获取的视频帧计算全局显著性图。该步骤中，全局显著性图可采用谱残差显著性图SR，计算过程如下：
(1)将获取的视频帧转换得到灰度图I(x,y)，计算其二维离散傅里叶变换fft(I(x,y))。再计算得到相角谱P(u,v)和频谱A(u,v)。
(2)对频谱A(u,v)取对数，得到log谱L(u,v)＝log(A(u,v))。
(3)对log谱进行局部均值滤波，滤波模板为h(u,v),得到平均频谱M(u,v)＝h(u,v)*L(u,v)。
(4)计算log谱和平均频谱的差，得到谱残差R(u,v)＝L(u,v)-M(u,v)。
(5)计算谱残差R(u,v)的自然指数，得到E(u,v)＝exp(R(u,v))。
(6)结合E(u,v)与相角谱P(u,v)得到复数二维矩阵C(u,v)＝E(u,v)*cos(P(u,v))+i*E(u,v)*sin(P(u,v))。
(7)对C(u,v)其进行傅里叶反变换得到D(x,y)＝ifft(C(u,v))。
(8)对D(x,y)进行高斯模糊得到显著性图G(x,y)，再对G(x,y)像素值缩放至[0,1]范围，得到全局显著性图SR(x,y)。
可对全局显著性图SR进行灰度变换，目的在于改变全局显著性图的平均灰度值，以便后续二值处理得到的高亮部分尽可能完整的包含船舶区域。在某些场景，如清晨或者黄昏时，由于光线较暗，得到的全局显著性图的绝大部分像素点集中在低亮度部分，此时若不经过任何处理，直接进行阈值处理得到的区域仅能包含少数绝对显眼的船舶。
完成灰度变换首先计算全局显著性图SR的均值SR_mean，以及灰度放大倍数ratio＝dst_mean/SR_mean，dst_mean为根据测试视频样本确定的表现较好的均值常量。灰度变换得到的全局显著图SR’计算如下，若SR(x,y)*ratio<＝255,则SR’(x,y)＝SR(x,y)；否则SR’(x,y)＝255。
S3、对全局显著性图进行阈值处理和连通域提取，得到视频帧中各个连通域对应的区域图片。阈值处理可以采用基本全局阈值处理或者ostu等，得到二值图Threglobal。提取二值图Threglobal的所有连通域，得到船舶目标的粗定位区域，计算每一个连通域的外接矩形框，得到这些矩形框对应于原输入的视频帧中的区域图片。
S4、遍历区域图片，根据预设的过滤条件滤除不包括船舶的区域图片。步骤S3中，由于进行二值图Threglobal的连通域提取得到各连通域的外接矩形框contour_rect，在某些复杂场景如中午水面大面积反光时，得到的连通域可能是一整块的反光水面而不含任何船舶，或者在较暗的场景得到的连通域只是平静的水面。因此，可根据预设的过滤条件滤波不包括船舶的区域图片，如先以连通域外接矩形框contour_rect的尺寸为过滤条件,滤除矩形宽度(rect_width)小于最小宽度值(width_min)或大于最大宽度值(width_max)，且矩形高度(rect_height)小于最小高度值(height_min)或大于最大高度值(height_max)的区域图片，再计算连通域外接矩形框contour_rect在步骤S1中获取的初始的视频帧中对应区域的方差region_var，滤除方差region_var小于最小方差值(var_min)或大于最大方差值(var_max)的区域图片。其中，width_min、width_max、height_min、height_max、var_min和var_max是阈值常量。
S5、对过滤后的区域图片进行局部显著性分析，得到港口货船的结果图。具体如图2所示，包括步骤：
S51、获取一过滤后的区域图片；
S52、计算局部显著性图；局部显著性图可利用高低频率信息，得到频率调谐显著性图，这种显著性算法对多种复杂场景的稳定性和对边缘提取的精确度上均表现优异，计算步骤如图3所示：
S521、将获取的区域图片转换到Lab彩色空间图Lab(x,y)；
S522、计算Lab(x,y)的平均色，得到平均色图像MeanImg(x,y)；
S523、计算Lab(x,y)的高斯模糊图像G(x,y)；
S524、计算Lab空间内M(x,y)与G(x,y)图中(x,y)坐标元素的色差，即像素值向量<l,a,b>的欧氏距离，得到显著性图S(x,y)。
S525、对S(x,y)像素值缩放至[0,1]范围，得到局部显著性图FT(x,y)。
S53、对局部显著性图FT(x,y)进行灰度变换和阈值处理得到区域二值图；
S54、对区域二值图提取区域内所有子连通域，进行水波纹滤除，得到确认含有船舶的区域图片及其内子连通域。水波纹滤除主要目的在于判断区域图片内是否只包含高反光水波，即伪船舶候选目标区域，如果存在这样的区域图片则滤除，水波纹滤除算法按如图4所示步骤进行：
S541、遍历区域图片内所有子连通域，记录所有面积大于或等于预设的最小面积阈值的子连通域的面积。计算各个子连通域的面积，剔除面积小于最小面积阈值的子连通域，其中最小面积阈值被设定为最小可检测船舶面积常量，记录面积大于或等于最小面积阈值的子连通域。
S542、当已记录面积的子连通域的数量小于预设的数量值，且其中最大面积的子连通域与所在区域图片的比例大于预设的比例值时，将已记录面积的子连通域作为确认含有船舶的子连通域。
具体地，将已记录面积大于或等于最小面积阈值的子连通域按面积从大到小排序。若子连通域的数量小于预设的数量值，且其中最大面积的子连通域与所在区域图片的比例大于预设的比例值时，将该区域图片作为确认含有船舶的子区域，该区域内被记录的子连通域即被认为是船舶(完整船舶，或部分船舶)。
不满足以上条件，则判断该区域图片是水波纹区域，不含船舶，删除此候选目标区域。
S55、判断被确认含有船舶的子连通域内是否包含被截断的船舶，若不含被截断的船舶，将被确认为船舶的子连通域复制到结果图，并返回步骤S51获取另一过滤后的区域图片直到遍历所有过滤后的区域图片。
在船舶的粗定位阶段，可能出现在区域图片内没有包含完整的整条船只，只包含一部分。因此需要根据局部显著性图来判断。判断准则如下：若一子连通域的外接矩形的边界(上、下、左、右)与该区域图片相应边界的距离小于预设的距离阀值border_dist_min，则判断该方向边界(上、下、左、右)有被隔断的船舶，其中border_dist_min是最小距离阈值常量。
S56、如含有被截断的船舶，对确认含有截断船舶的子连通域所处的区域图片，进行船舶生长算法直到该区域图片内的子连通域不包含被截断的船舶。
船舶生长算法是不断生长区域图片的尺寸，直至确认最终生长完成的区域图片中的所有子连通域都包含完整的整个船舶。
船舶生长算法具体包含如下步骤：
对当前区域图片内的每一个子连通域外接矩形框的上边界进行判断，若该方向有船舶被隔断，则将此区域图片上边界向上生长ratio*rect_height。此处ratio是区域生长速率，rect_height是候选目标区域的高度。同理，进行下、左、右边界相同的边界生长操作。
判断边界生长完成后的区域图片的面积是否大于一预设面积阀值，如大于则结束流程，否则对边界生长完成的子连通域进行局部显著性计算及阈值处理，判断局部显著性计算及阈值处理后的子连通域是否包含被截断的船舶，不包含则将补全的区域图片内计算得到的所有大于最小面积阈值的子连通域复制到结果图，并返回步骤S51。
本发明实施例一直接利用带有高光学变倍的监控摄像镜头捕获的场景图片进行分析，实现船舶的粗定位和精确的轮廓提取，算法不仅复杂度低且检测效果和计算速度都表现很好。与现有技术相比，本发明具有以下有益效果：
(1)提供的算法是全自动的，无需如GPS定位、视频帧中船体坐标预定义等先验信息。
(2)具有高鲁棒性，解决了在清晨或黄昏江面光线昏暗及复杂场景下如中午江面出现大面积高反光水波纹场景下的船舶分割，有效解决水面高亮度反射所造成的显著性伪目标。
(3)准确度高，采用先粗定位，后精定位，多种显著性分析方法相结合的方式来进行目标的精确轮廓检测与分割,可以得到精细的船舶轮廓，定位准确。
(4)对工程监控摄像头配置要求低，即普通带光学变倍监控相机即可满足要求，无需红外线等特殊功能。
本发明实施例一不仅用于港口海面船舶轮廓区域的精确提取，达到精定位的目的。此外根据所提取的轮廓及连通域可以完成对船舶的计数。由于本发明实施例一提供的算法鲁棒性高，对前后帧检测到的船舶结合摄像头的视场角和放大倍数信息可以用于测量船舶的航速、航向。
实施例二
本发明实施例二提出一种自动港口货船的提取装置，如图5所示，所述装置包括：
获取模块10，用于获取场景图像的视频帧；
计算模块20，用于根据获取的视频帧计算全局显著性图；
处理模块30，用于对全局显著性图进行阈值处理和连通域提取，得到视频帧中各个连通域对应的区域图片；
过滤模块40，用于遍历区域图片，根据预设的过滤条件滤除不包括船舶的区域图片；
分析模块50，用于对过滤后的区域图片进行局部显著性分析，得到港口货船的结果图。
本发明实施例二的工作原理具体如下：
获取模块10通过监控摄像头得到港口的实时视频，进行预处理得到场景图像的视频帧。预处理主要是确定监测区域，包括去除江岸(海岸)部分，只保留江面(海面)部分。
计算模块20可采用谱残差显著性图SR计算全局显著性图，计算过程如下：
(1)将获取的视频帧转换得到灰度图I(x,y)，计算其二维离散傅里叶变换fft(I(x,y))，再计算得到相角谱P(u,v)和频谱A(u,v)。
(2)对频谱A(u,v)取对数，得到log谱L(u,v)＝log(A(u,v))。
(3)对log谱进行局部均值滤波，滤波模板为h(u,v)，得到平均频谱M(u,v)＝h(u,v)*L(u,v)。
(4)计算log谱和平均频谱的差，得到谱残差R(u,v)＝L(u,v)-M(u,v)。
(5)计算谱残差R(u,v)的自然指数，得到E(u,v)＝exp(R(u,v))。
(6)结合E(u,v)与相角谱P(u,v)得到复数二维矩阵C(u,v)＝E(u,v)*cos(P(u,v))+i*E(u,v)*sin(P(u,v))。
(7)对C(u,v)其进行傅里叶反变换得到D(x,y)＝ifft(C(u,v))。
(8)对D(x,y)进行高斯模糊得到显著性图G(x,y)，再对G(x,y)像素值缩放至[0,1]范围，得到全局显著性图SR(x,y)。
可进一步对全局显著性图SR进行灰度变换，目的在于改变全局显著性图SR的平均灰度值，以便后续二值处理得到的高亮部分尽可能完整的包含船舶区域。在某些场景，如清晨或者黄昏时，由于光线较暗，得到的全局显著性图SR的绝大部分像素点集中在低亮度部分，此时若不经过任何处理，直接进行阈值处理得到的区域仅能包含少数绝对显眼的船舶。
完成灰度变换首先计算全局显著性图SR的均值SR_mean，以及灰度放大倍数ratio＝dst_mean/SR_mean，dst_mean为根据测试视频样本确定的表现较好的均值常量。灰度变换得到的全局显著图SR’计算如下，若SR(x,y)*ratio<＝255,则SR’(x,y)＝SR(x,y)；否则SR’(x,y)＝255。
处理模块30对全局显著性图SR’(x,y)进行阈值处理和连通域提取，得到视频帧中各个连通域对应的区域图片。阈值处理可以采用基本全局阈值处理或者ostu等，得到二值图Threglobal。提取二值图Threglobal的所有连通域，得到船舶目标的粗定位区域，计算每一个连通域的外接矩形框，得到这些矩形框对应于原输入的视频帧中的区域图片，完成船舶的粗定位。
由于进行二值图Threglobal的连通域提取得到各连通域的外接矩形框contour_rect，在某些复杂场景如中午水面大面积反光时，得到的连通域可能是一整块的反光水面而不含任何船舶，或者在较暗的场景得到的连通域只是平静的水面。因此，过滤模块40可根据预设的过滤条件滤波不包括船舶的区域图片，如先以连通域外接矩形框contour_rect的尺寸为过滤条件，滤除矩形宽度(rect_width)小于最小宽度值(width_min)或大于最大宽度值(width_max)，且矩形高度(rect_height)小于最小高度值(height_min)或大于最大高度值(height_max)的区域图片，再计算连通域外接矩形框contour_rect在初始的视频帧中对应区域的方差region_var，滤除方差region_var小于最小方差值(var_min)或大于最大方差值(var_max)的区域图片。其中，width_min、width_max、height_min、height_max、var_min和var_max是阈值常量。
分析模块50再对过滤后的区域图片进行局部显著性分析。如图6所示，分析模块50包括获取单元511、计算单元512、处理单元513、水波纹滤除单元514、复制单元515、船舶生长单元516，具体地：
获取单元511获取一过滤后的区域图片后，计算单元512计算区域图片的局部显著性图，局部显著性图可利用高低频率信息，得到频率调谐显著性图，这种显著性算法对多种复杂场景的稳定性和对边缘提取的精确度上均表现优异。如图7所示，计算单元512包括转换子单元5121、平均色计算子单元5122、显著性图计算子单元5123和归一化子单元5124。转换子单元5121将获取的区域图片转换到Lab彩色空间图Lab(x,y)，平均色计算子单元5122计算Lab(x,y)的平均色，得到平均色图像MeanImg(x,y)，以及计算Lab(x,y)的高斯模糊图像G(x,y)，显著性图子计算单元5123计算Lab空间内M(x,y)与G(x,y)图中(x,y)坐标元素的色差，即像素值向量<l,a,b>的欧氏距离，得到显著性图S(x,y)，像素值标准化子单元5124将S(x,y)像素值缩放至[0,1]范围，得到局部显著性图FT(x,y)。处理单元513对局部显著性图FT(x,y)进行灰度变换和阈值处理，得到区域二值图。
水波纹滤除单元514提取区域二值图内所有子连通域，进行水波纹滤除，确认含有船舶的子连通域。水波纹滤除主要目的在于判断子连通域是否只包含高反光水波，即伪船舶候选目标区域，如果存在这样的子连通域则滤除，具体地，如图8所示，水波纹滤除单元514包括记录子单元5141和确认子单元5142，记录子单元5141遍历所有子连通域，记录所有面积大于或等于预设的最小面积阈值的子连通域的面积，剔除面积小于最小面积阈值的子连通域，其中最小面积阈值被设定为最小可检测船舶面积常量。确认子单元5142将已记录面积大于或等于最小面积阈值的子连通域按面积从大到小排序。若子连通域的数量小于预设的数量值，且其中最大面积的子连通域与所在区域图片的比例大于预设的比例值时，将该区域图片作为确认含有船舶的子区域，该区域内被记录的子连通域即被认为是船舶(完整船舶，或部分船舶)。不满足以上条件，则判断该区域图片是水波纹区域，不含船舶，删除此候选目标区域。
由于在船舶的粗定位阶段，可能出现在区域图片内没有包含完整的整条船只，只包含一部分。因此需要根据局部显著性图来判断。判断准则如下：若一子连通域的外接矩形的边界(上、下、左、右)与该区域图片相应边界的距离小于预设的距离值border_dist_min，则判断该方向边界(上、下、左、右)有被隔断的船舶，其中border_dist_min是最小距离阈值常量。
当含有船舶的子连通域不包含被截断的船舶时，复制单元515将该子连通域复制至预设的结果图，并返回获取单元511获取另一过滤后的区域图片，重复上述过程直到遍历所有过滤后的区域图片。
当含有船舶的子连通域包含被截断的船舶时，船舶生长单元516对该子连通域进行船舶生长计算，所述复制单元515还用于将该区域图片内的子连通域复制至结果图，并返回获取单元511获取另一过滤后的区域图片。
具体地，船舶生长单元516对每一个子连通域外接矩形框的上边界进行判断，若该方向有船舶被隔断，则将此区域图片上边界向上生长ratio*rect_height。此处ratio是区域生长速率，rect_height是候选目标区域的高度。同理，进行下、左、右边界相同的边界生长操作。
判断边界生长完成后的区域图片的面积是否大于一预设面积阀值，如大于则结束，否则对边界生长完成的子连通域进行局部显著性计算及阈值处理
判断局部显著性计算及阈值处理后的子连通域是否包含被截断的船舶，不包含则复制单元515将补全的区域图片内计算得到的所有大于最小面积阈值的子连通域复制到结果图，并返回获取单元511获取另一过滤后的区域图片。
本发明实施例二直接利用带有高光学变倍的监控摄像镜头捕获的场景图片进行分析，实现船舶的粗定位和精确的轮廓提取，算法不仅复杂度低且检测效果和计算速度都表现很好。与现有技术相比，本发明具有以下有益效果：
(1)提供的算法是全自动的，无需如GPS定位、视频帧中船体坐标预定义等先验信息。
(2)具有高鲁棒性，解决了在清晨或黄昏江面光线昏暗及复杂场景下如中午江面出现大面积高反光水波纹场景下的船舶分割，有效解决水面高亮度反射所造成的显著性伪目标。
(3)准确度高，采用先粗定位，后精定位，多种显著性分析方法相结合的方式来进行目标的精确轮廓检测与分割,可以得到精细的船舶轮廓，定位准确。
(4)对工程监控摄像头配置要求低，即普通带光学变倍监控相机即可满足要求，无需红外线等特殊功能。
本发明实施例二不仅用于港口海面船舶轮廓区域的精确提取，达到精定位的目的。此外根据所提取的轮廓及连通域可以完成对船舶的计数。由于本发明实施例二提供的算法鲁棒性高，对前后帧检测到的船舶结合摄像头的视场角和放大倍数信息可以用于测量船舶的航速、航向。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种自动港口货船的提取方法，其特征在于，所述方法包括如下步骤：
S1、获取场景图像的视频帧；
S2、根据获取的视频帧计算全局显著性图；
S3、对所述全局显著性图进行阈值处理和连通域提取，得到所述视频帧中各个连通域对应的区域图片；
S4、遍历所述区域图片，根据预设的过滤条件滤除不包括船舶的区域图片；
S5、对过滤后的区域图片进行局部显著性分析，得到所述港口货船的结果图；
其中，所述步骤S5具体包括：
S51、获取一所述过滤后的区域图片；
S52、计算所述区域图片的局部显著性图；
S53、对所述局部显著性图进行灰度变换和阈值处理，得到区域二值图；
S54、提取所述区域二值图内所有子连通域，进行水波纹滤除，确认含有船舶的子连通域；
S55、当所述含有船舶的子连通域不包含被截断的船舶时，将该子连通域复制至预设的结果图，并返回步骤S51获取另一所述过滤后的区域图片直到遍历所有过滤后的区域图片。
2.如权利要求1所述的方法，其特征在于，所述步骤S5还包括：
S56、当所述含有船舶的子连通域包含被截断的船舶时，对该子连通域所在区域图片进行船舶生长计算直到该区域图片内的子连通域不包含被截断的船舶；
S57、将所述区域图片内的子连通域复制至所述结果图，并返回步骤S51。
3.如权利要求1所述的方法，其特征在于，所述步骤S52具体包括：
S521、将所述视频帧转换至Lab彩色空间Lab(x,y)；
S522、计算所述Lab(x,y)的平均色，得到平均色图像M(x,y)，以及计算所述Lab(x,y)的高斯模糊图像G(x,y)；
S523、计算坐标(x,y)计算Lab(x,y)和G(x,y)的色差，得到显著性图S(x,y)；
S524、将所述S(x,y)像素值缩放至[0,1]范围，得到所述局部显著性图。
4.如权利要求1所述的方法，其特征在于，所述S54具体包括：
S541、遍历所有子连通域，记录所有面积大于或等于预设的最小面积阈值的子连通域的面积；
S542、当已记录面积的子连通域的数量小于预设的数量值，且其中最大面积的子连通域与所在区域图片的面积比例大于预设的比例值时，将所述已记录面积的子连通域作为所述确认含有船舶的子连通域。
5.一种自动港口货船的提取装置，其特征在于，所述装置包括：
获取模块，用于获取场景图像的视频帧；
计算模块，用于根据获取的视频帧计算全局显著性图；
处理模块，用于对所述全局显著性图进行阈值处理和连通域提取，得到所述视频帧中各个连通域对应的区域图片；
过滤模块，用于遍历所述区域图片，根据预设的过滤条件滤除不包括船舶的区域图片；
分析模块，用于对过滤后的区域图片进行局部显著性分析，得到所述港口货船的结果图；
其中，所述分析模块包括：
获取单元，用于获取一所述过滤后的区域图片；
计算单元，用于计算所述区域图片的局部显著性图；
处理单元，用于对所述局部显著性图进行灰度变换和阈值处理，得到区域二值图；
水波纹滤除单元，用于提取所述区域二值图内所有子连通域，进行水波纹滤除，确认含有船舶的子连通域；
复制单元，用于当所述含有船舶的子连通域不包含被截断的船舶时，将该子连通域复制至预设的结果图，并返回所述获取单元获取另一所述过滤后的区域图片直到遍历所有过滤后的区域图片。
6.如权利要求5所述的装置，其特征在于，所述分析模块还包括：
船舶生长单元，用于当所述含有船舶的子连通域包含被截断的船舶时，对该子连通域所在区域图片进行船舶生长计算直到该区域图片内的子连通域不包含被截断的船舶；
所述复制单元还用于将所述区域图片内的子连通域复制至所述结果图，并返回获取单元获取另一过滤后的区域图片。
7.如权利要求5所述的装置，其特征在于，所述计算单元包括：
转换子单元，用于将所述视频帧转换至Lab彩色空间Lab(x,y)；
平均色计算子单元，用于计算所述Lab(x,y)的平均色，得到平均色图像M(x,y)，以及计算所述Lab(x,y)的高斯模糊图像G(x,y)；
显著性图计算子单元，用于计算坐标(x,y)计算Lab(x,y)和G(x,y)的色差，得到显著性图S(x,y)；
像素标准化子单元，用于将所述S(x,y)像素值缩放至[0,1]范围，得到所述局部显著性图。
8.如权利要求5所述的装置，其特征在于，所述水波纹滤除单元包括：
记录子单元，用于遍历所有子连通域，记录所有面积大于或等于预设的最小面积阈值的子连通域的面积；
确认子单元，用于当已记录面积的子连通域的数量小于预设的数量值，且其中最大面积的子连通域与所在区域图片的面积比例大于预设的比例值时，将所述已记录面积的子连通域作为所述确认含有船舶的子连通域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610038953.6A CN106991682B (zh) | 2016-01-21 | 2016-01-21 | 自动港口货船的提取方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610038953.6A CN106991682B (zh) | 2016-01-21 | 2016-01-21 | 自动港口货船的提取方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106991682A CN106991682A (zh) | 2017-07-28 |
| CN106991682B true CN106991682B (zh) | 2019-12-20 |
Family
ID=59414213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610038953.6A Expired - Fee Related CN106991682B (zh) | 2016-01-21 | 2016-01-21 | 自动港口货船的提取方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106991682B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109165607B (zh) * | 2018-08-29 | 2021-12-14 | 浙江工业大学 | 一种基于深度学习的驾驶员手持电话检测方法 |
| CN110097555A (zh) * | 2019-04-26 | 2019-08-06 | 绵阳慧视光电技术有限责任公司 | 基于测温点阵融合可见光图像的电子设备安全监控方法 |
| CN110827309B (zh) * | 2019-11-12 | 2023-06-23 | 太原理工大学 | 一种基于超像素的偏光片外观缺陷分割方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102156881A (zh) * | 2011-04-13 | 2011-08-17 | 上海海事大学 | 基于多尺度图像相位信息的海难搜救目标检测方法 |
| CN102800086A (zh) * | 2012-06-21 | 2012-11-28 | 上海海事大学 | 一种海上场景显著性检测方法 |
| CN102855622A (zh) * | 2012-07-18 | 2013-01-02 | 中国科学院自动化研究所 | 一种基于显著性分析的红外遥感图像海面船只检测方法 |
| CN103413127A (zh) * | 2013-09-10 | 2013-11-27 | 上海海事大学 | 基于频谱奇异值分解的海上目标显著性检测方法 |
-
2016
- 2016-01-21 CN CN201610038953.6A patent/CN106991682B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102156881A (zh) * | 2011-04-13 | 2011-08-17 | 上海海事大学 | 基于多尺度图像相位信息的海难搜救目标检测方法 |
| CN102800086A (zh) * | 2012-06-21 | 2012-11-28 | 上海海事大学 | 一种海上场景显著性检测方法 |
| CN102855622A (zh) * | 2012-07-18 | 2013-01-02 | 中国科学院自动化研究所 | 一种基于显著性分析的红外遥感图像海面船只检测方法 |
| CN103413127A (zh) * | 2013-09-10 | 2013-11-27 | 上海海事大学 | 基于频谱奇异值分解的海上目标显著性检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于相位谱和频率调谐的海上场景显著性检测;王金武 等;《计算机应用》;20130630;211-213页 * |
| 基于视觉显著性和特征整合的感兴趣区域检测;刘思彤 等;《地理与地理信息科学》;20140930;1-6页 * |
| 结合全局和随机局部频率调谐的复杂纹理表面缺陷检测;李健 等;《陕西科技大学学报》;20140430;211-213页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106991682A (zh) | 2017-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107145874B (zh) | 复杂背景sar图像中的舰船目标检测与鉴别方法 | |
| CN110414411B (zh) | 基于视觉显著性的海面船只候选区域检测方法 | |
| Chen et al. | Ship detection from coastal surveillance videos via an ensemble Canny-Gaussian-morphology framework | |
| GB2569751A (en) | Static infrared thermal image processing-based underground pipe leakage detection method | |
| CN109815807B (zh) | 一种基于边缘线分析和聚合通道特征的靠岸船舶检测方法 | |
| US20120328161A1 (en) | Method and multi-scale attention system for spatiotemporal change determination and object detection | |
| CN108229342B (zh) | 一种海面舰船目标自动检测方法 | |
| Lipschutz et al. | New methods for horizon line detection in infrared and visible sea images | |
| CN111709968B (zh) | 一种基于图像处理的低空目标探测跟踪方法 | |
| CN104182992B (zh) | 一种基于全景视觉的海上弱小目标检测方法 | |
| CN106991682B (zh) | 自动港口货船的提取方法及装置 | |
| CN113177929B (zh) | 一种基于全卷积网络的海面溢油检测方法及其系统和应用 | |
| Wang et al. | Extracting oil slick features from VIIRS nighttime imagery using a Gaussian filter and morphological constraints | |
| CN105184804A (zh) | 基于机载红外相机航拍图像的海面小目标检测方法 | |
| Ma et al. | A method for infrared sea-sky condition judgment and search system: Robust target detection via PLS and CEDoG | |
| CN114764801A (zh) | 基于多视觉显著特征的弱小舰船目标融合检测方法及装置 | |
| CN117075112A (zh) | 一种方位角航迹匹配的无人艇雷达光电融合方法 | |
| CN112669332B (zh) | 一种基于双向局部极大值和峰值局部奇异性判断海天条件和检测红外目标的方法 | |
| Heyn et al. | A system for automated vision-based sea-ice concentration detection and floe-size distribution indication from an icebreaker | |
| Yu et al. | Automatic extraction of green tide using dual polarization Chinese GF-3 SAR images | |
| CN115639536A (zh) | 基于多传感器融合的无人船感知目标检测方法及装置 | |
| Jian et al. | Maritime target detection and tracking | |
| CN114219996A (zh) | 一种sar图像停泊舰船目标检测方法 | |
| JP2008107857A (ja) | 動体認識方法及び動体認識装置 | |
| Mou et al. | Hierarchical RANSAC for accurate horizon detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 518000 Guangdong city of Shenzhen province Nanshan District South Road four No. 034 high-tech industrial village W1A building 4 layer Applicant after: SHENZHEN ZNV TECHNOLOGY Co.,Ltd. Address before: 518000 Guangdong city of Shenzhen province Nanshan District South Road four No. 034 high-tech industrial village W1A building 4 layer Applicant before: SHENZHEN ZNV TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20191220 |