CN105869174B - 一种天空场景图像分割方法 - Google Patents

一种天空场景图像分割方法 Download PDF

Info

Publication number
CN105869174B
CN105869174B CN201610248609.XA CN201610248609A CN105869174B CN 105869174 B CN105869174 B CN 105869174B CN 201610248609 A CN201610248609 A CN 201610248609A CN 105869174 B CN105869174 B CN 105869174B
Authority
CN
China
Prior art keywords
sky
image
boundary
original image
demarcation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610248609.XA
Other languages
English (en)
Other versions
CN105869174A (zh
Inventor
羊毅
王建华
刘振强
潘澍雨
孟冬冬
吴奇峰
王栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Luoyang Institute of Electro Optical Equipment AVIC
Original Assignee
Luoyang Institute of Electro Optical Equipment AVIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Luoyang Institute of Electro Optical Equipment AVIC filed Critical Luoyang Institute of Electro Optical Equipment AVIC
Priority to CN201610248609.XA priority Critical patent/CN105869174B/zh
Publication of CN105869174A publication Critical patent/CN105869174A/zh
Application granted granted Critical
Publication of CN105869174B publication Critical patent/CN105869174B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种天空场景图像分割方法，属于图像处理技术领域。本发明通过计算原始图像的梯度图像，并在原始图像和梯度图像上提取Haar特征，通过比较运算和逻辑运算得到准分界线标记图；计算原始图像和准分界线标记图的投影直方图，并对其进行比较运算和逻辑运算以得到天空区域分割上限；构建原始图像的能量函数，以准分界线标记图和天空区域分割上限作为两个约束条件计算能量函数，得到的天空区域边界最优分割位置即为所求的天空分界线边界。本发明能够在天空边界模糊条件下克服天空存在云朵等自然干扰获得完整的天空边界分割线，同时利用统计信息大大降低了能量函数的计算量，具备视频图像实时处理的条件。

Description

一种天空场景图像分割方法
技术领域
本发明涉及一种天空场景图像分割方法，属于图像处理技术领域。
背景技术
图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。早期的分割技术都是针对结构化场景图像的，而天空场景图像是指通过数码相机、摄像机等设备拍摄所得到的包含天空的自然场景图像，由于天空光照情形比较复杂，而且包含云雾等情形，导致天空场景分割算法研究面临着巨大的困难及挑战。
自然场景图像分割比较经典的算法包括：基于边界的分割、基于特征的Mean-shift方法、基于能量函数优化的分割和基于图论的分割方法等，这些算法研究今年来取得了相当的进展并在诸多领域得到了应用，但这些通用算法在天空这种特定的自然场景都具有一定的局限性，不能完全适用。基于上述的通用算法，一些学者针对天空场景进行了算法延伸性研究，提出了一种基于能量函数的天空区域分割的方法，但是该方法针对的是地面和天空灰度差异比较明显的情形，无法解决天空中云朵等自然因素的干扰问题，且采用Mumford-Shah分段平滑分割模型虽然实现了分割线的平滑和连续性，但是算法复杂度比较高。
发明内容
本发明的目的是提供一种天空场景图像分割方法，以解决目前天空场景图像分割方法中计算量大、受自然因素干扰的问题。
本发明为解决上述技术问题提供了一种天空场景图像分割方法，该分割方法包括以下步骤：
1)对原始图像进行梯度计算，得到相应的梯度图像，并对得到的梯度图像进行Haar特征提取；
2)提取原始图像的Haar特征，将步骤1)中提取的梯度图像Haar特征和原始图像的Haar特征分别与对应的设定阈值进行比较，并将比较结果进行逻辑运算，运算结果作为准分界线标记图；
3)对得到的准分界线标记图进行横向二值投影得到其投影直方图，并与原始图像的直方图投影进行逻辑运算，并将逻辑运算结果在图像纵坐标方向上进行向上搜索，搜索结果即为天空分界线上限纵坐标位置；
4)构建原始图像的能量函数，以准分界线标记图和天空分界线上限纵坐标位置作为两个约束条件计算能量函数，得到的天空区域边界最优分割位置即为所求的天空分界线边界。
所述的步骤4)中构建的能量函数为：
其中IU和ID分别指代图像第x列内，位于分界点B(x)上方和下方区域的像素点灰度；μU和μD分别指代对应区域内的像素灰度均值；H指代图像的高度；h指代图像的天空位置的高度，即天空分界线上限纵坐标；最外围括号所包含的内容为基于当前分界点B(x)计算的能量值。
所述的步骤4)中的天空分界线是离散的分界点，需去除其中孤立的奇异点，并通过最小二乘拟合以得到连续且完整的天空分界线。
所述步骤1)中梯度图像的Haar特征提取采用线性特征模板实现。
所述步骤2)中原始图像的Haar特征提取采用边缘特征模板实现。
所述步骤2)中的逻辑运算指的是逻辑与运算，步骤3)中采用的逻辑运算包括与运算和或运算。
所述的步骤1)中的梯度计算采用Sobel算子。
所述原始图像和准分界线标记图的投影直方图的投影方法与天空分界线的方向一致。
所述的原始图像是经过低通滤波处理后的图像。
所采用的低通滤波方式与图像内容和噪声情况相关，所述的低通滤波方式为中值滤波、高斯滤波或均值滤波。
本发明的有益效果是:本发明通过计算原始图像的梯度图像，并在原始图像和梯度图像上提取Haar特征，通过比较运算和逻辑运算得到准分界线标记图；计算原始图像和准分界线标记图的投影直方图，并对其进行比较运算和逻辑运算以得到天空分界线上限纵坐标位置；构建原始图像的能量函数，以准分界线标记图和天空分界线上限纵坐标位置作为两个约束条件计算能量函数，得到的天空区域边界最优分割位置即为所求的天空分界线边界。本发明能够在天空边界模糊条件下克服天空存在云朵等自然干扰获得完整的天空边界分割线，同时利用统计信息大大降低了能量函数的计算量，具备视频图像实时处理的条件。
附图说明
图1是本发明天空场景图像分割方法的流程图；
图2是本发明实施例中所采用的中值滤波模板图；
图3是本发明实施例中所采用的Haar特征模板图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步的说明。
本发明的天空场景图像分割方法通过计算原始图像的梯度图像，并在原始图像和梯度图像上提取Haar特征，通过比较运算和逻辑运算得到准分界线标记图；计算原始图像和准分界线标记图的投影直方图，并对其进行比较运算和逻辑运算以得到天空分界线上限纵坐标位置；构建原始图像的能量函数，以准分界线标记图和天空分界线上限纵坐标位置作为两个约束条件计算能量函数，得到的天空区域边界最优分割位置即为所求的天空分界线边界。该方法的实施流程如图1所示，具体实时步骤如下：
1.对输入的原始图像进行低通滤波处理。
为了图像分割的精度，在图像分割前需对输入的原始图像进行低通滤波处理，以将输入的原始图像中特定的高频信号进行过滤，所采用的低通滤波方式与图像内容和噪声情况相关，包含但不仅限于中值滤波、高斯滤波和均值滤波。本实施例采用5×5的中值滤波模板，如图2所示，将其与原始图像做卷积处理，去除了图像中的噪声。
2.对经步骤1去噪处理后的图像分别进行直方图投影、Haar特征提取和梯度计算。
其中直方图投影是根据天空分界线的方向进行，本实施例中直方图投影选择是横向灰度投影，投影直方图采用加权均值作为阈值进行二值化处理。Haar特征如图3所示，特征计算比较简单，就是将图中黑色矩形所有像素值的减去白色矩形所有像素值的和，本实施例采用边缘特征模板来计算去噪图像的Haar特征，Haar特征计算模板包括但不仅限于边缘特征模板和线特征模板。梯度图像采用常用的梯度算子，包含但不限于Sobel算子、Roberts算子、Prewitt算子，本实施例中梯度计算采用Sobel算子，本实施例所选用的Sobel算子如下：
其中A代表原始图像，Gx代表经纵向边缘检测的图像，Gy代表经横向边缘检测的图像。
3.计算准分界线标记图。
该过程首先对梯度图像进行Haar特征提取，本实施例中梯度图像的Haar特征提取采用线特征模板来实现，然后分别设定所提取的去噪图像Haar特征值和梯度图像Haar特征值对应的设定阈值，这里的设定阈值根据经验得到，设定阈值的单位是像素，范围是0～255，本实施例中去噪图像Haar特征值对应的设定阈值为5，梯度图像Haar特征值对应的设定阈值为3；然后根据对应的设定阈值对上述两幅特征图像进行比较运算，最后对得到比较运算结果进行逻辑与运算，逻辑运算的结果即为所求的准分界线标记图，该准分界线标记图是一幅二值图，用以表征图像中对应位置的点是否可能是天空分界线。
4.计算天空分界线上限纵坐标位置。
对得到的准分界线标记图进行横向二值投影以得到相应的投影直方图，输入图像和准分界线标记图的投影直方图的投影方法与天空分界线的方向一致。结合步骤2中得到的去噪图像投影直方图的结果，采用逻辑运算在图像的纵方向上搜索天空分界线上限纵坐标位置，由于需要寻找最低的天空位置作为天空分界线的上限，因此采用自下向上的搜索方向。
搜索准备：计算原始图像横向灰度投影Hist1和分界线标记图横向投影Hist2；
逻辑运算：判别纵向当前点y的Hist1的值小于Hist1的平均值且Hist2的值等于0且y-1的Hist1的值大于等于Hist1的平均值或y-1的Hist2的值不等于0，采用公式表示为：
(Hist1[y]<avg&&Hist2[y]＝＝0)&&(Hist1[y-1]>＝avg||Hist2[y-1]！＝0)
符合上述逻辑关系的的点的坐标y即为天空分界线的上限位置。
5.在去噪图像上能量函数，以准分界线标记图和天空分界线上限纵坐标位置作为两个约束条件计算能量函数，得到的天空区域边界最优分割位置即为所求的天空分界线边界。
本实施例中能量函数的构建方法为：针对图像的每一列，假设第x列，寻找分界点B(x)使能量最小，公式表示为：
其中IU和ID分别指代图像第x列内，位于分界点B(x)上方和下方区域的像素点灰度；μU和μD分别指代对应区域内的像素灰度均值；H指代图像的高度；h指代图像的天空位置的高度，即天空分界线上限纵坐标；最外围括号所包含的内容为基于当前分界点B(x)计算的能量值。所构造能量函数的计算最优分割位置包括全图寻优和逐行或者逐列单独寻优，寻优方向与天空分界线的方向垂直。
为了避免天空分割时云朵等自然因素的干扰，利用天空分界线上线纵坐标位置作为遍历优化的第一个约束条件；同样，为了避免能量函数优化过程中计算量大的问题，采用准分界线标记图作为遍历优化第二个约束条件。沿着横坐标位置逐列遍历计算最优分割点，得到离散天空分界线坐标。
6.对得到天空分界线进行平滑和拟合。
通过上述步骤得到的天空分界线是离散的分界点，可能会存在一些奇异点导致分界线不连续的问题，本实施例中首先采用一维中值滤波来平滑掉孤立的奇异点，然后通过最小二乘法拟合出一条连续且完整的天空分界线。其中分界线平滑处理的方法包含但不仅限于中值滤波、均值滤波，分界线拟合处理的方法包括但不仅限于最小二乘法拟合。

Claims (10)

1.一种天空场景图像分割方法，其特征在于，该分割方法包括以下步骤：
1)对原始图像进行梯度计算，得到相应的梯度图像，并对得到的梯度图像进行Haar特征提取；
2)提取原始图像的Haar特征，将步骤1)中提取的梯度图像Haar特征和原始图像的Haar特征分别与对应的设定阈值进行比较，并将比较结果进行逻辑运算，运算结果作为准分界线标记图；
3)对得到的准分界线标记图进行横向二值投影得到其投影直方图，并与原始图像的直方图投影进行逻辑运算，并将逻辑运算结果在图像纵坐标方向上进行向上搜索，搜索结果即为天空分界线上限纵坐标位置；
4)构建原始图像的能量函数，以准分界线标记图和天空分界线上限纵坐标位置作为两个约束条件计算能量函数，得到的天空区域边界最优分割位置即为所求的天空分界线边界。
2.根据权利要求1所述的天空场景图像分割方法，其特征在于，所述的步骤4)中构建的能量函数为：
其中IU和ID分别指代图像第x列内，位于分界点B(x)上方和下方区域的像素点灰度；μU和μD分别指代对应区域内的像素灰度均值；H指代图像的高度；h指代图像的天空位置的高度，即天空分界线上限纵坐标；最外围括号所包含的内容为基于当前分界点B(x)计算的能量值。
3.根据权利要求2所述的天空场景图像分割方法，其特征在于，所述的步骤4)中的天空分界线是离散的分界点，需去除其中孤立的奇异点，并通过最小二乘拟合以得到连续且完整的天空分界线。
4.根据权利要求1所述的天空场景图像分割方法，其特征在于，所述步骤1)中梯度图像的Haar特征提取采用线性特征模板实现。
5.根据权利要求1所述的天空场景图像分割方法，其特征在于，所述步骤2)中原始图像的Haar特征提取采用边缘特征模板实现。
6.根据权利要求1所述的天空场景图像分割方法，其特征在于，所述步骤2)中的逻辑运算指的是逻辑与运算，步骤3)中采用的逻辑运算包括与运算和或运算。
7.根据权利要求1所述的天空场景图像分割方法，其特征在于，所述的步骤1)中的梯度计算采用Sobel算子。
8.根据权利要求7所述的天空场景图像分割方法，其特征在于，所述原始图像和准分界线标记图的投影直方图的投影方法与天空分界线的方向一致。
9.根据权利要求1-8中任一项所述的天空场景图像分割方法，其特征在于，所述的原始图像是经过低通滤波处理后的图像。
10.根据权利要求9所述的天空场景图像分割方法，其特征在于，所采用的低通滤波方式与图像内容和噪声情况相关，所述的低通滤波方式为中值滤波、高斯滤波或均值滤波。
CN201610248609.XA 2016-04-20 2016-04-20 一种天空场景图像分割方法 Active CN105869174B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610248609.XA CN105869174B (zh) 2016-04-20 2016-04-20 一种天空场景图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610248609.XA CN105869174B (zh) 2016-04-20 2016-04-20 一种天空场景图像分割方法

Publications (2)

Publication Number Publication Date
CN105869174A CN105869174A (zh) 2016-08-17
CN105869174B true CN105869174B (zh) 2019-01-29

Family

ID=56633454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610248609.XA Active CN105869174B (zh) 2016-04-20 2016-04-20 一种天空场景图像分割方法

Country Status (1)

Country Link
CN (1) CN105869174B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563357B (zh) * 2017-09-29 2021-06-04 北京奇虎科技有限公司 基于场景分割的直播服饰装扮推荐方法、装置及计算设备
CN109035260A (zh) 2018-07-27 2018-12-18 京东方科技集团股份有限公司 一种天空区域分割方法、装置和卷积神经网络
CN109389078B (zh) 2018-09-30 2022-06-21 京东方科技集团股份有限公司 图像分割方法、相应的装置及电子设备
CN109829361B (zh) * 2018-12-17 2023-03-31 深圳先进技术研究院 图像的处理方法及应用该方法的机器人、装置
CN111210434A (zh) * 2019-12-19 2020-05-29 上海艾麒信息科技有限公司 基于天空识别的图像替换方法及系统
CN112613372B (zh) * 2020-12-16 2024-04-02 中山大学 一种室外环境视觉惯性slam方法及装置
CN112598679B (zh) * 2020-12-16 2024-03-29 中山大学 一种天空区域分割方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101493932A (zh) * 2009-03-05 2009-07-29 西安电子科技大学 基于形态Haar小波纹理梯度提取的分水岭纹理图像分割方法
CN102113014A (zh) * 2008-07-31 2011-06-29 惠普开发有限公司 图像的感知分割
CN103996206A (zh) * 2014-02-24 2014-08-20 航天恒星科技有限公司 一种基于GraphCut的复杂背景遥感图像中交互式目标提取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9025876B2 (en) * 2012-03-05 2015-05-05 Thomson Licensing Method and apparatus for multi-label segmentation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102113014A (zh) * 2008-07-31 2011-06-29 惠普开发有限公司 图像的感知分割
CN101493932A (zh) * 2009-03-05 2009-07-29 西安电子科技大学 基于形态Haar小波纹理梯度提取的分水岭纹理图像分割方法
CN103996206A (zh) * 2014-02-24 2014-08-20 航天恒星科技有限公司 一种基于GraphCut的复杂背景遥感图像中交互式目标提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
2009 IEEE International Conference on Vehicular Electronics and Safety (ICVES);Andrea Cohen et al.;《Quantification of GNSS Signals Accuracy: an Image Segmentation Method for Estimating the Percentage of Sky》;20091112;第35-40页
图像分割的图论方法综述;王梅 等;《计算机应用与软件》;20140930;第31卷(第9期);第1-12页

Also Published As

Publication number Publication date
CN105869174A (zh) 2016-08-17

Similar Documents

Publication Publication Date Title
CN105869174B (zh) 一种天空场景图像分割方法
JP6719457B2 (ja) 画像の主要被写体を抽出する方法とシステム
CN108665487B (zh) 基于红外和可见光融合的变电站作业对象和目标定位方法
CN107862667B (zh) 一种基于高分辨率遥感影像的城市阴影检测与去除方法
Gllavata et al. Text detection in images based on unsupervised classification of high-frequency wavelet coefficients
CN106600625A (zh) 检测小型生物的图像处理方法及装置
WO2017084204A1 (zh) 一种二维视频流中的人体骨骼点追踪方法及系统
CN107909081A (zh) 一种深度学习中图像数据集的快速获取和快速标定方法
CN101216943B (zh) 一种视频运动目标分割的方法
CN111967394B (zh) 一种基于动静态网格融合策略的森林火灾烟雾根节点检测方法
CN109961065B (zh) 一种海面舰船目标检测方法
CN113177439B (zh) 一种行人翻越马路护栏检测方法
CN102903093A (zh) 一种基于链码掩模的泊松图像融合方法
CN106373126B (zh) 基于融合类测地线和边界对比的图像显著性检测方法
CN107944392A (zh) 一种适用于小区卡口高密度人群监控视频目标标注的有效方法
CN112115878A (zh) 一种基于烟雾区域密度的森林火灾烟雾根节点检测方法
Chen et al. Edge preservation ratio for image sharpness assessment
CN103971347A (zh) 视频图像中阴影的处理方法及装置
CN105654090A (zh) 一种基于曲线波动度描述的行人轮廓检测方法
CN106021610B (zh) 一种基于显著区域的视频指纹提取方法
CN106446832B (zh) 一种基于视频的实时检测行人的方法
CN108280841A (zh) 一种基于邻域像素强度校正的前景提取方法
CN105069773B (zh) 基于掩膜与canny相结合的自适应边缘检测计算方法
CN114758139B (zh) 基坑积水检测方法
Yang et al. A method for tree image segmentation combined adaptive mean shifting with image abstraction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant