CN104091180B - 室外场景图像中树木与建筑物的识别方法 - Google Patents

室外场景图像中树木与建筑物的识别方法 Download PDF

Info

Publication number
CN104091180B
CN104091180B CN201410334008.1A CN201410334008A CN104091180B CN 104091180 B CN104091180 B CN 104091180B CN 201410334008 A CN201410334008 A CN 201410334008A CN 104091180 B CN104091180 B CN 104091180B
Authority
CN
China
Prior art keywords
trees
building
segment
scene image
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410334008.1A
Other languages
English (en)
Other versions
CN104091180A (zh
Inventor
郑李明
崔兵兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing original Mdt InfoTech Ltd
Original Assignee
Nanjing Original Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Original Mdt Infotech Ltd filed Critical Nanjing Original Mdt Infotech Ltd
Priority to CN201410334008.1A priority Critical patent/CN104091180B/zh
Publication of CN104091180A publication Critical patent/CN104091180A/zh
Priority to US14/684,431 priority patent/US9390348B2/en
Priority to US14/684,428 priority patent/US9471853B2/en
Priority to US14/684,434 priority patent/US9626598B2/en
Priority to US14/684,433 priority patent/US9805293B2/en
Application granted granted Critical
Publication of CN104091180B publication Critical patent/CN104091180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

一种室外场景图像中树木与建筑物的识别方法，其特征是它包括以下步骤：(1)构建识别对象分类数据集，从而得到树木与建筑物抠像图分类数据集；(2)通过采用机器学习方法进行训练学习从而产生树木与建筑物在特征量空间区域划分模型；(3)对室外场景图像进行识别；(4)最后，对所识别得到的场景图像中的立面图像，采用所建的树木与建筑物在特征量空间区域划分模型对场景图像中的树木与建筑物进行识别。本发明可以有效减少目标搜寻的范围、降低图像分析的复杂度，从而简化如人体目标等场景中特定对象的识别、搜索、定位与追踪，且具有识别准确率高，方法实现简单的优点。

Description

室外场景图像中树木与建筑物的识别方法
技术领域
本发明涉及一种图像处理方法，尤其是一种可以广泛应用于如机器人视觉目标识别、搜索、定位与追踪等领域。具体地说是一种对室外场景图像中的树木与建筑物进行识别的方法。
背景技术
对于人类来说认知场景图像是有层次的，比如：当人们需要在室外场景中去寻找人体目标时，人们的视觉注意力将首先集中于场景图像中的地面上，而非树木、建筑物或是天空等；而当人们需要寻找飞行中的飞机时，人们的视觉注意力也将自然而然的集中于天空，而非地面、建筑物或树木。这样分层次的视觉信息认知可以大大减少目标搜寻的范围，降低图像分析的复杂度，从而实现快速准确的目标识别、搜索、定位与追踪。本发明通过构建树木和建筑物图块的特征量，并采用机器学习方法实现对室外场景图像中树木与建筑物的识别，进而实现机器视觉系统对室外场景的深层次认知，本发明可以有效简化如人体目标等场景中特定对象的识别、搜索、定位与追踪。
发明内容
本发明的目的是通过构建树木和建筑物图块特征量，并采用机器学习的方法实现对室外场景图像中的树木与建筑物的识别，进而实现机器视觉系统对室外场景的深层次认知，本发明可以有效减少目标搜寻的范围、降低图像分析的维度，从而简化如人体目标等场景中特定对象的识别、搜索、定位与追踪。
本发明的技术方案是：
一种室外场景图像中树木与建筑物的识别方法，其特征是它包括以下步骤：
(1)构建识别对象分类数据集，从而得到树木与建筑物抠像图分类数据集；
(2)通过采用机器学习方法进行训练学习从而产生树木与建筑物在特征量空间区域划分模型；
(3)对室外场景图像进行识别；
(4)最后，对所识别得到的场景图像中的立面图像，采用所建的树木与建筑物在特征量空间区域划分模型对场景图像中的树木与建筑物进行识别。
所述的树木与建筑物分类识别特征量的构造包括：
(1)基于纹理的特征量提取：
首先对数据集中彩色图块进行灰度变换，然后进行基于Canny算子的边缘检测，接着进行角度在0°。～180°围内的Hough变换直线方向统计；在进行边缘检测时，要去除掉图块边缘对特征量的影响；在进行直方图统计前对数据采用公式(2)进行规范化处理；同时用3个统计特征量来表征树木和建筑物图块的区别；分述如下：
①方向线段求和Sl：其方法是将图块中角度从0°。～180°范围内基于线段长度的Hough变换直线方向统计直方图数据进行求和计算，得到方向线段求和统计特征量；
具体公式如下：
其中：Li为i角度方向上直线段长度。
②连续零个数Nzero：其方法是将直线段统计直方图中连续零的个数进行累加计算；
具体公式如下：
其中：li为i角度方向上规范化直线段长度；
③线段密度DN：图块中直线段数量除以图块的像素个数；
具体公式如下：
其中：ni为图块中i角度方向上线段的数量，N为图块的像素个数；
(2)基于颜色的特征量提取
对于颜色特征的提取，采用CIELAB颜色空间，并去除掉L、a、b分量中代表亮度的分量L，将图块平均颜色向量向颜色空间的ab平面投影，并计算其在ab平面上的方向角度，以方向角度作为图块颜色特征量即颜色角θc；
具体公式如下：
其中：为颜色向量在ab平面上的投影；为颜色向量在a轴上的投影。
利用所构造的四个特征量中的至少三个构成三维或四维空间即可完成对树木和建筑物进行识别，所述的四个特征是为Sl,Nzero,θc和DN。
本发明的有益效果是：
1.本发明既可以实现机器视觉对室外场景中树木及建筑物的识别，又可以应用于对不同性质地面(如：草地、马路、人行道等)的识别。
2.由于本发明采用了机器学习方法，因此可扩展性强，只要识别对象的特征模型符合本发明所提的特征且有足够数量的学习样本则都可使用本发明进行识别。
3.本发明可以有效减少目标搜寻的范围、降低图像分析的复杂度，从而简化如人体目标等场景中特定对象的识别、搜索、定位与追踪。
4.本发明对室外场景图像中的树木及建筑物识别准确率高(如表1所示)，且方法实现简单。
附图说明
图1是树木抠像图数据集。
图2建筑物抠像图数据集。
图3典型建筑物纹理的直线段统计直方图。
图4典型树木纹理的直线段统计直方图。
图5不同特征量组合的3维样本空间分布图之一，图中(a)为Sl,Nzero,DN特征量组合的空间分布；(b)为Sl,Nzero,θc特征量组合的空间分布。
图6不同特征量组合的3维样本空间分布图之二，图中：(a)为Nzero,DN,θc特征量组合的空间分布；(b)为Sl,θc,DN特征量组合的空间分布。
图7部分Make3D Image data测试集图像验证性实验结果。
具体实施方式
下面结构实施例和附图对本发明作进一步的说明。
如图1-7所示。
一种室外场景图像中树木与建筑物的识别方法，它包括以下步骤：
(1)构建识别对象分类数据集，如利用康奈尔大学网站上提供的Make3D Imagedata数据集构建树木与建筑物抠像图分类数据集；
(2)通过采用机器学习方法如：决策树方法、随机森林方法、人工神经网络、SVM方法、Boosting方法、关联规则方法等，进行训练学习从而产生树木与建筑物在特征量空间区域划分模型；
(3)对室外场景可采用申请人在先申请的已公开的申请号为201310652422.2的中国专利所述的方法对室外的场景图像进行识别；
(4)最后，对采用专利201310652422.2所提方法识别的场景图像中立面图像，采用步骤(2)所产生的树木与建筑物在特征空间区域划分模型，对场景图像中的树木与建筑物进行识别。
作为本发明关键的树木与建筑物分类识别特征量的构造过程原理及步骤为：
在对室外场景图像中树木及建筑物的识别研究中，申请人利用康奈尔大学http://make3d.cs.cornell.edu/data.html网站上提供的Make3D Image data数据集。通过运用专利201310652422.2所提方法，从400张图像训练集中提取出了4万张立面物体图块，并采用人工筛选分类的方法制作了一个由7483张树木与建筑物抠像图分类数据集，部分数据集图像如图1、图2所示。
通过对图1和图2的比较分析，可以发现树木图块和建筑物图块在纹理和颜色上都存在明显的不同，即在纹理上树木图块的纹理随机性较大且纹理的方向性分布接近各向同性的等概率特征，而建筑物图块的纹理则具有明显的方向性，会在某些方向上出现明显的较长直线，同时建筑物的表面纹理相对于树木来说较为光滑。从颜色上可以看出，树木的颜色相对于建筑来说多以绿色为主(注：数据集的室外场景图像采用时间多为春、夏两个季节，但如果样本数据集为秋天或冬天则树木的颜色特征也是明显的，这不影响本发明的适用性)。针对以上的分析，本发明提出4个针对树木与建筑物分类识别的特征量，其中4种特征量中有3个基于纹理特征，1个基于颜色特征。
树木与建筑物分类识别的4种特征量分别描述如下：
(1)基于纹理的特征量提取
对于纹理特征的提取，首先对数据集中彩色图块进行灰度变换，然后进行基于Canny算子的边缘检测，接着进行角度在0°。～180°范围内的Hough变换直线方向统计。需要指出的是，在进行边缘检测时，方法上要去除掉图块边缘对特征量的影响。典型的树木和建筑物纹理直线段方向统计直方图如图3、图4所示，从图中可以看出，树木和建筑物纹理直线段方向统计直方图分布的离散度明显不同。需要说明的是，在进行直方图统计前本发明人对数据进行了规范化处理，具体公式如(8)式。
本文提出用3个统计特征量来表征树木和建筑物图块的区别。分述如下：
①方向线段求和Sl：其方法是将图块中角度从0°～180°范围内基于线段长度的Hough变换直线方向统计直方图数据进行求和计算，得到方向线段求和统计特征量。
具体公式如下：
其中：Li为i角度方向上直线段长度。
②连续零个数Nzero：其方法是将直线段统计直方图中连续零的个数进行累加计算。
具体公式如下：
其中：li为i角度方向上规范化直线段长度。
③线段密度DN：其方法是图块中直线段数量除以图块的像素个数。
具体公式如下：
其中：ni为图块中i角度方向上线段的数量，N为图块的像素个数。
(2)基于颜色的特征量提取
对于颜色特征的提取，本发明采用了CIELAB颜色空间，并去除掉L、a、b分量中代表亮度的分量L，将图块平均颜色向量向颜色空间的ab平面投影，并计算其在ab平面上的方向角度，以方向角度作为图块颜色特征量即颜色角θc。
具体公式如下：
其中：为颜色向量在ab平面上的投影；为颜色向量在a轴上的投影。
本发明特征量的具体应用效果对比：
将以上四个不同组合的特征量并构成三维空间，从上述7483张树木与建筑物抠像图分类数据集中抽取5483个树木和建筑物抠像图样本以观察在相应特征空间中的分布情况，如图5和图6所示。由图5和图6可以看出以上4个特征量的组合都可以有效的区分室外场景图像中的树木与建筑物图像。
通过对表1中相应数据的比较可以看出，本方法提出的4个特征量对树木和建筑都有较好的识别效果，可以说明这些特征都可以作为识别树木和建筑物的强特征加以应用。从采用径向基核函数SVM方法对训练样本的分类效果来看，三维特征组合好于二维特征组合，四维特征组合好于三维特征组合。
表1 径向基核函数SVM方法对训练样本识别的查全率和查准率
本实施例采用上述所构造的Sl,Nzero,θc,DN四维特征采用径向基核函数SVM方法模型，对Make3D Image data数据集中134张测试集图像进行了验证性实验，部分验证性实验识别结果，如图7所示，可以看出本方法对室外场景图像中的树木及建筑物识别准确率很高。
本发明未涉及部分与现有技术相同或可采用现有技术加以实现。

Claims (1)

1.一种室外场景图像中树木与建筑物的识别方法，其特征是它包括以下步骤：
(1)构建识别对象分类数据集，从而得到树木与建筑物抠像图分类数据集；
(2)通过采用机器学习方法进行训练学习从而产生树木与建筑物在特征量空间区域划分模型；
(3)对室外场景图像进行识别；
(4)最后，对所识别得到的场景图像中的立面图像，采用所建的树木与建筑物在特征量空间区域划分模型对场景图像中的树木与建筑物进行识别；
所述的树木与建筑物分类识别特征量的构造包括基于纹理的特征量提取和基于颜色的特征量提取，其中：
(1)基于纹理的特征量提取是指：
首先，对数据集中彩色图块进行灰度变换，然后进行基于Canny算子的边缘检测，接着进行角度在0°～180°围内的Hough变换直线方向统计；在进行边缘检测时，要去除掉图块边缘对特征量的影响；在进行直方图统计前对数据采用公式(2)进行规范化处理；同时用3个统计特征量来表征树木和建筑物图块的区别；分述如下：
①方向线段求和Sl：其方法是将图块中角度从0°～180°范围内基于线段长度的Hough变换直线方向统计直方图数据进行求和计算，得到方向线段求和统计特征量；
具体公式如下：
其中：Li为i角度方向上直线段长度；
②连续零个数Nzero：其方法是将直线段统计直方图中连续零的个数进行累加计算；
具体公式如下：
其中：li为i角度方向上规范化直线段长度；
③线段密度DN：图块中直线段数量除以图块的像素个数；
具体公式如下：
其中：ni为图块中i角度方向上线段的数量，N为图块的像素个数；
(2)基于颜色的特征量提取是指：
采用CIELAB颜色空间，并去除掉L、a、b分量中代表亮度的分量L，将图块平均颜色向量向颜色空间的ab平面投影，并计算其在ab平面上的方向角度，以方向角度作为图块颜色特征量即颜色角θc；
具体公式如下：
其中：为颜色向量在ab平面上的投影；为颜色向量在a轴上的投影；
利用上述构造的四个特征量中的至少三个构成三维或四维空间对树木和建筑物进行识别，所述的四个特征是为Sl,Nzero,θc和DN。
CN201410334008.1A 2014-05-19 2014-07-14 室外场景图像中树木与建筑物的识别方法 Active CN104091180B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201410334008.1A CN104091180B (zh) 2014-07-14 2014-07-14 室外场景图像中树木与建筑物的识别方法
US14/684,431 US9390348B2 (en) 2014-05-19 2015-04-12 Method for categorizing objects in image
US14/684,428 US9471853B2 (en) 2014-05-19 2015-04-12 Method and apparatus for image processing
US14/684,434 US9626598B2 (en) 2014-05-19 2015-04-13 Method and apparatus for image processing
US14/684,433 US9805293B2 (en) 2014-05-19 2015-04-13 Method and apparatus for object recognition in image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410334008.1A CN104091180B (zh) 2014-07-14 2014-07-14 室外场景图像中树木与建筑物的识别方法

Publications (2)

Publication Number Publication Date
CN104091180A CN104091180A (zh) 2014-10-08
CN104091180B true CN104091180B (zh) 2017-07-28

Family

ID=51638895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410334008.1A Active CN104091180B (zh) 2014-05-19 2014-07-14 室外场景图像中树木与建筑物的识别方法

Country Status (1)

Country Link
CN (1) CN104091180B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023137B (zh) * 2016-05-03 2018-10-16 华中科技大学 一种基于轮廓优化的木材计数方法
CN106845352B (zh) * 2016-12-23 2020-09-18 北京旷视科技有限公司 行人检测方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013469A (zh) * 2006-02-02 2007-08-08 富士通株式会社 图像处理方法和图像处理装置
CN101271526A (zh) * 2008-04-22 2008-09-24 深圳先进技术研究院 一种图像处理中物体自动识别并三维重建的方法
CN102446390A (zh) * 2011-03-16 2012-05-09 上海市电力公司 一种对输电线路附近监控区域进行安全检测、预警的方法和系统
CN102880879A (zh) * 2012-08-16 2013-01-16 北京理工大学 基于分布式和svm分类器的室外海量物体识别方法和系统
CN102903238A (zh) * 2012-06-21 2013-01-30 北京中电华远科技有限公司 一种道路交通状况展现系统及其方法
CN103049763A (zh) * 2012-12-07 2013-04-17 华中科技大学 一种基于上下文约束的目标识别方法
CN103605992A (zh) * 2013-11-28 2014-02-26 国家电网公司 一种电力内外网交互中的敏感图像识别方法
CN103632167A (zh) * 2013-11-29 2014-03-12 金陵科技学院 类地重力场环境下单目视觉空间识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7693865B2 (en) * 2006-08-30 2010-04-06 Yahoo! Inc. Techniques for navigational query identification
US9070046B2 (en) * 2012-10-17 2015-06-30 Microsoft Technology Licensing, Llc Learning-based image webpage index selection

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013469A (zh) * 2006-02-02 2007-08-08 富士通株式会社 图像处理方法和图像处理装置
CN101271526A (zh) * 2008-04-22 2008-09-24 深圳先进技术研究院 一种图像处理中物体自动识别并三维重建的方法
CN102446390A (zh) * 2011-03-16 2012-05-09 上海市电力公司 一种对输电线路附近监控区域进行安全检测、预警的方法和系统
CN102903238A (zh) * 2012-06-21 2013-01-30 北京中电华远科技有限公司 一种道路交通状况展现系统及其方法
CN102880879A (zh) * 2012-08-16 2013-01-16 北京理工大学 基于分布式和svm分类器的室外海量物体识别方法和系统
CN103049763A (zh) * 2012-12-07 2013-04-17 华中科技大学 一种基于上下文约束的目标识别方法
CN103605992A (zh) * 2013-11-28 2014-02-26 国家电网公司 一种电力内外网交互中的敏感图像识别方法
CN103632167A (zh) * 2013-11-29 2014-03-12 金陵科技学院 类地重力场环境下单目视觉空间识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
综合灰度与纹理特征的高分辨率星载SAR图像建筑区提取方法研究;徐佳等;《遥感技术与应用》;20121025;第27卷(第5期);692-698 *

Also Published As

Publication number Publication date
CN104091180A (zh) 2014-10-08

Similar Documents

Publication Publication Date Title
CN104850850B (zh) 一种结合形状和颜色的双目立体视觉图像特征提取方法
CN103839065B (zh) 人群动态聚集特征提取方法
CN104063702B (zh) 一种基于遮挡修复和局部相似性匹配的三维步态识别方法
CN105404861B (zh) 人脸关键特征点检测模型的训练、检测方法及系统
CN102722891B (zh) 一种图像显著度检测的方法
CN104778721B (zh) 一种双目图像中显著性目标的距离测量方法
CN110378931A (zh) 一种基于多摄像头的行人目标移动轨迹获取方法及系统
CN101551863B (zh) 基于非下采样轮廓波变换的遥感图像道路提取方法
WO2015180527A1 (zh) 一种图像显著性检测方法
CN103473571B (zh) 一种人体检测方法
CN101866427A (zh) 织物瑕疵检测与分类方法
CN106530281B (zh) 基于边缘特征的无人机图像模糊判断方法及系统
CN105528794A (zh) 基于混合高斯模型与超像素分割的运动目标检测方法
CN104778701A (zh) 一种基于rgb-d传感器的局部图像描述方法
CN104574375A (zh) 结合彩色和深度信息的图像显著性检测方法
CN103247059A (zh) 一种基于整数小波与视觉特征的遥感图像感兴趣区检测方法
CN109118528A (zh) 基于区域分块的奇异值分解图像匹配算法
CN104376334B (zh) 一种多尺度特征融合的行人比对方法
CN107092876A (zh) 基于Retinex与S‑SIFT特征结合的低照度车型识别方法
CN109918971A (zh) 监控视频中人数检测方法及装置
CN105678249B (zh) 针对注册人脸和待识别人脸图片质量不同的人脸识别方法
CN106446925A (zh) 一种基于图像处理的海豚身份识别的方法
CN105931241A (zh) 一种自然场景图像的自动标注方法
CN108629297A (zh) 一种基于空域自然场景统计的遥感图像云检测方法
CN104091180B (zh) 室外场景图像中树木与建筑物的识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20170614

Address after: 211100 Jiangsu province Nanjing city Jiangning high tech park, Tianyuan Road No. 1009

Applicant after: Nanjing original Mdt InfoTech Ltd

Address before: No. 99 Jiangning Road, Nanjing District hirokage 211169 cities in Jiangsu Province

Applicant before: Jinling Institute of Technology

GR01 Patent grant
GR01 Patent grant