CN112613437B - 一种违章建筑识别方法 - Google Patents

一种违章建筑识别方法 Download PDF

Info

Publication number
CN112613437B
CN112613437B CN202011584656.4A CN202011584656A CN112613437B CN 112613437 B CN112613437 B CN 112613437B CN 202011584656 A CN202011584656 A CN 202011584656A CN 112613437 B CN112613437 B CN 112613437B
Authority
CN
China
Prior art keywords
image
illegal
area
areas
sam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011584656.4A
Other languages
English (en)
Other versions
CN112613437A (zh
Inventor
曹志勇
丰佳
毛文利
毛旦生
朱国良
李治国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd filed Critical Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd
Priority to CN202011584656.4A priority Critical patent/CN112613437B/zh
Publication of CN112613437A publication Critical patent/CN112613437A/zh
Application granted granted Critical
Publication of CN112613437B publication Critical patent/CN112613437B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及对输电线路周边违章建筑识别技术领域，提供了一种违章建筑识别方法，包括S1：获取图像；S2：对航拍图像集中的图像进行颜色量化；S3：对量化后图像中，每个像素In的显著值SAM(In)进行计算，获得SAM图像；S4：对SAM图像，进行阈值切割和形态学处理，以在图像中获取违章建筑的潜在区域；S5：通过二阶矩特征计算识别路段区域，并将违章建筑的潜在区域中的路段区域剔除。S6：通过深度学习算法，在航拍图像集上识别出合法区域,所述合法区域包括塔基区域和大型车辆所在区域；S7：在已剔除路段区域的违章建筑的潜在区域中，剔除利用所述步骤S6中识别出的合法区域，获得违章建筑的识别结果；成本低、工作量要求低且识别率高。

Description

一种违章建筑识别方法
技术领域
本发明涉及对输电线路周边违章建筑识别技术领域，具体涉及一种违章建筑识别方法。
背景技术
由于50万伏电力输电线路塔基分布广泛、位置分散及地点偏远，往往坐落在步行难以到达的山区，单靠人工到达现场进行复耕检查效率极其低下。由此，无人机因为其机动性强、环境适应性良好等因素，非常适合于电力塔基的违章建筑检查，此类违章建筑包括：房屋、菜棚、厂房等。通过对无人机塔基GPS坐标的路径规划，无人机可以沿着输变电线路进行航拍，航拍结束后对输变电线路附近的违章建筑进行识别。
传统的无人机巡检输变电线路有三种方法：1、通过3D成像设备对输变电线路进行3维重建，分离具有一定高度的违章建筑。2、通过二次飞行图像采集与前期系统库图像数据进行匹配比对，获取新建的违章建筑。3、通过对违章建筑物体的样本采样进行深度学习训练，然后进行模型推理，识别出违章建筑。
对于第一种，3D重建方法是利用无人机搭载激光雷达或多目可见光相机对输变电线路进行航拍。激光雷达是通过雷达发射系统发送一个信号,经地面物体反射后被接收系统收集,通过测量反射光的运行时间而确定地面物体的距离，从而形成3D点云图像。多目可见光相机是通过2个或者2个以上的相机，在同一视角中对同一区域进行拍摄，计算两个画面之间的视觉差，从而重建3D点云图像。
此方法的设备相对都比较昂贵，而且对于高度较低的建筑，如大棚，无法准确识别。
对于第二种，图像匹配方法是通过在输变电线路建设前期，先对输变电线路进行样本图像获取，并通过人工排查，拆除违章建筑后重新再采集图像样本，直到图像库中的信息是没有违章建筑的标准样本。待输变电线路建设完成，需要检查违章建筑时，重新再对要检查的输变电线路进行航拍，然后将二次航拍图像与系统库中的图像进行匹配，找到同一个区域的图像样本照片，并标出不一样的区域，进而达到违章建筑的检测目的。
此方法对航拍的工作量要求较高，需要二次甚至三次进行样本库建立和航飞检测，同时也很难保证检查是的航飞数据可以精确匹配到样本库中的数据，导致检测误差较大。
对于第三种，深度学习的方法是通过对大量的不同违章建筑图像进行图像采集，然后设计深度神经网络进行模型训练，训练完成后利用模型对违章建筑进行一次识别。
此方法需要对不同违章建筑进行采样建立样本库，然而对于50万伏电力输变电线路附近违章建组形态各异，有农田、房屋、菜棚、工业厂房等等各类不明物体，很难对该类物体实现完全的样本库建立。
因此急需一种成本低、工作量要求低且识别率高的违章建筑识别方法。
发明内容
本发明所要解决的技术问题是克服上述现有对违章建筑识别方法的缺陷，提供一种成本低、工作量要求低且识别率高的违章建筑识别方法。
为实现上述目的，本发明通过以下技术方案得以实现：一种违章建筑识别方法，包括以下步骤，
S1：获取航拍图像集中包含输电线路的图像；
S2：对航拍图像集中的图像进行颜色量化；
S3：对量化后图像中，每个像素In的显著值SAM(In)进行计算，获得SAM图像；
S4：对SAM图像，进行阈值切割和形态学处理，以在图像中获取违章建筑的潜在区域；
S5：通过二阶矩特征计算识别路段区域，并将违章建筑的潜在区域中的路段区域剔除。
S6：通过深度学习算法，在航拍图像集上识别出合法区域,所述合法区域包括塔基区域和大型车辆所在区域；
S7：在已剔除路段区域的违章建筑的潜在区域中，剔除利用所述步骤S6中识别出的合法区域，获得违章建筑的识别结果。
本发明进一步优选方案为：所述颜色量化是按照R*G*B种颜色进行量化，R∈[32,256]，G∈[32,256]，B∈[32,256]。
本发明进一步优选方案为：所述步骤S3中，显著值SAM(In)的计算公式为
Figure GDA0003646788370000021
其中In为第n个量化后图像的颜色值,In∈[0,262144]；Ii为图像中除第n个像素外的其他所有像素颜色值,Ii∈[0,262144]。
本发明进一步优选方案为：在所述步骤S4中，以阈值为0.3±0.1进行切割。
本发明进一步优选方案为：在所述步骤S4中，以卷积核大小为A*A进行形态学处理，A∈[2,4]。
本发明进一步优选方案为：还包括S8：根据所述违章建筑的识别结果，在航拍图像集中包含输电线路的图像上进行标识。
综上所述，本发明具有以下有益效果：
1、采用了量化颜色，通过调整量化值可以控制处理速度和处理精确度之间的权衡；
2、利用了图像颜色一致性的特征，对具有显著特性的目标进行快速识别，大大减少了航飞和样本采集建模的工作量；
3、通过深度学习目标识别方法，剔除了具有固有形态的非违建目标类型，如电力塔基、大型车辆等，提高了准确率；
4、利用显著性目标特征作为识别的基础，对不同光照下的违建目标识别具有很强的鲁棒性；使用了目标特征的二阶矩特征进行路段、输电线路等非违建目标做到了准确的剔除，提高了准确率；
5、使用普通的2D相机，直接对违章建筑进行图像特征识别，避免通过建筑物高度识别方法进行检测，计算量小且成本低；
6、只需对航飞路线完成一次航拍，无需进行图像样本库建立、计算量小且成本低；
7、通过显著物体提取结合形状估计进行目标识别，避免了建筑物样本库建立，计算量小。
图1是本发明所述违章建筑识别方法的流程图。
图2是航拍图像集中包含输电线路的图像。
图3是SAM图像。
图4是经过阈值切割后的图像。
图5是根据违章建筑的识别结果在原图像上的标识。
具体实施方式
以下结合附图对本发明作进一步详细说明。
本实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。
如图1所示，本实施例提供了一种违章建筑识别方法，其特征在于，包括以下步骤，
S1：获取航拍图像集中包含输电线路的图像。
S2：对航拍图像集中的图像进行颜色量化，颜色量化是按照R*G*B种颜色进行量化，R∈[32,256]，G∈[32,256]，B∈[32,256]。
S3：对量化后图像中，每个像素In的显著值SAM(In)进行计算，获得SAM图像。显著值SAM(In)的计算公式为
Figure GDA0003646788370000041
其中In为第n个量化后图像的颜色值,In∈[0,262144]；Ii为图像中除第n个像素外的其他所有像素颜色值,Ii∈[0,262144]。
S4：对SAM图像，进行阈值切割和形态学处理，以在图像中获取违章建筑的潜在区域；这里以阈值为0.3±0.1进行切割，以卷积核大小为A*A进行形态学处理，A∈[2,4]。
S5：通过二阶矩特征计算识别路段区域，并将违章建筑的潜在区域中的路段区域剔除。
S6：通过深度学习算法，在航拍图像集上识别出合法区域,所述合法区域包括塔基区域和大型车辆所在区域。利用深度学习算法识别塔基和大型车辆属于现有技术，该算法模型不再详述。
S7：在已剔除路段区域的违章建筑的潜在区域中，剔除利用所述步骤S6中识别出的合法区域，获得违章建筑的识别结果。
S8：根据所述违章建筑的识别结果，在航拍图像集中包含输电线路的图像上进行标识。
以下通过集成电路或计算机并按照本发明所述违章建筑识别方法进行操作。
首先输入航飞过程中获取的一张航拍图像，如图2所示(原图应为彩色，但为符合附图要求故提供了灰度图)，航飞路径是按照输电线路进行设定的，因此航拍图像里有输电线路的存在，这里的图像为RGB图像。原始输入图像的范围是256*256*256，合计16777216种颜色，这样的图像对于后期的处理计算量是巨大的。故，本发明先对RGB图像做64*64*64种颜色的量化，共计262144种颜色，在极大的降低计算量的同时，仍旧使图像保持有足够的颜色区分度。
接着对量化后图像中，每个像素In的显著值SAM(In)进行计算，获得SAM图像，经过计算后获取的SAM图像如图3所示。由图3观察可以发现，违章物体普遍都具有较亮的区域，也就是有较强的显著性特征。
再对SAM图像，进行阈值切割和形态学处理。经过阈值切割(阈值为0.3)和形态学处理(卷积核大小为3*3)以后，在图像中获取违章建筑的潜在区域，结果如图4所示。由图4可以观察可知，阈值切割后的图像仍然存在部分路段区域和电力塔基区域。因为电力塔基具有较为稳定的形态特征，所以通过深度学习方式可以准确训练和识别塔基的位置，由此可以剔除塔基的区域。而路段区域往往具有长条形的形态，具有很强的二阶矩特征值，所以通过二阶矩特征计算可以剔除路段区域。
在剔除路段区域塔基区域后，获得违章建筑的识别结果并在原图像进行标识，标识如图5所示。

Claims (6)

1.一种违章建筑识别方法，其特征在于，包括以下步骤，
S1：获取航拍图像集中包含输电线路的图像；
S2：对航拍图像集中的图像进行颜色量化；
S3：对量化后图像中，每个像素In的显著值SAM(In)进行计算，获得SAM图像；
S4：对SAM图像，进行阈值切割和形态学处理，以在图像中获取违章建筑的潜在区域；
S5：通过二阶矩特征计算识别路段区域，并将违章建筑的潜在区域中的路段区域剔除；
S6：通过深度学习算法，在航拍图像集上识别出合法区域,所述合法区域包括塔基区域和大型车辆所在区域；
S7：在已剔除路段区域的违章建筑的潜在区域中，剔除利用所述步骤S6中识别出的合法区域，获得违章建筑的识别结果。
2.根据权利要求1所述的违章建筑识别方法，其特征在于，所述颜色量化是按照R*G*B种颜色进行量化，R∈[32,256]，G∈[32,256]，B∈[32,256]。
3.根据权利要求1所述的违章建筑识别方法，其特征在于，所述步骤S3中，显著值SAM(In)的计算公式为
Figure FDA0003646788360000011
其中In为第n个量化后图像的颜色值,In∈[0,262144]；Ii为图像中除第n个像素外的其他所有像素颜色值,Ii∈[0,262144]。
4.根据权利要求1所述的违章建筑识别方法，其特征在于，在所述步骤S4中，以阈值为0.3±0.1进行切割。
5.根据权利要求1所述的违章建筑识别方法，其特征在于，在所述步骤S4中，以卷积核大小为A*A进行形态学处理，A∈[2,4]。
6.根据权利要求1所述的违章建筑识别方法，其特征在于，还包括
S8：根据所述违章建筑的识别结果，在航拍图像集中包含输电线路的图像上进行标识。
CN202011584656.4A 2020-12-28 2020-12-28 一种违章建筑识别方法 Active CN112613437B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011584656.4A CN112613437B (zh) 2020-12-28 2020-12-28 一种违章建筑识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011584656.4A CN112613437B (zh) 2020-12-28 2020-12-28 一种违章建筑识别方法

Publications (2)

Publication Number Publication Date
CN112613437A CN112613437A (zh) 2021-04-06
CN112613437B true CN112613437B (zh) 2022-07-12

Family

ID=75248448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011584656.4A Active CN112613437B (zh) 2020-12-28 2020-12-28 一种违章建筑识别方法

Country Status (1)

Country Link
CN (1) CN112613437B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920425A (zh) * 2021-09-03 2022-01-11 佛山中科云图智能科技有限公司 一种基于神经网络模型的目标违建点获取方法和获取系统
CN114005038A (zh) * 2021-11-08 2022-02-01 浙江力石科技股份有限公司 景区附近违章建筑的识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679495A (zh) * 2017-10-09 2018-02-09 济南大学 一种输电线路周边活动工程车辆的检测方法
EP3295376A1 (en) * 2015-05-15 2018-03-21 Airfusion, Inc. Portable apparatus and method for decision support for real time automated multisensor data fusion and analysis
CN108921826A (zh) * 2018-06-13 2018-11-30 山东信通电子股份有限公司 超像素分割与深度学习相结合的输电线路入侵物检测方法
CN111178264A (zh) * 2019-12-30 2020-05-19 国网浙江省电力有限公司电力科学研究院 一种用于对无人机航拍图像中铁塔塔基姿态的估计算法
CN111209894A (zh) * 2020-02-10 2020-05-29 上海翼枭航空科技有限公司 道路航拍图像的路边违章建筑识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3295376A1 (en) * 2015-05-15 2018-03-21 Airfusion, Inc. Portable apparatus and method for decision support for real time automated multisensor data fusion and analysis
CN107679495A (zh) * 2017-10-09 2018-02-09 济南大学 一种输电线路周边活动工程车辆的检测方法
CN108921826A (zh) * 2018-06-13 2018-11-30 山东信通电子股份有限公司 超像素分割与深度学习相结合的输电线路入侵物检测方法
CN111178264A (zh) * 2019-12-30 2020-05-19 国网浙江省电力有限公司电力科学研究院 一种用于对无人机航拍图像中铁塔塔基姿态的估计算法
CN111209894A (zh) * 2020-02-10 2020-05-29 上海翼枭航空科技有限公司 道路航拍图像的路边违章建筑识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Visual attention detection in video sequences using spatiotemporal cues;ZHAI Yun，et al.;《Multimedia》;20061231;全文 *
基于双向融合机制的建筑目标检测方法;金泰松 等;《计算机应用研究》;20081231;全文 *

Also Published As

Publication number Publication date
CN112613437A (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN104091369B (zh) 一种无人机遥感影像建筑物三维损毁检测方法
CN109146889B (zh) 一种基于高分辨率遥感图像的农田边界提取方法
CN110599537A (zh) 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统
Bryson et al. Kite aerial photography for low-cost, ultra-high spatial resolution multi-spectral mapping of intertidal landscapes
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN101509782B (zh) 一种小型地标捕获定位方法
CN112613437B (zh) 一种违章建筑识别方法
KR20060013640A (ko) 항공 화상의 자동 처리
KR20220122381A (ko) 드론을 이용한 수질현황 모니터링 방법 및 시스템
CN111007531A (zh) 一种基于激光点云数据的道路边沿检测方法
CN110245566B (zh) 一种基于背景特征的红外目标远距离追踪方法
CN112445241A (zh) 一种基于无人机遥感技术的地表植被识别方法、系统及可读存储介质
CN106446785A (zh) 基于双目视觉的可行道路检测方法
Xiao et al. Geo-spatial aerial video processing for scene understanding and object tracking
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
Barrile et al. 3D modeling with photogrammetry by UAVs and model quality verification
Al-Rawabdeh et al. A robust registration algorithm for point clouds from UAV images for change detection
CN111950524B (zh) 一种基于双目视觉和rtk的果园局部稀疏建图方法和系统
CN113378754A (zh) 一种工地裸土监测方法
Maurer et al. Automated inspection of power line corridors to measure vegetation undercut using UAV-based images
CN111899289A (zh) 一种基于图像特征信息的红外图像与可见光图像的配准方法
Douret et al. A multi-cameras 3d volumetric method for outdoor scenes: a road traffic monitoring application
CN114742955A (zh) 洪灾预警方法、装置、电子设备及存储介质
Sewiko et al. The use of drone and visible atmospherically resistant index (vari) algorithm implementation in mangrove ecosystem health’s monitoring
CN114119713A (zh) 一种基于人工智能与无人机遥感的林地空秃检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant