CN115049935B - 一种城市违章建筑分割检测方法 - Google Patents
一种城市违章建筑分割检测方法 Download PDFInfo
- Publication number
- CN115049935B CN115049935B CN202210964252.0A CN202210964252A CN115049935B CN 115049935 B CN115049935 B CN 115049935B CN 202210964252 A CN202210964252 A CN 202210964252A CN 115049935 B CN115049935 B CN 115049935B
- Authority
- CN
- China
- Prior art keywords
- building
- illegal
- projection
- erp
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geophysics And Detection Of Objects (AREA)
- Image Processing (AREA)
Abstract
本发明属于违章建筑检测技术领域,涉及一种城市违章建筑分割检测方法,通过从粗到精的多阶段处理方法,将违章建筑分割出来,实现违章建筑的精细化检测和分割,并通过无人机航拍违规建筑,能够以全景的方式展示,直观反应违建的位置和外形,相对于卫星拍摄更加准确,克服了卫星拍摄违建时雨雪大雾天气拍摄受限的问题,减少了人工拍摄的成本,以低成本实现违章建筑的分割和检测。
Description
技术领域
本发明属于违章建筑检测技术领域,涉及一种城市违章建筑分割检测方法,特别是一种基于360度全景无人机航拍视频的城市违章建筑分割检测方法。
背景技术
随着经济的发展和社会的进步,外来人口不断涌入城市,使得城市的管理变得越来越复杂,尤其是城市中的违章建筑需要时刻关注,因为有非常多的安全问题是由于违章建筑导致的,甚至出现过非常多的违章建筑导致的房屋大面积倒塌,给人民的生命和财产安全造成隐患。
目前城市的违章建筑主要基于高分辨率的遥感影像,但是这种方式需要非常高的分辨率,且受到天气和遮挡的影响,甚至只能依靠人工统计和拍照才能及时发现,造成非常大的人力物力财力的消耗。
无人机应用发展非常迅速,尤其是无人机航拍,拍摄的照片清晰且能够实现360度全景拍摄,能够克服复杂条件下的拍摄问题,且无人机机动性好,即使隐蔽性非常强的违章建筑也能及时发现,目前无人机已经应用在各行各业;深度学习技术不断被应用到各行各业中,因为其强大的数据拟合能力,能够迅速提升预测和检测性能,目前发展非常迅速,其对传统行业具有颠覆性的改进,现有基于深度学习的深度学习算法往往基于边缘,不能充分挖掘深度学习特征的内部蕴含的尺度级特征,甚至对于语义信息的利用也很少涉及,而且传统无人机拍摄方法为基于2D相机,但是2D相机拍摄为单一角度,需要手工对齐,存在非常大的盲区,且仅仅为单一角度,无法直观的观察违规建筑的外形。
发明内容
本发明的目的在于克服现有技术存在的缺点,设计提供一种基于360度全景无人机航拍视频的城市违章建筑分割检测方法,通过从粗到精的多阶段处理方法,将违章建筑分割出来,且能够实现违章建筑的精细化检测和分割。
为实现上述目的,本发明实现城市违章建筑分割检测的过程具体包括如下步骤:
步骤一、构建城市违章建筑数据集:采集基于360度全景无人机航拍视频的城市违章建筑视频数据,组建360度全景无人机航拍视频数据集,视频拍摄帧数为20帧/秒,每段视频包含10秒长度;
步骤二、转化鱼眼图片为等距投影(ERP)图片:将无人机拍摄的鱼眼视频截取为鱼眼图片,通过归一化函数将鱼眼的坐标归一化,将鱼眼图片转化为等距投影图片;
步骤三、基于等距投影图片的违章建筑粗标注:根据步骤二得到的等距投影图片,采用每间隔10帧标记一帧的方式标注违章建筑数据集,再采用labelImage软件对志愿者进行标注,标注的志愿者为经过违建培训后的志愿者,总共包含N’=10个标注的志愿者,数据集标注过程采用交叉标注的方式,每张违建标注数据集被随机发放给N’个志愿者,每个志愿者M次,1<M<4,得到ERP粗标注数据;
步骤四、设计违章建筑检测网络:采用粗定位网络和精细化定位网路相结合的双阶段方式构建违章检测网络,将步骤三得到的ERP粗标注数据输入粗定位网络,在输出的检测结果基础上,对相邻帧外围边界框采用帧间平滑的方式引入相邻帧的时序信息,得到违建区域外围边界框BB;
步骤九、基于分割结果的定位迭代精细化:将步骤八得到的建筑分割结果的外围边界框投影到ERP上从而产生精细化的基于ERP的违规建筑定位结果,从而提升基于ERP的违规建筑的网络训练的精度,达到迭代化提升违规建筑定位结果的目的,实现城市违章建筑分割检测。
作为本发明的进一步技术方案,步骤五的具体过程为:,其中将违建外围边界框BB的中心点坐标(X,Y)进行等距投影得到2D坐标(u,), 2D坐标到
3D转化函数将2D坐标转化为3D坐标(x,y,z),三维坐标转球面坐标函数将3D坐标转
化为球面坐标(), 其中
作为本发明的进一步技术方案,步骤六生成的投影范围(p,q)为:
作为本发明的进一步技术方案,步骤八得到的建筑分割结果为:
本发明与现有技术相比,通过无人机航拍违规建筑,能够以全景的方式展示,直观反应违建的位置和外形,相对于卫星拍摄更加准确,克服了卫星拍摄违建时雨雪大雾天气拍摄受限的问题,减少了人工拍摄的成本,以低成本实现违章建筑的分割和检测。
附图说明
图1为本发明的工作流程示意框图。
图2为本发明所采用的网络结构图。
具体实施方式
下面通过实施例并结合附图对本发明作进一步说明。
实施例:
本实施例实现城市违章建筑分割检测的流程图和网络图分别为图1和2所示,具体实施包括如下步骤:
步骤一、构建城市违章建筑数据集:
先采集基于360度全景无人机航拍视频的城市违章建筑视频数据,组建360度全景无人机航拍视频数据集,为节省存储空间,视频拍摄帧数为20帧/秒,每段视频包含10秒长度;无人机采用大疆无人机mini2,搭载ins360全景相机,为拍摄的图片能够用于全景视频生成,本实施例采用将无人机前后拍摄两张鱼眼照片的方式生成鱼眼视频,这样生成的视频为全景的方式且无死角和盲区,而且为节省后续处理时间,采用旋转摄像头180度的方式拍摄,同时,摄像头的拍摄范围固定为180度光圈,解决后续因为拍摄重叠导致需要人工配准的问题;
步骤二、转化鱼眼图片为等距投影(ERP):
将无人机拍摄的鱼眼视频截取为鱼眼图片,并通过归一化函数将鱼眼的坐标归一
化,鱼眼图片到等距投影图片的转化方式为先将鱼眼图片转化为三维坐标(x,y,z),再转化
为球面坐标(),最后将球面坐标与等角投影坐标映射:
步骤三、基于ERP的违章建筑粗标注:
目前尚未有违章建筑标注数据集,因此,本实施例采用人工标注数据集的方式将违章建筑标注,为加快标注速度,采用跳帧的方式标注违章建筑数据集,即每间隔10帧标记一帧的违章建筑,再采用labelImage软件对志愿者进行标注,标注的志愿者为经过违建培训后的志愿者,总共包含N’=10个标注的志愿者;为增加数据集标注的可靠性,数据集标注过程采用交叉标注的方式,即每张违建标注数据集将被随机发放给N’个志愿者,每个志愿者M次,1<M<4,本实施例将上述标注解释为粗标注,主要原因为标注过程基于ERP数据,物体存在形变,因此,标注并不是精确的标注,后续步骤会检测迭代使得标注精细化;
步骤四、基于从粗到精的ERP的违章建筑检测网络:
根据步骤三生成的违章建筑标注数据,训练违章建筑预测网络,由于ERP投影会产生物体拉伸形变,导致物体失去原有的形状,且物体即使未发生形变,也会因为物体所处的位置发生形变,导致物体检测失效,因此,本实施例采用双阶段的方式,即粗定位和精细化定位结合,其中粗定位网络基于YoloV5,基于ERP粗标注数据以微调的方式训练YoloV5网络, YoloV5网络针对2D图片作为输入,在检测结果的基础上,为了引入相邻帧的时序信息,对相邻帧外围边界框采用帧间平滑的方式,得到违建区域外围边界框:
步骤五、基于ERP违章建筑检测结果逆投影:
通过步骤四能够获得违建区域外围边界框BB,但是上述方式得到的外围边界框为粗定位结果,为解决上述问题,用基于中心点的违建逆投影,通过将中心点逆投影,能够将违建以球面的形式投影到未失真的360球上:
步骤六、区域大小自适应投影范围生成:
步骤七、基于中心点投影的二次投影:
步骤八、基于二次违章建筑区域的违章建筑分割:
其中BS为BuildingSegmentation代表最终的违规建筑分割结果;
步骤九、基于分割结果的定位迭代精细化:
通过步骤八能够得到违规建筑的分割结果,而分割的结果的外围边界框即为违规建筑的精细化定位,通过外围边界框投影到ERP上从而产生精细化的基于ERP的违规建筑定位结果,从而提升基于ERP的违规建筑的网络训练的精度,达到迭代化提升违规建筑定位结果的目的:
本文中未详细说明的网络结构、算法以及计算过程均为本领域通用技术。
需要注意的是,公布实施例的目的在于帮助进一步理解本发明,但是本领域的技术人员可以理解:在不脱离本发明及所附权利要求的精神和范围内,各种替换和修改都是可能的。因此,本发明不应局限于实施例所公开的内容,本发明要求保护的范围以权利要求书界定的范围为准。
Claims (7)
1.一种城市违章建筑分割检测方法,其特征在于,具体包括如下步骤:
步骤一、构建城市违章建筑数据集:采集基于360度全景无人机航拍视频的城市违章建筑视频数据,组建360度全景无人机航拍视频数据集,视频拍摄帧数为20帧/秒,每段视频包含10秒长度;
步骤二、转化鱼眼图片为等距投影ERP图片:将无人机拍摄的鱼眼视频截取为鱼眼图片,通过归一化函数将鱼眼的坐标归一化,将鱼眼图片转化为等距投影ERP图片;
步骤三、基于等距投影图片的违章建筑粗标注:根据步骤二得到的等距投影图片,采用每间隔10帧标记一帧的方式标注违章建筑数据集,再采用labelImage软件进行标注,标注的志愿者为经过违建培训后的志愿者,总共包含N’=10个标注的志愿者,数据集标注过程采用交叉标注的方式,每张违建标注数据集被随机发放给N’个志愿者,每个志愿者M次,1<M<4,得到ERP粗标注数据;
步骤四、设计违章建筑检测网络:采用粗定位网络和精细化定位网路相结合的双阶段方式构建违章检测网络,将步骤三得到的ERP粗标注数据输入粗定位网络,在输出的检测结果基础上,对相邻帧外围边界框采用帧间平滑的方式引入时序信息,得到违建区域外围边界框BB;
步骤九、基于分割结果的定位迭代精细化:将步骤八得到的建筑分割结果的外围边界框投影到ERP上从而产生精细化的基于ERP的违规建筑定位结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210964252.0A CN115049935B (zh) | 2022-08-12 | 2022-08-12 | 一种城市违章建筑分割检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210964252.0A CN115049935B (zh) | 2022-08-12 | 2022-08-12 | 一种城市违章建筑分割检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115049935A CN115049935A (zh) | 2022-09-13 |
CN115049935B true CN115049935B (zh) | 2022-11-11 |
Family
ID=83167099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210964252.0A Active CN115049935B (zh) | 2022-08-12 | 2022-08-12 | 一种城市违章建筑分割检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115049935B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115423812B (zh) * | 2022-11-05 | 2023-04-18 | 松立控股集团股份有限公司 | 一种全景监控平面化展示方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101574636B1 (ko) * | 2015-07-23 | 2015-12-07 | 주식회사 지오스토리 | 면형방식 디지털 항공카메라로 촬영한 시계열 항공사진을 입체시하여 좌표를 연동하고 변화지역을 판독하는 시스템 |
AU2020101435A4 (en) * | 2020-07-21 | 2020-08-27 | Southwest University | A panoramic vision system based on the uav platform |
CN112215190A (zh) * | 2020-10-21 | 2021-01-12 | 南京智慧航空研究院有限公司 | 基于yolov4模型的违章建筑检测方法 |
CN112270670A (zh) * | 2020-11-09 | 2021-01-26 | 云南电网有限责任公司昆明供电局 | 一种电网巡检中的全景目标检测方法 |
CN113822247A (zh) * | 2021-11-22 | 2021-12-21 | 广东泰一高新技术发展有限公司 | 基于航拍影像的违章建筑识别方法及系统 |
CN114745528A (zh) * | 2022-06-13 | 2022-07-12 | 松立控股集团股份有限公司 | 一种高位全景视频安全监控方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111460967B (zh) * | 2020-03-27 | 2024-03-22 | 北京百度网讯科技有限公司 | 一种违法建筑识别方法、装置、设备及存储介质 |
CN112215189A (zh) * | 2020-10-21 | 2021-01-12 | 南京智慧航空研究院有限公司 | 违章建筑精确检测系统 |
-
2022
- 2022-08-12 CN CN202210964252.0A patent/CN115049935B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101574636B1 (ko) * | 2015-07-23 | 2015-12-07 | 주식회사 지오스토리 | 면형방식 디지털 항공카메라로 촬영한 시계열 항공사진을 입체시하여 좌표를 연동하고 변화지역을 판독하는 시스템 |
AU2020101435A4 (en) * | 2020-07-21 | 2020-08-27 | Southwest University | A panoramic vision system based on the uav platform |
CN112215190A (zh) * | 2020-10-21 | 2021-01-12 | 南京智慧航空研究院有限公司 | 基于yolov4模型的违章建筑检测方法 |
CN112270670A (zh) * | 2020-11-09 | 2021-01-26 | 云南电网有限责任公司昆明供电局 | 一种电网巡检中的全景目标检测方法 |
CN113822247A (zh) * | 2021-11-22 | 2021-12-21 | 广东泰一高新技术发展有限公司 | 基于航拍影像的违章建筑识别方法及系统 |
CN114745528A (zh) * | 2022-06-13 | 2022-07-12 | 松立控股集团股份有限公司 | 一种高位全景视频安全监控方法 |
Non-Patent Citations (4)
Title |
---|
Automatic change detection of buildings in urban environment from very high spatial resolution images using existing geodatabase and prior knowledge;MouradBouziani et al;《ISPRS Journal of Photogrammetry and Remote Sensing》;20100131;第143-153页 * |
Object Detection in Equirectangular Panorama;Wenyan Yang et al;《arXiv》;20180521;第1-6页 * |
低空无人机辅助城市违章建筑测量;林贤恩;《福建建材》;20180420(第04期);第27-29页及第68页 * |
移动道路测量技术在数字城管建设中的应用;宋杨等;《测绘工程》;20160225(第02期);第42-46页 * |
Also Published As
Publication number | Publication date |
---|---|
CN115049935A (zh) | 2022-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103325112B (zh) | 动态场景中运动目标快速检测方法 | |
CN113673425B (zh) | 一种基于Transformer的多视角目标检测方法及系统 | |
Chen et al. | Surrounding vehicle detection using an FPGA panoramic camera and deep CNNs | |
CN106952286A (zh) | 基于运动显著图和光流矢量分析的动态背景目标分割方法 | |
Ai et al. | Deep learning for omnidirectional vision: A survey and new perspectives | |
CN105046649A (zh) | 一种去除运动视频中运动物体的全景图拼接方法 | |
Lee et al. | SpherePHD: Applying CNNs on 360${}^\circ $∘ Images With Non-Euclidean Spherical PolyHeDron Representation | |
CN114255197B (zh) | 一种红外与可见光图像自适应融合对齐方法及系统 | |
Pintore et al. | Recovering 3D existing-conditions of indoor structures from spherical images | |
CN113689331B (zh) | 一种复杂背景下的全景图像拼接方法 | |
CN115049935B (zh) | 一种城市违章建筑分割检测方法 | |
CN105787876A (zh) | 一种基于surf特征跟踪匹配的全景视频自动拼接方法 | |
Aeschliman et al. | Tracking vehicles through shadows and occlusions in wide-area aerial video | |
Zhou et al. | Adapting semantic segmentation models for changes in illumination and camera perspective | |
CN116052095B (zh) | 一种用于智慧城市全景视频监控的车辆重识别方法 | |
CN112055192B (zh) | 图像处理方法、图像处理装置、电子设备及存储介质 | |
Liu et al. | Content-aware unsupervised deep homography estimation and its extensions | |
Wan et al. | Drone image stitching using local mesh-based bundle adjustment and shape-preserving transform | |
CN115376028A (zh) | 基于稠密特征点拼接和改进型yolov 5的目标检测方法 | |
Wang et al. | PVF-DectNet: Multi-modal 3D detection network based on Perspective-Voxel fusion | |
Huang et al. | Overview of LiDAR point cloud target detection methods based on deep learning | |
Li et al. | Monocular 3-D Object Detection Based on Depth-Guided Local Convolution for Smart Payment in D2D Systems | |
Li et al. | 2.5 D-VoteNet: Depth Map based 3D Object Detection for Real-Time Applications. | |
Schneider | Visual hull | |
CN115272450A (zh) | 一种基于全景分割的目标定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |