CN111599007B - 一种基于无人机航拍的智慧城市cim道路贴图方法 - Google Patents

一种基于无人机航拍的智慧城市cim道路贴图方法 Download PDF

Info

Publication number
CN111599007B
CN111599007B CN202010456397.0A CN202010456397A CN111599007B CN 111599007 B CN111599007 B CN 111599007B CN 202010456397 A CN202010456397 A CN 202010456397A CN 111599007 B CN111599007 B CN 111599007B
Authority
CN
China
Prior art keywords
image
key point
aerial
road
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010456397.0A
Other languages
English (en)
Other versions
CN111599007A (zh
Inventor
王梅莹
张仲靖
黄艳伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wang Meiying
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010456397.0A priority Critical patent/CN111599007B/zh
Publication of CN111599007A publication Critical patent/CN111599007A/zh
Application granted granted Critical
Publication of CN111599007B publication Critical patent/CN111599007B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于无人机航拍的智慧城市CIM道路贴图方法,其步骤为:构建城市的CIM;利用无人机获取航拍图像;基于卷积神经网络提取航拍图像中的特定关键点,特定关键点包括道路花坛中心点和车道线角点;将得到的关键点采用暴力匹配算法匹配后进行图像配准和图像融合操作,得到完整的城市道路航拍图像;将完整的城市道路航拍图像投影到CIM中的道路上实现道路贴图,并结合Web GIS技术进行可视化处理。该方法在航拍图像中选取特定关键点进行匹配,提高了关键点匹配速度和匹配准确率的同时可以达到预期的图像拼接效果。

Description

一种基于无人机航拍的智慧城市CIM道路贴图方法
技术领域
本发明属于人工智能、CIM领域,尤其是涉及一种基于无人机航拍的智慧城市CIM道路贴图方法。
背景技术
智慧城市的产生源自物联网、云计算、移动互联网、人工智能为代表的新一代信息技术与知识社会环境下逐步孕育的开放的城市创新生态。智慧城市强调的是利用新一代信息技术和各类通信终端融合,实现城市智慧式管理和运行。城市建设应抓住技术带来的便利,依托BIM等信息化技术,构建城市专属CIM模型,不断整合资源,找准定位,探索智慧城市建设新路径,提升城市服务水平和服务质量。在城市三维建模技术中,模型的贴图是建模中的一个十分重要的组成部分,它可以赋予模型纹理,给人以更真实、更直观的视觉感受。
目前在三维建模方面,模型的贴图主要通过人为制作或相机拍摄等手段,存在时间长、成本高等问题。而现有特征提取技术如SIFT算法、SURF算法、ORB算法等,在提取特征时,其提取的特征点不是特定的,因此存在耗时长、计算复杂的问题。
发明内容
本发明针对上述现有获取三维模型贴图技术存在的问题,提出了一种基于无人机航拍的智慧城市CIM道路贴图方法,其步骤为:
步骤一,构建城市的CIM;
步骤二,获取航拍图像,其中,航拍图像是利用图像采集装备采集到的城市地面道路图像,图像采集装备设置在无人机上;
步骤三,基于卷积神经网络对步骤二中采集到的城市地面道路图像进行处理得到关键点热力图,卷积神经网络包括关键点编码器和关键点解码器,关键点编码器的输入为归一化后的航拍图像,进行特征提取,输出为特征图,关键点解码器对特征图进行上采样与特征提取,得到关键点热力图;对关键点热力图进行后处理,得到关键点坐标,完成特定关键点的提取,其中,特定关键点包括道路花坛中心点和车道线角点;关键点热力图的像素值值域为[0,1]之间的浮点数,进行可视化时需要将像素值乘255;
步骤四,对得到的特定关键点采用匹配算法进行关键点匹配,得到航拍图像的匹配点集,其中,匹配算法具体步骤为:对两张图像进行关键点匹配时,在其中一张图像中选取一个关键点,依次与另一张图像中的每个关键点进行距离测试,返回另一张图像中与该关键点距离最近的关键点,按照此步骤完成图像中所有关键点的匹配;
步骤五,根据匹配点集对航拍图像进行图像配准和图像融合操作完成图像拼接,得到完整的城市道路航拍图像,其中,需要进行图像拼接操作的图像存在重叠区域;
步骤六,将所述完整的城市道路航拍图像投影到CIM中,并结合Web GIS技术进行可视化处理。
城市的CIM以三维的城市空间地理信息为基础,并在此基础上叠加城市建筑、地上地下设施的BIM信息以及城市物联网信息。
卷积神经网络的训练:选择图像采集装备采集到的航拍图像作为训练数据集,以航拍图像中特定关键点进行高斯核卷积后得到的热斑标注数据集,采用L2损失函数进行网络的训练。
步骤五根据得到的匹配点集求出将航拍图像转换到同一坐标系的单应性变换矩阵,根据求出的单应性变换矩阵进行图像配准,对配准以后的图像进行加权融合,完成图像拼接。
本发明的有益效果在于:
1.现有图像拼接特征提取技术提取特征点的实时性不高,并且对于边缘光滑目标特征点的提取能力较弱,且提取的特征点不是特定的,而本发明是对道路图像进行拼接,采集到的道路图像中其他多余的干扰特征较少,因此相对于传统方法提取非特定的关键点,本发明只需提取图像中的特定关键点就可以达到预期的图像拼接效果,由于该方法在航拍图像中选取的关键点是特定的,其在进行关键点匹配时的匹配速度更快,稳定性更好,匹配准确率更高。
2.本发明采用卷积神经网络对图像进行处理,获取航拍图像中的特定关键点,相较于现有提取关键点的方法,基于卷积神经网络提取关键点的计算能力更强,处理速度更快,并且其关键点提取的准确率更高,有效缩短了提取关键点所需的时间,并且卷积神经网络可以利用数据增强技术来提高模型的泛化能力,增强神经网络的鲁棒性。
3.本发明采用无人机对城市道路进行图像采集,不受交通情况的影响,解决了通过人为制作或相机拍摄时间长、成本高的问题,而且利用无人机对道路进行拍摄,得到的即为俯视图,因此可以更方便地实现道路的贴图。
附图说明
图1为该方法的实施流程图。
具体实施方式
为了让本领域技术人员更好的理解本发明,下面结合实施例和附图对本发明展开详细的描述,参见图1。
实施例以两张航拍图像为例:
一种基于无人机航拍的智慧城市CIM道路贴图方法,该方法的实施流程如图1所示,其步骤为:
步骤一,构建城市的CIM;
城市的CIM以三维的城市空间地理信息为基础,并在此基础上叠加城市建筑、地上地下设施的BIM信息以及城市物联网信息构建起三维数字空间的城市信息模型,其包括三维城市空间模型和城市信息、地理信息、相机感知信息;且该城市的CIM会随着智慧城市建设进度的不断推进而实时更新。
步骤二,获取航拍图像,其中,航拍图像是利用图像采集装备采集到的城市地面道路图像,图像采集装备设置在无人机上。其中,采集到的两张航拍图像要有重叠区域,方便图像拼接。
采用无人机进行拍摄,是因为无人机不仅具有俯视拍摄的特点,而且能在人不宜去的地方执行任务,如城市道路,可能存在大量车辆通行的状况。
优选地,利用无人机在无车通行时进行拍摄,以保证道路贴图的简洁性。对道路经常拥堵的路段进行图像采集时,若采集到的图像中车辆较多时,可预先对图像中的车辆进行消除处理。
现有的关键点提取技术特征提取实时性不高,提取的关键点也不是特定的,且对于边缘光滑目标的特征点提取能力较弱。卷积神经网络可以利用数据增强技术来提高模型的泛化能力,增强神经网络的鲁棒性。本发明是对道路图像进行拼接,图像中的干扰特征较少,只需选定一些特定的关键点就可以达到预期的拼接效果,因此本发明基于卷积神经网络提取图像中的特定关键点,在对特定关键点进行关键点匹配时,其匹配速度更快,避免了特征匹配不稳定的问题。
步骤三,基于卷积神经网络对步骤二中采集到的城市地面道路图像中的特定关键点进行高斯核卷积,得到关键点热力图,对关键点热力图进行后处理,得到关键点坐标,完成特定关键点的提取,具体地,对两张有重叠区域的图像都要进行特定关键点的提取,其中,特定关键点包括道路花坛中心点和车道线角点。
卷积神经网络包括关键点编码器和关键点解码器,其中,关键点编码器的输入为归一化后的航拍图像,进行特征提取,输出为特征图,关键点解码器对特征图进行上采样与特征提取,得到关键点热力图。对关键点热力图进行后处理,得到关键点的坐标。
卷积神经网络的训练:
将获取到的航拍图像作为训练数据集;
对航拍图像中的特定关键点进行标注,特定关键点包括道路花坛中心点或角点、车道线角点,标注好后,以特定关键点进行高斯核卷积后得到的热斑作为标签数据;
为了让网络更好的收敛,对航拍图像、标签数据进行归一化处理,将其值域归到[0,1]区间,将归一化后的标签数据与航拍图像送入卷积神经网络进行训练;
损失函数选择L2损失函数,其公式如下:
Figure GDA0002771181980000031
Yi为目标值,f(xi)为模型输出(估计值),n为样本数。
关键点编码器和关键点解码器建议采用HR Net、Hourglass等预训练模型来实现,这样可以更好、更快的收敛。同时,实施者也可根据应用需求,采用轻量级网络Mobile Net、Shuffle Net等网络的Block设计实现关键点提取。
在此说明,网络输出的关键点热力图的像素值值域为[0,1]之间的浮点数,如果要进行可视化,需要将像素值乘255。
步骤四,对得到的特定关键点采用暴力匹配算法进行关键点匹配,得到航拍图像的匹配点集;具体地:
在第一幅图像特定关键点中选取一个关键点a然后依次与第二幅图像中的每个关键点进行距离测试,返回第二幅图像中与关键点a距离最近的关键点,其中,可采用欧氏距离或汉明距离进行距离测试,按照上述步骤完成两张图像中所有关键点的匹配,得到两张航拍图像的匹配点集。
步骤五,对航拍图像进行图像配准和图像融合操作,得到完整的城市道路航拍图像。
图像配准,即将两张图像转换到同一坐标下,需要求两个匹配点集之间的单应性变换矩阵。
经过图像配准后即可得到两幅图像拼接后的图像,而两张图像交界处的过渡会因为图像光照色泽的不同有明显的不同,所以需要特定的处理,即图像融合,图像融合方法有许多种,实施例采用加权融合,在重叠部分由前一幅图像慢慢过渡到第二幅图像,即将图像重叠区域的像素值按一定的权值相加合成新的图像。实施者也可采用其他融合的方法,如羽化融合算法、金字塔融合算法等。
按照上述实施例原理完成所有航拍图像的拼接,得到完整的城市道路航拍图像。
步骤六,将得到的完整的城市道路航拍图像投影到CIM中的道路上,实现道路贴图,并结合Web GIS技术进行可视化处理,将城市的道路场景展现在Web中。
本发明对航拍图像提取特定关键点,并进行关键点匹配,完成图像拼接,其中,提取特定关键点的技术特征与本发明中的其他技术特征功能上相互支持、存在相互作用关系,使本发明可以只提取航拍图像中的特定关键点就可以很好的完成图像拼接,达到预期的拼接效果。
以上所述旨在让技术人员更好的理解本发明,并不用于限制本发明。

Claims (4)

1.一种基于无人机航拍的智慧城市CIM道路贴图方法,其特征在于,该方法包括:
步骤一,构建城市的CIM;
步骤二,获取航拍图像,其中,所述航拍图像是利用图像采集装备采集到的城市地面道路图像,所述图像采集装备设置在无人机上;
步骤三,基于卷积神经网络对步骤二中采集到的所述城市地面道路图像进行处理得到关键点热力图,所述卷积神经网络包括关键点编码器和关键点解码器,关键点编码器的输入为归一化后的航拍图像,进行特征提取,输出为特征图,关键点解码器对所述特征图进行上采样与特征提取,得到关键点热力图;对所述关键点热力图进行后处理,得到关键点坐标,完成特定关键点的提取,其中,所述特定关键点包括道路花坛中心点和车道线角点;关键点热力图的像素值值域为[0,1]之间的浮点数,进行可视化时需要将像素值乘255;
步骤四,对得到的所述特定关键点采用匹配算法进行关键点匹配,得到航拍图像的匹配点集,其中,匹配算法具体步骤为:对两张图像进行关键点匹配时,在其中一张图像中选取一个关键点,依次与另一张图像中的每个关键点进行距离测试,返回另一张图像中与该关键点距离最近的关键点,按照此步骤完成图像中所有关键点的匹配;
步骤五,根据匹配点集对航拍图像进行图像配准和图像融合操作完成图像拼接,得到完整的城市道路航拍图像,其中,需要进行图像拼接操作的图像存在重叠区域;
步骤六,将所述完整的城市道路航拍图像投影到CIM中,并结合Web GIS技术进行可视化处理。
2.如权利要求1所述的方法,其特征在于,城市的CIM以三维的城市空间地理信息为基础,并在此基础上叠加城市建筑、地上地下设施的BIM信息以及城市物联网信息。
3.如权利要求1所述的方法,其特征在于,卷积神经网络的训练:选择图像采集装备采集到的航拍图像作为训练数据集,以航拍图像中特定关键点进行高斯核卷积后得到的热斑标注数据集,采用L2损失函数进行网络的训练。
4.如权利要求1所述的方法,其特征在于,步骤五根据得到的匹配点集求出将航拍图像转换到同一坐标系的单应性变换矩阵,根据求出的单应性变换矩阵进行图像配准,对配准以后的图像进行加权融合,完成图像拼接。
CN202010456397.0A 2020-05-26 2020-05-26 一种基于无人机航拍的智慧城市cim道路贴图方法 Active CN111599007B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010456397.0A CN111599007B (zh) 2020-05-26 2020-05-26 一种基于无人机航拍的智慧城市cim道路贴图方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010456397.0A CN111599007B (zh) 2020-05-26 2020-05-26 一种基于无人机航拍的智慧城市cim道路贴图方法

Publications (2)

Publication Number Publication Date
CN111599007A CN111599007A (zh) 2020-08-28
CN111599007B true CN111599007B (zh) 2021-05-25

Family

ID=72181332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010456397.0A Active CN111599007B (zh) 2020-05-26 2020-05-26 一种基于无人机航拍的智慧城市cim道路贴图方法

Country Status (1)

Country Link
CN (1) CN111599007B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112468780A (zh) * 2020-11-24 2021-03-09 中国南方电网有限责任公司超高压输电公司检修试验中心 变压器设备远程试验监督方法
CN112668757A (zh) * 2020-12-15 2021-04-16 山东鲁能软件技术有限公司 一种电网规划gis图形与政府控规图融合方法、装置及系统
CN114554158A (zh) * 2022-02-28 2022-05-27 重庆长安汽车股份有限公司 一种基于道路交通场景下的全景视频拼接方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009135151A1 (en) * 2008-05-02 2009-11-05 Eyeic, Inc. System for using image alignment to map objects across disparate images
KR101815581B1 (ko) * 2016-10-26 2018-01-05 연세대학교 산학협력단 Gis 및 하수관망 정보모델을 이용한 도로 침수 구역 판단 시스템 및 방법
CN107967693B (zh) * 2017-12-01 2021-07-09 北京奇虎科技有限公司 视频关键点处理方法、装置、计算设备及计算机存储介质
CN108416292B (zh) * 2018-03-08 2020-07-31 西安因诺航空科技有限公司 一种基于深度学习的无人机航拍图像道路提取方法
CN110569795B (zh) * 2018-03-13 2022-10-14 腾讯科技(深圳)有限公司 一种图像识别方法、装置以及相关设备
CN109472752B (zh) * 2018-10-30 2022-05-03 北京工业大学 基于航拍图像的多曝光融合系统
CN109598234B (zh) * 2018-12-04 2021-03-23 深圳美图创新科技有限公司 关键点检测方法和装置
CN109657194B (zh) * 2018-12-04 2022-12-27 浙江大学宁波理工学院 一种基于Q-learning和规则的混合动力车辆运行实时能源管理方法
CN109801335A (zh) * 2019-01-08 2019-05-24 北京旷视科技有限公司 图像处理方法、装置、电子设备和计算机存储介质
CN110807829B (zh) * 2019-11-05 2020-08-18 杭州蔡卓医疗设备有限公司 一种基于超声成像构建三维心脏模型的方法
CN110889900A (zh) * 2019-11-22 2020-03-17 北航(四川)西部国际创新港科技有限公司 一种面向低空域三维建模及可视化的方法

Also Published As

Publication number Publication date
CN111599007A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
Wang et al. SFNet-N: An improved SFNet algorithm for semantic segmentation of low-light autonomous driving road scenes
CN111599007B (zh) 一种基于无人机航拍的智慧城市cim道路贴图方法
CN111898543B (zh) 一种融合几何感知与图像理解的建筑物自动提取方法
CN108665496A (zh) 一种基于深度学习的端到端的语义即时定位与建图方法
CN109520500B (zh) 一种基于终端拍摄图像匹配的精确定位及街景库采集方法
CN108537824B (zh) 基于交替反卷积与卷积的特征图增强的网络结构优化方法
CN109635748B (zh) 高分辨率影像中道路特征的提取方法
CN107679498A (zh) 一种机载激光点云城区道路识别方法
CN110060331A (zh) 一种基于全卷积神经网络的单目相机室外三维重建方法
Cheng et al. Remote sensing and social sensing data fusion for fine-resolution population mapping with a multimodel neural network
CN113256778A (zh) 生成车辆外观部件识别样本的方法、装置、介质及服务器
CN113610905B (zh) 基于子图像匹配的深度学习遥感图像配准方法及应用
CN113505842A (zh) 一种适用于大尺度区域遥感影像城市建筑物自动提取方法
Zhang et al. Image-only real-time incremental UAV image mosaic for multi-strip flight
CN115272591A (zh) 基于三维语义模型的地理实体多形态表达方法
CN116883610A (zh) 基于车辆识别与轨迹映射的数字孪生路口构建方法和系统
CN113033460A (zh) 一种基于孪生网络的联合损失遥感图像分类方法
CN114943902A (zh) 基于多尺度特征感知网络的城市植被无人机遥感分类方法
CN109919832A (zh) 一种用于无人驾驶的交通图像拼接方法
CN114419146B (zh) 一种多源光学样本生成方法和系统
CN111627103A (zh) 基于行人活动和密度感知的智慧城市cim成像方法
CN106504219B (zh) 有约束的路径形态学高分辨率遥感影像道路增强方法
CN104463962A (zh) 基于gps信息视频的三维场景重建方法
CN114581307A (zh) 用于目标追踪识别的多图像拼接方法、系统、设备及介质
CN111626971B (zh) 具有图像语义感知的智慧城市cim实时成像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Wang Meiying

Inventor after: Zhang Zhongjing

Inventor after: Huang Yanwei

Inventor before: Zhang Zhongjing

Inventor before: Huang Yanwei

CB03 Change of inventor or designer information
TA01 Transfer of patent application right

Effective date of registration: 20210430

Address after: 030000 No.13, unit 2, No.30, Jingying East Erdao street, Xinghualing District, Taiyuan City, Shanxi Province

Applicant after: Wang Meiying

Address before: 710071 Taibai South Road, Yanta District, Xi'an, Shaanxi Province, No. 2

Applicant before: Zhang Zhongjing

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant