CN104021586A - 基于北斗定位的空地一体城市生态文明管理系统及方法 - Google Patents

Abstract

本发明公开了基于北斗定位的空地一体城市生态文明管理系统及方法，其采用载有北斗卫星导航定位技术终端设备的卫星、无人机、车辆等所采集的卫星影像、低空航拍影像、车载激光扫描、车载视频摄像、地面定点拍照/摄像数据，并通过以上多种方式快速完整地获取大尺度场景的二维纹理图像和三维点云数据，基于多源融合数据实现大场景分割、分类、识别及高维重建任务。与现有技术相比具有以下优点：场景模型制作精度可达厘米级，远高于传统制作方法的米级精度；而数据采集与处理时间通过实际验证和测算，仅为传统方法的1/4左右。

Description

基于北斗定位的空地一体城市生态文明管理系统及方法

技术领域

本发明涉及城市生态文明管理技术领域，特别涉及一种基于北斗定位的空地一体城市生态文明管理系统及方法。

背景技术

生态文明是人类文明发展的一个新的阶段，即工业文明之后的世界伦理社会化的文明形态；生态文明是人类遵循人、自然、社会和谐发展这一客观规律而取得的物质与精神成果的总和；生态文明是以人与自然、人与人、人与社会和谐共生、良性循环、全面发展、持续繁荣为基本宗旨的文化伦理形态。从人与自然和谐的角度，吸收十八大成果的定义是：生态文明是人类为保护和建设美好生态环境而取得的物质成果、精神成果和制度成果的总和，是贯穿于经济建设、政治建设、文化建设、社会建设全过程和各方面的系统工程，反映了一个社会的文明进步状态。

生态环境恶化是一个全球性的挑战，在我国显得尤为严峻，已成为制约我国经济社会可持续发展的因素之一。党的十八大报告中提出了建设美丽中国的战略目标，强调了生态文明建设在“五位一体”总体布局中的重要地位。

以深圳为例，作为全国首批生态文明建设试点城市，深圳在生态文明建设的各方面走在了全国前列，但生态环境同样面临着严峻挑战。城市本身是一个巨大的污染制造源，目前深圳市常住人口超过1500万人，机动车辆超过200万辆，每天新增固体垃圾在1.4万吨以上。空气污染、水体污染、固体废物污染以及城市的热岛效应是城市生态问题的主要表现。

在生态文明建设方面，同样存在着空间格局生态化滞后，资源环境承载能力透支，生态文化体系尚未形成，生态文明建设未能形成合力等问题。在对污染源的监控方面，也存在监控手段落后，监管主体多元且职责不够清晰，缺乏有效的协同处置机制，尚未建立科学的考评体系等问题。

同时，在进行城市密集型多源数据呈现的研究过程中，我们将面临的具体需求包括以下几个方面：

第一，城市场景高维数据是城市中最重要的基础数据之一，目前的获取与重建技术仍然处于发展的初期阶段，自动化水平不高，其中一个重要原因是目前大尺度场景建模主要采用视频图像或激光点云等单一数据源。大场景的复杂性、多样性和大尺度特性决定了单一数据源存在严重的信息缺失和不确定性，导致基于单一数据源的大场景高维重建具有极大的挑战，建模过程需要较多的人工干预，甚至全手工建模，建模结果精度不高、制作周期长、成本高，这已成为制约大规模城市场景高维数字化的瓶颈问题。

第二，在数字城市应用中，通过激光扫描三维重建、多视图三维重建、互联网络图像的三维重建技术可获得大规模的场景对象的三维模型。这些三维模型经过标记后可构成对象的三维信息库。早期的三维立体对象检索与识别方法主要是基于模型信息的分析方法。这一类方法通过对三维立体对象的模型信息进行分析与处理，从而进行立体对象特征信息的提取，进一步应用基于模型的特征信息的匹配来完成立体对象的检索。基于模型信息的方法优点在于能够充分利用模型的立体空间信息。需要指出的是，基于模型的方法并不能很好地进行立体对象外观特征的分析，同时应用立体对象的模型信息也面临巨大的运算量。近些年来，许多研究工作关注于基于视图的立体对象检索与分析。基于视图的立体对象检索与分析的优势在于当需要有针对性地对某类形态的模型对象进行查询时，基于视图的分析方法能够很好地进行外观的分析与处理；同时，二维图像的分析技术也日益成熟，从而为基于视图的立体对象检索提供了新的机遇。

第三，三维或更高位的可视化数据显示的绘制开销通常比一般性计算给计算机的负载更加大，普通消费级单个微机节点能够只能支持千万级三角形场景的实时绘制。目前已有的多节点并行绘制系统虽然能够加速大规模场景的载入能力和绘制速度，但是还没有充分利用显卡的并行计算的能力。而且随着城市场景数据的进一步加大，以及动态数据显示要求的时效性都为多级并行计算提出了需求。

第四，城市多源密集型数据的交互式呈现需要以大量、复杂、异构的高维数据作为输入，因此需要对这些数据进行存储、传输、访问和流量控制。如何提供统一的框架为不同种类的智慧城市数据呈现应用提供方便易用、可靠、安全、高效的数据服务是我们需要深入的问题。

有鉴于此，城市多源密集型数据的呈现技术与服务系统已经成为当前的研究热点。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供一种基于北斗定位的空地一体城市生态文明管理系统及方法，以解决现有技术的城市生态文明管理系统中单一数据源存在严重的信息缺失和不确定性，手工建模，建模结果精度不高、制作周期长、成本高等问题。

为了达到上述目的，本发明采取了以下技术方案：

一种基于北斗定位的空地一体城市生态文明管理方法，其中，所述方法包括以下步骤：

S1、通过载有北斗卫星导航定位技术终端设备的卫星、无人机和车辆采集相应的卫星影像数据、低空航拍影像数据、车载激光扫描数据、车载视频摄像数据以及地面定点拍照/摄像数据；其中，所述车载激光扫描数据为三维点云数据，所述卫星影像数据和低空航拍影像数据为彩色图像数据；

S2、将上述采集到的卫星影像数据、低空航拍影像数据、车载激光扫描数据、车载视频摄像数据以及地面定点拍照/摄像数据进行基于多模态多多特征的场景数据融合，用于获取场景的全面信息；

S3、对数据融合后的场景进行语义化分割和分类，提取场景中的物体，在物体层面将场景分解成有语义信息的个体；同时，研究结合多模态信息的场景自动或半自动分割、分类与识别，实现场景信息的语义理解；

S4、根据上述场景信息的语义理解，并结合先验知识、统计规律和模板库的各种信息，重建场景的时空几何模型，其中场景的时空几何模型包括场景重建静态三维模型和动态的时空高维模型；

S5、建立包含上述时空几何模型、三维点云数据、卫星影像数据和低空航拍影像数据的数据库，实现城市生态文明的管理。

优选地，所述的基于北斗定位的空地一体城市生态文明管理方法，其中，所述步骤S1中采集相应的卫星影像数据、低空航拍影像数据、车载激光扫描数据、车载视频摄像数据、地面定点拍照/摄像数据时，通过下列方法来实现：

高精度摄像机跟踪与深度恢复方法、针对多视频序列和多摄像机的高效特征匹配方法、针对循环回路多视频序列的高效稳定的摄像机跟踪方法、结合GPS的大尺度场景多摄像机跟踪方法、高分辨率图像的高精度深度恢复方法、以及快速的半自动深度和三维模型修复方法。

优选地，所述的基于北斗定位的空地一体城市生态文明管理方法，其中，所述步骤S2中基于多模态多多特征的场景数据融合具体包括：车载激光扫描数据和车载视频摄像数据融合、地面定点拍照/摄像数据与三维点云数据的融合，以及低空航拍影像数据与三维点云数据的融合。

优选地，所述的基于北斗定位的空地一体城市生态文明管理方法，其中，所述步骤S3具体包括以下方法：基于多图像/视频的时空一致性图像/视频分割方法；基于快速交互的物体分割与标注方法；基于机器学习的场景/物体识别与分类、运动目标的分割与提取、场景中主要物体的提取、分类与识别方法。

优选地，所述的基于北斗定位的空地一体城市生态文明管理方法，其中，所述步骤S4具体包括以下方法：融合多源信息的缺失几何信息重构方法，同类物体的参数化描述与重建方法，基于知识的场景建模方法，常见物体的时空高维建模方法，以及场景三维模型动态更新方法。

一种基于北斗定位的空地一体城市生态文明管理系统，其中，所述系统包括：

数据采集模块，用于通过载有北斗卫星导航定位技术终端设备的卫星、无人机和车辆采集相应的卫星影像数据、低空航拍影像数据、车载激光扫描数据、车载视频摄像数据以及地面定点拍照/摄像数据；其中，所述车载激光扫描数据为三维点云数据，所述卫星影像数据和低空航拍影像数据为彩色图像数据；

数据融合模块，用于将上述采集到的卫星影像数据、低空航拍影像数据、车载激光扫描数据、车载视频摄像数据以及地面定点拍照/摄像数据进行基于多模态多多特征的场景数据融合，用于获取场景的全面信息；

场景分类模块，用于对数据融合后的场景进行语义化分割和分类，提取场景中的物体，在物体层面将场景分解成有语义信息的个体；同时，研究结合多模态信息的场景自动或半自动分割、分类与识别，实现场景信息的语义理解；

场景重建模块，用于根据上述场景信息的语义理解，并结合先验知识、统计规律和模板库的各种信息，重建场景的时空几何模型，其中场景的时空几何模型包括场景重建静态三维模型和动态的时空高维模型；

数据库建立模块，用于建立包含上述时空几何模型、三维点云数据、卫星影像数据和低空航拍影像数据的数据库，实现城市生态文明的管理。

优选地，所述的基于北斗定位的空地一体城市生态文明管理系统，其中，所述数据采集模块中采集相应的卫星影像数据、低空航拍影像数据、车载激光扫描数据、车载视频摄像数据、地面定点拍照/摄像数据时，通过下列方法来实现：

高精度摄像机跟踪与深度恢复方法、针对多视频序列和多摄像机的高效特征匹配方法、针对循环回路多视频序列的高效稳定的摄像机跟踪方法、结合GPS的大尺度场景多摄像机跟踪方法、高分辨率图像的高精度深度恢复方法、以及快速的半自动深度和三维模型修复方法。

优选地，所述的基于北斗定位的空地一体城市生态文明管理系统，其中，所述数据融合模块中基于多模态多多特征的场景数据融合具体包括：车载激光扫描数据和车载视频摄像数据融合、地面定点拍照/摄像数据与三维点云数据的融合，以及低空航拍影像数据与三维点云数据的融合。

优选地，所述的基于北斗定位的空地一体城市生态文明管理系统，其中，所述场景分类模块具体包括：基于多图像/视频的时空一致性图像/视频分割方法；基于快速交互的物体分割与标注方法；基于机器学习的场景/物体识别与分类、运动目标的分割与提取、场景中主要物体的提取、分类与识别方法。

优选地，所述的基于北斗定位的空地一体城市生态文明管理系统，其中，所述场景重建模块具体包括：融合多源信息的缺失几何信息重构方法，同类物体的参数化描述与重建方法，基于知识的场景建模方法，常见物体的时空高维建模方法，以及场景三维模型动态更新方法。

有益效果：

本发明提供的基于北斗定位的空地一体城市生态文明管理系统及方法，与现有技术相比具有以下优点：场景模型制作精度可达厘米级，远高于传统制作方法的米级精度；而数据采集与处理时间通过实际验证和测算，仅为传统方法的1/4左右。

附图说明

图1是本发明的基于北斗定位的空地一体城市生态文明管理方法的流程图。

图2是本发明的基于北斗定位的空地一体城市生态文明管理方法中的技术框架的示意图。

图3是本发明的基于北斗定位的空地一体城市生态文明管理系统的结构框图。

具体实施方式

本发明提供了一种基于北斗定位的空地一体城市生态文明管理系统及方法。为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

为了方便理解，首先介绍一下北斗卫星导航系统。

北斗卫星导航系统﹝BeiDou(COMPASS)Navigation Satellite System﹞具备在中国及其周边地区范围内的定位、授时、报文和GPS广域差分功能，并在测绘、电信、水利、交通运输、渔业、勘探、森林防火和国家安全等诸多领域逐步发挥着重要作用。

中国在2000年开始建设属于自己的“北斗”卫星导航定位系统，2004年建设北斗区域卫星导航系统的工程正式立项开始，2012年10月随着中国第16颗北斗导航卫星在长征三号丙火箭的托举下呼啸升空，这颗地球静止轨道卫星将与先期发射的15颗北斗导航卫星组网运行，形成区域服务能力。北斗区域卫星导航系统组网发射任务全部圆满完成。

北斗导航系统与美国的GPS、欧洲的“伽利略”和俄罗斯的“格洛纳斯”相比，优势在于短信服务和导航结合，增加了通讯功能；全天候快速定位，极少的通信盲区，精度与GPS相当，而在增强区域也就是亚太地区，甚至会超过GPS；向全世界提供的服务都是免费的，在提供无源定位导航和授时等服务时，用户数量没有限制，且与GPS兼容；特别适合集团用户大范围监控与管理，以及无依托地区数据采集用户数据传输应用；自主系统，高强度加密设计，安全、可靠、稳定，适合关键部门应用。

区别于室内场景或小型物体三维重建，大尺度室外场景时空高维建模具有更大的挑战性，其特征表现在：(1)获取数据的不完整性：对于小尺度物体可以采用特定实验装置来采集完整的数据，而且数据精度、分辨率可控、可调；而大尺度场景的数据采集则会受到很多现实条件的影响，而且场景物体本身或物体之间存在遮挡，对场景中任何一个物体得到完整的数据采集几乎不太现实。(2)大尺度场景的复杂性：大尺度室外场景中的建筑物以及其它自然物体如树木等具有复杂多变的几何形体与结构。(3)大尺度场景的动态性：室外大场景中不仅包含静态物体，还有大量动态行为，需要检测提取；另一方面，快速城市化进程使得场景空间结构处于动态变化过程中，比如建筑物拆迁、新增路牌、甚至地形改变等，需要对场景进行时空高维建模，研究场景三维模型的动态更新。(4)测量数据的不精确性：这受测量设备本身的精度和测量条件的限制。(5)海量的数据量。

目前基于单一数据源的场景建模与表达方法在建模效率、精度、准确度、自动化程度等方面都存在着较大的局限性，大多方法只是针对特定类型或形状规则的简单物体，实际应用中通用性不强，难以应对大尺度场景高维建模的上述挑战。针对此问题，本项目基于多源传感信息的融合深入研究大尺度复杂场景的时空高维建模和表达方法。

本发明的基于北斗定位的空地一体城市生态文明管理系统及方法采用载有北斗卫星导航定位技术终端设备的卫星、无人机、车辆等所采集的卫星影像、低空航拍影像、车载激光扫描、车载视频摄像、地面定点拍照/摄像数据，基于多源融合数据实现大场景分割、分类、识别及高维重建任务。

请参阅图1，其为本发明的基于北斗定位的空地一体城市生态文明管理方法的流程图。如图所示，所述基于北斗定位的空地一体城市生态文明管理方法包括以下步骤：

S1、通过载有北斗卫星导航定位技术终端设备的卫星、无人机和车辆采集相应的卫星影像数据、低空航拍影像数据、车载激光扫描数据、车载视频摄像数据以及地面定点拍照/摄像数据；其中，所述车载激光扫描数据为三维点云数据，所述卫星影像数据和低空航拍影像数据为彩色图像数据；

S2、将上述采集到的卫星影像数据、低空航拍影像数据、车载激光扫描数据、车载视频摄像数据以及地面定点拍照/摄像数据进行基于多模态多多特征的场景数据融合，用于获取场景的全面信息；

S3、对数据融合后的场景进行语义化分割和分类，提取场景中的物体，在物体层面将场景分解成有语义信息的个体；同时，研究结合多模态信息的场景自动或半自动分割、分类与识别，实现场景信息的语义理解；

S4、根据上述场景信息的语义理解，并结合先验知识、统计规律和模板库的各种信息，重建场景的时空几何模型，其中场景的时空几何模型包括场景重建静态三维模型和动态的时空高维模型；

S5、建立包含上述时空几何模型、三维点云数据、卫星影像数据和低空航拍影像数据的数据库，实现城市生态文明的管理。

下面分别针对上述步骤进行详细描述。

所述步骤S1为通过载有北斗卫星导航定位技术终端设备的卫星、无人机和车辆采集相应的卫星影像数据、低空航拍影像数据、车载激光扫描数据、车载视频摄像数据以及地面定点拍照/摄像数据；其中，所述车载激光扫描数据为三维点云数据，所述卫星影像数据和低空航拍影像数据为彩色图像数据。此步骤为数据采集过程。大尺度场景完整三维数据的高精度快速获取是场景建模的基础，因此，在本发明中力图采用多种方式、多种数据源尽可能完整地获取场景的三维信息。通过不同视点拍摄的图像，采用立体匹配的方法能够恢复场景的稠密三维点云，对此虽然研究者们提出了大量的算法，但其稳定性一直阻碍着这些方法在实际问题上的应用，尤其对于实际复杂场景，这些方法无论在计算稳定性还是处理规模和计算效率等方面都存在不同程度的问题。

进一步地，在本实施例中，所述步骤S1中采集相应的卫星影像数据、低空航拍影像数据、车载激光扫描数据、车载视频摄像数据、地面定点拍照/摄像数据时，通过下列方法来实现：

高精度摄像机跟踪与深度恢复方法、针对多视频序列和多摄像机的高效特征匹配方法、针对循环回路多视频序列的高效稳定的摄像机跟踪方法、结合GPS的大尺度场景多摄像机跟踪方法、高分辨率图像的高精度深度恢复方法、以及快速的半自动深度和三维模型修复方法。

所述步骤S2为将上述采集到的卫星影像数据、低空航拍影像数据、车载激光扫描数据、车载视频摄像数据以及地面定点拍照/摄像数据进行基于多模态多多特征的场景数据融合，用于获取场景的全面信息。此步骤为数据融合过程。大尺度场景的数据来自不同传感器(激光扫描仪、摄像机等)、不同视点(高空、低空、地面等)、不同采集方式(沿固定路线车载移动激光扫描/视频摄像、手持式自由摄像、地面定点激光扫描/拍照/摄像、航空影像等)，这些数据具有不同的数据结构(二维图像、三维点云)、不同分辨率(厘米到米等不同级别)，在多方面反映了同一场景的不同性质和特征，有很强的互补性，比如点云中窗户轮廓、阳台栏杆等细节信息不明显或存在缺失，而图像具有很高的高分辨率能捕获这些细节信息，而且拍摄视角具有随意性，人们可以从多个不同角度来拍摄。为了充分利用这些数据的互补性，获得场景更丰富全面的信息，以利于场景重建和表达，需要研究多源数据的层次化特征表示以及基于多层次特征的一致性融合问题。

进一步地，在本实施例中，所述步骤S2中基于多模态多多特征的场景数据融合具体包括：车载激光扫描数据和车载视频摄像数据融合、地面定点拍照/摄像数据与三维点云数据的融合，以及低空航拍影像数据与三维点云数据的融合。

所述步骤S3为对数据融合后的场景进行语义化分割和分类，提取场景中的物体，在物体层面将场景分解成有语义信息的个体；同时，研究结合多模态信息的场景自动或半自动分割、分类与识别，实现场景信息的语义理解。此步骤为场景分类过程。大尺度场景中既包含道路、建筑物、植物等静态景观，也含有大量的行人、车辆等动态行为，要基于获取的多源数据实现对场景的高维建模与表达，需要对场景进行语义化分割和分类，提取建筑物、植物、路面等主要物体，在物体层面将大场景分解成有语义信息的个体，研究结合颜色、深度/三维、运动等多模态信息的大场景自动/半自动分割、分类与识别，实现大场景的语义理解。

进一步地，在本实施例中，所述步骤S3具体包括以下方法：基于多图像/视频的时空一致性图像/视频分割方法；基于快速交互的物体分割与标注方法；基于机器学习的场景/物体识别与分类、运动目标的分割与提取、场景中主要物体的提取、分类与识别方法。

所述步骤S4为根据上述场景信息的语义理解，并结合先验知识、统计规律和模板库的各种信息，重建场景的时空几何模型，其中场景的时空几何模型包括场景重建静态三维模型和动态的时空高维模型。此步骤为场景重建过程。具体来说，通过各种方式得到的三维点云只是物体表面的一个离散采样，数据具有不完整性、高度复杂性和不精确性，基于三维点云的高精度几何重建具有很大的挑战性。目前已经有众多的研究探索如何从单一数据源重建物体的高维模型，事实上，我们可以利用不同方式获取的多源数据的互补性来弥补单一数据源的不足。另外我们还可以利用场景中物体的一些先验知识，比如，人造物体通常具有很强的规则性，其结构布局满足一定的规则约束。对于某一类物体，在互联网上往往已经存在一些完整的、精确的三维模型，这些模型可以构成一个模型数据库，可以通过模型数据库获取待重建物体的一些统计和模板知识。

进一步地，如何有效融合和运用先验知识、统计规律、模板库和多源传感数据等各种信息，高精度重建大场景的时空几何模型是步骤S4的主要内容。在本实施例中，其具体包括以下方法：融合多源信息的缺失几何信息重构方法，同类物体的参数化描述与重建方法，基于知识的场景建模方法，常见物体的时空高维建模方法，以及场景三维模型动态更新方法。

所述步骤S5为建立包含上述时空几何模型、三维点云数据、卫星影像数据和低空航拍影像数据的数据库，实现城市生态文明的管理。具体来说，公开的标准数据集在科学研究中发挥了重要的作用。针对大尺度场景，目前已建立了一些公开的图像数据库，比如加州理工的Caltech-256数据库，MIT的SUN数据库等，但是目前尚无公开的大尺度场景三维点云数据库，这可能部分源于大尺度场景三维数据获取的困难。在本项目中我们拟基于自身的设备优势，建立初步的大规模城市场景三维点云/图像标准数据库，数据库中包含城市场景三维点云原始数据，对应的高清晰纹理图像/视频数据，以及场景重建静态三维模型和动态的时空高维模型。有了上述模型和相应的数据，便可以实现城市生态文明的管理。

举例说来，比如：利用卫星遥感技术大面积地对全市绿化整体情况进行监测；通过无人机的低空航拍，精确了解每一片可绿化的区域，包括屋顶绿化；通过实景影像车在路面上的实景拍摄，了解生态文明现状以及发现可能存在问题；同时利用数据的更新比对，监控园林绿化、屋顶造绿的进度等，并可制定相关规划，监督规划实施，进一步推进生态文明建设进程；利用卫星精确定位，对与生态环境密切相关的移动作业对象(环卫车辆、垃圾清运车辆、洒水车、泥头车等)进行精细管理，更有效的提高生态文明建设的管理水平；通过建设公众参与的微博、微信、随手拍等公共信息互动平台发动广大市民参与，营造全民监管的氛围，让不利于生态文明建设的行为和现象无处躲藏。

通过融合卫星遥感、卫星定位、无人机低空航拍、路面实景影像，智能传感、图像智能识别、大数据挖掘分析、舆情监控等技术，建设生态环境监测系统、基础设施管理系统、移动对象管理系统三大系统。并建设城市楼顶绿化量算、植物碳排量吸收计算、森林火灾防控、视频识别管理、部件丢失智能报警、数据普查及更新、垃圾场站饱和度识别及预警、环卫等特种车辆管理等十几个子系统，构建一个空地一体的生态文明监管平台，必将极大地推动生态文明建设和行政管理的创新。

对于大场景建模目前多采用单一数据源(视频图像、遥感影像或激光扫描点云等)，而场景的大范围、大尺度、多遮挡，其中物体结构的复杂性、多样性，以及单一数据源的不完整性等特点，都给传统的大场景建模技术提出了巨大的挑战，现有的方法在处理规模、对象复杂性、算法鲁棒性、建模效率和精度上都有待提高。而实际上针对同一场景现实存在多种不同的数据源和先验知识，它们既存在信息冗余又互为补充，本发明力图充分利用多种方式采集的多传感数据，结合先验知识、统计规律、在线模型库等人类认知经验和网络资源，实现风格各异、形状多变的大尺度复杂场景的高效率、高精度建模。多源信息的融合和多层次综合利用是本项目的一大特色。

另外，本发明的创新之处还包括：创新性地提出利用视频序列的连贯性与冗余性信息，以及关键帧简化表达和多帧统计的思想，为构造一个面向大尺度场景的三维结构恢复的全局优化计算框架提供了理论指导。同时，从应用对象出发，在理论的指导下，通过高效的非连续特征跟踪，分段式的从粗到细的求解策略，以及新的全局优化等多种策略和方法，解决数值计算过程中的稳定性与效率问题，实现单/多视频长序列的高效稳定的摄像机标定与深度恢复。提出结合机器学习和数据挖掘等方法，深入挖掘和利用多源数据在信息和维度上的优势，进行多层次特征融合、关联学习，实现时空一致性分割与识别，以及场景的语义表达。融合和运用先验知识、统计规律、模型库和多源传感数据等各种信息，采用自顶向下的建模思路对建筑物和植被进行时空高维建模。

概括说来，本发明采用载有北斗卫星导航定位技术终端设备的卫星、无人机、车辆等所采集的卫星影像、低空航拍影像、车载激光扫描、车载视频摄像、地面定点拍照/摄像数据，并通过以上多种方式快速完整地获取大尺度场景的二维纹理图像和三维点云数据，基于多源融合数据实现大场景分割、分类、识别及高维重建任务。其技术框架图如图2所示。

应当理解地是，在上述步骤S1到S4中，每一步骤均包括很多技术细节，如基于多图像/视频的时空一致性图像/视频分割方法、针对循环回路多视频序列的高效稳定的摄像机跟踪方法等，上述方法为现有技术，本发明采用该技术分别实现相应的功能，因为每一方法均为本领域普通技术人员所能够了解到的，为了描述简单，这里就不针对上述方法进行赘述了。

本发明还提供了一种基于北斗定位的空地一体城市生态文明管理系统，如图3所示，所述系统包括：

数据采集模块100，用于通过载有北斗卫星导航定位技术终端设备的卫星、无人机和车辆采集相应的卫星影像数据、低空航拍影像数据、车载激光扫描数据、车载视频摄像数据以及地面定点拍照/摄像数据；其中，所述车载激光扫描数据为三维点云数据，所述卫星影像数据和低空航拍影像数据为彩色图像数据；

数据融合模块200，用于将上述采集到的卫星影像数据、低空航拍影像数据、车载激光扫描数据、车载视频摄像数据以及地面定点拍照/摄像数据进行基于多模态多多特征的场景数据融合，用于获取场景的全面信息；

场景分类模块300，用于对数据融合后的场景进行语义化分割和分类，提取场景中的物体，在物体层面将场景分解成有语义信息的个体；同时，研究结合多模态信息的场景自动或半自动分割、分类与识别，实现场景信息的语义理解；

场景重建模块400，用于根据上述场景信息的语义理解，并结合先验知识、统计规律和模板库的各种信息，重建场景的时空几何模型，其中场景的时空几何模型包括场景重建静态三维模型和动态的时空高维模型；

数据库建立模块500，用于建立包含上述时空几何模型、三维点云数据、卫星影像数据和低空航拍影像数据的数据库，实现城市生态文明的管理。

进一步地，所述的基于北斗定位的空地一体城市生态文明管理系统中，所述数据采集模块中采集相应的卫星影像数据、低空航拍影像数据、车载激光扫描数据、车载视频摄像数据、地面定点拍照/摄像数据时，通过下列方法来实现：

高精度摄像机跟踪与深度恢复方法、针对多视频序列和多摄像机的高效特征匹配方法、针对循环回路多视频序列的高效稳定的摄像机跟踪方法、结合GPS的大尺度场景多摄像机跟踪方法、高分辨率图像的高精度深度恢复方法、以及快速的半自动深度和三维模型修复方法。

进一步地，所述的基于北斗定位的空地一体城市生态文明管理系统中，所述数据融合模块中基于多模态多多特征的场景数据融合具体包括：车载激光扫描数据和车载视频摄像数据融合、地面定点拍照/摄像数据与三维点云数据的融合，以及低空航拍影像数据与三维点云数据的融合。

进一步地，所述的基于北斗定位的空地一体城市生态文明管理系统中，所述场景分类模块具体包括：基于多图像/视频的时空一致性图像/视频分割方法；基于快速交互的物体分割与标注方法；基于机器学习的场景/物体识别与分类、运动目标的分割与提取、场景中主要物体的提取、分类与识别方法。

更进一步地，所述的基于北斗定位的空地一体城市生态文明管理系统，其中，所述场景重建模块具体包括：融合多源信息的缺失几何信息重构方法，同类物体的参数化描述与重建方法，基于知识的场景建模方法，常见物体的时空高维建模方法，以及场景三维模型动态更新方法。

本发明提供的基于北斗定位的空地一体城市生态文明管理系统及方法，采用载有北斗卫星导航定位技术终端设备的卫星、无人机、车辆等所采集的卫星影像、低空航拍影像、车载激光扫描、车载视频摄像、地面定点拍照/摄像数据，并通过以上多种方式快速完整地获取大尺度场景的二维纹理图像和三维点云数据，基于多源融合数据实现大场景分割、分类、识别及高维重建任务。与现有技术相比具有以下优点：场景模型制作精度可达厘米级，远高于传统制作方法的米级精度；而数据采集与处理时间通过实际验证和测算，仅为传统方法的1/4左右。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种基于北斗定位的空地一体城市生态文明管理方法，其特征在于，所述方法包括以下步骤：

S1、通过载有北斗卫星导航定位技术终端设备的卫星、无人机和车辆采集相应的卫星影像数据、低空航拍影像数据、车载激光扫描数据、车载视频摄像数据以及地面定点拍照/摄像数据；其中，所述车载激光扫描数据为三维点云数据，所述卫星影像数据和低空航拍影像数据为彩色图像数据；

S2、将上述采集到的卫星影像数据、低空航拍影像数据、车载激光扫描数据、车载视频摄像数据以及地面定点拍照/摄像数据进行基于多模态多多特征的场景数据融合，用于获取场景的全面信息；

S3、对数据融合后的场景进行语义化分割和分类，提取场景中的物体，在物体层面将场景分解成有语义信息的个体；同时，研究结合多模态信息的场景自动或半自动分割、分类与识别，实现场景信息的语义理解；

S4、根据上述场景信息的语义理解，并结合先验知识、统计规律和模板库的各种信息，重建场景的时空几何模型，其中场景的时空几何模型包括场景重建静态三维模型和动态的时空高维模型；

S5、建立包含上述时空几何模型、三维点云数据、卫星影像数据和低空航拍影像数据的数据库，实现城市生态文明的管理。

2.根据权利要求1所述的基于北斗定位的空地一体城市生态文明管理方法，其特征在于，所述步骤S1中采集相应的卫星影像数据、低空航拍影像数据、车载激光扫描数据、车载视频摄像数据、地面定点拍照/摄像数据时，通过下列方法来实现：

高精度摄像机跟踪与深度恢复方法、针对多视频序列和多摄像机的高效特征匹配方法、针对循环回路多视频序列的高效稳定的摄像机跟踪方法、结合GPS的大尺度场景多摄像机跟踪方法、高分辨率图像的高精度深度恢复方法、以及快速的半自动深度和三维模型修复方法。

3.根据权利要求1所述的基于北斗定位的空地一体城市生态文明管理方法，其特征在于，所述步骤S2中基于多模态多多特征的场景数据融合具体包括：车载激光扫描数据和车载视频摄像数据融合、地面定点拍照/摄像数据与三维点云数据的融合，以及低空航拍影像数据与三维点云数据的融合。

4.根据权利要求1所述的基于北斗定位的空地一体城市生态文明管理方法，其特征在于，所述步骤S3具体包括以下方法：基于多图像/视频的时空一致性图像/视频分割方法；基于快速交互的物体分割与标注方法；基于机器学习的场景/物体识别与分类、运动目标的分割与提取、场景中主要物体的提取、分类与识别方法。

5.根据权利要求1所述的基于北斗定位的空地一体城市生态文明管理方法，其特征在于，所述步骤S4具体包括以下方法：融合多源信息的缺失几何信息重构方法，同类物体的参数化描述与重建方法，基于知识的场景建模方法，常见物体的时空高维建模方法，以及场景三维模型动态更新方法。

6.一种基于北斗定位的空地一体城市生态文明管理系统，其特征在于，所述系统包括：

数据采集模块，用于通过载有北斗卫星导航定位技术终端设备的卫星、无人机和车辆采集相应的卫星影像数据、低空航拍影像数据、车载激光扫描数据、车载视频摄像数据以及地面定点拍照/摄像数据；其中，所述车载激光扫描数据为三维点云数据，所述卫星影像数据和低空航拍影像数据为彩色图像数据；

数据融合模块，用于将上述采集到的卫星影像数据、低空航拍影像数据、车载激光扫描数据、车载视频摄像数据以及地面定点拍照/摄像数据进行基于多模态多多特征的场景数据融合，用于获取场景的全面信息；

场景分类模块，用于对数据融合后的场景进行语义化分割和分类，提取场景中的物体，在物体层面将场景分解成有语义信息的个体；同时，研究结合多模态信息的场景自动或半自动分割、分类与识别，实现场景信息的语义理解；

场景重建模块，用于根据上述场景信息的语义理解，并结合先验知识、统计规律和模板库的各种信息，重建场景的时空几何模型，其中场景的时空几何模型包括场景重建静态三维模型和动态的时空高维模型；

数据库建立模块，用于建立包含上述时空几何模型、三维点云数据、卫星影像数据和低空航拍影像数据的数据库，实现城市生态文明的管理。

7.根据权利要求6所述的基于北斗定位的空地一体城市生态文明管理系统，其特征在于，所述数据采集模块中采集相应的卫星影像数据、低空航拍影像数据、车载激光扫描数据、车载视频摄像数据、地面定点拍照/摄像数据时，通过下列方法来实现：

高精度摄像机跟踪与深度恢复方法、针对多视频序列和多摄像机的高效特征匹配方法、针对循环回路多视频序列的高效稳定的摄像机跟踪方法、结合GPS的大尺度场景多摄像机跟踪方法、高分辨率图像的高精度深度恢复方法、以及快速的半自动深度和三维模型修复方法。

8.根据权利要求6所述的基于北斗定位的空地一体城市生态文明管理系统，其特征在于，所述数据融合模块中基于多模态多多特征的场景数据融合具体包括：车载激光扫描数据和车载视频摄像数据融合、地面定点拍照/摄像数据与三维点云数据的融合，以及低空航拍影像数据与三维点云数据的融合。

9.根据权利要求6所述的基于北斗定位的空地一体城市生态文明管理系统，其特征在于，所述场景分类模块具体包括：基于多图像/视频的时空一致性图像/视频分割方法；基于快速交互的物体分割与标注方法；基于机器学习的场景/物体识别与分类、运动目标的分割与提取、场景中主要物体的提取、分类与识别方法。

10.根据权利要求6所述的基于北斗定位的空地一体城市生态文明管理系统，其特征在于，所述场景重建模块具体包括：融合多源信息的缺失几何信息重构方法，同类物体的参数化描述与重建方法，基于知识的场景建模方法，常见物体的时空高维建模方法，以及场景三维模型动态更新方法。