CN110763203A - 一种城市部件的定位方法、装置及车载移动测量系统 - Google Patents

一种城市部件的定位方法、装置及车载移动测量系统 Download PDF

Info

Publication number
CN110763203A
CN110763203A CN201911070783.XA CN201911070783A CN110763203A CN 110763203 A CN110763203 A CN 110763203A CN 201911070783 A CN201911070783 A CN 201911070783A CN 110763203 A CN110763203 A CN 110763203A
Authority
CN
China
Prior art keywords
view image
street view
pixel point
component
adjacent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911070783.XA
Other languages
English (en)
Inventor
韩昱
张天
韩琳旖
胡倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Aerospace Tianhui Data Technology Co Ltd
Original Assignee
Xi'an Aerospace Tianhui Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Aerospace Tianhui Data Technology Co Ltd filed Critical Xi'an Aerospace Tianhui Data Technology Co Ltd
Priority to CN201911070783.XA priority Critical patent/CN110763203A/zh
Publication of CN110763203A publication Critical patent/CN110763203A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Navigation (AREA)

Abstract

本发明提供了一种城市部件的定位方法、装置及车载移动测量系统，该方法包括：获取当前街景影像和相邻街景影像，以及对应的GPS相位中心坐标数据和空间姿态数据；提取至少一个指定的城市部件；分别获取同一个城市部件同名的第一像素点坐标和第二像素点坐标；根据第一像素点坐标和第二像素点坐标，并结合空间检校参数以及对应的GPS相位中心坐标数据和空间姿态数据，基于前方交会法计算城市部件的空间地理坐标。本发明能够进行城市部件的自动识别与快速定位，实现了指定城市部件的自动更新，避免了繁琐的人工识别与编辑工作，可极大的提高城市部件在相关专题地图的更新效率，为交通、消防和公安等部门的专题应用提供可靠的保障。

Description

一种城市部件的定位方法、装置及车载移动测量系统
技术领域
本发明涉及摄影测量技术领域，更具体的涉及一种城市部件的定位方法、装置及车载移动测量系统。
背景技术
数字化城市管理技术是信息技术与城市管理的有机结合，使城市管理向信息化、数字化、网络化方向转变。城市部件信息是实现数字化城市管理必备的基础信息，城市部件即物化的城市管理对象，主要包括道路、桥梁、水、电、气、热等市政公用设施及公园、绿地、休闲健身娱乐设施等公共设施，也包括门牌、广告牌匾等部分非公共设施。
目前，城市部件信息主要通过传统的人工外业测量方式获得，更新周期长，复杂度高，难以满足城市建设和管理的数据需求。随着车载移动测量采集系统的兴起，基于车载移动测量系统能够快速获取道路及两侧的街景影像，但是采集的街景影像仅用于浏览和方向指示，如何从中快速、高精度地对城市部件进行定位仍然是一个难点。
发明内容
本发明实施例提供一种城市部件的定位方法、装置及车载移动测量系统，以解决现有技术中基于车载移动测量采集系统采集到的街景影像中，无法从中快速、高精度地对城市部件进行定位的问题。
第一方面，本发明实施例提供一种城市部件的定位方法，所述方法包括：
获取当前街景影像和至少一张相邻街景影像，以及所述当前街景影像和所述相邻街景影像分别对应的GPS相位中心坐标数据和空间姿态数据；
从所述当前街景影像和所述相邻街景影像中，提取至少一个指定的城市部件；
分别获取同一个城市部件在所述当前街景影像和所述相邻街景影像中同名的第一像素点坐标和第二像素点坐标；
根据所述第一像素点坐标和所述第二像素点坐标，并结合空间检校参数以及所述当前街景影像和所述相邻街景影像分别对应的GPS相位中心坐标数据和空间姿态数据，基于前方交会法计算所述城市部件的空间地理坐标以实现对所述城市部件的定位。
作为本发明第一方面的优选方式，所述从所述当前街景影像和所述相邻街景影像中，提取至少一个指定的城市部件包括：
获取多张包含指定的城市部件的街景影像样本后，对所述街景影像样本中指定的城市部件进行标记，构建街景影像样本集；
根据深度学习算法对所述街景影像样本集进行训练，得到深度学习模型；
通过所述深度学习模型对所述当前街景影像和所述相邻街景影像进行检测，从所述当前街景影像和所述相邻街景影像中提取出至少一个指定的城市部件。
作为本发明第一方面的优选方式，分别所述获取同一个城市部件在所述当前街景影像和所述相邻街景影像中同名的第一像素点坐标和第二像素点坐标包括：
在所述当前街景影像和所述相邻街景影像中对提取出的同一个城市部件进行目标跟踪，建立基于所述城市部件的目标跟踪轨迹；
根据所述目标跟踪轨迹，分别获取同一个城市部件在所述当前街景影像和所述相邻街景影像中同名的第一像素点坐标和第二像素点坐标。
作为本发明第一方面的优选方式，在基于前方交会法计算所述城市部件的空间地理坐标以实现对所述城市部件的定位之前，还包括：
根据空间检校参数以及所述当前街景影像和所述相邻街景影像分别对应的GPS相位中心坐标数据和空间姿态数据，将所述第一像素点坐标和所述第二像素点坐标分别转换为对应的空间直角坐标后，分别计算所述第一像素点坐标和所述第二像素点坐标对应的地方平面坐标。
第二方面，本发明实施例提供一种城市部件的定位装置，所述装置包括：
影像获取单元，用于获取当前街景影像和至少一张相邻街景影像，以及所述当前街景影像和所述相邻街景影像分别对应的GPS相位中心坐标数据和空间姿态数据；
部件提取单元，用于从所述当前街景影像和所述相邻街景影像中，提取至少一个指定的城市部件；
坐标获取单元，用于分别获取同一个城市部件在所述当前街景影像和所述相邻街景影像中同名的第一像素点坐标和第二像素点坐标；
部件定位单元，用于根据所述第一像素点坐标和所述第二像素点坐标，并结合空间检校参数以及所述当前街景影像和所述相邻街景影像分别对应的GPS相位中心坐标数据和空间姿态数据，基于前方交会法计算所述城市部件的空间地理坐标以实现对所述城市部件的定位。
作为本发明第二方面的优选方式，所述部件提取单元具体用于：
获取多张包含指定的城市部件的街景影像样本后，对所述街景影像样本中指定的城市部件进行标记，构建街景影像样本集；
根据深度学习算法对所述街景影像样本集进行训练，得到深度学习模型；
通过所述深度学习模型对所述当前街景影像和所述相邻街景影像进行检测，从所述当前街景影像和所述相邻街景影像中提取出至少一个指定的城市部件。
作为本发明第二方面的优选方式，所述坐标获取单元具体用于：
在所述当前街景影像和所述相邻街景影像中对提取出的同一个城市部件进行目标跟踪，建立基于所述城市部件的目标跟踪轨迹；
根据所述目标跟踪轨迹，分别获取同一个城市部件在所述当前街景影像和所述相邻街景影像中同名的第一像素点坐标和第二像素点坐标。
作为本发明第二方面的优选方式，所述部件定位单元还用于：
根据空间检校参数以及所述当前街景影像和所述相邻街景影像分别对应的GPS相位中心坐标数据和空间姿态数据，将所述第一像素点坐标和所述第二像素点坐标分别转换为对应的空间直角坐标后，分别计算所述第一像素点坐标和所述第二像素点坐标对应的地方平面坐标。
第三方面，本发明实施例提供一种车载移动测量系统，所述系统包括：
光学相机，用于获取当前街景影像和至少一张相邻街景影像；
GPS系统，用于获取所述当前街景影像和所述相邻街景影像对应的GPS相位中心坐标数据；
惯性导航系统，用于获取所述当前街景影像和所述相邻街景影像对应的空间姿态数据；
存储器；
处理器；以及
如上述第二方面任一项所述的城市部件的定位装置，所述城市部件的定位装置存储于所述存储器中并包括一个或多个由所述处理器执行的软件功能模组。
本发明实施例提供的城市部件的定位方法、装置及车载移动测量系统，首先通过车载移动测量系统获取多个街景影像以及与各个街景影像对应的GPS相位中心坐标数据和空间姿态数据，然后运用深度学习算法从街景影像中快速提取到指定的城市部件，并获取同名城市部件的像素点坐标，最后结合街景影像对应的GPS相位中心坐标数据和空间姿态数据，运用前方交会的方法计算出城市部件的空间地理坐标，从而实现城市部件的快速定位。
本方法、装置及车载移动测量系统能够进行城市部件的自动识别与快速定位，实现了指定城市部件的自动更新，避免了繁琐的人工识别与编辑工作，可极大的提高城市部件在相关专题地图的更新效率，为交通、消防和公安等部门的专题应用提供可靠的保障。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种城市部件的定位方法的流程图；
图2为本发明实施例提供的一种城市部件的定位方法中匈牙利匹配结果示意图；
图3为本发明实施例提供的一种城市部件的定位装置的示意图；
图4为本发明实施例提供的一种车载移动测量系统的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
车载移动测量系统作为一种采集城市部件信息的先进的测量手段，具有不与测量物接触、快速、实时、动态、主动、全面及高精度等特点，其上设置有经过时间同步的光学相机、GPS系统以及惯性导航系统，能够快速获取城市道路及两边的相邻的多张街景影像以及与街景影像对应的GPS相位中心坐标数据和空间姿态数据。
参照图1所示，本发明实施例公开了一种城市部件的定位方法，该方法主要包括如下步骤：
101、获取当前街景影像和至少一张相邻街景影像，以及当前街景影像和相邻街景影像分别对应的GPS相位中心坐标数据和空间姿态数据；
102、从当前街景影像和相邻街景影像中，提取至少一个指定的城市部件；
103、分别获取同一个城市部件在当前街景影像和相邻街景影像中同名的第一像素点坐标和第二像素点坐标；
104、根据第一像素点坐标和第二像素点坐标，并结合空间检校参数以及当前街景影像和相邻街景影像分别对应的GPS相位中心坐标数据和空间姿态数据，基于前方交会法计算城市部件的空间地理坐标以实现对城市部件的定位。
本发明实施例提供的城市部件的定位方法，主要用于进行城市部件的自动识别与快速定位，从而避免了繁琐的人工识别与编辑工作。
步骤101中，使车载移动测量系统在城市道路上进行匀速运动，并在匀速运动过程中通过光学相机采集城市道路及两边的相邻的多张街景影像，同时通过GPS系统和惯性导航系统采集各个街景影像对应的GPS相位中心坐标数据和空间姿态数据。
在获取到的多张街景影像中预先指定要识别和定位的一个或多个城市部件，例如可以是路灯、路牌、垃圾桶、井盖等。
从多张街景影像中选取一张包含指定的城市部件的街景影像作为当前街景影像，与其相邻的其他街景影像作为相邻街景影像。
步骤102中，在获取到当前街景影像和多张相邻街景影像后，需要进一步从中将指定的城市部件提取出来。
本发明实施例中，优选采用深度学习算法对城市部件进行自动提取，提取出街景影像中包含的指定的城市部件。示例性地，在一种可能的实现方式中，可以具体按照如下步骤实施：
1021、获取多张包含指定的城市部件的街景影像样本后，对街景影像样本中指定的城市部件进行标记，构建街景影像样本集；
1022、根据深度学习算法对街景影像样本集进行训练，得到深度学习模型；
1023、通过深度学习模型对当前街景影像和相邻街景影像进行检测，从当前街景影像和相邻街景影像中提取出至少一个指定的城市部件。
在步骤1021中，利用深度学习算法对城市部件进行提取时，需要建立一个样本库。在具体操作时，可以从步骤101中获取到的多张街景影像中选取部分包含指定的城市部件的街景影像作为街景影像样本，然后对这些街景影像中包含的指定的城市部件进行标记，以生成高质量的样本数据，例如可以对路灯、路牌、垃圾桶和井盖这四类城市部件进行标记。
一般地，选取的包含各个城市部件的街景影像样本应不少于5000个，这样可以确保提取的准确性，每个街景影像样本中均对应包含标记出的指定的城市部件的坐标文件。
对各个街景影像样本标记完后，标记完的街景影像样本即构成了一个街景影像样本集。
在步骤1022中，需要对上述步骤得到的街景影像样本集选取合适的深度学习算法进行训练，通过调整模型训练过程中网络模型相关参数等内容对样本数据进行模型训练，并不断优化该模型，得到适合城市部件快速提取的深度学习模型数据，并以此模型对步骤101中获取到的多张街景影像进行识别，从中提取出指定的城市部件。
具体地，首先，将标记后的街景影像样本集的数据集格式整理并转换成PASCALVOC数据集格式。转换后的数据集被分成训练集、验证集和测试集，其中训练集主要用于估计模型，验证集用于确定网络结构，测试集用于检验最终优化模型的性能，训练集、验证集和测试集中包含的街景影像样本的比例为2:1:1。
数据集在具体存储时，共设置了三个文件夹来存储对应的数据，分别是JPEGImages文件夹、Annotations文件夹和ImageSets文件夹。其中，JPEGImages文件夹中存储了所有的街景影像样本，包括训练集样本、验证集样本和测试集样本；Annotations文件夹中存储的是xml格式的标签文件；ImageSets文件夹下的子文件夹Main中存储了需要用于图像检验的train.txt、val.txt、test.txt和trainval.txt文本文件，分别记录着用于训练、验证和测试的街景影像样本的文件名。
然后，搭建caffe深度学习框架以及Faster R-CNN算法，将转换后的数据集利用PASCAL VOC数据集处理方法输入到Faster R-CNN算法中进行训练。训练策略具体采用微调技术(fine-tuning)，利用在街景影像样本集Cityscapes数据集上训练得到的模型参数作为预训练模型，用于初始化Faster R-CNN网络参数。
构建好相应的网络结构后，通过在卷积神经网络最后一层的特征图后添加RPN(Regional Proposal Network)网络来实现对目标定位的功能，此处所述的目标即指指定的城市部件。Faster R-CNN模型包含2个卷积神经网络，即区域提议网络RPN和Fast R-CNN检测网络。本实施例中使用VGG16卷积神经网络进行特征提取，该网络由5个卷积层，3个全连接层以及1个Softmax层组成。
对训练超参数进行选择时，优选在转换后的数据集上前80K次迭代学习率为0.001，后40K次迭代学习率为0.0001，动量为0.9，权重衰减系数为0.0005。
这样，经过多次训练，可得到训练后的深度学习模型。
在步骤1023中，利用上述步骤中训练后的深度学习模型，输入待检测的步骤101中获取到的多张街景影像，即当前街景影像和多张相邻街景影像，对指定的城市部件进行检测识别，从中识别出指定的城市部件，例如路灯、路牌、垃圾桶和井盖，然后将识别出的这些城市部件的坐标文件输出，即完成指定的城市部件的提取过程。
通过上述步骤1021～1023，可以利用深度学习算法从步骤101中获取到的当前街景影像和多张相邻街景影像中将指定的城市部件提取出来。
步骤103中，在当前街景影像和多张相邻街景影像中将指定的城市部件提取出来后，进一步从中提取出同名的城市部件，然后再获取同一个城市部件在当前街景影像和相邻街景影像中同名部件的坐标文件，即在当前街景影像中的第一像素点坐标和相邻街景影像中的第二像素点坐标。
本发明实施例中，优选采用目标跟踪轨迹算法对同名部件的坐标文件进行提取，提取出同一个城市部件在当前街景影像和相邻街景影像中同名部件的坐标文件。示例性地，在一种可能的实现方式中，可以具体按照如下步骤实施：
1031、在当前街景影像和相邻街景影像中对提取出的同一个城市部件进行目标跟踪，建立基于城市部件的目标跟踪轨迹；
1032、根据目标跟踪轨迹，分别获取同一个城市部件在当前街景影像和相邻街景影像中同名的第一像素点坐标和第二像素点坐标。
在步骤1031中，对当前街景影像和相邻街景影像中提取出的同一个城市部件进行目标跟踪，建立目标跟踪轨迹。
本实施例中，使用一维向量描述轨迹在某时刻的状态
Figure BDA0002260875330000101
u、v表示目标边框中心的位置，s表示目标边框的面积，r表示宽高比，
Figure BDA0002260875330000102
表示目标在图像坐标中对应的速度信息，本实施例中所述的目标即指从当前街景影像和相邻街景影像中提取出的城市部件。
近似认为目标帧间的移动符合匀速运动模型，目标的状态模型和观测模型分别为：
X(k)＝AX(k-1)+W(k) (1)
Y(k)＝HX(k)+V(k) (2)
其中，X(k)为k时刻目标状态，Y(k)为k时刻观测值，W(k)和V(k)表示k时刻噪声，A表示状态方程系统参数，H为观测方程系统参数。
采用卡尔曼滤波预测更新目标轨迹。假设当前为第k帧，根据系统模型，可以基于系统的k-1帧状态而预测出现在状态：
X(k|k-1)＝AX(k-1|k-1) (3)
与之对应，可以根据k-1帧状态下X(k-1|k-1)的协方差P(k-1|k-1)更新现在状态的协方差：
P(k|k-1)＝AP(k-1|k-1)A′+Q (4)
A′为A的转置矩阵，Q是状态方程协方差计算得到现在状态的预测结果之后，结合预测值和测量值，可以得到第k帧的最优化估算值X(k|k)：
X(k|k)＝X(k|k-1)+K(k)(Y(k)-HX(k|k-1)) (5)
其中K(k)为卡尔曼增益：
K(k)＝P(k|k-1)H′(HP(k|k-1)H′+R)-1 (6)
最后更新k状态下X(k|k)的协方差：
P(k|k)＝(I-K(k)H)P(k|k-1) (7)
接下来，依次执行下列步骤建立目标跟踪轨迹：
a、目标关联：目标关联即将检测到的目标与现有的轨迹进行关联。
(1)首先判断检测目标与现有轨迹的目标类型(城市部件类别)是否相同，若不同则判定二者之间不关联，否则继续步骤(2)；
(2)假设当前为第k帧，根据卡尔曼滤波器公式(3)计算得到的预测位置X(k|k-1)与步骤(2)中的检测结果Y(k)，计算二者之间bounding box的重叠度(Intersection overUnion)，当该值大于设定的阈值IoUmin时，则认为检测目标与现有轨迹有关联。
b、目标匹配：得到可关联的目标之后，采用传统的匈牙利算法进行联目标和跟踪轨迹进行最大匹配。匈牙利算法的核心就是寻找增广路径，是一种用增广路径求二分图最大匹配的算法。从一个未匹配点出发，交替走非匹配边和匹配边，如果途经另一个未匹配点，则该条路径为增广路。把增广路径上的所有第奇数条边加入到原匹配中去，并把增广路径中所有偶数条边从原匹配中删除，则新匹配数就比原匹配数增加1个。
例如，图2为匈牙利匹配结果示意图。图中左侧4个圆代表4个相同目标类型的检测结果，右侧4个圆代表4个与检测结果相同的四个跟踪轨迹，之间的连线(包含实线和虚线)代表着检测目标与跟踪轨迹相关联。图中红虚线表示利用匈牙利匹配算法计算得到最大匹配结果，即目标1与轨迹b匹配，目标2与轨迹c匹配，目标3与轨迹a匹配。
c、位置更新：得到目标匹配结果之后，利用公式(5)计算得到当前时刻的最优估算值作为跟踪轨迹的当前时刻位置。
d、创建和删除跟踪轨迹：对于每条轨迹都有一个变量a用于记录轨迹从上一次成功匹配到当前时刻的时间，当该值大于设定的阈值Amax则认为该轨迹终止。在匹配时，对于没有匹配成功的部件目标都认为可能产生新的轨迹。但由于这些检测目标可能是一些虚警，所以对这种情形新生成的轨迹标注为待定轨迹，然后观查在接下来的连续若干帧中是否连续匹配成功，若连续匹配成功则认为是新轨迹产生，否则评价该轨迹是假性轨迹，删除该轨迹。
在步骤1032中，根据上述步骤得出的目标跟踪轨迹，可以获取到提取出的同一个城市部件出现在哪些街景影像中，并将同一个城市部件在当前街景影像和相邻街景影像中同名的第一像素点坐标和第二像素点坐标输出。
步骤104中，由于车载移动测量系统中集成了多个组件，每一种组件都有自身的坐标系，因此必须将这些坐标系都统一到一个统一坐标系下才能方便后期的处理。为了有效融合各种数据，本实施例中将坐标系都统一到地方平面坐标系下，其中光学相机的坐标系的转换顺序为相机坐标系到惯导坐标系再到地方平面坐标系，惯性导航系统的坐标系的转换顺序为惯导坐标系再到地方平面坐标系，而GPS系统的坐标系不需要转换。
因此，在步骤104之前，还包括如下步骤：
根据空间检校参数以及当前街景影像和相邻街景影像分别对应的GPS相位中心坐标数据和空间姿态数据，将第一像素点坐标和第二像素点坐标分别转换为对应的空间直角坐标后，分别计算第一像素点坐标和第二像素点坐标对应的地方平面坐标。
其中，空间检校参数为获取街景影像时的自带的固有参数，可直接输入。
上述坐标系进行转换时，具体转换方法如下：
相机坐标系到惯导坐标系的转换：在车载移动测量系统中，相机坐标系描述的是地物点在相机坐标系下的空间位置，同时相机坐标系和惯导坐标系都为空间直角坐标系，因此坐标系转换可通过旋转和平移完成，然后构建相机坐标系到惯导坐标系的转换关系如下：
Figure BDA0002260875330000131
Figure BDA0002260875330000132
Figure BDA0002260875330000133
其中，PCAM是地面点P在相机坐标系下的坐标，PIMU是P点在惯导坐标系下的坐标，
Figure BDA0002260875330000141
是在惯导坐标系相机坐标系原点的位置参数，
Figure BDA0002260875330000142
是相机坐标系变换到惯导坐标系的三个旋转角组成的旋转矩阵，而ai，bi，ci(i＝1,2,3)是组成旋转矩阵的一个元素，
Figure BDA0002260875330000144
κ是外方位角元素，由空间检校参数提供。
惯导坐标系到地方平面坐标系的转换：通过惯性导航系统和GPS系统可以直接获得惯导坐标系原点在地方平面坐标系下的坐标。
利用上述坐标系转换方法，可以将同一个城市部件在当前街景影像和相邻街景影像中同名的第一像素点坐标和第二像素点坐标分别转换为对应的空间直角坐标，然后再基于转换后的空间直角坐标分别计算第一像素点坐标和第二像素点坐标对应的地方平面坐标。
将多个组件的坐标系进行统一后，并得到同一个城市部件在当前街景影像和相邻街景影像中同名的第一像素点坐标和第二像素点坐标对应的地方平面坐标，可利用摄影测量学中的共线方程，通过这两个同名部件的像素点坐标、并结合空间检校参数以及当前街景影像和相邻街景影像分别对应的GPS相位中心坐标数据和空间姿态数据，基于前方交会的方法计算出该城市部件的空间地理坐标(X,Y,Z)。
其中，共线方程表达式如下：
Figure BDA0002260875330000143
其中，xi，yi分别为第一像素点和第二像素点的像平面坐标；
x0，y0，f为影像的内方位元素；
XS，YS，ZS为投影中心S的物方空间坐标；
XA，YA，ZA为物方点的物方空间坐标；
ai，bi，ci(i＝1,2,3)为影像的3个外方位角元素组成的9个方向的余弦。
考虑到通常情况下，同一个城市部件会出现在多于两张的街景影像之中，即相邻街景影像的数量会有多张，因此需要对上式进行线性化，利用最小二乘原理给出城市部件的最优估计位置。
同时，在实际操作中，利用了识别比较准确的两张街景影像，即当前街景以及其中的一张相邻街景影像给出该城市部件的初始位置，利用上式可以反算出其它相邻街景影像中该城市部件的像素点坐标(x0,y0)，以此像素点坐标为参考，可有效提高城市部件识别的准确度。
需要说明的是，对于上述方法的实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明所必须的。
综上所述，本发明实施例提供的城市部件的定位方法及装置，首先通过车载移动测量系统获取多个街景影像以及与各个街景影像对应的GPS相位中心坐标数据和空间姿态数据，然后运用深度学习算法从街景影像中快速提取到指定的城市部件，并获取同名城市部件的像素点坐标，最后结合街景影像对应的GPS相位中心坐标数据和空间姿态数据，运用前方交会的方法计算出城市部件的空间地理坐标，从而实现城市部件的快速定位。
本方法及装置能够进行城市部件的自动识别与快速定位，实现了指定城市部件的自动更新，避免了繁琐的人工识别与编辑工作，可极大的提高城市部件在相关专题地图的更新效率，为交通、消防和公安等部门的专题应用提供可靠的保障。
基于同一技术构思，参照图3所示，本发明实施例公开了一种城市部件的定位装置，所述装置包括：
影像获取单元31，用于获取当前街景影像和至少一张相邻街景影像，以及当前街景影像和相邻街景影像分别对应的GPS相位中心坐标数据和空间姿态数据；
部件提取单元32，用于从当前街景影像和相邻街景影像中，提取至少一个指定的城市部件；
坐标获取单元33，用于分别获取同一个城市部件在当前街景影像和相邻街景影像中同名的第一像素点坐标和第二像素点坐标；
部件定位单元34，用于根据第一像素点坐标和第二像素点坐标，并结合空间检校参数以及当前街景影像和相邻街景影像分别对应的GPS相位中心坐标数据和空间姿态数据，基于前方交会法计算城市部件的空间地理坐标以实现对城市部件的定位。
优选地，所述部件提取单元32具体用于：
获取多张包含指定的城市部件的街景影像样本后，对街景影像样本中指定的城市部件进行标记，构建街景影像样本集；
根据深度学习算法对街景影像样本集进行训练，得到深度学习模型；
通过深度学习模型对当前街景影像和相邻街景影像进行检测，从当前街景影像和相邻街景影像中提取出至少一个指定的城市部件。
优选地，所述坐标获取单元33具体用于：
在当前街景影像和相邻街景影像中对提取出的同一个城市部件进行目标跟踪，建立基于城市部件的目标跟踪轨迹；
根据目标跟踪轨迹，分别获取同一个城市部件在当前街景影像和相邻街景影像中同名的第一像素点坐标和第二像素点坐标。
优选地，所述部件定位单元34还用于：
根据空间检校参数以及当前街景影像和相邻街景影像分别对应的GPS相位中心坐标数据和空间姿态数据，将第一像素点坐标和第二像素点坐标分别转换为对应的空间直角坐标后，分别计算第一像素点坐标和第二像素点坐标对应的地方平面坐标。
需要说明的是，本发明实施例提供的城市部件的定位装置与前述实施例所述的城市部件的定位方法属于相同的技术构思，其具体实施过程可参照前述实施例中对方法步骤的说明，在此不再赘述。
应当理解，以上一种城市部件的定位装置包括的单元仅为根据该设备装置实现的功能进行的逻辑划分，实际应用中，可以进行上述单元的叠加或拆分。并且该实施例提供的一种城市部件的定位装置所实现的功能与上述实施例提供的一种城市部件的定位方法一一对应，对于该装置所实现的更为详细的处理流程，在上述方法实施例一中已做详细描述，此处不再详细描述。
基于同一技术构思，参照图4所示，本发明实施例公开了一种车载移动测量系统，所述系统包括：
光学相机41，用于获取当前街景影像和至少一张相邻街景影像；
GPS系统42，用于获取当前街景影像和相邻街景影像对应的GPS相位中心坐标数据；
惯性导航系统43，用于获取当前街景影像和相邻街景影像对应的空间姿态数据；
存储器44；
处理器45；以及
如上述实施例中任一项所述的城市部件的定位装置46，该城市部件的定位装置46存储于存储器44中并包括一个或多个由处理器45执行的软件功能模组。
具体地，该城市部件的定位装置46包括如上述实施例中所述的各个单元。
所述光学相机41、所述GPS系统42、所述惯性导航系统43、所述存储器44、所述处理器45以及所述城市部件的定位装置46中各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。
其中，城市部件的定位装置46包括至少一个可以软件或固件(firmware)的形式存储于存储器中或固化在车载移动测量系统的操作系统中的软件功能模组，处理器45用于执行存储器44中存储的上述软件功能模块。其中，所述存储器44可以是，但不限于随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、可编程只读存储器(ProgrammableRead-Only Memory，PROM)、可擦除只读存储器(Erasable ProgrammableRead-Only Memory，EPROM)、电可擦除只读存储器(Electric Erasable ProgrammableRead-Only Memory，EEPROM)等。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种城市部件的定位方法，其特征在于，所述方法包括：
获取当前街景影像和至少一张相邻街景影像，以及所述当前街景影像和所述相邻街景影像分别对应的GPS相位中心坐标数据和空间姿态数据；
从所述当前街景影像和所述相邻街景影像中，提取至少一个指定的城市部件；
分别获取同一个城市部件在所述当前街景影像和所述相邻街景影像中同名的第一像素点坐标和第二像素点坐标；
根据所述第一像素点坐标和所述第二像素点坐标，并结合空间检校参数以及所述当前街景影像和所述相邻街景影像分别对应的GPS相位中心坐标数据和空间姿态数据，基于前方交会法计算所述城市部件的空间地理坐标以实现对所述城市部件的定位。
2.根据权利要求1所述的方法，其特征在于，所述从所述当前街景影像和所述相邻街景影像中，提取至少一个指定的城市部件包括：
获取多张包含指定的城市部件的街景影像样本后，对所述街景影像样本中指定的城市部件进行标记，构建街景影像样本集；
根据深度学习算法对所述街景影像样本集进行训练，得到深度学习模型；
通过所述深度学习模型对所述当前街景影像和所述相邻街景影像进行检测，从所述当前街景影像和所述相邻街景影像中提取出至少一个指定的城市部件。
3.根据权利要求1所述的方法，其特征在于，分别所述获取同一个城市部件在所述当前街景影像和所述相邻街景影像中同名的第一像素点坐标和第二像素点坐标包括：
在所述当前街景影像和所述相邻街景影像中对提取出的同一个城市部件进行目标跟踪，建立基于所述城市部件的目标跟踪轨迹；
根据所述目标跟踪轨迹，分别获取同一个城市部件在所述当前街景影像和所述相邻街景影像中同名的第一像素点坐标和第二像素点坐标。
4.根据权利要求1～3中任一项所述的方法，其特征在于，在基于前方交会法计算所述城市部件的空间地理坐标以实现对所述城市部件的定位之前，还包括：
根据空间检校参数以及所述当前街景影像和所述相邻街景影像分别对应的GPS相位中心坐标数据和空间姿态数据，将所述第一像素点坐标和所述第二像素点坐标分别转换为对应的空间直角坐标后，分别计算所述第一像素点坐标和所述第二像素点坐标对应的地方平面坐标。
5.一种城市部件的定位装置，其特征在于，所述装置包括：
影像获取单元，用于获取当前街景影像和至少一张相邻街景影像，以及所述当前街景影像和所述相邻街景影像分别对应的GPS相位中心坐标数据和空间姿态数据；
部件提取单元，用于从所述当前街景影像和所述相邻街景影像中，提取至少一个指定的城市部件；
坐标获取单元，用于分别获取同一个城市部件在所述当前街景影像和所述相邻街景影像中同名的第一像素点坐标和第二像素点坐标；
部件定位单元，用于根据所述第一像素点坐标和所述第二像素点坐标，并结合空间检校参数以及所述当前街景影像和所述相邻街景影像分别对应的GPS相位中心坐标数据和空间姿态数据，基于前方交会法计算所述城市部件的空间地理坐标以实现对所述城市部件的定位。
6.根据权利要求5所述的装置，其特征在于，所述部件提取单元具体用于：
获取多张包含指定的城市部件的街景影像样本后，对所述街景影像样本中指定的城市部件进行标记，构建街景影像样本集；
根据深度学习算法对所述街景影像样本集进行训练，得到深度学习模型；
通过所述深度学习模型对所述当前街景影像和所述相邻街景影像进行检测，从所述当前街景影像和所述相邻街景影像中提取出至少一个指定的城市部件。
7.根据权利要求5所述的装置，其特征在于，所述坐标获取单元具体用于：
在所述当前街景影像和所述相邻街景影像中对提取出的同一个城市部件进行目标跟踪，建立基于所述城市部件的目标跟踪轨迹；
根据所述目标跟踪轨迹，分别获取同一个城市部件在所述当前街景影像和所述相邻街景影像中同名的第一像素点坐标和第二像素点坐标。
8.根据权利要求5～7中任一项所述的装置，其特征在于，所述部件定位单元还用于：
根据空间检校参数以及所述当前街景影像和所述相邻街景影像分别对应的GPS相位中心坐标数据和空间姿态数据，将所述第一像素点坐标和所述第二像素点坐标分别转换为对应的空间直角坐标后，分别计算所述第一像素点坐标和所述第二像素点坐标对应的地方平面坐标。
9.一种车载移动测量系统，其特征在于，所述系统包括：
光学相机，用于获取当前街景影像和至少一张相邻街景影像；
GPS系统，用于获取所述当前街景影像和所述相邻街景影像对应的GPS相位中心坐标数据；
惯性导航系统，用于获取所述当前街景影像和所述相邻街景影像对应的空间姿态数据；
存储器；
处理器；以及
如上述权利要求5～8中任一项所述的城市部件的定位装置，所述城市部件的定位装置存储于所述存储器中并包括一个或多个由所述处理器执行的软件功能模组。
CN201911070783.XA 2019-11-05 2019-11-05 一种城市部件的定位方法、装置及车载移动测量系统 Pending CN110763203A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911070783.XA CN110763203A (zh) 2019-11-05 2019-11-05 一种城市部件的定位方法、装置及车载移动测量系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911070783.XA CN110763203A (zh) 2019-11-05 2019-11-05 一种城市部件的定位方法、装置及车载移动测量系统

Publications (1)

Publication Number Publication Date
CN110763203A true CN110763203A (zh) 2020-02-07

Family

ID=69335826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911070783.XA Pending CN110763203A (zh) 2019-11-05 2019-11-05 一种城市部件的定位方法、装置及车载移动测量系统

Country Status (1)

Country Link
CN (1) CN110763203A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021197341A1 (zh) * 2020-04-03 2021-10-07 速度时空信息科技股份有限公司 一种基于单目影像的道路标志标线的更新方法
CN114998425A (zh) * 2022-08-04 2022-09-02 吉奥时空信息技术股份有限公司 一种基于人工智能的目标物体地理坐标定位方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023207A (zh) * 2016-05-23 2016-10-12 青岛秀山移动测量有限公司 一种基于移动测量系统双全景的城市部件采集方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023207A (zh) * 2016-05-23 2016-10-12 青岛秀山移动测量有限公司 一种基于移动测量系统双全景的城市部件采集方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021197341A1 (zh) * 2020-04-03 2021-10-07 速度时空信息科技股份有限公司 一种基于单目影像的道路标志标线的更新方法
US11798228B2 (en) 2020-04-03 2023-10-24 Speed Technology Co., Ltd. Method for updating road signs and markings on basis of monocular images
CN114998425A (zh) * 2022-08-04 2022-09-02 吉奥时空信息技术股份有限公司 一种基于人工智能的目标物体地理坐标定位方法和装置

Similar Documents

Publication Publication Date Title
Maddern et al. 1 year, 1000 km: The oxford robotcar dataset
US10509987B1 (en) Learning method and learning device for object detector based on reconfigurable network for optimizing customers' requirements such as key performance index using target object estimating network and target object merging network, and testing method and testing device using the same
CN108596108B (zh) 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN103679674B (zh) 一种无人飞行器实时图像拼接方法及系统
CN112084869B (zh) 一种基于紧致四边形表示的建筑物目标检测方法
CN111738110A (zh) 基于多尺度注意力机制的遥感图像车辆目标检测方法
JP2009003415A (ja) 地図データ更新方法および装置
CN109800712B (zh) 一种基于深度卷积神经网络的车辆检测计数方法及设备
CN112836657B (zh) 一种基于轻量化YOLOv3的行人检测方法及系统
CN110763203A (zh) 一种城市部件的定位方法、装置及车载移动测量系统
CN113052108A (zh) 基于深度神经网络的多尺度级联航拍目标检测方法和系统
Hoang et al. Path planning for autonomous vehicle based on heuristic searching using online images
CN113313094A (zh) 一种基于卷积神经网络的车载图像目标检测方法和系统
Reinders et al. Object recognition from very few training examples for enhancing bicycle maps
CN113012215A (zh) 一种空间定位的方法、系统及设备
Kahraman et al. Road detection from high satellite images using neural networks
CN114511788A (zh) 一种坡体裂缝识别方法、系统、设备以及存储介质
Li et al. 3D map system for tree monitoring in hong kong using google street view imagery and deep learning
CN113838129B (zh) 一种获得位姿信息的方法、装置以及系统
Zhao et al. YOLO‐Highway: An Improved Highway Center Marking Detection Model for Unmanned Aerial Vehicle Autonomous Flight
CN115546667A (zh) 一种无人机场景的实时车道线检测方法
CN115690610A (zh) 一种基于图像匹配的无人机导航方法
CN111488771B (zh) Ocr挂接方法、装置与设备
CN113869144A (zh) 目标检测方法、装置、电子设备及计算机可读存储介质
Tang et al. Supervised adaptive-RPN network for object detection in remote sensing images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200207