CN116645404A - 一种照片gps位置信息提取匹配方法以及提取匹配装置 - Google Patents
一种照片gps位置信息提取匹配方法以及提取匹配装置 Download PDFInfo
- Publication number
- CN116645404A CN116645404A CN202310624581.5A CN202310624581A CN116645404A CN 116645404 A CN116645404 A CN 116645404A CN 202310624581 A CN202310624581 A CN 202310624581A CN 116645404 A CN116645404 A CN 116645404A
- Authority
- CN
- China
- Prior art keywords
- photo
- camera
- dimensional
- position information
- scanner
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000000605 extraction Methods 0.000 title claims abstract description 44
- 238000013507 mapping Methods 0.000 claims abstract description 28
- 238000012795 verification Methods 0.000 claims abstract description 10
- 238000004458 analytical method Methods 0.000 claims abstract description 9
- 238000009877 rendering Methods 0.000 claims description 12
- 238000009434 installation Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000012937 correction Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 abstract description 11
- 238000011835 investigation Methods 0.000 abstract description 6
- 238000012423 maintenance Methods 0.000 abstract description 6
- 238000012916 structural analysis Methods 0.000 abstract description 4
- 238000011156 evaluation Methods 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000007726 management method Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000004888 barrier function Effects 0.000 description 3
- 238000009413 insulation Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Studio Devices (AREA)
Abstract
本发明提供了一种照片GPS位置信息提取匹配方法以及提取匹配装置，本发明的照片GPS位置信息提取匹配方法包括如下步骤：在三维激光扫描仪上安装外置防抖相机，将扫描仪与相机之间安置参数进行标定，实现Gopro相机采集的二维影像照片与点云两个坐标系之间数据的映射；按照标定好的安置参数拍摄照片之后，采用照片经纬度信息采集系统获取照片的位置信息，贴图验证照片位置信息准确性。本发明的照片GPS位置信息提取匹配方法快速准确获取街景照片的GPS经纬度信息，以方便公路测量，维护和勘察、公路资产清查、公路几何模型、结构分析、淹水评估分析等三维建模应用领域中的快速贴图工作，可提高工作效率，降低生产成本。
Description
技术领域
本发明涉及图片识别定位获取位置信息领域，具体而言，涉及一种照片GPS位置信息提取匹配方法以及提取匹配装置，特别是一种基于车载三维激光扫描装置的Gopro防抖相机所拍摄的照片的经纬度信息批量提取方法。
背景技术
目前车载三维激光扫描装置上所搭配的相机是一种超广角镜头，超广角镜头是一种焦距为16mm或更短的并且视角接近或等于180°的镜头。这种摄影镜头的前镜片直径很短且呈抛物状向镜头前部凸出，以便使镜头达到最大的摄影视角，与鱼的眼睛颇为相似，“鱼眼镜头”因此而得名。鱼眼镜头的测量范围大，但是变形严重，所以没有广泛应用在摄影测量中，因此可以探究一种针对鱼眼镜头的影像纠正方法，使之可以应用在测量中。目前国内外许多摄影测量和计算机视觉专家对数码相机标定理论的研究已经相当成熟，提出了各种行之有效的标定方法，然而，针对超广角镜头的标定算法和软件仍然不成熟。因而鱼眼相机所拍摄的街景照片难以快速运用到三维建模工作中，并且难以获得准确的街景照片GPS位置信息。如何快速经济的提取车载街景照片的属性信息，是三维激光移动扫描技术用于街景建模亟待解决的问题和难点。
有鉴于此，特提出本发明。
发明内容
有鉴于此，本发明公开了一种基于Gopro外置防抖相机来拍摄常规街景照片，通过街景照片位置信息提取匹配装置快速准确获取街景照片的GPS经纬度信息，以方便公路测量，维护和勘察、公路资产清查(交通标志，隔音障，护栏，下水道口，排水沟等)、公路检测(车辙，道路表面，道路变形)、公路几何模型(横向和纵向的剖面分析)、结构分析(立交桥)、淹水评估分析等三维建模应用领域中的快速贴图工作，可提高工作效率，降低生产成本。
具体地，本发明是通过以下技术方案实现的：
第一方面，本发明公开了一种照片GPS位置信息提取匹配方法，包括如下步骤：
在三维激光扫描仪上安装外置防抖相机，将扫描仪与相机之间安置参数进行标定，实现Gopro相机采集的二维影像照片与点云两个坐标系之间数据的映射；
按照标定好的安置参数拍摄照片之后，采用照片经纬度信息采集系统获取照片的位置信息，贴图验证照片位置信息准确性。
第二方面，本发明公开了一种照片GPS位置信息提取匹配系统，包括：
标定模块：用于在三维激光扫描仪上安装外置防抖相机，将扫描仪与相机之间安置参数进行标定，实现Gopro相机采集的二维影像照片与点云两个坐标系之间数据的映射；
信息提取模块：用于按照标定好的安置参数拍摄照片之后，采用照片经纬度信息采集系统获取照片的位置信息，贴图验证照片位置信息准确性。
第三方面，本发明公开了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如第一方面所述照片GPS位置信息提取匹配方法的步骤。
第四方面，本发明公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述照片GPS位置信息提取匹配方法的步骤。
正是由于现有技术中鱼眼相机拍摄的照片变形严重，无法直接用于三维建模贴图工作，需要进行相机影像视觉标定及畸变校正，相应的标定和校正算法仍不成熟，难以获取精确的街景照片位置信息，所以本发明的方案为了解决上述技术问题，提供了一种能够快速获取街景照片的GPS经纬度信息的方法，可快捷稳健地实现公路街景照片位置信息的自动化提取，提高了照片贴图的精度、效率和自动化程度，且方法简单、容易实现。
具体地，本发明主要是通过一种车载三维激光扫描外置相机照片位置信息提取匹配装置获取照片的GPS位置信息，包括以下步骤：
1、安装调试Gopro外置防抖相机
在三维激光扫描车上安装外置防抖相机，通过折叠接头连接到扫描车的固定接头处，首先要尝试连一下手机，下载GoPro官方的APP，打开相机然后开启蓝牙，手机也打开蓝牙，然后尝试连接。通过APP可以控制相机，起到一个遥控器的作用，拍某些街景照片也可以用来代替快门线。然后在控制车速40km/h的情况下设置照片拍摄参数，延时拍摄拍摄(1秒拍摄间隔)1080P，连拍(30/3速率)，宽镜头。
2、扫描仪与相机之间安置参数标定
地面三维激光扫描仪(3D Tettestrial Laser Scanner，TLS)是一种新型的空间信息快速采集设备，可以覆盖式地快速获取目标物体表面在其仪器坐标系下的三维坐标——点云，同时根据激光发射与接收的强度值变化记录物体表面的回光强度和反射率等特性信息。由于点云一般为散乱式存储，邻接拓扑关系未知，所以点云各点处局部邻域的计算是一个比较耗时的任务；而图像采用栅格的形式存储，相邻点之间邻接分布，拓扑关系已知，故采用投影的方式将点云转化为图像进行处理，从而达到降维的目的。Gopro相机采集的二维影像可以更加真实地描述被测场景，且其数据完整性优于点云，不仅可以用于点云的纹理贴图，也可以作为点云信息提取的辅助数据。虽然影像相比点云损失了一个维度，但在相机与扫描仪安置关系高精度标定的基础上，每次设站进行扫描测量和影像采集时根据共线条件方程可以获取点云与像素点之间的对应关系，从而可以根据映射点云的深度和回光强度等信息弥补像素之间的深度差异。对于配套外置的相机的扫描仪，扫描仪与相机之间相应的安置参数在出厂时已有标示，但在频繁的安装和拆解过程中，安置参数难免会产生一定的偏差，因此，研究扫描仪与相机安置参数的高精度标定方法具有重要意义。扫描仪与相机之间安置参数标定的实质即为求解扫描仪仪器坐标系和相机坐标系之间的转换关系，最终实现两个坐标系之间数据的映射。
3、采集公路街景照片
启动三维激光扫描车，在卡槽内插入大容量SD卡，开启相机，按步骤1中设置的相机拍照参数，按“快门”按钮进行街景照片的拍摄采集，采集过程中随时关注照片拍摄质量和SD卡内存状态。采集结束后将所拍摄的街景照片通过USB-C端口导出到移动笔记本上进行照片信息提取处理。
4、构建街景照片位置采集装置
为构建照片位置采集装置，基于C#语言开发了一款照片经纬度信息采集系统，通过将步骤3中导出的街景照片导入到此信息采集系统中，通过访问遍历街景照片文件夹中照片的exif信息获取照片的WGS84坐标系下的经纬度坐标，并同时将街景照片的位置信息存储为json格式的方便后期数据处理。
4)数据库输入输出模块：数据的输入、输出、存储与管理，具体见图5所示。
5、通过装置提取照片GPS位置信息
通过街景照片GPS信息提取系统进行街景照片的位置信息提取，通过文件夹路径读取Gopro相机所拍摄的全部街景照片，并将照片初步录入系统中，然后点击启动，以电影逐片播放的形式快速读取街景照片的经纬度信息，并将每张照片位置信息是否读取成功进行标识，并将读取的街景照片的位置信息保存为json格式的文件。
6、贴图验证照片位置信息准确性
通过车载三维激光扫描仪获取街景点云数据，并获取三维模型和模型对应的街景照片，其中三维模型为不具有纹理属性的三维白模，街景照片数据包括多张原景图像；同时将三维模型输入到三维数字空间中，从多张原景图像数据中选取第一张街景照片，确定第一张街景照片在三维数字空间中对应的第一渲染位置，根据第一张街景照片和第一渲染位置生成第一纹理贴图，并根据第一渲染位置将第一纹理贴图渲染在三维模型上，得到渲染后的三维模型，并验证街景照片与三维模型的贴合度。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例提供的GPS位置信息提取匹配方法的流程示意图；
图2为本发明实施例提供的影像物理坐标系与相机坐标系的关系示意图；
图3为本发明实施例提供的相机坐标系与物方坐标系的关系示意图；
图4为本发明实施例提供的一种计算机设备的流程示意图；
图5为本发明实施例提供的照片经纬度信息采集系统的系统结构图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本发明公开了一种照片GPS位置信息提取匹配方法，包括如下步骤：
在三维激光扫描仪上安装外置防抖相机，将扫描仪与相机之间安置参数进行标定，实现Gopro相机采集的二维影像照片与点云两个坐标系之间数据的映射；
按照标定好的安置参数拍摄照片之后，采用照片经纬度信息采集系统获取照片的位置信息，贴图验证照片位置信息准确性。
具体地，本发明的GPS位置信息提取匹配方法如图1所示，共包含6个步骤：1)安装调试Gopro外置防抖相机；2)扫描仪与相机之间安置参数标定；3)采集公路街景照片；4)构建街景照片位置采集装置；5)通过装置提取照片GPS位置信息；6)贴图验证照片位置信息准确性。
以搭建南京市江北大道三维可视化平台项目为例介绍车载三维激光扫描外置相机照片位置信息提取的基本工作流程。
1、安装调试Gopro外置防抖相机
车载三维激光扫描仪的系统传感器部分集成在一个可稳固连接在普通车顶行李架或定制部件的过渡板上。支架可以分别调整激光传感器头、数码相机、IMU与GPS天线的姿态或位置。高强度的结构足以保证传感器头与导航设备间的相对姿态和位置关系稳定不变。将Gopro防抖相机中的折叠接头与三维激光扫描仪定制支架进行连接，打开车载三维激光扫描仪，打开Gopro相机然后开启蓝牙，手机也打开蓝牙，然后尝试连接。通过APP可以控制相机，起到一个遥控器的作用，拍某些街景照片也可以用来代替快门线。然后在控制车速40km/h的情况下设置照片拍摄参数，延时拍摄拍摄(1秒拍摄间隔)1080P，连拍(30/3速率)，宽镜头。
2、扫描仪与相机之间安置参数标定
扫描仪与相机之间安置参数标定的实质即为求解扫描仪仪器坐标系和相机坐标系之间的转换关系，最终实现两个坐标系之间数据的映射。影像像素坐标系与影像物理坐标系o0-x0y0为缩放关系(缩放比例为像素的尺寸)，影像物理坐标系与像空间坐标系(相机坐标系)的关系如图2所示。其中o-xy为相机坐标系在像平面上的二维投影坐标系，f为焦距，o和o0之间的平移量(x0，y0)为像主点坐标，加上7个相机畸变参数构成相机的10个内参数(十参数模型)，即内方位元素。相机坐标系Oc-XcYcZc和扫描仪仪器坐标系(物方坐标系)O-XYZ的关系如图3所示，两个三维坐标系之间的旋转和平移参数构成相机的外方位元素。
安置参数标定步骤如下：
(1)内参数标定：由于相机内参数的值较小，但其标定精度却对测量结果的精度有较大的影响；此外，针对相机内参数标定的研究也相对较多，并且有较为成熟的商业化系统，故对相机的内参数单独进行标定。在实验室环境中采用工业数字近景摄影三坐标测量系统(VSTARS系统)对相机内参数进行标定。
(2)控制点的采集与识别：在标定架上布设回光反射标志作为同名点，将相机架设在扫描仪上并且使得相机初始拍摄角度正对标定架，通过联机控制分别利用扫描仪和相机对标志进行扫描和拍摄，得到标定架的点云和单张照片(单像)，分别利用二维和三维的标志中心识别算法识别物方控制点和像方控制点。
(3)单像外方位元素求解：指定物方点和像方点之间的对应关系，根据直接线性变换求解相机架设在扫描仪上时初始拍摄角度对应的外方位元素。
(4)多像外方位元素解算：由于相机在采集街景照片时各张影像之间的距离均匀，可以依此确定各张影像分别沿扫描仪Z轴旋转的角度。然后根据步骤(3)标定求解所用单像的初始拍摄角度与全景采集的多张照片(多像)的拍摄角度之间的关系，并对多像的外方位元素进行求解。
(5)根据共线条件方程(公式1)求解三维扫描点云中每个点与多像照片像素之间的对应关系，从而实现点云贴图。
其中：(x，y)为影像上识别的控制点在影像物理坐标系下的二维坐标，(Δx，Δy)为其畸变改正量，(x0，y0)为像主点坐标，f为焦距，(X，Y，Z)为扫描仪测量得到的控制点在扫描仪坐标系下的三维坐标，{aj，bj，cj(j∈(1，2，3))}为由外方位角元素转化为坐标旋转矩阵时对应的9个方向余弦，(Xs，Ys，Zs)为外方位线元素。
3、采集公路街景照片
本次江北大道三维可视化平台项目主要用于公路测量，维护和勘察、公路资产清查(交通标志，隔音障，护栏，下水道口，排水沟等)、公路检测(车辙，道路表面，道路变形)、公路几何模型(横向和纵向的剖面分析)、结构分析(立交桥)等日常管理和维护工作，构建集采集、处理、维护、管理、检测、分析等多模式一体化数据管理平台。
数据采集人员在卡槽内插入大容量SD卡，开启相机，按步骤1中设置的相机拍照参数，按“快门”按钮进行街景照片的拍摄采集，采集过程中随时关注照片拍摄质量和SD卡内存状态，照片保存为jpg格式。采集结束后将所拍摄的街景照片通过USB-C端口导出到移动笔记本上进行照片信息提取处理。
4、构建街景照片位置采集装置
为方便快速获取街景照片的位置信息，基于C#语言开发了一款街景照片经纬度信息采集系统，通过将步骤3中导出的街景照片导入到此信息采集系统中，按照照片命名顺序遍历街景照片文件夹中所有照片，并读取各照片exif信息中的经纬度坐标，遍历的过程采用电影逐片播放的形式，并在系统左下角记录信息提取的进度和状态。
照片经纬度信息采集系统是自行开发的一套系统，具体系统架构如图5所示，该系统包括：
1)工程管理模块：针对项目中利用Gopro相机采集到的街景照片进行一键式管理；
2)数据管理模块：扫描仪与相机之间安置参数进行标定，实现Gopro相机采集的二维影像照片与点云两个坐标系之间数据的映射；
3)数据处理模块：按照标定好的安置参数拍摄照片之后，采用照片经纬度信息采集系统获取照片的位置信息，贴图验证照片位置信息准确性；2、用于按照标定好的安置参数拍摄照片之后，采用照片经纬度信息采集系统获取照片的位置信息。
5、提取照片GPS位置信息
通过街景照片GPS信息提取系统进行街景照片的位置信息提取，通过文件夹路径读取Gopro相机所拍摄的全部街景照片，并将照片初步录入系统中，然后点击启动，以电影逐片播放的形式快速读取街景照片的经纬度信息，并将每张照片位置信息是否读取成功进行标识，并将读取的街景照片的位置信息保存为json格式的文件方便后期数据处理。
6、贴图验证照片位置信息准确性
通过车载三维激光扫描仪获取街景点云数据，并获取三维模型和模型对应的街景照片，其中三维模型为不具有纹理属性的三维白模，街景照片数据包括多张原景图像；同时将三维模型输入到三维数字空间中，从多张原景图像数据中选取第一张街景照片，确定第一张街景照片在三维数字空间中对应的第一渲染位置，根据第一张街景照片和第一渲染位置生成第一纹理贴图，并根据第一渲染位置将第一纹理贴图渲染在三维模型上，得到渲染后的三维模型。
为了对街景照片与三维模型的贴合度进行验证分析，选择道路横切面1m路况清晰的彩色街景点云作为验证数据，使用前面步骤中计算得出的内参数和外方位元素，结合相机拍摄的街景照片，根据已知的特征点信息与相机内参来计算出该验证区域与相机的外参数，并将相机的世界坐标(WGS84)转换到特征点坐标系中。通过所提方法将验证区域点云的4个明显特征点作为标记点，用来计算点云数据与相机的外参矩阵，再将相机坐标系中的纹理图像重投影到彩色点云数据上。采用所提方法计算得到街景照片上所有的特征点坐标与点云数据中同名点之间的差异值，将结果取平均，可以得到所提方法的平均误差为5mm。充分验证了该方法所拍摄的照片完全可以用于公路街景三维精细化建模工作上。
上述方法中所采用的Gopro外置防抖相机市面上均可购买得到，防抖相机一般都包括有下述组件：1.“快门”按钮，2.护盖，3.护盖闩锁，4.状态指示灯，5.正面屏幕，6.microSD卡槽，7.电池，8.USB-C端口(导出拍摄照片)，9.麦克风，10.可拆卸镜头，11.“模式”按钮，12.排水麦克风，13.扬声器，14.触屏，15.折叠接头(外置于三维激光扫描车上)。
另外，本发明除了提供一种照片GPS位置信息提取匹配方法，还提供了一种照片GPS位置信息提取匹配系统，具体包括：
标定模块：用于在三维激光扫描仪上安装外置防抖相机，将扫描仪与相机之间安置参数进行标定，实现Gopro相机采集的二维影像照片与点云两个坐标系之间数据的映射；
信息提取模块：用于按照标定好的安置参数拍摄照片之后，采用照片经纬度信息采集系统获取照片的位置信息，贴图验证照片位置信息准确性。
具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
现有技术中，车载三维激光扫描装置上所搭配的鱼眼镜头虽然测量范围大，但是变形严重，所以没有广泛应用在摄影测量中，因此可以探究一种针对鱼眼镜头的影像纠正方法，使之可以应用在测量中。目前国内外许多摄影测量和计算机视觉专家对数码相机标定理论的研究已经相当成熟，提出了各种行之有效的标定方法，然而，针对超广角镜头的标定算法和软件仍然不成熟。因而鱼眼相机所拍摄的街景照片难以快速运用到三维建模工作中，并且难以获得准确的街景照片GPS位置信息。如何快速经济的提取车载街景照片的属性信息，是三维激光移动扫描技术用于街景建模亟待解决的问题和难点。
因此本发明提出了一种基于Gopro外置防抖相机来拍摄常规街景照片，通过街景照片位置信息提取匹配装置快速准确获取街景照片的GPS经纬度信息，以方便公路测量，维护和勘察、公路资产清查(交通标志，隔音障，护栏，下水道口，排水沟等)、公路检测(车辙，道路表面，道路变形)、公路几何模型(横向和纵向的剖面分析)、结构分析(立交桥)、淹水评估分析等三维建模应用领域中的快速贴图工作，可快捷稳健地实现公路街景照片位置信息的自动化提取，提高了照片贴图的精度、效率和自动化程度，且方法简单、容易实现。
图4为本发明公开的一种计算机设备的结构示意图。参考图4所示，该计算机设备400，至少包括存储器402和处理器401；所述存储器402通过通信总线403和处理器连接，用于存储所述处理器401可执行的计算机指令，所述处理器401用于从所述存储器402读取计算机指令以实现上述任一实施例所述的照片GPS位置信息提取匹配方法的步骤。
对于上述装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部磁盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
最后应说明的是：虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。
以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。
Claims (10)
1.一种照片GPS位置信息提取匹配方法，其特征在于，包括如下步骤：
在三维激光扫描仪上安装外置防抖相机，将扫描仪与相机之间安置参数进行标定，实现Gopro相机采集的二维影像照片与点云两个坐标系之间数据的映射；
按照标定好的安置参数拍摄照片之后，采用照片经纬度信息采集系统获取照片的位置信息，贴图验证照片位置信息准确性。
2.根据权利要求1所述的照片GPS位置信息提取匹配方法，其特征在于，安置参数的标定为求解三维激光扫描仪的物方坐标系与相机坐标系之间的转换关系；
其中，o-xy为相机坐标系在像平面上的二维投影坐标系，f为焦距，o和o0之间的平移量(x0，y0)为像主点坐标，加上7个相机畸变参数构成相机的10个内参数，即内方位元素；
相机坐标系Oc-XcYcZc和物方坐标系O-XYZ之间的旋转和平移构成相机的外方位元素。
3.根据权利要求2所述的照片GPS位置信息提取匹配方法，其特征在于，扫描仪与相机之间安置参数标定的方法包括：
对相机内参数进行标定，在标定架上布设回光反射标志作为同名点，将相机架设在扫描仪上并且使得相机初始拍摄角度正对标定架，通过联机控制分别利用扫描仪和相机对标志进行扫描和拍摄，得到标定架的点云和单张照片，分别利用二维和三维的标志中心识别算法识别物方控制点和像方控制点；
指定物方点和像方点之间的对应关系，根据直接线性变换求解相机架设在扫描仪上时初始拍摄角度对应的外方位元素；
相机在采集照片时各张影像之间的距离均匀，依此确定各张影像分别沿扫描仪Z轴旋转的角度，然后根据上述步骤标定求解所用单像的初始拍摄角度与全景采集的多张照片的拍摄角度之间的关系，并对多像的外方位元素进行求解；
根据共线条件方程求解三维扫描点云中每个点与多像照片像素之间的对应关系。
4.根据权利要求3所述的照片GPS位置信息提取匹配方法，其特征在于，具体共线条件方程为：
其中：(x，y)为影像上识别的控制点在影像物理坐标系下的二维坐标，(Δx，Δy)为其畸变改正量，(x0，y0)为像主点坐标，f为焦距，(X，Y，Z)为扫描仪测量得到的控制点在扫描仪坐标系下的三维坐标，{aj，bj，cj(j∈(1，2，3))}为由外方位角元素转化为坐标旋转矩阵时对应的9个方向余弦，(Xs，Ys，Zs)为外方位线元素。
5.根据权利要求4所述的照片GPS位置信息提取匹配方法，其特征在于，贴图验证照片位置信息准确性的方法包括：
获取点云数据，并获取三维模型和模型对应的多张原景图像，同时将三维模型输入到三维数字空间中，从多张原景图像数据中选取第一张照片，确定第一张照片在三维数字空间中对应的第一渲染位置，根据第一张照片和第一渲染位置生成第一纹理贴图，并根据第一渲染位置将第一纹理贴图渲染在三维模型上，得到渲染后的三维模型，对多张原景图像与三维模型的贴合度进行验证分析。
6.根据权利要求5所述的照片GPS位置信息提取匹配方法，其特征在于，验证分析的方法包括：
根据所得到的内参数和外方位元素，结合相机拍摄的照片，计算出该验证区域与相机的外参数，并将相机的世界坐标转换到特征点坐标系中；选择其中的4个明显特征点作为标记点，用来计算点云数据与相机的外参矩阵，再将相机坐标系中的纹理图像重投影到彩色点云数据上；
计算得到照片上所有的特征点坐标与点云数据中同名点之间的差异值，将结果取平均，得到平均误差若小于5mm，则证明具有较强的贴合度。
7.根据权利要求1所述的照片GPS位置信息提取匹配方法，其特征在于，获取照片的位置信息方法包括：通过文件夹路径读取Gopro相机所拍摄的全部照片，以电影逐片播放的形式快速读取照片的经纬度信息，并将每张照片位置信息是否读取成功进行标识，将读取的照片的位置信息保存为json格式的文件。
8.采用权利要求1-7任一项所述照片GPS位置信息提取匹配方法的匹配系统，其特征在于，包括：
标定模块：用于在三维激光扫描仪上安装外置防抖相机，将扫描仪与相机之间安置参数进行标定，实现Gopro相机采集的二维影像照片与点云两个坐标系之间数据的映射；
信息提取模块：用于按照标定好的安置参数拍摄照片之后，采用照片经纬度信息采集系统获取照片的位置信息，贴图验证照片位置信息准确性。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序执行时实现权利要求1-7任一项所述照片GPS位置信息提取匹配方法的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述照片GPS位置信息提取匹配方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310624581.5A CN116645404A (zh) | 2023-05-30 | 2023-05-30 | 一种照片gps位置信息提取匹配方法以及提取匹配装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310624581.5A CN116645404A (zh) | 2023-05-30 | 2023-05-30 | 一种照片gps位置信息提取匹配方法以及提取匹配装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116645404A true CN116645404A (zh) | 2023-08-25 |
Family
ID=87618417
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310624581.5A Pending CN116645404A (zh) | 2023-05-30 | 2023-05-30 | 一种照片gps位置信息提取匹配方法以及提取匹配装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116645404A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117372608A (zh) * | 2023-09-14 | 2024-01-09 | 成都飞机工业（集团）有限责任公司 | 一种三维点云纹理映射方法、系统、设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102542523A (zh) * | 2011-12-28 | 2012-07-04 | 天津大学 | 一种基于街景的城市图片信息认证方法 |
| US20140314322A1 (en) * | 2011-12-08 | 2014-10-23 | Cornell University | System and methods for world-scale camera pose estimation |
| CN107133325A (zh) * | 2017-05-05 | 2017-09-05 | 南京大学 | 一种基于街景地图的互联网照片地理空间定位方法 |
-
2023
- 2023-05-30 CN CN202310624581.5A patent/CN116645404A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140314322A1 (en) * | 2011-12-08 | 2014-10-23 | Cornell University | System and methods for world-scale camera pose estimation |
| CN102542523A (zh) * | 2011-12-28 | 2012-07-04 | 天津大学 | 一种基于街景的城市图片信息认证方法 |
| CN107133325A (zh) * | 2017-05-05 | 2017-09-05 | 南京大学 | 一种基于街景地图的互联网照片地理空间定位方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李明磊;高欣圆;李广云;王力;刘松林;: "地面三维激光扫描仪与外架数码相机间安置参数的高精度标定", 光学精密工程, no. 09, 15 September 2016 (2016-09-15), pages 2158 - 2166 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117372608A (zh) * | 2023-09-14 | 2024-01-09 | 成都飞机工业（集团）有限责任公司 | 一种三维点云纹理映射方法、系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11477374B2 (en) | Three dimensional image capture system for imaging building facades using a digital camera, a near-infrared camera, and laser range finder | |
| Golparvar-Fard et al. | Evaluation of image-based modeling and laser scanning accuracy for emerging automated performance monitoring techniques | |
| CN111540048B (zh) | 一种基于空地融合的精细化实景三维建模方法 | |
| KR100580585B1 (ko) | 건조물의 3차원 전자 데이터를 생성하는 3차원 모델링 방법 및 그 장치, 3차원 전자 지도 데이터의 생성 방법, 3차원 모델링 지원 장치, 데이터 수집 장치, 및 그 기록 매체 | |
| CN102376089B (zh) | 一种标靶校正方法及系统 | |
| CN102175221B (zh) | 基于鱼眼镜头的车载移动摄影测量系统 | |
| KR100671529B1 (ko) | 복수의 항공 촬영 화상을 이용한 ３차원 입체지도의작성방법 | |
| CN108335337B (zh) | 一种正射影像图的生成方法及装置 | |
| Pepe et al. | Techniques, tools, platforms and algorithms in close range photogrammetry in building 3D model and 2D representation of objects and complex architectures | |
| JP2009145314A (ja) | 異種センサ統合モデリングによるデジタル写真測量方法及びその装置 | |
| JP2012533222A (ja) | 画像ベースの表面トラッキング | |
| CN104240262A (zh) | 一种用于摄影测量的相机外参数标定装置及标定方法 | |
| CN109559349A (zh) | 一种用于标定的方法和装置 | |
| Gerke | Using horizontal and vertical building structure to constrain indirect sensor orientation | |
| Parente et al. | Optimising the quality of an SfM‐MVS slope monitoring system using fixed cameras | |
| Erickson et al. | The accuracy of photo-based three-dimensional scanning for collision reconstruction using 123D catch | |
| CN105513078A (zh) | 基于图像的立木信息采集方法和装置 | |
| CN116645404A (zh) | 一种照片gps位置信息提取匹配方法以及提取匹配装置 | |
| Perfetti et al. | Fisheye Photogrammetry to Survey Narrow Spaces in Architecture and a Hypogea Environment | |
| CN104599281A (zh) | 一种基于水平直线方位一致性的全景图与遥感图配准方法 | |
| CN106500729A (zh) | 一种无需控制信息的智能手机自检校方法 | |
| Elias et al. | Multi-modal image matching to colorize a SLAM based point cloud with arbitrary data from a thermal camera | |
| Zahradník et al. | Possible approaches for processing of spherical images using sfm | |
| Liba et al. | Making 3D models using close-range photogrammetry: comparison of cameras and software | |
| Barazzetti et al. | Stitching and processing gnomonic projections for close-range photogrammetry |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |