CN117434570A - 坐标的可视化测量方法、测量设备及存储介质 - Google Patents
坐标的可视化测量方法、测量设备及存储介质 Download PDFInfo
- Publication number
- CN117434570A CN117434570A CN202311753354.9A CN202311753354A CN117434570A CN 117434570 A CN117434570 A CN 117434570A CN 202311753354 A CN202311753354 A CN 202311753354A CN 117434570 A CN117434570 A CN 117434570A
- Authority
- CN
- China
- Prior art keywords
- positioning
- rtk
- coordinate
- coordinates
- equation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 127
- 238000005259 measurement Methods 0.000 title claims abstract description 73
- 238000000691 measurement method Methods 0.000 title claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims abstract description 73
- 238000000034 method Methods 0.000 claims abstract description 49
- 230000004927 fusion Effects 0.000 claims abstract description 48
- 238000013519 translation Methods 0.000 claims abstract description 26
- 239000013598 vector Substances 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 13
- 241001061260 Emmelichthys struhsakeri Species 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 9
- 230000004807 localization Effects 0.000 claims description 9
- 230000009977 dual effect Effects 0.000 claims description 7
- 230000003068 static effect Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 9
- 238000013507 mapping Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000028257 Joubert syndrome with oculorenal defect Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
- G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请公开了一种坐标的可视化测量方法、测量设备及存储介质，包括：对获取到的位姿数据进行融合，得到融合定位坐标和融合姿态信息；采集左右目图像数据；将目标图像传输到测量设备的屏幕上，通过特征点匹配获取待测点在左右目图像上的像素坐标和其深度信息；根据融合姿态信息和融合定位坐标得到外参矩阵和平移矩阵；基于视觉定位方程，根据外参矩阵、平移矩阵、待测点的深度信息和像素坐标，得到待测点的世界坐标。本申请不论是在RTK良好区域还是非良好区域，均可获取任意复杂环境下待测点的准确位置，不受障碍物遮挡的影响，增加了测量设备的可行性，扩大了测量设备的测量范围和实用性，提高坐标测量的精度和鲁棒性及实用性。
Description
技术领域
本申请涉及视觉定位技术领域，尤其涉及一种坐标的可视化测量方法、测量设备及存储介质。
背景技术
RTK（Real-Time Kinematic，即实时动态差分定位）是一种基于载波相位差分技术的一种高精度全球导航卫星系统相对定位方法，它的定位精度可达到厘米级，广泛应用于测绘、精密农业、航空航天等领域。惯性导航系统（Intertial Navigation System，简称惯导）是一种不依赖于外部信息、利用惯性测量单位（IMU）和惯性导航算法进行航位推算的自主式导航系统，常与RTK相结合，实现城市内高效便捷的RTK测量。视觉SLAM（SimultaneousLocalization and Mapping，即同时定位与地图构建）是一种利用相机图像数据实现机器人定位和环境地图构建的技术，RTK+惯导+视觉SLAM技术能够进一步克服RTK+惯导技术在非RTK区域无法作业的难题，在自动驾驶、无人机、增强现实和机器人导航等许多领域中具有广泛应用。
在定位系统中，坐标测量方法是评估定位和地图构建结果的准确性和可靠性的关键问题。现有技术中提供了一款用于生成高精度位置信息的定位测量工具，该定位测量工具以惯性原始观测数据与RTK定位结果进行组合导航计算，评估待测点定位精度并显示评估结果。这种方法存在着限制，其定位过程依赖于待测点与测量设备处于同个位置，然而某些测量点可能无法抵达，从而影响定位系统的实用性。
传统RTK定位方法依赖于高强度的连续卫星信号，不仅要将装载着天线的测量设备放在待测位置上才能获得绝对坐标，而且在城市环境中信号易受到钢筋水泥等障碍物的遮挡而出现RTK盲区，大大缩小了RTK定位的使用范围。虽然使用惯导辅助RTK定位能提高室内定位的可行性，但也存在着高精度惯导价格较高、低成本惯导漂移误差较大等问题，限制了RTK+惯导的作业范围。
发明内容
本申请的主要目的在于提供一种坐标的可视化测量方法、测量设备及存储介质，可以解决现有技术中的RTK+惯导定位方法容易受到信号遮挡和传感器位姿模块漂移误差的限制，无法有效测量待测点在复杂环境下的坐标的技术问题。
为实现上述目的，本申请第一方面提供一种坐标的可视化测量方法，应用于测量设备，测量设备包括多个位姿模块，其中，位姿模块包括惯性导航模块、视觉SLAM模块和GNSS RTK模块，该方法包括：
获取测量设备的至少一个位姿模块的位姿数据；
对所有位姿数据进行融合，得到测量设备的融合定位坐标和融合姿态信息；
启动测量设备的视觉SLAM追踪，通过双目相机采集第一左目图像数据和第一右目图像数据；
将第一左目图像数据和第一右目图像数据中任意一目的目标图像传输到测量设备的屏幕上，将屏幕对准待测点，获取待测点在目标图像上的第一像素坐标，通过特征点匹配，获取待测点在另一目图像上的第二像素坐标；
根据第一像素坐标和第二像素坐标，获取待测点的深度信息；
根据融合姿态信息计算外参矩阵，根据融合定位坐标得到平移矩阵；
基于视觉SLAM定位方程，根据外参矩阵、平移矩阵、待测点的深度信息和第一像素坐标，得到待测点的世界坐标。
为实现上述目的，本申请第二方面提供一种坐标的可视化测量装置，该装置包括：
位姿数据获取模块，用于获取测量设备的至少一个位姿模块的位姿数据，测量设备包括多个位姿模块，其中，位姿模块包括惯性导航模块、视觉SLAM模块和GNSS RTK模块；
融合模块，用于对所有位姿数据进行融合，得到测量设备的融合定位坐标和融合姿态信息；
图像采集模块，用于启动测量设备的视觉SLAM追踪，通过双目相机采集第一左目图像数据和第一右目图像数据；
待测点坐标获取模块，用于将第一左目图像数据和第一右目图像数据中任意一目的目标图像传输到测量设备的屏幕上，将屏幕对准待测点，获取待测点在目标图像上的第一像素坐标，通过特征点匹配，获取待测点在另一目图像上的第二像素坐标；
深度信息获取模块，用于根据第一像素坐标和第二像素坐标，获取待测点的深度信息；
第一计算模块，用于根据融合姿态信息计算外参矩阵，根据融合定位坐标得到平移矩阵；
第二计算模块，用于基于视觉SLAM定位方程，根据外参矩阵、平移矩阵、待测点的深度信息和第一像素坐标，得到待测点的世界坐标。
为实现上述目的，本申请第三方面提供一种测量设备，包括双天线GNSS接收机、惯性导航模块、双目相机、存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：
获取测量设备的至少一个位姿模块的位姿数据，测量设备包括多个位姿模块，其中，位姿模块包括惯性导航模块、视觉SLAM模块和GNSS RTK模块；
对所有位姿数据进行融合，得到测量设备的融合定位坐标和融合姿态信息；
启动测量设备的视觉SLAM追踪，通过双目相机采集第一左目图像数据和第一右目图像数据；
将第一左目图像数据和第一右目图像数据中任意一目的目标图像传输到测量设备的屏幕上，将屏幕对准待测点，获取待测点在目标图像上的第一像素坐标，通过特征点匹配，获取待测点在另一目图像上的第二像素坐标；
根据第一像素坐标和第二像素坐标，获取待测点的深度信息；
根据融合姿态信息计算外参矩阵，根据融合定位坐标得到平移矩阵；
基于视觉SLAM定位方程，根据外参矩阵、平移矩阵、待测点的深度信息和第一像素坐标，得到待测点的世界坐标。
为实现上述目的，本申请第四方面提供一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：
获取测量设备的至少一个位姿模块的位姿数据，测量设备包括多个位姿模块，其中，位姿模块包括惯性导航模块、视觉SLAM模块和GNSS RTK模块；
对所有位姿数据进行融合，得到测量设备的融合定位坐标和融合姿态信息；
启动测量设备的视觉SLAM追踪，通过双目相机采集第一左目图像数据和第一右目图像数据；
将左目图像数据和右目图像数据中任意一目的目标图像传输到测量设备的屏幕上，将屏幕对准待测点，获取待测点在目标图像上的第一像素坐标，通过特征点匹配，获取待测点在另一目图像上的第二像素坐标；
根据第一像素坐标和第二像素坐标，获取待测点的深度信息；
根据融合姿态信息计算外参矩阵，根据融合定位坐标得到平移矩阵；
基于视觉SLAM定位方程，根据外参矩阵、平移矩阵、待测点的深度信息和第一像素坐标，得到待测点的世界坐标。
采用本申请实施例，具有如下有益效果：
本申请通过对测量设备不论是在RTK良好区域还是非良好区域获得的所有位姿数据进行融合，得到融合定位坐标和融合姿态信息，再结合视觉SLAM定位，获取待测点的深度信息和像素坐标，基于视觉SLAM定位方程、待测点的深度信息和像素坐标以及融合定位坐标和融合姿态信息，得到待测点在真实坐标系下的世界坐标。本申请基于RTK+惯导+视觉SLAM的坐标测量方案，不论是在RTK良好区域还是非良好区域，均可获取待测点的准确位置，不受障碍物遮挡的影响，增加了测量设备的可行性，且，测量设备可以测量周边任意位置的待测点，无需待测点与测量设备处于相同位置，可测量点基本可以实现任意可达，有效测量复杂环境下的待测点的位置，扩大了测量设备的测量范围和实用性，且，本实施例充分利用RTK、惯导和视觉SLAM各自的优势，实现在各种复杂环境下连续稳定定位定姿，实现在复杂环境下的坐标测量，由于融合了多个模块的位姿数据，可以有效降低漂移误差，提高坐标测量的精度和鲁棒性及实用性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为本申请实施例中坐标的可视化测量方法的流程图；
图2为本申请一实施例中测量设备的结构框图；
图3为本申请另一个实施例中测量设备的结构框图；
图4为本申请实施例中计算机设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1所示，在一个实施例中，提供了一种坐标的可视化测量方法，该坐标的可视化测量方法具体包括如下步骤：
S100：获取测量设备的至少一个位姿模块的位姿数据。
具体地，该坐标的可视化测量方法应用于测量设备，测量设备包括多个位姿模块，参考图2，位姿模块包括惯性导航模块、视觉SLAM模块和GNSS RTK模块。
惯性导航模块即Intertial Navigation，简称惯导，是一种不依赖于外部信息、利用惯性测量单位和惯性导航算法进行航位推算的自主式导航模块，常与RTK相结合，实现城市内高效便捷的RTK测量。惯性导航模块包括IMU模块（惯性测量单元或模块）。
视觉SLAM模块用于SLAM（Simultaneous Localization and Mapping，即同时定位与地图构建），是一种利用相机图像数据实现机器人定位和环境地图构建的技术。
GNSS RTK模块包含双天线（定位天线和定向天线），通常结合RTK（Real-TimeKinematic，即实时动态差分定位）技术实现RTK定位，RTK技术是一种基于载波相位差分技术的一种高精度全球导航卫星系统相对定位方法，它的定位精度可达到厘米级，广泛应用于测绘、精密农业、航空航天等领域。
在坐标测量之前，需要先对GNSS（即RTK）、惯导和视觉SLAM进行标定，分别获得惯导的误差模型、视觉SLAM模块中双目相机的内参K，并确定RTK、惯导和视觉SLAM各位姿模块之间的转换关系。
惯性导航模块、视觉SLAM模块和GNSS RTK模块均可以对测量设备进行定位，获得各自对测量设备的位姿数据。但是由于这三种位姿模块测量数据或采集数据的频率不同，且GNSS RTK模块通过RTK技术定位，易受障碍物遮挡的干扰，并不能保证惯性导航模块、视觉SLAM模块和GNSS RTK模块的位姿数据都能同步获取到。
因此，在有的时间段可能只能获取到其中一个位姿模块的位姿数据，在有的时间段可能可以获取到两个位姿模块的位姿数据，在有的时间段可能可以获取到三个位姿模块的位姿数据。
S200：对所有位姿数据进行融合，得到测量设备的融合定位坐标和融合姿态信息。
具体地，所有位姿数据包括至少一个位姿模块的位姿数据。
测量设备还可以包括融合模块，用于对所有位姿数据进行融合。
可以将获取到的所有位姿数据中不同坐标系下测量设备的位置坐标都转换到同一个坐标系下，对同一个坐标系下的位置坐标进行融合，得到融合定位坐标。
例如，获取到了测量设备在RTK坐标系下的第一RTK位置坐标，获取到了测量设备在视觉SLAM坐标系下的第一视觉SLAM位置坐标，将第一视觉SLAM位置坐标转换到RTK坐标系下，得到第二RTK定位坐标；将第一RTK位置坐标和第二RTK定位坐标融合，得到融合定位坐标。此处的融合可以是求均值的方式进行融合，当然，本申请对融合的手段不作限制。
对所有位姿数据中不同坐标系下测量设备的姿态信息进行融合，得到融合姿态信息。
或者，基于卡尔曼滤波，采用松组合处理模型对所有位姿数据中的位置坐标和姿态信息进行时间对齐后进行融合，得到融合定位坐标和融合姿态信息，即，得到统一的位姿数据。
其中，融合姿态信息包括融合航向角、融合俯仰角和融合横滚角。
上述仅仅是举例性说明，本申请对融合的手段不作限制。
S300：启动测量设备的视觉SLAM追踪，通过双目相机采集第一左目图像数据和第一右目图像数据。
具体地，视觉SLAM模块包括双目相机，且，配置有视觉SLAM系统，通过双目相机可以采集左右目图像数据，左右目图像数据包括左目图像数据和右目图像数据。
S400：将第一左目图像数据和第一右目图像数据中任意一目的目标图像传输到测量设备的屏幕上，将屏幕对准待测点，获取待测点在目标图像上的第一像素坐标，通过特征点匹配，获取待测点在另一目图像上的第二像素坐标。
具体地，目标图像为左目图像数据和右目图像数据中的任意一目的图像，例如，如果目标图像为左目图像，则另一目图像为相应的右目图像；如果目标图像为右目图像，则另一目图像为相应的左目图像。左目图像和右目图像是使用双目相机对同一个现实场景进行拍摄，因此，在现实场景中的同一个点在一对左目图像和右目图像中均有对应的像素点。
视觉测量时，将目标图像的画面传输到测量设备的屏幕，将屏幕对准待测点，在屏幕上点击待测点，即可获取待测点在目标图像上的第一像素坐标。通过从左右目图像数据中提取特征点，进行特征点匹配，即可获取到该待测点在另一目图像上的第二像素坐标。本实施例实现了通过屏幕对准并确定待测点的可视化坐标测量方案。
需要说明的是，待测点是测量设备所处真实环境中的一个检测点，例如待测点位于测量设备正前方、右前方、左前方等其中的一个位置，待测点与测量设备的距离根据测量设备的可测量范围确定，本申请对此不做限制。
S500：根据第一像素坐标和第二像素坐标，获取待测点的深度信息。
具体地，启动视觉SLAM追踪，通过双目相机采集左右目图像数据，从左右目图像数据中提取特征点，进行特征点匹配，通过每组匹配的特征点对的像素坐标即可计算对应的视差值。视差值的计算公式如下：
其中，视差d表示左右图像中表示真实世界同一个点的两个像素点的水平位移（以像素为单位），xL和xR分别表示左右图像中表示真实世界同一个点的两个像素点的像素坐标中的水平坐标。
更具体地，上述待测点在左右目图像中均有对应的像素点，xL和xR分别表示该待测点左右图像中对应的两个像素点的水平坐标（即，第一像素坐标中的水平坐标和第二像素坐标中的水平坐标）。通过视差值公式，即可计算出待测点的视差值d。
利用视差值和双目相机摄像头的内参矩阵、基线长度等参数，可以估计出任意特征点的深度信息。基于此，可以通过以下深度信息公式计算出待测点的深度信息：
其中，z为深度信息，f为相机的焦距（相机的内外参水平焦距，f属于内参矩阵中的一个值，为已知量），b为基线长度，为已知量；d为视差值。
S600：根据融合姿态信息计算外参矩阵，根据融合定位坐标得到平移矩阵。
具体地，外参矩阵即相机坐标系到世界坐标系的转换矩阵。
本实施例通过融合姿态信息和融合定位坐标，分别计算外参矩阵和平移矩阵，实现外参矩阵和平移矩阵随着坐标系之间的漂移而更新和校准，进一步保证了待测点测量位置的精度。
S700：基于视觉SLAM定位方程，根据外参矩阵、平移矩阵、待测点的深度信息和第一像素坐标，得到待测点的世界坐标。
具体地，视觉SLAM定位方程用于像素坐标系与真实世界的世界坐标系的转换。将外参矩阵、平移矩阵、待测点的深度信息和第一像素坐标作为已知量代入视觉SLAM定位方程，即可，得到待测点的世界坐标。
本实施例提供了一种融合RTK、惯导以及视觉SLAM的坐标测量方案，一方面，充分利用RTK、惯导和视觉SLAM各自的优势，实现在各种复杂环境下连续稳定定位定姿，实现在复杂环境下的坐标测量；另一方面，与传统RTK测量时，需要将测量设备架设/放置到待测点上的方式不同，本申请充分利用视觉优势，不需要将设备架设到待测点上，而通过屏幕对着待测点，在屏幕上点选待测点，通过视觉测量的方式获取待测点的三维坐标。
本实施例通过对测量设备不论是在RTK良好区域还是非良好区域获得的所有位姿数据进行融合，得到融合定位坐标和融合姿态信息，再结合视觉SLAM定位，获取待测点的深度信息和像素坐标，基于视觉SLAM定位方程、待测点的深度信息和像素坐标以及融合定位坐标和融合姿态信息，得到待测点在真实坐标系下的世界坐标。本实施例基于RTK+惯导+视觉SLAM的坐标测量方案，不论是在RTK良好区域还是非良好区域，均可获取待测点的准确位置，不受障碍物遮挡的影响，增加了测量设备的可行性，且，测量设备可以测量周边任意位置的待测点，无需待测点与测量设备处于相同位置，可测量点基本可以实现任意可达，有效测量复杂环境下的待测点的位置，扩大了测量设备的测量范围和实用性，且，本实施例充分利用RTK、惯导和视觉SLAM各自的优势，实现在各种复杂环境下连续稳定定位定姿，实现在复杂环境下的坐标测量，由于融合了多个模块的位姿数据，可以有效降低漂移误差，提高坐标测量的精度和鲁棒性及实用性。
在一个实施例中，融合姿态信息包括融合航向角、融合横滚角和融合俯仰角，外参矩阵根据以下公式1计算得到：
公式1
其中，为外参矩阵，/>为融合航向角、/>为融合横滚角，/>为融合俯仰角；
视觉SLAM定位方程如以下公式2所示：
公式2
其中，公式3
其中，z为待测点的深度信息，是已知的双目相机的内参数矩阵，/>为相机坐标系到世界坐标系的转换矩阵或外参矩阵，T为平移矩阵，/>为待测点的第一像素坐标，为待测点的世界坐标，/>为测量设备的融合定位坐标。
具体地，公式2中的外参矩阵，由融合处理得到的融合姿态信息通过公式1获得。
平移矩阵由融合处理的融合定位坐标提供，优选为待测点在左目图像中的像素坐标。
在一个实施例中，位姿数据包括测量设备的IMU采集数据，或者，位姿数据包括：测量设备的IMU采集数据、视觉SLAM定位坐标和视觉SLAM姿态信息，或者，位姿数据包括：测量设备的IMU采集数据、视觉SLAM定位坐标、视觉SLAM姿态信息和RTK定位坐标；
步骤S200中对所有位姿数据进行融合，得到测量设备的融合定位坐标和融合姿态信息，包括：
将所有位姿数据输入至卡尔曼滤波模块中，基于扩展卡尔曼滤波，采用松组合处理模型，得到融合定位坐标和融合姿态信息。
具体地，惯性导航模块包括IMU模块（惯性测量单元或模块），IMU模块具体可以为9轴IMU模块，包括：3轴陀螺仪、3轴加速度计、3轴磁力计，可以获取到IMU采集数据。IMU采集数据具体包括：通过3轴加速度计模块可以获取到加速度、通过3轴陀螺仪模块可以获取到角速度。
另外，IMU模块也可以通过3轴磁力计模块获取到磁感应强度。
一般，IMU的采集频率>视觉SLAM的采集频率>GNSS RTK模块的采集频率，因此，获取到的至少一个位姿模块的位姿数据中至少包括IMU采集数据；或者，所有位姿数据包括IMU采集数据、视觉SLAM定位坐标和视觉SLAM姿态信息；或者，所有位姿数据包括IMU采集数据、视觉SLAM定位坐标、视觉SLAM姿态信息和由GNSS RTK模块得到的RTK定位坐标。
本实施例的融合模块为卡尔曼滤波模块。在RTK坐标系下，构建GVINS组合导航系统，卡尔曼滤波模块用于对所有位姿数据进行时间对齐和融合，采用松组合处理模型，得到融合定位坐标和融合姿态信息/>，其中，卡尔曼滤波模块基于扩展卡尔曼（Kalman）滤波。
如图3所示，卡尔曼滤波模块包括惯性导航机械编排模块、惯性导航误差模块和时间对齐模块。
在一个实施例中，步骤S100中获取测量设备的至少一个位姿模块的位姿数据，包括：
在RTK良好区域，获取测量设备在静止状态下的第一RTK定位坐标；
利用双天线GNSS观测数据，获取测量设备在静止状态下的正北方位航向角；
根据9轴IMU提供的IMU数据，获取测量设备的初始姿态信息，其中，初始姿态信息包括航向角、横滚角和俯仰角；
将正北方位航向角作为真值，对航向角进行校准，将校准后的航向角、横滚角和俯仰角作为测量设备在RTK坐标系下的姿态信息；
启动视觉SLAM追踪，通过双目相机采集第二左目图像数据和第二右目图像数据，从第二左目图像数据和第二右目图像数据中提取特征点，进行特征点匹配，计算视差值，利用视差值、双目相机的内参矩阵和基线长度，估计特征点的深度信息，根据视觉投影公式，构建视觉SLAM定位方程，根据视觉SLAM定位方程，采用图优化的方法，对获取到的视觉SLAM坐标系下的第一视觉SLAM位置坐标和第一视觉SLAM姿态信息进行优化，得到优化后的第二视觉SLAM位置坐标和第二视觉SLAM姿态信息，
将第一RTK定位坐标作为视觉SLAM坐标系下的原点，将RTK坐标系下的姿态信息作为视觉SLAM坐标系下的初始姿态，将第二视觉SLAM位置坐标转换到RTK坐标系下，得到测量设备在RTK坐标系下的第二RTK定位坐标。
具体地，在RTK良好区域，保持测量设备静止状态，获取测量设备的第一RTK定位坐标。其中，RTK良好区域为没有过多障碍物遮挡的区域，可以获取到GNSS观测数据。
利用AHRS（航姿参考系统）互补滤波（Mahony）算法，根据9轴IMU提供的IMU数据（三个方向的加速度、三个方向的角速度和三个方向的磁力计数据），可以获取测量设备的初始姿态信息。初始姿态信息包括航向角Yaw、横滚角roll和俯仰角Pitch。
获得的正北方位航向角作为真值，将航向角Yaw校准到/>，将校准后的航向角Yaw，以及横滚角roll和俯仰角Pitch作为测量设备在RTK坐标系下的姿态信息。
获取测量设备在RTK坐标系下的第一RTK定位坐标、在RTK坐标系下的姿态信息后，启动视觉SLAM追踪。
双目视觉SLAM通过双目相机采集的左右目图像数据，首先提取特征点，进行特征匹配，并计算其视差值。然后，利用视差值和摄像头的内参矩阵、基线长度等参数，估计特征点的深度信息。获得深度信息后，利用视觉投影公式，可以构建视觉SLAM定位方程。根据视觉SLAM定位方程，采用图优化的方法，可以优化后视觉SLAM位姿结果，获得高精度的第二视觉SLAM位置坐标和第二视觉SMAL姿态信息/>。
因为视觉SLAM是相对定位，因此可以将上述获得的第一RTK定位坐标作为视觉SLAM坐标系下的原点，将上述获得的在RTK坐标系下的姿态信息作为视觉SLAM坐标系下的初始姿态。
因为小范围内视觉SLAM坐标系和RTK坐标系平行，因此，第二视觉SLAM位置坐标可转换到RTK坐标系下，得到测量设备在RTK坐标系下的第二RTK定位坐标/>。
其中，启动视觉SLAM追踪，通过双目相机采集左右目图像数据，从左右目图像数据中提取特征点，进行特征匹配，计算视差值：
其中，视差d表示左右图像对应像素点的水平位移（以像素为单位），xL和xR分别表示左右图像中对应像素点的水平坐标；
利用视差值和摄像头的内参矩阵、基线长度等参数，估计特征点的深度信息
其中，z为深度信息，f为相机的焦距（相机的内外参水平焦距），b为基线长度，d为视差值。
在一个实施例中，获取测量设备在静止状态下的第一RTK定位坐标，包括：
获取虚拟参考站的第一GNSS观测数据；
获取GNSS RTK模块接收到的第二GNSS观测数据，其中，GNSS RTK模块包括双GNSS天线；
将虚拟参考站作为参考站，测量设备作为流动站，根据第一GNSS观测数据和第二GNSS观测数据，构建第一载波相位站间-星间双差观测方程：
公式4
其中，为双差算子，/>为双差卫地距，/>为双差整周模糊度，/>为残余误差，测站k为位置固定的虚拟参考站基准站，测站m为流动站，观测卫星i为参考星，观测卫星j为非参考星，/>为已知量，/>为载波相位波长；
将在测站m的概略位置/>处进行一阶泰勒展开，得到公式5：
公式5
其中，为测站m的概略位置的双差卫地距，/>为测站m的坐标改正量，/>为测站m对应观测卫星j和i的方向余弦之差；
假设在某一观测时刻，测站k和测站m观测到的有效卫星数为n，可得（n-1）个第一载波相位站间-星间双差观测方程，将获取到的（n-1）个第一载波相位站间-星间双差观测方程联立简化为公式6：
公式6
其中，n为测站k和测站m观测到的有效卫星个数，Y为所有卫星的观测向量，H为系数矩阵，为流动站m的坐标改正量，/>为（n-1）个非参考星对应的双差整周模糊度向量，/>为载波相位波长；
采用LAMBDA模糊度固定方法，搜索并固定双差整周模糊度；
固定双差模糊度后，将双差整周模糊度代入公式6，求解出流动站m的坐标改正量；
根据流动站m的概略位置和流动站m的坐标改正量，获得流动站m的第一RTK位置坐标。
具体地，双GNSS天线包括定位天线和定向天线。本实施例将测量设备作为流动站m，将虚拟参考站作为参考站k。例如，实时获取CORS服务商提供的虚拟参考站k的GNSS观测数据作为第一GNSS观测数据，同时接收双天线的GNSS观测数据作为第二GNSS观测数据，将虚拟参考站k和主定位天线的GNSS观测数据组成第一载波相位站间-星间双差观测方程。
假设测站k和测站m观测到的有效卫星数为n，则可以获取到每个非参考星j与参考星i之间的第一载波相位站间-星间双差观测方程，j=1,2...（n-1），得到（n-1）个如公式4所示的第一载波相位站间-星间双差观测方程。
通过解算GNSS数据的双差整周模糊度并进行短基线解算，即可得到流动站m高精度的坐标改正量。流动站m（即，测量设备）的坐标改正量/>即测量设备相对于虚拟参考站的基线向量。
根据测站m的概略位置和流动站m高精度的坐标改正量/>，即可计算出测站m（即，测量设备）在第一RTK位置坐标。
其中，测站m的概略位置可以通过伪距定位方法得到。
本实施例通过观测方程解算GNSS数据的双差整周模糊度并进行短基线解算得到测量设备的坐标改正量，进而根据测量设备的概略位置和坐标改正量，得到测量设备准确的第一RTK位置坐标。
在一个实施例中，利用双天线GNSS观测数据，获取测量设备在静止状态下的正北方位航向角，包括：
获取设备定位天线采集的第三GNSS观测数据和定向天线采集的第四GNSS观测数据；
将定位天线作为参考站，将定向天线坐标流动站，根据第一GNSS观测数据和第二GNSS观测数据，构建组成第二载波相位站间-星间双差观测方程；
将测量设备的第一RTK位置坐标作为定位天线的概略位置，根据第二载波相位站间-星间双差观测方程和定位天线的概略位置，采用LAMBDA模糊度固定方法，搜索并固定双差整周模糊度，并进行短基线解算，得到定向天线相对于定位天线的基线向量；
根据定向天线相对于定位天线的基线向量，求解得到正北方位航向角。
具体地，双天线GNSS观测数据包括定位天线的第三GNSS观测数据和定向天线的第四GNSS观测数据。
将定位天线作为参考站k，将定向天线作为流动站m，建立公式4的第二载波相位站间-星间双差观测方程。
公式4
其中，为双差算子，/>为双差卫地距，/>为双差整周模糊度，/>为残余误差，测站k为作为参考站的定位天线，测站m为作为流动站的定向天线，观测卫星i为参考星，观测卫星j为非参考星，/>为已知量，/>为载波相位波长；
将在定向天线的概略位置处进行一阶泰勒展开，得到公式5：/>
公式5
其中，为定向天线m的概略位置的双差卫地距，/>为定向天线相对于定位天线的基线向量/>，/>为定向天线m对应观测卫星j和i的方向余弦之差；
假设在某一观测时刻，测站k和测站m观测到的有效卫星数为q，则可以获取到每个非参考星j与参考星i之间的第二载波相位站间-星间双差观测方程，j=1,2...（q-1），可以得到（q-1）个第二载波相位站间-星间双差观测方程，将获取到的（q-1）个第一载波相位站间-星间双差观测方程联立简化为公式6：
公式6
另外，为了提高基线解算精度，本实施例还加入了公式7的约束：
公式7
其中，const为一个固定值。
其中，q为定位天线k和定向天线m观测到的有效卫星个数，Y为所有卫星的观测向量，H为系数矩阵，为定向天线m相对于定位天线的基线向量/>，为（q-1）个非参考星对应的双差整周模糊度向量，/>为载波相位波长。
采用LAMBDA模糊度固定方法，根据公式6和公式7搜索并固定双差整周模糊度；固定双差模糊度后，将双差整周模糊度代入公式6，即，通过解算GNSS数据的双差整周模糊度并进行短基线解算，即可得到定向天线相对于定位天线的基线向量。
定向天线相对于定位天线的基线向量，根据以下公式8可以得到正北方位航向角：
公式8
其中，通过求解三角函数，即可得到正北方位航向角。
本实施例通过将定位天线和定向天线分别作为参考站和流动站，建立观测方程，并根据观测方程搜索固定双差模糊度并解算获得定向天线相对于定位天线的基线向量，再根据正北方位航向角与定向天线相对于定位天线的基线向量之间的关系，得到准确的正北方位航向角。
在一个实施例中，根据视觉投影公式，构建的视觉SLAM定位方程如公式2所示：
公式2/>
其中，是双目相机的内参数矩阵，/>为相机坐标系到世界坐标系的转换矩阵或外参矩阵，T为平移矩阵，/>为特征点的像素坐标，/>为第一视觉SLAM位置坐标；
根据视觉SLAM定位方程，采用图优化的方法，得到优化的T和，从优化的T中得到第二视觉SLAM位置坐标/>，从优化的/>中得到第二视觉SLAM姿态信息/>；
第二视觉SLAM位置坐标可采用下公式9进行转换，得到RTK坐标系下的第二RTK定位坐标：
公式9
其中，为第二RTK定位坐标，Yaw为测量设备在RTK坐标系下的航向角，/>为第一RTK定位坐标。
在一个实施例中，步骤S500中根据第一像素坐标和第二像素坐标，获取待测点的深度信息，包括：
将待测点所在的左目图像和右目图像均划分为多个子区域，定位待测点在左目图像和右目图像中分别所在的左目子区域和右目子区域，对左目子区域和右目子区域进行特征点匹配，根据获取的特征点的像素坐标，计算每组特征点对的深度信息，对所有深度信息进行均值计算，将得到的平均深度信息作为待测点的深度信息。
具体地，例如将待测点所在的当前帧的左目图像和右目图像均划分为30个大小相近（约10*9个像素大小）的方格，选取定位待测点所在方格的所有点，计算选取点的深度信息的平均值作为待测点的深度信息，并获取待测点在像素坐标系中的位置。
本实施例通过求取待测点所在的子区域的平均深度信息作为待测点的深度信息，可以获取到更准确的待测点的深度信息。
本申请获取当前帧的左右目图像，采用视觉SLAM方法进行处理，确定待测点在像素坐标系中的坐标及不同坐标系之间的位姿转换矩阵；在RTK良好区域，获取双天线GNSS数据和IMU数据，解算GNSS数据的双差整周模糊度并进行短基线解算，获取基线向量、流动站坐标和航向角，利用构建的视觉SLAM定位方程，确定待测点在RTK坐标系中的坐标；在非RTK区域，根据视觉深度公式和坐标转换公式，确定待测点在世界坐标系中的坐标，再将该坐标换算到RTK坐标系中，得到绝对的世界坐标。本方法可有效提高复杂环境下的定位精度，实现坐标测量的鲁棒性和实用性。
在RTK区域利用RTK的绝对坐标测量结果和惯导、视觉SLAM进行融合获得高精度的位姿估计结果，在非RTK区域利用视觉原理在图像上获取待测点的三维坐标，通过坐标转换公式将像素坐标换算为世界坐标，获取准确的坐标
本申请融合了RTK、惯导和视觉SLAM，能够发挥多传感器的优势，在传统城市复杂环境下，没有RTK时，仍能现实高精度坐标测量，极大的扩展了RTK高精度测量的适用范围。另一方面，采用屏幕可视化的坐标测量方式，让高精度测量变得更加简单易用。
图4示出了一个实施例中计算机设备的内部结构图。计算机设备具体可以是上述的测量设备。如图4所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现上述方法实施例中的各个步骤。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行上述方法实施例中的各个步骤。本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提出了一种测量设备，包括双天线GNSS接收机、惯性导航模块、双目相机、存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：
获取测量设备的至少一个位姿模块的位姿数据，测量设备包括多个位姿模块，其中，位姿模块包括惯性导航模块、视觉SLAM模块和GNSS RTK模块；
对所有位姿数据进行融合，得到测量设备的融合定位坐标和融合姿态信息；
启动测量设备的视觉SLAM追踪，通过双目相机采集第一左目图像数据和第一右目图像数据；
将第一左目图像数据和第一右目图像数据中任意一目的目标图像传输到测量设备的屏幕上，将屏幕对准待测点，获取待测点在目标图像上的第一像素坐标，通过特征点匹配，获取待测点在另一目图像上的第二像素坐标；
根据第一像素坐标和第二像素坐标，获取待测点的深度信息；
根据融合姿态信息计算外参矩阵，根据融合定位坐标得到平移矩阵；
基于视觉SLAM定位方程，根据外参矩阵、平移矩阵、待测点的深度信息和第一像素坐标，得到待测点的世界坐标。
在一个实施例中，提出了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：
获取测量设备的至少一个位姿模块的位姿数据，测量设备包括多个位姿模块，其中，位姿模块包括惯性导航模块、视觉SLAM模块和GNSS RTK模块；
对所有位姿数据进行融合，得到测量设备的融合定位坐标和融合姿态信息；
启动测量设备的视觉SLAM追踪，通过双目相机采集第一左目图像数据和第一右目图像数据；
将第一左目图像数据和第一右目图像数据中任意一目的目标图像传输到测量设备的屏幕上，将屏幕对准待测点，获取待测点在目标图像上的第一像素坐标，通过特征点匹配，获取待测点在另一目图像上的第二像素坐标；
根据第一像素坐标和第二像素坐标，获取待测点的深度信息；
根据融合姿态信息计算外参矩阵，根据融合定位坐标得到平移矩阵；
基于视觉SLAM定位方程，根据外参矩阵、平移矩阵、待测点的深度信息和第一像素坐标，得到待测点的世界坐标。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种坐标的可视化测量方法，应用于测量设备，所述测量设备包括多个位姿模块，其中，所述位姿模块包括惯性导航模块、视觉SLAM模块和GNSS RTK模块，其特征在于，所述方法包括：
获取测量设备的至少一个位姿模块的位姿数据；
对所有位姿数据进行融合，得到所述测量设备的融合定位坐标和融合姿态信息；
启动所述测量设备的视觉SLAM追踪，通过双目相机采集第一左目图像数据和第一右目图像数据；
将第一左目图像数据和第一右目图像数据中任意一目的目标图像传输到所述测量设备的屏幕上，将屏幕对准待测点，获取所述待测点在目标图像上的第一像素坐标，通过特征点匹配，获取所述待测点在另一目图像上的第二像素坐标；
根据所述第一像素坐标和第二像素坐标，获取所述待测点的深度信息；
根据所述融合姿态信息计算外参矩阵，根据所述融合定位坐标得到平移矩阵；
基于视觉SLAM定位方程，根据所述外参矩阵、平移矩阵、所述待测点的深度信息和第一像素坐标，得到所述待测点的世界坐标。
2.根据权利要求1所述的方法，其特征在于，所述融合姿态信息包括融合航向角、融合横滚角和融合俯仰角，所述外参矩阵根据以下公式1计算得到：
公式1
其中，为外参矩阵，/>为融合航向角、/>为融合横滚角，/>为融合俯仰角；
视觉SLAM定位方程如以下公式2所示：
公式2
其中，公式3
其中，z为待测点的深度信息，是已知的双目相机的内参数矩阵，/>为相机坐标系到世界坐标系的转换矩阵或外参矩阵，T为平移矩阵，/>为待测点的第一像素坐标，为待测点的世界坐标，/>为所述测量设备的融合定位坐标。
3.根据权利要求1所述的方法，其特征在于，所述位姿数据包括所述测量设备的IMU采集数据，或者，所述位姿数据包括：所述测量设备的IMU采集数据、视觉SLAM定位坐标和视觉SLAM姿态信息，或者，所述位姿数据包括：所述测量设备的IMU采集数据、视觉SLAM定位坐标、视觉SLAM姿态信息和RTK定位坐标；
所述对所有位姿数据进行融合，得到所述测量设备的融合定位坐标和融合姿态信息，包括：
将所有位姿数据输入至卡尔曼滤波模块中，基于扩展卡尔曼滤波，采用松组合处理模型，得到融合定位坐标和融合姿态信息。
4.根据权利要求1所述的方法，其特征在于，所述获取测量设备的至少一个位姿模块的位姿数据，包括：
在RTK良好区域，获取所述测量设备在静止状态下的第一RTK定位坐标；
利用双天线GNSS观测数据，获取所述测量设备在静止状态下的正北方位航向角；
根据9轴IMU提供的IMU数据，获取所述测量设备的初始姿态信息；
将所述正北方位航向角作为真值，对航向角Yaw进行校准，将校准后的航向角、横滚角Roll和俯仰角Pitch作为所述测量设备在RTK坐标系下的姿态信息；
启动视觉SLAM追踪，通过双目相机采集第二左目图像数据和第二右目图像数据，从第二左目图像数据和第二右目图像数据中提取特征点，进行特征点匹配，计算视差值，利用所述视差值、双目相机的内参矩阵和基线长度，估计特征点的深度信息，根据视觉投影公式，构建视觉SLAM定位方程，根据视觉SLAM定位方程，采用图优化的方法，对获取到的视觉SLAM坐标系下的第一视觉SLAM位置坐标和第一视觉SLAM姿态信息进行优化，得到优化后的第二视觉SLAM位置坐标和第二视觉SLAM姿态信息，
将所述第一RTK定位坐标作为视觉SLAM坐标系下的原点，将RTK坐标系下的姿态信息作为视觉SLAM坐标系下的初始姿态，将所述第二视觉SLAM位置坐标转换到RTK坐标系下，得到所述测量设备在RTK坐标系下的第二RTK定位坐标。
5.根据权利要求4所述的方法，其特征在于，所述获取所述测量设备在静止状态下的第一RTK定位坐标，包括：
获取虚拟参考站的第一GNSS观测数据；
获取GNSS RTK模块接收到的第二GNSS观测数据，其中，GNSS RTK模块包括双GNSS天线；
将虚拟参考站作为参考站，所述测量设备作为流动站，根据所述第一GNSS观测数据和第二GNSS观测数据，构建第一载波相位站间-星间双差观测方程，如果公式4所示：
公式4
其中，为双差算子，/>为双差卫地距，/>为双差整周模糊度，/>为残余误差，测站k为位置固定的虚拟参考站，测站m为流动站，观测卫星i为参考星，观测卫星j为非参考星，/>为已知量，/>为载波相位波长；
将在测站m的概略位置/>处进行一阶泰勒展开，得到公式5：
公式5
其中，为测站m的概略位置的双差卫地距，/>为测站m的坐标改正量，/>为测站m对应观测卫星j和i的方向余弦之差；
假设在某一观测时刻，测站k和测站m观测到的有效卫星数为n，可得（n-1）个第一载波相位站间-星间双差观测方程，将获取到的（n-1）个第一载波相位站间-星间双差观测方程联立简化为公式6；
公式6
其中，n为测站k和测站m观测到的有效卫星个数，Y为所有卫星的观测向量，H为系数矩阵，为流动站m的坐标改正量，/>为（n-1）个非参考星对应的双差整周模糊度向量，/>为载波相位波长；
采用LAMBDA模糊度固定方法，搜索并固定双差整周模糊度；
固定双差模糊度后，将双差整周模糊度代入公式6，求解出流动站m的坐标改正量；
根据流动站m的概略位置和流动站m的坐标改正量/>，获得流动站m的第一RTK位置坐标。
6.根据权利要求4所述的方法，其特征在于，所述利用双天线GNSS观测数据，获取所述测量设备在静止状态下的正北方位航向角，包括：
获取设备定位天线采集的第三GNSS观测数据和定向天线采集的第四GNSS观测数据；
将定位天线作为参考站，将定向天线坐标流动站，根据所述第一GNSS观测数据和第二GNSS观测数据，构建第二载波相位站间-星间双差观测方程；
将测量设备的第一RTK位置坐标作为所述定位天线的概略位置，根据所述第二载波相位站间-星间双差观测方程和所述定位天线的概略位置，采用LAMBDA模糊度固定方法，搜索并固定双差整周模糊度，并进行短基线解算，得到所述定向天线相对于定位天线的基线向量；
根据所述定向天线相对于定位天线的基线向量，求解得到正北方位航向角。
7.根据权利要求4所述的方法，其特征在于，根据视觉投影公式，构建的视觉SLAM定位方程如公式2所示：
公式2
其中，是双目相机的内参数矩阵，/>为相机坐标系到世界坐标系的转换矩阵或外参矩阵，T为平移矩阵，/>为特征点的像素坐标，/>为第一视觉SLAM位置坐标；
根据视觉SLAM定位方程，采用图优化的方法，得到优化的T和，从优化的T中得到第二视觉SLAM位置坐标/>，从优化的/>中得到第二视觉SLAM姿态信息/>；
第二视觉SLAM位置坐标采用下公式9进行转换，得到RTK坐标系下的第二RTK定位坐标：
公式9
其中，为第二RTK定位坐标，Yaw为测量设备在RTK坐标系下的航向角，/>为第一RTK定位坐标。
8.根据权利要求1所述的方法，其特征在于，所述根据所述第一像素坐标和第二像素坐标，获取所述待测点的深度信息，包括：
将所述待测点所在的第一左目图像和第一右目图像均划分为多个子区域，其中，所述目标图像为第一左目图像和第一右目图像中的一个；
定位所述待测点在所述第一左目图像和第一右目图像中分别所在的左目子区域和右目子区域；
对所述左目子区域和右目子区域进行特征点匹配，根据获取的特征点的像素坐标，计算每组特征点对的深度信息，对所有深度信息进行均值计算，将得到的平均深度信息作为所述待测点的深度信息，其中，所述待测点为其中一个特征点。
9.一种测量设备，包括双天线GNSS接收机、惯性导航模块、双目相机、存储器和处理器，其特征在于，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311753354.9A CN117434570B (zh) | 2023-12-20 | 2023-12-20 | 坐标的可视化测量方法、测量设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311753354.9A CN117434570B (zh) | 2023-12-20 | 2023-12-20 | 坐标的可视化测量方法、测量设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117434570A true CN117434570A (zh) | 2024-01-23 |
| CN117434570B CN117434570B (zh) | 2024-02-27 |
Family
ID=89546571
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311753354.9A Active CN117434570B (zh) | 2023-12-20 | 2023-12-20 | 坐标的可视化测量方法、测量设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117434570B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103439727A (zh) * | 2013-08-29 | 2013-12-11 | 广州吉欧电子科技有限公司 | 一种地面坐标的测量方法 |
| US20150219767A1 (en) * | 2014-02-03 | 2015-08-06 | Board Of Regents, The University Of Texas System | System and method for using global navigation satellite system (gnss) navigation and visual navigation to recover absolute position and attitude without any prior association of visual features with known coordinates |
| CN110060202A (zh) * | 2019-04-19 | 2019-07-26 | 湖北亿咖通科技有限公司 | 一种单目slam算法的初始化方法及系统 |
| US20220301277A1 (en) * | 2019-12-12 | 2022-09-22 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Target detection method, terminal device, and medium |
| US20220309761A1 (en) * | 2019-12-12 | 2022-09-29 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Target detection method, device, terminal device, and medium |
| US20230152084A1 (en) * | 2020-07-15 | 2023-05-18 | Huawei Technologies Co., Ltd. | Height Measurement Method and Apparatus, and Terminal |
| US20230260148A1 (en) * | 2020-07-14 | 2023-08-17 | Witted Srl | System and method for geolocation of an object in water |
| CN116697888A (zh) * | 2023-04-28 | 2023-09-05 | 北京天翔睿翼科技有限公司 | 运动中目标点的三维坐标与位移测量的方法及系统 |
-
2023
- 2023-12-20 CN CN202311753354.9A patent/CN117434570B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103439727A (zh) * | 2013-08-29 | 2013-12-11 | 广州吉欧电子科技有限公司 | 一种地面坐标的测量方法 |
| US20150219767A1 (en) * | 2014-02-03 | 2015-08-06 | Board Of Regents, The University Of Texas System | System and method for using global navigation satellite system (gnss) navigation and visual navigation to recover absolute position and attitude without any prior association of visual features with known coordinates |
| CN110060202A (zh) * | 2019-04-19 | 2019-07-26 | 湖北亿咖通科技有限公司 | 一种单目slam算法的初始化方法及系统 |
| US20220301277A1 (en) * | 2019-12-12 | 2022-09-22 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Target detection method, terminal device, and medium |
| US20220309761A1 (en) * | 2019-12-12 | 2022-09-29 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Target detection method, device, terminal device, and medium |
| US20230260148A1 (en) * | 2020-07-14 | 2023-08-17 | Witted Srl | System and method for geolocation of an object in water |
| US20230152084A1 (en) * | 2020-07-15 | 2023-05-18 | Huawei Technologies Co., Ltd. | Height Measurement Method and Apparatus, and Terminal |
| CN116697888A (zh) * | 2023-04-28 | 2023-09-05 | 北京天翔睿翼科技有限公司 | 运动中目标点的三维坐标与位移测量的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117434570B (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110033489B (zh) | 一种车辆定位准确性的评估方法、装置及设备 | |
| KR100728377B1 (ko) | 레이저 스캐너 및 무선인터넷을 이용한 변경된 지역시설물의 ｇｉｓ 실시간 업데이트 방법 | |
| US11237005B2 (en) | Method and arrangement for sourcing of location information, generating and updating maps representing the location | |
| JP6002126B2 (ja) | 画像ベースの測位のための方法および装置 | |
| KR101444685B1 (ko) | 영상기반 멀티센서 데이터를 이용한 차량의 위치자세 결정 방법 및 장치 | |
| CN113899375B (zh) | 车辆定位方法和装置、存储介质及电子设备 | |
| Kleinert et al. | Inertial aided monocular SLAM for GPS-denied navigation | |
| CN113820735A (zh) | 位置信息的确定方法、位置测量设备、终端及存储介质 | |
| Wan et al. | A cross-site visual localization method for Yutu rover | |
| Hoang et al. | 3D motion estimation based on pitch and azimuth from respective camera and laser rangefinder sensing | |
| Zhou et al. | Online visual-inertial extrinsic calibration utilizing GNSS measurements for vehicle applications | |
| Khoshelham et al. | Vehicle positioning in the absence of GNSS signals: Potential of visual-inertial odometry | |
| Xian et al. | Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach | |
| Wu et al. | AFLI-Calib: Robust LiDAR-IMU extrinsic self-calibration based on adaptive frame length LiDAR odometry | |
| Di et al. | Wide baseline mapping for Mars rovers | |
| Ruotsalainen | Visual gyroscope and odometer for pedestrian indoor navigation with a smartphone | |
| CN117434570B (zh) | 坐标的可视化测量方法、测量设备及存储介质 | |
| CN115930948A (zh) | 一种果园机器人融合定位方法 | |
| Ishikawa et al. | A study of precise road feature localization using mobile mapping system | |
| Li et al. | Image-based self-position and orientation method for moving platform | |
| Liu et al. | Stereo-image matching using a speeded up robust feature algorithm in an integrated vision navigation system | |
| Lee et al. | Automatic building reconstruction with satellite images and digital maps | |
| Alsubaie et al. | The feasibility of 3D point cloud generation from smartphones | |
| Schaufler et al. | An Innovative Image-Based Surveying Approach for Globally Referenced Remote Point Measurements | |
| Chu et al. | The performance analysis of a portable mobile mapping system with different gnss processing strategies |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |