CN116755123A - 一种非接触式rtk采集测量方法、系统及测量设备 - Google Patents

一种非接触式rtk采集测量方法、系统及测量设备 Download PDF

Info

Publication number
CN116755123A
CN116755123A CN202310614712.1A CN202310614712A CN116755123A CN 116755123 A CN116755123 A CN 116755123A CN 202310614712 A CN202310614712 A CN 202310614712A CN 116755123 A CN116755123 A CN 116755123A
Authority
CN
China
Prior art keywords
rtk
real
feature points
pose
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310614712.1A
Other languages
English (en)
Inventor
郑川江
闫志愿
黄伟健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South GNSS Navigation Co Ltd
Original Assignee
South GNSS Navigation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South GNSS Navigation Co Ltd filed Critical South GNSS Navigation Co Ltd
Priority to CN202310614712.1A priority Critical patent/CN116755123A/zh
Publication of CN116755123A publication Critical patent/CN116755123A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/43—Determining position using carrier phase measurements, e.g. kinematic positioning; using long or short baseline interferometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/49—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及非接触式测量技术领域，提出一种非接触式RTK采集测量方法、系统及测量设备，其中所述方法包括：通过搭载于RTK设备的摄像设备获取待测目标的连续图像帧，并对所述连续图像帧进行特征点提取与匹配；通过搭载于RTK设备的惯性传感器获取RTK的IMU状态初值；通过RTK设备获取GNSS坐标；根据提取的特征点、RTK的IMU状态初值和GNSS坐标，进行基于视觉惯性优化和GNSS坐标松耦合的PnP实时位姿解算，得到待测目标的实时优化位姿结果；通过预设的图像识别网络模型对所述连续图像帧进行待测目标的像点坐标检测识别，并根据所述实时优化位姿结果进行多片前方交会，得到待测目标的实时三维坐标，实现高效率、高精度的非接触式视频RTK测量作业。

Description

一种非接触式RTK采集测量方法、系统及测量设备
技术领域
本发明涉及非接触式测量技术领域，更具体地，涉及一种非接触式RTK采集测量方法、系统及测量设备。
背景技术
目前的测量作业主要沿用接触式RTK(Real-time kinematic，实时差分定位)测量，存在作业效率低下，且无法对部分不可触达的目标场景进行测量作业。随着智能技术和高性能硬件的发展，在实际复杂的测量环境中，智能化的非接触式三维测量是户外测量作业过程中亟待解决的技术需求，高效的非接触式测量会大大降低人力物力和时间成本。
传统的SFM(Structure from Motion，运动恢复结构)方法基于SIFT(Scale-invariant feature transform，尺度不变特征变换)特征点的位姿优化极其耗时，实时解算高精度位姿困难，且容易受场景中动态目标干扰影响位姿恢复精度。而单纯依赖RTK提供的高精度GNSS(Global Navigation Satellite System，全球导航卫星系统)坐标作业易受环境、天气影响，尤其是GPS(Global Positioning System，全球定位系统)信号遮挡区域(如隧道、高架桥等)，产生GNSS坐标丢失或者不准确，导致位姿解算误差大，大大影响户外测量精度。另外，目前已有的视觉RTK测量依赖用户在采集的图像中进行人为查找和手动锁定目标地物，而一些复杂环境场景的图像地物目标不明显，存在操作困难的问题。
发明内容
本发明为克服上述现有技术所述的非接触式测量技术存在测量精度低、操作效率低的缺陷，提供一种非接触式RTK采集测量方法、系统及测量设备。
为解决上述技术问题，本发明的技术方案如下：
一种非接触式RTK采集测量方法，包括以下步骤：
通过搭载于RTK设备的摄像设备获取待测目标的连续图像帧，并对所述连续图像帧进行特征点提取与匹配；
通过搭载于RTK设备的惯性传感器获取RTK的IMU状态初值；
通过RTK设备获取GNSS坐标；
根据提取的特征点、RTK的IMU状态初值和GNSS坐标，进行基于视觉惯性优化和GNSS坐标松耦合的PnP(Perspective-n-Points)实时位姿解算，得到待测目标的实时优化位姿结果；
通过预设的图像识别网络模型对所述连续图像帧进行待测目标的像点坐标检测识别，并根据所述实时优化位姿结果进行多片前方交会，得到待测目标的实时三维坐标。
进一步地，本发明还提出一种非接触式RTK采集测量系统，应用本发明的非接触式RTK采集测量方法，其中包括：
测量模块，用于获取当前测量模块的GNSS坐标；所述测量模块上搭载有用于采集待测目标的连续图像帧的摄像单元，以及用于采集当前测量模块的姿态数据的惯性传感器；
特征提取模块，用于根据所述摄像单元采集的连续图像帧进行特征点提取与匹配，输出相应图像帧的特征点；
位姿解算模块，用于根据提取的特征点、RTK的IMU状态初值和GNSS坐标，进行基于视觉惯性优化和GNSS坐标松耦合的PnP实时位姿解算，得到待测目标的实时位姿数据；
地物识别模块，其上搭载有预设的图像识别网络模型，用于对所述连续图像帧进行待测目标的像点检测识别；
三维坐标解算模块，用于根据待测目标的实时位姿数据进行多片前方交会，得到待测目标的实时三维坐标；
显示模块，用于将待测目标的实时三维坐标插入连续图像帧中的相应像点检测识别位置并进行可视化显示。
进一步地，本发明还提出一种测量设备，包括RTK，其中，RTK上搭载有：用于采集待测目标的连续图像帧的摄像器；用于采集当前测量模块的姿态数据的惯性传感器；以及，用于将GNSS坐标、图像数据和姿态数据传输至终端进行数据处理的通信单元。
与现有技术相比，本发明技术方案的有益效果是：本发明通过采集视频图像，结合IMU和RTK提供的高精度GNSS坐标进行实时且高精度的位姿解算，配合图像识别网络模型捕捉各图像帧中的同名点坐标，最后进行前方交会解算图像指定目标点的三维坐标，有效实现高效率、高精度的非接触式视频RTK测量作业；本发明还通过SLAM技术去除动态目标干扰影响，并结合光束平差法优化解算待测目标的实时位姿数据，能够进一步提高非接触式测量精度。
附图说明
图1为实施例1的非接触式RTK采集测量方法的流程图。
图2为基于视频SLAM的动态特征点剔除结果示意图。
图3为多片前方交会筛选像对的原理示意图。
图4为多片前方交会三维坐标计算原理示意图。
图5为非接触式RTK采集测量示例的结果示意图。
图6为非接触式RTK采集测量另一示例的结果示意图。
图7为实施例2的非接触式RTK采集测量系统的架构图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些公知说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例提出一种非接触式RTK采集测量方法，如图1所示，为本实施例的非接触式RTK采集测量方法的流程图。
本实施例提出的非接触式RTK采集测量方法中，包括以下步骤：
S1、通过搭载于RTK设备的摄像设备获取待测目标的连续图像帧，并对所述连续图像帧进行特征点提取与匹配；
通过搭载于RTK设备的惯性传感器获取RTK的IMU状态初值；
通过RTK设备获取GNSS坐标。
S2、根据提取的特征点、RTK的IMU状态初值和GNSS坐标，进行基于视觉惯性优化和GNSS坐标松耦合的PnP实时位姿解算，得到待测目标的实时优化位姿结果。
S3、通过预设的图像识别网络模型对所述连续图像帧进行待测目标的像点坐标检测识别，根据所述实时优化位姿结果进行多片前方交会，得到待测目标的实时三维坐标。
本实施例中，通过围绕目标区域拍摄视频，得到待测目标的连续图像帧，并实时提取目标特征点，依赖RTK的惯性传感器(IMU)状态初值，辅助高精度位姿解算，以得到带尺度的实时优化位姿结果，进一步快速生成拍摄视频环境的特征稀疏点，然后利用深度学习智能检测和识别目标地物，根据高精度位姿自动捕捉各关键帧相片目标地物的同名点坐标，最后进行多片前方交会解算图像指定目标点的三维坐标，实现非接触式视频RTK测量。
在一可选实施例中，S1步骤中对所述连续图像帧进行ORB快速特征点提取与匹配。
作为示例性说明，ORB快速特征点提取包括以下步骤：(1)提取图像中的FAST角点，并计算特征点的主方向；(2)对提取出的特征点周围图像区域进行BRIEF描述，得到ORB特征点。
在一可选实施例中，S1步骤中还包括：对搭载于RTK设备的摄像设备进行相机标定。
作为示例性说明，所述摄像设备采用单目相机。在具体实施过程中，取单目相机拍摄的40组标定板影像，用高精度铝制棋盘格光学标定板进行相机标定，棋盘格尺寸为12*9，方格尺寸为25mm×25mm。标定得到畸变系数，其中，径向畸变系数为k1＝-0.02767，k2＝0.123695，k3＝1.23826；切向畸变系数为p1＝0.10828，p2＝0.00182。
在一可选实施例中，S1步骤中，根据提取的特征点、RTK的IMU状态初值和GNSS坐标，基于PnP算法进行实时位姿解算，包括：
根据提取的特征点、RTK的IMU状态初值和GNSS坐标，进行基于视觉惯性优化和GNSS坐标松耦合的PnP实时位姿解算；
通过光束平差法(Bundle Adjustment，BA)对所述实时位姿估计数据进行重投影误差最小化，得到待测目标的实时位姿数据。
其中，PnP算法是基于图像特征点的三维到二维点对的物体运动定位算法，即已知物体在世界坐标系下的坐标(三维空间坐标)，以及物体在相机的图像平面的像素坐标(二维像素坐标)，求解相机的位姿(六个自由度，位置坐标和三个方向角)，其中包含视觉IMU的联合位姿优化，以及GNSS坐标的松耦合对齐位姿优化，最后通过重投影误差最小化能够得到实时位姿解算结果。
本实施例考虑到在实时位姿解算的过程中产生的噪声影响，存在特征匹配点无法精确匹配的问题，导致解算得到的相机位姿与三维物点坐标存在误差。本实施例通过BA对实时位姿估计数据进行重投影误差最小化，具体地，通过BA对所述实时位姿估计数据进行重投影误差最小化，包括：设置最小化重投影误差的非线性优化成本函数，其表达式为：
其中，ξ表示当前位姿；ui表示当前特征点i的像素坐标，n为特征点总数量；Si表示当前特征点i关联的图像帧范围；K表示当前图像帧；ξΛ表示当前位姿的关联位姿；Pi表示当前特征点i的像素坐标对应的三维点坐标；ξ*表示使重投影误差最小的位姿，即当前位姿ξ观察到的像素坐标ui与三维点坐标Pi的重投影坐标之间的差最小的位姿。
进一步地，考虑到BA优化过程中视频图像质量导致的位姿解算精度误差，在一可选实施例中，还包括：通过基于视频SLAM的选择跟踪算法对特征点中的动态特征点进行剔除，根据剔除处理后的特征点数据，以及RTK的IMU状态初值和GNSS坐标，基于PnP进行实时位姿解算，再通过光束平差法对所述实时位姿估计数据进行重投影误差最小化，得到待测目标的实时位姿数据。
其中，本身实例引入SLAM技术对动态特征点进行剔除，通过选择跟踪算法消除部分动态物体对实时位姿解算造成的影响，提高了SLAM技术的鲁棒性和准确性，使SLAM位姿解算结果更加精确。
进一步地，在一可选实施例中，通过选择跟踪算法对特征点中的动态特征点进行剔除时，其具体步骤包括：
通过Mask R-CNN进行动态目标识别(如人、车)，确定当前图像帧中的动态物体区域，其中默认将动态物体区域内的所有特征点作为动态特征点，将动态物体区域以外的特征点作为静态特征点；
将动态物体区域像素坐标对应的掩模图像Mask值置1，将其他像素坐标的对应的掩模图像Mask值置0；其表达式为：
其中，KMask(,v)表示图像帧K中坐标为(,v)的像素点相应的掩模图像Mask值，p(u,v)为像素坐标，KD为图像帧K中动态物体区域的外包范围L内的像素坐标集合；
遍历当前图像帧所提取的特征点，计算静态特征点的平均位移；其表达式为：
其中，NL表示检索目标的外包范围L内所有特征点个数；表示当前特征点i所在图像帧si范围内动态特征点的个数；/>表示当前图像帧K的关联帧；/>表示当前特征点i所在图像帧si范围内动态特征点的位移；/>表示检索目标的外包范围L中静态特征点的平均像素位移；
根据掩模图像Mask值对当前图像帧的动态特征点进行选择性跟踪操作，计算动态特征点的位移并判断其是否大于由静态特征点的平均像素位移确定的阈值，若是，则剔除相应的动态特征点；否则保留相应的动态特征点；其表达式为：
其中，di表示像素坐标集合KD中的动态特征点；表示图像帧K中动态特征点di的像素坐标；mask表示动态特征点di的掩模图像Mask值；ρ为决策系数，/>表示由静态特征点的平均像素位移/>确定的阈值。
作为示例性说明，如图2所示，为基于视频SLAM的动态特征点剔除结果示意图。
本实施例通过选择性跟踪操作获得动态特征点在相邻的图像帧中所表示的位移，对于位移超过由静态特征点的平均像素位移确定的阈值的情况，则判断该动态特征点处于移动状态，不适合作为BA求解的对象，并剔除该特征点。经过动态特征点剔除后，保留的特征点集合KD可进一步用于BA重投影误差最小化及实时位姿解算。
在另一可选实施例中，所述方法还包括：当GNSS坐标数据丢失时，取GNSS坐标数据丢失前的最后一帧GNSS坐标数据作为丢失坐标初值，依据图像特征点和RTK的IMU状态进行视觉惯性联合优化继续推算位姿，得到待测目标的实时优化位姿结果，保证在GNSS坐标丢失时依然能够保持真实场景尺度和位姿的连续性。
本实施例针对遇到隧道、高架桥等复杂地域GNSS高精度坐标丢失的情况，可选地委托IMU和SLAM视觉继续作业，有效弥补遮挡区域缺陷，进而保持遮挡封闭段区域的位姿连续性。
在另一可选实施例中，S3步骤中，所述图像识别网络模型包括基于Mask R-CNN训练得到的专有数据模型。
本实施例可选地采用基于RPN(Region Proposal Network，区域生长网络)提取的Mask R-CNN实例分割网络作为图像识别网络模型对采集的连续图像帧进行待测目标的像点坐标检测识别，对连续图像帧中待测目标的同名点进行检测及识别。
在具体实施过程中，可选地利用大量人工标记的数据集作为图像识别网络模型的训练输入，对图像识别网络模型预先训练优化。
进一步地，在一可选实施例中，S3步骤中，根据所述实时位姿数据进行多片前方交会，得到待测目标的实时三维坐标的过程中，具体包括以下步骤：
(1)将所述连续图像帧组合为两两像对，并根据交会角筛选最佳像对，然后根据两像点光束的交会角减90°的绝对值角度按从小到大排序，取前n对最佳像对作为最优筛选像对；其中n为大于或等于4的偶数。
作为示例性说明，本实施例中取前4对最佳像对作为最优筛选像对。如图3所示，为本实施例的筛选像对的原理示意图，其中最佳像对必须有一个像点在M_SELECTION区域，且另外一个像点落在L_SELECTION或者R_SELECTION区域。
(2)利用筛选立体像对中两张像片的摄影中心S1、S2、相应的实时位姿数据和像点坐标a1、a2，使用共线方程原理计算相应地面点的三维坐标A，最后加权得到待测目标的实时三维坐标。
如图4所示，为本实施例的三维坐标计算原理示意图。
本实施例中，利用多片前方交会，根据图像识别网络模型识别得到的待测目标的像点坐标以及相应的实时位姿数据，通过相邻图像帧像片的内方位元素、同名像点坐标和像对的相对方位元素或外方位元素解算模型点坐标或地面点坐标，即得到待测目标的实时三维坐标，实现基于视频图像的非接触式测量。
进一步地，在输出完成待测目标的实时三维坐标后，可选地将其插入待测目标像点位置进行可视化显示。
作为示例性说明，如图5、6所示，为本实施例的非接触式RTK采集测量结果示意图。
由图可知，本实施例通过采集视频图像，结合IMU和RTK提供的高精度GNSS坐标进行实时且高精度的位姿解算，同时配合SLAM技术对采集的视频图像关键帧进行地物或者户外作业的待测目标的智能检测识别，辅助作业者获取目标地物在图像中的位置，然后根据高精度位姿自动捕捉各图像帧中的同名点坐标，最后进行前方交会解算图像指定目标点的三维坐标，有效实现智能化的非接触式视频RTK测量。
实施例2
本实施例应用实施例1提出的非接触式RTK采集测量方法，提出一种非接触式RTK采集测量系统，如图7所示，为本实施例的非接触式RTK采集测量系统的架构图。
本实施例提出的非接触式RTK采集测量系统中，包括：
测量模块，用于获取当前测量模块的GNSS坐标；所述测量模块上搭载有用于采集待测目标的连续图像帧的摄像单元，以及用于采集当前测量模块的姿态数据的惯性传感器。
特征提取模块，用于根据所述摄像单元采集的连续图像帧进行特征点提取与匹配，输出相应图像帧的特征点。
位姿解算模块，用于根据提取的特征点、RTK的IMU状态初值和GNSS坐标，进行基于视觉惯性优化和GNSS坐标松耦合的PnP实时位姿解算，得到待测目标的实时位姿数据。
地物识别模块，其上搭载有预设的图像识别网络模型，用于对所述连续图像帧进行待测目标的像点检测识别。
三维坐标解算模块，用于根据待测目标的实时位姿数据进行多片前方交会，得到待测目标的实时三维坐标。
显示模块，用于将待测目标的实时三维坐标插入连续图像帧中的相应像点检测识别位置并进行可视化显示。
在一可选实施例中，所述测量模块采用RTK设备，所述摄像单元采用单目摄像头。
在一可选实施例中，所述特征提取模块根据所述摄像单元采集的连续图像帧进行ORB特征点提取与匹配。
在一可选实施例中，所述位姿解算模块在基于PnP进行实时位姿解算过程中，具体地，根据提取的特征点、RTK的IMU状态初值和GNSS坐标，基于PnP进行实时位姿估计，得到实时位姿估计数据；通过光束平差法对所述实时位姿估计数据进行重投影误差最小化，得到待测目标的实时位姿数据。
进一步地，所述位姿解算模块在通过光束平差法对所述实时位姿估计数据进行重投影误差最小化时，具体地，以当前位姿观察到的像素坐标与三维点坐标的重投影坐标之间的差最小的位姿，作为实时位姿估计数据输出。
进一步地，在一可选实施例中，所述位姿解算模块还用于通过基于视频SLAM的选择跟踪算法对特征点中的动态特征点进行剔除，根据剔除处理后的特征点数据，以及RTK的IMU状态初值和GNSS坐标，基于PnP进行实时位姿解算，再通过光束平差法对所述实时位姿估计数据进行重投影误差最小化，得到待测目标的实时位姿数据。
进一步地，在一可选实施例中，所述位姿解算模块在通过选择跟踪算法对特征点中的动态特征点进行剔除的过程中，具体地，通过Mask R-CNN进行动态目标识别(如人、车)，确定当前图像帧中的动态物体区域，首先默认将动态物体区域内的所有特征点视为动态特征点，将动态物体区域以外的特征点作为静态特征点；将动态物体区域像素坐标对应的掩模图像Mask值置1，将其他像素坐标的对应的掩模图像Mask值置0；遍历当前图像帧所提取的特征点，计算静态特征点的平均位移；根据掩模图像Mask值对当前图像帧的动态特征点进行选择性跟踪操作，计算动态特征点的位移并判断其是否大于由静态特征点的平均像素位移确定的阈值，若是，则剔除相应的动态特征点；否则保留相应的动态特征点。
在一可选实施例中，所述地物识别模块上搭载的图像识别网络模型包括Mask R-CNN。
在一可选实施例中，所述位姿解算模块在基于PnP进行实时位姿解算的过程中，当GNSS坐标数据丢失时，取GNSS坐标数据丢失前的最后一帧GNSS坐标数据作为丢失坐标初值，依据图像特征点和RTK的IMU状态进行视觉惯性联合优化继续推算位姿，在GNSS坐标丢失时依然能够保持真实场景尺度和位姿的连续性。
实施例3
本实施例提出一种测量设备，应用于实施例1提出的非接触式RTK采集测量方法或实施例2提出的非接触式RTK采集测量系统中。
本实施例提出的测量设备，包括RTK，其上搭载有：
用于采集待测目标的连续图像帧的摄像器；
用于采集当前测量模块的姿态数据的惯性传感器；
以及，用于将GNSS坐标、图像数据和姿态数据传输至终端进行数据处理的通信单元。
作为示例性说明，在具体实施过程中，本实施例提出的测量设备将其采集的待测目标的连续图像帧、IMU状态初值和GNSS坐标通过通信单元传输至外接终端中，应用实施例1提出的非接触式RTK采集测量方法生成待测目标的实时三维坐标以实现非接触式RTK采集测量。
进一步可选地，本实施例的测量设备还设置有存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如实施例1所述的非接触式RTK采集测量方法的步骤。
进一步可选地，本实施例的测量设备还设置有显示模块，用于对外接终端和/或本地处理器输出的待测目标的实时三维坐标进行可视化显示。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种非接触式RTK采集测量方法，其特征在于，包括以下步骤：
通过搭载于RTK设备的摄像设备获取待测目标的连续图像帧，并对所述连续图像帧进行特征点提取与匹配；
通过搭载于RTK设备的惯性传感器获取RTK的IMU状态初值；
通过RTK设备获取GNSS坐标；
根据提取的特征点、RTK的IMU状态初值和GNSS坐标，进行基于视觉惯性优化和GNSS坐标松耦合的PnP实时位姿解算，得到待测目标的实时优化位姿结果；
通过预设的图像识别网络模型对所述连续图像帧进行待测目标的像点坐标检测识别，并根据所述实时优化位姿结果进行多片前方交会，得到待测目标的实时三维坐标。
2.根据权利要求1所述的非接触式RTK采集测量方法，其特征在于，根据提取的特征点、RTK的IMU状态初值和GNSS坐标，进行基于视觉惯性优化和GNSS坐标松耦合的PnP实时位姿解算，包括：
根据提取的特征点、RTK的状态初值进行视觉惯性联合的姿态和尺度优化，使用GNSS坐标进行松耦合的姿态尺度再优化，基于PnP算法进行实时位姿估计，并通过光束平差法对所述实时位姿估计数据进行重投影误差最小化，最终得到带尺度的实时优化位姿结果。
3.根据权利要求2所述的非接触式RTK采集测量方法，其特征在于，所述通过光束平差法对所述实时位姿估计数据进行重投影误差最小化，包括：
设置最小化重投影误差的非线性优化成本函数，其表达式为：
其中，ξ表示当前位姿；ui表示当前特征点i的像素坐标，n为特征点总数量；Si表示当前特征点i关联的图像帧范围；K表示当前图像帧；ξΛ表示当前位姿的关联位姿；Pi表示当前特征点i的像素坐标对应的三维点坐标；ξ*表示使重投影误差最小的位姿，即当前位姿ξ观察到的像素坐标ui与三维点坐标Pi的重投影坐标之间的差最小的位姿。
4.根据权利要求3所述的非接触式RTK采集测量方法，其特征在于，所述方法还包括：通过基于视频SLAM的选择跟踪算法对特征点中的动态特征点进行剔除，根据剔除处理后的特征点数据，以及RTK的IMU状态初值和GNSS坐标，基于PnP进行实时位姿解算，再通过光束平差法对所述实时位姿估计数据进行重投影误差最小化，得到待测目标的实时位姿数据。
5.根据权利要求4所述的非接触式RTK采集测量方法，其特征在于，所述通过选择跟踪算法对特征点中的动态特征点进行剔除，包括：
通过Mask R-CNN进行动态目标识别，确定当前图像帧中的动态物体区域，将动态物体区域内的所有特征点作为动态特征点，将动态物体区域以外的特征点作为静态特征点；
将动态物体区域像素坐标对应的掩模图像Mask值置1，将其他像素坐标的对应的掩模图像Mask值置0；其表达式为：
其中，KMask(,v)表示图像帧K中坐标为(,v)的像素点相应的掩模图像Mask值，p(u,v)为像素坐标，KD为图像帧K中动态物体区域的外包范围L内的像素坐标集合；
遍历当前图像帧所提取的特征点，计算静态特征点的平均位移；其表达式为：
其中，NL表示检索目标的外包范围L内所有特征点个数；表示当前特征点i所在图像帧si范围内动态特征点的个数；/>表示当前图像帧K的关联帧；/>表示当前特征点i所在图像帧si范围内动态特征点的位移；/>表示检索目标的外包范围L中静态特征点的平均像素位移；
根据掩模图像Mask值对当前图像帧的动态特征点进行选择性跟踪操作，计算动态特征点的位移并判断其是否大于由静态特征点的平均像素位移确定的阈值，若是，则剔除相应的动态特征点；否则保留相应的动态特征点；其表达式为：
其中，di表示像素坐标集合KD中的动态特征点；表示图像帧K中动态特征点di的像素坐标；mask表示动态特征点di的掩模图像Mask值；ρ为决策系数，/>表示由静态特征点的平均像素位移/>确定的阈值。
6.根据权利要求1～5任一项所述的非接触式RTK采集测量方法，其特征在于，所述图像识别网络模型包括基于Mask R-CNN训练得到的专有数据模型。
7.根据权利要求1～5任一项所述的非接触式RTK采集测量方法，其特征在于，根据所述实时位姿数据进行多片前方交会，得到待测目标的实时三维坐标，包括：
将所述连续图像帧组合为两两像对，并根据交会角筛选最佳像对，然后根据两像点光束的交会角减90°的绝对值角度按从小到大排序，取前n对最佳像对作为最优筛选像对；其中n为大于或等于4的偶数；
利用筛选立体像对中两张像片的摄影中心S1、S2、相应的实时位姿数据和像点坐标a1、a2，使用共线方程原理计算相应地面点的三维坐标A，最后加权得到待测目标的实时三维坐标。
8.根据权利要求1～5任一项所述的非接触式RTK采集测量方法，其特征在于，所述方法还包括：
当GNSS坐标数据丢失时，取GNSS坐标数据丢失前的最后一帧GNSS坐标数据作为丢失坐标初值，依据图像特征点和RTK的IMU状态进行视觉惯性联合优化继续推算位姿，得到待测目标的实时优化位姿结果。
9.一种非接触式RTK采集测量系统，应用权利要求1～8任一项所述的非接触式RTK采集测量方法，其特征在于，包括：
测量模块，用于获取当前测量模块的GNSS坐标；所述测量模块上搭载有用于采集待测目标的连续图像帧的摄像单元，以及用于采集当前测量模块的姿态数据的惯性传感器；
特征提取模块，用于根据所述摄像单元采集的连续图像帧进行特征点提取与匹配，输出相应图像帧的特征点；
位姿解算模块，用于根据提取的特征点、RTK的IMU状态初值和GNSS坐标，进行基于视觉惯性优化和GNSS坐标松耦合的PnP实时位姿解算，得到待测目标的实时位姿数据；
地物识别模块，其上搭载有预设的图像识别网络模型，用于对所述连续图像帧进行待测目标的像点检测识别；
三维坐标解算模块，用于根据待测目标的实时位姿数据进行多片前方交会，得到待测目标的实时三维坐标；
显示模块，用于将待测目标的实时三维坐标插入连续图像帧中的相应像点检测识别位置并进行可视化显示。
10.一种测量设备，包括RTK，其特征在于，所述RTK上搭载有：
用于采集待测目标的连续图像帧的摄像器；
用于采集当前测量模块的姿态数据的惯性传感器；
以及，用于将GNSS坐标、图像数据和姿态数据传输至终端进行数据处理的通信单元。
CN202310614712.1A 2023-05-26 2023-05-26 一种非接触式rtk采集测量方法、系统及测量设备 Pending CN116755123A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310614712.1A CN116755123A (zh) 2023-05-26 2023-05-26 一种非接触式rtk采集测量方法、系统及测量设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310614712.1A CN116755123A (zh) 2023-05-26 2023-05-26 一种非接触式rtk采集测量方法、系统及测量设备

Publications (1)

Publication Number Publication Date
CN116755123A true CN116755123A (zh) 2023-09-15

Family

ID=87950561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310614712.1A Pending CN116755123A (zh) 2023-05-26 2023-05-26 一种非接触式rtk采集测量方法、系统及测量设备

Country Status (1)

Country Link
CN (1) CN116755123A (zh)

Similar Documents

Publication Publication Date Title
WO2021196294A1 (zh) 一种跨视频人员定位追踪方法、系统及设备
CN107833236B (zh) 一种动态环境下结合语义的视觉定位系统和方法
CN111210477B (zh) 一种运动目标的定位方法及系统
CN111340797A (zh) 一种激光雷达与双目相机数据融合检测方法及系统
CN107357286A (zh) 视觉定位导航装置及其方法
CN104704384A (zh) 具体用于装置的基于视觉的定位的图像处理方法
CN112067233B (zh) 一种用于风洞模型六自由度运动捕获方法
CN112381890B (zh) 一种基于点线特征的rgb-d视觉slam方法
CN112233177A (zh) 一种无人机位姿估计方法及系统
CN112509125A (zh) 一种基于人工标志物和立体视觉的三维重建方法
CN112419497A (zh) 基于单目视觉的特征法与直接法相融合的slam方法
CN109214254B (zh) 一种确定机器人位移的方法及装置
Cvišić et al. Recalibrating the KITTI dataset camera setup for improved odometry accuracy
CN114494462A (zh) 一种基于Yolov5和改进跟踪算法的双目相机测距方法
CN111583342A (zh) 一种基于双目视觉的目标快速定位方法及装置
Feng et al. Crack assessment using multi-sensor fusion simultaneous localization and mapping (SLAM) and image super-resolution for bridge inspection
CN114723811A (zh) 一种非结构化环境四足机器人立体视觉定位建图方法
CN114037762A (zh) 基于图像与高精度地图配准的实时高精度定位方法
CN116160458B (zh) 一种移动机器人多传感器融合快速定位方法、设备及系统
WO2022174603A1 (zh) 一种位姿预测方法、位姿预测装置及机器人
CN116755123A (zh) 一种非接触式rtk采集测量方法、系统及测量设备
CN115471555A (zh) 一种基于图像特征点匹配的无人机红外巡检位姿确定方法
CN115359115A (zh) 一种动态环境下基于多传感器的同时定位与建图方法
CN114694204A (zh) 社交距离检测方法、装置、电子设备及存储介质
CN111178264A (zh) 一种用于对无人机航拍图像中铁塔塔基姿态的估计算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination