CN114167468A - 一种基于图像和gnss的目标空间定位方法 - Google Patents

一种基于图像和gnss的目标空间定位方法 Download PDF

Info

Publication number
CN114167468A
CN114167468A CN202111523742.9A CN202111523742A CN114167468A CN 114167468 A CN114167468 A CN 114167468A CN 202111523742 A CN202111523742 A CN 202111523742A CN 114167468 A CN114167468 A CN 114167468A
Authority
CN
China
Prior art keywords
latitude
longitude
estimated
regression
gnss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111523742.9A
Other languages
English (en)
Other versions
CN114167468B (zh
Inventor
李炜
梁斌斌
杨帆
韩笑冬
武长青
王祥通
付道勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202111523742.9A priority Critical patent/CN114167468B/zh
Publication of CN114167468A publication Critical patent/CN114167468A/zh
Application granted granted Critical
Publication of CN114167468B publication Critical patent/CN114167468B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/35—Constructional details or hardware or software details of the signal processing chain
    • G01S19/37—Hardware or software details of the signal processing chain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像和GNSS的目标空间定位方法，包括以下步骤：S1、训练堆栈自编码回归网络，得到回归器和回归误差尺度因子；S2、根据回归器和回归误差尺度因子，计算得到待估目标的最优空间位置；本发明步骤S1训练出一个高效的对堆栈自编码回归网络，使得该网络具备直接从图像和GNSS的融合结果中回归得到经纬度位置的能力。步骤S2回归出精确的经纬度位置，并根据置信度的大小对回归的经纬度位置和GNSS测量值进行滤波处理，从而得到最准确的目标空间位置估计值。

Description

一种基于图像和GNSS的目标空间定位方法
技术领域
本发明涉及空间定位技术领域，具体涉及一种基于图像和GNSS的目标空间定位方法。
背景技术
固定式摄像机图像中的目标进行精确的空间定位是许多未来工业应用的基础，包括：智能制造、户外移动机器人监控、自动驾驶整体态势感知与监控、虚拟/增强现实、数字孪生和重点场所的安全监控。传统的基于视觉的空间定位方法很大程度上依赖于图像质量和对相机内外参数的准确标定，很难手动选择出图像中的一个点或者特征来换算目标的空间位置，从而严重限制了计算机视觉在空间定位领域的作用。
空间定位的另一个常用技术是全球导航卫星系统(GNSS)，它可以提供全球坐标系下的空间位置信息。但是，由于存在卫星轨道误差、时钟误差、信号传播过程中的折射误差、多径效应、信号阻塞等消极因素，GNSS定位信息总会存在一些偏差，使得GNSS在诸如自动驾驶等需要高精度目标定位的复杂应用中显得不可靠。
单纯依靠图像或者GNSS都无法满足未来工业级应用要求。然而，如果将固定式摄像机图像和GNSS进行互补融合，可以提供更加稳定、可靠的定位信息。图像包含了目标与其环境的精确相对位置，同时不受电磁环境干扰；而GNSS可以在世界坐标系中提供绝对位置信息，同时对各种图像条件具备鲁棒性。它们具有较强的互补性，彼此之间的融合将可以提高空间定位的准确性和稳定性。目前已经有许多基于相机和GNSS的多传感器融合方法，但这些方法始终需要事先进行相机标定，适用场景受限，同时精度有待提高。采用机器学习、多模态数据融合等技术，将图像与GNSS进行融合定位，将可以有效提高定位的精度和稳定性。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于图像和GNSS的目标空间定位方法解决了现有定位方法精度不高的问题。
为了达到上述发明目的，本发明采用的技术方案为：
一种基于图像和GNSS的目标空间定位方法，包括以下步骤：
S1、训练堆栈自编码回归网络，得到回归器和回归误差尺度因子；
S2、根据回归器和回归误差尺度因子，计算得到待估目标的最优空间位置。
进一步地，所述步骤S1包括以下分步骤：
S11、获取目标在图像中的相对视觉位置和目标的GNSS测量经纬度；
S12、对目标的GNSS测量经纬度进行标准化处理，得到绝对经纬度；
S13、将目标的相对视觉位置和绝对经纬度进行时间配准，得到训练样本；
S14、采用训练样本对堆栈自编码回归网络进行训练，得到回归器和回归误差尺度因子。
进一步地，所述步骤S12中标准化处理的公式为：
Figure BDA0003409075330000021
Figure BDA0003409075330000022
其中，lti为ti时刻目标的GNSS测量经度，lmin为训练样本中最小的GNSS测量经度，lmax为训练样本中最大的GNSS测量经度，
Figure BDA0003409075330000023
为目标的绝对经度，Ati为ti时刻目标的GNSS测量纬度，Amin为训练样本中最小的GNSS测量纬度，Amax为训练样本中最大的GNSS测量纬度，
Figure BDA0003409075330000024
为目标的绝对纬度，α为辨识度因子。
进一步地，所述步骤S13中进行时间配准的方法为：将目标的相对视觉位置所对应的目标检测框的宽度、目标检测框的高度和目标检测框左上框角的像素坐标，与绝对经纬度进行时间配准，得到目标在同一时刻下的六维信息拼接张量：
Figure BDA0003409075330000031
即一个训练样本，其中，(x,y)为目标检测框左上框角的像素坐标，w为目标检测框的宽度，h为目标检测框的高度，
Figure BDA0003409075330000032
为目标的绝对经度，
Figure BDA0003409075330000033
为目标的绝对纬度。
进一步地，所述步骤S14中对堆栈自编码回归网络进行训练的损失函数为：
Figure BDA0003409075330000034
其中，L为损失函数，wX为空间对空间的映射权重，wz为点对点的映射权重。Xi为拼接张量X的第i个元素，X′i为重构拼接张量X′的第i个元素，X′是将拼接张量X输入堆栈自编码回归网络中，经过堆栈自编码回归网络中编码器回归得到经纬度回归向量
Figure BDA0003409075330000035
再经过堆栈自编码回归网络中解码器重构得到的六维信息拼接张量，
Figure BDA0003409075330000036
(x′,y′)为重构后的目标检测框左上框角像素坐标，w′为重构后的目标检测框的宽度，h′为重构后的目标检测框的高度，
Figure BDA0003409075330000037
为重构后的目标的绝对经度，
Figure BDA0003409075330000038
为重构后的目标的绝对纬度，Z为绝对经纬度向量，
Figure BDA0003409075330000039
Zj为绝对经纬度向量的第j个元素，
Figure BDA00034090753300000310
为经纬度回归向量
Figure BDA00034090753300000311
的第j个元素，n为拼接张量的维度，即n＝6，m为经纬度向量的维度，即m＝2。
上述进一步方案的有益效果为：通过输入张量X和输出张量X′间的均方差值，去保障编码器和解码器的整体回归性能，使得回归器能够学习到张量X的两个分量，即相对视觉位置B＝(x,y,w,h)与绝对经纬度向量
Figure BDA00034090753300000312
之间的相关性，并将此相关性隐性表达在经纬度回归向量
Figure BDA00034090753300000313
中，初步建立起图像相对视觉位置张量空间与GNSS经纬度向量空间之间的“空间对空间”的映射关系。
通过经纬度向量Z与经纬度回归向量
Figure BDA0003409075330000041
的均方差值，使其通过流形学习将六维张量空间一对一地映射到二维经纬度向量空间，更加准确地建立起目标检测框视觉相对位置信息B与经纬度向量Z之间的“点对点”的映射关系。
权重wX、wz用于调整“空间对空间”映射、“点对点”映射的准确程度。
进一步地，所述步骤S14中回归误差尺度因子的公式为：
Figure BDA0003409075330000042
其中，E为回归误差尺度因子，N为训练样本的总数，eZ,k为第k个训练样本的回归误差，回归误差为绝对经纬度向量Z与经纬度回归向量
Figure BDA0003409075330000043
之间的均方误差，eX,k为第k个训练样本的重构误差，重构误差为重构六维信息拼接张量X′与六维信息拼接张量X之间的均方误差。
进一步地，所述步骤S2包括以下分步骤：
S21、获取待估目标的相对视觉位置和待估目标的绝对经纬度；
S22、将待估目标的相对视觉位置和待估目标的绝对经纬度进行拼接，得到待估目标的拼接张量；
S23、将待估目标的拼接张量输入回归器中，得到待估目标的经纬度回归值；
S24、根据回归误差尺度因子，计算待估目标的经纬度回归值的回归误差；
S25、将待估目标的GNSS测量经纬度的先验误差作为待估目标的经纬度的测量误差；
S26、根据待估目标的经纬度回归值的回归误差，计算待估目标的经纬度回归值的置信度；
S27、根据待估目标的经纬度的测量误差，计算待估目标的经纬度测量值的置信度；
S28、将待估目标的经纬度回归值的置信度和待估目标的经纬度测量值的置信度进行滤波融合，加权得到待估目标的最优空间位置。
进一步地，所述步骤S24中计算待估目标的经纬度回归值的回归误差的公式为：
Figure BDA0003409075330000051
其中，
Figure BDA0003409075330000052
为待估目标的经纬度回归值的回归误差，E为回归误差尺度因子，
Figure BDA0003409075330000053
为待估目标的重构误差。
进一步地，所述步骤S26中计算待估目标的经纬度回归值的置信度的公式为：
Figure BDA0003409075330000054
所述步骤S27中计算待估目标的经纬度测量值的置信度的公式为：
Figure BDA0003409075330000055
其中，
Figure BDA0003409075330000056
为待估目标的经纬度回归值的置信度，γGNSS为待估目标的经纬度测量值的置信度，
Figure BDA0003409075330000057
为待估目标的经纬度回归值的回归误差，eGNSS为待估目标的经纬度的测量误差。
进一步地，步骤S28中待估目标的最优空间位置的公式为：
Figure BDA0003409075330000058
其中，ZFUSE为待估目标的最优空间位置，
Figure BDA0003409075330000059
为待估目标的经纬度回归值的置信度，γGNSS为待估目标的经纬度测量值的置信度，
Figure BDA00034090753300000510
为待估目标的经纬度回归向量，ZGNSS为待估目标的GNSS测量经纬度。
综上，本发明的有益效果为：
1、本发明步骤S1训练出一个高效的对堆栈自编码回归网络，使得该网络具备直接从图像和GNSS的融合结果中回归得到经纬度位置的能力。步骤S2回归出精确的经纬度位置，并根据置信度的大小对回归的经纬度位置和GNSS测量值进行滤波处理，从而得到最准确的目标空间位置估计值。
2、本发明步骤S1将目标的图像相对视觉位置与GNSS绝对位置进行互补融合得到目标的拼接张量，通过堆栈自编码回归网络学习得到目标的拼接张量空间与经纬度空间的准确映射关系，同时将拼接张量中互补的图像相对视觉位置与GNSS绝对位置压缩到经纬度回归值中，生成更高精度的经纬度定位结果。步骤S2对回归的经纬度位置和GNSS测量值进行滤波处理，进一步提高待估目标的经纬度定位结果精度，同时也提高对图像目标定位误差和GNSS传感器误差的鲁棒性，进而提高待估目标定位结果的稳定性。
附图说明
图1为一种基于图像和GNSS的目标空间定位方法的流程图；
图2为训练堆栈自编码回归网络的流程图；
图3为回归器执行步骤S2的流程图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1～2所示，一种基于图像和GNSS的目标空间定位方法，包括以下步骤：
S1、训练堆栈自编码回归网络，得到回归器和回归误差尺度因子；
步骤S1包括以下分步骤：
S11、获取目标在图像中的相对视觉位置和目标的GNSS测量经纬度；
在本实施例中步骤S11的具体过程为：
采用图像检测算法对图像中的目标进行检测，得到目标检测框B＝(x,y,w,h)，目标检测框B＝(x,y,w,h)为目标在图像中的相对视觉位置，(x,y)为目标检测框左上框角的像素坐标，w为目标检测框的宽度，h为目标检测框的高度。
通过GNSS传感器采集目标的经纬度坐标信息，即目标的GNSS测量经纬度。
S12、对目标的GNSS测量经纬度进行标准化处理，得到绝对经纬度；
步骤S12中标准化处理的公式为：
Figure BDA0003409075330000071
Figure BDA0003409075330000072
其中，lti为ti时刻目标的GNSS测量经度，lmin为训练样本中最小的GNSS测量经度，lmax为训练样本中最大的GNSS测量经度，
Figure BDA0003409075330000073
为目标的绝对经度，Ati为ti时刻目标的GNSS测量纬度，Amin为训练样本中最小的GNSS测量纬度，Amax为训练样本中最大的GNSS测量纬度，
Figure BDA0003409075330000074
为目标的绝对纬度，α为辨识度因子。
S13、将目标的相对视觉位置和绝对经纬度进行时间配准，得到训练样本；
步骤S13中进行时间配准的方法为：将目标的相对视觉位置所对应的目标检测框的宽度、目标检测框的高度和目标检测框左上框角的像素坐标，与绝对经纬度进行时间配准，得到目标在同一时刻下的六维信息拼接张量：
Figure BDA0003409075330000081
即一个训练样本，其中，(x,y)为目标检测框左上框角的像素坐标，w为目标检测框的宽度，h为目标检测框的高度，
Figure BDA0003409075330000082
为目标的绝对经度，
Figure BDA0003409075330000083
为目标的绝对纬度。
按照上述步骤S11至步骤S13的方法，获取一段时间内的目标的六维信息拼接张量序列，作为训练数据集，采用训练数据集用于训练堆栈自编码回归网络。
S14、采用训练样本对堆栈自编码回归网络进行训练，得到回归器和回归误差尺度因子。
堆栈自编码回归网络包括编码器和解码器，将六维信息拼接张量X输入到堆栈自编码回归网络中，通过编码器回归得到经纬度回归向量
Figure BDA0003409075330000084
再经过解码器重构得到六维信息拼接张量
Figure BDA0003409075330000085
步骤S14中对堆栈自编码回归网络进行训练的损失函数为：
Figure BDA0003409075330000086
其中，L为损失函数，wX为空间对空间的映射权重，wz为点对点的映射权重。Xi为拼接张量X的第i个元素，X′i为重构拼接张量X′的第i个元素，X′是将拼接张量X输入堆栈自编码回归网络中，经过堆栈自编码回归网络中编码器回归得到经纬度回归向量
Figure BDA0003409075330000087
再经过堆栈自编码回归网络中解码器重构得到的六维信息拼接张量，
Figure BDA0003409075330000088
(x′,y′)为重构后的目标检测框左上框角像素坐标，w′为重构后的目标检测框的宽度，h′为重构后的目标检测框的高度，
Figure BDA0003409075330000089
为重构后的目标的绝对经度，
Figure BDA00034090753300000810
为重构后的目标的绝对纬度，Z为绝对经纬度向量，
Figure BDA00034090753300000811
Zj为绝对经纬度向量的第j个元素，
Figure BDA00034090753300000812
为经纬度回归向量
Figure BDA00034090753300000813
的第j个元素，n为拼接张量的维度，即n＝6，m为经纬度向量的维度，即m＝2。
步骤S14中回归误差尺度因子的公式为：
Figure BDA0003409075330000091
其中，E为回归误差尺度因子，N为训练样本的总数，eZ,k为第k个训练样本的回归误差，回归误差为绝对经纬度向量Z与经纬度回归向量
Figure BDA0003409075330000092
之间的均方误差，eX,k为第k个训练样本的重构误差，重构误差为重构六维信息拼接张量X′与六维信息拼接张量X之间的均方误差。
通过上述训练过程，训练得到回归误差尺度因子，后续可直接使用回归误差尺度因子，例如：当计算出某个输入张量的重构误差后，可通过回归误差尺度因子，估计得到经编码器回归的经纬度向量的回归误差。
S2、根据回归器和回归误差尺度因子，计算得到待估目标的最优空间位置。
步骤S2包括以下分步骤：
S21、获取待估目标的相对视觉位置和待估目标的绝对经纬度；
S22、将待估目标的相对视觉位置和待估目标的绝对经纬度进行拼接，得到待估目标的拼接张量；
S23、将待估目标的拼接张量输入回归器中，得到待估目标的经纬度回归值；
S24、根据回归误差尺度因子，计算待估目标的经纬度回归值的回归误差；步骤S24中计算待估目标的经纬度回归值的回归误差的公式为：
Figure BDA0003409075330000093
其中，
Figure BDA0003409075330000094
为待估目标的经纬度回归值的回归误差，E为回归误差尺度因子，
Figure BDA0003409075330000095
为待估目标的重构误差。
S25、将待估目标的GNSS测量经纬度的先验误差作为待估目标的经纬度的测量误差；
S26、根据待估目标的经纬度回归值的回归误差，计算待估目标的经纬度回归值的置信度；
步骤S26中计算待估目标的经纬度回归值的置信度的公式为：
Figure BDA0003409075330000101
S27、根据待估目标的经纬度的测量误差，计算待估目标的经纬度测量值的置信度；
步骤S27中计算待估目标的经纬度测量值的置信度的公式为：
Figure BDA0003409075330000102
其中，
Figure BDA0003409075330000103
为待估目标的经纬度回归值的置信度，γGNSS为待估目标的经纬度测量值的置信度，
Figure BDA0003409075330000104
为待估目标的经纬度回归值的回归误差，eGNSS为待估目标的经纬度的测量误差。
S28、将待估目标的经纬度回归值的置信度和待估目标的经纬度测量值的置信度进行滤波融合，加权得到待估目标的最优空间位置。
步骤S28中待估目标的最优空间位置的公式为：
Figure BDA0003409075330000105
其中，ZFUSE为待估目标的最优空间位置，
Figure BDA0003409075330000106
为待估目标的经纬度回归值的置信度，γGNSS为待估目标的经纬度测量值的置信度，
Figure BDA0003409075330000107
为待估目标的经纬度回归向量，ZGNSS为待估目标的GNSS测量经纬度。
例如：如图3所示，取t时刻的待估目标的相对视觉位置和待估目标的绝对经纬度，构建六维信息拼接张量X(t)，X(t)为t时刻的六维信息拼接张量，X(t)来源于：t时刻的待估目标的相对视觉位置和待估目标的绝对经纬度的配准，采用编码器对张量X(t)进行回归，得到包含图像相对位置信息的经纬度回归向量
Figure BDA0003409075330000111
利用解码器重构得到六维信息拼接张量X′(t)，根据X(t)和X′(t)计算得到重构误差eX(t)，将重构误差eX(t)与回归误差尺度因子E相乘，得到t时刻的回归误差，即
Figure BDA0003409075330000112
再通过待估目标的经纬度的测量误差eGNSS(t)，计算得到待估目标的经纬度回归值的置信度
Figure BDA0003409075330000113
和待估目标的经纬度测量值的置信度γGNSS(t)；根据待估目标的经纬度回归值的置信度
Figure BDA0003409075330000114
待估目标的经纬度测量值的置信度γGNSS(t)和待估目标的GNSS测量经纬度ZGNSS(t)，计算得到待估目标的最优空间位置ZFUSE(t)，举例过程中没写的计算公式跟上述内容一致。

Claims (10)

1.一种基于图像和GNSS的目标空间定位方法，其特征在于，包括以下步骤：
S1、训练堆栈自编码回归网络，得到回归器和回归误差尺度因子；
S2、根据回归器和回归误差尺度因子，计算得到待估目标的最优空间位置。
2.根据权利要求1所述的基于图像和GNSS的目标空间定位方法，其特征在于，所述步骤S1包括以下分步骤：
S11、获取目标在图像中的相对视觉位置和目标的GNSS测量经纬度；
S12、对目标的GNSS测量经纬度进行标准化处理，得到绝对经纬度；
S13、将目标的相对视觉位置和绝对经纬度进行时间配准，得到训练样本；
S14、采用训练样本对堆栈自编码回归网络进行训练，得到回归器和回归误差尺度因子。
3.根据权利要求2所述的基于图像和GNSS的目标空间定位方法，其特征在于，所述步骤S12中标准化处理的公式为：
Figure FDA0003409075320000011
Figure FDA0003409075320000012
其中，lti为ti时刻目标的GNSS测量经度，lmin为训练样本中最小的GNSS测量经度，lmax为训练样本中最大的GNSS测量经度，
Figure FDA0003409075320000013
为目标的绝对经度，Ati为ti时刻目标的GNSS测量纬度，Amin为训练样本中最小的GNSS测量纬度，Amax为训练样本中最大的GNSS测量纬度，
Figure FDA0003409075320000014
为目标的绝对纬度，α为辨识度因子。
4.根据权利要求2所述的基于图像和GNSS的目标空间定位方法，其特征在于，所述步骤S13中进行时间配准的方法为：将目标的相对视觉位置所对应的目标检测框的宽度、目标检测框的高度和目标检测框左上框角的像素坐标，与绝对经纬度进行时间配准，得到目标在同一时刻下的六维信息拼接张量：
Figure FDA0003409075320000021
即一个训练样本，其中，(x，y)为目标检测框左上框角的像素坐标，w为目标检测框的宽度，h为目标检测框的高度，
Figure FDA0003409075320000022
为目标的绝对经度，
Figure FDA0003409075320000023
为目标的绝对纬度。
5.根据权利要求3所述的基于图像和GNSS的目标空间定位方法，其特征在于，所述步骤S14中对堆栈自编码回归网络进行训练的损失函数为：
Figure FDA0003409075320000024
其中，L为损失函数，wX为空间对空间的映射权重，wZ为点对点的映射权重。Xi为拼接张量X的第i个元素，X′i为重构拼接张量X′的第i个元素，X′是将拼接张量X输入堆栈自编码回归网络中，经过堆栈自编码回归网络中编码器回归得到经纬度回归向量
Figure FDA0003409075320000025
再经过堆栈自编码回归网络中解码器重构得到的六维信息拼接张量，
Figure FDA0003409075320000026
(x′，y′)为重构后的目标检测框左上框角像素坐标，w′为重构后的目标检测框的宽度，h′为重构后的目标检测框的高度，
Figure FDA0003409075320000027
为重构后的目标的绝对经度，
Figure FDA0003409075320000028
为重构后的目标的绝对纬度，Z为绝对经纬度向量，
Figure FDA0003409075320000029
Zj为绝对经纬度向量的第j个元素，
Figure FDA00034090753200000210
为经纬度回归向量
Figure FDA00034090753200000211
的第j个元素，n为拼接张量的维度，即n＝6，m为经纬度向量的维度，即m＝2。
6.根据权利要求5所述的基于图像和GNSS的目标空间定位方法，其特征在于，所述步骤S14中回归误差尺度因子的公式为：
Figure FDA00034090753200000212
其中，E为回归误差尺度因子，N为训练样本的总数，eZ，k为第k个训练样本的回归误差，回归误差为绝对经纬度向量Z与经纬度回归向量
Figure FDA0003409075320000031
之间的均方误差，eX，k为第k个训练样本的重构误差，重构误差为重构六维信息拼接张量X′与六维信息拼接张量X之间的均方误差。
7.根据权利要求1所述的基于图像和GNSS的目标空间定位方法，其特征在于，所述步骤S2包括以下分步骤：
S21、获取待估目标的相对视觉位置和待估目标的绝对经纬度；
S22、将待估目标的相对视觉位置和待估目标的绝对经纬度进行拼接，得到待估目标的拼接张量；
S23、将待估目标的拼接张量输入回归器中，得到待估目标的经纬度回归值；
S24、根据回归误差尺度因子，计算待估目标的经纬度回归值的回归误差；
S25、将待估目标的GNSS测量经纬度的先验误差作为待估目标的经纬度的测量误差；
S26、根据待估目标的经纬度回归值的回归误差，计算待估目标的经纬度回归值的置信度；
S27、根据待估目标的经纬度的测量误差，计算待估目标的经纬度测量值的置信度；
S28、将待估目标的经纬度回归值的置信度和待估目标的经纬度测量值的置信度进行滤波融合，加权得到待估目标的最优空间位置。
8.根据权利要求7所述的基于图像和GNSS的目标空间定位方法，其特征在于，所述步骤S24中计算待估目标的经纬度回归值的回归误差的公式为：
Figure FDA0003409075320000032
其中，
Figure FDA0003409075320000033
为待估目标的经纬度回归值的回归误差，E为回归误差尺度因子，
Figure FDA0003409075320000034
为待估目标的重构误差。
9.根据权利要求7所述的基于图像和GNSS的目标空间定位方法，其特征在于，所述步骤S26中计算待估目标的经纬度回归值的置信度的公式为：
Figure FDA0003409075320000041
所述步骤S27中计算待估目标的经纬度测量值的置信度的公式为：
Figure FDA0003409075320000042
其中，
Figure FDA0003409075320000043
为待估目标的经纬度回归值的置信度，γGNSS为待估目标的经纬度测量值的置信度，
Figure FDA0003409075320000044
为待估目标的经纬度回归值的回归误差，eGNSS为待估目标的经纬度的测量误差。
10.根据权利要求7所述的基于图像和GNSS的目标空间定位方法，其特征在于，所述步骤S28中待估目标的最优空间位置的公式为：
Figure FDA0003409075320000045
其中，ZFUSE为待估目标的最优空间位置，
Figure FDA0003409075320000046
为待估目标的经纬度回归值的置信度，γGNSS为待估目标的经纬度测量值的置信度，
Figure FDA0003409075320000047
为待估目标的经纬度回归向量，ZGNSS为待估目标的GNSS测量经纬度。
CN202111523742.9A 2021-12-14 2021-12-14 一种基于图像和gnss的目标空间定位方法 Active CN114167468B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111523742.9A CN114167468B (zh) 2021-12-14 2021-12-14 一种基于图像和gnss的目标空间定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111523742.9A CN114167468B (zh) 2021-12-14 2021-12-14 一种基于图像和gnss的目标空间定位方法

Publications (2)

Publication Number Publication Date
CN114167468A true CN114167468A (zh) 2022-03-11
CN114167468B CN114167468B (zh) 2023-06-27

Family

ID=80486222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111523742.9A Active CN114167468B (zh) 2021-12-14 2021-12-14 一种基于图像和gnss的目标空间定位方法

Country Status (1)

Country Link
CN (1) CN114167468B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709640A (zh) * 2016-12-15 2017-05-24 华南理工大学 基于深度学习与支持向量回归的船舶能耗预测方法
GB201718628D0 (en) * 2017-11-10 2017-12-27 Horiba Mira Ltd Method of computer vision based localisation and navigation and system for performing the same
CN108427130A (zh) * 2018-01-24 2018-08-21 北京邮电大学 一种卫星位置确定方法、装置、电子设备及存储介质
CN110322473A (zh) * 2019-07-09 2019-10-11 四川大学 基于显著部位的目标抗遮挡跟踪方法
WO2021041854A1 (en) * 2019-08-30 2021-03-04 Nvidia Corporation Object detection and classification using lidar range images for autonomous machine applications
CN112907663A (zh) * 2021-02-03 2021-06-04 阿里巴巴集团控股有限公司 定位方法、计算机程序产品、装置及系统
CN113259884A (zh) * 2021-05-19 2021-08-13 桂林电子科技大学 基于多参数融合的室内定位基站布设优化方法
CN113393522A (zh) * 2021-05-27 2021-09-14 湖南大学 一种基于单目rgb相机回归深度信息的6d位姿估计方法
CN113538321A (zh) * 2020-03-31 2021-10-22 华为技术有限公司 基于视觉的体积测量方法及终端设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709640A (zh) * 2016-12-15 2017-05-24 华南理工大学 基于深度学习与支持向量回归的船舶能耗预测方法
GB201718628D0 (en) * 2017-11-10 2017-12-27 Horiba Mira Ltd Method of computer vision based localisation and navigation and system for performing the same
CN108427130A (zh) * 2018-01-24 2018-08-21 北京邮电大学 一种卫星位置确定方法、装置、电子设备及存储介质
CN110322473A (zh) * 2019-07-09 2019-10-11 四川大学 基于显著部位的目标抗遮挡跟踪方法
WO2021041854A1 (en) * 2019-08-30 2021-03-04 Nvidia Corporation Object detection and classification using lidar range images for autonomous machine applications
CN113538321A (zh) * 2020-03-31 2021-10-22 华为技术有限公司 基于视觉的体积测量方法及终端设备
CN112907663A (zh) * 2021-02-03 2021-06-04 阿里巴巴集团控股有限公司 定位方法、计算机程序产品、装置及系统
CN113259884A (zh) * 2021-05-19 2021-08-13 桂林电子科技大学 基于多参数融合的室内定位基站布设优化方法
CN113393522A (zh) * 2021-05-27 2021-09-14 湖南大学 一种基于单目rgb相机回归深度信息的6d位姿估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XU, F 等: "Adaptive Visual Servoing for an Underwater Soft Robot Considering Refraction Effects", IEEE TRANS. IND. ELECTRON, pages 10575 *

Also Published As

Publication number Publication date
CN114167468B (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
CN110009681B (zh) 一种基于imu辅助的单目视觉里程计位姿处理方法
CN110686677B (zh) 一种基于几何信息的全局定位方法
EP3309751B1 (en) Image processing device, method, and program
CN108052103B (zh) 基于深度惯性里程计的巡检机器人地下空间同时定位和地图构建方法
CN110570449B (zh) 一种基于毫米波雷达与视觉slam的定位与建图方法
CN107909614B (zh) 一种gps失效环境下巡检机器人定位方法
CN111929718A (zh) 一种自动驾驶对象探测和定位系统及方法
CN104704384A (zh) 具体用于装置的基于视觉的定位的图像处理方法
WO2023165093A1 (zh) 视觉惯性里程计模型的训练方法、位姿估计方法、装置、电子设备、计算机可读存储介质及程序产品
CN112665584B (zh) 一种基于多传感器融合的水下机器人定位与构图方法
CN110751123B (zh) 一种单目视觉惯性里程计系统及方法
CN111890373A (zh) 车载机械臂的感知定位方法
CN114581675A (zh) 一种基于机器视觉与多源数据融合的海上船舶检测方法
CN115435779A (zh) 一种基于gnss/imu/光流信息融合的智能体位姿估计方法
CN112731503A (zh) 一种基于前端紧耦合的位姿估计方法及系统
CN114167468B (zh) 一种基于图像和gnss的目标空间定位方法
CN116907469A (zh) 多模态数据联合优化的同步定位及建图方法及系统
CN114442083A (zh) 一种基于视觉与多源雷达的自适应加权数据融合方法
CN114485613A (zh) 一种多信息融合水下机器人定位方法
CN113628279B (zh) 一种全景视觉slam建图方法
Zeng et al. DFPC-SLAM: A dynamic feature point constraints-based SLAM using stereo vision for dynamic environment
Pagel Robust monocular egomotion estimation based on an iekf
CN116026316B (zh) 一种耦合视觉惯性里程计与gnss的无人船航迹推算方法
CN109099909B (zh) 一种基于行人惯性导航路径还原和多路径相关匹配的室内定位方法
CN116958774B (zh) 一种基于自适应空间特征融合的目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant