CN114942026A - 基于智能数据的多模态三维影像导航系统 - Google Patents

基于智能数据的多模态三维影像导航系统 Download PDF

Info

Publication number
CN114942026A
CN114942026A CN202210617591.1A CN202210617591A CN114942026A CN 114942026 A CN114942026 A CN 114942026A CN 202210617591 A CN202210617591 A CN 202210617591A CN 114942026 A CN114942026 A CN 114942026A
Authority
CN
China
Prior art keywords
module
landmark
image
camera
obtains
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210617591.1A
Other languages
English (en)
Inventor
张琪然
詹悦涓
左浩岚
屈展
程楠梨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202210617591.1A priority Critical patent/CN114942026A/zh
Publication of CN114942026A publication Critical patent/CN114942026A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

本发明公开了基于智能数据的多模态三维影像导航系统，包括图像数据采集模块、图像特征提取模块、地标位置计算模块、组合导航模块、机体位置确定模块和目标位置确定模块，所述图像数据采集模块、图像特征提取模块、地标位置计算模块、组合导航模块、机体位置确定模块和目标位置确定模块依次连接。本发明利于卡尔曼滤波的方法实现计算机视觉与导航系统结合的目的，利于已知坐标点的位置信息，为机体运行进行三维影像导航。

Description

基于智能数据的多模态三维影像导航系统
技术领域
本发明涉及导航技术领域，尤其涉及基于智能数据的多模态三维影像导航系统。
背景技术
许多商业导航系统基于已应用于机动车导航的以卫星为基础的全球定位系统(GPS)设备，例如，参见实际上全部引入在此作为参考的美国专利号5938720、5928307、5922042、5912635、5910177、5904728、5902350，然而，这样的机动车导航系统是昂贵的并且不便于使用，且现有的导航系统不能够根据采集的数据进行多模态三维影像导航，不便于将导航与视觉系统相结合，导航的精度不高。
发明内容
基于背景技术存在的技术问题，本发明提出了基于智能数据的多模态三维影像导航系统。
本发明提出的基于智能数据的多模态三维影像导航系统，包括图像数据采集模块、图像特征提取模块、地标位置计算模块、组合导航模块、机体位置确定模块和目标位置确定模块，所述图像数据采集模块、图像特征提取模块、地标位置计算模块、组合导航模块、机体位置确定模块和目标位置确定模块依次连接。
优选的，所述图像数据采集模块包括摄像机，摄像机为计算机视觉系统，摄像机安装时，光轴相对于水平面向下成一定角度，摄像机所确定的坐标系为测量坐标系，所述摄像机连接机体。
优选的，所述图像特征提取模块用于对摄像机所拍摄的图像进行处理，得到特征点在图像中的位置。
优选的，所述得到特征点在图像中的位置具体为：摄像机拍摄一个场景，通过光学成像得到关于这个场景的图像，在摄像机成像时，通过特征点，对图像进行检索，得到特征点在图像坐标中的位置。
优选的，所述地标位置计算模块，通过摄像机得到地标与机体之前的瞄准线方向，得到地标与机体在地球坐标系中的方向向量，通过坐标变化，得到地标与机体之间在测量坐标系中的方向向量，通过透视变换得到地标在图像中所在的位置，得到卡尔曼滤波所要的另一组图像坐标。
优选的，所述组合导航模块，通过SINS提供的航向和姿态信息，得到从地面已知点到机体的瞄准线方向，由于SINS测定航向时有角偏差存在，瞄准线则落在这个偏差角范围内，几个瞄准线的覆盖范围的相交部分为机体的大致位置信息。
优选的，所述机体位置确定模块，通过地面已知地标点来确定机体的位置即利用地标点位置信息以及机体与地标点间的瞄准线方向，得到机体的位置信息。
优选的，所述目标位置确定模块利于已知地标，在航行的时候对机体进行定位，当图像中已知的地标存在时，机体的位置为准确位置。
优选的，所述目标位置确定模块利于机体轨迹的两个点的位置信息和在这两个点上机体与地面未知地标点的瞄准线方向，确定地面上未知地标的位置。
本发明中，所述基于智能数据的多模态三维影像导航系统，利于卡尔曼滤波的方法实现计算机视觉与导航系统结合的目的，利于已知坐标点的位置信息，为机体运行进行三维影像导航。
附图说明
图1为本发明提出的基于智能数据的多模态三维影像导航系统的系统框图；
图2为本发明提出的基于智能数据的多模态三维影像导航系统的原理框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参照图1-2，基于智能数据的多模态三维影像导航系统，包括图像数据采集模块、图像特征提取模块、地标位置计算模块、组合导航模块、机体位置确定模块和目标位置确定模块，所述图像数据采集模块、图像特征提取模块、地标位置计算模块、组合导航模块、机体位置确定模块和目标位置确定模块依次连接。
本发明中，所述图像数据采集模块包括摄像机，摄像机为计算机视觉系统，摄像机安装时，光轴相对于水平面向下成一定角度，摄像机所确定的坐标系为测量坐标系，所述摄像机连接机体。
本发明中，所述图像特征提取模块用于对摄像机所拍摄的图像进行处理，得到特征点在图像中的位置。
本发明中，所述得到特征点在图像中的位置具体为：摄像机拍摄一个场景，通过光学成像得到关于这个场景的图像，在摄像机成像时，通过特征点，对图像进行检索，得到特征点在图像坐标中的位置。
本发明中，所述地标位置计算模块，通过摄像机得到地标与机体之前的瞄准线方向，得到地标与机体在地球坐标系中的方向向量，通过坐标变化，得到地标与机体之间在测量坐标系中的方向向量，通过透视变换得到地标在图像中所在的位置，得到卡尔曼滤波所要的另一组图像坐标。
本发明中，所述组合导航模块，通过SINS提供的航向和姿态信息，得到从地面已知点到机体的瞄准线方向，由于SINS测定航向时有角偏差存在，瞄准线则落在这个偏差角范围内，几个瞄准线的覆盖范围的相交部分为机体的大致位置信息。
本发明中，所述机体位置确定模块，通过地面已知地标点来确定机体的位置即利用地标点位置信息以及机体与地标点间的瞄准线方向，得到机体的位置信息。
本发明中，所述目标位置确定模块利于已知地标，在航行的时候对机体进行定位，当图像中已知的地标存在时，机体的位置为准确位置。
本发明中，所述目标位置确定模块利于机体轨迹的两个点的位置信息和在这两个点上机体与地面未知地标点的瞄准线方向，确定地面上未知地标的位置。
本发明：图像数据采集模块包括摄像机，摄像机为计算机视觉系统，摄像机安装时，光轴相对于水平面向下成一定角度，摄像机所确定的坐标系为测量坐标系，所述摄像机连接机体，图像特征提取模块用于对摄像机所拍摄的图像进行处理，得到特征点在图像中的位置，得到特征点在图像中的位置具体为：摄像机拍摄一个场景，通过光学成像得到关于这个场景的图像，在摄像机成像时，通过特征点，对图像进行检索，得到特征点在图像坐标中的位置，地标位置计算模块，通过摄像机得到地标与机体之前的瞄准线方向，得到地标与机体在地球坐标系中的方向向量，通过坐标变化，得到地标与机体之间在测量坐标系中的方向向量，通过透视变换得到地标在图像中所在的位置，得到卡尔曼滤波所要的另一组图像坐标，组合导航模块，通过SINS提供的航向和姿态信息，得到从地面已知点到机体的瞄准线方向，由于SINS测定航向时有角偏差存在，瞄准线则落在这个偏差角范围内，几个瞄准线的覆盖范围的相交部分为机体的大致位置信息，机体位置确定模块，通过地面已知地标点来确定机体的位置即利用地标点位置信息以及机体与地标点间的瞄准线方向，得到机体的位置信息，目标位置确定模块利于已知地标，在航行的时候对机体进行定位，当图像中已知的地标存在时，机体的位置为准确位置，目标位置确定模块利于机体轨迹的两个点的位置信息和在这两个点上机体与地面未知地标点的瞄准线方向，确定地面上未知地标的位置
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.基于智能数据的多模态三维影像导航系统，其特征在于，包括图像数据采集模块、图像特征提取模块、地标位置计算模块、组合导航模块、机体位置确定模块和目标位置确定模块，所述图像数据采集模块、图像特征提取模块、地标位置计算模块、组合导航模块、机体位置确定模块和目标位置确定模块依次连接。
2.根据权利要求1所述的基于智能数据的多模态三维影像导航系统，其特征在于，所述图像数据采集模块包括摄像机，摄像机为计算机视觉系统，摄像机安装时，光轴相对于水平面向下成一定角度，摄像机所确定的坐标系为测量坐标系，所述摄像机连接机体。
3.根据权利要求1所述的基于智能数据的多模态三维影像导航系统，其特征在于，所述图像特征提取模块用于对摄像机所拍摄的图像进行处理，得到特征点在图像中的位置。
4.根据权利要求3所述的基于智能数据的多模态三维影像导航系统，其特征在于，所述得到特征点在图像中的位置具体为：摄像机拍摄一个场景，通过光学成像得到关于这个场景的图像，在摄像机成像时，通过特征点，对图像进行检索，得到特征点在图像坐标中的位置。
5.根据权利要求1所述的基于智能数据的多模态三维影像导航系统，其特征在于，所述地标位置计算模块，通过摄像机得到地标与机体之前的瞄准线方向，得到地标与机体在地球坐标系中的方向向量，通过坐标变化，得到地标与机体之间在测量坐标系中的方向向量，通过透视变换得到地标在图像中所在的位置，得到卡尔曼滤波所要的另一组图像坐标。
6.根据权利要求1所述的基于智能数据的多模态三维影像导航系统，其特征在于，所述组合导航模块，通过SINS提供的航向和姿态信息，得到从地面已知点到机体的瞄准线方向，由于SINS测定航向时有角偏差存在，瞄准线则落在这个偏差角范围内，几个瞄准线的覆盖范围的相交部分为机体的大致位置信息。
7.根据权利要求1所述的基于智能数据的多模态三维影像导航系统，其特征在于，所述机体位置确定模块，通过地面已知地标点来确定机体的位置即利用地标点位置信息以及机体与地标点间的瞄准线方向，得到机体的位置信息。
8.根据权利要求1所述的基于智能数据的多模态三维影像导航系统，其特征在于，所述目标位置确定模块利于已知地标，在航行的时候对机体进行定位，当图像中已知的地标存在时，机体的位置为准确位置。
9.根据权利要求1所述的基于智能数据的多模态三维影像导航系统，其特征在于，所述目标位置确定模块利于机体轨迹的两个点的位置信息和在这两个点上机体与地面未知地标点的瞄准线方向，确定地面上未知地标的位置。
CN202210617591.1A 2022-06-01 2022-06-01 基于智能数据的多模态三维影像导航系统 Pending CN114942026A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210617591.1A CN114942026A (zh) 2022-06-01 2022-06-01 基于智能数据的多模态三维影像导航系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210617591.1A CN114942026A (zh) 2022-06-01 2022-06-01 基于智能数据的多模态三维影像导航系统

Publications (1)

Publication Number Publication Date
CN114942026A true CN114942026A (zh) 2022-08-26

Family

ID=82909994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210617591.1A Pending CN114942026A (zh) 2022-06-01 2022-06-01 基于智能数据的多模态三维影像导航系统

Country Status (1)

Country Link
CN (1) CN114942026A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101598556A (zh) * 2009-07-15 2009-12-09 北京航空航天大学 一种未知环境下无人机视觉/惯性组合导航方法
CN103424114A (zh) * 2012-05-22 2013-12-04 同济大学 一种视觉导航/惯性导航的全组合方法
CN104778688A (zh) * 2015-03-27 2015-07-15 华为技术有限公司 点云数据的配准方法及装置
CN106679648A (zh) * 2016-12-08 2017-05-17 东南大学 一种基于遗传算法的视觉惯性组合的slam方法
CN107014380A (zh) * 2017-05-26 2017-08-04 西安科技大学 基于飞行器的视觉导航与惯性导航的组合导航方法
CN109978953A (zh) * 2019-01-22 2019-07-05 四川大学 用于目标三维定位的方法及系统
CN112465969A (zh) * 2020-11-26 2021-03-09 华能通辽风力发电有限公司 基于无人机航拍影像数据的实时三维建模方法及系统
CN112762929A (zh) * 2020-12-24 2021-05-07 华中科技大学 一种智能导航方法、装置和设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101598556A (zh) * 2009-07-15 2009-12-09 北京航空航天大学 一种未知环境下无人机视觉/惯性组合导航方法
CN103424114A (zh) * 2012-05-22 2013-12-04 同济大学 一种视觉导航/惯性导航的全组合方法
CN104778688A (zh) * 2015-03-27 2015-07-15 华为技术有限公司 点云数据的配准方法及装置
CN106679648A (zh) * 2016-12-08 2017-05-17 东南大学 一种基于遗传算法的视觉惯性组合的slam方法
CN107014380A (zh) * 2017-05-26 2017-08-04 西安科技大学 基于飞行器的视觉导航与惯性导航的组合导航方法
CN109978953A (zh) * 2019-01-22 2019-07-05 四川大学 用于目标三维定位的方法及系统
CN112465969A (zh) * 2020-11-26 2021-03-09 华能通辽风力发电有限公司 基于无人机航拍影像数据的实时三维建模方法及系统
CN112762929A (zh) * 2020-12-24 2021-05-07 华中科技大学 一种智能导航方法、装置和设备

Similar Documents

Publication Publication Date Title
US11604076B2 (en) Vision augmented navigation
CN109631887B (zh) 基于双目、加速度与陀螺仪的惯性导航高精度定位方法
US10634500B2 (en) Aircraft and obstacle avoidance method and system thereof
EP2133662B1 (en) Methods and system of navigation using terrain features
US9881379B2 (en) Self-localization device and movable body
US9767372B2 (en) Target detection apparatus and target detection method
WO2019022912A1 (en) SYSTEMS AND METHODS FOR DETERMINING A VEHICLE POSITION
EP1677076A2 (en) Precision landmark-aided navigation
KR101880185B1 (ko) 이동체 포즈 추정을 위한 전자 장치 및 그의 이동체 포즈 추정 방법
KR102006291B1 (ko) 전자 장치의 이동체 포즈 추정 방법
EP2175237B1 (en) System and methods for image-based navigation using line features matching
JP2006250917A (ja) 高精度ｃｖ演算装置と、この高精度ｃｖ演算装置を備えたｃｖ方式三次元地図生成装置及びｃｖ方式航法装置
CN107044853B (zh) 用于确定地标的方法和装置以及用于定位的方法和装置
EP1759173A1 (en) Image-augmented inertial navigation system (iains) and method
CN109341686B (zh) 一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法
WO2018131258A1 (ja) 車載処理装置
CN113544758A (zh) 车辆控制装置
CN115657101A (zh) 一种鱼眼相机辅助gnss-ins高精度导航定位的方法
CN116097128A (zh) 用于对车辆位置进行确定的方法和设备
JP3900365B2 (ja) 測位装置および測位方法
US20140105458A1 (en) Method for remotely determining an absolute azimuth of a target point
CN113340272B (zh) 一种基于无人机微群的地面目标实时定位方法
CN112862818B (zh) 惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法
JP4116116B2 (ja) 移動体の測距原点認識装置
US20230079899A1 (en) Determination of an absolute initial position of a vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220826

RJ01 Rejection of invention patent application after publication