CN111819418A - 导航装置、vslam校正方法、空间信息估计方法、vslam校正程序及空间信息估计程序 - Google Patents

导航装置、vslam校正方法、空间信息估计方法、vslam校正程序及空间信息估计程序 Download PDF

Info

Publication number
CN111819418A
CN111819418A CN201980015959.3A CN201980015959A CN111819418A CN 111819418 A CN111819418 A CN 111819418A CN 201980015959 A CN201980015959 A CN 201980015959A CN 111819418 A CN111819418 A CN 111819418A
Authority
CN
China
Prior art keywords
vslam
gnss
attitude angle
calculation unit
correction value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980015959.3A
Other languages
English (en)
Inventor
中村拓
户田裕行
园部达也
藤泽奈绪美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Furuno Electric Co Ltd
Original Assignee
Furuno Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Furuno Electric Co Ltd filed Critical Furuno Electric Co Ltd
Publication of CN111819418A publication Critical patent/CN111819418A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/203—Specially adapted for sailing ships
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/03—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers
    • G01S19/05—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers providing aiding data
    • G01S19/06—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers providing aiding data employing an initial estimate of the location of the receiver as aiding data or in generating aiding data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/53—Determining attitude
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/52—Determining velocity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

课题在于，使用VSLAM，并且高精度地计算本装置与其他特征点等之间的绝对性的位置关系。解决手段在于，导航装置(10)具备VSLAM运算部(121)、GNSS速度计算部(122)及比例校正值计算部(123)。GNSS速度计算部(122)使用GNSS信号的相位的变化量或者GNSS信号的频率的变化量，计算GNSS速度。VSLAM运算部(121)使用动态图像进行VSLAM运算，估计多个时刻的VSLAM位置。比例校正值计算部(123)使用由VSLAM运算部(121)估计的多个时刻中的2个以上的时刻的VSLAM位置、以及GNSS速度，计算与VSLAM位置对应的比例校正值。

Description

导航装置、VSLAM校正方法、空间信息估计方法、VSLAM校正程 序及空间信息估计程序
技术领域
本发明涉及利用了VSLAM(Visual Simultaneous Localization and Mapping：视觉同步定位与映射)的技术的导航装置。
背景技术
当前，在多方面利用VSLAM(Visual Simultaneous Localization and Mapping：视觉同步定位与映射)的技术。
VSLAM使用由单目相机取得的动态图像，估计处于本装置的周围的特征点等的空间信息，例如进行映射。另外，VSLAM使用该空间信息及映射结果，计算本装置的相对位置等。
在先技术文献
非专利文献
非专利文献1:Georg Klein，David Murray，"Parallel Tracking and Mappingfor Small AR Workspace"，Active Vision Laboratory Department of EngineeringScience University of Oxford
非专利文献2:Takafumi Taketomi，Hideaki Uchiyama and Sei Ikeda，"Visual－SLAM Algorithms：a Survey from 2010to 2016"
发明内容
本发明所要解决的课题
但是，在VSLAM中，虽然能够计算本装置与其他特征点之间的相对性的位置关系，但绝对性的位置关系具有不确定性。
因此，本发明的目的在于，提供使用VSLAM并且高精度地计算本装置与其他特征点等之间的绝对性的位置关系的技术。
用于解决课题的手段
本发明的导航装置具备GNSS(全球导航卫星系统)速度计算部、VSLAM(视觉同步定位与映射)运算部及比例校正值计算部。GNSS速度计算部使用GNSS信号的相位的变化量或者GNSS信号的频率的变化量，计算GNSS速度。VSLAM运算部使用动态图像进行VSLAM运算，估计多个时刻的VSLAM位置。比例校正值计算部使用由VSLAM运算部估计的多个时刻中的2个以上的时刻的VSLAM位置、以及GNSS速度，计算与VSLAM位置对应的比例校正值。
在该构成中，通过使用GNSS信号的相位的变化量或者频率的变化量，GNSS速度以高精度被计算。因此，基于与多个VSLAM位置间的距离对应的GNSS速度的距离以高精度被计算，多个VSLAM位置间的距离与基于GNSS速度的距离之比、即比例校正值以高精度被计算。
发明效果
根据本发明，能够使用VSLAM，并且高精度地计算本装置与其他特征点等之间的绝对性的位置关系。
附图说明
图1是表示本发明的第1实施方式所涉及的导航装置的构成的功能框图。
图2是表示运算部的构成的功能框图。
图3是用于说明本发明的第1实施方式所涉及的比例的校正的原理的图。
图4是用于说明本发明的第1实施方式所涉及的空间信息的校正的原理的图。
图5是表示VSLAM校正方法的第1处理流程的流程图。
图6是表示VSLAM校正方法的第2处理流程的流程图。
图7是表示本发明的第2实施方式所涉及的导航装置的构成的功能框图。
图8是表示本发明的第2实施方式所涉及的运算部的构成的功能框图。
图9是表示VSLAM校正方法的第3处理流程的流程图。
图10是表示VSLAM校正方法的第4处理流程的流程图。
图11是表示本发明的第3实施方式所涉及的导航装置的构成的功能框图。
图12是表示本发明的第3实施方式所涉及的运算部的构成的功能框图。
图13是表示本发明的第4实施方式所涉及的导航装置的构成的功能框图。
图14是表示本发明的第4实施方式所涉及的运算部的构成的功能框图。
图15是表示本发明的第5实施方式所涉及的导航装置的构成的功能框图。
图16是表示本发明的第5实施方式所涉及的运算部的构成的功能框图。
图17是表示本发明的第6实施方式所涉及的导航装置的构成的功能框图。
图18是表示本发明的第6实施方式所涉及的运算部的构成的功能框图。
图19是表示本发明的第7实施方式所涉及的运算部的构成的功能框图。
图20是表示本发明的第8实施方式所涉及的运算部的构成的功能框图。
图21是表示带约束条件的VSLAM运算的主流程的流程图。
图22是表示带约束条件的整体优化的处理的流程图。
图23是表示本发明的第9实施方式所涉及的导航装置的构成的功能框图。
图24中(A)、(B)是表示支援图像的一例的图。
具体实施方式
关于本发明的第1实施方式所涉及的导航装置、VSLAM的校正方法及VSLAM的校正程序，参照附图进行说明。另外，以下示出使用船舶作为移动体的方式，但也能够对于其他水上、水中移动体、陆地移动体或者空中移动体适用本发明的结构。
图1是表示本发明的第1实施方式所涉及的导航装置的构成的功能框图。图2是表示本发明的第1实施方式所涉及的运算部的构成的功能框图。
如图1所示，导航装置10具备GNSS接收部111和运算部12。GNSS接收部111与GNSS天线21连接。运算部12与GNSS接收部111和相机30连接。
GNSS天线21被设置在安装导航装置10的船舶(未图示)。GNSS天线21被设置在所谓上空开放的环境。GNSS天线21接收来自未图示的GNSS卫星的GNSS信号，并向GNSS接收部111输出。
GNSS信号是在由规定的频率构成的载波信号上重叠了PRN(伪随机噪声)码及导航电文数据而成的信号。PRN码是识别发送源的定位卫星的码。导航电文数据是包含定位卫星的轨道信息、校正信息等的数据。
GNSS接收部111由存储了GNSS信号的捕捉、追踪处理等的程序的存储器、以及执行该程序的IC等运算元件构成。GNSS接收部111对所取得的GNSS信号通过已知的方法进行捕捉、追踪。此时，GNSS接收部111进行码及载波信号(carrier信号)的捕捉、追踪。
GNSS接收部111通过捕捉、追踪，取得观测数据，并向运算部12输出。观测数据至少包含载波相位的累计值(ADR)。GNSS接收部111例如按每个历元等与GNSS的时刻同步地以规定的时间间隔顺序地执行该载波相位的累计值的取得。此外，GNSS接收部111也能够将载波信号的多普勒频率、码相位、通过码相位计算的伪距、定位位置等，作为观测数据向运算部12输出。
相机30例如是单目的相机。相机30对安装导航装置10的船舶的周围进行摄像，并生成动态图像。相机30将动态图像向运算部12输出。
运算部12由存储用于进行后述的VSLAM运算、GNSS速度的计算、比例校正值的计算及空间信息的校正等处理的程序的存储器、以及执行该程序的CPU等运算元件构成。
如图2所示，运算部12具备VSLAM运算部121、GNSS速度计算部122、比例校正值计算部123及空间信息校正部124。
VSLAM运算部121使用所取得的动态图像通过已知的方法估计本装置相对于基准点(参照图3、图4的90(坐标Po))的位置(VSLAM位置)以及各特征点的空间信息。此时，VSLAM运算部121与GNSS时刻同步地，估计本装置相对于基准点的位置(VSLAM位置)以及各特征点的空间信息。即，VSLAM运算部121一边与载波相位的累计值的取得时刻同步，一边按动态图像的每个取得时刻，估计本装置相对于基准点的位置(VSLAM位置)以及各特征点的空间信息。例如，VSLAM运算部121与后述的GNSS速度的计算时刻同步地，估计本装置相对于基准点的位置(VSLAM位置)以及各特征点的空间信息。此外，空间信息通过以VSLAM运算的基准点作为基点的特征点的空间矢量来表现。
VSLAM运算部121将VSLAM位置向比例校正值计算部123及空间信息校正部124输出。另外，VSLAM运算部121将空间信息向空间信息校正部124输出。此时，VSLAM运算部121将估计时刻与VSLAM位置及空间信息建立关联地输出。
GNSS速度计算部122使用载波相位的累计值的变化量，计算GNSS速度。此时，GNSS速度计算部122以与GNSS时刻同步的规定的时间间隔计算GNSS速度。
通过使用载波相位的累计值的变化量，GNSS速度计算部122能够高速而且高精度地计算GNSS速度。即，GNSS速度计算部122不进行决定整数值偏差等处理或从外部取得校正信息，就能够高速而且高精度地计算GNSS速度。GNSS速度计算部122将GNSS速度向比例校正值计算部123输出。GNSS速度计算部122将计算时刻与GNSS速度建立关联地输出。
比例校正值计算部123使用多个VSLAM位置和GNSS速度，计算与VSLAM的位置相关的比例校正值S。比例校正值计算部123将比例校正值S向空间信息校正部124输出。如上所述，GNSS速度为高精度，因此比例校正值S被高精度地计算。
空间信息校正部124使用比例校正值S，对空间信息进行校正。此时，空间信息校正部124对VSLAM位置也进行校正。
接下来，关于比例校正值S的计算原理及空间信息的校正原理，更加具体地进行说明。
图3是用于说明本发明的第1实施方式所涉及的比例的校正的原理的图。图4是用于说明本发明的第1实施方式所涉及的空间信息的校正的原理的图。此外，以下，GNSS天线21及相机30作为在船舶900的坐标系中被配置在大致相同的位置(观测位置)91处来进行说明。更具体而言，GNSS天线21及相机30设为至少在船体坐标系的水平面上被配置在相同的位置。另外，在图3中，为了使说明易于理解，以第1时刻ti的VSLAM位置与GNSS位置一致的方式进行了记载，但不限于此，能够实现以下的处理。
船舶900从第1时刻ti至第2时刻tj进行了移动。相机30进行摄像，将动态图像向VSLAM运算部121输出。
VSLAM运算部121使用动态图像，设定基准点90及其位置Po，估计第1时刻ti的VSLAM位置P1vi及第2时刻tj的VSLAM位置P1vj。第1时刻ti和第2时刻tj不限于连续的时刻，通过2个以上的多个时刻中的2个时刻来设定。VSLAM运算部121将第1时刻ti的VSLAM位置P1vi及第2时刻tj的VSLAM位置P1vj向比例校正值计算部123输出。
比例校正值计算部123计算第1时刻ti的VSLAM位置P1vi与第2时刻tj的VSLAM位置P1vj之间的几何学上的差，从而计算VSLAM距离Dvij。此外，在此根据2个时刻的位置差计算距离，但也能够使用3个以上的时刻的位置差计算距离。
比例校正值计算部123计算由GNSS速度计算部122分别计算的第1时刻ti至第2时刻tj(更准确而言，第2时刻tj的紧前的计算时刻)的GNSS速度Vg的累计(积分)值，从而计算基于GNSS信号的从第1时刻ti至第2时刻tj的船舶900(船舶900上的观测位置91)的移动距离即GNSS距离Dgij。
比例校正值计算部123用GNSS距离Dgij的绝对值ABS(Dgij)除以VSLAM距离Dvij的绝对值ABS(Dvij)，从而计算比例校正值S。即，比例校正值计算部123通过进行S＝ABS(Dgij)/ABS(Dvij)的运算，计算比例校正值S。
像这样，通过使用以高精度计算的GNSS速度，比例校正值计算部123能够高精度地计算比例校正值S。进而，在该构成中，GNSS速度Vj的计算时刻与VSLAM位置P1v的估计时刻以高精度的GNSS时刻被同步，因此比例校正值计算部123能够更高精度地计算比例校正值S。
空间信息校正部124针对各空间信息、即各特征点的空间矢量乘以比例校正值S，从而进行空间信息的校正。例如，如果是图4的例子，则通过VSLAM运算而得到的相对于码头910v的特征点911v的空间信息，是以基准点90(坐标Po)作为起点且以特征点911v作为终点的空间矢量Ve911v。但是，该空间矢量Ve911v包含如上述的课题所示的相机30固有的不确定性。
空间信息校正部124针对该通过VSLAM运算得到的空间矢量Ve911v，乘以比例校正值S，从而计算绝对坐标系的空间矢量Ve911c。即，空间信息校正部124实施Ve911c＝S·Ve911v的运算。在此，比例校正值S如上所述，是使用高精度的GNSS速度对VSLAM位置相对于基准点90(坐标Po)的误差以高精度进行校正的值。因此，空间矢量Ve911c成为以高精度将通过VSLAM运算而得到的空间矢量Ve911v校正为遵循绝对坐标系的高精度的值而得到的值。由此，导航装置10能够高精度地计算绝对坐标系中的码头910的特征点911的空间矢量Ve911v。
同样，如果是图4的例子，则通过VSLAM运算而得到的相对于建筑物920v的特征点921v的空间信息，是以基准点90(坐标Po)作为起点且以特征点921v作为终点的空间矢量Ve921v。但是，该空间矢量Ve921v包含如上述的课题所示的相机30固有的不确定性。
空间信息校正部124实施Ve921c＝S·Ve921v的运算。由此，空间矢量Ve921c成为以高精度将通过VSLAM运算而得到的空间矢量Ve921v校正为遵循绝对坐标系的高精度的值而得到的值，能够高精度地计算绝对坐标系中的建筑物920的特征点921的空间矢量Ve921v。
像这样，通过使用本实施方式的构成，导航装置10能够高精度地对使用了VSLAM运算而得到的空间信息的误差进行校正，能够通过高精度的实际比例的值取得船舶900的周围的空间信息。由此，导航装置10能够针对船舶900的周围进行高精度的映射。
此外，在上述的说明中，示出了将运算部12分为多个功能模块来实现的方式，但也可以仅通过用于实现图5所示的处理的程序及执行该程序的运算处理装置来实现。图5是表示VSLAM校正方法的第1处理流程的流程图。此外，各处理的具体的内容如上所述，省略说明。
运算处理装置根据GNSS信号中的载波相位的累计值的变化量计算GNSS速度(S11)。运算处理装置根据从相机输入的动态图像执行VSLAM运算，估计VSLAM位置及空间信息(S12)。
运算处理装置与时刻同步地执行GNSS速度的计算、以及VSLAM位置及空间信息的估计。在此，时刻同步不限于同时并行地执行，也可以针对GNSS速度的计算以及VSLAM位置及空间信息的估计分别附加时刻信息来执行，之后将相同的时刻的对象彼此组合。
运算处理装置使用GNSS速度和多个VSLAM位置，计算比例校正值S(S13)。运算处理装置使用比例校正值S对空间信息进行校正并进行更新(S14)。
此外，在图5中，示出了顺序地(串行地)执行比例校正的方式，也可以如图6所示，以预先设定的时间间隔进行比例校正。图6是表示VSLAM校正方法的第2处理流程的流程图。
运算处理装置根据从相机输入的动态图像执行VSLAM运算，并估计VSLAM位置及空间信息(S21)。运算处理装置与GNSS时刻同步地执行VSLAM位置及空间信息的估计。
运算处理装置持续地执行VSLAM运算，直到成为比例校正值的更新定时为止(S22：否)。
运算处理装置如果成为了比例校正值的更新定时(S22：是)，则取得GNSS速度(S23)。
运算处理装置使用GNSS速度、以及多个VSLAM位置，计算比例校正值S(S24)。运算处理装置使用比例校正值S，对空间信息进行校正并进行更新(S25)。
通过进行这样的处理，能够以适宜设定的间隔执行比例校正值的计算及空间信息的更新，能够适当地进行空间信息的校正，并且减轻运算负荷。这在例如特征点多且空间信息庞大时特别有效。
接下来，关于本发明的第2实施方式所涉及的导航装置，参照附图进行说明。图7是表示本发明的第2实施方式所涉及的导航装置的构成的功能框图。图8是表示本发明的第2实施方式所涉及的运算部的构成的功能框图。
如图7、图8所示，第2实施方式所涉及的导航装置10A及运算部12A在不仅进行比例的校正而且进行姿态角的校正这点上，与导航装置10及运算部12不同。导航装置10A及运算部12A的其他构成与导航装置10及运算部12是同样的，省略同样之处的说明。
导航装置10A具备GNSS接收部111、GNSS接收部112、GNSS接收部113及运算部12A。GNSS接收部111与GNSS天线21连接，GNSS接收部112与GNSS天线22连接，GNSS接收部113与GNSS天线23连接。
运算部12A与GNSS接收部111、GNSS接收部112及GNSS接收部113连接，且与相机30连接。
GNSS天线21、GNSS天线22及GNSS天线23以其中的1个不处于连结其他2个的直线上的方式配置。GNSS天线21、GNSS天线22及GNSS天线23在船体坐标系中的位置关系被预先取得，并被存储于运算部12A。GNSS天线21、GNSS天线22及GNSS天线23分别接收GNSS信号并输出。
GNSS接收部111通过对由GNSS天线21接收的GNSS信号进行捕捉、追踪，取得观测数据，并向运算部12A输出。GNSS接收部112通过对由GNSS天线22接收的GNSS信号进行捕捉、追踪，取得观测数据，并向运算部12A输出。GNSS接收部113通过对由GNSS天线23接收的GNSS信号进行捕捉、追踪，取得观测数据，并向运算部12A输出。各观测数据至少包含载波相位的累计(积分)值(ADR)。
如图8所示，运算部12A具备VSLAM运算部121A、GNSS速度计算部122、比例校正值计算部123、空间信息校正部124、GNSS姿态角计算部125及姿态角校正值计算部126。
VSLAM运算部121A与上述的VSLAM运算部121同样，使用所取得的动态图像通过已知的方法估计VSLAM位置及各特征点的空间信息。另外，VSLAM运算部121A使用所取得的动态图像通过已知的方法，估计相对于经过基准点且预先设定的基准轴的VSLAM姿态角。此时，VSLAM运算部121A与GNSS时刻同步地，在多个时刻估计VSLAM位置、VSLAM姿态角及各特征点的空间信息。
VSLAM运算部121A将VSLAM位置向比例校正值计算部123及向空间信息校正部124A输出。VSLAM运算部121A将VSLAM姿态角向姿态角校正值计算部126及向空间信息校正部124A输出。VSLAM运算部121A将空间信息向空间信息校正部124A输出。此时，VSLAM运算部121A将估计时刻与VSLAM位置、VSLAM姿态角及空间信息建立关联地输出。
GNSS速度计算部122使用由GNSS接收部111、GNSS接收部112、GNSS接收部113中的某一个取得的载波相位的累计值的变化量，计算GNSS速度。
比例校正值计算部123使用多个VSLAM位置、以及GNSS速度，计算与VSLAM的位置相关的比例校正值S。比例校正值计算部123将比例校正值S向空间信息校正部124A输出。如上所述，GNSS速度为高精度，因此比例校正值S被高精度地计算。
GNSS姿态角计算部125使用由GNSS接收部111、GNSS接收部112、GNSS接收部113分别取得的载波相位的累计值，根据已知的方法(例如使用了GNSS天线间的基线矢量的方法等)计算GNSS姿态角。
通过使用载波相位的累计值，GNSS姿态角以高精度被计算。
GNSS姿态角计算部125将GNSS姿态角向姿态角校正值计算部126输出。此时，GNSS姿态角计算部125将计算时刻与GNSS姿态角建立关联地输出。
姿态角校正值计算部126使用同步的VSLAM姿态角和GNSS姿态角，计算与VSLAM姿态角对应的姿态角校正值。姿态角校正值通过利用GNSS姿态角对VSLAM姿态角所包含的误差进行抑制的值来定义。姿态角校正值计算部126例如计算用于在设为GNSS姿态角的基准的坐标系(船体坐标相对于局部水平坐标的斜率成为GNSS姿态角)中表现在VSLAM中设定的坐标系的校正值，来作为姿态角校正值。
姿态角校正值计算部126将姿态角校正值向空间信息校正部124A输出。
如上所述，GNSS姿态角为高精度，因此姿态角校正值以高精度被计算。
空间信息校正部124A使用比例校正值S及姿态角校正值，对空间信息进行校正。此时，空间信息校正部124A对VSLAM位置及VSLAM姿态角也进行校正。
另外，由于比例校正值S及姿态角校正值为高精度，空间信息被高精度地校正。特别是，在运算部12A的构成及处理中，通过使用姿态角的信息校正空间信息，与仅使用比例校正值的方式相比，能够更高精度地校正空间信息。
此外，在上述的说明中，示出了将运算部12A分为多个功能模块实现的方式，但也可以仅通过实现图9所示的处理的程序及执行该程序的运算处理装置实现。图9是表示VSLAM校正方法的第3处理流程的流程图。此外，各处理的具体的内容如上所述，省略说明。
运算处理装置使用由多个GNSS天线接收的GNSS信号中的载波相位的累计值，计算GNSS速度及GNSS姿态角(S31)。运算处理装置根据从相机输入的动态图像执行VSLAM运算，估计VSLAM位置、VSLAM姿态角及空间信息(S32)。运算处理装置与时刻同步地执行GNSS速度的计算、GNSS姿态角的计算、以及VSLAM位置、VSLAM姿态角及空间信息的估计。
运算处理装置使用GNSS速度、以及多个VSLAM位置，计算比例校正值S，使用GNSS姿态角和VSLAM姿态角，计算姿态角校正值(S33)。运算处理装置使用比例校正值S及姿态角校正值，对空间信息进行校正并进行更新(S34)。
此外，在图9中，示出了顺序地执行比例校正的方式，也可以如图10所示，以预先设定的时间间隔进行比例校正。图10是表示VSLAM校正方法的第4处理流程的流程图。
运算处理装置根据从相机输入的动态图像执行VSLAM运算，估计VSLAM位置及空间信息(S41)。运算处理装置与GNSS时刻同步地执行VSLAM位置及空间信息的估计。
运算处理装置持续地执行VSLAM运算，直到成为校正值的更新定时为止(S42：否)。
运算处理装置如果成为了校正值的更新定时(S42：是)，则取得GNSS速度及GNSS姿态角(S43)。
运算处理装置使用GNSS速度、以及多个VSLAM位置，计算比例校正值S，使用GNSS姿态角和VSLAM姿态角，计算姿态角校正值(S44)。运算处理装置使用比例校正值S和姿态角校正值，对空间信息进行校正并进行更新(S45)。
接下来，关于本发明的第3实施方式所涉及的导航装置，参照附图进行说明。图11是表示本发明的第3实施方式所涉及的导航装置的构成的功能框图。图12是表示本发明的第3实施方式所涉及的运算部的构成的功能框图。
如图11、图12所示，第3实施方式所涉及的导航装置10B及运算部12B在使用GNSS信号的观测数据和IMU的输出数据这点上，与第2实施方式所涉及的导航装置10A及运算部12A不同。导航装置10B及运算部12B的其他构成与导航装置10A及运算部12A是同样的，省略同样之处的说明。
导航装置10B具备GNSS接收部111、GNSS接收部112及运算部12B。GNSS接收部111与GNSS天线21连接，GNSS接收部112与GNSS天线22连接。
运算部12B与GNSS接收部111及GNSS接收部112连接，且与相机30连接。另外，运算部12B与IMU40连接。
GNSS天线21及GNSS天线22例如相对于连结船舶900的船头和船尾的方向平行地被配置。此外，GNSS天线21及GNSS天线22的配置不限于此，但优选相对于连结船头和船尾的方向平行。GNSS天线21及GNSS天线22在船体坐标系中的位置关系被预先取得，并被存储于运算部12B。GNSS天线21及GNSS天线22分别接收GNSS信号并输出。
GNSS接收部111通过对由GNSS天线21接收的GNSS信号进行捕捉、追踪，取得观测数据，并向运算部12B输出。GNSS接收部112通过对由GNSS天线22接收的GNSS信号进行捕捉、追踪，取得观测数据，并向运算部12B输出。各观测数据分别至少包含载波相位的累计值(ADR)。
IMU40是所谓惯性传感器，例如具有角速度传感器。在IMU40是角速度传感器的情况下，IMU40检测绕正交三轴的角速度，并作为传感器数据向运算部12B输出。
此外，IMU40也可以具备加速度传感器。在IMU40具备加速度传感器的情况下，IMU40检测与角速度传感器相同的正交三轴的加速度，并作为传感器数据向运算部12B输出。
IMU40与GNSS接收部111、GNSS接收部112同样，以规定的时间间隔生成传感器数据并向运算部12B输出。
如图12所示，运算部12B具备VSLAM运算部121B、比例校正值计算部123B、空间信息校正部124B、姿态角校正值计算部126B及综合计算部127。
VSLAM运算部121B与上述的VSLAM运算部121A同样，使用所取得的动态图像通过已知的方法估计VSLAM位置、VSLAM姿态角及各特征点的空间信息。
VSLAM运算部121B将VSLAM位置向比例校正值计算部123B及空间信息校正部124B输出。VSLAM运算部121B将VSLAM姿态角向姿态角校正值计算部126B及空间信息校正部124B输出。VSLAM运算部121B将空间信息向空间信息校正部124B输出。
综合计算部127通过从GNSS接收部111及GNSS接收部112输出的观测数据，对从IMU40输出的传感器数据进行校正。由此，综合计算部127计算综合速度及综合姿态角。
例如，在从IMU40输出了角速度的传感器数据(IMU角速度数据)的情况下，综合计算部127通过来自GNSS接收部111及GNSS接收部112的观测数据，估计IMU角速度数据所包含的观测误差。然后，综合计算部127通过估计的观测误差对IMU角速度数据进行校正，计算综合角速度。由此，综合角速度与IMU角速度相比精度更高。
综合计算部127例如通过对综合角速度进行累计，来计算综合姿态角。
此外，在该情况下，综合速度例如使用上述的GNSS速度即可。
另外，在从IMU40输出了加速度的传感器数据(IMU加速度数据)的情况下，综合计算部127通过来自GNSS接收部111及GNSS接收部112的观测数据，估计IMU加速度所包含的观测误差。然后，综合计算部127通过估计的观测误差对IMU加速度数据进行校正，并计算综合加速度。由此，综合加速度与IMU加速度相比精度更高。
综合计算部127例如通过对综合加速度进行累计，来计算综合速度。
比例校正值计算部123B使用多个VSLAM位置、以及GNSS速度或者综合速度，通过与上述的比例校正值计算部123及比例校正值计算部123A同样的方法，计算比例校正值S。比例校正值计算部123B将比例校正值S向空间信息校正部124B输出。
姿态角校正值计算部126B适用与上述的姿态角校正值计算部126同样的方法，使用VSLAM姿态角和综合姿态角，计算与VSLAM姿态角对应的姿态角校正值。姿态角校正值通过利用综合姿态角对VSLAM姿态角所包含的误差进行抑制的值来定义。
空间信息校正部124B与上述的空间信息校正部124A同样，使用比例校正值S及姿态角校正值对空间信息进行校正。此时，空间信息校正部124B对VSLAM位置及VSLAM姿态角也进行校正。
通过这样的构成及处理，也由于比例校正值S及姿态角校正值为高精度，空间信息被高精度地校正。
接下来，关于本发明的第4实施方式所涉及的导航装置，参照附图进行说明。图13是表示本发明的第4实施方式所涉及的导航装置的构成的功能框图。图14是表示本发明的第4实施方式所涉及的运算部的构成的功能框图。
如图13、图14所示，第4实施方式所涉及的导航装置10C及运算部12C相对于第1实施方式所涉及的导航装置10及运算部12在追加了航行信息生成部128这点上不同。导航装置10C及运算部12C的其他构成与导航装置10及运算部12是同样的，省略同样之处的说明。
导航装置10C具备运算部12C。运算部12C具备航行信息生成部128。
针对航行信息生成部128，从GNSS速度计算部122输入GNSS速度。航行信息生成部128基于GNSS速度，生成装备导航装置10C的船舶900的航行信息。例如，航行信息包含船舶900的速度、位置等。然后，通过使用GNSS速度，航行信息也成为高精度。
通过这样的构成及处理，运算部12C能够不仅输出空间信息，而且也输出船舶的航行信息。另外，这些空间信息及航行信息为高精度，因此能够进行准确的航行支援(辅助)。
接下来，关于本发明的第5实施方式所涉及的导航装置，参照附图进行说明。图15是表示本发明的第5实施方式所涉及的导航装置的构成的功能框图。图16是表示本发明的第5实施方式所涉及的运算部的构成的功能框图。
如图15、图16所示，第5实施方式所涉及的导航装置10D及运算部12D相对于第2实施方式所涉及的导航装置10A及运算部12A在追加了航行信息生成部128D这点上不同。导航装置10D及运算部12D的其他构成与导航装置10A及运算部12A是同样的，省略同样之处的说明。此外，运算部12D的VSLAM运算部121D与运算部12A的VSLAM运算部121A同样。
导航装置10D具备运算部12D。运算部12D具备航行信息生成部128D。
针对航行信息生成部128D，从GNSS速度计算部122输入GNSS速度。另外，航行信息生成部128D被从GNSS姿态角计算部125输入GNSS姿态角。
航行信息生成部128D基于GNSS速度及GNSS姿态角，生成装备导航装置10D的船舶900的航行信息。例如，航行信息包含船舶900的速度、姿态、调头角速度、位置等。另外，通过使用GNSS速度及GNSS姿态角，航行信息也成为高精度。
通过这样的构成及处理，运算部12D能够不仅输出空间信息，而且也输出更详细的船舶的航行信息。另外，这些空间信息及航行信息为高精度，因此能够进行准确的航行支援。
接下来，关于本发明的第6实施方式所涉及的导航装置，参照附图进行说明。图17是表示本发明的第6实施方式所涉及的导航装置的构成的功能框图。图18是表示本发明的第6实施方式所涉及的运算部的构成的功能框图。
如图17、图18所示，第6实施方式所涉及的导航装置10E及运算部12E相对于第3实施方式所涉及的导航装置10B及运算部12B在追加了航行信息生成部128E这点上不同。导航装置10E及运算部12E的其他构成与导航装置10B及运算部12B是同样的，省略同样之处的说明。此外，运算部12E的VSLAM运算部121E与运算部12B的VSLAM运算部121B同样。
导航装置10E具备运算部12E。运算部12E具备航行信息生成部128E。
针对航行信息生成部128E，从综合计算部127输入综合速度及综合姿态角。
航行信息生成部128E基于综合速度及综合姿态角，生成装备导航装置10E的船舶900的航行信息。例如，航行信息包含船舶900的速度、姿态、调头角速度、位置等。另外，通过使用GNSS速度及GNSS姿态角，航行信息也成为高精度。
通过这样的构成及处理，运算部12E能够不仅输出空间信息，而且也输出更详细的船舶的航行信息。另外，这些空间信息及航行信息为高精度，因此能够进行准确的航行支援。
接下来，关于本发明的第7实施方式所涉及的导航装置，参照附图进行说明。图19是表示本发明的第7实施方式所涉及的运算部的构成的功能框图。
如图19所示，第7实施方式所涉及的导航装置10F及运算部12F相对于第5实施方式所涉及的导航装置10D及运算部12D在追加了杆臂校正部129这点上不同。导航装置10F及运算部12F的其他构成与导航装置10D及运算部12D是同样的，省略同样之处的说明。此外，运算部12F的VSLAM运算部121F与运算部12D的VSLAM运算部121D是同样的，航行信息生成部128F与运算部12D的航行信息生成部128D是同样的。
针对杆臂校正部129，输入GNSS速度和GNSS姿态角。另外，杆臂校正部129存储了船体坐标系中的GNSS天线21、GNSS天线22、GNSS天线23与相机30的位置关系。
杆臂校正部129使用计算了GNSS速度的GNSS天线与相机30的位置关系、以及GNSS姿态角，根据已知的方法对GNSS速度进行杆臂校正。杆臂校正部129将杆臂校正后的GNSS速度向比例校正值计算部123输出。
比例校正值计算部123使用杆臂校正后的GNSS速度，根据上述的方法计算比例校正值S。
通过进行这样的杆臂校正，由于GNSS天线与相机30的位置关系引起的误差被校正，能够更高精度地计算比例校正值S。
此外，该杆臂校正也能够适用于上述的其他实施方式。进而，杆臂校正不限于此，例如在使用IMU的方式的情况下，也能够用于由于GNSS天线与IMU的位置关系引起的误差的校正。
接下来，关于本发明的第8实施方式所涉及的导航装置，参照附图进行说明。图20是表示本发明的第8实施方式所涉及的运算部的构成的功能框图。
如图20所示，第7实施方式所涉及的运算部12G相对于第5实施方式所涉及的导航装置10D及运算部12D在带约束条件地执行VSLAM运算这点上不同。另外，在运算部12G中，无需进行比例校正值的计算、姿态角校正值的计算及空间信息的校正，因此省略了比例校正值计算部、姿态角校正值计算部及空间信息校正部。运算部12G的其他构成与运算部12D是同样的，省略同样之处的说明。此外，航行信息生成部128G与运算部12D的航行信息生成部128D是同样的。
针对VSLAM运算部121G，输入GNSS速度及GNSS姿态角。VSLAM运算部121G将GNSS速度及GNSS姿态角用于约束条件，执行VSLAM运算。具体而言，VSLAM运算部121G例如执行图21及图22所示的处理。图21是表示带约束条件的VSLAM运算的主流程的流程图。图22是表示带约束条件的整体优化的处理的流程图。
如图21所示，VSLAM运算部121G使用动态图像，在多个帧中检测特征点，针对各帧追踪特征点(S51)。VSLAM运算部121G进行正追踪的多个帧的特征点的匹配(S52)。
VSLAM运算部121G如果基于上述各步骤的初始化结束(S53：是)，则执行VSLAM顺序(串行)处理(S54)。另一方面，VSLAM运算部121G如果初始化未结束(S53：否)，则使初始化完成(S55)。
VSLAM运算部121G如果检测出是关键帧或者刚初始化后(S56：是)，进行作为关键帧的登记(S57)。关键帧例如以规定的帧间隔被设定。
VSLAM运算部121G在关键帧的登记后，使用GNSS运算结果(例如GNSS速度及GNSS姿态角)，执行VSLAM运算的整体优化(S58)。
此外，VSLAM运算部121G如果既不是关键帧也不是刚初始化后(S56：否)，则不进行优化而持续进行VSLAM处理。
如图22所示，VSLAM运算部121G作为VSLAM运算的整体优化的处理，首先设定要优化的VSLAM用参数和GNSS运算结果(S581)。VSLAM用参数例如包含相机30的内部参数、相机30的外部参数、透镜失真系数、以及特征点的三维位置。GNSS运算结果包含基于GNSS速度的相对于基准点的位移、以及基于GNSS姿态角的相对于基准坐标轴的姿态角。
VSLAM运算部121G设定与约束条件对应的成本函数(S582)。成本函数例如通过以VSLAM运算中的再投影误差的总和及GNSS运算结果作为基准的惩罚(罚分)来设定。
VSLAM运算部121G使用最小二乘法、各种滤波器运算等，对使成本函数最小化的VSLAM用参数进行优化(S583)。
通过具备这样的构成及处理，利用VSLAM运算来计算的空间信息成为高精度。因此，该运算部12G不进行比例的校正及姿态角的校正，就能够输出高精度的空间信息。
接下来，关于本发明的第9实施方式所涉及的导航装置，参照附图进行说明。图23是表示本发明的第9实施方式所涉及的导航装置的构成的功能框图。
如图23所示，第9实施方式所涉及的导航装置10H相对于第5实施方式所涉及的导航装置10D在追加了支援信息生成部13这点上不同。导航装置10H的其他构成与导航装置10D是同样的，省略同样之处的说明。此外，运算部12H与运算部12D是同样的，省略说明。
导航装置10H具备支援信息生成部13。针对支援信息生成部13，从运算部12H输入空间信息及航行信息。
支援信息生成部13使用空间信息及航行信息，生成支援信息并输出。支援信息例如包含：装备了导航装置10H的船舶900的外部的三维地图、三维地图内的船舶900的位置、速度、或者船舶900中的规定位置的速度等。
支援信息生成部13使用这些支援信息来生成支援图像50，例如使其显示在未图示的显示器装置上。
支援图像例如有如图24的(A)、(B)所示的图像。图24的(A)及(B)是表示支援图像的一例的图。
在图24的(A)中，在支援图像50中显示了船舶900的图像51、以及码头的建筑物的图像52。支援图像50基于从相机30得到的动态图像。
进而，在支援图像50中显示了：表示与船舶900的第1特定点对应的图像51的特定位置相对于码头的第1特定位置接近的方向的符号标记531、以及表示距离及接近速度的数据(图24的(A)的LS1、Vs1)532。另外，在支援图像50中显示了：表示与船舶900的第2特定点对应的图像51的特定位置相对于码头的第2特定位置接近的方向的符号标记541、以及表示距离及接近速度的数据(图24的(A)的LS2、Vs2)542。此外，在此以2个特定位置为例，但其个数能够适宜设定。
这些特定位置的接近方向、接近速度、距离使用上述的GNSS运算结果高精度地被校正。因此，支援图像50的显示使用VSLAM并且高精度地表示现实的接近方向、接近速度、距离。由此，能够提供高精度的支援信息。
在图24的(B)中，在支援图像50中显示了船舶900的图像55、以及码头的建筑物的图像56。支援图像50基于从相机30得到的动态图像。其中，图像55例如根据设定的自船的3维模型等，基于支援图像50的视点被制作。
进而，在支援图像50中显示了预测航迹571、预测位置572、以及表现规定时间后的船舶900与码头的距离的符号标记及数据(图24的(B)所示的Ls57)53。此外，在此示出了在1个位置显示表现船舶900与码头的距离的符号标记和数据的方式，但其个数能够适宜设定。
这些预测航迹571、预测位置572、以及规定时间后的船舶900与码头的距离使用上述的GNSS运算结果高精度地被校正。因此，支援图像50的显示使用VSLAM并且高精度地表示相对于码头的现实的航行状态及预测航行状态。由此，能够提供高精度的支援信息。
此外，上述的各实施方式的构成及处理分别能够适宜组合，能够得到与各组合相应的作用效果。
另外，在上述的说明中，示出了根据载波信号的相位的变化量计算GNSS速度等GNSS运算结果的方式，但也能够使用载波信号的频率的变化量、码相位的变化量等能够计算出GNSS信号中的速度、姿态角的其他要素。
附图标记说明：
10、10A、10B、10C、10D、10E、10F、10H：导航装置
12、12A、12B、12C、12D、12E、12F、12G、12H：运算部
13：支援信息生成部
21、22、23：GNSS天线
30：相机
40：IMU
50：支援图像
51、52、55、56：图像
90：基准点
91：观测位置
111、112、113：GNSS接收部
121、121A、121B、121D、121E、121F、121G：VSLAM运算部
122：GNSS速度计算部
123、123A、123B：比例校正值计算部
124、124A、124B：空间信息校正部
125：GNSS姿态角计算部
126、126B：姿态角校正值计算部
127：综合计算部
128、128D、128E、128F、128G：航行信息生成部
129：杆臂校正部
531、541：符号标记
571：预测航迹
572：预测位置
900：船舶
910、910v：码头
911、911v：特征点
920、920v：建筑物
921、921v：特征点。
用语
不一定是全部的目的或者效果/优点都能够依照本说明书中记载的任意的特定实施方式达成。因此，例如本领域技术人员能够想到：特定实施方式能够构成为以达成或优化如本说明书中教导的1个或者多个效果/优点的方式动作，而不一定能够达成如本说明书中教导或者启示的其他目的或者效果/优点。
本说明书中记载的全部处理能够通过由包含1个或者多个计算机或者处理器的计算系统执行的软件代码模块具体实现，并完全自动化。代码模块能够存储于任意类型的非易失性的计算机可读介质或者其他计算机存储装置。一部分或者全部方法能够利用专用的计算机硬件具体实现。
除了本说明书中记载的方式以外，还有很多其他变形例，这根据本公开是显然的。例如，按照实施方式，本说明书中记载的算法的任一个特定动作、事件或者功能能够以不同的时序执行，能够追加、合并或者完全排除(例如，不是说所描述的全部行为或者事象都是算法的执行所必须的)。进而，在特定实施方式中，动作或者事件例如通过多线程处理、中断处理或者多个处理器或者处理器核心，或者在其他并列体系结构上，能够不是顺序(串行)而是并列(并行)地执行。进而，不同的任务或者进程也能够通过可一起发挥功能的不同机器以及/或者计算系统执行。
与本说明书中公开的实施方式相关联地说明的各种例示性逻辑模块及模组能够由处理器等机器实施或者执行。处理器可以是微处理器，但也可以替代于此，处理器是控制器、微控制器或状态机、或者它们的组合等。处理器能够包含以处理计算机可执行命令的方式构成的电气电路。在别的实施方式中，处理器包含专用集成电路(ASIC)、现场可编程逻辑门阵列(FPGA)、或者不处理计算机可执行命令而执行逻辑运算的其他可编程设备。处理器另外还能够作为计算设备的组合、例如数字信号处理器(数字信号处理装置)与微处理器的组合、多个微处理器、与DSP核心组合的1个以上的微处理器、或者任意的其他这样的构成来安装。在本说明书中，主要关于数字技术进行说明，但处理器也能够主要包含模拟元件。例如，本说明书中记载的信号处理算法的一部分或者全部能够通过模拟电路或者模拟与数字的混合电路安装。计算环境包含基于微处理器、主机架计算机、数字信号处理器、便携式计算设备、设备控制器或者装置内的计算引擎的计算机系统，但能够包含不限定于此的任意类型的计算机系统。
只要没有特别注明，“能够”、“能做成”、“可能”或者“有可能性”等带条件的词语应理解为：为了传达“特定实施方式包含特定的特征、要素以及/或者步骤，但其他实施方式不包含”而一般使用的上下文内的含义。因此，这样的带条件的词语一般并不表示：特征、要素以及/或者步骤在1个以上的实施方式中被作为必须的任意的方法、或者1个以上的实施方式必然包含用于决定这些特征、要素以及/或者步骤是否被包含在任意的特定实施方式中或者是否被执行的逻辑。
如词语“X、Y、Z中的至少1个”那样的选择性语言只要没有特别记载，应该在为了表示项目、用语等可以是X、Y、Z中的任一个或者其任意的组合而一般使用的上下文中理解(例：X、Y、Z)。因此，这样的选择性词语一般不表示：特定实施方式需要分别存在的X的至少1个、Y的至少1个或者Z的至少1个中的各个。
本说明书中记载而且/或者在附图中示出的流程图中的任意的进程描述、要素或者模块，应该理解为包含用于安装进程中的特定的逻辑功能或者要素的1个以上可执行命令在内的、潜在地表示模组、段或者代码的一部分的对象。替代的实施方式被包含在本说明书中记载的实施方式的范围内，在此，要素或者功能如本领域技术人员理解的那样，按照所关联的功能性，能够在实质上同时或者以相反的顺序，从图示或者说明的内容中删除、或者以不同顺序执行。
只要没有特别明示，如“一个”这样的数词一般应该解释为：包含1个以上的被描述的项目。因此，“以……方式被设定的一个设备”等语句，意味着包含1个以上的被列举的设备。这样的1个或者多个被列举的设备也能够以执行所记载的引用内容的方式集合性地构成。例如，“以执行以下的A、B及C的方式构成的处理器”，能够包含以执行A的方式构成的第1处理器、以及以执行B及C的方式构成的第2处理器。而且，即使被导入的实施例的具体的数字被明示地列举，本领域技术人员也应该解释为：这样的列举典型地至少意味着被列举的数字(例如，未使用其他修饰语的“列举2个”这样的简单列举通常意味着列举至少2个、或者列举2个以上)。
一般而言，本说明书中使用的用语一般由本领域技术人员判断为意味着“非限定”用语(例如，“包含……”这样的用语应该解释为“不止于此，至少包含……”，“具有……”这样的用语应该解释为“至少具有……”，“包含”这样的用语应该解释为“包含以下，但不限定于此”等)。
为了说明的目的，本说明书中使用的“水平”这样的用语与其方向无关，作为说明的系统被使用的区域的底面的平面或者与表面平行的平面、或者说明的方法被实施的平面来定义。“底面”这样的用语能够与“地面”或者“水面”这样的用语置换。“垂直/铅直”这样的用语指的是与被定义的水平线垂直/铅直的方向。“上侧”、“下侧”、“下”、“上”、“侧面”、“更高”、“更低”、“在上方”、“越过……”“下的”等用语相对于水平面被定义。
本说明书中使用的用语中“附着”、“连接”、“成对”及其他关联用语只要没有特别注释，应该解释为包含可拆卸、可移动、固定、可调节、及/或可拆卸的连接或者连结。连接/连结包含直接连接以及/或者具有所说明的2个构成要素之间的中间构造的连接。
只要没有特别明示，本说明书中使用的像“大约”、“大致”及“实质上”这样的用语之后的数字包含被列举的数字，另外，进而表示与执行所期望的功能或者达成所期望的结果的被记载的量相近的量。例如，“大约”、“大致”及“实质上”只要没有特别明示，指的是小于被记载的数值的10％的值。如本说明书中使用的那样，“大约”、“大致”及“实质上”等用语之后公开的实施方式的特征，进而表示执行所期望的功能或者达成关于该特征所期望的结果的若干个具有可变性的特征。
在上述的实施方式中，能够追加很多变形例及修正例，这些要素应该理解为包含在其他能够允许的例子之中。像这样全部修正及变形都意图包含在本公开的范围内，通过以下的权利要求书保护。

Claims (24)

1.一种导航装置，具备：
GNSS速度计算部，使用作为从定位卫星发送的定位信号的GNSS信号的相位的变化量或者所述GNSS信号的频率的变化量，计算GNSS速度，其中GNSS表示全球导航卫星系统；
VSLAM运算部，使用动态图像进行VSLAM运算，估计多个时刻的VSLAM位置，其中VSLAM表示视觉同步定位与映射；以及
比例校正值计算部，使用由所述VSLAM运算部估计的所述多个时刻中的2个以上的时刻的所述VSLAM位置、以及所述GNSS速度，计算与所述VSLAM位置对应的比例校正值。
2.一种导航装置，具备：
GNSS姿态角计算部，使用作为从定位卫星发送的定位信号的GNSS信号的相位的累计值，计算GNSS姿态角，其中GNSS表示全球导航卫星系统；
VSLAM运算部，使用动态图像进行VSLAM运算，估计多个时刻的VSLAM姿态角，其中VSLAM表示视觉同步定位与映射；以及
姿态角校正值计算部，使用由所述VSLAM运算部估计的所述多个时刻中的2个以上的时刻的所述VSLAM姿态角、以及所述GNSS姿态角，计算与所述VSLAM姿态角对应的校正值。
3.一种导航装置，具备：
GNSS速度计算部，使用作为从定位卫星发送的定位信号的GNSS信号的相位的变化量或者所述GNSS信号的频率的变化量，计算GNSS速度，其中GNSS表示全球导航卫星系统；
GNSS姿态角计算部，使用所述GNSS信号的相位的累计值，计算GNSS姿态角；以及
VSLAM运算部，使用动态图像，进行通过所述GNSS速度及所述GNSS姿态角设定了约束条件的VSLAM运算，估计空间信息，其中VSLAM表示视觉同步定位与映射。
4.如权利要求1所述的导航装置，具备：
GNSS姿态角计算部，使用所述GNSS信号的相位的累计值，计算GNSS姿态角；以及
姿态角校正值计算部，使用由所述VSLAM运算部估计的所述多个时刻中的2个以上的时刻的VSLAM姿态角、以及所述GNSS姿态角，计算与所述VSLAM姿态角对应的校正值。
5.如权利要求4所述的导航装置，具备：
杆臂校正部，使用所述GNSS姿态角，进行使所述GNSS速度与所述VSLAM运算的坐标对应的杆臂校正，将杆臂校正后的GNSS速度向所述比例校正值计算部输出。
6.如权利要求4或者权利要求5所述的导航装置，
所述VSLAM运算部使用所述GNSS速度及所述GNSS姿态角，进行所述VSLAM运算的优化。
7.一种导航装置，具备：
综合计算部，使用作为从定位卫星发送的定位信号的GNSS信号的相位的变化量或者所述GNSS信号的频率的变化量、以及惯性传感器的观测数据，计算综合速度，使用所述GNSS信号的相位的累计值、以及所述惯性传感器的观测数据，计算综合姿态角，其中GNSS表示全球导航卫星系统；
VSLAM运算部，使用动态图像进行VSLAM运算，估计多个时刻的VSLAM位置及VSLAM姿态角，其中VSLAM表示视觉同步定位与映射；
比例校正值计算部，使用由所述VSLAM运算部估计的所述多个时刻中的2个以上的时刻的所述VSLAM位置、以及所述综合速度，计算与所述VSLAM位置对应的比例校正值；以及
姿态角校正值计算部，使用由所述VSLAM运算部估计的VSLAM姿态角、以及所述综合姿态角，计算与所述VSLAM姿态角对应的校正值。
8.如权利要求7所述的导航装置，
所述VSLAM运算部使用所述综合速度及所述综合姿态角，进行所述VSLAM运算的优化。
9.如权利要求1、4、5、6、7中任一项所述的导航装置，具备：
空间信息校正部，使用所述比例校正值，对由所述VSLAM运算部估计的空间信息进行校正。
10.如权利要求4至权利要求7中任一项所述的导航装置，具备：
空间信息校正部，使用所述比例校正值以及与所述VSLAM姿态角对应的校正值，对由所述VSLAM运算部估计的空间信息进行校正。
11.如权利要求9或者权利要求10所述的导航装置，具备：
支援信息生成部，使用从所述空间信息校正部输出的空间信息，生成航行支援信息。
12.如权利要求3所述的导航装置，具备：
支援信息生成部，使用从所述VSLAM运算部输出的空间信息，生成航行支援信息。
13.如权利要求11或者权利要求12所述的导航装置，
所述航行支援信息是使根据所述空间信息得到的地图数据与根据包含GNSS速度在内的所述GNSS信号的观测结果得到的航行数据重合而成的图像数据。
14.如权利要求1至权利要求13中任一项所述的导航装置，
所述GNSS信号的相位及频率是载波信号的相位及频率。
15.一种VSLAM校正方法，
使用作为从定位卫星发送的定位信号的GNSS信号的相位的变化量或者所述GNSS信号的频率的变化量，计算GNSS速度，其中GNSS表示全球导航卫星系统，
使用动态图像进行VSLAM运算，估计多个时刻的VSLAM位置，其中VSLAM表示视觉同步定位与映射，
使用通过所述VSLAM运算估计的所述多个时刻中的2个以上的时刻的所述VSLAM位置、以及所述GNSS速度，计算与所述VSLAM位置对应的比例校正值。
16.一种VSLAM校正方法，
使用作为从定位卫星发送的定位信号的GNSS信号的相位的累计值，计算GNSS姿态角，其中GNSS表示全球导航卫星系统，
使用动态图像进行VSLAM运算，估计多个时刻的VSLAM姿态角，其中VSLAM表示视觉同步定位与映射，
使用被估计的所述多个时刻中的2个以上的时刻的所述VSLAM姿态角、以及所述GNSS姿态角，计算与所述VSLAM姿态角对应的校正值。
17.一种空间信息估计方法，
使用作为从定位卫星发送的定位信号的GNSS信号的相位的变化量或者所述GNSS信号的频率的变化量，计算GNSS速度，其中GNSS表示全球导航卫星系统，
使用所述GNSS信号的相位的累计值，计算GNSS姿态角，
使用动态图像，进行根据所述GNSS速度及所述GNSS姿态角设定了约束条件的VSLAM运算，估计空间信息，其中VSLAM表示视觉同步定位与映射。
18.如权利要求15所述的VSLAM校正方法，
使用所述GNSS信号的相位的累计值，计算GNSS姿态角，
进行所述VSLAM运算，估计多个时刻的VSLAM姿态角，
使用被估计的所述多个时刻中的2个以上的时刻的所述VSLAM姿态角、以及所述GNSS姿态角，计算与所述VSLAM姿态角对应的校正值。
19.一种VSLAM校正方法，
使用作为从定位卫星发送的定位信号的GNSS信号的相位的变化量或者所述GNSS信号的频率的变化量、以及惯性传感器的观测数据，计算综合速度，其中GNSS表示全球导航卫星系统，
使用所述GNSS信号的相位的累计值、以及所述惯性传感器的观测数据，计算综合姿态角，
使用动态图像进行VSLAM运算，估计多个时刻的VSLAM位置，其中VSLAM表示视觉同步定位与映射，
使用所述动态图像进行VSLAM运算，估计多个时刻的VSLAM姿态角，
使用通过所述VSLAM运算估计的所述多个时刻中的2个以上的时刻的所述VSLAM位置、以及所述综合速度，计算与所述VSLAM位置对应的比例校正值，
使用通过所述VSLAM运算估计的所述多个时刻中的2个以上的时刻的所述VSLAM姿态角、以及所述综合姿态角，计算与所述VSLAM姿态角对应的校正值。
20.一种VSLAM校正程序，使运算处理装置执行如下处理：
使用作为从定位卫星发送的定位信号的GNSS信号的相位的变化量或者所述GNSS信号的频率的变化量，计算GNSS速度，其中GNSS表示全球导航卫星系统，
使用动态图像进行VSLAM运算，估计多个时刻的VSLAM位置，其中VSLAM表示视觉同步定位与映射，
使用通过所述VSLAM运算估计的所述多个时刻中的2个以上的时刻的所述VSLAM位置、以及所述GNSS速度，计算与所述VSLAM位置对应的比例校正值。
21.一种VSLAM校正程序，使运算处理装置执行如下处理：
使用作为从定位卫星发送的定位信号的GNSS信号的相位的累计值，计算GNSS姿态角，其中GNSS表示全球导航卫星系统，
使用动态图像进行VSLAM运算，估计多个时刻的VSLAM姿态角，其中VSLAM表示视觉同步定位与映射，
使用被估计的所述多个时刻中的2个以上的时刻的所述VSLAM姿态角、以及所述GNSS姿态角，计算与所述VSLAM姿态角对应的校正值。
22.一种空间信息估计程序，使运算处理装置执行如下处理：
使用作为从定位卫星发送的定位信号的GNSS信号的相位的变化量或者所述GNSS信号的频率的变化量，计算GNSS速度，其中GNSS表示全球导航卫星系统，
使用所述GNSS信号的相位的累计值，计算GNSS姿态角，
使用动态图像，进行根据所述GNSS速度及所述GNSS姿态角设定了约束条件的VSLAM运算，估计空间信息，其中VSLAM表示视觉同步定位与映射。
23.如权利要求20所述的VSLAM校正程序，使运算处理装置执行如下处理：
使用所述GNSS信号的相位的累计值，计算GNSS姿态角，
进行所述VSLAM运算，估计多个时刻的VSLAM姿态角，
使用被估计的所述多个时刻中的2个以上的时刻的所述VSLAM姿态角、以及所述GNSS姿态角，计算与所述VSLAM姿态角对应的校正值。
24.一种VSLAM校正程序，使运算处理装置执行如下处理：
使用作为从定位卫星发送的定位信号的GNSS信号的相位的变化量或者所述GNSS信号的频率的变化量、以及惯性传感器的观测数据，计算综合速度，其中GNSS表示全球导航卫星系统，
使用所述GNSS信号的相位的累计值、以及所述惯性传感器的观测数据，计算综合姿态角，
使用动态图像进行VSLAM运算，估计多个时刻的VSLAM位置，其中VSLAM表示视觉同步定位与映射，
使用所述动态图像进行VSLAM运算，估计多个时刻的VSLAM姿态角，
使用通过所述VSLAM运算估计的所述多个时刻中的2个以上的时刻的所述VSLAM位置、以及所述综合速度，计算与所述VSLAM位置对应的比例校正值，
使用通过所述VSLAM运算估计的所述多个时刻中的2个以上的时刻的VSLAM姿态角、以及所述综合姿态角，计算与所述VSLAM姿态角对应的校正值。
CN201980015959.3A 2018-02-28 2019-01-29 导航装置、vslam校正方法、空间信息估计方法、vslam校正程序及空间信息估计程序 Pending CN111819418A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018034787 2018-02-28
JP2018-034787 2018-02-28
PCT/JP2019/002832 WO2019167517A1 (ja) 2018-02-28 2019-01-29 航法装置、ｖｓｌａｍ補正方法、空間情報推定方法、ｖｓｌａｍ補正プログラム、および、空間情報推定プログラム

Publications (1)

Publication Number Publication Date
CN111819418A true CN111819418A (zh) 2020-10-23

Family

ID=67805699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980015959.3A Pending CN111819418A (zh) 2018-02-28 2019-01-29 导航装置、vslam校正方法、空间信息估计方法、vslam校正程序及空间信息估计程序

Country Status (5)

Country Link
US (1) US20200393574A1 (zh)
EP (1) EP3760974A4 (zh)
JP (1) JP6923739B2 (zh)
CN (1) CN111819418A (zh)
WO (1) WO2019167517A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113188509A (zh) * 2021-04-28 2021-07-30 上海商汤临港智能科技有限公司 一种测距方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7175252B2 (ja) * 2019-10-29 2022-11-18 ヤンマーパワーテクノロジー株式会社 船舶の着岸支援装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170031032A1 (en) * 2015-07-27 2017-02-02 Qualcomm Incorporated Visual inertial odometry attitude drift calibration

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9070285B1 (en) * 2011-07-25 2015-06-30 UtopiaCompression Corporation Passive camera based cloud detection and avoidance for aircraft systems
US20150092048A1 (en) * 2013-09-27 2015-04-02 Qualcomm Incorporated Off-Target Tracking Using Feature Aiding in the Context of Inertial Navigation
US20150219767A1 (en) * 2014-02-03 2015-08-06 Board Of Regents, The University Of Texas System System and method for using global navigation satellite system (gnss) navigation and visual navigation to recover absolute position and attitude without any prior association of visual features with known coordinates

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170031032A1 (en) * 2015-07-27 2017-02-02 Qualcomm Incorporated Visual inertial odometry attitude drift calibration

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BEN-AFIA等: "Review and classification of vision-based localisation techniques in unknown environments", IET RADAR SONAR AND NAVIGATION, vol. 8, no. 9, pages 1059 - 1072, XP006050853, DOI: 10.1049/iet-rsn.2013.0389 *
SOLOVIEV, A.等: "Integration of GPS and vision measurements for navigation in GPS challenged environments", RECORD - IEEE PLANS, POSITION LOCATION AND NAVIGATION SYMPOSIUM, pages 826 - 833 *
SOLOVIEV, A.等: "Integration of GPS and vision measurements for navigation in GPS challenged environments", RECORD-IEEE PLANS, POSITION LOCATION AND NAVIGATION SYMPOSIUM, 31 December 2010 (2010-12-31), pages 826 - 833 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113188509A (zh) * 2021-04-28 2021-07-30 上海商汤临港智能科技有限公司 一种测距方法、装置、电子设备及存储介质
WO2022227708A1 (zh) * 2021-04-28 2022-11-03 上海商汤智能科技有限公司 一种测距方法、装置、电子设备及存储介质
CN113188509B (zh) * 2021-04-28 2023-10-24 上海商汤临港智能科技有限公司 一种测距方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20200393574A1 (en) 2020-12-17
WO2019167517A1 (ja) 2019-09-06
JP6923739B2 (ja) 2021-08-25
JPWO2019167517A1 (ja) 2021-02-25
EP3760974A4 (en) 2021-12-15
EP3760974A1 (en) 2021-01-06

Similar Documents

Publication Publication Date Title
CA3003298C (en) Gnss and inertial navigation system utilizing relative yaw as an observable for an ins filter
CN105783922B (zh) 用于确定针对具有磁力计辅助的混合导航系统的航向的方法
US11333501B2 (en) Navigation device, method of generating navigation support information, and navigation support information generating program
JP6470314B2 (ja) 姿勢角算出装置、姿勢角算出方法、および姿勢角算出プログラム
CA2923988A1 (en) Navigation system with rapid gnss and inertial initialization
US11964737B2 (en) Ship information displaying system, ship information displaying method and image generating device
KR20130068399A (ko) 레이더 시스템의 오차 보정 장치 및 방법
CN111819418A (zh) 导航装置、vslam校正方法、空间信息估计方法、vslam校正程序及空间信息估计程序
JP2014240266A (ja) センサドリフト量推定装置及びプログラム
Lammas et al. 6-DoF navigation systems for autonomous underwater vehicles
JP7190500B2 (ja) 航法装置、航法支援情報の生成方法、および、航法支援情報の生成プログラム
US11953610B2 (en) Device and method for calculating movement information
JP6613961B2 (ja) 状態推定装置、情報端末、情報処理システム、及びプログラム
JP4417812B2 (ja) 船舶姿勢角測定装置
Kaniewski Closed-loop INS/TACAN/ALT positioning system
US11156721B2 (en) Oscillation observation device, oscillation observation method and oscillation observation program
WO2017103779A1 (en) Method and apparatus for the spatial measurement over time of the surface of the sea from mobile platforms
KR20180060673A (ko) Gnss 반송파 위상 데이터를 이용한 실시간 상대 변위 추정 기법
Cina et al. A full-state low-cost GNSS/INS system for Mobile Mapping Applications
CN115551778A (zh) 船舶航行支援装置、船舶航行支援方法以及船舶航行支援程序
Ishibashi et al. The Development of the compact size INS for underwater vehicle
JP2012198068A (ja) 方位測定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination