CN115019217A - 基于增强现实的潮流显示装置 - Google Patents

基于增强现实的潮流显示装置 Download PDF

Info

Publication number
CN115019217A
CN115019217A CN202111421484.3A CN202111421484A CN115019217A CN 115019217 A CN115019217 A CN 115019217A CN 202111421484 A CN202111421484 A CN 202111421484A CN 115019217 A CN115019217 A CN 115019217A
Authority
CN
China
Prior art keywords
power flow
image sensor
information
display screen
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111421484.3A
Other languages
English (en)
Inventor
西山浩二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Furuno Electric Co Ltd
Original Assignee
Furuno Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP21158107.9A external-priority patent/EP4047312A1/en
Application filed by Furuno Electric Co Ltd filed Critical Furuno Electric Co Ltd
Publication of CN115019217A publication Critical patent/CN115019217A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/203—Specially adapted for sailing ships
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3655—Timing of guidance instructions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G01C21/3676—Overview of the route on the road map
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/3867—Geometry of map features, e.g. shape points, polygons or for simplified maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Navigation (AREA)

Abstract

本发明提供一种在拍摄到的图像上叠加显示潮流信息的基于增强现实(AR)的潮流显示装置。一种在显示于显示画面(17)的图像上叠加潮流信息的基于增强现实(AR)的潮流显示装置(1)，其中，该潮流显示装置(1)具有：图像传感器信息输入部(12)，接收图像传感器信息；潮流信息输入部(14)，接收潮流信息；潮流选定部(151)，基于潮流信息，选择一个以上位于图像传感器(10)的视野内的潮流(204、205)；位置计算部(152)，基于潮流信息以及图像传感器信息，针对每个潮流计算显示画面(17)上的对应的显示位置；以及潮流信息叠加部，针对选定的每个潮流，生成表示显示画面(17)上的显示位置的符号，并将各个符号输出至显示画面(17)。

Description

基于增强现实的潮流显示装置
技术领域
本发明主要涉及基于增强现实(Augmented Reality)的潮流显示装置，更具体而言，主要涉及通过增强现实在用于船舶航行的图像上叠加潮流信息的装置。
背景技术
已知潮流会对船舶的航行造成影响。船长、船员以及其他乘坐船舶的航海人员有时不知道各个潮流会在何时、如何影响船舶的航向。例如，在潮流可能遇到船舶或者潮流状况可能不同的水域中，潮流的位置、方向和/或速度对船舶航行人员而言可能是未知的，其结果，船舶航行人员也有可能会选择或者被迫选择不一定最适合在此水域中的船舶的移动路径。
这些潮流不仅与船舶航行所需的时间有关，还与燃料費用有很大的关系，从环境保护的观点来看，船员准确地了解潮流的状态也是很重要的。由于维护工作十分严峻，或者船舶长期受到潮流的影响，有时会对船舶的结构或航行性能、或者给两者都带来不良影响，从安全航行的观点来看，准确地掌握潮流也很重要。
过去开发了几个用于辅助船舶的航行的系统。一般，规定的地域的海图(被称为所谓的海图，有时也包括陆地部分。)和表示该地域内的各个地点的潮流的海图都是通过通信单元从外部的服务器提供的。
在表示潮流的信息中，一般包括测量位置和该测量位置处的潮流的方向以及速度。在该海域中航行的船舶能够使用卫星通信等通信单元获得潮流的信息。所获得的信息显示于船舶的航行监视器，有助于确定船舶的航路。然而，这些系统中的大多数主要依靠搭载设备来感知与船舶的周围相关的各种参数。尽管如此，使用这样的船上装置来检测或测定潮流等状况是复杂且困难的，有时也是不可能的。另外，检测等仅限于自船周边，一般而言，随着检测对象的位置远离自船，精度也必然降低。
在使用了以往的增强现实(AR：Augmented Reality)的导航系统，例如，日本特开2019-121876号公报所公开的系统中，能够将由图像传感器(图像传感器)拍摄的图像信息与基于雷达等传感器拍摄的信息而获取的陆地上移动车辆的信息叠加显示。
另外，在以往的AR导航系统中，由于不是从自船的传感器而是经由通信装置从外部获取潮流信息，因此难以显示潮流信息。不存在能够将从自船以外的装置提供的潮流信息显示于AR显示画面的基于AR的导航系统。
专利文献1：日本特开2019-121876号公报。
发明内容
根据以上的理由，需要考虑了潮流以及对该船舶的潜在的影响的系统以及方法来辅助船舶的航行。本发明要解决的课题涉及基于增强现实的潮流显示装置，更具体而言，提供在用于船舶航行的图像上叠加潮流信息的装置、方法以及程序。
为了解决上述课题，本发明的基于AR的潮流显示装置是在显示于显示画面的图像上叠加潮流信息的潮流显示装置，其中，该潮流显示装置具有：图像传感器信息输入部，接收包括图像传感器的位置以及方位的图像传感器信息，所述图像传感器安装于位于水面上的移动体，并在显示图像的显示画面上输出拍摄到的图像的图像数据；潮流信息输入部，从位于移动体的外部的通信装置接收包含潮流的位置的潮流信息；潮流选定部，选定位于图像传感器的视野内的一个以上的潮流；位置计算部，针对所选定的每个所述潮流，基于潮流信息和图像传感器信息，计算与显示于显示画面的图像上的位置对应的显示位置；以及潮流信息叠加部，针对所选定的每个所述潮流，生成表示显示位置的符号并输出至显示画面。
而且，还可以构成为具有：图像信息输入部，接收由图像传感器拍摄的图像，并输出显示于显示画面的图像数据；以及潮流信息叠加部，在图像上的各个显示位置叠加对应的潮流的符号。符号是表示显示画面中的对应的潮流的显示位置的标记的形状，能够以真实地表现潮流的方式进行显示。
在本发明的基于AR的潮流显示装置中能够构成为，还具有：海图信息输入部，接收表示包含移动体的区域的海图的海图信息，潮流选定部基于图像传感器信息在海图上的图像传感器的方位设定具有基准轴的子区域，并且基于潮流信息选定位于子区域内的潮流。
在上述的基于AR的潮流显示装置中能够构成为，位置计算部具有：局部坐标转换部，基于图像传感器的位置以及方位，将潮流的所述海图上的坐标的位置转换为子区域内的局部坐标上的位置。
其中，位置计算部能够构成为，还具有：显示坐标转换部，基于图像传感器信息，将潮流的局部坐标上的位置转换为显示画面的坐标上的位置。另外，局部坐标转换部输入所选定的每个潮流的方向以及速度，基于图像传感器的位置以及方位来确定子区域中的所选定的每个潮流的方向以及速度，显示坐标转换部输入子区域中的所选定的每个潮流的方向以及速度，基于图像传感器距水面W的高度h、俯角α以及视场角β，来计算显示于显示画面的所选定的每个潮流的方向。
潮流信息叠加部还生成表示与显示画面上的所述选定的每个潮流的显示位置对应的潮流的方向以及速度中的至少任一个的符号，并将各个符号输出至显示画面。
潮流信息叠加部还可以将表示所选定的每个潮流的方向以及流速的符号显示于显示画面上的子画面或者显示画面以外的外部显示画面中的至少一方。其中，潮流信息叠加部还可以构成为，使包含显示于显示画面的符号的图像上的长度、粗细、颜色的各个符号的特性根据对应的潮流的速度而发生变化。
潮流信息叠加部还可以根据所选定的每个潮流的深度分别生成所述符号，并显示该符号。潮流信息叠加部还可以生成与表示显示于显示画面的潮流的将来的位置的预测位置对应的所述符号，并将该符号叠加显示于显示画面的图像。
也能够将以上的结构构成为，在显示于显示画面的图像上叠加潮流信息的AR导航系统。即，本发明的AR导航系统具有：图像传感器，安装于位于水面上的移动体，拍摄位于视野内的图像并输出包含动态或者静止图像的图像数据；显示部，基于图像数据在显示画面上显示所述图像；以及潮流信息叠加部，从位于移动体的外部的通信装置获取包含潮流的位置的潮流信息，并叠加显示于图像，潮流信息叠加部具有：图像传感器信息输入部，接收包含图像传感器的位置以及方位的图像传感器信息；潮流信息输入部，从位于移动体的外部的通信装置接收包含潮流的位置的潮流信息；潮流选定部，选定位于图像传感器的视野内的一个以上的潮流；位置计算部，针对所选定的每个潮流，基于潮流信息和图像传感器信息，计算与显示于显示画面的图像上的位置对应的显示位置，以及潮流信息叠加部，针对所选定的每个潮流，生成表示显示位置的符号并输出至显示部。
在AR导航系统中，也可以具有：海图信息输入部，接收表示包含移动体的区域的海图的海图信息，潮流选定部基于所述图像传感器信息，在海图上的图像传感器的方位设定具有基准轴的子区域，并基于潮流信息选定位于所述子区域内的潮流。
另外，位置计算部也可以具有：局部坐标转换部，基于图像传感器的位置以及方位，将潮流的海图上的坐标的位置转换为子区域内的局部坐标上的位置。位置计算部还可以具有：显示坐标转换部，基于图像传感器信息，将潮流的局部坐标上的位置转换为显示画面的坐标上的位置。
局部坐标转换部也可以输入所选定的每个潮流的方向以及速度，基于图像传感器的位置以及方位来确定子区域中的所选定的每个潮流的方向以及速度，显示坐标转换部也可以输入子区域中的所选定的每个潮流的方向以及速度，基于图像传感器距水面W的高度h、俯角α以及视场角β来计算显示于显示画面的所选定的每个潮流的方向。
潮流信息叠加部还可以生成表示显示画面上的所述选定的每个潮流的显示位置的对应的潮流的方向以及速度中的至少任一个的符号并将各个符号输出至显示画面，或者还可以将表示所选定的每个潮流的方向以及流速的符号显示在显示画面上的子画面或者显示画面以外的外部显示画面中的至少一方。潮流信息叠加部还可以使包含显示于显示画面的符号的图像上的长度、粗细、颜色的各个符号的特性根据对应的潮流的速度而变化。
而且，潮流信息叠加部还可以根据所选定的每个潮流的深度分别生成符号，并显示该符号。潮流信息叠加部还可以生成与表示显示于显示画面的潮流的将来的位置的预测位置对应的符号，并将该符号与显示画面上所显示的图像叠加显示。
另外，根据本发明的基于AR的潮流显示方法，提供了以下方法：接收由安装于位于水面上的移动体的图像传感器拍摄的图像，输出显示于显示画面的图像数据，接收包含图像传感器的位置以及方位的图像传感器信息，从位于移动体的外部的通信装置接收包含潮流的位置的潮流信息，选定位于图像传感器的视野内的一个以上的潮流，针对所选定的所述每个潮流，基于潮流信息和图像传感器信息，计算与显示于显示画面的图像上的位置对应的显示位置，并针对所选定的每个潮流，生成表示显示位置的符号并叠加显示于所述图像。其中，也可以接收表示包含移动体的区域的海图的海图信息，并基于图像传感器信息在海图上的图像传感器的方位设定具有基准轴的子区域，基于潮流信息选定位于子区域内的潮流。
根据本发明的基于AR的潮流显示程序，提供一种在存储有计算机可执行的命令的非暂时性的计算机可读介质中存储的程序，在由计算机执行该程序时，使计算机执行以下步骤：接收并储存基于由图像传感器捕捉到的图像的图像数据，接收并存储包含安装于水面上的移动体的图像传感器的位置以及方位的图像传感器信息；接收并存储包含移动体的区域的海图，接收并存储与海图上的一个以上的位置相关的潮流信息，基于图像传感器信息确定海图的区域内的子区域，选择位于子区域内的一个以上的潮流，基于潮流信息以及图像传感器信息计算在显示画面上的所选定的每个潮流的显示位置，生成与各个显示位置对应的所选定的潮流的符号，基于图像数据，使各个符号与显示于显示画面的图像上的各个显示位置重叠。
根据本发明的显示装置、显示方法、显示程序，能够通过图像传感器在视觉上捕捉海面上的潮流的状态，使潮流的位置和方向与图像传感器所映射的图像上的海面方位和位置一致，对从自船以外的装置提供的潮流信息进行增强现实(AR)的显示。
附图说明
通过参照附图能够最好地理解本主题所图示的实施方式。在此，同样的部分在整体上由同样的数字表示。以下的说明仅旨在作为一例，仅例示与本说明书所要求的主题一致的设备、系统、方法、以及进程的特定的选择的实施方式。
图1是示出将本发明的一个实施方式的图像传感器安装于移动体的增强现实感(AR)型潮流显示装置的整体结构的框图。
图2是示出包含移动体的区域和该区域中的子区域的图。
图3是示出将潮流信息与由图像传感器拍摄到的图像叠加的图。
图4是示出图像传感器距水面的高度、图像传感器的俯角、图像传感器的视场角的侧视图。
图5是示出图1的基于AR的潮流显示装置的位置计算部的各个部的框图。
图6是示出由图像传感器拍摄到的图像和与该图像叠加的符号的图，以及表示在图像上叠加该符号而生成的叠加图像。
图7示出生成用于与由图像传感器生成的图像叠加的以三维方式转换后的符号。
图8是显示表示一个以上的潮流的位置的叠加图像和表示各个潮流的方向的子画面的显示画面。
图9示出显示表示潮流的位置的叠加图像的显示画面和表示潮流的朝向的外部显示画面。
图10是示出本公开的一个实施方式的在显示于显示画面上的图像上叠加潮流信息的方法的流程图。
附图标记说明：
1：潮流显示装置
10：图像传感器(摄像头、图像传感器)
11：船舶(移动体)
12：图像传感器信息输入部
13：海图信息输入部
14：潮流信息输入部
15：处理电路
16：图像信息输入部
17：显示画面
W：水面
151：潮流选定部
152：位置计算部
153：潮流信息叠加部
200：海图
201：包含移动体的区域
202：子区域的基准轴
203：子区域
204：潮流
205：其他潮流
204a：表示一个潮流的位置的符号
205a：表示其他潮流的位置的符号
206、502：由图像传感器拍摄到的图像
402：局部坐标转换部
404：显示坐标转换部
504：叠加图像
505b：表示潮流的方向的符号
505c：表示一个潮流的方向的二维符号
506：追加信息
507b：表示其他潮流的方向的符号
507c：表示其他潮流的方向的二维符号
508：显示画面
510：叠加图像
512：子画面
514a：表示潮流的位置的符号
514c：表示潮流的方向的符号
516a：表示其他潮流的位置的符号
516c：表示潮流的方向的符号
518：外部显示画面
具体实施方式
在此，对装置的示例进行说明。在不脱离本说明书所提示的主题的精神或范围的情况下，也可以进一步利用其他例示性的实施方式或特征来进行其他变更。在以下的详细说明中，将参照构成其一部分的附图。
本说明书所记载的例示性的实施方式并不限定于此。本说明书中通常记载的、附图所例示的本公开的方式如本说明书中明确地示意的那样，容易理解为能够以各种不同的结构排列、置换、结合、分离、设计。
首先，参照图1对一个实施方式的潮流显示装置的结构进行说明。图1是示出本发明的一个实施方式的将图像传感器10安装于移动体11的增强现实(AR)型潮流显示装置1的整体结构的框图。图2示出包含移动体11的区域201的海图200和海图200中的相对于移动体11的行进方向具有基准轴的子区域203。图3表示在由图像传感器10捕捉到的图像上重叠有潮流信息的情况。
接下来，主要参照图1，能够将图像传感器10安装于移动体11(以下，以船舶为例来说明一个实施方式，因此，称为船舶11)，并与显示装置1电连接。
如后所述，本实施方式的潮流显示装置1与搭载于船舶11并作为船舶用仪表的图像传感器10电连接。
图像传感器10例如也可以由对船舶11的周围的附近或至少一部分的周围的水面W进行拍摄的限制视场角或广角摄像头图像传感器构成。该图像传感器10也可以具有实况输出功能，从而实时地生成作为拍摄结果的影像数据(图像数据)并输出至显示画面17。如图1所示，图像传感器10只要以拍摄方向大致朝向船体前方的水面W的方式设置在船舶11内即可。
图像传感器10能够经由旋转机构(未图示)安装于船舶11，因此通过从显示装置1输入指示朝向和俯角的信号，就能够以船舶11的船体为基准在规定的角度范围内改变拍摄方向。另外，由于船舶11的吃水、姿势有时因波浪等而发生变化，因此图像传感器10相对于水面W的高度h有时会发生变化。
尤其是，基于AR的潮流显示装置1也可以在可通信的状态下连接到显示画面17，以基于图像传感器10的位置以及方位，使用AR生成表示船舶11的周围的状况的图像。
显示画面17例如能够构成为，构成操作船舶11的船舶航行者所参照的航行辅助装置的一部分的显示画面。但是，显示画面17并不限定于上述结构，例如也可以是从船舶11监视周围的状况的船舶航行者所携带的便携式计算机的显示画面、用于乘客在船舶11的船舱内观察的显示画面、或者乘客所佩戴的可穿戴式眼镜等头戴式显示器的显示部。
在本公开的实施方式中，图像传感器10以及显示画面17位于显示装置1的外部。在本公开的另一实施方式中，图像传感器10和显示画面17是显示装置1必不可少的部分。除此之外，可选地，图像传感器10、显示画面17以及基于AR的潮流显示装置1也能够一起构成基于AR的导航系统，以便于用户对船舶11进行导航。
基于AR的潮流显示装置1还可以连接到各种外围装置，包括但不限于用户能够操作以执行与本公开一致的各种功能的键盘和鼠标。例如，用户能够通过操作键盘和/或鼠标、触摸面板，向基于AR的潮流显示装置1以及图像传感器10赋予用于生成图像的各种指令。该指示包括与图像传感器10的朝向和俯角相关的操作、各种信息的显示/非显示的设定、拍摄的视点的设定等。
接下来，还将参照图1对基于AR的潮流显示装置1的结构进行详细说明。基于AR的潮流显示装置1具有：图像传感器信息输入部12、海图信息输入部13、潮流信息输入部14、处理电路15、以及图像信息输入部16。图像信息输入部16构成为接收由图像传感器10拍摄到的图像，并将该图像数据输出到显示画面17。
另外，图像传感器信息输入部12构成为，接收并存储包含图像传感器10相对于全局地形图的基准轴的位置以及方位的图像传感器信息，如图4所示，也可以是还包括图像传感器10距水面W的高度h、图像传感器10的俯角(α)以及图像传感器10的视场角(视场角)(β)的图像传感器信息。图像传感器10固定地安装于船舶11，因此，在海图200上的图像传感器10的位置与海图200上的船舶11的位置相同的前提下，使用船舶11的方位方向来确定图像传感器10的方位方向。反之亦然。
返回到图1，海图信息输入部13构成为，基于预先存储的电子海图信息，接收并存储包含船舶11的海图200的区域201。
潮流信息输入部14例如构成为，从陆上站、全球卫星导航系统(GNSS)接收机、电子海图显示与信息系统(ECDIS)、自动识别系统(AIS)接收机、雷达装置等外部通信装置接收并存储包含水面上的潮流的位置(W)的潮流信息。潮流信息也可以构成为还包含潮流的方向以及速度。通常，潮流信息输入部14构成为存储包含船舶11的区域201的潮流的潮流信息。潮流信息输入部14构成为存储相对于海图200的基准轴的潮流信息，潮流信息输入部14构成为存储区域201中的潮流的海图和全局坐标。
参照图1、图2以及图3的各个图进行说明。图1所示的处理电路15包括：潮流选定部151，基于潮流信息来选择位于图像传感器10的视野内的一个以上的潮流204、205(参照图2)；位置计算部152，基于潮流信息以及图像传感器信息来计算显示画面17上的被选定的每个潮流204、205的对应的显示位置；以及潮流信息叠加部153，针对显示于显示画面17的图像206上的被选定的每个潮流204、205，生成表示各个潮流204、205的位置的符号204a、205a。
潮流选定部151基于图像传感器10能够捕捉的图像的区域，设定处理电路15。如图3所示，各个符号204a、205a被配置为圆形标记的形状，其表示图像206上的对应的潮流204、205的位置。虽然示出了204a以及205a为圆形标记的情况，但符号204a以及205a也可以包括表示在显示画面17上显示的图像206上的每个潮流的位置的椭圆标记或者正方形标记那样的其他结构。
潮流信息叠加部153将204a、205a输出至显示画面17，在由图像传感器10拍摄到的图像206上叠加显示204a、205a，由此以在视觉上易于理解的方式显示潮流204、205相对于海面的位置。
在本公开的上下文中，处理电路15包括对处理器、计算机、微控制器、或者操作面板以及存储器等各种组件的动作进行控制的其他电路。处理电路15能够执行软件、固件和/或其他命令，它们例如存储在易失性或非易失性存储器中，或者通过其他方法提供给处理电路15。
接下来，参照图1、图2以及图3的各个图对潮流的选择进行说明。潮流选定部151从图像传感器信息输入部12、海图信息输入部13、潮流信息输入部14分别接收拍摄传感器信息、海图信息、潮流信息。潮流选定部151选择位于子区域203的、即位于图像传感器10的视场角(β)的一个以上的潮流204、205。具体来说，潮流选定部151接收包围船舶11的区域201的海图200，基于图像传感器10的位置以及方位来确定子区域203，基于潮流信息选择子区域203内的第一潮流204以及第二潮流205。
这里示出了两个选定的潮流，但潮流选定部151也可以选择两个以上或两个以下的潮流。
接下来，参照图4对位置的计算进行说明。位置计算部152基于图像传感器信息以及潮流信息，来计算应显示于显示画面17的被选定的每个潮流204、205的位置。具体来说，位置计算部152构成为，计算用于显示在显示画面17上的第一潮流204、第二潮流205各自的显示坐标。
以图5为中心参照对位置计算部152的结构进行详细说明。位置计算部152包括局部坐标转换部402，接收所选定的第一、第二各个潮流204、205的海图坐标并基于图像传感器10的位置以及方位转换为对应的局部坐标。在本公开中，海图坐标是海图200上的位置，局部坐标是相对于子区域203中的基准轴202的位置，也是相对于船舶11的行进方向的位置。
另外，位置计算部152具有：显示坐标转换部404，基于图4所示的图像传感器10距水面W的高度(h)、图像传感器10的俯角(α)以及视场角(β)，将选定的第一、第二各个潮流204、205的局部坐标转换为对应的显示坐标。在本公开的上下文中，显示坐标与显示画面17上的显示位置相对应。由此，位置计算部152接收海图200中的潮流204、205的海图坐标，生成用于显示于显示画面17的对应的显示坐标。
而且，作为一个选项，局部坐标转换部402也可以接收从潮流选定部151选定的第一、第二各个潮流204以及205的方向以及速度，并基于图像传感器10的位置以及方位，确定子区域203内的与第一、第二各个潮流204以及205相关联的方向以及速度。
如参照图2所图示的那样，海图200中的第一、第二各个潮流204以及205的方向是相对于全局基准轴的方向，子区域203中的潮流204以及205的方向是相对于船舶11的行进方向的方向，也是相对于基准轴202的方向。
显示坐标转换部404基于子区域203中的被选定的第一、第二各个潮流204、205的方向以及速度，例如使用数学的和/或图形的转换，并基于图像传感器10距水面W的高度h、俯角α、以及图像传感器10的视场角β，来计算显示画面17中的被选定的每个潮流204、205的方向以及速度。由此，位置计算部152输入潮流204、205相对于海图200的朝向，生成第一、第二各个潮流204、205的朝向信息并显示于显示画面17。
接下来，参照图1以及图6对表示潮流方向的符号的生成和叠加进行说明。潮流信息叠加部153基于由位置计算部152生成的信息，生成表示显示于显示画面17的图像502上的各个潮流的位置以及方向的符号505b、507b。潮流信息叠加部153进一步在图像502上叠加505b、507b，从而生成表示叠加图像504中的各个潮流的位置以及方向的叠加图像504。此外，505b、507b例如也可以是表示对应的潮流的方向的箭头的形状。
而且，也可以使叠加图像504中的箭头的长度、箭头的厚度以及箭头的颜色基于对应的潮流的流速而变化。例如，可以使用较短或较薄尺寸的箭头来表示图像上的较弱的(动作慢的)潮流。而且，也可以使用绿色或黄色来描绘这样的箭头以叠加于图像502。或者，也可以在图像502上叠加较长或较粗尺寸的箭头以在图像上显示较强的(高速的)潮流。而且，可选地，例如，可以使用红色在图像502上图形化地显示具有较长或较粗尺寸的箭头。而且，潮流信息叠加部153也可以基于各个潮流的深度，生成505b、507b这样的符号。
此外，在上述的各个符号的说明中，各个符号505b、507b的特征并不限定于特定的形状、大小、颜色。这些特性，即形状、尺寸以及颜色能够以适应于一个以上的海事规则要件和/或其他应用特有的要件的方式变化。
而且，在图像505上叠加显示符号505b、507b时，通过同时显示包含方向、速度的合计的追加信息506，能够有效地利用显示画面17的有限的显示区域。根据需要，符号505b及507b的位置也可以根据需要进行变更，或者从叠加图像504中去除，使与叠加图像504相关的图形尽可能地被符号505b及507b隐藏，或者不隐藏。
另外，潮流信息叠加部153基于图像传感器10的俯角α，在平行于水面W的图像上分别生成表示潮流的朝向和速度的符号505b、507b。如图7所示，可以根据将二维符号505c及507c分别向对应的三维符号505b及507b进行转换，从而在平行于水面W的图像上生成符号505b及507b。
符号505b、507b也可以根据图像传感器10的俯角α而显示为倾斜。通过这种方式的显示，能够从图像传感器10获取与水面W相关的图形，例如即使在船体以及图像传感器10相对于水面W倾斜的情况下，用户也能够在视觉上掌握周围的状况，或者根据需要重叠地显示符号505b以及507b。
图8示出了显示表示一个以上的潮流的位置的叠加图像510的显示画面508，以及表示在叠加图像510中示出了位置的潮流的方向的子画面512。子画面512相对于船舶11的行进方向具有基准轴。
叠加图像510包含表示由图像传感器10捕捉到的图像上的一个以上的潮流的位置的符号514a以及516a(与符号204a以及205a类似)。在子画面512中，显示表示与叠加图像510的符号514a以及516a对应的潮流的朝向的二维符号514c、516c(与符号505c以及507c类似)。符号514a、516a、514c以及516c由潮流信息叠加部153生成。叠加图像510和子画面512在时间上彼此同步。叠加图像510的变化也反映到子画面512上。
图9示出了显示表示一个以上的潮流的位置的叠加图像510的显示画面508，以及表示在叠加图像510中示出了位置的潮流的方向的外部显示画面518。外部显示画面518例如相对于船舶这样的船舶11的行进方向具有基准轴。
叠加图像510包括表示由图像传感器10拍摄到的图像上的一个以上的潮流的位置的符号514a、516a(与符号204a以及205a类似)。在外部显示画面518中，显示表示与叠加图像510的符号514a、516a对应的潮流的朝向的二维符号514c、516c(与符号204c以及205c类似)。符号514a、516a、514c、516c由潮流信息叠加部153生成。显示于显示画面508以及外部显示画面518的内容彼此同步。
而且，可选地，位置计算部152也可以预测显示在由图像传感器捕捉到的图像上的一个以上的潮流的将来的位置。因此，在该情况下，潮流信息叠加部153也可以生成与将来的预测位置对应的符号，并将生成的符号叠加于图像并显示在显示画面17上。
与显示装置1连接的船舶仪表(附加显示信息的信息源)并不限定于图1所记载的仪表，也可以包括其他船舶仪表。
另外，本公开不仅能够应用于在海上航行的船舶，例如也能够应用于能够在海、湖、川等航行的任意的水面移动体。
接下来，对潮流显示方法的一个实施方式进行说明。图10是表示本公开的一个实施方式的在显示于显示画面17的图像上叠加潮流信息的方法的流程图。
在步骤602中，由图像信息输入部16接收并存储基于由图像传感器10拍摄到的图像的图像数据。
在步骤604中，接收包含安装于船舶11的图像传感器10在水面(W)上的位置以及方位的图像传感器信息，并存储在图像传感器信息输入部12中。
在步骤606中，接收表示包含船舶11的区域201的海图200的海图信息，并存储在海图信息输入部13中。
在步骤608中，接收与海图200中的一个以上的位置相关的潮流信息，并存储在潮流信息输入部14中。
在步骤610中，潮流选定部151基于图像传感器信息来确定海图200的区域201内的子区域203。
在步骤612中，潮流选定部151基于潮流信息来选择位于子区域203的一个以上的潮流204、205。
在步骤614中，位置计算部152基于潮流信息和图像传感器信息，来计算所选定的每个潮流的显示画面17中的显示位置。
在步骤616中，潮流信息叠加部153生成与各个显示位置对应的每个选择的潮流的符号。
在步骤618中，潮流信息叠加部153基于图像数据，在显示于显示画面17的图像上的各个显示位置叠加各个符号。
以上是本发明的实施方式的示例，未必能够根据本说明书中记载的任意的特定的实施方式来达成所有的目的或效果/优点。因此，例如本领域技术人员能够想到，在本说明书中教导的特定的实施方式不一定达成在本说明书中教导或建议那样的其他的目的或效果/优点。需要构成为达成或优化一个或多个效果/优点。
本说明书中记载的全部处理通过由包含一个或多个计算机或处理器的计算系统执行的软件代码模块来具体实现，从而完全自动化。代码模块能够存储在任意类型的非临时性计算机可读介质或其他的计算机存储装置中。一部分或者全部的方法能够通过专用的计算机硬件来实现。
从本公开中可以明确，在本说明书中记载的内容以外，还有许多其他的变形例。例如，根据实施方式，本说明书中记载的算法中的任意一个特定的动作、事件或者功能能够以不同的时序执行，并且能够追加，合并或者完全排除(例如，并非全部所记载的行为或者事件都需要执行算法)。
另外，在特定的实施方式中，动作或事件例如能够多线程处理、中断处理，或者经由多个处理器或处理器内核或在其他的并行架构上并行地而不是逐次地执行。另外，不同的任务或者进程也能够通过能一起发挥功能的不同的机器和/或计算系统来执行。
与本说明书中公开的实施方式相关联地说明的各种例示的逻辑块以及模块能够通过处理器等机器来实施或者执行。处理器也可以是微处理器，或者，处理器也可以是控制器，微控制器或状态机或者这些的组合等。处理器能够包含构成为对计算机可执行命令进行处理的电路。在另一实施方式中，处理器包含特殊应用集成电路(ASIC)、现场可编程逻辑门阵列(FPGA)、或者不处理计算机可执行命令而执行逻辑运算的其他可编程设备。处理器还能够实现为计算设备的组合，例如数字信号处理器(数字信号处理装置)与微处理器的组合、多个微处理器、与DSP内核组合的一个以上的微处理器，或者任意的其他这样的结构。在本说明书中，主要对数字技术进行说明，但处理器也能够主要包含模拟元件。例如，本说明书中记载的信号处理算法的一部分或全部能够通过模拟电路，或模拟与数字的混合电路来实现。计算环境包括微处理器、大型计算机、数字信号处理器、便携式计算设备、设备控制器、或者基于装置内的计算引擎的计算机系统，但也能够包含不限定于这些的任意类型的计算机系统。
本说明书中记载的和/或附图所示的流程图中的任意的过程描述，要素或者块应理解为包含用于实现过程中的特定的逻辑功能或者要素的一个以上的可执行命令在内的潜在的模块、片段或者代码的一部分。代替的实施方式包含在本说明书中记载的实施方式的范围内，在此，如本领域技术人员能理解的那样，可以根据关联的功能性，实质上性地执行要素或功能。
只要没有特别明示，“一个”这样的数词通常应解释为包含一个以上的记述的项目。因此，“如上设定的一个设备”等语句旨在包含一个以上列举出的设备。这样的一个或多个列举出的设备也能够以执行所记载的引用的方式集合地构成。例如，“构成为执行以下的A、B以及C的处理器”能够包括，构成为执行A的第一处理器以及构成为执行B以及C的第二处理器。此外，即使明确地列举出所导入的实施例的具体的数量的列举，这样的列举典型地意味着至少列举出的数量。“两个列举”的单纯的列举应解释为指至少两个列举或者两个以上的列举。
能够将许多的修正以及修改添加到上述的实施方式中，应理解为这些要素处于其他可允许的例子中。所有这样的改变以及修改旨在包括在本公开的范围内，并通过以下的权利要求的范围进行保护。

Claims (25)

1.一种基于AR的潮流显示装置，在显示于显示画面的图像上叠加潮流信息，其中，具有：
图像传感器信息输入部，接收包括图像传感器的位置以及方位的图像传感器信息，所述图像传感器安装于位于水面上的移动体，并在显示图像的显示画面上输出拍摄到的图像的图像数据；
潮流信息输入部，从位于所述移动体的外部的通信装置接收包含潮流的位置的潮流信息；
潮流选定部，选定位于所述图像传感器的视野内的一个以上的潮流；
位置计算部，针对所选定的每个所述潮流，基于所述潮流信息和所述图像传感器信息，计算与显示于所述显示画面的图像上的位置对应的显示位置；以及
潮流信息叠加部，针对所选定的每个所述潮流，生成表示所述显示位置的符号并输出至所述显示画面。
2.根据权利要求1所述的基于AR的潮流显示装置，其中，
还具有图像信息输入部，所述图像信息输入部接收由所述图像传感器拍摄的图像，并输出显示于所述显示画面的图像数据，
所述潮流信息叠加部在所述图像上的各个所述显示位置叠加对应的潮流的所述符号。
3.根据权利要求1或2所述的基于AR的潮流显示装置，其中，
所述符号是表示所述显示画面中的对应的潮流的显示位置的标记的形状。
4.根据权利要求3所述的基于AR的潮流显示装置，其中，
还具有海图信息输入部，所述海图信息输入部接收表示包含所述移动体的区域的海图的海图信息，
所述潮流选定部基于所述图像传感器信息，在所述海图上的所述图像传感器的方位设定具有基准轴的子区域，并基于所述潮流信息来选定位于所述子区域内的潮流。
5.根据权利要求1至4中任一项所述的基于AR的潮流显示装置，其中，
所述位置计算部具有局部坐标转换部，所述局部坐标转换部基于所述图像传感器的位置以及方位，将所述潮流的所述海图上的坐标的位置转换为所述子区域内的局部坐标上的位置。
6.根据权利要求5所述的基于AR的潮流显示装置，其中，
所述位置计算部还具有显示坐标转换部，所述显示坐标转换部基于所述图像传感器信息，将所述潮流的所述局部坐标上的位置转换为所述显示画面的坐标上的位置。
7.根据权利要求6所述的基于AR的潮流显示装置，其中，
所述局部坐标转换部输入所选定的每个潮流的方向以及速度，并基于所述图像传感器的位置以及方位来确定所述子区域中的所述选定的每个潮流的方向以及速度，
所述显示坐标转换部输入所述子区域中的所述选定的每个潮流的方向以及速度，基于所述图像传感器距水面(W)的高度(h)、俯角(α)以及视场角(β)，计算显示于所述显示画面的所述选定的每个潮流的方向。
8.根据权利要求7所述的基于AR的潮流显示装置，其中，
所述潮流信息叠加部还生成表示所述显示画面上的所述选定的每个潮流的显示位置的对应的潮流的方向以及速度中的至少任一个的符号，并将各个符号输出至所述显示画面。
9.根据权利要求8所述的基于AR的潮流显示装置，其中，
所述潮流信息叠加部还将表示所述选定的每个潮流的方向以及流速的符号显示于所述显示画面上的子画面或者所述显示画面以外的外部显示画面中的至少一方。
10.根据权利要求9所述的基于AR的潮流显示装置，其中，
所述潮流信息叠加部还使包括显示于所述显示画面的符号在图像上的长度、粗细、颜色的各个符号的特性根据对应的所述潮流的速度而变化。
11.根据权利要求8至10中任一项所述的基于AR的潮流显示装置，其中，
所述潮流信息叠加部还根据所选定的每个潮流的深度分别生成所述符号，并显示该符号。
12.根据权利要求1所述的基于AR的潮流显示装置，其中，
所述潮流信息叠加部还生成与表示显示于所述显示画面的潮流的将来的位置的预测位置对应的所述符号，并将该符号叠加显示在所述显示画面上所显示的所述图像上。
13.一种AR导航系统，在显示于显示画面的图像上叠加潮流信息，其中，具有：
图像传感器，安装于位于水面上的移动体，拍摄位于视野内的图像并输出包含动态图像或者静止图像的图像数据；
显示部，基于所述图像数据，在显示画面上显示所述图像；以及
潮流信息显示部，在所述图像上叠加显示潮流信息，
所述潮流信息显示部包括：
图像传感器信息输入部，接收包含所述图像传感器的位置以及方位的图像传感器信息；
潮流信息输入部，从位于所述移动体的外部的通信装置获取包含潮流的位置的潮流信息；
潮流选定部，选定位于所述图像传感器的视野内的一个以上的潮流；
位置计算部，针对所选定的每个所述潮流，基于所述潮流信息和所述图像传感器信息，计算与显示于所述显示画面的图像上的位置对应的显示位置；以及
潮流信息叠加部，针对所选定的每个所述潮流，生成表示所述显示位置的符号并输出至所述显示部。
14.根据权利要求13所述的AR导航系统，其中，还具有海图信息输入部，所述海图信息输入部接收表示包含所述移动体的区域的海图的海图信息，
所述潮流选定部基于所述图像传感器信息，在所述海图上的所述图像传感器的方位设定具有基准轴的子区域，并基于所述潮流信息来选定位于所述子区域内的潮流。
15.根据权利要求13或14所述的AR导航系统，其中，
所述位置计算部具有局部坐标转换部，所述局部坐标转换部基于所述图像传感器的位置以及方位，将所述潮流的所述海图上的坐标的位置转换为所述子区域内的局部坐标上的位置。
16.根据权利要求15所述的AR导航系统，其中，
所述位置计算部还具有显示坐标转换部，所述显示坐标转换部基于所述图像传感器信息，将所述潮流的所述局部坐标上的位置转换为所述显示画面的坐标上的位置。
17.根据权利要求16所述的AR导航系统，其中，
所述局部坐标转换部输入所选定的每个潮流的方向以及速度，并基于所述图像传感器的位置以及方位，来确定所述子区域中的所述选定的每个潮流的方向以及速度，
所述显示坐标转换部输入所述子区域中的所述选定的每个潮流的方向以及速度，并基于所述图像传感器距水面(W)的高度(h)、俯角(α)以及视场角(β)，计算显示于所述显示画面的所述选定的每个潮流的方向。
18.根据权利要求17所述的AR导航系统，其中，
所述潮流信息叠加部还生成表示所述显示画面上的所述选定的每个潮流的显示位置的对应的潮流的方向以及速度中的至少任一个的符号，并将各个符号输出至所述显示画面。
19.根据权利要求18所述的AR导航系统，其中，
所述潮流信息叠加部还将表示所述选定的每个潮流的方向以及流速的符号显示于所述显示画面上的子画面或者所述显示画面以外的外部显示画面中的至少一方。
20.根据权利要求19所述的AR导航系统，其中，
所述潮流信息叠加部还使包括显示于所述显示画面的符号的图像上的长度、粗细、颜色的各个符号的特性根据对应的所述潮流的速度而变化。
21.根据权利要求18至20中任一项所述的AR导航系统，其中，
所述潮流信息叠加部还根据所选定的每个潮流的深度分别生成所述符号，并显示该符号。
22.根据权利要求21所述的AR导航系统，其中，
所述潮流信息叠加部还生成与表示显示于所述显示画面的潮流的将来的位置的预测位置对应的所述符号，并将该符号叠加显示于在所述显示画面上显示的所述图像。
23.一种基于AR的潮流显示方法，在显示画面上叠加显示潮流信息，其中，所述基于AR的潮流显示方法包括以下步骤：
接收由安装于位于水面上的移动体的所述图像传感器拍摄的图像，并输出显示于所述显示画面的图像数据，
接收包含所述图像传感器的位置以及方位的图像传感器信息，
从位于所述移动体的外部的通信装置接收包含潮流的位置的潮流信息，
选定位于所述图像传感器的视野内的一个以上的潮流，
针对所选定的每个所述潮流，基于所述潮流信息和所述图像传感器信息，计算与显示于所述显示画面的图像上的位置对应的显示位置，
针对所选定的每个所述潮流，生成表示所述显示位置的符号并叠加显示在所述图像上。
24.根据权利要求23所述的基于AR的潮流显示方法，其中，
接收表示包含所述移动体的区域的海图的海图信息，
基于所述图像传感器信息，在所述海图上的所述图像传感器的方位设定具有基准轴的子区域，并基于所述潮流信息来选定位于所述子区域内的潮流。
25.一种计算机可执行的程序，其是在显示画面上叠加显示潮流信息的基于AR的潮流显示程序，其中，当由计算机执行该程序时，使该计算机执行以下步骤：
接收并存储基于由图像传感器捕捉到的图像的图像数据，
接收并存储包含安装于水面上的移动体的图像传感器的位置以及方位的图像传感器信息，
接收并存储包含所述移动体的区域的海图，接收并存储与海图上的一个以上的位置相关的潮流信息，
基于所述图像传感器信息确定海图的区域内的子区域，选择位于该子区域内的一个以上的潮流，
基于该潮流的所述潮流信息以及所述图像传感器信息计算在显示画面上选定的每个潮流的显示位置，
生成与所述显示位置对应的选定的所述潮流的符号，
基于所述图像数据，使所述各个符号叠加在显示于所述显示画面的所述图像上的各个所述显示位置。
CN202111421484.3A 2021-02-19 2021-11-26 基于增强现实的潮流显示装置 Pending CN115019217A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP21158107.9 2021-02-19
EP21158107.9A EP4047312A1 (en) 2021-02-19 2021-02-19 Augmented reality based tidal current display device
JP2021081346A JP7431194B2 (ja) 2021-02-19 2021-05-13 拡張現実に基づく潮流表示装置
JP2021-081346 2021-05-13

Publications (1)

Publication Number Publication Date
CN115019217A true CN115019217A (zh) 2022-09-06

Family

ID=82900477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111421484.3A Pending CN115019217A (zh) 2021-02-19 2021-11-26 基于增强现实的潮流显示装置

Country Status (2)

Country Link
US (1) US11808579B2 (zh)
CN (1) CN115019217A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11852476B2 (en) * 2021-02-19 2023-12-26 Furuno Electric Co., Ltd. Tidal current information display apparatus and method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140240313A1 (en) 2009-03-19 2014-08-28 Real Time Companies Computer-aided system for 360° heads up display of safety/mission critical data
CA2775641C (en) * 2011-05-02 2014-07-08 Hallin Marine Singapore Pte Ltd Apparatus and methods of positioning a subsea object
JP6358326B2 (ja) * 2014-03-31 2018-07-18 富士通株式会社 情報処理システムおよび情報処理方法
GB2526790A (en) 2014-06-02 2015-12-09 Nokia Technologies Oy An apparatus, method and computer program for determining information to be provided to a user
CN110520692B (zh) 2017-05-24 2024-03-26 古野电气株式会社 影像生成装置
JP6820561B2 (ja) 2017-12-28 2021-01-27 パナソニックＩｐマネジメント株式会社 画像処理装置、表示装置、ナビゲーションシステム、画像処理方法及びプログラム

Also Published As

Publication number Publication date
US20220268586A1 (en) 2022-08-25
US11808579B2 (en) 2023-11-07

Similar Documents

Publication Publication Date Title
US11270458B2 (en) Image generating device
US20240071017A1 (en) Image generating device for generating three-dimensional display data
US11879733B2 (en) Tidal current information display device
US11852476B2 (en) Tidal current information display apparatus and method
US20220355908A1 (en) Tidal information display device
CN114258372B (zh) 船舶信息显示系统、船舶信息显示方法、图像生成装置以及程序
US20230081665A1 (en) Predicted course display device and method
JP7431194B2 (ja) 拡張現実に基づく潮流表示装置
JP5102886B2 (ja) 画像表示システム及び画像表示方法及びプログラム
US11548598B2 (en) Image generating device and method of generating image
CN115019217A (zh) 基于增强现实的潮流显示装置
EP4047313A1 (en) Tidal current information display device
JP7346436B2 (ja) 周辺監視装置及び周辺監視方法
US20240135635A1 (en) Image generating device, ship information displaying method and a non-transitory computer-readable medium
US20230399082A1 (en) Obstruction zone generation device and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination