CN111373283A - 对海洋船舶的周围环境的实时监测 - Google Patents

对海洋船舶的周围环境的实时监测 Download PDF

Info

Publication number
CN111373283A
CN111373283A CN201780096961.9A CN201780096961A CN111373283A CN 111373283 A CN111373283 A CN 111373283A CN 201780096961 A CN201780096961 A CN 201780096961A CN 111373283 A CN111373283 A CN 111373283A
Authority
CN
China
Prior art keywords
data
marine vessel
virtual model
user interface
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780096961.9A
Other languages
English (en)
Inventor
桑特里·万哈卡尔塔诺
卡莱维·泰尔沃
埃罗·莱赫托瓦拉
安蒂·佩赫科宁
亚里·萨里南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ABB Schweiz AG
Original Assignee
ABB Schweiz AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ABB Schweiz AG filed Critical ABB Schweiz AG
Publication of CN111373283A publication Critical patent/CN111373283A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/56—Display arrangements
    • G01S7/62—Cathode-ray tube displays
    • G01S7/6281—Composite displays, e.g. split-screen, multiple images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
    • G01S13/917—Radar or analogous systems specially adapted for specific applications for traffic control for marine craft or other waterborne vessels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/937—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of marine craft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04—Display arrangements
    • G01S7/06—Cathode-ray tube displays or other two dimensional or three-dimensional displays
    • G01S7/062—Cathode-ray tube displays or other two dimensional or three-dimensional displays in which different colours are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04—Display arrangements
    • G01S7/06—Cathode-ray tube displays or other two dimensional or three-dimensional displays
    • G01S7/24—Cathode-ray tube displays or other two dimensional or three-dimensional displays the display being orientated or displaced in accordance with movement of object carrying the transmitting and receiving apparatus, e.g. true-motion radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51—Display arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/56—Display arrangements
    • G01S7/62—Cathode-ray tube displays
    • G01S7/6263—Cathode-ray tube displays in which different colours are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/56—Display arrangements
    • G01S7/62—Cathode-ray tube displays
    • G01S7/629—Cathode-ray tube displays the display being oriented or displaced in accordance with the movement of object carrying the transmitting and receiving apparatus
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Ocean & Marine Engineering (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)

Abstract

对海洋船舶的周围环境的实时监测。一个或更多个观测传感器模块(102)被配置和定位成生成围绕海洋船舶(150)延伸的传感器数据(140)。一个或更多个数据处理器(104)被配置成关于海洋船舶(150)的虚拟模型(108)对传感器数据(140)进行映射和可视化。用户接口(106)被配置成从用户可选择视点将虚拟模型(108)与可视化传感器数据(140)一起显示给海洋船舶(150)的船员(152A，152B)。

Description

对海洋船舶的周围环境的实时监测
技术领域
本发明涉及用于对海洋船舶的周围环境进行实时监测的系统、包括该系统的海洋船舶、用于对海洋船舶的周围环境进行实时监测的计算机实现的方法、以及包括用于一个或更多个数据处理器的计算机程序代码的计算机可读介质。
背景技术
对于船员来说，在港口区域和其他拥挤区域以及此外在公海中进行船只操纵是一项非常艰巨的任务。船员难以完全看到并掌握海洋船舶的周围环境中发生的情况。
船舶雷达系统通常具有长测程，但是信息的分辨率未高到足以提供对对象的精确检测，尤其是当对象接近时。船舶雷达系统不是针对精确的短程测量而设计的。另外，对于可靠的态势感知而言，基于单一技术的信息可能是不足的。
发明内容
本发明试图提供用于对海洋船舶的周围环境的实时监测的改进的系统、包括该改进的系统的海洋船舶、用于对海洋船舶的周围环境的实时监测的计算机实现的方法、以及包括用于一个或更多个数据处理器的计算机程序代码的计算机可读介质。
根据本发明的一方面，提供了如权利要求1所述的系统。
根据本发明的另一方面，提供了如权利要求34所述的海洋船舶。
根据本发明的另一方面，提供了如权利要求36所述的方法。
根据本发明的另一方面，提供了如权利要求37所述的计算机可读介质。
由于用户接口以直观的方式并且从用户可选择的视点呈现海洋船舶及其周围环境，本发明可以为船只操纵提供增加的安全性。
附图说明
下面参照附图仅以示例的方式，描述本发明的示例实施方式，在附图中，
图1、图2、图3、图4、图5和图6示出了系统的示例实施方式；
图7A、图7B、图7C、图8、图9、图10A、图10B和图11示出了用户接口的示例实施方式；以及
图12是示出方法的示例实施方式的流程图。
具体实施方式
以下实施方式仅是示例。尽管说明书在若干位置可能提及“一个”实施方式，但这不一定意味着每个这样的提及是针对相同的实施方式，或者特征仅适用于单个实施方式。也可以将不同实施方式的单个特征组合以提供其他实施方式。此外，词语“包括”和“包含”应当被理解为不将所描述的实施方式限制为仅由已经提到的那些特征组成，并且这样的实施方式还可以包含未特别提到的特征/结构。
首先研究图1，其示出了用于实时监测海洋船舶150的周围环境156的系统100的示例实施方式。注意，在本申请中，“实时”是指硬实时或接近实时，这意味着仅存在减慢了操作的所需的处理和传输延迟。
系统100包括一个或更多个观测传感器模块102，其被配置和定位成生成围绕海洋船舶150延伸的传感器数据140。
在示例实施方式中，一个或更多个观测传感器模块102包括一个或更多个对象检测传感器120和/或一个或更多个数字成像传感器122。
对象检测传感器120可以是例如雷达系统(例如，在各种射频范围中，诸如沿海海洋系统、海洋雷达系统、短程雷达或长程雷达)、激光雷达系统(通过用脉冲激光照射对象来测量到对象的距离，并且用传感器测量反射脉冲)、声纳系统(诸如收听由海洋船舶产生的声音的被动声纳，或发射声音脉冲并且收听回波的主动声纳)、超声检测系统或声学检测系统。
数字成像传感器122可以是例如视频摄像装置、近红外摄像装置、红外摄像装置、前视红外摄像装置或高光谱摄像装置。
除了这些传感器类型之外，观测传感器模块102可以包括能够根据周围环境156生成传感器数据140的另一类型的传感器，例如测量环境水深度的激光器。
系统100包括一个或更多个数据处理器104，其与一个或更多个观测传感器模块102通信地耦接，并且被配置成关于海洋船舶150的虚拟模型108对传感器数据140进行映射和可视化。
术语“处理器”104是指能够处理数据的装置。根据所需的处理能力，系统100可以包括作为单独处理器或作为并行处理器或作为多核处理器的若干数据处理器104。
数据处理器104还利用存储器。术语“存储器”是指能够在运行时间存储数据(＝工作存储器)或永久地存储数据(＝非易失性存储器)的装置。工作存储器和非易失性存储器可以由随机存取存储器(RAM)、动态RAM(DRAM)、静态RAM(SRAM)、闪存、固态盘(SSD)、PROM(可编程只读存储器)、合适的半导体或实现电子计算机存储器的任何其他装置来实现。
数据处理器104和存储器可以由电子电路实现。数据处理器104和存储器的实现技术的非详尽列表包括但不限于：逻辑部件、标准集成电路、专用集成电路(ASIC)、片上系统(SoC)、专用标准产品(ASSP)、微处理器、微控制器、数字信号处理器、专用计算机芯片、现场可编程门阵列(FPGA)以及其他合适的电子结构。
该系统包括用户接口106，其与一个或更多个数据处理器104通信地耦接，并且被配置成从用户可选择视点将虚拟模型108与可视化传感器数据140一起显示给海洋船舶150的船员152A、152B。
船员152A、152B是驾驶海洋船舶150或作为船员水手进行协助的人：船长、驾船高级船员、高级船员、值班高级船员、舵手或其他甲板船员水手，或者甚至领航员。
用户接口106实现向船员152A、152B的图形、文本以及可能还有听觉信息的呈现。用户接口106可以用于执行关于对系统100进行控制(例如选择视点)的所需用户动作。用户接口106可以用各种技术来实现，但是至少它包括用适当技术制造的显示器107。用户接口106还可以包括例如用于产生声音的装置、键盘和/或小键盘。用于产生声音的装置可以是扬声器或用于产生嘟嘟声或其他声音信号的更简单的装置。键盘/小键盘可以包括完整(QWERTY)键盘、纯粹的数字小键盘或仅几个下压按钮和/或旋转按钮。另外，或替选地，用户接口可以包括其他用户接口部件，例如用于聚焦光标的各种装置(鼠标、跟踪球、箭头键、触敏区域等)或实现音频控制的元件。
显示器107可以用各种技术来实现，例如：
-投影在窗上(如在平视显示器中，参见WO 2013/174673)；
-作为固定监视器；
-作为触摸屏；
-诸如平板电脑或平板手机的移动装置的一部分；或
-在(具有增强现实或虚拟现实的)智能眼镜中。
在示例实施方式中，虚拟模型108是三维虚拟模型，并且用户可选择视点限定三维虚拟模型108的选择的视角。
主要的参与者是：一个或更多个观测传感器模块102、一个或更多个数据处理器104以及用户接口106。
在示例实施方式中，一个或更多个数据处理器104和用户接口106可以集成到可以由船员152A、152B操纵并且具有足够的处理能力的单个计算装置中：计算机、便携式计算机、膝上型计算机、移动电话、智能电话、平板计算机、智能眼镜或任何其他便携式/固定计算装置。
在示例实施方式中，单个计算装置是通用现成计算装置，而不是专用的专有装备，由此研究和开发成本将更低，因为仅需要设计、实现和测试专用软件(而非硬件)。
这些参与者之间的通信可以利用适当的有线/无线通信技术和标准/专有协议来实现。
在示例实施方式中，通过利用同轴电缆、双绞线或光纤的合适的通信技术(例如LAN(局域网)或以太网)来实现有线通信。
在示例实施方式中，无线通信通过诸如蓝牙、蓝牙低能量、Wi-Fi、WLAN(无线局域网)的合适的无线电通信技术或诸如GSM、GPRS、EGPRS、WCDMA、UMTS、3GPP、IMT、LTE、LTE-A等的合适的蜂窝通信技术——而不管代(2G、3G、4G、5G等)——来实现。
研究图7A、图7B和图7C，它们显示了不同视点或规划的观察视角。
在图7A中，在用户接口106中示出了俯视图。示出了海洋船舶150的虚拟模型108。在周围环境中，示出了另一海洋船舶700和海岸线710。
图7B示出了用户接口106中的从海洋船舶150的驾驶台(bridge)看的视图。
图7C示出了用户接口106中的从海洋船舶150的后右舷看的视图。除了也在俯视图和驾驶台视图中示出的海洋船舶700之外，现在船员152A、152B看到另一海洋船舶720。这证明了用户可选择视点显著地增加了安全性，因为船员152A、152B可以从不同的视点检查周围环境。
注意，用户接口106中所示的视图可以是虚拟的、真实的、或部分虚拟且部分真实的。例如，周围环境156和虚拟模型108两者都可以以虚拟现实示出在例如海图上。另一方面，周围环境156可以被显示为真实的，由数字成像传感器122拍摄，但是海洋船舶150由在真实周围环境156上设置的其虚拟模型108表示。规划视点可以由合适的图形引擎生成，例如能够在真实/虚拟环境156上显示虚拟模型108的游戏图形引擎。
还应注意，视点可以是预定的或用户定义的，并且可以存在有限数量的不同视图，或者用户可以通过选择到(可能是三维的)虚拟模型108的视角来自由地限定所选择的视点。
在示例实施方式中，用户接口106被配置成基于三维虚拟模型108的所选择的观察视角来平移和缩放用户可选择视点。
虚拟模型108可以在虚拟模型108的局部坐标系中，即在海洋船舶150的坐标系中，或者在周围环境156的全局坐标系中，即在诸如WGS 84、EUREF 89的世界坐标系或国家/国际海图坐标系中，进行可视化。
因此，在示例实施方式中，一个或更多个数据处理器104被配置成在虚拟模型108的局部坐标系中对虚拟模型108进行建模和可视化，并且关于局部坐标系对传感器数据140进行映射和可视化，并且用户接口106被配置成从相对于局部坐标系调整的用户可选择视点将虚拟模型108与可视化传感器数据140一起显示。
在替选示例实施方式中，一个或更多个数据处理器104被配置成在海洋船舶150的周围环境156的全局坐标系中对虚拟模型108进行建模和可视化，并且关于全局坐标系对传感器数据140进行映射和可视化，并且并且用户接口106被配置成从相对于全局坐标系调整的用户可选择视点将虚拟模型108与可视化传感器数据140一起显示。
在图11中所示的示例实施方式中，用户接口106被配置成使用分屏技术从至少两个不同的用户可选择视点1100、1102将虚拟模型108与可视化传感器数据140一起显示。这进一步增强了安全性，因为船员152A、152B现在从两个不同的视点同时看到周围环境156，并且可以做出关于操纵的知情决定，并且还决定是否需要在用户接口106中选择和查看另一视点。
系统100利用传感器技术并且可能还利用计算机视觉来向船员152A、152B提供海洋船舶150的周围环境156的多个实时可视化，这将使船只导航和操作更容易、更安全和更高效。
在系统100的核心是观测传感器模块102，其是战略性地位于海洋船舶150上或海洋船舶周围和/或安装在海洋船舶150之外的集成传感器单元，其融合了例如激光雷达、雷达、高分辨率RGB数字摄像装置、用于低光和夜间视觉的近红外摄像装置等的不同能力。
系统100还可以导入和合并来自其他船只系统例如导航、船只响应器和天气数据的操作和航程特定数据。通过混合来自这些传感器的输入，在示例实施方式中，系统100可以提供360度水平视场和最小几度的垂直抬高，从而预想海洋船舶150的周围环境156。
系统100实时地组合和叠加来自不同传感器类型的可视化，同时船员152A、152B选择和操纵视角。
经组合的由传感器102、134、154捕获的周围环境156的数据可以在显示器107中被分层和掩蔽以区分对象和与它们的距离。这有助于船员152A、152B在变化和挑战性的环境中更好地看到。通过将传感器数据置于相同的校准协调中并且通过对数据进行分层和掩蔽，可以创建以下视觉能力，在该视觉能力中利用每个单独传感器层的最佳性能来突出显示某些对象(动态的，以及也可能是静态的)以及改变环境颜色。在白天，背景可以是单色的，并且动态对象用RGB颜色示出。在夜间或黄昏期间，所有想要的识别的稳定对象和动态对象(例如来自激光雷达和雷达数据)可以用选定的RGB颜色突出显示。
用户接口106可以使得能够选择传感器层以供使用。这再加上来自其他船只系统的一些附加信息、海上浮标系统、船只移动预测、碰撞检测、速度、风和其他天气因素、来自推进器的可用功率可以全部被层叠在所描述的所有传感器数据层之上。
通过从其他人的视角来察看实时操作，给予了对操作的更多可见性。通过组合由传感器102、134、154捕获的周围环境156的数据，可以针对海洋船舶150的虚拟1:1比例模型创建真实的周围环境和行为，并且连同所收集的数据，可以从第三人的视角(例如，鸟瞰(顶部)或拉力赛游戏视角(后面))察看操作，以及自由地平移和缩放视角并且实现关于船舶操作的更好的视点和态势感知。这在图7A、图7B和图7C中示出，并且可以被认为是独立的示例，该示例可以独立于关于系统100描述的其他主题来实现。
如图2和图3所示，海洋船舶150可以包括系统100，即，系统100在海洋船舶150上。
一个或更多个观测传感器模块102A、102B、102C、102D可以适当地分布在海洋船舶150周围。
注意，一个或更多个观测传感器模块102的结构和功能也被认为是独立的示例实施方式，其可以独立于关于系统100描述的其他主题来实现。
在示例实施方式中，观测传感器模块由防风雨的壳体保护。壳体也可以是防震的。
在已经提到的示例实施方式中，一个或更多个观测传感器模块102包括一个或更多个对象检测传感器120和/或一个或更多个数字成像传感器122。
在示例实施方式中，将惯性测量单元(稍后描述)放置在观测传感器模块102中。
在示例实施方式中，一个或更多个观测传感器模块102是不活动的。固定或静态性质可以确保观测传感器模块102更好地承受艰险(例如惊涛骇浪和盐水)。
在示例实施方式中，一个或更多个观测传感器模块102可以被配置和定位成使得以规划的水平视场和规划的竖直视场围绕海洋船舶150获得传感器数据140。在示例实施方式中，规划的水平视场是360度。在示例实施方式中，规划的竖直视场是几度(或典型雷达的竖直视场，例如在3度至10度之间或甚至更大)。然而，在一些示例实施方式中，例如，当使用激光雷达和/或数字成像传感器时，规划的竖直视场可以更大，例如约90度。规划的视场可以取决于海洋船舶150的大小、航行环境和影响海洋船舶150的可见性的其他因素。在示例实施方式中，可以通过组合来自不同传感器102的不同视场来获得视场。例如，雷达、激光雷达和一个或更多个数字成像传感器可以在用户接口106中产生在水平方向和竖直方向两者上具有规划的视场的复合视图。在示例实施方式中，不同传感器的视场可以重叠、部分重叠或彼此相邻。
在示例实施方式中，一个或更多个观测传感器模块102可以在缺少机械或光学平移、倾侧或缩放调整的情况下实现水平视场和竖直视场。同样，该特征可以提高观测传感器模块102的预期寿命。
一个或更多个观测传感器模块102可以被配置成使用无线通信技术与一个或更多个数据处理器104通信。
一个或更多个观测传感器模块102可以被配置成由电池或本地电力输入线缆供电。一个或更多个观测传感器模块102可以被配置成由以太网供电技术供电。
在图2中，一个或更多个观测传感器模块102被配置和定位成使得它们在海洋船舶150上。
在图4的替选示例实施方式中，一个或更多个观测传感器模块102被配置和定位成使得它们被放置在海洋船舶150之外。图4示出了该特征的一些实现方式：观测传感器模块102C可以放置在岸上(例如，在与陆地或码头耦接的适当支持结构中)，观测传感器模块102D可以在另一个海洋船舶162上，或者观测传感器模块102B可以放置在无人(空中或海上)交通工具402中。
图4还示出，除了放置在海洋船舶150之外以外，一个或更多个观测传感器模块102A也可以放置在海洋船舶150中。
图3和图4还示出了船员152A在海洋船舶150上。然而，如图1和图5所示，船员152B可以在海洋船舶150的外部，由此，除了船上的船员152A之外，或替代船上的船员152A，船员152B也能够远程控制海洋船舶150(其然后可以是无人或自主船)或至少另外监视(作为引导船通过危险水域但存在于例如领航站或另一个远程控制站中的领航员，并且可能也控制)海洋船舶150。因此，领航员152B可以更好地向船上的船员152A给予引导。
图6进一步示出了海洋船舶150中的观测传感器模块102的放置：观测传感器模块102A在船头；观测传感器模块102B、102C在高架结构中，例如在桅杆中；观测传感器模块102D在船尾；以及观测传感器模块102E、102F在舷侧(如所示在右舷侧，但也在左舷侧)。
除了观测传感器模块102之外，系统100还可以包括其他传感器和/或传感器接口，以获得另外的数据来显示在用户接口106中。
如图1所示，系统100可以包括运动输入接口110，该运动输入接口110被配置成从海洋船舶150的一个或更多个操纵传感器154获得运动数据142。一个或更多个数据处理器104与运动输入接口110通信地耦接，并且被配置成基于运动数据142对虚拟模型108的移动进行建模和可视化。用户接口106被配置成从用户可选择视点将虚拟模型108和可视化移动一起显示。在图8中示出了该特征：虚拟模型108被示出为具有示出了航向的移动线800。还可以示出速度：线800具有六个交叉线802，每个交叉线示出在一分钟内行进的距离，并且可以示出标记804，该标记示出六分钟后海洋船舶150的未来位置。
在示例实施方式中，一个或更多个数据处理器104被配置成基于海洋船舶150的数学模型和当前状态来预测海洋船舶150的未来状态。当前/未来状态可以包括海洋船舶150的运动状态、船舵状态和/或推进系统状态等。用户接口106被配置成示出预测的未来状态。此外，可以预测并示出其他海洋船舶162的未来状态。预测可以利用海洋船舶150的内部控制数据(来自其各个系统，例如发动机和船舵控制系统)，并且还可以利用使用各种传感器102、134、154以及从其他海洋船舶162和/或服务器160获得的其他数据140、142、144、146、148。
操纵传感器154可以是海洋船舶150的惯性测量单元(IMU，其使用加速度计和陀螺仪的组合，有时也使用磁力计)、海洋船舶150的全球导航卫星系统(GNSS)接收器、海洋船舶150的陀螺罗经、海洋船舶150的测斜计(测量倾斜或倾侧的角度)、或控制从海洋船舶150向环境水施加力的一个或更多个设备的控制系统。
施加力的设备可以是驱动螺旋桨并且与船舵、船尾推进器、隧道式(或船首)推进器422、电吊舱方位推进器(例如
Figure BDA0002496090450000091
)等交互的电动马达。
图1还示出了系统100可以包括辅助输入接口112，该辅助输入接口112被配置成从一个或更多个辅助传感器134获得辅助数据144。一个或更多个数据处理器104与辅助输入接口112通信地耦接，并且被配置成关于虚拟模型108对辅助数据144进行映射和可视化。用户接口106被配置成从用户可选择视点将虚拟模型108和可视化辅助数据144一起显示。
辅助传感器134可以是海洋船舶150的电子导航图系统、海洋船舶150的船用应答器收发器118、海洋船舶150的天气数据系统或周围环境156中的海上浮标系统。
船用应答器接收器118可以例如根据AIS(自动识别系统)来操作。图7B示出了在用户接口106中示出辅助数据144、720：船的类型是“TUG”(“拖船”)；IMO(国际海事组织)号为“1234567”；以及MMSI(海事移动服务标识)为“123456789”。图7B还示出了基于将海洋船舶108的自身位置与从拖船700的AIS应答器获得的位置、航向和速度进行比较而发出的“碰撞警报”722。另外的辅助数据144在用户接口106中给出：拖船700在32.8米外，其速度为2mph，并且其处于与海洋船舶108的碰撞航向上。
在图1中示出的示例实施方式中，系统100包括无线电收发器162，该无线电收发器162被配置成与网络服务器160和/或直接与另一海洋船舶162交换传感器数据146，该网络服务器160与多个其他海洋船舶162通信。
网络服务器160可以用任何适用技术来实现。其可以包括一个或更多个集中式计算设备，或者其可以包括多于一个的分布式计算设备。其可以用客户端-服务器技术或在云计算环境中来实现，或者用能够与系统100通信的另一技术来实现。
图10A示出了海洋船舶100必须依赖于可能通过运动数据142和辅助数据112增强的、其自己的传感器数据140的情况。在系统100的范围1000内，示出了一些海岸线1010、1012。
在图10B中，无线电收发器162被配置成获得由另外的船舶162A、162B生成的外部传感器数据，一个或更多个数据处理器104被配置成关于虚拟模型对外部传感器数据进行映射和可视化。因此，可以组合三个海洋船舶150、162A、162B的系统100的范围1000、1020、1030，并且用户接口106被配置成从用户可选择视点将虚拟模型108和可视化外部传感器数据146一起进行显示：除了海岸线1010、1012之外，还可以为船员152A、152B示出另外的海岸线1022、1032以及还有其他海洋船舶162A、162B。这样的协作还可以帮助其他海洋船舶162A、162B的船员，并且他们可以与船员152A、152B看到相同的信息，但是当然是从不同的方向。
可以实时或非实时地实现图10B的特征：外部传感器数据146可以源自处于或之前处于海洋船舶150的当前位置处或附近的海洋船舶162A/162B。
图1和图10B还示出了可以独立于关于系统100描述的其他主题来实现的两个独立的示例实施方式。通过所描述的协作，如图10A所示的海洋船舶108的有限的感测范围1000如图10B所示通过组合的感测范围1000、1020、1030被加宽。
通常，操作者依赖于来自天气预报提供者的天气预报以及来自AIS的自动识别数据。由于这样的数据远非实时数据，因此可能是过时的。可以直接和/或通过网络服务器160与其他海洋船舶162共享海洋船舶150的本地生成的传感器数据。该通信可以用合适的无线电收发器例如用船用应答器系统或用
Figure BDA0002496090450000111
VISION系统来实现。通过利用数据传感器以及动态、静态和航程特定数据，可以得到实时数据并与其他操作者共享，而不仅依靠预报。将海洋船舶150的周围环境156的传感器视觉与来自其他船舶的数据例如AIS(动态、静态和航程特定数据)、天气、最后路线等进行组合。
1.系统100收集并处理经由传感器和船识别系统(例如，AIS(自动识别系统)和天气预报提供者传输的数据。
2.配备有类似的传感器和应答器的所有海洋船舶150、162可以发射可以由任何数据接收单元接收的数据。
3.天线和传感器拾取数据，将数据发送至收发器站，收发器站将数据发送至服务器160，并且服务器160将数据发送至中央数据库164，在中央数据库，数据与来自各个接收站的其他信息一起被存储和处理。
4.中央数据库164包括数据并且与MarineTraffic数据库等共享数据。
5.组合的数据用于船舶操作中。来自这些传感器102、134、154的AIS型数据和实时数据彼此互补，以用于实现更好的态势感知和路线规划。
海洋船舶150、162可以独立地利用其用传感器捕获的数据，但是同样的数据也可以被其他船员利用。也可以在静态海岸设施等上利用系统100，使得较小的船舶可以在接近由传感器捕获的区域或在由传感器捕获的区域中航行时使用数据。
海洋船舶162甚至可以仅利用由其他海洋船舶150捕获的数据，即，海洋船舶不一定需要系统100的任何传感器，而是仅需要用户接口106和接收器114(以及可能还需要用于本地数据操作的一个或更多个数据处理器104)。以此方式，海洋船舶162从协作中极大地受益。由海洋船舶162接收的数据可以是实时数据和/或者数据可以是由其他海洋船舶150收集的历史数据。例如，海洋船舶162可以是拖曳海洋船舶162的拖船(或甚至许多拖船)，从而拖船人员各自在其自己的用户接口106中能够看到海洋船舶150的船员152A所看到的。拖船人员可以看到被拖曳的海洋船舶150的预测运动，这可以极大地帮助操作并且也增加安全性。在第二独立示例实施方式中，在短程和长程雷达中，实时无线电波从对象反射，并且可以用无线电波计算速度和距离。激光雷达的实时光脉冲会从对象反射，从而可以区分对象。这些技术受到下述事实的限制：这些技术仅看到与传感器垂直的表面的反射，并且该可见视野后面的其他障碍物是隐藏的。因此，通过组合的传感器技术收集的数据改进了海洋船舶150的态势感知。与由其他海洋船舶162捕获的数据组合的该数据可以创建更广且更好的态势感知(situational awarenesss)。例如，海洋船舶150基于其当前位置和请求的范围从服务器160要求数据，并且服务器160将数据发送至海洋船舶150。
在图9中示出的示例实施方式中，一个或更多个数据处理器104被配置成基于对传感器数据140的分析检测海洋船舶150的周围环境156中的一个或更多个对象910、920，关于虚拟模型108对检测到的一个或更多个对象进行映射和可视化。用户接口106被配置成从用户可选择视点将虚拟模型108与一个或更多个对象910、920一起显示。
在示例实施方式中，可以通过显示对象910、920的图像来可视化检测到的对象910、920。可以基于对象910、920的(二维或三维的)虚拟模型、基于通过一个或更多个观测传感器模块102(例如，对象检测传感器120和/或数字成像传感器122)获得的图像(或轮廓)来生成图像，或者通过基于对象910、920的标识数据(例如MMSI或IMO号)从数据库164获得的(例如，从AIS用船用应答器接收器118获得的)图像来生成图像。例如，对象检测传感器120可以生成对象910、920的轮廓，或者数字成像传感器122可以生成对象910、920的图像。
在示例实施方式中，对象910、920的虚拟模型可以通过由通用模型(例如，对于每种类型的船，数据库164可以包括多个不同的模型)进行缩放来生成。也可以关于视点将模型旋转到正确的位置。
在示例实施方式中，一个或更多个数据处理器104被配置成通过用雷达分析技术和/或激光雷达分析技术和/或声纳分析技术分析传感器数据140来检测一个或更多个对象910、920。
在示例实施方式中，一个或更多个数据处理器104被配置成通过用机器视觉或计算机视觉技术(例如，对象识别和跟踪技术)分析传感器数据140来检测一个或更多个对象910、920。机器或计算机视觉系统可以被配置成检测存在于海洋和港口中的典型对象：各种船只类型、水运工具、起重机、码头结构等。
如图1所示，系统100可以包括一个或更多个红外照明器118，该红外照明器118被配置和定位成当海洋船舶150的周围环境156处于黄昏或黑暗中时对近红外摄像装置或红外摄像装置的视场进行照明。这可以使在黄昏或黑暗中对物体910、920的检测变得容易。
在示例实施方式中，一个或更多个数据处理器104被配置成基于通过海洋船舶150的船用应答器收发器118接收的辅助数据148对检测到的对象910、920标记唯一标识符。用户接口106配置成显示检测到的对象910、920的唯一标识符。
在图8的示例实施方式中，一个或更多个数据处理器104被配置成基于通过船用应答器收发器118接收的辅助数据148来获得检测到的对象810、820的航向和速度数据。用户接口106被配置成显示检测到的对象810、820的航向和速度812、814、822、824。
在示例实施方式中，一个或更多个数据处理器104被配置成基于检测到的对象910、920的唯一标识符从数据库164获得检测到的对象910、920的图像数据。用户接口106被配置成基于图像数据显示检测到的对象910、920的图像。
在示例实施方式中，一个或更多个数据处理器104被配置成用至少两个值(即，良好可见性和不良可见性)的标度来确定海洋船舶150的周围环境156中的可见性。用户接口106被配置成用在背景中突出的安全色912、922显示检测到的对象910、920。
在示例实施方式中，用户接口106被配置成以单色显示背景。
在图9的示例实施方式中，用户接口106被配置成在可见性具有值不良可见性的情况下用安全色912、922显示动态或静态的检测到的对象910、920。图9示出了在假设对象910和920两者均是动态或静态的并且可见性不良的情况下的该特征。
在图9的示例实施方式中，用户接口106被配置成在可见性具有值良好可见性的情况下仅用安全色922显示动态的检测到的对象920。图9示出了在假设对象920是动态的、对象910是静态的并且可见性良好的情况下的该特征。
在图8的示例实施方式中，一个或更多个数据处理器104被配置成估计检测到的对象810、820与海洋船舶150的可能碰撞危险。用户接口106被配置成用安全色830显示具有碰撞危险的检测到的物体810。例如，可以如下进行碰撞估计：
-使用聚类、分类方法、机器视觉技术或计算机视觉技术(或从诸如AIS的船用应答器系统获得信息)将对象810、820进行分类；
-使用跟踪算法来跟踪对象810、820，跟踪算法包括但不限于基于核的跟踪、轮廓跟踪、卡尔曼滤波器、粒子滤波器或贝叶斯滤波器；
-基于对象的先前位置计算(或从AIS获得)所有对象810、820的速度和航向，这也可以直接由跟踪算法执行；
-针对所有对象810、820计算最接近点(CPA)以及到最接近点的时间(TCPA)；以及
-突出显示在一定时间(TCPA)以下更接近一定CPA值的对象。
图8还示出了一个或更多个数据处理器104可以被配置成识别来自海洋船舶150负责(例如，根据COLREGS)进行碰撞避免操纵的方向的检测到的对象810。用户接口106被配置成用增强的安全色832显示海洋船舶150负责针对其进行碰撞避免操纵的检测到的对象810。
在示例实施方式中，一个或更多个数据处理器104被配置成估计负责进行碰撞避免操纵的海洋船舶150/810是否将成功，并且，如果估计显示可能发生碰撞，则用户接口106被配置成发出碰撞警报。注意，该示例实施方式可以应用于海洋船舶150和/或其他海洋船舶810/162(＝检测到的对象)。
一个或更多个数据处理器104还可以被配置成使用机器视觉或计算机视觉技术根据应答器数据或分类结果考虑检测到的对象810的物理特性，并且估计对象810改变其航向和速度的能力。如果检测到的对象810例如是大型油轮，则其不能非常快地改变航向或速度。因此，可以使船员152A、152B意识到负责进行碰撞避免操纵的船舶由于从应答器系统获得的物理尺寸或减小的操纵能力信息而不可能及时进行这样的操纵以防止碰撞。物理特性可以基于依据船舶标识号从公共或商业数据库(例如164)获得的数据。这些特性可以包括质量、吃水、速度、推进功率、长度、宽度和其他相关信息。可以使用这些特性来生成船舶810的数学模型，该数学模型可以用于计算船舶810的能力区，该能力区意味着检测到的对象810的航向和速度在物理上可能的最大改变。检测到的对象810的能力区可以在用户接口106中为用户152A、152B示出，并且被突出显示以给出检测到的对象810不能够遵循COLREGS并且因此需要特别注意的信息。注意，该示例实施方式可以应用于海洋船舶150(意味着该海洋船舶的能力、运动状态和其他以上提及的因素在判定其自身是否能够避免与检测到的对象碰撞时被考虑在内)，和/或应用于如上所述的其他海洋船舶810/162(＝检测到的对象)。系统100还能够例如用收发器114或用船用应答器系统(例如，AIS)发射器将碰撞警报发送至其他海洋船舶810。
图12是示出用于对海洋船舶150的周围环境156进行实时监测的计算机实现的104方法的示例实施方式的流程图。
操作不一定按时间顺序进行，并且操作中的一些可以同时执行或以与给定操作顺序不同的顺序执行。其他功能也可以在操作之间或在操作内执行，并且其他数据可以在操作之间交换。操作中的一些或操作中的部分也可以被省去或由对应的操作或操作中的部分代替。应当注意，除了由于处理顺序的逻辑要求而有必要的情况，不需要特定的操作顺序。
方法始于1200。
在1202中，用一个或更多个观测传感器模块获得围绕海洋船舶延伸的传感器数据。
在1204中，关于海洋船舶的虚拟模型对传感器数据进行映射和可视化。
在1206中，从用户可选择视点将虚拟模型与可视化传感器数据一起显示给海洋船舶的船员。
方法结束于1212，或者其可以从操作1206循环1208回到操作1202，以保持实时地监测周围环境。
在示例实施方式1210中，虚拟模型是三维虚拟模型，并且用户可选择视点限定三维虚拟模型的规划观察视角。
方法可以由较早描述的系统100来实现。也可以利用系统100的描述的示例实施方式来增强方法。
图1中示出的示例实施方式提供了一种计算机可读介质130，该计算机可读介质130包括用于一个或更多个数据处理器104的计算机程序代码132，计算机程序代码132在被加载到一个或更多个数据处理器104并由数据处理器104执行时，使一个或更多个数据处理器104执行图12的用于对海洋船舶150的周围环境156的实时监测的计算机实现的方法。
计算机程序代码132可以由软件实现。在示例实施方式中，软件可以由合适的编程语言(例如，诸如C、C++或Java的高级编程语言，或诸如机器语言或汇编语言的低级编程语言)编写，并且所得的可执行代码132可以存储在存储器上并且由数据处理器104运行。
在示例实施方式中，可以根据使用的软件设计方法和编程语言将计算机程序代码132的操作划分为功能模块、子例程、方法、类、对象、小应用程序、宏等。在现代编程环境中，存在软件库，即现成功能的汇编，其可以由计算机程序代码132使用以执行各种各样的标准操作。在示例实施方式中，计算机程序代码132可以是源代码形式、目标代码形式、可执行文件或呈某种中间形式。
计算机可读介质130可以包括至少以下：能够将计算机程序代码132携载至数据处理器104的任何实体或装置、记录介质、计算机存储器、只读存储器、电载波信号、电信信号和软件分发介质。在一些管辖区中，根据立法和专利实践，计算机可读介质130可能不能是电信信号。在示例实施方式中，计算机可读介质130可以是计算机可读存储介质。在示例实施方式中，计算机可读介质130可以是非暂态计算机可读存储介质。
对于本领域技术人员将明显的是，随着技术的进步，可以以各种方式实现本发明构思。本发明及其实施方式不限于上述示例实施方式，而是可以在权利要求的范围内变化。

Claims (37)

1.一种用于对海洋船舶(150)的周围环境(156)的实时监测的系统(100)，包括：
一个或更多个观测传感器模块(102)，其被配置和定位成生成围绕所述海洋船舶(150)延伸的传感器数据(140)；
一个或更多个数据处理器(104)，其与所述一个或更多个观测传感器模块(102)通信地耦接，并且被配置成关于所述海洋船舶(150)的虚拟模型(108)对所述传感器数据(140)进行映射和可视化；以及
用户接口(106)，其与所述一个或更多个数据处理器(104)通信地耦接，并且被配置成从用户可选择视点将所述虚拟模型(108)与可视化传感器数据(140)一起显示给所述海洋船舶(150)的船员(152A，152B)。
2.根据权利要求1所述的系统，其中，所述虚拟模型(108)是三维虚拟模型，并且所述用户可选择视点限定所述三维虚拟模型(108)的选择的观察视角。
3.根据权利要求2所述的系统，其中：
所述用户接口(106)被配置成基于所述三维虚拟模型(108)的选择的观察视角来平移和缩放所述用户可选择视点。
4.根据前述权利要求中任一项所述的系统，其中：
所述一个或更多个数据处理器(104)被配置成在所述虚拟模型(108)的局部坐标系中对所述虚拟模型(108)进行建模和可视化，并且关于所述局部坐标系对所述传感器数据(140)进行映射和可视化；并且
所述用户接口(106)被配置成从相对于所述局部坐标系调整的所述用户可选择视点将所述虚拟模型(108)与所述可视化传感器数据(140)一起显示。
5.根据前述权利要求中任一项所述的系统，其中：
所述一个或更多个数据处理器(104)被配置成在所述海洋船舶(150)的周围环境(156)的全局坐标系中对所述虚拟模型(108)进行建模和可视化，并且关于所述全局坐标系对所述传感器数据(140)进行映射和可视化；并且
所述用户接口(106)被配置成从相对于所述全局坐标系调整的所述用户可选择视点将所述虚拟模型(108)与所述可视化传感器数据(140)一起显示。
6.根据前述权利要求中任一项所述的系统，其中：
所述用户接口(106)被配置成使用分屏技术从至少两个不同的用户可选择视点(1400，1402)将所述虚拟模型(108)与所述可视化传感器数据(140)一起显示。
7.根据前述权利要求中任一项所述的系统，其中：
所述系统(100)包括运动输入接口(110)，所述运动输入接口被配置成从所述海洋船舶(150)的一个或更多个操纵传感器(154)获得运动数据(142)；
所述一个或更多个数据处理器(104)与所述运动输入接口(110)通信地耦接，并且被配置成基于所述运动数据(142)对所述虚拟模型(108)的移动进行建模和可视化；并且
所述用户接口(106)被配置成从所述用户可选择视点将所述虚拟模型(108)与可视化移动一起显示。
8.根据前述权利要求中任一项所述的系统，其中：
所述系统(100)包括辅助输入接口(112)，所述辅助输入接口被配置成从一个或更多个辅助传感器(134)获得辅助数据(144)；
所述一个或更多个数据处理器(104)与所述辅助输入接口(112)通信地耦接，并且被配置成关于所述虚拟模型(108)对所述辅助数据(144)进行映射和可视化；并且
所述用户接口(106)被配置成从所述用户可选择视点将所述虚拟模型(108)与可视化辅助数据(144)一起显示。
9.根据前述权利要求中任一项所述的系统，其中：
所述系统(100)包括无线电收发器(162)，所述无线电收发器被配置成与网络服务器(160)和/或直接与另一海洋船舶(162)交换传感器数据(146)，所述网络服务器与多个其他海洋船舶(162)通信。
10.根据权利要求9所述的系统，其中：
所述无线电收发器(162)被配置成获得由另一海洋船舶(162)生成的外部传感器数据；
所述一个或更多个数据处理器(104)被配置成关于所述虚拟模型对所述外部传感器数据进行映射和可视化；并且
所述用户接口(106)被配置成从所述用户可选择视点将所述虚拟模型(108)与可视化外部传感器数据(146)一起显示。
11.根据权利要求10所述的系统，其中，所述外部传感器数据(146)源自处于或之前处于所述海洋船舶(150)的当前位置处或附近的海洋船舶(162)。
12.根据前述权利要求中任一项所述的系统，其中：
所述一个或更多个数据处理器(104)被配置成基于对所述传感器数据(140)的分析检测所述海洋船舶(150)的周围环境(156)中的一个或更多个对象(910，920)，关于所述虚拟模型(108)对检测到的一个或更多个对象进行映射和可视化；并且
所述用户接口(106)被配置成从所述用户可选择视点将所述虚拟模型(108)与所述一个或更多个对象(910，920)一起显示。
13.根据权利要求12所述的系统，其中：
所述一个或更多个数据处理器(104)被配置成通过用雷达分析技术和/或激光雷达分析技术和/或声纳分析技术对所述传感器数据(140)进行分析来检测所述一个或更多个对象(910，920)。
14.根据权利要求12或13所述的系统，其中：
所述一个或更多个数据处理器(104)被配置成通过用机器视觉或计算机视觉技术对所述传感器数据(140)进行分析来检测所述一个或更多个对象(910，920)。
15.根据前述权利要求12至14中任一项所述的系统，其中：
所述系统(100)包括一个或更多个红外照明器(118)，所述红外照明器被配置和定位成当所述海洋船舶(150)的周围环境(156)处于黄昏或黑暗中时对近红外摄像装置或红外摄像装置的视场进行照明。
16.根据前述权利要求12至15中任一项所述的系统，其中：
所述一个或更多个数据处理器(104)被配置成基于通过所述海洋船舶(150)的船用应答器收发器(118)接收的辅助数据(148)来对检测到的对象(910，920)标记唯一标识符；并且
用户接口(106)被配置成显示检测到的对象(910、920)的唯一标识符。
17.根据权利要求16所述的系统，其中：
所述一个或更多个数据处理器(104)被配置成基于通过所述船用应答器收发器(118)接收的所述辅助数据(148)来获得检测到的对象(810，820)的航向和速度数据；并且
所述用户接口(106)被配置成显示检测到的对象(810，820)的航向和速度(812，814，822，824)。
18.根据权利要求16或17所述的系统，其中：
所述一个或更多个数据处理器(104)被配置成基于检测到的对象(910，920)的唯一标识符从数据库(164)获得检测到的对象(910，920)的图像数据；并且
所述用户接口(106)被配置成基于所述图像数据显示检测到的对象(910，920)的图像。
19.根据前述权利要求12至18中任一项所述的系统，其中：
所述一个或更多个数据处理器(104)被配置成用至少两个值即良好可见性和不良可见性的标度来确定所述海洋船舶(150)的周围环境(156)中的可见性；并且
所述用户接口(106)被配置成用在背景中突出的安全色(912，922)来显示检测到的对象(910，920)。
20.根据权利要求19所述的系统，其中：
所述用户接口(106)被配置成以单色显示所述背景。
21.根据权利要求19或20所述的系统，其中：
所述用户接口(106)被配置成在所述可见性具有值不良可见性的情况下用所述安全色(912，922)显示动态或静态的检测到的对象(910，920)。
22.根据权利要求19或20所述的系统，其中：
所述用户接口(106)被配置成在所述可见性具有值良好可见性的情况下仅用所述安全色(922)显示动态的检测到的对象(920)。
23.根据前述权利要求12至22中任一项所述的系统，其中：
所述一个或更多个数据处理器(104)被配置成估计检测到的对象(810，820)与所述海洋船舶(150)的可能碰撞危险；并且
所述用户接口(106)被配置成用安全色(830)显示具有碰撞危险的检测到的对象(810)。
24.根据权利要求23所述的系统，其中：
所述一个或更多个数据处理器(104)被配置成识别来自所述海洋船舶(150)负责进行碰撞避免操纵的方向的检测到的对象(810)；并且
所述用户接口(106)被配置成用增强的安全色(832)显示所述海洋船舶(150)负责针对其进行所述碰撞避免操纵的检测到的对象(810)。
25.根据权利要求23或24所述的系统，其中：
所述一个或更多个数据处理器(104)被配置成估计负责进行碰撞避免操纵的所述海洋船舶(150/810)是否将成功，并且，如果所述估计显示可能发生碰撞，则所述用户接口(106)被配置成发出碰撞警报。
26.根据前述权利要求中任一项所述的系统，其中，所述一个或更多个观测传感器模块(102)包括一个或更多个对象检测传感器(120)和/或一个或更多个数字成像传感器(122)。
27.根据前述权利要求中任一项所述的系统，其中：
所述一个或更多个观测传感器模块(102)是不活动的。
28.根据前述权利要求中任一项所述的系统，其中：
所述一个或更多个观测传感器模块(102)被配置和定位成使得以规划的水平视场和规划的垂直视场围绕所述海洋船舶(150)获得所述传感器数据(140)。
29.根据权利要求28所述的系统，其中：
所述一个或更多个观测传感器模块(102)在缺少机械或光学平移、倾侧或缩放调整的情况下实现所述水平视场和所述垂直视场。
30.根据前述权利要求中任一项所述的系统，其中：
所述一个或更多个观测传感器模块(102)被配置成使用无线通信技术与所述一个或更多个数据处理器(104)通信。
31.根据前述权利要求中任一项所述的系统，其中：
所述一个或更多个观测传感器模块(102)被配置成由电池或本地电力输入线缆供电。
32.根据前述权利要求中任一项所述的系统，其中：
所述一个或更多个观测传感器模块(102)被配置成通过以太网供电技术被供电。
33.根据前述权利要求中任一项所述的系统，其中：
所述一个或更多个观测传感器模块(102)被配置和定位成使得所述一个或更多个观测传感器模块在所述海洋船舶(150)上。
34.一种海洋船舶(150)，包括根据前述权利要求1至33中任一项所述的系统(100)。
35.根据前述权利要求中任一项所述的系统，其中：
所述一个或更多个观测传感器模块(102)被配置和定位成使得所述一个或更多个观测传感器模块被放置在所述海洋船舶(150)之外。
36.一种用于对海洋船舶的周围环境的实时监测的计算机实现的方法，包括：
用一个或更多个观测传感器模块获得(1202)围绕所述海洋船舶延伸的传感器数据；
关于所述海洋船舶的虚拟模型对所述传感器数据进行映射和可视化(1204)；以及
从用户可选择视点将所述虚拟模型与可视化传感器数据一起显示(1206)给所述海洋船舶的船员。
37.一种计算机可读介质(130)，包括用于根据前述权利要求1至35中任一项所述的一个或更多个数据处理器(104)的计算机程序代码(132)，所述计算机程序代码在被加载到所述一个或更多个数据处理器(104)并且由所述数据处理器(104)执行时，使所述一个或更多个数据处理器(104)执行根据权利要求36所述的用于对海洋船舶(150)的周围环境的实时监测的计算机实现的方法。
CN201780096961.9A 2017-11-17 2017-11-17 对海洋船舶的周围环境的实时监测 Pending CN111373283A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2017/079573 WO2019096401A1 (en) 2017-11-17 2017-11-17 Real-time monitoring of surroundings of marine vessel

Publications (1)

Publication Number Publication Date
CN111373283A true CN111373283A (zh) 2020-07-03

Family

ID=60480287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780096961.9A Pending CN111373283A (zh) 2017-11-17 2017-11-17 对海洋船舶的周围环境的实时监测

Country Status (4)

Country Link
US (1) US12066579B2 (zh)
EP (1) EP3710858A1 (zh)
CN (1) CN111373283A (zh)
WO (1) WO2019096401A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112526490A (zh) * 2020-12-11 2021-03-19 上海大学 一种基于计算机视觉的水下小目标声呐探测系统与方法
CN113253619A (zh) * 2021-07-13 2021-08-13 北京海兰信数据科技股份有限公司 一种船舶数据信息的处理方法及装置
CN113933306A (zh) * 2021-12-16 2022-01-14 交通运输部天津水运工程科学研究所 一种基于无人机进行数据采集的码头结构可靠性分析方法
CN114408105A (zh) * 2022-02-22 2022-04-29 苏州优世达智能科技有限公司 一种基于氢燃料电池技术的无人船
TWI793477B (zh) * 2020-12-04 2023-02-21 財團法人船舶暨海洋產業研發中心 船舶輔助校正系統及其運作方法

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10322787B2 (en) 2016-03-01 2019-06-18 Brunswick Corporation Marine vessel station keeping systems and methods
US10845812B2 (en) 2018-05-22 2020-11-24 Brunswick Corporation Methods for controlling movement of a marine vessel near an object
US11681040B2 (en) * 2018-08-21 2023-06-20 Siren Marine, Inc. Marine machine type communication device
US10926855B2 (en) 2018-11-01 2021-02-23 Brunswick Corporation Methods and systems for controlling low-speed propulsion of a marine vessel
US11198494B2 (en) 2018-11-01 2021-12-14 Brunswick Corporation Methods and systems for controlling propulsion of a marine vessel to enhance proximity sensing in a marine environment
US11794865B1 (en) 2018-11-21 2023-10-24 Brunswick Corporation Proximity sensing system and method for a marine vessel
US11443637B2 (en) 2018-11-21 2022-09-13 Brunswick Corporation Proximity sensing system and method for a marine vessel
US11436927B2 (en) 2018-11-21 2022-09-06 Brunswick Corporation Proximity sensing system and method for a marine vessel with automated proximity sensor location estimation
US11403955B2 (en) 2018-12-14 2022-08-02 Brunswick Corporation Marine propulsion control system and method with proximity-based velocity limiting
US11373537B2 (en) 2018-12-21 2022-06-28 Brunswick Corporation Marine propulsion control system and method with collision avoidance override
US11702178B2 (en) 2019-01-31 2023-07-18 Brunswick Corporation Marine propulsion control system, method, and user interface for marine vessel docking and launch
US11257378B2 (en) 2019-01-31 2022-02-22 Brunswick Corporation Marine propulsion control system and method
US11372411B1 (en) 2019-08-08 2022-06-28 Brunswick Corporation Marine steering system and method
CN114258372B (zh) * 2019-09-09 2024-06-04 古野电气株式会社 船舶信息显示系统、船舶信息显示方法、图像生成装置以及程序
CN110673600B (zh) * 2019-10-18 2021-05-28 武汉理工大学 面向无人船舶的自动驾驶集成系统
US11480966B2 (en) 2020-03-10 2022-10-25 Brunswick Corporation Marine propulsion control system and method
US20220404833A1 (en) * 2020-03-11 2022-12-22 Boundary Layer Technologies Inc. Lift from vessel formation
EP3882887B1 (en) * 2020-03-20 2024-09-04 ABB Schweiz AG Apparatus and method for analyzing extent of marine vessel
US11615039B2 (en) 2020-07-31 2023-03-28 Siren Marine, Inc. Data transmission system
WO2023276307A1 (ja) * 2021-06-30 2023-01-05 古野電気株式会社 画像生成装置、船舶情報表示方法、及びプログラム
CN117296310A (zh) * 2021-06-30 2023-12-26 古野电气株式会社 航海信息显示装置、航海信息显示方法、以及程序
KR102455565B1 (ko) * 2021-11-29 2022-10-17 한국해양과학기술원 다중영상 기반 선박 근접 주변 상황인식 지원 시스템 및 방법
US12065230B1 (en) 2022-02-15 2024-08-20 Brunswick Corporation Marine propulsion control system and method with rear and lateral marine drives
US12061272B2 (en) 2022-03-17 2024-08-13 Eagle Technology, Llc Satellite automatic identification system (AIS) for determining potential spoofing maritime vessels based upon actual frequency of arrival of AIS messages and related methods
EP4283255A1 (en) * 2022-05-25 2023-11-29 BAE SYSTEMS plc Controlling an aquatic vessel
WO2023227859A1 (en) * 2022-05-25 2023-11-30 Bae Systems Plc Controlling an aquatic vessel
SE2250688A1 (en) * 2022-06-08 2023-12-09 Cpac Systems Ab A marine surround sensing system
US12110088B1 (en) 2022-07-20 2024-10-08 Brunswick Corporation Marine propulsion system and method with rear and lateral marine drives
GB2627437A (en) * 2023-02-17 2024-08-28 Wartsila Guidance Marine Ltd Vessel situational awareness

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140013259A1 (en) * 2012-07-06 2014-01-09 Navico Holding As Quick Split Mode
US20160214534A1 (en) * 2014-09-02 2016-07-28 FLIR Belgium BVBA Watercraft thermal monitoring systems and methods
US9718530B2 (en) * 2012-04-17 2017-08-01 Garmin Switzerland Gmbh Marine vessel display system
WO2017136014A2 (en) * 2015-11-13 2017-08-10 Flir Systems, Inc. Video sensor fusion and model based virtual and augmented reality systems and methods

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007011522A2 (en) * 2005-07-14 2007-01-25 Gm Global Technology Operations, Inc. Remote perspective vehicle environment observation system
US20100238161A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
FR2948776B1 (fr) * 2009-07-31 2011-08-19 Thales Sa Procede de construction d'images pour un appareil d'imagerie
KR101562589B1 (ko) * 2010-04-30 2015-10-23 엘지전자 주식회사 영상 표시 장치 및 그 방법
JP5881518B2 (ja) * 2012-04-17 2016-03-09 古野電気株式会社 自船周囲情報表示装置及び自船周囲情報表示方法
EP2666709A1 (en) * 2012-05-25 2013-11-27 ABB Research Ltd. A ship having a window as computer user interface
US9139133B2 (en) * 2012-05-31 2015-09-22 GM Global Technology Operations LLC Vehicle collision warning system and method
US10431099B2 (en) 2014-02-21 2019-10-01 FLIR Belgium BVBA Collision avoidance systems and methods
US10019002B2 (en) * 2016-10-13 2018-07-10 Navico Holding As Unmanned vehicle control and operation in a marine environment
US10445928B2 (en) * 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
US10386836B2 (en) * 2017-07-07 2019-08-20 Zoox, Inc. Interactions between vehicle and teleoperations system
US10914810B2 (en) * 2018-05-17 2021-02-09 Navico Holding As Marine electronic device for presentment of nautical charts and sonar images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9718530B2 (en) * 2012-04-17 2017-08-01 Garmin Switzerland Gmbh Marine vessel display system
US20140013259A1 (en) * 2012-07-06 2014-01-09 Navico Holding As Quick Split Mode
US20160214534A1 (en) * 2014-09-02 2016-07-28 FLIR Belgium BVBA Watercraft thermal monitoring systems and methods
WO2017136014A2 (en) * 2015-11-13 2017-08-10 Flir Systems, Inc. Video sensor fusion and model based virtual and augmented reality systems and methods

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI793477B (zh) * 2020-12-04 2023-02-21 財團法人船舶暨海洋產業研發中心 船舶輔助校正系統及其運作方法
US11892854B2 (en) 2020-12-04 2024-02-06 Ship And Ocean Industries R&Dcenter Assistance system for correcting vessel path and operation method thereof
CN112526490A (zh) * 2020-12-11 2021-03-19 上海大学 一种基于计算机视觉的水下小目标声呐探测系统与方法
CN112526490B (zh) * 2020-12-11 2021-12-03 上海大学 一种基于计算机视觉的水下小目标声呐探测系统与方法
CN113253619A (zh) * 2021-07-13 2021-08-13 北京海兰信数据科技股份有限公司 一种船舶数据信息的处理方法及装置
CN113253619B (zh) * 2021-07-13 2021-10-12 北京海兰信数据科技股份有限公司 一种船舶数据信息的处理方法及装置
CN113933306A (zh) * 2021-12-16 2022-01-14 交通运输部天津水运工程科学研究所 一种基于无人机进行数据采集的码头结构可靠性分析方法
CN113933306B (zh) * 2021-12-16 2022-02-25 交通运输部天津水运工程科学研究所 一种基于无人机进行数据采集的码头结构可靠性分析方法
CN114408105A (zh) * 2022-02-22 2022-04-29 苏州优世达智能科技有限公司 一种基于氢燃料电池技术的无人船

Also Published As

Publication number Publication date
US12066579B2 (en) 2024-08-20
EP3710858A1 (en) 2020-09-23
WO2019096401A1 (en) 2019-05-23
US20200278433A1 (en) 2020-09-03

Similar Documents

Publication Publication Date Title
US12066579B2 (en) Real-time monitoring of surroundings of marine vessel
US10989537B2 (en) Sonar sensor fusion and model based virtual and augmented reality systems and methods
CN108281043B (zh) 一种船舶碰撞风险预警系统及预警方法
US11181637B2 (en) Three dimensional target selection systems and methods
US11892298B2 (en) Navigational danger identification and feedback systems and methods
EP2070068B1 (en) System for a marine vessel or a marine installation
US20210206459A1 (en) Video sensor fusion and model based virtual and augmented reality systems and methods
Johansen et al. Unmanned aerial surveillance system for hazard collision avoidance in autonomous shipping
WO2021075319A1 (ja) 操船支援システム及び方法
US20240271943A1 (en) Assisted navigation systems and methods
US9292971B2 (en) Three-dimensional tactical display and method for visualizing data with a probability of uncertainty
WO2021030477A1 (en) Support structure mounting sensing devices for sensing port operations
CA2282064A1 (en) A system and method for use with a moveable platform
CA2279165A1 (en) A system and method for use with a moveable platform
Kim et al. Field experiment of autonomous ship navigation in canal and surrounding nearshore environments
WO2018140645A1 (en) Three dimensional target selection systems and methods
EP4173942A1 (en) Navigation assistance device using augmented reality and 3d images
KR102249156B1 (ko) 증강현실 이미지를 이용한 항해 보조장치
EP4047313B1 (en) Tidal current information display device
Sebastiani et al. A Roadmap Towards the Autonomous Ship: The Marin R&D Project
US10235804B2 (en) Display system
Sjöblom et al. SAFETY AND TRANSPORT MARITIME
CENTERS IMAVSE/K

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination