CN110520692B - 影像生成装置 - Google Patents

Abstract

本发明提供一种以容易观看的自然布局来显示水上移动体的周围情况的影像生成装置。位置获取部获取表示设置有拍摄装置的水上移动体的位置的位置信息。姿态获取部获取表示所述水上移动体的姿态的姿态信息。附加显示信息获取部获取包含表示多个地点的位置信息的附加显示信息。显示用数据生成部基于所述位置信息、所述姿态信息以及由所述附加显示信息获取部获取的所述附加显示信息所包含的多个地点的位置，生成三维显示用数据，所述三维显示用数据用于将表示所述附加显示信息的图形的至少一部分以在所述拍摄装置输出的影像的水面上载置该图形的方式进行重叠显示。显示输出部输出对所述三维显示用数据进行描画的所述图形。

Description

影像生成装置

技术领域

本发明涉及影像生成装置。详细地说，涉及用于生成显示水上移动体的周围情况影像的影像生成装置。

背景技术

例如，在专利文献1中公开了这种影像生成装置。该专利文献1的影像生成装置构成为具备照相机、拍摄数据接收部、位置获取部、影像生成部、物标显示物生成部以及显示器，对来自照相机的图像流进行地理参照。

在专利文献1中，拍摄数据接收部接收船舶的照相机拍摄的流图像数据。位置获取部获取该船舶周围的物标(其他船等)的位置。影像生成部基于流图像数据的图像，生成在显示器上显示的影像。该影像对应于照相机的位置和视野。物标显示物生成部在所述影像上的点处生成表示物标的物标显示物。而且，构成为在显示器上显示所述影像和配置于所述影像上的点的所述物标显示物。

上述的影像生成部，在各点与所述影像上的点对应地表示水上移动体的周围环境的三维虚拟空间上投影所述影像，从而生成所述影像。另外，所述物标显示物生成部基于物标的位置信息和三维虚拟空间的各个点，生成所述物标显示物。

现有技术文献

专利文献

专利文献1：美国专利申请公开第2015/0350552号说明书

发明内容

发明所要解决的问题

但是，在上述专利文献1中，仅公开了将物标显示物显示在所述影像上的与物标的位置信息对应的点上的内容，例如，对于为了实现易视性而如何在影像上显示物标显示物，还存在进一步改善的余地。

另外，在所述专利文献1的结构中，没有特别考虑水上移动体因波浪等而摆动时导致的拍摄装置的姿态变化，其结果，可能使影像上的物标显示物的显示位置显得不自然。

本发明是鉴于上述情况而提出的，其目的在于提供一种易于确认水上移动体的周围情况并以自然印象方式进行显示的影像生成装置。

解决问题的技术方案

本发明要解决的课题如上所述，下面说明用于解决该课题的手段及其效果。

根据本发明的观点，提供以下结构的影像生成装置。即，该影像生成装置包括位置获取部、姿态获取部、附加显示信息获取部、显示用数据生成部以及显示输出部。所述位置获取部获取表示设置有拍摄装置的水上移动体的位置的位置信息。所述姿态获取部获取表示所述水上移动体的姿态的姿态信息。所述附加显示信息获取部获取包含表示多个地点的位置信息的附加显示信息。所述显示用数据生成部基于所述位置信息、所述姿态信息和由所述附加显示信息获取部获取的所述附加显示信息中包括的多个地点的位置，生成三维显示用数据，所述三维显示用数据用于将表示所述附加显示信息的图形的至少一部分以在所述摄像装置输出的所述影像的水面上载置该图形的方式进行重叠显示。所述显示输出部输出对所述三维显示用数据进行描画的所述图形。

由此，能够根据水上移动体的位置及姿态，将表示附加显示信息的位置等的三维显示作为图形输出。因此，通过将该图形与拍摄影像重叠显示，可以实现虚拟现实的合成影像。用户通过观看该合成影像，可以容易、直观地掌握由附加显示信息指示的状态，包括位置关系。另外，通过将附加显示信息的图形以沿着拍摄影像的水面的方式配置进行显示，用户能够直观地掌握多个地点之间的关系。

在所述的影像生成装置中，优选以下的结构。即，所述附加显示信息包括用户设定的所述水上移动体的航线。所述显示用数据生成部生成用于显示表示所述航线的图形的三维显示用数据。

由此，在合成影像中，在由拍摄装置拍摄的影像的水面上，以载置有的表示航线的图形的方式进行重叠显示，因此用户容易掌握航线延伸的方向。因此，例如易于进行沿着设定的航线的操作等。

在所述的影像生成装置中，优选以下的结构。即，以连接用户设定的航路点的方式生成所述航线。所述显示用数据生成部生成用于显示表示所述航线的图形和表示所述航路点的图形的三维显示用数据。

由此，在合成影像中，除了水上移动体的航线延伸的方向之外，还可以容易地把握与航路点相关的信息。因此，可以进一步易于进行沿着所设定的航线的操作等。

在所述的影像生成装置中，优选以下的结构。即，所述附加显示信息中包含表示用户设定的所述水上移动体的停靠地或到达地的区域。所述显示用数据生成部生成用于显示表示所述停靠地或所述到达地的图形的三维显示用数据。

由此，能够将具有平面扩展性的区域即停靠地或到达地以贴附于拍摄影像的水面的方式显示。因此，用户容易把握停靠地或到达地的形状，所以例如容易进行使水上移动体停止在该停靠地或到达地的操作。

在所述的影像生成装置中，优选以下的结构。即，所述附加显示信息中包含与其他水上移动体相关的信息。所述显示用数据生成部根据所述水上移动体与所述其他水上移动体的碰撞的危险度的高低，使表示所述其他水上移动体的图形的显示方式不同。

由此，在借助于用户视觉的多个信息中，例如对于碰撞危险较高的其他水上移动体，能够相对于其他物标进行强调显示，能够提供适当标注有强弱的用户友好影像。

在所述的影像生成装置中，优选基于所述姿态获取部获取的姿态的变化来更新所述三维显示用数据的描画。

由此，即使受到水上移动体因波浪等而摇动的影响，拍摄装置的拍摄影像发生变化，由于图形以维持载置在拍摄影像的水面上的状态的方式显示，所以可实现无违和感的显示。

在所述的影像生成装置中，优选以下的结构。即，所述位置获取部根据设置在所述水上移动体上的定位用天线从定位卫星接收到的电波，获取所述位置信息。该影像生成装置具有能够设定所述水上移动体的所述定位用天线的位置即天线位置的天线位置设定部。所述显示用数据生成部基于所述天线位置，生成用于显示所述图形的三维显示用数据。

由此，由于考虑水上移动体上的定位用天线的位置来决定表示附加显示信息的图形的位置等，因此能够防止显示位置的偏移。

在所述的影像生成装置中，优选以下的结构。即，该影像生成装置包括能够设定所述水上移动体的所述拍摄装置的位置即拍摄位置的拍摄位置设定部。所述显示用数据生成部基于所述拍摄位置，生成用于显示所述图形的三维显示用数据。

由此，由于表示附加显示信息的图形的位置等是考虑水上移动体上的拍摄装置的位置而决定的，所以能够防止显示位置的偏移。

在所述的影像生成装置中，优选所述拍摄位置设定部至少能够设定所述拍摄装置的高度。

由此，能够考虑拍摄装置的高度，生成表示附加显示信息的图形。因此，由于能够防止图形隐藏在水面下或从水面浮起被看到，所以能够实现不损害真实感的自然的显示。

在所述影像生成装置中，优选所述姿态获取部根据设置在所述水上移动体上的多个定位用天线从定位卫星接收到的电波的载波相位的相位差来获取所述姿态信息。

由此，能高精度地获取水上移动体的姿态，所以能获得违和感较少的合成影像。

附图说明

图1是示出根据本发明的一个实施方式的影像生成装置的整体结构的框图。

图2是表示船舶所具有的各种设备的侧视图。

图3是说明作为影像生成装置中的显示对象的附加显示信息的示例的概念图。

图4是说明通过在三维虚拟空间中配置虚拟现实对象而生成的三维场景数据和配置于三维虚拟空间中的投影屏幕的概念图。

图5是示出由照相机拍摄的影像的示例的图。

图6是示出数据合成部输出的合成影像的图。

图7是表示船舶的姿态从图4的状态向俯仰方向及侧倾方向变化的情况的概念图。

图8是表示图7的情况下的合成影像的图。

图9是方位刻度的显示例1。

图10是方位刻度的显示例2。

图11是示出根据本发明的一个实施方式的影像生成方法的流程图。

具体实施方式

下面，参照附图说明本发明的实施方式。图1是示出根据本发明的一个实施方式的影像生成装置1的整体结构的框图。图2是表示船舶4所具备的各种设备的侧视图。

图1所示的影像生成装置1例如安装在图2所示的船舶(水上移动体)4上，是用于以由照相机(拍摄装置)3拍摄到的影像为基础，生成以虚拟现实方式表现该船舶4的周围的情况的影像的装置。影像生成装置1生成的影像显示在显示器2上。

显示器2例如能够构成为在该船舶4(本船)上进行驾船的操作者所参照的驾船辅助装置的显示器。其中，显示器2并不限于此，例如，也可以是从本船4监视周围的状况的驾船辅助者所携带的便携式计算机的显示器、用于乘客在本船4的客室观看的显示器、或者乘船者佩戴的可佩戴式眼镜等头戴式显示器的显示部。

影像生成装置1通过将由设置于本船4的照相机3拍摄到的本船4的周围的影像与以虚拟现实方式表现本船4的周围的附加显示信息(后面详细叙述)的图形进行合成，来生成作为向显示器2输出的影像的合成影像。

接下来，主要参照图1，说明与影像生成装置1电连接的照相机3和各种船舶设备。

照相机3构成为拍摄本船4的周围的广角型视频照相机。该照相机3具有实时输出功能，能够实时生成作为拍摄结果的动画数据(影像数据)并输出到影像生成装置1。如图2所示，照相机3以拍摄方向相对于船体为水平前方的方式设置于船舶4。

照相机3经由未图示的转动机构安装于船舶4，通过从影像生成装置1输入指示平移/倾斜动作的信号，能够以船舶4的船体为基准在规定的角度范围内变更其拍摄方向。另外，由于本船4的高度以及姿态因波浪等而发生各种变化，与此相伴，照相机3的高度变化并且姿态(拍摄方向)也随之发生三维变化。

本实施方式的影像生成装置1除了上述的照相机3之外，还与作为船舶设备的GNSS罗盘(方位传感器、姿态传感器)5、角速度传感器6、GNSS接收器7、加速度传感器8、AIS接收器9、ECDIS10、标绘器11、雷达装置12以及声纳13等电连接。

GNSS罗盘5具备固定于本船4的多个GNSS天线(定位用天线)。GNSS罗盘5基于从定位卫星接收到的电波来计算各个GNSS天线的位置关系。特别是，本实施方式的GNSS罗盘5构成为基于各GNSS天线接收到的电波的载波相位的相位差来求出GNSS天线的位置关系(由于该处理是已知的，因此省略详细的说明)。由此，能够高精度地获取本船4的船首方位。

GNSS罗盘5能够三维地获取船舶4的姿态。换言之，GNSS罗盘5不仅能够检测船首方位(即，船舶4的偏航角)，还能够检测船舶4的侧倾角以及俯仰角。由GNSS罗盘5获取的本船4的姿态信息被输出到影像生成装置1的姿态获取部16和使用该姿态信息的其他船舶设备。

角速度传感器6例如由已知的振动陀螺仪传感器构成，能够以比GNSS罗盘5的姿态检测间隔(例如1秒)短的周期检测船舶4的偏航角速度、侧倾角速度以及俯仰角速度。通过将GNSS罗盘5检测到的角度与角速度传感器6检测到的角速度的积分值并用，能够以比仅使用GNSS罗盘5的情况短的时间间隔获取船舶4的姿态。此外，角速度传感器6在来自上述定位卫星的电波被例如桥等障碍物遮挡而导致GNSS罗盘5无法检测姿态的情况下，作为用于获取姿态信息的备用单元而发挥功能。

GNSS接收器7基于所述GNSS天线从定位卫星接收到的电波，求出本船4的位置(详细而言，GNSS天线的纬度、经度以及高度)。GNSS接收器7将获得的位置信息输出到影像生成装置1的位置获取部15和使用该位置信息的其他船舶设备。

加速度传感器8例如被构成为已知的静电电容检测型的传感器，能够以比GNSS接收器7的位置检测间隔(例如1秒)短的周期检测船舶4的偏航轴、侧倾轴和俯仰轴上的加速度。通过将GNSS接收器7所检测到的位置和加速度传感器8所检测到的加速度的二重积分值并用，能够以比仅使用GNSS接收器7的情况短的时间间隔获取本船4的位置。另外，加速度传感器8在来自上述定位卫星的电波被遮挡而导致GNSS接收器7无法检测位置的情况下，可作为用于获取位置信息的备用单元发挥功能。

在本实施方式中，如图2所示，角速度传感器6、GNSS接收器7以及加速度传感器8使用内置于GNSS罗盘5中的装置。但是，角速度传感器6、GNSS接收器7以及加速度传感器8中的全部或者一部分也可以独立于GNSS罗盘5设置。

AIS接收器9接收从其他船或陆地站等发送的AIS信息。AIS信息包括在本船4的周围航行的其他船的位置(纬度、经度)、该其他船的长度以及宽度、该其他船的种类以及识别信息、该其他船的船速、航向以及目的地、地标的位置以及识别信息等各种信息。

ECDIS10从GNSS接收器7获取本船4的位置信息，并且基于预先存储的电子海图信息，将本船4周围的信息输出至影像生成装置1。

标绘器11通过从GNSS接收器7持续获取本船4的位置，能够生成本船4的航行轨迹的信息。另外，标绘器11通过让用户设定多个航路点(本船4预定通过的地点)，能够依次连接这些航路点而生成预定航线。

雷达装置12能够探测存在于本船4周围的其他船等物标。另外，该雷达装置12具有能够捕捉以及追踪物标的已知的目标追踪功能(Target Tracking：TT)，能够求出该物标的位置以及速度矢量(TT信息)。

声纳13向水中发送超声波，并且接收该超声波被鱼群等反射的反射波，由此探测鱼群等。

影像生成装置1与用户操作的键盘31和鼠标32连接。用户通过操作键盘31和鼠标32，能够进行与影像的生成相关的各种指示。该指示包括照相机3的平移/倾斜动作、合成影像的视点的设定等。

接下来，主要参照图1详细说明影像生成装置1的结构。

如图1所示，影像生成装置1包括拍摄影像输入部21、位置获取部15、姿态获取部16、附加显示信息获取部17、存储部18、拍摄位置设定部25、天线位置设定部26和合成影像生成部20。

具体而言，影像生成装置1作为已知的计算机而构成，虽然未图示，但具备CPU、ROM、RAM及HDD等。此外，影像生成装置1包括GPU，用于高速执行后面所述的三维图像处理。例如，HDD中存储用于执行根据本发明的影像合成处理的软件。通过硬件和软件的协作，影像生成装置1可以作为拍摄影像输入部21、位置获取部15、姿态获取部16、附加显示信息获取部17、存储部18、拍摄位置设定部25、天线位置设定部26和合成影像生成部20等发挥作用。

拍摄影像输入部21能够以例如每秒30帧的方式输入照相机3输出的影像数据。拍摄影像输入部21将输入的影像数据输出至合成影像生成部20(后述的数据合成部23)。

位置获取部15基于GNSS接收器7以及加速度传感器8的检测结果，实时地获取本船4的当前的位置。

姿态获取部16基于GNSS罗盘5和角速度传感器6的检测结果，实时获取本船4的当前姿态。

附加显示信息获取部17根据AIS接收器9、ECDIS10、标绘器11、雷达装置12以及声纳13等输出到影像生成装置1的信息，获取对照相机3拍摄的影像附加显示的信息(附加显示信息)。作为该附加显示信息，可以考虑各种信息，例如，可以作为本船4的预定航线而设置如图3那样设定的路径线42的信息。另外，附加显示信息的详细情况将在后面叙述。

图1的存储部18构成为存储各种信息的存储器。存储部18可以存储表示各种附加显示信息的虚拟现实对象的三维形状作为模板。存储部18所存储的三维形状的模板例如可以是小型船、大型船、浮标、灯塔等，但并不限定于此。

拍摄位置设定部25能够设定本船4的照相机3的位置(拍摄位置)，具体而言，能够设定照相机3在船的长度方向及宽度方向上的位置、和照相机3在上下方向上的位置(照相机3的高度)。照相机3的高度可以是本船4中通常设想的距吃水线的高度，但不限于此，例如也可以是距船底的高度。例如，用户可以操作键盘31和鼠标32等输入实际测量照相机3的位置的结果来进行该拍摄位置的设定。

天线位置设定部26能够设定本船4的GNSS天线的位置(天线位置)。该天线位置例如作为控制的基准，如图2所示，能够设为以设定于本船4的基准点4a为基准的船的长度方向、宽度方向以及上下方向上的位置。该基准点4a能够以各种方式确定，但在本实施方式中，确定在本船4的船体的中央且与通常设想的吃水线为相同高度的位置。天线位置的设定与所述拍摄位置同样，例如能够通过输入实际的测量值来进行。

位置获取部15、姿态获取部16、附加显示信息获取部17、存储部18、拍摄位置设定部25以及天线位置设定部26将获取、存储或者设定的信息输出到合成影像生成部20。

合成影像生成部20生成用于在显示器2上显示的合成影像。该合成影像生成部20包括三维场景生成部(显示用数据生成部)22和数据合成部(显示输出部)23。

如图4所示，三维场景生成部22通过将与附加显示信息相对应的虚拟现实对象41v、42v、…配置在三维虚拟空间40中，从而构建虚拟现实的三维场景。由此，生成作为三维场景的数据的三维场景数据(三维显示用数据)48。另外，三维场景的详细情况将在后面叙述。

数据合成部23通过对三维场景生成部22所生成的三维场景数据48进行描画，生成以三维方式表现附加显示信息的图形，并且进行输出图6所示的合成影像、即将该图形41f、42f、…与照相机3的拍摄影像合成的影像的处理。如图6所示，在该合成影像中，在由照相机3拍摄到的影像(图中为了便于说明而用虚线表示)的海面上，载置重叠有表示附加显示信息的图形41f、42f、…。数据合成部23将生成的合成影像输出到显示器2。另外，稍后将详细描述图形生成处理和数据合成处理。

接着，对由上述的附加显示信息获取部17获取的附加显示信息进行详细说明。图3是说明在影像生成装置1中成为显示对象的附加显示信息的例子的概念图。

附加显示信息是对照相机3拍摄的影像进行附加显示的信息，根据与影像生成装置1连接的船舶设备的目的以及功能，可以考虑各种信息。例如，与AIS接收器9相关地，可以将所接收的AIS信息(例如，其他船舶的位置和朝向、浮标的位置、虚拟浮标的位置等)作为附加显示信息。与ECDIS10相关地，能够将电子海图所包含的危险海域、禁止航海区域、灯塔、浮标等的位置作为附加显示信息。与标绘器11相关地，能够将所记录的本船4的轨迹、所设定的预定航线、航路点、到达区域(表示到达地的区域)、停靠区域(表示停靠地的区域)的位置等作为附加显示信息。与雷达装置12相关地，能够将探测到的物标的位置以及速度等作为附加显示信息。与声纳13相关地，能够将探测到的鱼群的位置作为附加显示信息。这些信息从船舶设备实时地输入到影像生成装置1。附加显示信息获取部17向输入的各个附加显示信息提供用于唯一识别和管理的识别信息(例如，识别号码)。

图3中示出了位于本船4的周围的附加显示信息的例子。在图3中，在海面上(水面上)确定表示目的地的航路点41、41、和表示到达目的地为止的预定航线的折线状的路径线42。此外，在路径线42的附近，确定多边形状(矩形状)的停靠区域43。航路点41、路径线42、停靠区域43通过用户预先适当操作标绘器11，指定各地点的位置来设定。

另外，在图3的例子中，在稍稍远离本船4的前方的地点，其他船44正在向本船4的右方航行，在本船4的左斜前方附近存在虚拟浮标45，这是通过AIS接收器9所获取的AIS信息检测到的。另外，所谓虚拟浮标，是指由于设置困难等原因实际上未设置在海上，但在导航装置的画面上作为标识显示的假想的(没有实体)浮标。

在各个附加显示信息中至少包含表示其所配置的海面(水面)上的1个或者多个地点的位置(纬度以及经度)的信息。例如，表示路径线42的附加显示信息包括作为折线的弯曲部的两个地点的位置信息(弯曲部的地点的位置与航路点41的位置一致)。在停靠区域43的附加显示信息中，包含有作为多边形的顶点的各个地点的位置信息。另外，在表示其他船44的附加显示信息中，包含有表示该其他船44的位置信息。

接下来，参考图4详细描述由三维场景生成部22进行的三维场景的构建和由数据合成部23进行的影像的合成。图4是说明在三维虚拟空间40中配置虚拟现实对象41v、42v、…而生成的三维场景数据48和配置在该三维虚拟空间40中的投影屏幕51的概念图。

如图4所示，通过三维场景生成部22配置虚拟现实对象41v、42v、…的三维虚拟空间40由以本船4的适当的基准位置(例如上述的基准点4a)为原点的正交坐标系构成，设定成以水平的面的xz平面来模拟海面(水面)。在图4的例子中，坐标轴被设定为+z方向始终与船首方位一致，+x方向为右方向，+y方向为上方向。该三维虚拟空间40内的各地点(坐标)被设定为与本船4周围的现实位置相对应。

图4表示为了表现图3所示的本船4的周围状况，将虚拟现实对象41v、42v、43v、44v、45v配置在三维虚拟空间40内的例子。各虚拟现实对象41v、42v、43v、44v、45v以船首方位为基准，以反映其表示的附加显示信息相对于本船4的相对位置的方式，被配置成与xz平面接触。在确定配置这些虚拟现实对象41v、42v、…的位置时，使用由图1所示的天线位置设定部26设定的GNSS天线的位置进行计算。

表示其他船44的虚拟现实对象44v具有船舶的形状，利用预先存储在存储部18中的大型船的模型的模板来表现。另外，该模型的朝向配置为表示通过AIS信息而获取的其他船44的朝向。另外，也可以基于从AIS信息得到的船的长度及宽度的信息，使原模板的模型在船的长度方向及宽度方向上扩大/缩小变形来使用。

表示虚拟浮标45的虚拟现实对象45v与其他船44的虚拟现实对象44v同样，利用预先存储于存储部18的浮标的模型的模板来表现。

航路点41的虚拟现实对象41v通过薄圆板状的三维形状表现。路径线42的虚拟现实对象42v通过将具有一定厚度和宽度的细长板弯曲成折线状的三维形状来表现。停靠区域43的虚拟现实对象43v以具有停靠区域43的轮廓的一定厚度的板状的三维形状来表现。对于这些虚拟现实对象41v、42v和43v，不使用模型的模板而每次根据情况创建三维形状。

三维场景生成部22如上所述生成三维场景数据48。在图4的例子中，由于虚拟现实对象41v、42v、…以本船4的位置作为原点的方位基准配置，因此若本船4的位置(东西方向以及南北方向的位置)从图3的状态发生变化、或者由于转头等而船首方位发生变化，则构筑重新配置有该虚拟现实对象41v、42v、…的新的三维场景，并更新三维场景数据48。另外，如果例如其他船44从图3的状态发生移动等而变更了附加显示信息的内容，则更新三维场景数据48以反映最新的附加显示信息。

然后，数据合成部23在三维虚拟空间40中配置用于确定投影照相机3拍摄影像的位置以及范围的投影屏幕51。通过设定稍后描述的视点照相机55的位置和朝向，使得该投影屏幕51和虚拟现实对象41v、42v、…两者都被包括在视野中，从而实现影像的合成。

数据合成部23在三维虚拟空间40中模拟搭载于本船4的照相机3的位置和朝向，并且将投影屏幕51配置成与该照相机3正对。关于照相机3的位置的模拟，以船体为基准的照相机3的位置能够基于图1所示的拍摄位置设定部25的设定值而得到。

在模拟照相机3的位置和朝向时，考虑由所述照相机3的平移/倾斜动作引起的朝向的变化。而且，基于位置获取部15以及姿态获取部16获取到的位置信息以及姿态信息，以反映由船舶4的姿态的变化以及高度的变化引起的照相机3的位置以及朝向的变动的方式进行该模拟。数据合成部23与照相机3的位置和朝向的变化联动，使配置在三维虚拟空间40中的投影屏幕51的位置和朝向变化。

并且，数据合成部23对三维场景数据48和投影屏幕51执行已知的渲染处理，以生成二维图像。更具体地，数据合成部23在三维虚拟空间40中配置视点照相机55，并且，以该视点照相机55为顶点，其视线方向为中心轴的方式定义确定作为渲染处理对象的范围的视锥台56。接着，数据合成部23通过透视投影，将构成各对象(虚拟现实对象41v、42v、…以及投影屏幕51)的多边形中的、位于该视锥台56内部的多边形的顶点坐标转换为与显示器2中的合成影像的显示区域相当的二维虚拟屏幕的坐标。然后，基于该虚拟屏幕上所配置的顶点，以规定的分辨率进行像素的生成和加工处理，从而生成二维的图像。

这样生成的二维图像中包括通过进行三维场景数据48的描画而获得的图形(换句话说，作为虚拟现实对象41v、42v、…等的渲染结果的图形)。另外，在二维图像的生成过程中，在相当于投影屏幕51的位置上，以粘贴的方式配置照相机3的拍摄影像。由此，实现数据合成部23的影像合成。由于投影屏幕51具有沿以照相机3为中心的球壳弯曲的形状，所以能够防止透视投影引起的拍摄影像的失真。

视点照相机55确定合成影像的视点，用户可以使用键盘31及鼠标32等来设定其位置和朝向。然而，数据合成部23作为生成合成影像时的模式，可以设置自动变化的模式(视点跟踪模式)，使得视点照相机55的位置和朝向始终与照相机3的位置和朝向一致。在视点跟踪模式中，视点照相机55的整个视野始终被投影屏幕51(即，照相机3拍摄影像)覆盖，从而可以实现具有真实感的合成影像。

另一方面，数据合成部23可以是能够与照相机3的位置和朝向无关地设定视点照相机55的位置和朝向的模式(独立视点模式)。在该独立视点模式中，用户能够确认位于照相机3的拍摄视野外的位置的附加显示信息。

接着，参照例子说明由照相机3拍摄的影像与合成影像的关系。图5是表示照相机3的拍摄影像的例子的图。图6是示出数据合成部23输出的合成影像的图。

图5中示出在图3所示的状况下，本船4的照相机3拍摄的影像的例子。在该拍摄影像中，拍摄有漂浮在海面上的其他船44r。另外，在影像的下部中央拍摄有本船4的船首部分。

由于虚拟浮标45如上所述是虚拟的，所以如图5所示，不会被照相机3拍摄到。航路点41、路径线42以及停靠区域43也是通过标绘器11的设定而制成的，因此不会出现在照相机3拍摄的影像中。

然后，图6示出了针对图5所示的拍摄影像与渲染图4的三维场景数据48得到的上述二维图像进行合成的结果。其中，在图6中，为了方便起见，用虚线表示出现了照相机3的拍摄影像的部分，以易于区别除此以外的部分(表示合成影像的其他图中也同样)。在图6的合成影像中，表现附加显示信息的图形41f、42f、43f、44f和45f以与拍摄影像重叠的方式配置。表示其他船的图形44f以与拍摄影像中的其他船44r的位置大致重叠的方式配置。

将构成图4所示的三维场景数据48的虚拟现实对象41v、42v、…的三维形状作为与照相机3相同的位置和朝向的视点进行描画的结果，生成上述图形41f、42f、…。因此，即使图形41f、42f、…相对于照相机3拍摄的写实影像重叠，也几乎不会产生视觉上的违和感。

如图6所示，以虚拟现实方式表现附加显示信息的图形41f、42f、…被配置在合成影像上，使得它们好像被放置在拍摄影像的海面上。换言之，以与从拍摄影像中显现的水面掌握的三维的面的倾斜度相匹配的朝向来显示以虚拟现实方式表现附加显示信息的图形41f、42f、…。特别是，表示航路点41、路径线42以及停靠区域43的图形41f、42f、43f以薄板粘贴于海面的方式配置。这是通过以下方式实现的：将图4所示的虚拟现实对象41v、42v、…配置成与xz平面接触，并且考虑照相机3的位置以及朝向来正确地配置投影屏幕51的位置，其中，该xz平面相对于照相机3隔开距离位于下方，该距离是根据由拍摄位置设定部25(参照图1)设定的高度计算出的距离。

接着，对伴随着本船4的摇晃的合成影像的变化进行说明。图7是表示船舶4的姿态从图4的状态向俯仰方向以及侧倾方向变化的情况的概念图。图8是表示图7的情况下的合成影像的图。

如上所述，由于照相机3安装于本船4，因此其位置以及朝向随着本船4的姿态因波浪等而倾斜、或者随着本船4位于波浪上而变化。在本实施方式中，数据合成部23在本船4产生摇晃(俯仰、侧倾以及颠簸)的情况下，变更三维虚拟空间40中的照相机3的位置以及朝向，伴随于此变更投影屏幕51的位置，以模拟姿态获取部16获取到的本船4的姿态的变化、以及位置获取部15获取到的本船4的位置的上下方向的变化。

图7表示本船4的姿态从图4的状态发生俯仰方向以及侧倾方向变化时的情况。在图7的例子中，本船4以向前下且左下的方式倾斜，照相机3的位置和朝向发生变化，以反映该倾斜。与此联动，投影屏幕51移动，以便与这样变化位置和朝向的照相机3正对。

在图7的示例中，通过上述的视点跟踪模式，视点照相机55的位置和朝向也变化，以跟踪如上所述改变了位置和朝向的照相机3。图8示出了与图7相对应的合成影像的示例，如该图所示，即使照相机3的位置和朝向随着本船4的摇晃而不同，投影屏幕51的位置和朝向也与之联动变化，并且渲染三维场景的视点照相机55的位置和朝向也改变，因此，能够连续地获得无违和感的合成影像。

在视点跟踪模式下，每当由于本船4的摇晃而使得俯仰角或侧倾角变化规定值以上时，或者每当本船4的高度变化规定值以上时，更新数据合成部23中的三维场景数据48的描画，生成基于最新的视点的图形41f、42f、…。因此，对于出现海面的位置以及朝向因本船4的摇晃而变化的照相机3的拍摄影像，能够使图形41f、42f、…的显示适当地变化，以维持放置于该海面的状态。

因此，可以获得看起来好像虚拟物体漂浮在海面上的、自然且真实感较高的增强现实影像。另外，用户通过眺望显示器2所映出的海面，能够将表示虚拟现实的图形41f、42f、…网罗到视界内，因此能够可靠地获取所需信息。

特别是如图6和图8所示，表示用户使用标绘器11设定的航线的路径线42的图形42f，以粘贴在由照相机3拍摄的拍摄影像的海面上的方式显示。因此，用户通过眺望显示器2所显示的合成影像的海面，能够伴随真实感把握海面上描画的航线(包括与本船4的位置关系)，能够直观地沿着该航线驾船。另外，表示停靠区域43的虚拟现实对象43v也同样，以贴在海面上的方式显示，因此能够容易地进行使本船4移动至停靠区域43使其停止的操作。

此外，虚拟浮标45如上所述，不具有实体，但在所述合成影像中，表现该虚拟浮标的图形45f以实体浮现的方式显示在照相机3的拍摄影像的海面上。由此，用户能够根据与本船4等的关系直观地理解虚拟浮标45的位置，使驾船变得更容易。

在本实施方式中，在合成影像中，可以通过改变观看方式来显示各个图形41f、42f、…，使得其变得明显或不明显。例如，在检测到本船4的位置偏离预定航线的情况下，考虑使路径线42的图形42f闪烁显示。另外，关于其他船44的图形44f，考虑根据与本船4碰撞的危险度的高低，使显示颜色变化，或者使透明度变化。碰撞的危险度有已知的各种方法，因此不详细说明，例如，能够通过计算预测本船与该物标最接近时的距离、以及本船与该物标最接近为止所需的时间，基于所得到的预测距离以及预测时间来进行判定。因此，在借助于用户视觉的多条信息中，例如，可以根据该信息的重要性适当地以强弱方式显示，从而可以提供用户友好影像。

在本实施方式的影像生成装置1中，通过操作键盘31及鼠标32等，可以根据例如每个附加显示信息、信息的类型或作为信息源的船舶设备，切换显示/不显示合成影像中的附加显示信息的图形41f、42f、…。附加显示信息的显示/不显示的设定被存储在图1所示的存储部18中。当三维场景生成部22生成三维场景数据48时，设定为不显示的附加显示信息对应的虚拟现实对象不会被配置在三维虚拟空间40中，因此，与其相对应的图形不出现在合成影像中。由此，能够得到容易观看的整理后的合成影像。

另外，在图6的例子中，作为附加显示信息，通过图形41f、42f、…显示由用户设定的航路点、路径线、停靠区域、其他船以及虚拟浮标，但附加显示信息并不限定于此。例如，除了上述以外，到达区域、探测到鱼群的海域、禁止航海区域、危险海域、陆地、地标等也可以包含在附加显示信息中。由此，能够以视觉上容易掌握的方式显示对用户有益的信息。

如上所述，本实施方式的影像生成装置1包括位置获取部15、姿态获取部16、附加显示信息获取部17、三维场景生成部22和数据合成部23。位置获取部15获取表示设置有照相机3的船舶(本船)4在地球上的位置的位置信息。姿态获取部16获取表示本船4的姿态的姿态信息。附加显示信息获取部17获取包含表示多个地点的位置的信息的附加显示信息(路径线42及停靠区域43的信息)。三维场景生成部22根据所述位置信息、所述姿态信息以及由附加显示信息获取部17获取的所述附加显示信息所包含的多个地点的位置，生成三维场景数据48，所述三维场景数据48用于将表示所述附加显示信息的图形42f、43f的至少一部分，以在照相机3输出的影像的水面上载置该图形42f、43f的方式进行重叠显示。数据合成部23输出对三维场景数据48进行描画的图形42f、43f。

由此，能够基于本船4的位置及姿态，将表示附加显示信息(路径线42及停靠区域43)的位置等的三维显示作为图形42f、43f输出。因此，通过将该图形42f、43f以与拍摄影像重叠的方式进行显示，可以实现虚拟现实的合成影像(参见图6和图8)。用户通过观看该合成影像，可以容易直观地掌握由附加显示信息指示的状况，包括位置关系。此外，通过将附加显示信息的图形42f、43f配置为沿着拍摄影像的水面进行显示，用户能够直观地掌握多个地点之间的关系(例如路径线42的朝向以及停靠区域43的形状)。

另外，在本实施方式的影像生成装置1中，能够单独地、按照信息的种类、或者按照作为信息源的船舶设备来设定表示附加显示信息的图形41f、42f、…的显示/不显示。

由此，能够根据用户的喜好等选择性地显示或者不显示以虚拟现实方式显示的图形41f、42f、…。因此，能够防止图形混合而使显示难以理解。

另外，在本实施方式的影像生成装置1中，所述附加显示信息中包含用户设定的作为本船4的航线的路径线42的信息。三维场景生成部22生成用于显示表示路径线42的图形42f的三维场景数据48。

由此，在合成影像中，在由照相机3拍摄的影像的水面上，以载置表示航线的图形42f的方式重叠显示，因此用户容易掌握航线延伸的方向。因此，例如，易于进行沿着设定的航线的驾船等。

另外，在本实施方式的影像生成装置1中，以连接由用户设定的多个航路点41的方式生成路径线42。三维场景生成部22生成用于显示表示路径线42的图形42f和表示航路点41的图形41f的三维场景数据48。

由此，在合成影像中，能够容易地把握本船4的航线延伸的方向等，并且也能够容易地把握与航路点41相关的信息。因此，可以进一步易于进行沿着设定的航线的驾船等。

此外，在本实施方式的影像生成装置1中，所述附加显示信息中包含表示用户设定的本船4的停靠地的区域即停靠区域43。三维场景生成部22生成用于显示表示停靠区域43的图形43f的显示用数据。

因此，在合成影像中，能够将具有平面扩展性的区域、即停靠区域43的图形43f以粘贴到拍摄影像的水面的方式进行显示。由此，用户易于掌握停靠区域43的形状，因此，例如易于进行使本船4停靠在该停靠区域43的操作。

另外，在本实施方式的影像生成装置1中，所述附加显示信息中包含与其他水上移动体(其他船44)相关的信息。三维场景生成部22根据其他船44与本船4的碰撞的危险度的高低，使表示其他船44的图形44f的显示方式不同。

由此，在借助于用户的视觉的多个信息中，例如对于碰撞危险较高的其他船44，能够比其他物标强调显示，能够提供适当标注有强弱的用户友好的影像。

另外，在本实施方式的影像生成装置1中，三维场景数据48的描画是根据姿态获取部16获取的姿态的变化来更新的。

由此，即使由于本船4因波浪等而摇晃的影响而导致照相机3的拍摄影像发生变化，也能够以维持图形41f、42f、…载置于拍摄影像的水面上的状态的方式进行显示，因此能够实现没有违和感的显示。

另外，本实施方式的影像生成装置1的位置获取部15基于设置于本船4的GNSS天线从定位卫星接收到的电波来获取所述位置信息。另外，影像生成装置1具备天线位置设定部26，该天线位置设定部26能够设定作为本船4的所述GNSS天线的位置的天线位置。三维场景生成部22基于天线位置，生成用于显示图形41f、42f、…的三维场景数据48。

由此，表示附加显示信息的图形41f、42f、…的位置等是考虑了本船4的GNSS天线的位置而决定的，因此能够防止显示位置的偏移。

此外，本实施方式的影像生成装置1具备能够设定作为本船4的照相机3的位置的拍摄位置的拍摄位置设定部25。三维场景生成部22基于所述拍摄位置，生成用于显示图形41f、42f、…的三维场景数据48。

由此，表示附加显示信息的图形41f、42f、…的位置等是考虑了本船4中的照相机3的位置而决定的，因此能够防止显示位置的偏移。

另外，在本实施方式的影像生成装置1中，拍摄位置设定部25能够设定照相机3的高度。

由此，能够考虑照相机3的高度，生成表示附加显示信息的图形41f、42f…。因此，能够防止看到图形41f、42f、…潜入水面或从水面浮起，因此能够实现不损害真实感的自然的显示。

另外，在本实施方式的影像生成装置1中，姿态获取部16基于设置于本船4的多个GNSS天线从定位卫星接收到的电波的载波相位的相位差来获取所述姿态信息。

由此，能够高精度地获取本船4的姿态，因此能够得到违和感较少的合成影像。

以上说明了本发明的优选实施方式，但上述结构例如能够进行如下变更。

在数据合成部23中，也可以不同时渲染三维场景数据48和投影屏幕51。即，数据合成部23可以被配置为分别产生作为仅对三维场景数据48进行渲染的结果的二维影像(图形41f、42f、…的图像)和作为仅对投影屏幕51进行渲染的结果的二维影像(拍摄影像粘贴到投影屏幕51的图像)，然后，合成二维影像。在这种情况下，三维场景数据48的渲染处理根据本船4的移动等随时进行，另一方面，投影屏幕51的渲染处理能够以与照相机3的影像的帧率对应的较短的时间间隔进行。

在照相机3中，也可以构成为省略上述的平移/倾斜功能，拍摄方向例如固定在前方。另外，照相机3也可以配置为拍摄前方以外的方向(例如后方)。

如上所述，在照相机3的拍摄方向不变动的情况下，也可以构成为不由影像生成装置1(数据合成部23)进行拍摄图像与图形41f、42f、…的合成，而由外部的装置进行。即，代替数据合成部23而具有图形输出部(显示输出部)，该图形输出部在图4的三维场景中省略了投影屏幕51的状态下进行渲染，仅生成图形41f、42f、…的影像。通过外部的合成装置合成该影像和照相机3的拍摄影像，从而能够得到图6所示的合成影像。

进而，也可以将照相机3构成为，能够在360度的全方位上同时拍摄本船4的周围。

当用户执行改变合成影像的视点的操作时，可以自动进行照相机3的平移/倾斜动作以跟随该操作。

在三维场景生成部22生成三维场景数据48时，在上述实施方式中，如图4中说明的那样，虚拟现实对象41v、42v、…以将本船4的位置作为原点的船首基准来配置。然而，虚拟现实对象41v、42v、…可以不是以船首为基准而是以+z方向始终为正北的正北基准来配置。在该情况下，在本船4的船首方位因转头等而变化时，代替对虚拟现实对象41v、42v、…进行重新配置，而使三维虚拟空间40中的本船4的朝向变化为偏航方向。然后，在三维虚拟空间40中模拟此时的照相机3的位置和朝向的变化，同时与此连动地变更视点照相机55的位置和朝向进行渲染，从而能够得到与所述船首基准的情况完全相同的渲染结果。

另外，三维虚拟空间40的坐标系也可以取代将本船4的位置作为原点的方式，而将在地球上适当设定的固定点作为原点，例如以+z方向为正北，+x方向为正东的方式确定。此时，在固定于地球的坐标系的三维虚拟空间40中，根据位置信息以及姿态信息，改变本船4配置的位置以及朝向，并在三维虚拟空间40中模拟与此相伴的照相机3的位置以及朝向的变化。

在影像生成装置1中，也可以进行减轻伴随本船4的摇晃而合成影像的摇晃的处理。例如，在三维场景生成部22中，考虑即使本船4摇晃也抑制视点照相机55的位置以及朝向的变动。

数据合成部23输出的图形(构成合成影像的一部分的图形)41f、42f、…可以是较薄地粘贴于水面的平面的图形，也可以是从水面以某个程度的高度突出的立体的图形。例如，代替以平面的图形43f表现本船4的停靠区域43，而通过具有停靠区域43的轮廓并且具有规定的高度的长方体框状的图形来表现。同样，例如也可以代替平面图形41f，例如通过从水面突出的圆柱状、角锥状等任意立体图形来表现航路点41。

拍摄位置设定部25也可以构成为能够将本船4中的照相机3的位置设定为相对于GNSS天线的相对位置。

与影像生成装置1连接的船舶设备(附加显示信息的信息源)不限于图1中说明的船舶设备，也可以包括其他船舶设备。

本发明不限于在海上航行的船舶，例如，能够适用于能够在海、湖或河川等航行的任意的水上移动体。

符号的说明

如上所述，当在由摄像装置拍摄的影像上重叠显示图形等时，如图9和图10所示，通过同时显示诸如表示方位的刻度图像等的附加信息91a和91b，可以有效地使用有限的显示区域。此时，也可以构成为自动地变更或移动附加信息的位置，以使该图形尽可能不被附加信息遮挡。另外，也可以根据船体的倾斜，倾斜显示附加信息91a、91b。通过进行这样的显示，即使在船体倾斜的状况下也能够始终视觉辨认正确的附加信息。

参考图11的流程图说明本发明实施方式中执行的处理。在本实施方式中，获取表示设置有摄像装置的水上移动体的位置的位置信息(S101)、获取表示所述水上移动体的姿态的姿态信息(S102)、获取包含表示多个地点的位置信息的附加显示信息(S103)、基于所述位置信息、所述姿态信息以及所述附加显示信息中包含的多个地点的位置，生成三维显示用数据，所述三维显示用数据用于将表示所述附加显示信息的图形的至少一部分以在所述拍摄装置输出的影像的水面上载置该图形的方式进行重叠显示(S104)，输出对所述三维显示用数据进行描画的所述图形(S105)，由此，解决上述课题。

附图标记说明

1 影像生成装置

3 照相机(拍摄装置)

4 船舶(水上移动体)

15 位置获取部

16 姿态获取部

17 附加显示信息获取部

22 三维场景生成部(三维显示用数据生成部)

23 数据合成部(显示输出部)

42 路径线

42f 路径线的图形

43 停靠区域

43f 停靠区域的图形

48 三维场景数据(三维显示用数据)。

Claims (11)

1.一种影像生成装置，其特征在于，具备：

位置获取部，获取表示设置有拍摄装置的水上移动体的位置的位置信息；

姿态获取部，获取表示所述水上移动体的姿态的姿态信息；

附加显示信息获取部，获取包含表示多个地点的位置信息的附加显示信息；

显示用数据生成部，基于所述位置信息、所述姿态信息以及由所述附加显示信息获取部获取的所述附加显示信息所包含的多个地点的位置，生成三维显示用数据，所述三维显示用数据用于将表示所述附加显示信息的图形的至少一部分以在所述拍摄装置输出的影像的水面上载置该图形的方式进行重叠显示；

显示输出部，输出对所述三维显示用数据进行描画的所述图形；以及

拍摄位置设定部，所述拍摄位置设定部能够设定所述水上移动体的所述拍摄装置的位置、即拍摄位置，

所述显示用数据生成部还基于所述拍摄位置，生成用于显示所述图形的三维显示用数据。

2.根据权利要求1所述的影像生成装置，其特征在于，

所述附加显示信息中包含用户设定的所述水上移动体的航线，

所述显示用数据生成部生成用于显示表示所述航线的图形的三维显示用数据。

3.根据权利要求2所述的影像生成装置，其特征在于，

以连接用户设定的航路点的方式生成所述航线，

所述显示用数据生成部生成用于显示表示所述航线的图形和表示所述航路点的图形的三维显示用数据。

4.根据权利要求1至3中任一项所述的影像生成装置，其特征在于，

所述附加显示信息中包含表示用户设定的所述水上移动体的停靠地或到达地的区域，

所述显示用数据生成部生成用于显示表示所述停靠地或所述到达地的图形的三维显示用数据。

5.根据权利要求1至3中任一项所述的影像生成装置，其特征在于，

所述附加显示信息中包含与其他水上移动体相关的信息，

所述显示用数据生成部根据所述水上移动体与所述其他水上移动体碰撞的危险度的高低，使表示所述其他水上移动体的图形的显示方式不同。

6.根据权利要求1至3中任一项所述的影像生成装置，其特征在于，

基于由所述姿态获取部获取的姿态的变化来更新所述三维显示用数据的描画。

7.根据权利要求1至3中任一项所述的影像生成装置，其特征在于，

所述位置获取部基于设置在所述水上移动体上的定位用天线从定位卫星接收到的电波来获取所述位置信息，

所述影像生成装置还具备天线位置设定部，所述天线位置设定部能够设定所述水上移动体的所述定位用天线的位置、即天线位置，

所述显示用数据生成部基于所述天线位置，生成用于显示所述图形的三维显示用数据。

8.根据权利要求1所述的影像生成装置，其特征在于，

所述拍摄位置设定部至少能够设定所述拍摄装置的高度。

9.根据权利要求1至3中的任一项所述的影像生成装置，其特征在于，

所述姿态获取部根据设置于所述水上移动体的多个定位用天线从定位卫星接收到的电波的载波相位的相位差，获取所述姿态信息。

10.根据权利要求1至3中任一项所述的影像生成装置，其特征在于，

所述显示用数据生成部还生成表示方位的刻度图像，

根据在所述拍摄装置输出的影像上重叠显示的所述图形的显示位置来确定所述刻度图像的显示位置。

11.一种影像生成方法，其特征在于，

获取表示设置有拍摄装置的水上移动体的位置的位置信息，

获取表示所述水上移动体的姿态的姿态信息，

获取包含表示多个地点的位置信息的附加显示信息，

根据所述位置信息、所述姿态信息、所述附加显示信息中所包含的多个地点的位置、所述拍摄装置的拍摄位置，生成三维显示用数据，所述三维显示用数据用于将表示所述附加显示信息的图形的至少一部分以在所述拍摄装置输出的影像的水面上载置该图形的方式进行重叠显示，

输出对所述三维显示用数据进行描画的所述图形。