CN110574366A - 影像生成装置 - Google Patents

Abstract

本发明提供一种影像生成装置，即使是与拍摄装置所拍摄的朝向不同的朝向，也能够确认水上移动体的周围情况。拍摄影像输入部输入设置于水上移动体的拍摄装置所拍摄的拍摄影像。位置获取部获取表示所述水上移动体的位置的位置信息。姿态获取部获取表示所述水上移动体的姿态的姿态信息。附加显示信息获取部获取包含表示一个或多个地点的位置的信息的附加显示信息。合成影像生成部基于所述位置信息、所述姿态信息以及所述附加显示信息，生成将描画了表示所述附加显示信息的三维虚拟现实对象的图形与所述拍摄影像进行合成的合成影像，在所述拍摄影像仅配置在所述合成影像的一部分中的情况下，能够以跨所述拍摄影像的边界内外的方式配置所述图形。

Description

影像生成装置

技术领域

本发明涉及影像生成装置。详细而言，涉及用于生成表示水上移动体的周围情况的影像的影像生成装置。

背景技术

例如，在专利文献1中公开了这种影像生成装置。该专利文献1的影像生成装置构成为具备照相机、拍摄数据接收部、位置获取部、影像生成部、物标显示物生成部以及显示器，对来自照相机的图像流进行地理参考。

在专利文献1中，拍摄数据接收部接收船舶的照相机拍摄的流图像数据。位置获取部获取该船舶周围的物标(其他船等)的位置。影像生成部基于流图像数据的图像，生成在显示器上显示的影像。该影像对应于照相机的位置和视野。物标显示物生成部在所述影像上的点生成表示物标的物标显示物。而且，构成为在显示器上显示所述影像和配置于所述影像上的点的所述物标显示物。

上述的影像生成部在各点与所述影像上的点对应地表示水上移动体的周围环境的三维虚拟空间上投影所述影像，从而生成所述影像。另外，所述物标显示物生成部基于物标的位置信息和三维虚拟空间的各个点，生成所述物标显示物。

现有技术文献

专利文献

专利文献1：美国专利申请公开第2015/0350552号说明书

发明内容

发明所要解决的问题

在为了监视水上移动体的周围环境而进行拍摄的情况下，通常希望以能够看到水平方向的广角度方位的方式进行拍摄。但是，由于照相机的视角有限，不一定能够获取水上移动体的周围360度全方位的拍摄影像。

对此，对比文件1中公开以配置在照相机拍摄的影像上的方式显示物标显示物的内容，但是，没有记载如何显示不存在照相机的拍摄影像的范围(朝向)，以及如何不进行显示。

本发明鉴于上述情况，其目的在于即使是与拍摄装置拍摄的朝向不同的角度，也能够确认水上移动体的周围环境。

解决问题的技术方案以及技术效果

本发明所要解决的课题如上所述，下面说明解决该课题的技术方案以及效果。

根据本发明的观点，提供具有以下结构的影像生成装置。即，该影像生成装置具备拍摄影像输入部、位置获取部、姿态获取部、附加显示信息获取部以及合成影像生成部。所述拍摄影像输入部输入设置于水上移动体的拍摄装置拍摄的拍摄影像。所述位置获取部获取表示所述水上移动体的位置的位置信息。所述姿态获取部获取表示所述水上移动体的姿态的姿态信息。所述附加显示信息获取部获取包含表示一个或多个地点的位置的信息的附加显示信息。所述合成影像生成部基于所述位置信息、所述姿态信息以及所述附加显示信息，生成将描画了表示所述附加显示信息的三维虚拟现实对象的图形与所述拍摄影像合成的合成影像，在所述拍摄影像仅配置在所述合成影像的一部分中的情况下，能够以跨所述拍摄影像的边界内外的方式配置所述图形。

由此，能够基于水上移动体的位置以及姿态，将表示附加显示信息的位置的图形与拍摄影像重合，创建合成影像，从而实现虚拟现实方式的显示。另外，例如，能够通过图形确认与拍摄影像拍摄的朝向不同的方向的附加显示信息，因此，用户能够确认广阔方位的附加显示信息。并且，能够以跨存在拍摄影像的区域与不存在拍摄影像的区域的方式配置图形，因此，用户能够无缝获取配置有拍摄影像的部分及其以外的部分两者，并且，能够把握附加显示信息显示的状况。

在所述的影像生成装置中，优选所述合成影像生成部能够将描画了具有船舶的形状的所述虚拟现实对象的图形与所述拍摄影像进行合成。

由此，即使在其他船在拍摄影像中仅局部出现的情况下，也能够通过以超出拍摄影像的范围的方式描画虚拟现实对象的图形，使用户易于理解该其他船的位置以及大小等。

在所述的影像生成装置中，优选所述合成影像生成部能够将描画船舶的长度、宽度、以及船头方位中的至少一项反映所述附加显示信息的虚拟现实对象的图形与所述拍摄影像进行合成。

由此，能够将基于附加显示信息的形状以及朝向的船舶作为对象，因此，能够获得更忠实反映附加显示信息的合成影像。

在所述的影像生成装置中，优选采用以下结构。即，所述合成影像生成部能够对所述拍摄影像合成表示方位的方位刻度。所述合成影像生成部在所述拍摄影像仅配置在所述合成影像的一部分中的情况下，能够以跨所述拍摄影像内外的方式配置所述方位刻度。

由此，用户能够无缝获取存在拍摄影像的区域以及不存在拍摄影像的区域两者，并且易于把握方位。

在所述的影像生成装置中，优选以下结构。即，所述合成影像生成部能够对所述拍摄影像合成作为水面与天空的边界的水平线。所述合成影像生成部在所述拍摄影像仅配置在所述合成影像的一部分中的情况下，能够以跨所述拍摄影像的边界内外的方式配置所述水平线。

由此，用户能够无缝获取存在拍摄影像的区域以及不存在拍摄影像的区域两者，并且易于把握水平线。

在所述的影像生成装置中，优选以下结构。即，所述合成影像生成部能够对所述拍摄影像合成表示水面的网格。所述合成影像生成部在所述拍摄影像仅配置在所述合成影像的一部分中的情况下，能够以跨所述拍摄影像的边界内外的方式配置所述网格。

由此，用户能够无缝获取存在拍摄影像的区域以及不存在拍摄影像的区域两者，并且易于把握海面。

在所述的影像生成装置中，优选所述合成影像生成部能够以模糊或者强调所述拍摄影像的边界的方式进行描画。

由此，能够减弱或者增强拍摄影像的边界的印象，因此，能够提高显示的美观性。

在所述的影像生成装置中，优选以下结构。即，在所述拍摄影像配置在所述合成影像的全部之中的情况下，与所述水上移动体的至少侧倾方向的姿态变化相对应地进行变更描画所述虚拟现实对象的位置以及朝向的姿态变化跟踪处理。在所述合成影像中完全未配置所述拍摄影像的情况下，不进行所述姿态变化跟踪处理。

由此，在以覆盖全部合成影像的方式配置拍摄影像的情况下，与波浪等使水上移动体摇摆所伴随的拍摄影像的姿态等变化相对应变更描画虚拟现实对象的位置以及朝向，由此，能够减少合成影像的违和感，并且，提高真实感。另一方面，在合成影像中完全未包含拍摄影像的情况下，能够防止影像摇摆。

在所述影像生成装置中，优选以下结构。即，所述合成影像生成部基于所述位置信息以及所述姿态信息，在三维虚拟空间中配置所述附加显示信息的至少一部分作为三维虚拟现实对象，并且，配置所述拍摄影像，基于配置在该三维虚拟空间中的虚拟照相机的位置以及朝向描画所述虚拟现实对象以及所述拍摄影像，从而生成所述合成影像。能够通过用户操作变更所述虚拟照相机的位置以及朝向中的至少一项。

由此，能够从水上移动体的各个方向确认附加显示信息。另外，即使用户变化想要观察的方向，也能够通过简单的处理实现可维持附加显示信息的三维表现的图形与拍摄装置所拍摄的影像的三维观察方式整合性的合成影像。

在所述的影像生成装置中，优选所述合成影像生成部能够自动变更所述虚拟照相机的位置以及朝向中的至少一项，使得所述三维虚拟空间中的点、用户进行了选择所述虚拟现实对象操作时所选择的点、或者虚拟现实对象持续包含在所述合成影像中。

由此，能够易于持续确认用户所关注的地点的状况或者附加显示信息所表示的状况。

附图说明

图1是示出根据本发明的一个实施方式的影像生成装置的整体结构的框图。

图2是表示船舶所具有的各种设备的侧视图。

图3是说明作为影像生成装置中的显示对象的附加显示信息的示例的概念图。

图4是说明通过在三维虚拟空间中配置虚拟现实对象而构建的三维场景数据和配置于该三维虚拟空间中的投影屏幕的概念图。

图5是示出由照相机拍摄的拍摄影像的示例的图。

图6是示出数据合成部输出的合成影像的图。

图7是表示船舶从图4的状态向俯仰方向及侧倾方向摇晃的情况的概念图。

图8是表示图7的情况下的合成影像的图。

图9是表示确定合成影像的视点的视点照相机相对于设置于船舶的照相机的拍摄方向向右平移的情况的概念图。

图10是表示照相机的拍摄影像占据合成影像的一部分区域的情况的图。

图11是表示从图10的状态进一步使视点照相机向右平移的情况下的合成影像的图。

图12是说明通过三维模型的模板的变形以及旋转生成形状以及朝向不同的多个虚拟现实对象的处理的图。

图13是方位刻度的显示例1。

图14是方位刻度的显示例2。

图15是本发明的一个实施方式所涉及的影像生成方法的流程图。

具体实施方式

下面，参照附图说明本发明的实施方式。图1是示出根据本发明的一个实施方式的影像生成装置1的整体结构的框图。图2是表示船舶4所具备的各种设备的侧视图。

图1所示的影像生成装置1例如安装在图2所示的船舶(水上移动体)4上，是用于以由照相机(拍摄装置)3拍摄到的影像为基础，生成以虚拟现实方式表现该船舶4的周围情况的影像的装置。影像生成装置1生成的影像显示在显示器2上。

显示器2例如能够构成为在该船舶4(本船)上进行驾船的操作者所参照的驾船辅助装置的显示器。其中，显示器2并不限于此，例如，也可以是从本船4监视周围的状况的驾船辅助者所携带的便携式计算机的显示器、用于乘客在本船4的客室观看的显示器、或者乘船者佩戴的可佩戴式眼镜等头戴式显示器的显示部。

影像生成装置1通过将由设置于本船4的照相机3拍摄到的本船4的周围的影像与以虚拟现实方式表现本船4的周围的附加显示信息(后面详细叙述)的图形进行合成，生成作为向显示器2的输出影像的合成影像。

接下来，主要参照图1，说明与影像生成装置1电连接的照相机3和各种船舶设备。

照相机3构成为拍摄本船4的周围的广角型视频照相机。该照相机3具有实时输出功能，能够实时生成作为拍摄结果的动画数据(影像数据)并输出到影像生成装置1。如图2所示，照相机3以拍摄方向相对于船体为水平前方的方式设置于船舶4。

照相机3经由未图示的旋转机构安装于船舶4，通过从影像生成装置1输入指示平移/倾斜动作的信号，能够以船舶4的船体为基准在规定的角度范围内变更其拍摄方向。另外，由于本船4的高度以及姿态随波浪等发生各种变化，因此，照相机3的高度以及姿态(拍摄方向)也随之发生三维变化。

本实施方式的影像生成装置1除了上述的照相机3之外，还与作为船舶设备的GNSS罗盘(方位传感器、姿态传感器)5、角速度传感器6、GNSS接收机7、加速度传感器8、AIS接收机9、ECDIS10、标绘器11、雷达装置12以及声纳13等电连接。

GNSS罗盘5具备固定于本船4的多个GNSS天线(定位用天线)。GNSS罗盘5基于从定位卫星接收到的电波来计算各个GNSS天线的位置关系。特别是，本实施方式的GNSS罗盘5构成为基于各GNSS天线接收到的电波的载波相位的相位差来求出GNSS天线的位置关系(由于该处理是已知的，因此省略详细的说明)。由此，能够高精度地获取本船4的船头方位。

GNSS罗盘5能够三维地获取船舶4的姿态。换言之，GNSS罗盘5不仅能够检测船头方位(即，船舶4的偏航角)，还能够检测船舶4的侧倾角以及俯仰角。由GNSS罗盘5获取的本船4的姿态信息被输出到影像生成装置1的姿态获取部16和使用该姿态信息的其他船设备。

角速度传感器6例如由已知的振动陀螺仪传感器构成，能够以比GNSS罗盘5的姿态检测间隔(例如1秒)短的周期检测船舶4的偏转角速度、侧倾角速度以及俯仰角速度。通过将GNSS罗盘5检测到的角度与角速度传感器6检测到的角速度的积分值并用，能够以比仅使用GNSS罗盘5的情况短的时间间隔获取船舶4的姿态。此外，角速度传感器6在来自上述定位卫星的电波被例如桥等障碍物遮挡而导致GNSS罗盘5无法检测姿态的情况下，作为用于获取姿态信息的备用单元而发挥功能。

GNSS接收机7基于所述GNSS天线从定位卫星接收到的电波，求出本船4的位置(详细而言，GNSS天线的纬度、经度以及高度)。GNSS接收机7将获得的位置信息输出到影像生成装置1的位置获取部15和使用该位置信息的其他的船舶设备。

加速度传感器8例如构成为已知的静电电容检测型的传感器，能够以比GNSS接收机7的位置检测间隔(例如1秒)短的周期检测船舶4的偏转轴、侧倾轴和俯仰轴上的加速度。通过并用GNSS接收机7检测到的位置和加速度传感器8检测到的加速度的双重积分值，能够以比仅使用GNSS接收机7的情况短的时间间隔获取本船4的位置。另外，加速度传感器8在来自所述定位卫星的电波被遮挡而导致GNSS接收机7无法检测位置的情况下，可作为用于获取位置信息的备用单元发挥功能。

在本实施方式中，如图2所示，角速度传感器6、GNSS接收机7以及加速度传感器8使用内置于GNSS罗盘5的装置。但是，角速度传感器6、GNSS接收机7以及加速度传感器8中的全部或者一部分也可以独立于GNSS罗盘5设置。

AIS接收机9接收从其他船或陆地站等发送的AIS信息。AIS信息包括在本船4的周围航行的其他船的位置(纬度/经度)、该其他船的长度以及宽度、该其他船的种类以及识别信息、该其他船的船速、航向及目的地、地标的位置以及识别信息等各种信息。

ECDIS10从GNSS接收机7获取本船4的位置信息，并且基于预先存储的电子海图信息，将本船4周围的信息输出至影像生成装置1。

标绘器11通过从GNSS接收机7持续获取本船4的位置，能够生成本船4的航行轨迹的信息。另外，标绘器11通过让用户设定多个航路点(本船4预定通过的地点)，能够依次连接这些航路点而生成预定航线。

雷达装置12能够探测存在于本船4周围的其他船等物标。另外，该雷达装置12具有能够捕捉以及追踪物标的已知的目标追踪功能(Target Tracking：TT)，能够求出该物标的位置以及速度矢量(TT信息)。

声纳13向水中发送超声波，并且接收该超声波被鱼群等反射的反射波，由此探知鱼群等。

影像生成装置1与用户操作的键盘31和鼠标32连接。用户通过操作键盘31和鼠标32，能够进行与影像的生成相关的各种指示。该指示包括照相机3的平移/倾斜动作、各种信息有无显示的设定、合成影像的视点的设定等。

接下来，主要参照图1详细说明影像生成装置1的结构。

如图1所示，影像生成装置1包括拍摄影像输入部21、位置获取部15、姿态获取部16、附加显示信息获取部17、存储部18、拍摄位置设定部25、天线位置设定部26和视点设定部27、显示设定部28以及合成影像生成部20。

具体而言，影像生成装置1作为已知的计算机而构成，虽然未图示，但具备CPU、ROM、RAM及HDD等。此外，影像生成装置1包括用于高速进行后面所述的三维图像处理的GPU。并且，例如，HDD中存储用于执行本发明的影像合成处理的软件。通过硬件和软件的协作，影像生成装置1可以作为拍摄影像输入部21、位置获取部15、姿态获取部16、附加显示信息获取部17、存储部18、拍摄位置设定部25、天线位置设定部26、视点设定部27、显示设定部28以及合成影像生成部20等发挥作用。

拍摄影像输入部21能够以例如每秒30帧的方式输入照相机3输出的影像数据。拍摄影像输入部21将输入的影像数据输出至合成影像生成部20(后述的数据合成部23)。

位置获取部15基于GNSS接收机7以及加速度传感器8的检测结果，实时地获取本船4的当前的位置。

姿态获取部16基于GNSS罗盘5和角速度传感器6的检测结果，实时获取本船4的当前姿态。

附加显示信息获取部17根据AIS接收机9、ECDIS10、标绘器11、雷达装置12以及声纳13等输出到影像生成装置1的信息，获取针对照相机3拍摄的影像的附加显示的信息(附加显示信息)。作为该附加显示信息，可以考虑各种信息，例如，如图3所示，可以是AIS接收机9接收到的其他船44的信息。另外，附加显示信息的详细情况将在后面叙述。

图1的存储部18构成为存储各种信息的存储器。存储部18可以存储表示各种附加显示信息的虚拟现实对象的三维形状作为模板。存储部18所存储的三维形状的模板例如可以是小型船、大型船、浮标、灯塔等，但并不限定于此。

拍摄位置设定部25能够设定本船4的照相机3的位置(拍摄位置)，具体而言，能够设定照相机3在船的长度方向及宽度方向上的位置、和照相机在上下方向上的位置(照相机3的高度)。照相机3的高度可以是本船4中通常设想的距吃水线的高度，但不限于此，例如也可以是距船底的高度。例如，可以通过操作键盘31和鼠标32等输入用户实际测量照相机3的位置的结果来进行该拍摄位置的设定。

天线位置设定部26能够设定本船4的GNSS天线的位置(天线位置)。该天线位置例如作为控制的基准，如图2所示，能够设为以设定于本船4的基准点4a为基准的、船的长度方向、宽度方向以及上下方向上的位置。该基准点4a能够以各种方式确定，但在本实施方式中，确定在本船4的船体的中央且与通常设想的吃水线为相同高度的位置。天线位置的设定与所述拍摄位置同样，例如能够通过输入实际的测量值来进行。

图1的视点设定部27通过用户操作例如键盘31以及鼠标32来设定后面所述的合成影像生成部20生成的影像的视点。

显示设定部设定是否显示由后面所述的合成影像生成部20生成的影像中的附加显示信息。另外，显示设定部28能够设定是否显示用于辅助理解影像的各种信息，例如，方位刻度、水平线、以及海面网格。这些设定可以通过用户操作例如键盘31以及鼠标32来进行。

位置获取部15、姿态获取部16、附加显示信息获取部17、存储部18、拍摄位置设定部25、天线位置设定部26、视点设定部27以及显示设定部28将获取、存储或者设定的信息输出到合成影像生成部20。

合成影像生成部20在拍摄影像输入部21输入的照相机3的拍摄影像中合成三维计算机图形，从而生成表现增强现实的影像。该合成影像生成部20包括三维场景生成部22和数据合成部23。

如图4所示，三维场景生成部22通过将与附加显示信息相对应的虚拟现实对象41v、42v、…配置在三维虚拟空间40中，从而构建虚拟现实的三维场景。由此，生成作为三维场景的数据的三维场景数据(三维显示用数据)48。另外，三维场景的详细情况将在后面叙述。

图1的数据合成部23通过描画三维场景生成部22所生成的三维场景数据48，生成以三维方式表现附加显示信息的图形，并且进行输出图6所示的合成影像、即将该图形41f、42f、…与照相机3的拍摄影像合成的影像的处理。如图6所示，在该合成图像中，在由照相机3拍摄到的影像(图中为了便于说明而用虚线表示)的海面上，以载置的方式重叠有表示附加显示信息的图形41f、42f、…。数据合成部23将生成的合成影像输出到显示器2。此外，稍后将详细描述图形生成处理和数据合成处理。

下面，对由上述的附加显示信息获取部17获取的附加显示信息进行详细说明。图3是说明在影像生成装置1中作为显示对象的附加显示信息的例子的概念图。

附加显示信息是对照相机3拍摄的影像附加显示的信息，根据与影像生成装置1连接的船舶设备的目的以及功能，可以考虑各种信息。例如，关于AIS接收机9，可以将所接收的上述AIS信息(例如，其他船的位置和朝向、浮标的位置、虚拟浮标的位置等)作为附加显示信息。关于ECDIS10，能够将电子海图所包含的危险海域、禁止航海区域、灯塔、浮标等的位置作为附加显示信息。关于标绘器11，能够将所记录的本船4的轨迹、所设定的预定航线、航路点、到达区域、停靠区域的位置等作为附加显示信息。关于雷达装置12，能够将探测到的物标的位置以及速度等作为附加显示信息。关于声纳13，能够将探知到的鱼群的位置作为附加显示信息。这些信息从船舶设备实时地输入到影像生成装置1。附加显示信息获取部17向输入的各个附加显示信息提供用于唯一识别和管理的识别信息(例如，识别号码)。

图3中示出了位于本船4的周围的附加显示信息的例子。在图3中，在海面上(水面上)确定表示目的地的航路点41、41、和表示到达的目的地为止的预定航线的折线状的路径线42。此外，在路径线42的附近，确定多边形状(矩形状)的停靠区域43。航路点41、路径线42、停靠区域43通过用户预先适当操作标绘器11，指定各地点的位置来设定。

另外，在图3的例子中，在稍稍远离本船4的前方的地点，其他船44正在向本船4的右方航行，在本船4的左斜前方附近存在虚拟浮标45，这是通过AIS接收机9所获取的AIS信息来检测到的。另外，所谓虚拟浮标，是指由于设置困难等原因实际上未设置在海上，但在导航装置的画面上作为标识显示的假想的(没有实体)浮标。

在各个附加显示信息中至少包含表示配置有该附加显示信息的海面(水面)上的一个或者多个地点的位置(纬度以及经度)的信息。例如，表示路径线42的附加显示信息包括作为折线的弯曲部的两处地点的位置的信息(弯曲部的地点的位置与航路点41的位置一致)。在停靠区域43的附加显示信息中，包含有作为多边形的顶点的各个地点的位置的信息。另外，在表示其他船44的附加显示信息中，包含有表示该其他船44的位置、船头方位、船的长度、宽度等的信息。

接下来，参考图4详细描述由三维场景生成部22进行的三维场景的构建和由数据合成部23进行的影像的合成。图4是说明在三维虚拟空间40中配置虚拟现实对象41v、42v、…而生成的三维场景数据48和配置在该三维虚拟空间40中的投影屏幕51的概念图。

如图4所示，通过三维场景生成部22配置虚拟现实对象41v、42v、…的三维虚拟空间40由以本船4的适当的基准位置(例如上述的基准点4a)为原点的正交坐标系构成，设定为作为水平的面的xz平面来模拟海面(水面)。在图4的例子中，坐标轴被设定为+z方向始终与船头方位一致，+x方向为右方向，+y方向为上方向。该三维虚拟空间40内的各地点(坐标)被设定为与本船4周围的现实位置相对应。

图4表示为了表现图3所示的本船4的周围情况，将虚拟现实对象41v、42v、43v、44v、45v配置在三维虚拟空间40内的例子。各虚拟现实对象41v、42v、43v、44v、45v以船头方位为基准，以反映其表示的附加显示信息相对于本船4的相对位置的方式，被配置成与xz平面接触。在确定配置这些虚拟现实对象41v、42v、…的位置时，使用由图1所示的天线位置设定部26设定的GNSS天线的位置进行计算。

表示其他船44的虚拟现实对象44v具有船舶的形状，利用预先存储在存储部18中的大型船的模型的模板来表现。另外，该模型的朝向配置为表示通过AIS信息而获取的其他船44的朝向。

表示虚拟浮标45的虚拟现实对象45v与其他船44的虚拟现实对象44v同样，利用预先存储于存储部18的浮标的模型的模板来表现。

航路点41的虚拟现实对象41v通过薄圆板状的三维形状表现。路径线42的虚拟现实对象42v通过将具有一定厚度和宽度的细长板弯曲成折线状的三维形状来表现。停靠区域43的虚拟现实对象43v通过具有停靠区域43的轮廓的一定厚度的板状的三维形状来表现。对于这些虚拟现实对象41v、42v和43v，不使用模型的模板而每次根据情况创建三维形状。

三维场景生成部22如上所述生成三维场景数据48。在图4的例子中，由于虚拟现实对象41v、42v、…以本船4的位置作为原点的方位基准配置，因此若本船4的位置(东西方向以及南北方向的位置)从图3的状态发生变化、或者由于转头等而船头方位发生变化，则构筑重新配置有该虚拟现实对象41v、42v、…的新的三维场景，并更新三维场景数据48。另外，例如其他船44从图3的状态发生移动等而变更了附加显示信息的内容，则更新三维场景数据48以反映最新的附加显示信息。

然后，数据合成部23在三维虚拟空间40中配置用于确定投影照相机3的拍摄影像的位置以及范围的投影屏幕51。通过设定稍后描述的视点照相机55的位置和朝向，使得该投影屏幕51和虚拟现实对象41v、42v、…两者都被包括在视野中，从而实现影像的合成。

数据合成部23在三维虚拟空间40中模拟搭载于本船4的照相机3的位置和朝向，并且将投影屏幕51配置成与该照相机3正对。关于照相机3的位置的模拟，以船体为基准的照相机3的位置能够基于图1所示的拍摄位置设定部25的设定值而得到。

在模拟照相机3的位置和朝向时，考虑由所述照相机3的平移/倾斜运动引起的朝向的变化。而且，基于位置获取部15以及姿态获取部16获取到的位置信息以及姿态信息，以反映由本船4的姿态的变化以及高度的变化引起的照相机3的位置以及朝向的变动的方式进行该模拟。数据合成部23与照相机3的位置和朝向的变化联动，使配置在三维虚拟空间40中的投影屏幕51的位置和朝向变化。

并且，数据合成部23对三维场景数据48和投影屏幕51执行已知的渲染处理，从而生成二维图像。更具体地，数据合成部23在三维虚拟空间40中配置作为虚拟照相机的视点照相机55，并且，以该视点照相机55为顶点，其视线方向为中心轴的方式定义可确定作为渲染处理对象的范围的视锥台56。接着，数据合成部23通过透视投影，将构成各对象(虚拟现实对象41v、42v、…以及投影屏幕51)的多边形中的、位于该视锥台56内部的多边形的顶点坐标转换为与显示器2中的合成影像的显示区域相当的二维虚拟屏幕的坐标。然后，基于该虚拟屏幕上所配置的顶点，以规定的分辨率进行像素的生成和加工处理，从而生成二维的图像。

这样生成的二维影像包括通过进行三维场景数据48的描画而获得的图形(换句话说，作为虚拟现实对象41v、42v、…等的渲染结果的图形)。另外，在二维图像的生成过程中，在相当于投影屏幕51的位置上，以粘贴的方式配置照相机3的拍摄影像。由此，实现基于数据合成部23的影像的合成。由于投影屏幕51具有沿以照相机3为中心的球壳弯曲的形状，所以能够防止透视投影引起的拍摄影像的失真。

视点照相机55确定合成影像的视点，其位置以及朝向通过上述视点设定部27的设定来确定。但是，通过在视点设定部27中进行特别设定，数据合成部23作为生成合成影像时的模式，可以设置自动变化的模式(视点跟踪模式)，使得视点照相机55的位置和朝向始终与照相机3的位置和朝向一致。在视点跟踪模式中，视点照相机55的整个视野始终被投影屏幕51(即，照相机3拍摄影像)覆盖，从而可以实现具有真实感的合成影像。

另一方面，数据合成部23可以是能够通过适当输入装置的操作，与照相机3的位置和朝向无关地将视点照相机55的位置和朝向设置为按照视点设定部27设定的视点的模式(独立视点模式)。该输入装置例如可以是键盘31、鼠标32、未图示的触摸面板、操纵杆等。在该独立视点模式下，用户能够自由移动视点，确认位于照相机3的拍摄视野外的位置的附加显示信息。

接着，参照例子说明由照相机3拍摄的影像与合成影像的关系。图5是表示照相机3的拍摄影像的例子的图。图6是示出数据合成部23输出的合成影像的图。

图5中示出在图3所示的状况下，本船4的照相机3拍摄的影像的例子。在该拍摄影像中，拍摄有漂浮在海面上的其他船44r。另外，在影像的下部中央拍摄有本船4的船头部分。

由于虚拟浮标45如上所述是虚拟的，所以如图5所示，不会被照相机3拍摄到。航路点41、路径线42以及停靠区域43也是通过标绘器11的设定而制成的，因此不会出现在照相机3的拍摄影像中。

然后，图6示出了图5所示的拍摄影像与渲染图4的三维场景数据48得到的上述二维图像进行合成的结果。其中，在图6中，为了方便起见，用虚线表示出现了照相机3的拍摄影像的部分，以易于区别除此以外的部分(表示合成影像的其他图中也同样)。在图6的合成影像中，以覆盖画面整体的方式配置拍摄影像，并且，表现附加显示信息的图形41f、42f、43f、44f和45f以与该拍摄影像重叠的方式配置。表示其他船的图形44f以与拍摄影像中的其他船44r的位置大致重叠的方式配置。

将构成图4所示的三维场景数据48的虚拟现实对象41v、42v、…的三维形状作为与照相机3相同的位置和朝向的视点进行描画的结果，生成上述图形41f、42f、…。因此，即使图形41f、42f、…相对于照相机3拍摄的写实影像重叠，也几乎不会产生视觉上的违和感。

如图6所示，以虚拟现实方式表现附加显示信息的图形41f、42f、…被配置在合成影像上，使得它们好像被放置在拍摄影像的海面上。这是通过以下方式实现的：将图4所示的虚拟现实对象41v、42v、…配置成与xz平面接触，并且考虑照相机3的位置以及朝向来正确地配置投影屏幕51的位置，其中，该xz平面相对于照相机3隔开距离位于下方，该距离是根据由拍摄位置设定部25(参照图1)设定的高度计算出的距离。

接着，对伴随着本船4的摇晃的合成影像的变化进行说明。图7是表示船舶4从图4的状态向俯仰方向以及侧倾方向摇晃的情况的概念图。图8是表示图7的情况下的合成影像的图。

如上所述，由于照相机3安装于本船4，因此其位置以及朝向随着本船4的姿态因波浪等而倾斜、或者随着本船4位于波浪上而变化。在本实施方式中，数据合成部23在本船4产生摇晃(俯仰、侧倾以及颠簸)的情况下，变更三维虚拟空间40中的照相机3的位置以及朝向，伴随于此变更投影屏幕51的位置，以模拟姿态获取部16获取到的本船4的姿态的变化、以及位置获取部15获取到的本船4的位置的上下方向的变化。

图7表示本船4的姿态从图4的状态发生俯仰方向以及侧倾方向变化时的情况。在图7的例子中，本船4以向前下且左下的方式倾斜，照相机3的位置和朝向发生变化，以反映该倾斜。与此联动，投影屏幕51移动，以便与这样变化位置和朝向的照相机3正对。

在图7的示例中，通过上述的视点跟踪模式，视点照相机55的位置和朝向也变化，以跟踪如上所述改变了位置和朝向的照相机3。图8示出了与图7相对应的合成影像的示例，如该图所示，即使照相机3的位置和朝向随着本船4的摇晃而不同，投影屏幕51的位置和朝向也与之联动变化，并且渲染三维场景的视点照相机55的位置和朝向也改变，因此，能够连续地获得无违和感的合成影像。

在视点跟踪模式下，每当由于本船4的摇晃而使得俯仰角或侧倾角变化规定值以上时，更新数据合成部23中的三维场景数据48的描画，生成基于最新的视点的图形41f、42f、…。因此，对于出现海面的朝向因本船4的摇晃而变化的照相机3的拍摄影像，能够使图形41f、42f、…的显示适当地变化，以维持放置于该海面的状态。

因此，可以获得看起来好像虚拟物体漂浮在海面上的、自然且真实感较高的增强现实影像。另外，用户通过眺望显示器2所映出的海面，能够将表示虚拟现实的图形41f、42f、…网罗到视界内，因此能够可靠地获取所需信息。

下面，说明在合成影像中，由照相机3拍摄的拍摄影像仅配置在合成影像区域的一部分的情况。图9是表示确定合成影像视点的视点照相机55比设置于本船4的照相机3的拍摄方向更向右平移的情况的概念图。图10是表示照相机3的拍摄影像占据合成影像的一部分区域的情况的图。图11是示出了当视点照相机55从图10所示的状态进一步向右平移时的合成影像的图。另外，在图10和图11中，为了画面表现的方便，在合成影像的全区域之中未配置拍摄影像的区域(仅配置三维图形的区域)画上阴影线。

在上述独立视点模式中，视点设定部27可以独立于照相机3的位置和朝向来设置视点照相机55的位置和朝向。因此，用户能够在显示器2上确认位于与照相机3的朝向大不相同的方位的附加显示信息。

图9中，表示了使合成影像的视点照相机55朝向与照相机3的朝向(本船4的前方)不同的右斜前方时的三维虚拟空间40。由于其上粘贴有照相机3的拍摄影像的投影屏幕51与照相机3的朝向相对应地配置在本船4的前方，因此，投影屏幕51只有一部分进入视锥台56所限定的视点照相机55的视野。

图10示出了与图9相对应的合成影像，在该合成影像中，拍摄影像被以部分可见的形式仅布置在左侧的一部分。即，合成影像具有存在拍摄影像的区域和不存在拍摄影像的区域。由于上述的投影屏幕51弯曲成球壳状，所以拍摄影像的边界如图11所示呈现弯曲。在不存在拍摄影像的区域中，例如显示黑色背景。

在拍摄影像中，拍摄有漂浮在海面上的小型其他船45r，另外，拍摄有大型其他船46r的船尾部分。

由于小型的其他船45r不发送AIS信息，因此影像生成装置1无法获取附加显示信息。因此，关于其他船45r，由于虚拟现实对象没有被配置在图10中的三维虚拟空间40中，因此表示附加显示信息的图形没有被显示在合成影像中。但是，例如通过由雷达装置12探测到该其他船45r，也能够将表示附加显示信息的图形显示在该部分。

对于大型的其他船46r，基于AIS信息，将具有船舶的形状的虚拟现实对象46v配置在三维虚拟空间40中，描画了该虚拟现实对象46v的图形46f被显示在合成影像中。

在图10的例子中，大型其他船的图形46f以跨拍摄影像的边界内外的方式描画。据此，用户能够同时捕捉存在拍摄影像的部分(增强现实的部分)和不存在拍摄影像的部分(虚拟现实的部分)这两者，并且能够通过图形46f来把握位于本船周围的其他船。因此，即使是与照相机3拍摄的朝向不同的朝向，用户也能够确认本船的周围的情况(物标的存在等)，能够进行遍及大范围的监视。

另外，即使是在摄影影像中仅拍摄整体中的一部分的其他船46r，也能够通过以超出拍摄影像的方式描画的图形46f，适当地表现该其他船的位置以及大小等。

在图10的例子中，为了强调表示存在拍摄影像的区域和不存在拍摄影像的区域的边界，在影像中进一步合成了边界线79。但是，如何表现边界，可以通过图1所示的显示设定部28进行各种设定。例如，可以考虑用双线显示边界线，进一步强调边界。相反，可以考虑不显示边界线79，使拍摄影像的边缘部分模糊，从而使边界不突出。在以这种方式模糊边缘的情况下，可以在没有违和感的情况下连接表现增强现实的区域和虚拟现实的区域。

接下来，说明为了容易理解合成影像而进一步显示的各种信息。

在图10的影像中，合成了以连接左端和右端的方式形成为圆弧状的方位刻度73。方位刻度73跨存在拍摄影像的区域和不存在拍摄影像的区域而配置。因此，无论输出哪个朝向的合成影像，用户都可以容易地获得关于方位的信息。方位刻度73被显示在最前面的位置，以便不被其它显示(例如，虚拟现实对象)隐藏。由此，用户能够可靠地把握作为进行驾船等方面的重要信息的方位有关的信息。

进而，在图10的影像中，以跨存在拍摄影像的区域和不存在拍摄影像的区域的方式配置有表示水平线(海面与天空的边界)的直线71以及表示海面的网格72。由此，用户能够容易地把握水平线以及海面。

此外，在图10的影像中，配置表示特定的方位(例如正北、正西等)的方位线74，使其在合成影像的上下方向延伸。由此，用户能够容易地把握特定的方位。

另外，在图10的影像的右上角显示有视野显示图形75，该视野显示图形75示意性地表示本船4的周围的、出现在该合成影像上的范围。该视野显示图形75是圆和扇形重叠的图形，扇形的朝向和中心角表示当前的视点照相机55的朝向和视野角(实质上是与显示在显示器2上的合成影像相当的朝向和视野角)。扇形部分的朝向例如显示为正北朝上。例如，通过用户改变视点照相机55的朝向，该扇形部分的朝向实时变化。通过观看该图像，用户可以直观地把握正在观看哪个方位的影像。对于视野显示图形75，也可以构成为以扇形来表示获取拍摄影像的照相机3的朝向和视野角，替代或附加于以扇形来表示视点照相机55的视野。

但是，方位刻度73、水平线的直线71、海面的网格72、方位线74以及视野显示图形75也可以通过显示设定部28的设定而个别地不显示。例如，在图6的合成影像中，不显示方位刻度73以及海面的网格72等。

下面，对独立视点模式下的与本船4的摇晃相应的处理进行说明。

如上所述，在独立视点模式中，视点照相机55的位置和朝向与照相机3的位置和朝向不同。但是，即使是独立视点模式下，在以覆盖合成影像的全部区域的方式配置照相机3的拍摄影像的情况下，或者即使是一部分，例如如图10所示，在拍摄影像占据一定程度的比例的情况下，与对应于本船4的摇晃的拍摄影像的变化相对应地使图形46f的位置和朝向变化，这适合于防止图形46f等相对于拍摄影像的位置偏移。因此，在上述情况下，数据合成部23跟踪由于本船4的摇晃而照相机3的姿态在该照相机3基准的侧倾方向(以拍摄光轴为中心的侧倾方向)上变化，进行使视点照相机55的位置以及朝向变化的处理(作为姿态变化跟踪处理的摇晃跟踪处理)。另外，摇晃跟踪处理不仅可以对应于照相机3的姿态的侧倾方向的变化，也可以对应于例如俯仰方向的变化进行。另外，摇晃跟踪处理也可以与照相机3的颠簸对应地进行。

另一方面，如图11所示，当拍摄影像占合成影像的比例小时，或者当合成影像中完全不包含拍摄影像时，数据合成部23不进行上述摇晃跟踪处理。由此，能够防止影像的摇晃，实现稳定的容易观察的显示。

下面，说明独立视点模式的特别之处。

视点设定部27构成为能够通过用户例如操作鼠标32来指定合成影像上的海面上的任意点，从而指示关注模式。在该关注模式中，数据合成部23自动变更视点照相机55的拍摄方向，使得与所指示的点相对应的三维虚拟空间40中的位置持续显示在合成影像中的规定位置(例如，影像的中央)。此外，当虚拟现实对象的图形(例如，图形46f)位于用户指定的点上时，视点照相机55的拍摄方向自动改变，使得描画该虚拟现实对象46v的图形46f持续显示在合成影像中的规定位置(例如，影像的中央)。

因此，可以在合成影像中持续监视特定点或虚拟现实对象。这样，本实施方式的影像生成装置1不但在想要网罗性地监视本船4的周围的情况，而且在想要重点监视特定监视对象物(其他船等)的举动的情况下，都能够广泛利用。

下面，将说明三维场景生成部22生成与其他船有关的虚拟现实对象(例如，图9中的虚拟现实对象46v)的处理。

在本实施方式中，作为附加显示信息而得到其他船的AIS信息，在三维场景生成部22在三维虚拟空间40中配置船舶的形状的虚拟现实对象的情况下，三维场景生成部22从存储部18读入作为船舶的三维形状的基础的模型(模型模板)。然后，三维场景生成部22通过对该基础的模型进行船的长度方向的放大/缩小变形、宽度方向的放大/缩小变形以及旋转，以实现AIS信息(船的长度、宽度以及船头方位)，从而生成虚拟现实对象。

由此，三维场景生成部22能够将船舶的长度、宽度以及船头方位与附加显示信息一致的船舶的形状的虚拟现实对象配置在三维虚拟空间40中，生成三维场景数据48。由此，能够得到更适当地反映了与其他船相关的信息的增强现实的影像。

但是，也可省略船的长度方向的放大/缩小变形处理、宽度方向的放大/缩小变形处理、及旋转处理中的任一个。例如，在作为附加显示信息而得到了由雷达装置12探知到的其他船的信息的情况下，考虑以模型模板为基准，以船头方位与该其他船的速度矢量一致的方式旋转，生成船舶的虚拟现实对象。但是，在雷达装置12中获取回波信号的形状的情况下，也能够对上述模型模板进行放大/缩小变形，以实现该回波信号的形状。

如上所述，本实施方式的影像生成装置1具备拍摄影像输入部21、位置获取部15、姿态获取部16、附加显示信息获取部17以及合成影像生成部20。拍摄影像输入部21输入设置于本船4的照相机3拍摄的拍摄影像。位置获取部15获取表示本船4的位置的位置信息。姿态获取部16获取表示本船4的姿态的姿态信息。附加显示信息获取部17获取包含表示一个或多个地点的位置的信息的附加显示信息。合成影像生成部20基于所述位置信息、所述姿态信息以及所述附加显示信息，生成将描画表示所述附加显示信息的三维虚拟现实对象41v、42v、…的图形41f、42f、…与照相机3的拍摄影像进行合成的合成影像。合成影像生成部20如图10所示，在所述拍摄影像仅配置在合成影像的一部分的情况下，能够以跨该拍摄影像的边界内外的方式配置图形46f。

由此，基于本船4的位置以及姿态，将表示附加显示信息的位置等的图形41f、42f、…重叠于拍摄影像来制作合成影像，从而能够实现虚拟现实的显示。另外，例如，能够通过图形46f来确认与照相机3所拍摄的朝向不同的方向的附加显示信息，因此用户能够确认宽范围的方位上的附加显示信息。并且，由于图形46f可以配置为跨存在拍摄影像的区域和不存在拍摄影像的区域两者，因此用户可以无缝地捕捉配置有拍摄影像的部分和以外的部分两者，并且把握附加显示信息所表示的状况。

另外，在本实施方式的影像生成装置1中，合成影像生成部20可以将描画了具有船舶形状的虚拟现实对象46v的图形46f与由照相机3拍摄的影像进行合成。

因此，即使在拍摄影像中仅部分地显示其他船46r的情况下，用户也能够通过以超出拍摄影像的方式描画有虚拟现实对象46v的图形46f，容易地理解该其他船46r的位置及大小等。

另外，在本实施方式的影像生成装置1中，合成影像生成部20能够将描画船舶的长度、宽度以及船头方位反映附加显示信息的虚拟现实对象46v的图形46f与照相机3的拍摄影像进行合成。

由此，能够作为基于附加显示信息的形状及朝向的船舶的对象，因此能够得到更忠实地反映附加显示信息的合成影像。

此外，在本实施方式的影像生成装置1中，合成影像生成部20能够对照相机3拍摄的拍摄影像合成表示方位的方位刻度73。当照相机3的拍摄影像仅配置在合成影像的一部分的情况下，合成影像生成部20能够以跨所述拍摄影像的边界内外的方式配置方位刻度73。

由此，用户能够无缝地捕捉存在拍摄影像的区域和不存在拍摄影像的区域两者，并且容易把握方位。

此外，在本实施方式的影像生成装置1中，合成影像生成部20能够对由照相机3拍摄的拍摄影像合成表示海面与天空的边界即水平线的直线71。在照相机3的拍摄影像仅配置在合成影像的一部分时，合成影像生成部20能够以跨所述拍摄影像的边界内外的方式配置水平线(直线71)。

由此，用户能够无缝地捕捉存在拍摄影像的区域和不存在拍摄影像的区域两者，并且容易把握水平线。

此外，在本实施方式的影像生成装置1中，合成影像生成部20能够对由照相机3拍摄的拍摄影像合成表示海面的网格72。在照相机3的摄影图像仅配置在合成影像的一部分的情况下，合成影像生成部20能够跨所述拍摄影像的边界内外地配置网格72。

由此，用户能够无缝地捕捉存在拍摄影像的区域和不存在拍摄影像的区域两者，并且容易把握海面。

另外，在本实施例的影像生成装置1中，合成影像生成部20可以以模糊或强调由照相机3拍摄的拍摄影像的边界的方式进行描画。

由此，能够减弱或增强拍摄影像的边界的印象，因此能够提高显示的美观性。

此外，在影像生成装置1中，当照相机3的拍摄影像配置在合成影像的全部中时，合成影像生成部20进行摇晃跟踪处理，与以照相机3的拍摄光轴为基准的至少侧倾方向的姿态变化相对应地变更描画虚拟现实对象46v的位置以及朝向。合成影像生成部20在合成影像中完全没有配置照相机3的拍摄影像时，不进行摇晃跟踪处理。

因此，当拍摄影像配置为覆盖合成影像的全部时，与由于波浪等引起的船舶4的摇晃而导致的照相机3的姿态等的变化相对应地，变更描画虚拟现实对象41v、42v、…的位置和朝向，从而可以减少合成影像的违和感，并且可以增强真实感。另一方面，在合成影像中完全不包含拍摄影像的情况下，能够防止影像的摇晃。

另外，在本实施例的影像生成装置1中，合成影像生成部20基于所述位置信息和姿态信息，将附加显示信息的至少一部分配置在三维虚拟空间40中作为三维虚拟现实对象41v、42v…，配置粘贴有由照相机3拍摄的拍摄影像的投影屏幕51，基于配置在三维虚拟空间中的视点照相机55的位置和朝向，描画虚拟现实对象41v、42v、…和所述拍摄影像来生成合成影像数据。此外，影像生成装置1能够通过用户的操作变更视点照相机55的位置和朝向。

由此，能够从本船4的各个方向上确认附加显示信息。此外，即使用户想要观察的方向发生变化，也能够通过简单的处理实现维持了附加显示信息的三维表现即图形41f、42f、…与照相机3的拍摄影像的三维观看方式的整合性的合成影像。

此外，在本实施例的影像生成装置1中，合成影像生成部20可以自动变更视点照相机55的位置和朝向，使得在用户执行指定三维虚拟空间40中的点或虚拟现实对象41v、42v、…的操作的情况下，使该指定点或虚拟现实对象41v、42v、…持续显示在合成影像中。

由此，能够易于持续确认用户关注的地点的状况或附加显示信息所表示的状况。

以上说明了本发明的优选实施方式，但上述结构例如能够如以下述方式变更。

在上述实施方式中，视点设定部27构成为使用户能够指示视点照相机55的位置和朝向两者。然而，可替换地，可以构成为仅指示视点照相机55的位置或朝向。

在数据合成部23中，也可以不同时渲染三维场景数据48和投影屏幕51。即，数据合成部23可以被配置为分别创建作为仅对三维场景数据48进行渲染的结果的二维影像(图形41f、42f和、…的影像)和作为仅对投影屏幕51进行渲染的结果的二维影像(拍摄影像被粘贴到投影屏幕51上而获得的影像)，然后合成二维影像。在这种情况下，三维场景数据48的渲染处理根据本船4的移动等随时进行，另一方面，投影屏幕51的渲染处理能够以与照相机3的影像的帧率相应的较短的时间间隔进行。

在照相机3中，也可以构成为省略上述的平移/倾斜功能，将拍摄方向例如固定在前方。另外，照相机3也可以配置为拍摄前方以外的方向(例如后方)。

当用户进行变更视点照相机55的朝向的操作时，可以以对其进行跟踪的方式自动进行照相机3的平移/倾斜操作。在这种情况下，如果例如照相机3的平移动作不能跟上视点照相机55的朝向的变更，则如图10和图11所示，在合成影像中可能暂时不完全看到照相机3的拍摄影像。

在三维场景生成部22生成三维场景数据48时，在上述实施方式中，如图4中说明的那样，虚拟现实对象41v、42v、…以将本船4的位置作为原点的船头基准来配置。然而，虚拟现实对象41v、42v、…可以不是以船头为基准而是以+z方向始终为正北的正北基准进行配置。在该情况下，在由于转头等而使本船4的船头方位发生了变化时，代替对虚拟现实对象41v、42v、…进行重新配置，而使三维虚拟空间40中的本船4的朝向向偏航方向变化。然后，在三维虚拟空间40中模拟此时的照相机3的位置和朝向的变化，同时与此连动地变更视点照相机55的位置和朝向并进行渲染，从而能够得到与上述船头基准的情况完全相同的渲染结果。

另外，三维虚拟空间40的坐标系也可以取代以本船4的位置为原点，而以在地球上适当设定的固定点为原点，例如以+z方向为正北、+x方向为正东的方式设定。在该情况下，在固定于地球的坐标系的三维虚拟空间40中，根据位置信息以及姿态信息，变化配置本船4的位置以及朝向，并在三维虚拟空间40中模拟伴随于此的照相机3的位置以及朝向的变化。

在影像生成装置1中，也可以进行减轻与本船4的摇晃相伴的合成影像的摇晃的处理。例如，在三维场景生成部22中，考虑即使本船4摇晃也抑制视点照相机55的位置以及朝向的变动。

上述实施方式所示的表示水平线的直线71以及表示海面的网格72的方式只不过是例示，也可以以其他方式显示。例如，直线71和网格72可以被显示为使得它们可以被透过描画虚拟现实对象46v的图形46f而看到。

与影像生成装置1连接的船舶设备(附加显示信息的信息源)不限于图1中说明的船舶设备，也可以包括其他船舶设备。

本发明不限于在海上航行的船舶，例如，能够适用于可在海、湖或河川等航行的任意的水上移动体。

如上所述，在拍摄装置所拍摄的影像上重叠显示图形等时，如图13和图14所示，通过同时显示表示方位的刻度图像等那样的附加信息91a、91b，能够有效地利用有限的显示区域。此时，也可以构成为自动地变更或移动附加信息的位置，以使该图形尽可能不被附加信息遮挡。另外，也可以根据船体的倾斜，倾斜显示附加信息91a、91b。通过进行这样的显示，即使在船体倾斜的状况下也能够始终视觉辨认正确的附加信息。

将参考图15的流程图说明本发明实施方式中执行的处理。在本实施方式中，输入设置在水上移动体上的拍摄装置所拍摄的拍摄影像(S101)，获取表示所述水上移动体的位置的位置信息(S102)，获取表示所述水上移动体的姿态的姿态信息(S103)，获取包含表示一个或多个地点的位置的信息的附加显示信息(S104)，根据所述位置信息、所述姿态信息以及所述附加显示信息，生成将描画了表示所述附加显示信息的三维虚拟现实对象的图形与所述拍摄影像进行合成的合成影像，在所述拍摄图像仅配置在所述合成影像的一部分的情况下，以能够跨所述拍摄影像的边界内外的方式配置所述图形(S105)，从而解决上述课题。

附图标记说明

1影像生成装置

15位置获取部

16姿态获取部

17附加显示信息获取部

20合成影像生成部

21拍摄影像输入部

46v虚拟现实对象

46f图形。

Claims (12)

1.一种影像生成装置，具备：

拍摄影像输入部，输入设置于水上移动体的拍摄装置所拍摄的拍摄影像；

位置获取部，获取表示所述水上移动体的位置的位置信息；

姿态获取部，获取表示所述水上移动体的姿态的姿态信息；

附加显示信息获取部，获取包含表示一个或多个地点的位置信息的附加显示信息；以及

合成影像生成部，基于所述位置信息、所述姿态信息以及所述附加显示信息，生成将描画了表示所述附加显示信息的三维虚拟现实对象的图形与所述拍摄影像进行合成的合成影像，在所述拍摄影像仅配置在所述合成影像的一部分中的情况下，能够以跨所述拍摄影像的边界内外的方式配置所述图形。

2.根据权利要求1所述的影像生成装置，其特征在于，

所述合成影像生成部能够将描画了具有船舶的形状的所述虚拟现实对象的图形与所述拍摄影像进行合成。

3.根据权利要求2所述的影像生成装置，其特征在于，

所述合成影像生成部能够将描画了使船舶的长度、宽度以及船头方位中至少一项反映所述附加显示信息的虚拟现实对象的图形与所述拍摄影像进行合成。

4.根据权利要求1至3中任一项所述的影像生成装置，其特征在于，

所述合成影像生成部能够对所述拍摄影像合成表示方位的方位刻度，

所述合成影像生成部在所述拍摄影像仅配置在所述合成影像的一部分中的情况下，能够以跨所述拍摄影像的内外的方式配置所述方位刻度。

5.根据权利要求1至4中任一项所述的影像生成装置，其特征在于，

所述合成影像生成部能够对所述拍摄影像合成作为水面与天空的边界的水平线，

所述合成影像生成部在所述拍摄影像仅配置在所述合成影像的一部分中的情况下，能够以跨所述拍摄影像的边界内外的方式配置所述水平线。

6.根据权利要求1至5中任一项所述的影像生成装置，其特征在于，

所述合成影像生成部能够对所述拍摄影像合成表示水面的网格，

所述合成影像生成部在所述拍摄影像仅配置在所述合成影像的一部分中的情况下，能够以跨所述拍摄影像的边界内外的方式配置所述网格。

7.根据权利要求1至6中任一项所述的影像生成装置，其特征在于，

所述合成影像生成部能够以模糊或者强调所述拍摄影像的边界的方式进行描画。

8.根据权利要求1至7中任一项所述的影像生成装置，其特征在于，

所述合成影像生成部在所述拍摄影像配置在所述合成影像的全部之中的情况下，与以所述拍摄装置的拍摄光轴为基准的至少侧倾方向的姿态变化相对应地，进行变更描画所述虚拟现实对象的位置以及朝向的姿态变化跟踪处理，

在所述合成影像中完全未配置所述拍摄影像的情况下，不进行所述姿态变化跟踪处理。

9.根据权利要求1至8中任一项所述的影像生成装置，其特征在于，

所述合成影像生成部基于所述位置信息以及所述姿态信息，在三维虚拟空间中配置所述附加显示信息中的至少一部分作为三维虚拟现实对象，并且配置所述拍摄影像，基于配置在该三维虚拟空间的虚拟照相机的位置以及朝向，描画所述虚拟现实对象以及所述拍摄影像，从而生成所述合成影像，

能够通过用户的操作来变更所述虚拟照相机的位置以及朝向中的至少一项。

10.根据权利要求9所述的影像生成装置，其特征在于，

所述合成影像生成部能够自动变更所述虚拟照相机的位置以及朝向中的至少一项，使得所述三维虚拟空间中的点、或者用户进行了选择所述虚拟现实对象的操作时所选择的点、或者虚拟现实对象持续包含在所述合成影像中。

11.根据权利要求1至10中任一项所述的影像生成装置，其特征在于，

所述合成影像生成部还生成表示方位的刻度图像，

根据所述图形在所述拍摄影像中的显示位置，确定所述刻度图像的显示位置。

12.一种影像生成方法，其特征在于，

输入设置于水上移动体的拍摄装置所拍摄的拍摄影像，

获取表示所述水上移动体的位置的位置信息，

获取表示所述水上移动体的姿态的姿态信息，

获取包含表示一个或多个地点的位置信息的附加显示信息，

基于所述位置信息、所述姿态信息以及所述附加显示信息，生成将描画了表示所述附加显示信息的三维虚拟现实对象的图形与所述拍摄影像进行合成的合成影像，在所述拍摄影像仅配置在所述合成影像的一部分中的情况下，以跨所述拍摄影像的边界内外的方式配置所述图形。