CN110637326A - 影像生成装置 - Google Patents

Abstract

本发明提供一种能够实现流畅动作的虚拟现实影像的影像生成装置。合成影像生成部基于水上移动体的位置、水上移动体的姿态、包含表示一个或多个地点的位置的信息的附加显示信息，生成将描绘了表示该附加显示信息的三维的虚拟现实对象的图形与上述拍摄影像合成而得到的合成影像。物标位置推测部关于物标基于所述附加显示信息中包含的物标的速度或根据所述附加显示信息推测的物标的速度，推测与所述附加显示信息最近获取的时刻相比更新的时刻的该物标的位置。影像更新部基于由所述物标位置推测部推测的结果，使所述合成影像生成部更新所述合成影像中的该物标的虚拟现实对象的描绘。

Description

影像生成装置

技术领域

本发明涉及影像生成装置。详细而言，涉及用于生成显示水上移动体的周围情况的影像的影像生成装置。

背景技术

例如，在专利文献1中公开了这种影像生成装置。该专利文献1的影像生成装置构成为具备照相机、拍摄数据接收部、位置获取部、影像生成部、物标显示物生成部以及显示器，对来自照相机的图像流进行地理参照。

在专利文献1中，拍摄数据接收部接收船舶的照相机拍摄的流图像数据。位置获取部获取该船舶周围的物标(其他船等)的位置。影像生成部基于流图像数据的图像，生成在显示器上显示的影像。该影像对应于照相机的位置和视野。物标显示物生成部在所述影像上的点处生成表示物标的物标显示物。而且，构成为在显示器上显示所述影像和配置于所述影像上的点的所述物标显示物。

上述的影像生成部，在各点与所述影像上的点对应地表示水上移动体的周围的环境的三维虚拟空间上投影所述影像，从而生成所述影像。另外，所述物标显示物生成部基于物标的位置信息和三维虚拟空间的各个点，生成所述物标显示物。

现有技术文献

专利文献

专利文献1：美国专利申请公开第2015/0350552号说明书。

发明内容

发明所要解决的课题

然而，在专利文献1的结构中，在所述位置获取部中，有时获取在本船周围移动的其他船等的物标的位置的时间间隔变长。在该情况下，更新上述物标显示物的显示的频率变低，上述影像上的上述物标显示物的动作不流畅，有可能成为不自然的显示。

本发明是鉴于以上的情况而完成的，其目的在于实现流畅动作的虚拟现实影像。

解决课题的技术方案和效果

本发明要解决的课题如上所述，下面对用于解决该课题的技术方案及其效果进行说明。

根据本发明的观点，提供以下结构的影像生成装置。即，该影像生成装置具备拍摄影像输入部、位置获取部、姿态获取部、附加显示信息获取部、合成影像生成部、物标位置推测部、影像更新部。所述拍摄影像输入部输入设置在水上移动体的拍摄装置所拍摄的拍摄影像。所述位置获取部获取表示所述水上移动体的位置的位置信息。所述姿态获取部获取表示所述水上移动体的姿态的姿态信息。附加显示信息获取部获取包括表示物标的位置的信息的附加显示信息。所述合成影像生成部基于所述位置信息、所述姿态信息以及所述附加显示信息，生成将描绘了表示所述附加显示信息的三维的虚拟现实对象的图形与所述拍摄影像合成而得到的合成影像。所述物标位置推测部关于物标，基于所述附加显示信息中包含的物标的速度或根据所述附加显示信息推测出的物标的速度，推测与最近获取所述附加显示信息的时刻相比更新的时刻的该物标的位置。所述影像更新部基于由所述物标位置推测部推测的结果，使所述合成影像生成部更新所述合成影像中的该物标的虚拟现实对象的描绘。

由此，即使在表示物标的位置的附加显示信息的获取时间间隔长的情况下，也能够通过在适当的时刻推测物标的位置，来更新描绘了虚拟现实对象的图形。因此，能够实现流畅动作的虚拟现实影像。

在上述的影像生成装置中，优选为以下的结构。即，该影像生成装置具备物标朝向推测部，该物标朝向推测部关于物标，基于所述附加显示信息所包含的物标的朝向的角速度或根据所述附加显示信息推测的物标的朝向的角速度，推测与最近获取所述附加显示信息的时刻相比更新的时刻的该物标的朝向。所述影像更新部基于所述物标朝向推测部的推测结果，使所述合成影像生成部更新所述合成影像中的该物标的虚拟现实对象的描绘。

由此，通过与位置同样地在适当的时刻推测物标的朝向，能够更新描绘了虚拟现实对象的图形。因此，能够实现更自然的影像动作。

在上述的影像生成装置中，优选的是，所述合成影像生成部能够将描绘有船舶形状的所述虚拟现实对象的图形与所述拍摄影像合成。

由此，能够通过船舶的三维计算机图形的流畅动作来表现周围船舶的动静。

在上述的影像生成装置中，优选在上述附加显示信息中包含由AIS接收器接收到的AIS信息。

由此，即使在物标基于来自信息的更新频率较低的情况较多的AIS接收器的附加显示信息的情况下，也能够实现流畅动作的虚拟现实影像。

在上述的影像生成装置中，优选的是，在上述附加显示信息中包含基于由雷达装置获取的雷达影像的推移而获取的物标的位置以及速度的信息。

由此，即使在其他船是根据来自于雷达天线旋转一圈为止也无法更新物标的位置等信息的雷达装置的附加显示信息的情况下，也能够实现流畅动作的虚拟现实显示。

附图说明

图1是表示本发明的一个实施方式的影像生成装置的整体结构的框图。

图2表示船舶所具备的各种设备的侧视图。

图3是说明在影像生成装置中成为显示对象的附加显示信息的例子的概念图。

图4说明在三维虚拟空间中配置虚拟现实对象而生成的三维场景数据和配置在该三维虚拟空间中的投影屏幕的概念图。

图5是表示由照相机拍摄的拍摄影像的例子的图。

图6是表示数据合成部输出的合成影像的图。

图7是表示船舶从图4的状态向俯仰方向及侧倾方向摆动的情况的概念图。

图8是表示图7的情况下的合成影像的图。

图9关于基于AIS信息的其他船的附加显示信息，是表示更新在三维虚拟空间中配置船舶的虚拟现实对象的位置和朝向的情形的概念图。

图10是方位刻度的显示例1。

图11是方位刻度的显示例2。

图12是本发明的一个实施方式的影像生成方法的流程图。

具体实施方式

接着，参照附图对本发明的实施方式进行说明。图1是表示本发明的一个实施方式的影像生成装置1的整体结构的框图。图2是表示船舶4所具备的各种设备的侧视图。

图1所示的影像生成装置1搭载在例如图2所示的船舶(水上移动体)4，是用于以由照相机(拍摄装置)3拍摄到的影像为基础，生成以虚拟现实方式表现该船舶4的周围的情况的影像的装置。影像生成装置1生成的影像显示于显示器2。

显示器2例如能够构成为在该船舶4(本船)上驾船的操作者参照的驾船辅助装置的显示器。其中，显示器2不限于此，例如，也可以是从本船4对周围的状况进行监视的驾船辅助者所携带的便携式计算机的显示器、用于乘客在本船4的客房中观看的显示器、或者乘船者佩戴的可穿戴眼镜等头戴式显示器的显示部。

影像生成装置1通过将由设置于本船4的照相机3拍摄到的本船4的周围的影像与以虚拟地现实方式表现本船4的周围的附加显示信息(后面详述)的图形进行合成，来生成作为向显示器2输出的影像的合成影像。

接着，主要参照图1，对与影像生成装置1电连接的照相机3以及各种船舶设备进行说明。

照相机3构成为对本船4的周围进行拍摄的广角型的视频照相机。该照相机3具有实时输出功能，能够实时地生成作为拍摄结果的动态图像数据(影像数据)并输出到影像生成装置1。如图2所示，照相机3以拍摄方向相对于船体成为水平前方的方式设置于船舶4。

照相机3经由省略图示的旋转机构安装于船舶4，通过从影像生成装置1输入指示平移/倾斜动作的信号，能够将其拍摄方向以船舶4的船体为基准在规定的角度范围内变更。另外，本船4的高度及姿态因波浪等而发生各种变化，因此照相机3的高度及姿态(拍摄方向)也随之发生三维变化。

本实施方式的影像生成装置1除了上述的照相机3之外，还与作为船舶设备的GNSS罗盘(方位传感器、姿态传感器)5、角速度传感器6、GNSS接收器7、加速度传感器8、AIS接收器9、ECDIS10、标绘器11、雷达装置12、以及声纳13等电连接。

GNSS罗盘5具备固定于本船4的多个GNSS天线(定位用天线)。GNSS罗盘5基于从定位卫星接收到的电波来计算各个GNSS天线的位置关系。特别地，本实施方式的GNSS罗盘5构成为基于各GNSS天线接收到的电波的载波相位的相位差来求出GNSS天线的位置关系(该处理是已知的，因此省略详细的说明)。由此，能够高精度地获取本船4的船首方位。

GNSS罗盘5能够三维地获取船舶4的姿态。换言之，GNSS罗盘5不仅能够检测船首方位(即，船舶4的偏航角)，还能够检测船舶4的侧倾角以及俯仰角。由GNSS罗盘5获取的本船4的姿态信息被输出到影像生成装置1的姿态获取部16和使用该姿态信息的其他船舶设备。

角速度传感器6例如由已知的振动陀螺仪传感器构成，能够以比GNSS罗盘5的姿态检测间隔(例如，1秒)短的周期来检测船舶4的偏航角速度、侧倾角速度以及俯仰角速度。通过将GNSS罗盘5检测到的角度和角速度传感器6检测到的角速度的积分值一起使用，能够以比仅使用GNSS罗盘5的情况短的时间间隔获取船舶4的姿态。另外，角速度传感器6在来自上述定位卫星的电波被例如桥等障碍物遮挡而导致GNSS罗盘5无法检测姿态的情况下，作为用于获取姿态信息的备用单元而发挥功能。

GNSS接收器7基于上述GNSS天线从定位卫星接收到的电波，求出本船4的位置(详细而言，GNSS天线的纬度、经度以及高度)。GNSS接收器7将获取的位置信息输出到影像生成装置1的位置获取部15和使用该位置信息的其他船舶设备。

加速度传感器8例如构成为已知的静电电容检测型的传感器，能够以比GNSS接收器7的位置检测间隔(例如，1秒)短的周期检测船舶4的偏航轴、侧倾轴和俯仰轴上的加速度。通过将GNSS接收器7检测到的位置和加速度传感器8检测到的加速度的二重积分值一起使用，能够以比仅使用GNSS接收器7的情况短的时间间隔获取本船4的位置。另外，加速度传感器8在来自上述定位卫星的电波被遮挡而导致GNSS接收器7无法检测位置的情况下，作为用于获取位置信息的备用单元发挥功能。

在本实施方式中，如图2所示，角速度传感器6、GNSS接收器7以及加速度传感器8被内置于GNSS罗盘5中。其中，角速度传感器6、GNSS接收器7以及加速度传感器8中的全部或者一部分也可以独立于GNSS罗盘5设置。

AIS接收器9接收从其他船或基地台等发送的AIS信息。AIS信息中包含在本船4的周围航行的其他船的位置(纬度、经度)、该其他船的长度及宽度、该其他船的种类及识别信息、该其他船的船速、航向及目的地、以及地标的位置及识别信息等各种信息。

ECDIS10从GNSS接收器7获取本船4的位置信息，并且基于预先存储的电子海图信息，将本船4的周围的信息输出到影像生成装置1。

标绘器11通过从GNSS接收器7持续获取本船4的位置，能够生成本船4的航行轨迹的信息。另外，标绘器11通过使用户设定多个航路点(本船4通过的预定的地点)，能够以依次连接这些航路点的方式生成预定航线。

雷达装置12能够探测存在于本船4的周围的其他船等的物标。另外，该雷达装置12具有能够捕捉以及跟踪物标的已知的目标跟踪功能(Target Tracking：TT)，能够求出该物标的位置以及速度矢量(TT信息)。

声纳13向水中发送超声波，并且接收该超声波被鱼群等反射的反射波，由此探测鱼群等。

影像生成装置1与用户操作的键盘31以及鼠标32连接。用户通过操作键盘31以及鼠标32，能够进行与影像的生成相关的各种指示。该指示包括照相机3的平移/倾斜动作、各种信息的显示的有无的设定、合成影像的视点的设定等。

接着，主要参照图1对影像生成装置1的结构进行详细说明。

如图1所示，影像生成装置1具备拍摄影像输入部21、位置获取部15、姿态获取部16、附加显示信息获取部17、存储部18、拍摄位置设定部25、天线位置设定部26、视点设定部27、显示设定部28、合成影像生成部20、物标位置推测部35、物标朝向推测部36和影像更新部37。

具体而言，影像生成装置1作为已知的计算机而构成，虽未图示，但具备CPU、ROM、RAM以及HDD等。进而，影像生成装置1具备用于高速地进行后述的三维图像处理的GPU。并且，例如在HDD中存储有用于执行本发明的影像合成处理的软件。通过该硬件与软件的协作，使影像生成装置1作为拍摄影像输入部21、位置获取部15、姿态获取部16、附加显示信息获取部17、存储部18、拍摄位置设定部25、天线位置设定部26、视点设定部27、显示设定部28、合成影像生成部20、物标位置推测部35、物标朝向推测部36以及影像更新部37等发挥功能。

拍摄影像输入部21能够以例如每秒30帧输入照相机3输出的影像数据。拍摄影像输入部21将输入的影像数据输出到合成影像生成部20(后述的数据合成部23)。

位置获取部15基于GNSS接收器7以及加速度传感器8的检测结果，实时地获取本船4的当前的位置。

姿态获取部16基于GNSS罗盘5以及角速度传感器6的检测结果实时地获取本船4的当前的姿态。

附加显示信息获取部17基于AIS接收器9、ECDIS10、标绘器11、雷达装置12以及声纳13等输出至影像生成装置1的信息，获取对由照相机3拍摄到的影像附加地显示的信息(附加显示信息)。作为该附加显示信息，可以考虑各种信息，例如如图3所示，可以是AIS接收器9接收到的其他船44的信息。需要说明的是，以下将描述附加显示信息的详细情况。

图1的存储部18构成为存储各种信息的存储器。该存储部18能够将表现各种附加显示信息的虚拟现实对象的三维形状存储为模板。存储部18所存储的三维形状的模板例如可以是小型船、大型船、浮标、灯塔等，但并不限定于此。

拍摄位置设定部25能够设定本船4中的照相机3的位置(拍摄位置)，具体而言能够设定在船的长度方向以及宽度方向上的照相机3的位置和在上下方向上的照相机的位置(照相机3的高度)。照相机3的高度可以设为本船4中通常设想的距离吃水线的高度，但并不限定于此，例如也可以设为距离船底的高度。例如，用户可以操作键盘31和鼠标32等输入实际测量照相机3的位置的结果来设定该拍摄位置。

天线位置设定部26能够设定本船4中的GNSS天线的位置(天线位置)。作为控制的基准，如图2所示，该天线位置例如可以是以设定于本船4的基准点4a为基准的船的长度方向、宽度方向、以及上下方向上的位置。该基准点4a可以以各种方式确定，但在本实施方式中，确定为在本船4的船体的中央且与通常设想的吃水线高度相同的位置。与上述的拍摄位置相同，例如能够通过输入实际的测量值来设定天线位置。

图1的视点设定部27可以通过用户操作例如键盘31以及鼠标32来设定由后述的合成影像生成部20生成的影像的视点。

显示设定部28能够设定有无显示由后述的合成影像生成部20生成的影像中的附加显示信息等。对显示设定部28的设定例如能够通过用户操作键盘31以及鼠标32来进行。

位置获取部15、姿态获取部16、附加显示信息获取部17、存储部18、拍摄位置设定部25、天线位置设定部26、视点设定部27以及显示设定部28将获取、存储或设定的信息输出到合成影像生成部20。

合成影像生成部20将三维计算机图形与输入到拍摄影像输入部21的照相机3的拍摄影像合成，由此生成表现增强现实的影像。该合成影像生成部20具备三维场景生成部22和数据合成部23。

如图4所示，三维场景生成部22通过将与附加显示信息对应的虚拟现实对象41v、42v、…配置在三维虚拟空间40中，从而构建虚拟现实的三维场景。由此，生成作为三维场景的数据的三维场景数据(三维显示用数据)48。需要说明的是，后面将描述三维场景的详细情况。

图1的数据合成部23通过描绘三维场景生成部22生成的三维场景数据48来生成三维地表现附加显示信息的图形，并且进行输出图6所示的合成影像、即将该图形41f、42f、…和照相机3的拍摄影像合成而得到的影像的处理。如图6所示，在该合成影像中，在由照相机3拍摄到的影像(图中为了便于说明而以虚线表示)的海面上，以载置表示附加显示信息的图形41f、42f、…的方式重叠。数据合成部23将所生成的合成影像输出到显示器2。需要说明的是，图形的生成处理以及数据合成处理的详细内容将在后面描述。

图1的物标位置推测部35针对成为显示附加显示信息的对象的适当的物标中的移动的物标(例如，图3的其他船44)，根据最近得到的附加显示信息推测当前的位置。另外，物标朝向推测部36针对上述移动的物标，根据最近得到的附加显示信息推测当前的朝向。物标位置推测部35以及物标朝向推测部36的推测结果作为三维场景生成部22如图4所示那样将虚拟现实对象44v配置于三维虚拟空间40的位置和朝向来使用。需要说明的是，该推测处理的详细内容将在后面描述。

影像更新部37基于物标位置推测部35以及物标朝向推测部36的推测结果，将用于更新三维场景中的物标的位置和朝向的信息(以下，有时称为更新信息)输入到合成影像生成部20。合成影像生成部20的三维场景生成部22基于所输入的更新信息来更新三维场景。合成影像生成部20的数据合成部23基于更新后的三维场景来更新合成影像。

接着，对由上述附加显示信息获取部17获取的附加显示信息进行详细说明。图3是说明在影像生成装置1中成为显示对象的附加显示信息的例子的概念图。

附加显示信息是对由照相机3拍摄到的影像附加地显示的信息，可以根据与影像生成装置1连接的船舶设备的目的及功能想到各种信息。例如，关于AIS接收器9，可以将接收到的上述AIS信息(例如，其他船的位置和朝向、浮标的位置、虚拟浮标的位置等)作为附加显示信息。关于ECDIS10，可以将电子海图中包含的危险海域、航海禁止区域、灯台、浮标等的位置作为附加显示信息。关于标绘器11，可以将所记录的本船4的轨迹、所设定的预定航线、航路点、到达区域、停靠区域的位置等作为附加显示信息。关于雷达装置12，可以将探测到的物标的位置以及速度等作为附加显示信息。关于声纳13，可以将探测到的鱼群的位置作为附加显示信息。这些信息从船舶设备实时地输入到影像生成装置1。附加显示信息获取部17对输入的各个附加显示信息赋予用于唯一地确定并管理该附加显示信息的识别信息(例如，识别编号)。

图3中示出了位于本船4的周围的附加显示信息的例子。在图3中，在海面上(水面上)确定表示目的地的航路点41、41、和表示到目的地为止的预定航线的折线状的路径线42。另外，在路径线42的附近确定多边形状(矩形状)的停靠区域43。航路点41、路径线42以及停靠区域43通过用户预先适当地操作标绘器11并指定各地点的位置来设定。

另外，在图3的例子中，在稍稍远离本船4的前方的地点，其他船44正在向本船4的右方航行中，在本船4的左斜前方附近存在虚拟浮标45，这是通过AIS接收器9所获取的AIS信息检测到的。需要说明的是，虚拟浮标是指由于设置困难等情况而实际上未设置在海上，但在导航装置的画面上作为标识而显示的虚拟的(没有实体)浮标。

各个附加显示信息中至少包含表示配置有该附加显示信息的海面(水面)上的一个或多个地点的位置(纬度以及经度)的信息。例如，在表示路径线42的附加显示信息中包含成为折线的弯曲部的两处地点的位置的信息(弯曲部的地点的位置与航路点41的位置一致)。在停靠区域43的附加显示信息中包含成为多边形的顶点的各个地点的位置的信息。另外，表示其他船44的附加显示信息中包含表示该其他船44的位置、船首方位、速度、转头角速度、船的长度、宽度等的信息。

接着，参照图4对三维场景生成部22的三维场景的构建以及基于数据合成部23的影像的合成进行详细说明。图4是说明在三维虚拟空间40中配置虚拟现实对象41v、42v、…而生成的三维场景数据48和配置于该三维虚拟空间40的投影屏幕51的概念图。

如图4所示，由三维场景生成部22配置虚拟现实对象41v、42v、…的三维虚拟空间40由以本船4的适当的基准位置(例如，上述基准点4a)为原点的正交坐标系构成，作为水平的面的xz平面被设定为模拟海面(水面)。在图4的例子中，坐标轴设定为+z方向总是与船首方位一致，+x方向为右方向，+y方向为上方向。该三维虚拟空间40内的各地点(坐标)被设定为与本船4的周围的现实的位置对应。

在图4中，为了表现图3所示的本船4的周围的状况，示出了将虚拟现实对象41v、42v、43v、44v、45v配置在三维虚拟空间40内的例子。各虚拟现实对象41v、42v、43v、44v、45v被配置为以船首方位为基准，以反映该船首方位所表示的附加显示信息相对于本船4的相对位置的方式与xz平面相接。在确定配置这些虚拟现实对象41v、42v、…的位置时，进行使用由图1所示的天线位置设定部26设定的GNSS天线的位置的计算。

表示其他船44的虚拟现实对象44v具有船舶的形状，利用预先存储于存储部18的大型船的模型的模板来表现。另外，该模型的朝向以表示由AIS信息获取的其他船44的朝向的方式配置。

与其他船44的虚拟现实对象44v同样地，表示虚拟浮标45的虚拟现实对象45v也利用预先存储在存储部18中的浮标的模型的模板来表现。

航路点41的虚拟现实对象41v由薄的圆板状的三维形状表现。路径线42的虚拟现实对象42v由使具有一定的厚度和宽度的细长的板弯曲成折线状的三维形状来表现。停靠区域43的虚拟现实对象43v由具有停靠区域43的轮廓的一定厚度的板那样的三维形状来表现。关于这些虚拟现实对象41v、42v、43v，不使用模型的模板而每次根据情况创建三维形状。

如上所述，三维场景生成部22生成三维场景数据48。在图4的例子中，虚拟现实对象41v、42v、…以本船4的位置为原点的方位基准配置，因此，如果本船4的位置(东西方向和南北方向上的位置)从图3的状态变化，或者由于转头等而船首方位变化，则构建将该虚拟现实对象41v、42v、…重新配置的新的三维场景，并更新三维场景数据48。另外，如果例如其他船44从图3的状态发生移动等而变更了附加显示信息的内容，则更新三维场景数据48以反映最新的附加显示信息。

然后，数据合成部23在三维虚拟空间40中配置确定照相机3的拍摄影像的位置及范围的投影屏幕51。通过设定后述的视点照相机55的位置和朝向，使得该投影屏幕51和虚拟现实对象41v、42v、…两者都包含在视野中，从而能够实现影像的合成。

数据合成部23在三维虚拟空间40中模拟搭载在本船4的照相机3的位置和朝向，并且将投影屏幕51配置成与该照相机3正对。关于照相机3的位置的模拟，以船体为基准的照相机3的位置可以基于图1所示的拍摄位置设定部25的设定值而得到。

在模拟照相机3的位置和朝向时，考虑由上述的照相机3的平移/倾斜动作引起的朝向的变化。进而，该模拟基于位置获取部15以及姿态获取部16获取的位置信息以及姿态信息，以反映基于船舶4的姿态的变化以及高度的变化的照相机3的位置和朝向的变动的方式进行。数据合成部23与照相机3的位置和朝向的变化连动，使配置在三维虚拟空间40中的投影屏幕51的位置和朝向变化。

并且，数据合成部23对三维场景数据48和投影屏幕51执行已知的渲染处理，以生成二维图像。更具体而言，数据合成部23在三维虚拟空间40中配置作为虚拟照相机的视点照相机55，以该视点照相机55为顶点，其视线方向为中心轴的方式定义确定作为渲染处理对象的范围的视锥台56。接着，数据合成部23通过透视投影，将构成各对象(虚拟现实对象41v、42v、…以及投影屏幕51)的多边形中的、位于该视锥台56的内部的多边形的顶点坐标变换为相当于显示器2中的合成影像的显示区域的二维的虚拟屏幕的坐标。然后，基于配置在该虚拟屏幕上的顶点，以规定的分辨率进行像素的生成、加工处理，由此生成二维图像。

在这样生成的二维图像中，包含通过进行三维场景数据48的描绘而得到的图形(换言之，作为虚拟现实对象41v、42v、…的渲染结果的图形)。另外，在二维图像的生成过程中，在相当于投影屏幕51的位置，以粘贴的方式配置照相机3的拍摄影像。由此，实现基于数据合成部23的影像的合成。投影屏幕51成为以沿着以照相机3为中心的球壳的方式弯曲的形状，因此能够防止透视投影引起的拍摄影像的失真。

视点照相机55确定合成影像的视点，其位置和朝向由上述的视点设定部27的设定而确定。但是，通过在视点设定部27中特别设定，数据合成部23作为生成合成影像时的模式，可以设置自动变化的模式(视点跟踪模式)，使得视点照相机55的位置和朝向始终与照相机3的位置和朝向一致。在该视点追踪模式中，视点照相机55的整个视野始终被投影屏幕51(即，照相机3的拍摄影像)覆盖，因此能够实现具有临场感的合成影像。

另一方面，数据合成部23也能够设为视点照相机55的位置和朝向与照相机3的位置和朝向无关地通过适当的输入装置的操作而跟随视点设定部27所设定的视点的模式(独立视点模式)。作为该输入装置，例如可以考虑键盘31、鼠标32、未图示的触摸面板、操纵杆等。在该独立视点模式中，用户能够自由地移动视点，确认位于偏离照相机3的拍摄视野的位置的附加显示信息。

接着，参照例子对由照相机3拍摄到的影像与合成影像的关系进行说明。图5是表示照相机3的拍摄影像的例子的图。图6是表示数据合成部23输出的合成影像的图。

在图5中示出了在图3所示的状况下，本船4的照相机3拍摄到的影像的例子。在该拍摄影像中拍摄有漂浮在海面上的其他船44r。另外，在影像的下部中央拍摄有本船4的船首部分。

虚拟浮标45如上所述是虚拟的，因此如图5所示，不会被照相机3拍摄到。由于航路点41、路径线42以及停靠区域43也是通过由标绘器11进行的设定而制成的，因此不会出现在照相机3拍摄的拍摄影像中。

并且，在图6中示出使渲染图4的三维场景数据48而得到的上述二维图像与图5所示的拍摄影像合成的结果。其中，在图6中，为了便于与除此以外的部分相区别，用虚线表示照相机3的拍摄影像出现的部分(这在表示合成影像的其他图中也相同)。在图6的合成影像中，表现附加显示信息的图形41f、42f、43f、44f和45f以与该拍摄影像重叠的方式配置。表示其他船的图形44f以与拍摄影像中的其他船44r的位置大致重叠的方式配置。

作为以与照相机3相同的位置和朝向的视点描绘构成图4所示的三维场景数据48的虚拟现实对象41v、42v、…的三维形状的结果，生成上述的图形41f、42f、…。因此，即使在照相机3拍摄的写实影像与图形41f、42f、…重叠的情况下，也几乎不会产生视觉上的不协调感。

如图6所示，以虚拟现实方式表现附加显示信息的图形41f、42f、…被配置在合成影像上，使得它们好像被放置在拍摄影像的海面上。换言之，以虚拟现实方式表现附加显示信息的图形41f、42f、…沿着拍摄影像的水面配置。这是通过以下方式实现的：将图4所示的虚拟现实对象41v、42v、…配置成与xz平面相接，并且考虑照相机3的位置以及朝向来正确地配置投影屏幕51的位置，其中，该xz平面相对于照相机3隔开距离位于下方，该距离是根据由拍摄位置设定部25(参照图1)设定的高度计算出的距离。

接着，对伴随本船4的摇晃的合成影像的变化进行说明。图7是表示船舶4从图4的状态向俯仰方向及侧倾方向摇晃的情况的概念图。图8是表示图7的情况下的合成影像的图。

如上所述，照相机3安装于本船4，因此其位置以及朝向随着本船4的姿态因波浪等而倾斜的情况或者本船4遇到波浪的情况而变化。在本实施方式中，数据合成部23在本船4产生摇晃(俯仰、横摇以及颠簸)的情况下，变更三维虚拟空间40中的照相机3的位置和朝向，并随之变更投影屏幕51的位置，以模拟姿态获取部16获取的本船4的姿态的变化、以及位置获取部15获取的本船4的位置的上下方向的变化。

在图7中示出了本船4的姿态从图4的状态向俯仰方向及侧倾方向变化时的情形。在图7的例子中，本船4以向前下降且向左下降的方式倾斜，照相机3的位置和朝向发生变化，以反映该倾斜。与此连动，投影屏幕51移动，以与这样的位置和朝向发生了变化的照相机3正对。

在图7的示例中，通过上述的视点跟踪模式，视点照相机55的位置和朝向也变化，以跟踪如上所述改变了位置和朝向的照相机3。图8示出了与图7相对应的合成影像的示例，如该图所示，即使照相机3的位置和朝向随着本船4的摇晃而不同，投影屏幕51的位置和朝向也与之连动变化，并且渲染三维场景的视点照相机55的位置和朝向也改变，因此，能够持续地获取没有不协调感的合成影像。

在视点跟踪模式中，每当俯仰角或侧倾角因本船4的摇晃而变化规定值以上时，更新数据合成部23中的三维场景数据48的描绘，生成基于最新的视点的图形41f、42f、…。因此，对于海面出现的朝向因本船4的摇晃而变化的照相机3的拍摄影像，能够使图形41f、42f、…的显示适当地变化，以维持放置在该海面上的状态。

由此，能够获取虚拟的物体好像浮在海面上的自然且真实感强的增强现实的影像。另外，用户通过观看在显示器2上映出的海面，使表示虚拟现实的图形41f、42f、…网罗性地进入视野，因此能够不遗漏地得到必要的信息。

接着，对关于与移动的物标有关的虚拟现实对象(例如，其他船的虚拟现实对象44v)向三维虚拟空间40的配置而进行的物标位置推测部35以及物标朝向推测部36的处理进行说明。

在上述的例子中，虚拟现实对象44v所表示的其他船44的信息由AIS接收器9接收。即，其他船44可以说是AIS物标。AIS接收器9每当接收AIS信息时，将该信息实时地输出至影像生成装置1。但是，其他船44将自己的位置等作为AIS信息发送的间隔根据状况的不同而变动，例如10秒1次左右，信息的更新频率不高。

因此，假设仅在影像生成装置1获取AIS信息的时刻更新构成三维场景数据48的虚拟现实对象44v的位置和朝向的情况下，在合成影像中表示其他船的图形44f的动作不连续且变粗，有可能产生不协调感。

关于这一点，本实施方式的影像生成装置1具备物标位置推测部35、物标朝向推测部36以及影像更新部37。物标位置推测部35以及物标朝向推测部36关于所述其他船44，基于最近得到的附加显示信息(AIS信息)，推测与获取该附加显示信息时相比更新的时刻的其他船44的位置和朝向。然后，影像更新部37使合成影像生成部20更新合成影像，使得虚拟现实对象44v的位置和朝向反映上述推测的结果。

以下，参照图9进行具体说明。图9是关于基于AIS信息的其他船44的附加显示信息，表示在三维虚拟空间40中配置船舶的虚拟现实对象44v的位置和朝向被更新的情形的概念图。

在图9中，示出了三维场景生成部22构建三维场景的三维虚拟空间40。在某时刻(将此时的时刻设为t＝0)，AIS接收器9从其他船44接收AIS信息，基于此，影像生成装置1的附加显示信息获取部17获取该其他船44的位置、速度、船首方位以及转头角速度。三维场景生成部22基于该结果，以与得到的位置以及船首方位对应的位置和朝向配置虚拟现实对象44v。

之后，影像生成装置1等待附加显示信息获取部17获取新的AIS信息。然而，在一定时间(例如3秒钟)未接收到AIS信息的情况下，物标位置推测部35及物标朝向推测部36推测该时间点的其他船44的位置及船首方位，影像更新部37基于该推测结果使合成影像生成部20更新合成影像。即，影像更新部37使三维场景生成部22基于与其他船44的位置以及船首方位相关的上述推测结果来重新配置虚拟现实对象44v的形式更新三维场景，并且使数据合成部23将新的三维场景合成到拍摄影像。该推测可以通过以t＝0时得到的其他船44的位置、船首方位为基准，使用同样得到的速度和转头角速度，利用已知的式子进行计算而得到。由此，即使在t＝3的时刻，也能够更新虚拟现实对象44v的位置和朝向。

在图9的例子中，由物标位置推测部35以及物标朝向推测部36进行的位置和朝向的推测每经过3秒进行一次。由此，即使在t＝6以及t＝9的时刻，虚拟现实对象44v的位置和朝向也基于推测而被更新。

在从上次接收AIS信息起经过了10秒的t＝10的时刻，AIS接收器9从该其他船44接收到新的AIS信息。在该情况下，三维场景生成部22立即更新虚拟现实对象44v的位置和朝向，以成为所获得的位置以及船首方位。

之后，物标位置推测部35以及物标朝向推测部36的位置和朝向的推测每经过3秒进行一次。因此，在t＝13的时刻，基于推测更新虚拟现实对象44v的位置和朝向。

通过这样构成，即使在表示其他船44的位置的附加显示信息的获取时间间隔长的情况下，也能够通过推测该其他船44的位置以及船首方位来更新虚拟现实对象44v的位置和朝向，从而以较短的时间间隔来更新合成影像中的图形44f的显示。由此，能够通过流畅的动作实现合成影像中的增强现实的表现。

在图9的例子中，每3秒推测其他船44的位置以及船首方位来更新虚拟现实对象44v的位置和朝向，但基于推测的位置等的更新的间隔不限于3秒，可以任意地设定为1秒、2秒、2.5秒、5秒等。另外，进行位置等的更新的时间间隔也可以代替如上述那样以相等的时间间隔进行，而以不等的时间间隔进行。

需要说明的是，通过这样的位置和朝向的推测来更新虚拟现实对象44v的位置和朝向的处理不仅对于基于AIS信息的其他船44有效，例如对于雷达装置12探测到的其他船(作为TT物标的其他船)也是有效的。即，雷达装置12中的雷达影像在雷达天线旋转一圈之前不被更新，因此TT信息的更新频率不一定高。因此，通过如上述那样推测位置和朝向来细致地更新虚拟现实对象的位置和朝向，能够减轻合成影像中的动作的粗糙度，能够良好地提高真实感。

如以上说明的那样，本实施方式的影像生成装置1具备拍摄影像输入部21、位置获取部15、姿态获取部16、附加显示信息获取部17、合成影像生成部20、物标位置推测部35、影像更新部37。拍摄影像输入部21输入设置于船舶(本船)4的照相机3所拍摄的拍摄影像。位置获取部15获取表示本船4的位置的位置信息。姿态获取部16获取表示本船4的姿态的姿态信息。附加显示信息获取部17获取包含表示作为物标的其他船44的位置的信息的附加显示信息。合成影像生成部20基于上述位置信息、上述姿态信息以及上述附加显示信息，生成将描绘了表示附加显示信息的三维的虚拟现实对象44v的图形44f与照相机3的拍摄影像合成而得到的合成影像。物标位置推测部35关于作为物标的其他船44，基于所述附加显示信息所包含的其他船44的速度推测与最近获取所述附加显示信息的时刻相比更新的时刻的该其他船44的位置。影像更新部37基于物标位置推测部35的推测结果，使合成影像生成部20更新合成影像中的该其他船44的虚拟现实对象44v的描绘(即图形44f)。

由此，即使在表示物标(在本实施方式中为其他船44)的位置的附加显示信息的获取时间间隔长的情况下，也能够通过在适当的时刻推测其他船44的位置来更新描绘了虚拟现实对象44v的图形44f。因此，能够实现流畅动作的虚拟现实影像。

另外，本实施方式的影像生成装置1具备物标朝向推测部36。该物标朝向推测部36基于附加显示信息所包含的其他船44的转头角速度，推测关于其他船44从获取AIS信息到获取下一个AIS信息为止的期间的该其他船44的船首方位。影像更新部37基于由物标朝向推测部36推测的结果，使合成影像生成部20更新合成影像中的该其他船44的虚拟现实对象44v的描绘(即图形44f)。

由此，通过与位置同样地推测物标(在本实施方式中为其他船44)的朝向，能够更新描绘了虚拟现实对象44v的图形44f。因此，能够实现更自然的影像动作。

另外，在本实施方式的影像生成装置1中，合成影像生成部20能够将描绘有船舶形状的虚拟现实对象44v的图形44f与照相机3的拍摄图像合成。

由此，能够通过船舶的三维计算机图形的流畅的动作来表现周围的船舶的动静。

另外，在本实施方式的影像生成装置1中，在所述附加显示信息中包含由AIS接收器9接收的AIS信息。

由此，即使在其他船44是基于信息的更新频率较低的情况较多的AIS信息的情况下，也能够实现流畅的动作的虚拟现实影像。

另外，在本实施方式的影像生成装置1中，在上述附加显示信息中包含基于由雷达装置12获取的雷达影像的推移而获取的其他船的位置及速度的信息。

由此，即使在其他船是根据来自于雷达天线旋转一圈为止也无法更新物标的位置等信息的雷达装置12的信息的情况下，也能够实现流畅动作的虚拟现实显示。

以上，对本发明的优选的实施方式进行了说明，但上述结构例如能够如以下那样进行变更。

也可以构成为，三维场景生成部22仅对移动的物标的位置和朝向中的位置进行推测(不进行朝向的推测)。

附加显示信息如上所述，因此也可以考虑在附加显示信息中不包含物标的速度的信息的情况。在这种情况下，物标位置推测部35可以根据例如附加显示信息中包括的物标的位置的推移来推测速度，并且基于该速度来推测物标的位置。这样，物标位置推测部35也可以不使用附加显示信息中包含的物标的速度，而使用根据附加显示信息推测的物标的速度来推测物标的位置。

与上述同样，也可以考虑在附加显示信息中不包含物标的朝向的角速度的信息的情况。在该情况下，物标朝向推测部36例如可以考虑根据附加显示信息所包含的物标的朝向的推移来推测角速度，并基于该角速度推测物标的朝向。这样，物标朝向推测部36也可以不使用附加显示信息所包含的物标的朝向的角速度，而使用根据附加显示信息推测的物标的朝向的角速度来推测物标的朝向。

在数据合成部23中，也可以构成为不同时渲染三维场景数据48和投影屏幕51。即，数据合成部23也可以构成为分别制作作为仅对三维场景数据48进行渲染的结果的二维影像(图形41f、42f、…的影像)、以及作为仅对投影屏幕51进行渲染的结果的二维影像(拍摄影像被粘贴在投影屏幕51上的影像)，之后，将二维影像彼此合成。在该情况下，三维场景数据48的渲染处理根据本船4的移动等随时进行，另一方面，投影屏幕51的渲染处理能够以与照相机3的影像的帧率对应的较短的时间间隔进行。

在照相机3中，也可以构成为省略上述平移/倾斜功能，拍摄方向例如固定在前方。另外，照相机3也可以配置为拍摄前方以外的方向(例如后方)。

也可以构成为能够使照相机3在整个360度的全方位同时拍摄本船4的周围。

在用户进行了变更视点照相机55的朝向的操作时，也可以以追随该操作的方式自动进行照相机3的平移/倾斜动作。

在三维场景生成部22生成三维场景数据48时，在上述的实施方式中，如在图4中说明的那样，虚拟现实对象41v、42v、…以本船4的位置为原点的船首基准配置。但是，也可以不是以船首基准，而是以+z方向始终为正北的正北基准来配置虚拟现实对象41v、42v、…。在该情况下，当本船4的船首方位因转头等而变化时，代替重新配置虚拟现实对象41v、42v、…，而使三维虚拟空间40中的本船4的方向沿偏航方向变化。并且，通过在三维虚拟空间40中模拟此时的照相机3的位置和朝向的变化，并且与此连动地变更视点照相机55的位置和朝向来进行渲染，能够得到与上述的船首基准的情况完全相同的渲染结果。

另外，三维虚拟空间40的坐标系也可以代替以本船4的位置为原点，而以在地球上适当确定的固定点为原点，例如确定为+z方向为正北、+x方向为正东。在该情况下，在固定于地球的坐标系的三维虚拟空间40中，根据位置信息以及姿态信息，改变本船4配置的位置以及朝向，并在三维虚拟空间40中模拟与此相伴的照相机3的位置以及朝向的变化。

在影像生成装置1中，也可以进行减轻伴随本船4的摇晃的合成影像的摇晃的处理。例如，考虑在三维场景生成部22中，即使本船4摇晃也能够抑制视点照相机55的位置和朝向的变动。

在基于附加显示信息来配置虚拟现实对象44v的情况下、和基于物标位置推测部35以及物标朝向推测部36推测出的结果来配置虚拟现实对象44v的情况下，也可以使合成影像中的图形44f的显示的方式不同。例如，考虑在图形44f的附近显示表示位置和朝向是基于推测的标记。

与影像生成装置1连接的船舶设备(附加显示信息的信息源)不限于图1中说明的，也可以包含其他船舶设备。

本发明不限于在海上航行的船舶，例如可以适用于能够在海、湖、或者河川等航行的任意的水上移动体。

如上所述，在拍摄装置拍摄的影像上重叠显示图形等时，如图10和图11所示，通过同时显示表示方位的刻度图像等那样的附加信息91a、91b，能够有效地利用有限的显示区域。此时，也可以构成为，附加信息的位置自动地变更或移动，以使该图形尽可能不被附加信息遮住。另外，也可以设为根据船体的倾斜而使附加信息91a、91b倾斜的显示。通过进行这样的显示，即使在船体倾斜的状况下也能够始终目视确认正确的附加信息。

参照图12的流程图说明在本发明的实施方式中进行的处理。在本实施方式中，输入设置于水上移动体的拍摄装置拍摄到的拍摄影像(S101)，获取表示上述水上移动体的位置的位置信息(S102)，获取表示上述水上移动体的姿态的姿态信息(S103)，获取包括表示物标的信息的附加显示信息(S104)，基于上述位置信息、上述姿态信息以及上述附加显示信息，生成将描绘了表示上述附加显示信息的三维的虚拟现实对象的图形与上述拍摄影像合成而得到的合成影像(S105)，关于物标，基于附加显示信息中所包括的物标的速度或根据附加显示信息推测的物标的速度，推测与最近获取附加显示信息的时刻相比更新的时刻的物标的位置(S106)，基于推测的物标的速度来更新上述合成影像中的该物标的虚拟现实对象的描绘(S107)，从而解决上述课题。

附图标记说明

1 影像生成装置

3 照相机(摄影装置)

4 船舶(水上移动体)

15 位置获取部

16 姿态获取部

17 附加显示信息获取部

20 合成影像生成部

35 物标位置推测部

36 物标朝向推测部

37 影像更新部

44 其他船(物标)

44v 虚拟现实对象

44f 图形。

Claims (7)

1.一种影像生成装置，其特征在于，具备：

拍摄影像输入部，输入设置在水上移动体上的拍摄装置所拍摄的拍摄影像；

位置获取部，获取表示所述水上移动体的位置的位置信息；

姿态获取部，获取表示所述水上移动体的姿态的姿态信息；

附加显示信息获取部，获取包含表示物标的位置的信息的附加显示信息；

合成影像生成部，基于所述位置信息、所述姿态信息以及所述附加显示信息，生成将描绘了表示所述附加显示信息的三维的虚拟现实对象的图形与所述拍摄影像合成而得到的合成影像；

物标位置推测部，关于物标，基于所述附加显示信息中包含的物标的速度或根据所述附加显示信息推测出的物标的速度，推测与最近获取所述附加显示信息的时刻相比更新的时刻的该物标的位置；以及

影像更新部，基于由所述物标位置推测部推测的结果，使所述合成影像生成部更新所述合成影像中的该物标的虚拟现实对象的描绘。

2.根据权利要求1所述的影像生成装置，其特征在于，

具备物标朝向推测部，关于物标，基于所述附加显示信息所包含的物标的朝向的角速度或者根据所述附加显示信息推测出的物标的朝向的角速度，推测与最近获取所述附加显示信息的时刻相比更新的时刻的该物标的朝向，

所述影像更新部基于由所述物标朝向推测部推测的结果，使所述合成影像生成部更新所述合成影像中的该物标的虚拟现实对象的描绘。

3.根据权利要求1或2所述的影像生成装置，其特征在于，

所述合成影像生成部能够将描绘船舶形状的所述虚拟现实对象的图形与所述拍摄影像合成。

4.根据权利要求1至3中任一项所述的影像生成装置，其特征在于，

在所述附加显示信息中包含由AIS接收器接收的AIS信息。

5.根据权利要求1至4中任一项所述的影像生成装置，其特征在于，

在所述附加显示信息中包含基于由雷达装置获取的雷达影像的推移而获取的物标的位置及速度的信息。

6.根据权利要求1至5中任一项所述的影像生成装置，其特征在于，

所述合成影像生成部还生成表示方位的刻度图像，

根据所述合成影像中的所述图形的显示位置，决定所述刻度图像的显示位置。

7.一种影像生成方法，其特征在于，

输入由设置在水上移动体上的摄影装置拍摄到的拍摄影像，

获取表示所述水上移动体的位置的位置信息，

获取表示所述水上移动体的姿态的姿态信息，

获取包含表示物标的位置的信息的附加显示信息，

基于所述位置信息、所述姿态信息以及所述附加显示信息，生成将描绘了表示所述附加显示信息的三维的虚拟现实对象的图形与所述拍摄影像合成而得到的合成影像，

关于物标，基于附加显示信息中所包括的物标的速度或根据所述附加显示信息推测的物标的速度，推测与最近获取所述附加显示信息的时刻相比更新的时刻的该物标的位置，

基于所述推测出的物标的速度，更新所述合成影像中的该物标的虚拟现实对象的描绘。