CN112840641A - 周边监视装置以及周边监视方法 - Google Patents

Abstract

一种实现能够高精度地检测物標的周边监视装置。周边监视装置(1)具有：海图数据存储部(33)、拍摄影像输入部(21)、图像识别区域设定部(31)、附加显示信息获取部(17)以及合成影像生成部(20)。海图数据存储部(33)存储海图数据。拍摄影像输入部(21)输入摄像头(3)的拍摄影像。图像识别区域设定部(31)基于海图数据来设定检测对象区域。附加显示信息获取部(17)获取在检测对象区域中检测到的物標的物標信息。合成影像生成部(20)，生成在与检测到物標的位置对应的拍摄影像的位置合成有物標信息的合成影像。

Description

周边监视装置以及周边监视方法

技术领域

本发明主要涉及使用了摄像头影像的周边监视装置。

背景技术

专利文献1公开了一种使用摄像头等摄像装置作为图像输入单元的入侵物体监视系统。在专利文献1中，公开了当检测海上的入侵船只时，自动地设定消除海上的光的反射等错误检测的遮蔽区域的技术。

现有技术文献

专利文献

专利文献1：日本特开2002-279429号公报。

发明内容

但是，在上述专利文献1的结构中，由于是基于像素值的变化来创建遮蔽区域，因此在海上的光的反射与船只容易混淆的情况下，无法正确地设定遮蔽区域，从而导致产生错误检测或遗漏检测的这一点上存在改善的余地。

本发明是鉴于上述情况而提出的，其目的在于实现一种能够高精度地检测物標的周边监视装置。

本发明要解决的课题如上所述，接下来说明用于解决该课题的手段及其效果。

根据本发明的第一观点，提供以下结构的周边监视装置。即，周边监视装置具有：海图数据存储部、拍摄影像输入部、区域设定部、物標信息获取部以及合成影像生成部。所述海图数据存储部存储海图数据。所述拍摄影像输入部输入摄像头的拍摄影像。所述区域设定部基于所述海图数据来设定检测对象区域。所述物標信息获取部获取在所述检测对象区域中检测到的物標的物標信息。所述合成影像生成部，生成在与检测到所述物標的位置对应的所述拍摄影像的位置处合成有所述物標信息的合成影像。

由此，能够使用海图数据容易且适当地设定物標的检测对象区域。因此，能够进行有效的监视。

在所述周边监视装置中，优选所述检测对象区域是通过由多个位置信息所表示的边界线划分出的区域。

由此，能够灵活地确定检测对象区域的形状。

在所述周边监视装置中，优选所述检测对象区域是由所述海图数据中包含的水陆边界线或者等深线划分出的区域。

由此，能够适当地检测水上的物標等。

在所述周边监视装置中，优选所述检测对象区域是由从所述海图数据中包含的水陆边界线向水域侧离开规定距离的边界线划分出的区域。

由此，能够适当地检测水上的物標等。

在所述周边监视装置中，优选所述物標信息获取部获取通过对所述检测对象区域进行图像识别而检测到的物標的物標信息。

由此，不会对不需要的部分进行图像识别，能够防止错误检测，并且能够降低处理的负荷。

在所述周边监视装置中，优选根据所述海图数据中包含的水深使参数不同并进行所述图像识别。

由此，例如，考虑到能够航行的船舶的大小根据水深而不同，因此能够进行适当的监视。

在所述周边监视装置中，优选所述拍摄影像输入部输入由设置在地面上的摄像头拍摄的拍摄影像。

由此，由于摄像头被固定设置，因此能够限定所需的海图数据的大小。

在所述周边监视装置中，优选所述物標信息获取部获取雷达装置在所述检测对象区域中检测到的物標的物標信息。

由此，不会对不需要的部分进行基于雷达装置的物標的检测，能够防止错误检测，并且能够降低处理的负荷。

在所述周边监视装置中，优选所述物標信息表示物標的位置、物標的速度以及物標的大小中的至少任一个。

由此，用户能够获取对监视有用的信息。

在所述周边监视装置中，优选为以下的结构。即，所述物標信息获取部能够基于AIS信息来获取所述物標信息。所述合成影像生成部能够将基于所述AIS信息的所述物標信息和基于所述AIS信息以外的信息的所述物標信息合成到同一影像中。

由此，能够实现将信息进行整合后的显示。

在所述周边监视装置中，优选所述合成影像生成部在针对同一物標获取到基于所述AIS信息的所述物標信息和基于所述AIS信息以外的信息的所述物標信息的两者的情况下，优先合成基于所述AIS信息的所述物標信息。

由此，能够优先显示可靠性高的信息。

在所述影像生成装置中，优选为以下的结构。即，所述合成影像生成部能够针对所述拍摄影像合成表示方位的方位刻度。所述合成影像生成部能够自动地改变针对所述拍摄影像合成所述方位刻度的上下方向上的位置。

由此，通过方位刻度能够容易地把握方向，并且可以避免该方位刻度的显示妨碍监视。

根据本发明的第二观点，提供以下的周边监视方法。即，存储海图数据。输入拍摄装置拍摄出的拍摄影像。设定基于所述海图数据设定的检测对象区域。获取在所述检测对象区域中检测到的物標的物標信息。生成在与检测到所述物標的位置对应的所述拍摄影像的位置处合成有所述物標信息的合成影像。

由此，能够使用海图数据容易且适当地设定物標的检测对象区域。因此，能够进行有效的监视。

附图说明

图1是表示本发明的一个实施方式的周边监视装置的整体结构的框图。

图2是表示港湾监视设施所具有的各种设备的侧视图。

图3是表示从摄像头输入的拍摄影像的例子的图。

图4是说明通过在三维虚拟空间中设置虚拟现实对象而构建的三维场景数据以及设置在该三维虚拟空间中的放映屏幕的概念图。

图5是表示数据合成部所输出的合成影像的图。

图6是表示在三维虚拟空间中配置水陆边界线的虚拟现实对象的方式的概念图。

图7是表示将水陆边界线合成到拍摄影像中的合成影像的图。

图8是说明在周边监视装置中执行的处理的流程图。

具体实施方式

接下来，参照附图对本发明的实施方式进行说明。图1是表示本发明的一个实施方式的周边监视装置1的整体结构的框图。图2是表示港湾监视设施4所具有的各种设备的侧视图。

图1所示的周边监视装置1例如设置在图2所示的港湾监视设施4中。周边监视装置1能够基于由摄像头(拍摄装置)3拍摄的影像，生成重叠了辅助监视港湾的船舶(监视对象)的动态的信息的影像。因此，周边监视装置1作为影像生成装置发挥功能。周边监视装置1所生成的影像显示在显示器2上。

显示器2例如能够构成为，配置于在港湾监视设施4中由操作人员执行监视业务的监视台的显示器。但是，显示器2并不限定于上述，例如可以为从港湾监视设施4监视周围状况的监视辅助人员所携带的便携式计算机的显示器等。

周边监视装置1通过将由设置在港湾监视设施4中的摄像头3拍摄到的周围的影像和以虚拟现实的形式表示该周围的附加显示信息(后面详述)的图形进行合成，来生成作为向显示器2输出的影像的合成影像。

接下来，主要参照图1，对与周边监视装置1电连接的摄像头3以及各种设备进行说明。

摄像头3构成为拍摄港湾监视设施4的周围的可见光摄像机。摄像头3构成为广角摄像头，并以稍微向下的方式安装于视线良好的较高的场所。该摄像头3具有实况输出功能，从而能够实时生成作为拍摄结果的动画数据(影像数据)并输出至周边监视装置1。

摄像头3原则上进行定点拍摄。但是，摄像头3经由省略图示的旋转机构被安装，并且通过从周边监视装置1输入指示横摇/纵摇(pan/tilt)动作的信号，能够改变其拍摄方向。

本实施方式的周边监视装置1除了上述的摄像头3以外，还与作为各种设备的AIS接收机9、雷达装置(物標检测部)12等电连接。

AIS接收机9接收从船舶发送的AIS信息。在AIS信息中，包括航行在监视对象的港湾中的船舶的位置(纬度/经度)、该船舶的长度和宽度、该船舶的种类和识别信息、该船舶的船速、航线和目的地等各种信息。

雷达装置12能够探测存在于监视对象的港湾的船舶等物標。另外，该雷达装置12具有能够捕捉以及跟踪物標的公知的目标跟踪功能(Target Tracking，TT)，从而能够求出该物標的位置以及速度矢量(TT信息)。

周边监视装置1与用户所操作的键盘36和鼠标37连接。用户通过操作键盘36和鼠标37，能够进行与影像的生成有关的各种指示。该指示包括摄像头3的横摇/纵摇动作等。

接下来，主要参照图1对周边监视装置1的结构进行详细的说明。

如图1所示，周边监视装置1具有拍摄影像输入部21、附加显示信息获取部(物標信息获取部)17、摄像头位置/方向设定部25、雷达位置/方向设定部26、图像识别部(物標检测部)28、图像识别区域设定部(区域设定部)31、跟踪对象区域设定部(区域设定部)32、海图数据存储部33以及合成影像生成部20。

具体来说，周边监视装置1构成为公知的计算机，虽然未图示，但具有CPU(CentralProcessing Unit，中央处理单元)、ROM(Read Only Memory，只读存储器)、RAM(RandomAccess Memory，随机存取存储器)以及HDD(Hard Disk Drive，硬盘驱动器)等。进一步地，周边监视装置1具有用于高速进行后述的三维图像处理的GPU(Graphics ProcessingUnit，图形处理器)。然后，例如，在HDD中存储有用于执行本发明的周边监视方法的软件。通过该硬件与软件的协作，能够使周边监视装置1作为拍摄影像输入部21、附加显示信息获取部17、摄像头位置/方向设定部25、雷达位置/方向设定部26、图像识别部28、图像识别区域设定部31、跟踪对象区域设定部32、海图数据存储部33以及合成影像生成部20等发挥功能。符号35是处理电路(Processing circuit)。

拍摄影像输入部21例如能够以每秒30帧的方式输入摄像头3所输出的影像数据。拍摄影像输入部21将输入的影像数据输出至图像识别部28及合成影像生成部20(后述的数据合成部23)。

附加显示信息获取部17基于从AIS接收机9和雷达装置12输入到周边监视装置1中的信息以及图像识别部28所获取的信息，来获取附加显示在由摄像头3拍摄的影像上的信息(附加显示信息、物標信息)。作为该附加显示信息，能够考虑各种信息，例如从AIS接收机9获得的船舶的位置和速度、从雷达装置12获得的物標的位置和速度、从图像识别部28获得的物標的位置和速度等。附加显示信息获取部17将获取的信息输出至合成影像生成部20。此外，后面将详细描述附加显示信息。

摄像头位置/方向设定部25能够设定港湾监视设施4中的摄像头3的位置(拍摄位置)和方向。具体来说，摄像头3的位置的信息是表示纬度、经度以及高度的信息。具体来说，摄像头3的方向的信息是表示方位角以及俯角的信息。这些信息例如能够通过在设置摄像头3作业时进行测量等而得到。如上所述，虽然能够在规定的角度范围内改变摄像头3的方向，但是当对摄像头3进行横摇/纵摇操作时，与此相应地，在摄像头位置/方向设定部25中设定最新的方向的信息。摄像头位置/方向设定部25将设定的信息输出至合成影像生成部20、附加显示信息获取部17以及图像识别区域设定部31。

雷达位置/方向设定部26能够设定雷达装置12的天线的位置以及方向。具体来说，天线的位置的信息是表示纬度以及经度的信息。具体来说，天线的方向的信息是表示方位的信息。天线通常在水平面内旋转，但这里所说的天线的方向是指，以雷达装置12的探测方向为基准的方位(基准方位)。这些信息能够通过在设置该天线作业时进行测量等而得到。

设定在周边监视装置1的雷达位置/方向设定部26中的天线的位置以及方向的信息也以同样的方式设定在雷达装置12中。雷达位置/方向设定部26将设定的信息输出至附加显示信息获取部17以及跟踪对象区域设定部32。

图像识别部28从拍摄影像输入部21获取的图像中剪切出被认为是船舶等的部分，通过与预先登录的物標图像数据库进行对照，来识别船舶、潜水员、漂流物等物標。具体来说，图像识别部28通过帧间差分法(Inter frame difference method)等来检测移动的物体，剪切出产生差异的区域，并与图像数据库进行对照。作为对照的方法，能够使用模板匹配(template matching)等公知的适当的方法。图像识别也能够使用其他公知的方法，例如神经网络(Neural Networks)来实现。图像识别部28针对识别出的物標中的每一个，将在图像上识别出的位置的信息输出至附加显示信息获取部17。

图像识别区域设定部31将从拍摄影像输入部21输入的影像中作为图像识别部28进行图像识别的对象的区域设定到图像识别部28中。在本实施方式中，假设图像识别部28识别浮在水面上的物体，因此，作为图像识别区域设定部31，通常仅将水面所呈现的一部分区域作为图像识别的对象区域。

划分图像识别的对象区域的内侧与外侧的边界例如能够用闭合的折线图形来表示。图像识别区域设定部31存储折线图形的多个顶点的位置信息(纬度以及经度)。

摄像头3通常以放大地拍摄水面的方式设置，但是，例如，如图3的例子所示，有时陆地与水面同时进入摄像头3的视野。在该情况下，通过在图像识别区域设定部31中以将陆地上的部分除外的方式来设定图像识别的对象区域，例如能够避免图像识别部28将行驶在道路上的汽车等识别为物標。其结果，能够提高识别精度，另外能够使处理的负荷降低。

图1的跟踪对象区域设定部32设定作为雷达装置12通过上述的目标跟踪功能来跟踪物標的对象的区域。由于假设雷达装置12探测浮在水面上的物体，因此在跟踪对象区域设定部32中也与图像识别区域设定部31同样地，以将陆地上的部分除外的方式来设定物標跟踪对象。由此，能够适当地探测仅在水面上的物標。

与图像识别的对象区域同样地，能够用闭合的折线图形来表示由雷达装置12划分的跟踪的对象区域的内侧与外侧的边界。跟踪对象区域设定部32存储折线图形的多个顶点的位置信息(纬度和经度)。

海图数据存储部33存储海图数据。作为该海图数据，例如使用航海用电子海图。在海图数据中包含水面与陆地之间的边界线(水陆边界线)的矢量数据。边界线的表示方法是任意的，但是，例如，一般认为用折线的闭合图形来表示陆地区域的轮廓，并依次记述各个顶点的位置信息(纬度以及经度)。

海图数据存储部33将表示水陆边界线的矢量数据输出至图像识别区域设定部31以及跟踪对象区域设定部32。由此，使针对图像识别区域设定部31以及跟踪对象区域设定部32进行的区域的设定变得容易。

合成影像生成部20生成显示在显示器2上的合成影像。该合成影像生成部20具有三维场景生成部(显示用数据生成部)22以及数据合成部(显示输出部)23。

如图4所示，三维场景生成部22通过在三维虚拟空间40中设置与附加显示信息对应的虚拟现实对象41v、42v、…，来构建虚拟现实的三维场景。由此，生成作为三维场景的数据的三维场景数据(三维显示用数据)48。此外，后面将详细描述三维场景。

数据合成部23进行如下处理：通过描绘三维场景生成部22所生成的三维场景数据48来生成三维地表现附加显示信息的图形，并且输出图5所示的合成影像，即将该图形41f、42f、…与摄像头3的拍摄影像进行合成后的影像。如图5所示，在该合成影像中，将表示附加显示信息的图形41f、42f、…重叠在由摄像头3拍摄的影像上。数据合成部23将生成的合成影像输出至显示器2。此外，后面将详细描述图形的生成处理以及数据合成处理。

接下来，将详细说明由所述附加显示信息获取部17获取的附加显示信息。图3是说明在周边监视装置1中作为显示的对象的附加显示信息的例子的概念图。

附加显示信息是对由摄像头3拍摄到的影像进行附加显示的信息，根据与周边监视装置1连接的设备的目的以及功能而考虑的各种信息。举个例子来说，对于AIS接收机9，能够将接收到的上述AIS信息(例如，船舶的位置及方向等)作为附加显示信息。对于雷达装置12，能够将探测到的物標的位置以及速度等作为附加显示信息。这些信息从各个设备实时地输入到周边监视装置1中。

另外，在本实施方式中，在附加显示信息中，包括图像识别部28通过进行图像识别而识别出的物標的位置以及速度等。

从雷达装置12获得的信息中包含的物標的位置以及速度矢量是以雷达装置12的天线的位置以及方向为基准的相对的位置以及速度矢量。因此，附加显示信息获取部17基于从雷达位置/方向设定部26获得的信息将从雷达装置12获得的物標的位置以及速度矢量转换为地球基准。

同样地，从图像识别部28获得的物標的位置以及速度矢量是以摄像头3的位置以及方向作为基准的相对的位置以及速度矢量。因此，附加显示信息获取部17基于从摄像头位置/方向设定部25获得的信息将从图像识别部28获得的物標的位置以及速度矢量转换为地球基准。

以下，对附加显示信息的例子进行说明。在图3的摄像头影像中所示的状况中，通过AIS接收机9所获取的AIS信息检测出在港湾内较大的船舶41r正在向摄像头影像的右侧航行。通过雷达装置12检测出较小的船舶42r正在向摄像头影像的右侧高速地航行。并且，通过图像识别部28检测出较小的船舶43r正在向面前高速航行。

在各个附加显示信息中至少包含表示在配置有该附加显示信息的海面(水面)上的地点的位置(纬度以及经度)的信息。例如，在表示船舶41r、42r、43r的附加显示信息中包含表示该船舶41r、42r、43r的位置的信息。

接下来，将参照图4详细说明由三维场景生成部22构建的三维场景以及由数据合成部23合成的影像。图4是说明通过在三维虚拟空间40中设置虚拟现实对象41v、42v、…而生成的三维场景数据48和设置在该三维虚拟空间40中的放映屏幕51的概念图。

如图4所示，通过三维场景生成部22设置虚拟现实对象41v、42v、…的三维虚拟空间40由正交坐标系构成。该正交坐标系的原点被确定为摄像头3的设置位置正下方的高度为零的点。在三维虚拟空间40中，包括原点的水平面xz平面设定为模拟海面(水面)。在图4的例子中，坐标轴被确定为，+z方向始终与摄像头3的方位角一致，+x方向为右方向，+y方向为上方向。该三维虚拟空间40内的每个地点(坐标)被设定为与摄像头3周围的实际位置相对应。

在图4中与图3所示的港湾的状况对应示出了将虚拟现实对象41v、42v以及43v配置在三维虚拟空间40内的例子。在本实施方式中，虚拟现实对象41v、42v、…包括表示已识别出的物標(即，船舶41r、42r、43r)的位置的向下的圆锥以及表示该物標的速度矢量的箭头。圆锥以及箭头均是三维形状。向下的圆锥表示物標位于其正下方。箭头的方向表示物標的速度的方向，箭头的长度表示速度的大小。

各个虚拟现实对象41v、42v和43v以将摄像头3的方位角作为基准、反映由其表示的附加显示信息相对于摄像头3的相对位置的方式配置在xz平面上或稍高于xz平面的面上。在确定配置这些虚拟现实对象41v、42v、…的位置时，使用由图1所示的摄像头位置/方向设定部25设定的摄像头3的位置以及方向进行计算。

如上所述，三维场景生成部22生成三维场景数据48。在图4的例子中，由于以将摄像头3的正下方作为原点的方位基准来配置虚拟现实对象41v、42v、…，因此，若摄像头3的方位角从图3的状态发生变化，则构建将该虚拟现实对象41v、42v、…重配的新的三维场景，从而更新三维场景数据48。另外，例如，若船舶41r、42r、43r从图3的状态进行移动等而改变附加显示信息的内容，则以反映最新的附加显示信息的方式来更新三维场景数据48。

进一步地，数据合成部23在三维虚拟空间40中配置确定摄像头3的拍摄影像所反映的位置以及范围的放映屏幕51。通过设定后述的视角摄像头55的位置和方向，使得该放映屏幕51和虚拟现实对象41v、42v、…的两者包含在视野中，从而实现影像的合成。

数据合成部23以在三维虚拟空间40中模拟摄像头3在现实空间中的位置以及方向的方式来配置视角摄像头55。另外，数据合成部23将放映屏幕51配置为与该视角摄像头55正对。关于模拟摄像头3的位置，摄像头3的位置能够基于图1所示的摄像头位置/方向设定部25的设定值来获得。

即使由于摄像头3的横摇操作而导致方位角发生变化，三维虚构空间40中的视角摄像头55的方位角也不会改变。相反，若对摄像头3进行横摇操作，则数据合成部23将三维虚拟空间40中的虚拟现实对象41v、42v、…重配为以原点为中心，在水平面内仅转动变化后的方位角的角度。

控制视角摄像头55的俯角使其始终与摄像头3的俯角相等。数据合成部23与由摄像头3的纵摇操作而引起的俯角的变化(视角摄像头55的俯角的变化)连动地改变配置在三维虚拟空间40中的放映屏幕51的位置以及方向，以使其始终保持与视角摄像头55正对的状态。

然后，数据合成部23通过对三维场景数据48以及放映屏幕51实施公知的再现(Rendering)处理来生成二维图像。更具体来说，数据合成部23将视角摄像头55配置在三维虚拟空间40中，并且将确定作为再现处理对象的范围的视线锥台56定义为，将该视角摄像头55作为顶点，并且该视线方向作为中心轴。接下来，在构成各对象(虚拟现实对象41v、42v、…以及放映屏幕51)的多边形中，数据合成部23通过透视投影将位于该视线锥台56的内部的多边形的顶点坐标转换为相当于在显示器2的合成影像的显示区域的二维虚拟屏幕的坐标。然后，通过基于配置在该虚拟屏幕上的顶点，并以规定的分辨率进行像素的生成/加工处理，来生成二维图像。

在通过这样的方式生成的二维图像中，包括通过对三维场景数据48进行描绘而得到的图形(换言之，作为虚拟现实对象41v、42v、…的再现结果的图形)。另外，在二维图像的生成过程中，摄像头3的拍摄影像被配置为粘贴在相当于放映屏幕51的位置处。由此，能实现由数据合成部23进行的影像的合成。

由于放映屏幕51为沿着以视角摄像头55为中心的球形壳体弯曲的形状，因此能够防止由于透视投影而导致的拍摄影像的失真。另外，摄像头3是广角摄像头，虽然在其拍摄影像中产生如图3所示的镜头失真，但该镜头失真在将拍摄影像粘贴到放映屏幕51中的时间点被去除。消除镜头失真的方法是任意的，但是，例如考虑使用将校正之前的像素的位置与校正之后的像素的位置相关联的查找表(Look-up table)。由此，能够良好地整合图4所示的三维虚拟空间40与拍摄影像。

接下来，参照例子来说明由摄像头3拍摄的影像与合成影像之间的关系。

在图5中示出了将通过再现图4的三维场景数据48而得到的上述的二维图像合成到图3所示的拍摄影像后的结果。其中，在图5中，为了方便起见，用虚线来表示由摄像头3呈现的拍摄影像的部分，以便与其以外的部分进行区分(这在表示合成影像的其他图中也是同样的)。在图5的合成影像中，将表现附加显示信息的图形41f、42f、43f配置为与拍摄影像重叠。

作为以与摄像头3相同的位置以及方向的视角描绘的结果，上述的图形41f、42f…生成用于构成图4所示的三维场景数据48的虚拟现实对象41v、42v…的三维形状。因此，即使将图形41f、42f、…重叠在由摄像头3拍摄的写实影像上的情况下，也几乎不会产生外观上的违和感。

由此，表示船舶的标记以及表示速度的箭头看起来宛如浮在水面上的空中，能够得到自然且现实感较高的增强现实的影像。另外，用户通过观看显示在显示器2上的海面，表示虚拟现实的图形41f、42f、…全部进入视野，因此能够不遗漏地获得必要的信息。

如上所述，镜头失真(distortion)在从摄像头3输入的拍摄影像显示到三维虚拟空间40的放映屏幕51上的时间点被去除。然而，数据合成部23对于再现后的合成影像，由于使用了上述查找表的逆变换(inverse transformation)，再次进行镜头失真。由此，比较图5与图3可知，能够通过与合成前的摄像头影像的关系得到不易产生违和感的合成影像。但是，也可以省略进行镜头失真。

如图5所示，数据合成部23在合成影像中的图形41f、42f、43f的附近位置进一步合成记述了对监视有用的信息的文字信息。文字信息的内容是任意的，例如，能够显示识别船舶的信息、表示船舶大小的信息、表示从哪个装置获取的信息等各种内容。识别船舶的信息例如能够从AIS信息中获得。表示船舶大小的信息虽然能够从AIS信息中获得，但也能够根据由图像识别部28进行图像识别时检测到的图像的大小或者在雷达装置12中获得的跟踪回波的大小，通过计算而获得。由此，能够实现信息充实的监视画面。

如图5所示，在本实施方式中，将表示基于从AIS接收机9获得的AIS信息的附加显示信息的图形41f、表示基于图像识别部28的图像识别结果的附加显示信息的图形42f、以及表示基于雷达装置12的雷达跟踪结果的附加显示信息的图形43f合成到拍摄影像中。由此，能够实现进行整合后的显示，用户能够通过一个合成影像易于理解监视从多种信息源获得的信息。其结果，能够良好地减轻监视负担。

在图5中，对于船舶41r，显示有基于从AIS接收机9获得的AIS信息的附加显示信息。一般也认为由图像识别部28识别同一船舶41r、或由雷达装置12跟踪同一船舶41r，但即使在该情况下，合成影像生成部20也在船舶41r的部分优先显示基于AIS信息的附加显示信息。由此，能够优先显示可靠度高的信息。

在图5的合成影像中，显示有方位刻度46。方位刻度46形成为连接画面的左端与右端的圆弧状。在方位刻度46中记载有表示与影像对应的方位的数值。由此，用户能够直观地把握摄像头3所观察的方位。

例如在因摄像头3纵摇而导致在合成影像上方位刻度46与其他图形41f、42f、43f重叠或者与拍摄影像的水面重叠的情况下，数据合成部23使合成有方位刻度46的位置沿影像的上下方向自动的移动。由此，能够使方位刻度46不妨碍其他的显示。

接下来，对使用海图数据的图像识别区域的设定进行说明。

如上所述，图像识别区域设定部31设定作为图像识别部28进行图像识别的对象的区域。在使摄像头3的拍摄影像显示在显示器2上的状态下，用户能够通过使用鼠标37等来指定图像识别的对象区域，从而指定上述的区域。

当用户指定图像识别的对象区域时，海图数据存储部33将存储的海图数据中表示水陆边界线的矢量数据输出至图像识别区域设定部31。图像识别区域设定部31将该边界线矢量数据输出至合成影像生成部20。

如图6所示，合成影像生成部20的三维场景生成部22生成将表示水陆边界线的虚拟现实对象49v配置在xz平面上的三维场景数据48。配置有虚拟现实对象49v的位置被配置为，以摄像头3的方位角为基准，反映水陆边界线相对于摄像头3的相对位置。然后，数据合成部23进行与上述完全相同的再现处理，从而将图7所示的合成影像输出至显示器。

在图7的合成影像中，作为再现虚拟现实对象49v的结果的图形49f以宛如放置在由摄像头3拍摄的拍摄影像的水面上的方式配置在合成影像上。由于边界线矢量数据应该与现实的边界线一致，因此映入摄像头3中的水面的形状与图形49f的形状匹配。

因此，用户能够参考图形49f，容易且适当地设定图像识别区域。例如，用户能够直接将图7所示的被图形49f包围的区域指定为图像识别区域。另外，用户也能够以修改与拍摄影像的偏差的方式通过鼠标操作等使区域变形后，然后将其指定为图像识别区域。

此外，海图数据存储部33所存储的边界线矢量数据也能够用于在跟踪对象区域设定部32中设定跟踪对象区域。能够基于设定在雷达位置/方向设定部26中的天线的位置/方向以及边界线矢量数据来计算并确定跟踪对象区域，以将其限定为水域。由此，用户能够容易并准确地设定跟踪对象区域。

图像识别的对象区域的边界以及雷达跟踪的对象区域的边界也能够不使用水陆边界线，而使用其他边界线来定义。例如，在海图数据中包含的数据中，也可以将相当于规定的深度的等深线作为识别的边界。另外，也可以以从水陆边界线向水域侧偏移规定的距离的方式创建边界线，将该边界线作为识别的边界。由此，例如在仅监视大型船只的情况下，将对象区域限定为规定的水深以上的区域等，从而容易实现与目的相应的监视。

也可以根据海图数据中包含的信息来改变图像识别或者雷达跟踪的参数。例如，由于大型船舶不能在水深较浅的区域航行，因此，在基于海图数据获取的水深较小的情况下，一般认为图像识别部28与小型船舶的图像数据库进行模板匹配，或者雷达装置12仅将雷达回波较小的对象作为跟踪对象。由此，能够实现适当的监视。

图8通过流程图示出在周边监视装置1中执行的一系列的处理。

当开始图8的流程时，作为准备工作，周边监视装置1将从外部输入的海图数据存储在海图数据存储部33中(步骤S101)。接下来，周边监视装置1从拍摄影像输入部21输入摄像头3所拍摄的拍摄影像(步骤S102)。周边监视装置1的合成影像生成部20生成将该拍摄影像与从海图数据存储部33获取的边界线矢量数据进行合成后的合成影像，并输出至显示器2(步骤S103)。

用户观察显示器2的画面并适当设定图像识别区域(步骤S104)。也可以省略步骤S103以及S104，在周边监视装置1侧自动设定，使得图像识别区域的边界与边界线矢量数据相同。

然后，开始正常的运用。具体来说，周边监视装置1从拍摄影像输入部21输入摄像头3所拍摄的拍摄影像(步骤S105)。接下来，周边监视装置1的图像识别部28进行将图像识别区域作为对象的图像识别，由此，获取检测出的物標的物標信息(步骤S106)。接下来，合成影像生成部20生成在与检测出物標的位置对应的拍摄影像的位置处合成有物標信息的合成影像并输出至显示器2(步骤S107)。然后，处理返回到步骤S105，重复步骤S105～S107的处理。

如上所述，本实施方式的周边监视装置1具有海图数据存储部33、拍摄影像输入部21、图像识别区域设定部31、附加显示信息获取部17以及合成影像生成部20。海图数据存储部33存储海图数据。拍摄影像输入部21输入摄像头3的拍摄影像。图像识别区域设定部31基于海图数据来设定检测对象区域。附加显示信息获取部17获取在检测对象区域中检测出的物標的物標信息。合成影像生成部20生成在与检测出物標的位置对应的拍摄影像的位置处合成有物標信息的合成影像。

由此，使用海图数据的水陆边界线能够容易地设定进行图像识别的区域。

以上虽然对本发明的优选的实施方式进行了说明，但是上述结构例如能够如以下那样进行改变。

在摄像头3中可以省略上述的横摇/纵摇功能，配置为不能改变拍摄方向。

当三维场景生成部22生成三维场景数据48时，在上述的实施方式中，如图4说明的那样，通过以摄像头3的位置为原点的摄像头方位基准来配置虚拟现实对象41v、42v、…。然而，虚拟现实对象41v、42v、…可以不以摄像头方位基准而是以+z方向始终为正北的正北基准来配置。在该情况下，当由于摄像头3的横摇操作而使方位角变化时，代替重配虚拟现实对象41v、42v、…，通过改变视角摄像头55的方位角并且再现，以模拟摄像头3在三维虚拟空间40中的位置以及方向的变化，从而能够得到与上述的摄像头方位基准的情况完全相同的再现结果。

另外，三维虚拟空间40的坐标系可以将在地球上适当确定的固定点作为原点，来代替将摄像头3的正下方的位置作为原点，例如可以将+z方向确定为正北，将+x方向确定为正东。

与周边监视设备1连接的设备(附加显示信息的信息源)并不限定于图1中所说明的设备，也可以包括其他的设备。作为这样的设备，例如能够列举出红外线摄像头、声学传感器等。

设定在图像识别区域设定部31中的对象区域、以及设定在跟踪目标区域设定部32中的对象区域也能够用其他的图形例如平滑的曲线代替折线图形来表示。另外，也能够通过栅格数据(遮蔽图像)的形式代替矢量数据来设定目标区域。

表示附加显示信息的图形并不限定于图5所示的图形。例如，也能够在检测到船舶41r、42r和43r的位置处显示再现了船舶的三维模型的图形。由此，能够实现更具有现场感的显示。在图4的三维虚拟空间40中，以与从AIS信息等获得的船舶的方向一致的方向来配置船舶的三维模型。配置在三维虚拟空间40中的船舶的三维模型的大小也可以根据从AIS信息等获得的船舶的大小而改变。

也能够构成为省略三维场景生成部22，对附加显示信息的图形41f、42f和43f不进行增强现实的显示。例如，能够仅显示向下的平面三角形，来代替再现了三维圆锥形状的图形。即使不构建三维场景，也能够基于设置有摄像头3的位置和方向，通过计算来求出拍摄影像中的各个像素与水面上的对应场所的对应关系。因此，能够将上述的三角形显示在与水面上的检测位置对应的影像上的位置。同样地，即使不构建三维场景，也能够实现如图7所示的合成了边界线的图形的合成图像。

周边监视装置1也可以设置在船舶等移动体上，而不限于设置在地面上的设施。

附图标记说明

1：周边监视装置

3：摄像头

17：附加显示信息获取部(物標信息获取部)

20：合成影像生成部

21：拍摄影像输入部

28：图像识别部

31：图像识别区域设定部(区域设定部)

32：跟踪对象区域设定部(区域设定部)

33：海图数据存储部

术语

未必能够根据本说明书中记载的任意的特定的实施方式来达成所有的目的或效果/优点。因此，例如本领域技术人员能够想到，特定的实施方式能够构成为，不一定达成在本说明书中教导或建议那样的其他的目的或效果/优点，而以达成或优化本说明书中所教导的一个或多个效果/优点的方式进行动作。

本说明书中记载的全部处理通过由包含一个或多个计算机或处理器的计算系统执行的软件代码模块来具体实现，从而完全自动化。代码模块能够存储在任意类型的非临时性计算机可读介质或其他的计算机存储装置中。一部分或者全部的方法能够通过专用的计算机硬件来实现。

从本公开中可以明确，在本说明书中记载的内容以外，还有许多其他的变形例。例如，根据实施方式，本说明书中记载的算法中的任意一个特定的动作、事件或者功能能够以不同的顺序执行，并且能够追加、合并或者完全排除(例如，记述的全部的行为或者事件并不需要执行算法)。另外，在特定的实施方式中，动作或事件例如能够经由多线程处理、中断处理、或多个处理器或处理器内核，或者在其他的并行架构上并行地执行，而不是逐次执行。另外，不同的任务或者进程也能够通过能一起发挥功能的不同的机器和/或计算系统来执行。

与本说明书中公开的实施方式相关联地说明的各种例示的逻辑块以及模块能够通过处理器等机器来实施或者执行。处理器也可以是微处理器，或者，处理器也可以是控制器、微控制器或状态机或者这些的组合等。处理器能够包含构成为对计算机可执行命令进行处理的电路。在另一实施方式中，处理器包含特殊应用集成电路(ASIC)、现场可编程逻辑门阵列(FPGA)、或者不处理计算机可执行命令而执行逻辑运算的其他可编程设备。处理器还能够实现为计算设备的组合，例如数字信号处理器(数字信号处理装置)与微处理器的组合、多个微处理器、与DSP内核组合的一个以上的微处理器或者任意的其他这样的结构。在本说明书中，主要对数字技术进行说明，但处理器也能够主要包含模拟元件。例如，本说明书中记载的信号处理算法的一部分或全部能够通过模拟电路、或模拟与数字的混合电路来实现。计算环境包括微处理器、大型计算机、数字信号处理器、便携式计算设备、设备控制器或者基于装置内的计算引擎的计算机系统，但也能够包含不限定于这些的任意类型的计算机系统。

只要没有特别明确记载，则在一般用于传达特定的实施方式包括特定的特征、要素和/或步骤，但不包括其他的实施方式的上下文中的意思来理解“能够”，“完成”，“大概”或者“有可能性”等带有条件的语言。因此，通常这样的带有条件的语言并不意味着，特征、要素和/或步骤是一个以上的实施方式所需要的任意的方法，或者一个以上的实施方式必然包含用于确定这些特征、要素和/或步骤是否包含在任意的特定的实施方式中或是否被执行的逻辑。

语句“X、Y、Z中的至少一个”这样的选择语言只要没有特别区分的记载，就可以通过在通常用于表示项目、术语等可以是X、Y、Z中的任意一个或者是它们的任意的组合的上下文中(例：X、Y、Z)来理解。因此，这样的选择语言通常并不意味着每个特定的实施方式都需要存在X的至少一个、Y中的至少一个、或者Z中的至少一个中的任一个。

本说明书中记载的和/或附图所示的流程图中的任意的过程描述、要素或者块应理解为包含用于实现过程中的特定的逻辑功能或者要素的一个以上的可执行命令在内的潜在的模块、片段或者代码的一部分。代替的实施方式包含在本说明书中记载的实施方式的范围内，在此，如本领域技术人员能理解的那样，可以根据关联的功能性，以实质上同时或相反的顺序从图示或说明的顺序中删除要素或功能，或者按照不同的顺序执行要素或功能。

只要没有特别明示，“一个”这样的数词通常应解释为包含一个以上的记述的项目。因此，“如上设定的一个设备”等语句旨在包含一个以上列举出的设备。这样的一个或多个列举出的设备也能够以执行所记载的引用的方式集合地构成。例如，“构成为执行以下的A、B以及C的处理器”能够包括，构成为执行A的第一处理器以及构成为执行B以及C的第二处理器。此外，即使明确地列举出所导入的实施例的具体的数量的列举，本领域技术人员也应该解释为这样的列举典型地意味着至少列举出的数量(例如，不使用其他修饰语的“两个列举”的单纯的列举通常是指至少两个列举或者两个以上的列举)。

通常，本说明书中使用的术语通常旨在为“非限制性”术语(例如，术语“包括”应解释为“不仅如此，而且至少包括”，术语“具有”应解释为“至少具有”，术语“包括”应解释为“虽然包括以下，但不限定于这些”)，这将由本领域技术人员来判断。

为了说明的目的，本说明书中使用的术语“水平”不论其方向如何，都被定义为与使用所说明的系统的区域的地板的平面或表面平行的平面、或者实施所说明的方法的平面。术语“地板”能够置换为术语“地面”或“水面”。术语“垂直/铅直”是指与所定义的水平线垂直/铅直的方向。“上侧”、“下侧”、“下”、“上”、“侧面”、“更高”、“更低”、“上方”，“超过”，“下的”等术语被定义为与水平面相对。

在本说明书中使用的术语的“附着”、“连接”、“成对”以及其他的关联术语，只要没有另外的注释，就应解释为包括能够拆卸、能够移动、固定、能够调节和/或能够拆卸地连接或者连结。连接/连结包含具有直接连接和/或说明的两个结构构件之间的中间构造的连接。

只要没有特别明示，本说明书中使用的“大致”、“约”以及“实质上”这样的术语在前的数量包括列举出的数量，另外，其还表示执行所希望的功能或者达到所希望的结果的接近所记载的数量的数量。例如，只要没有特别明示，“大致”、“约”以及“实质上”是指小于所记载的数值10％的值。如在本说明书中使用的那样，“大致”、“约”以及“实质上”等术语先公开的实施方式的特征还表示执行所希望的功能或者对其特征实现所希望的结果的几个具有可变性的特征。

能够将许多的变形例以及修改例添加到上述的实施方式中，应理解为这些要素处于其他可允许的例子中。所有这样的修改以及变形旨在包括在本公开的范围内，并通过以下的权利要求的范围进行保护。

Claims (13)

1.一种周边监视装置，其中，具有：

海图数据存储部，存储海图数据；

拍摄影像输入部，输入摄像头的拍摄影像；

区域设定部，基于所述海图数据来设定检测对象区域；

物標信息获取部，获取在所述检测对象区域中检测到的物標的物標信息；以及

合成影像生成部，生成在与检测到所述物標的位置对应的所述拍摄影像的位置处合成有所述物標信息的合成影像。

2.根据权利要求1所述的周边监视装置，其中，

所述检测对象区域是通过由多个位置信息所表示的边界线划分出的区域。

3.根据权利要求2所述的周边监视装置，其中，

所述检测对象区域是由所述海图数据中包含的水陆边界线或者等深线划分出的区域。

4.根据权利要求2所述的周边监视装置，其中，

所述检测对象区域是由从所述海图数据中包含的水陆边界线向水域侧离开规定距离的边界线划分出的区域。

5.根据权利要求1至4中任一项所述的周边监视装置，其中，

所述物標信息获取部获取通过对所述检测对象区域进行图像识别而检测到的物標的物標信息。

6.根据权利要求5所述的周边监视装置，其中，

根据所述海图数据中包含的水深使参数不同并进行所述图像识别。

7.根据权利要求1至6中任一项所述的周边监视装置，其中，

所述拍摄影像输入部输入由设置在地面上的摄像头拍摄的拍摄影像。

8.根据权利要求1至7中任一项所述的周边监视装置，其中，

所述物標信息获取部获取雷达装置在所述检测对象区域中检测到的物標的物標信息。

9.根据权利要求1至8中任一项所述的周边监视装置，其中，

所述物標信息表示物標的位置、物標的速度、物標的大小中的至少任一个。

10.根据权利要求1至9中任一项所述的周边监视装置，其中，

所述物標信息获取部能够基于AIS信息来获取所述物標信息，

所述合成影像生成部能够将基于所述AIS信息的所述物標信息与基于所述AIS信息以外的信息的所述物標信息合成在同一影像中。

11.根据权利要求10所述的周边监视装置，其中，

所述合成影像生成部在针对同一物標获得到基于所述AIS信息的所述物標信息和基于所述AIS信息以外的信息的所述物標信息的两者的情况下，优先合成基于所述AIS信息的所述物標信息。

12.根据权利要求1至11中任一项所述的周边监视装置，其中，

所述合成影像生成部能够针对所述拍摄影像合成表示方位的方位刻度，

所述合成影像生成部能够自动地改变针对所述拍摄影像合成所述方位刻度的上下方向上的位置。

13.一种周边监视方法，其中，包括以下步骤：

存储海图数据；

输入拍摄装置拍摄出的拍摄影像；

设定基于所述海图数据设定的检测对象区域；

获取在所述检测对象区域中检测到的物標的物標信息；以及

生成在与检测到所述物標的位置对应的所述拍摄影像的位置处合成有所述物標信息的合成影像。

Images