CN107005649B - 图像处理装置以及图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置以及图像处理方法，所述图像处理装置包括：获取单元，其被构造为获取由摄像单元拍摄的图像，所述摄像单元能够在通过在摇摄方向和倾斜方向上转动来改变拍摄方向的同时拍摄图像；以及生成单元，其被构造为使用由所述获取单元获取的图像，来生成由在摇摄方向和倾斜方向上转动的所述摄像单元能够拍摄的范围中的全景图像，其中，在生成全景图像期间所述摄像单元要在倾斜方向上转动的角度跨越摇摄方向的转动轴的情况下，所述生成单元将全景图像的倾斜方向上的角度的范围设置为，包括从倾斜方向上的倾斜起点至摇摄方向上的转动轴的范围并且不包括倾斜方向上的倾斜终点。

Description

图像处理装置以及图像处理方法

技术领域

本发明涉及一种用于使用利用如下摄像装置生成的图像，来生成该摄像装置的可拍摄范围中的全景图像的技术，该摄像装置能够在通过摇摄(panning)/倾斜(tilting)来改变拍摄方向的同时拍摄图像。

背景技术

已经提出了一种用于生成具有PTZ控制的网络照相机的整个可拍摄范围的全景图像的技术。PTL 1公开了生成网络照相机的整个可拍摄范围的全景图像。参照附图描述如PTL 1中公开的、用于生成全景图像的现有技术方法。

图1A和图1B例示了网络照相机的摇摄/倾斜(PT)操作。在图1A和图1B中，网络照相机1是具有PTZ控制的网络照相机。

图1A例示了在与摇摄操作的转动方向垂直的方向上看到的网络照相机1。在图1A中，网络照相机1能够在摇摄操作中，以角度(即，位置)100(0°)作为基准，在101和102的方向上转动。方向101被定义为负(-)方向。拍摄方向能够如103所示而改变为角度104(-170°)。方向102被定义为正(+)方向。拍摄方向能够如105所示而改变为角度106(170°)。也就是说，在图1A中所示的示例中，网络照相机1能够在摇摄方向上在170°与-170°之间转动。

图1B例示了在与摇摄操作的转动方向水平的方向上看到的网络照相机1。在图1B中，网络照相机1的摄像单元能够在倾斜方向(即，与摇摄方向竖直交叉的方向)上，以角度110(0°)作为基准，在111的方向上转动。方向111被定义为负(-)方向。拍摄方向能够如112所示而改变为角度113(-90°)。也就是说，图1B中所示的网络照相机1能够在倾斜方向上在0°与-90°之间转动。

接下来，参照图3描述当图1A和图1B中所示的网络照相机1如图9中所示安装在房间中时生成的全景图像。图9例示了网络照相机的示例性安装，例示了网络照相机1附装到房间的天花板(即，平行于摇摄方向)。在图3中，附图标记200表示根据用如图9中所示安装的网络照相机拍摄的图像而生成的全景图像。

通过将在摇摄/倾斜方向上改变图1A和图1B中所示的网络照相机1的拍摄方向的同时依次拍摄的图像进行组合，来获得全景图像200。附图标记3001至3004表示在特定的摇摄/倾斜角度(即，位置)的图像。图像3001是由网络照相机1以摇摄方向为-170°并且倾斜方向为0°而拍摄的。图像3002是由络照相机1以摇摄方向为-170°并且倾斜方向为-90°而拍摄的，图像3003是以摇摄方向为170°并且倾斜方向为0°而拍摄的，并且图像3004是以摇摄方向为170°并且倾斜方向为-90°而拍摄的。以这种方式，通过将覆盖摇摄/倾斜方向上的可拍摄范围的图像进行组合，来生成全景图像。

近来，在具有PTZ控制的网络照相机中，提出了一种在摇摄/倾斜方向上对可拍摄角度的限制缓和的网络照相机(被称为旋转单元)。这种旋转单元能够在摇摄方向上在180°与-180°之间转动，并且在倾斜方向上在0°与-180°之间转动。

如果使用利用具有宽移动范围的装置(例如如上所述的旋转单元)拍摄的图像来生成全景图像，则可能发生以下问题。当根据旋转单元的移动范围来生成与在倾斜方向上从0°至-180°的范围相对应的全景图像时，所生成的全景图像的、与在倾斜方向上从0°至-90°的范围相对应的图像和与在倾斜方向上从-90°至-180°的范围相对应的图像大幅交叠。这使得监视对象被显示在两个屏幕上等，导致观看困难。这是由于倾斜方向的移动范围跨越摇摄操作的转动轴而发生的现象。也就是说，如果在PT照相机的倾斜方向的移动范围跨越摇摄方向的转动轴时生成整个可拍摄范围的全景图像，则图像大幅交叠。

[引用列表]

专利文献

[PTL 1]日本特开2000-101991号公报

发明内容

作为用于解决上述问题的技术，代表性的图像处理装置具有以下构造。

一种图像处理装置，所述图像处理装置包括：获取单元，其被构造为获取由摄像单元拍摄的图像，所述摄像单元能够在通过在摇摄方向和倾斜方向上转动来改变拍摄方向的同时拍摄图像；以及生成单元，其被构造为使用由所述获取单元获取的图像，来生成由在摇摄方向和倾斜方向上转动的所述摄像单元能够拍摄的范围中的全景图像，其中，在生成全景图像期间所述摄像单元要在倾斜方向上转动的角度跨越摇摄方向的转动轴的情况下，所述生成单元将全景图像的倾斜方向上的角度的范围设置为，包括从倾斜方向上的倾斜起点至摇摄方向上的转动轴的范围并且不包括倾斜方向上的倾斜终点。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

本发明减少了在根据用如下摄像单元拍摄的图像来生成全景图像期间的不必要的交叠区域，该摄像单元能够在通过摇摄/倾斜改变拍摄方向的同时拍摄图像。

附图说明

[图1A]图1A例示了网络照相机的摇摄操作。

[图1B]图1B例示了网络照相机的倾斜操作。

[图2]图2是例示适用于网络照相机系统的计算机硬件的示例性构造的框图。

[图3]图3例示了网络照相机的全景图像。

[图4]图4是例示第一实施例中的网络照相机系统的构造的框图。

[图5A]图5A例示了第一实施例中的网络照相机的摇摄操作。

[图5B]图5B例示了第一实施例中的网络照相机的倾斜操作。

[图6]图6例示了第一实施例中的网络照相机的翻转操作。

[图7]图7例示了第一实施例中的网络照相机的翻转角度。

[图8A]图8A例示了第一实施例中的网络照相机的翻转操作之前和之后的状态。

[图8B]图8B例示了第一实施例中的网络照相机的翻转操作之前和之后的状态。

[图8C]图8C例示了第一实施例中的网络照相机的翻转操作之前和之后的状态。

[图8D]图8D例示了第一实施例中的网络照相机的翻转操作之前和之后的状态。

[图8E]图8E例示了第一实施例中的网络照相机的翻转操作之前和之后的状态。

[图8F]图8F例示了第一实施例中的网络照相机的翻转操作之前和之后的状态。

[图9]图9例示了网络照相机的示例性安装。

[图10]图10例示了第一实施例中的网络照相机的全景图像。

[图11]图11是第一实施例中的全景图像的生成处理的流程图。

[图12A]图12A例示了在操作模式下的网络照相机的摇摄操作。

[图12B]图12B例示了在操作模式下的网络照相机的倾斜操作。

[图13]图13例示了在正常模式下的网络照相机的示例性全景图像。

[图14]图14例示了在限制模式下的网络照相机的示例性全景图像。

[图15]图15是第一实施例中的全景图像的显示处理的流程图。

具体实施方式

在下文中，参照附图详细描述本发明的优选实施例。以下实施例中描述的构造仅是说明性的而不是限制性的。以下实施例中的照相机服务器装置(即，摄像装置)可以通过在摇摄/倾斜方向上转动来改变其摄像方向。

在下文中，参照附图描述根据本实施例的图像处理装置。图4是本实施例的网络照相机系统的框图。如图4中所示，本实施例的网络照相机系统由通过网络304连接的照相机服务器装置301、观看器装置302和图像处理装置303构成。

虽然在本实施例中一个照相机服务器装置301、一个观看器装置302和一个图像处理装置303连接到网络304，但是该构造不是限制性的。也就是说，连接到网络304的照相机服务器装置301、观看器装置302和图像处理装置303的数量没有限制。虽然在本实施例中，使用TCP/IP(UDP/IP)协议作为网络协议，并且使用IP地址作为网络304的地址，但是这些不是限制性的。TCP/IP是Transmission Control Protocol/Internet Protocol(传输控制协议/互联网协议)的缩写，并且UDP/IP是User Datagram Protocol/Internet Protocol(用户数据报协议/互联网协议)的缩写。也就是说，网络304可以是具有足够带宽来发送稍后描述的照相机控制信号和压缩图像信号的任何数字网络(例如互联网和内联网)。在本实施例中，照相机服务器装置301、观看器装置302和图像处理装置303分别被分配有IP地址。

首先，描述照相机服务器装置301。照相机服务器装置301通过通信控制单元314从观看器装置302(即，客户端)接收命令，经由网络304发送拍摄图像数据和/或全景图像数据。照相机服务器装置301执行各种类型的照相机控制。在下文中，描述照相机服务器装置301的各个处理单元。

通信控制单元314接收各种命令并且将命令输出到后续处理单元。命令分析单元317分析由通信控制单元314接收到的命令，并且将分析结果输出到后续处理单元。照相机/照相机平台控制单元313根据命令分析单元317的分析结果，控制(操作)视频照相机311、可移动照相机平台312和反转控制单元319。

视频照相机311在照相机/照相机平台控制单元313的控制下拍摄被摄体，并且将拍摄图像(即，运动图像和静止图像)输出到后续处理单元。视频照相机311可以在照相机/照相机平台控制单元313的控制下以缩放倍率拍摄被摄体。在本实施例中，视频照相机311安装在可移动照相机平台312上。可移动照相机平台312在照相机/照相机平台控制单元313的控制下确定摇摄方向上的角度、倾斜方向上的角度、转动(即，滚动)角度等，并且进行操作。

图像输入单元315接收用视频照相机311拍摄的图像。如果在本实施例中需要在照相机/照相机平台控制单元313的控制下反转拍摄图像，则反转控制单元319将从图像输入单元315输入的拍摄图像反转，并且将反转的图像输出到图像压缩单元316。如果在本实施例中不需要在照相机/照相机平台控制单元313的控制下反转拍摄图像，则反转控制单元319将从图像输入单元315输入的拍摄图像输出到图像压缩单元316。如果在本实施例中不需要在照相机/照相机平台控制单元313的控制下反转拍摄图像，则从图像输入单元315输入的拍摄图像可以不经由反转控制单元319而输入在图像压缩单元316中。

图像压缩单元316将由图像输入单元315接收的由拍摄图像或反转控制单元319反转的图像压缩(即，编码)成可发送到观看器装置302和/或图像处理装置303的数据大小。图像压缩单元316从视频照相机311接收图像信号，对信号进行A/D转换，使用预定的图像压缩编码系统压缩信号，并且经由通信控制单元314将压缩的拍摄图像数据发送到网络304。虽然在本实施例中图像压缩单元316使用Motion JPEG或其他系统作为图像压缩编码系统，但是压缩编码系统不限于此。存储单元318存储在照相机服务器装置301中设置的各种设置值以及各种类型的数据。例如，存储单元318存储由图像处理装置303生成的全景图像数据。

接下来，描述观看器装置302。观看器装置302通过指定分配给任意的照相机服务器装置301的IP地址，经由网络304连接到照相机服务器装置301。在下文中，描述观看器装置302的各个处理单元。

通信控制单元321从照相机服务器装置301接收经由网络304发送的拍摄图像数据和存储在存储单元318中的全景图像数据。通信控制单元321接收关于各种类型的照相机控制的结果的信息。图像解压缩单元325解压缩(即，解码、展开)由通信控制单元321接收到的拍摄图像数据和全景图像数据。显示控制单元324控制以在显示单元326上显示由图像解压缩单元325解压缩的拍摄图像和全景图像。根据由通信控制单元321接收到的各种类型的照相机控制的结果，显示控制单元324可以控制以生成图形用户界面(GUI)并且在显示单元326上显示。

操作输入单元323接收由用户使用鼠标和键盘的诸如GUI操作等的操作信息。例如，操作输入单元323可以输入GUI操作，诸如对全景图像的鼠标点击、以及对可以指定视频照相机311和可移动照相机平台312的摇摄/倾斜/滚动/缩放的框的拖动。命令生成单元322根据由操作输入单元323输入的操作信息，生成用于各种类型的照相机控制的控制命令。命令生成单元322经由通信控制单元321和网络304将生成的控制命令发送到照相机服务器装置301。

图像处理装置303如同观看器装置302，指定分配给照相机服务器装置301的IP地址，并且经由网络304连接到照相机服务器装置301。在下文中，描述图像处理装置303的各个处理单元。图像处理装置303的通信控制单元332、命令生成单元333和操作输入单元335分别具有与观看器装置302的通信控制单元321、命令生成单元322和操作输入单元323相同的功能。由于显示控制单元336、图像解压缩单元337和显示单元338分别具有与观看器装置302的显示控制单元324、图像解压缩单元325和显示单元326相同的功能，所以省略其描述。

参数计算单元334计算在拍摄用来生成全景图像的图像时的摇摄/倾斜/滚动角度。全景图像由用视频照相机311拍摄的多个图像组成，并且使用由视频照相机311以摇摄/倾斜方向上的多个角度拍摄的图像而生成。

图像合成单元339通过使用经由通信控制单元332和网络304从照相机服务器装置301接收并且由图像解压缩单元337解压缩的图像来生成全景图像。图像压缩单元331将由图像合成单元339生成的全景图像压缩成可发送到照相机服务器装置301的数据大小，并且将压缩的全景图像数据输出到通信控制单元332。稍后描述全景图像的生成处理的详情。

接下来，参照图5A和图5B描述本实施例中的照相机服务器装置301(网络照相机)的操作。这里，描述如下的情况：如图6中所示照相机服务器装置301安装在房间的天花板(即，与摇摄方向平行)，并且朝向安装表面看(从下向上看)照相机服务器装置301。

首先，参照图5A描述本实施例中的网络照相机5的摇摄方向上的操作和移动范围。网络照相机5能够在通过摇摄/倾斜/缩放(PTZ)改变拍摄方向的同时自动转动。如由摇摄方向上的504、505、506和507所示，网络照相机5能够以角度(即，位置)500作为基准(0°)在负方向(-)501或正方向(+)502上关于预定转动轴转动(即，改变拍摄方向)。网络照相机5的摇摄角度(即，摇摄位置信息)以线503作为边界在180°与-180°之间移动。也就是说，当网络照相机5从线503顺时针(即，向右)转动时，摇摄位置信息从-180°增加到0°，并且当从线503逆时针(即，向左)转动时，摇摄位置信息从180减少到0°。也就是说，图5A中所示的本实施例中的网络照相机5能够在摇摄方向上从-180°转动到180°。

接下来，参照图5B描述本实施例中的网络照相机5的摄像单元的倾斜方向上的操作和移动范围。在倾斜方向上的操作中，网络照相机5能够以由510表示的角度(即，平行于摇摄方向)作为基准(0°)在方向511上移动，如由514所示地移动，并且可移动到角度513(-180°)。也就是说，图5B中所示的本实施例中的网络照相机5能够在倾斜方向上在0°与-180°之间移动。倾斜方向上的-90°位置与摇摄操作的转动轴的位置一致。也就是说，网络照相机5进行跨越摇摄操作的转动轴的倾斜操作。

接下来，参照图6和图7描述本实施例中的网络照相机5的翻转操作。图6例示了本实施例的网络照相机5的示例性安装。在图6中，网络照相机5安装在房间中，图片611显示在房间的位置610处的远侧墙壁上，并且图片602显示在房间的位置601处的近侧墙壁上。

如果网络照相机5在图6中所示的状态下面对房间的近侧(即，显示图片601的墙壁侧)，则当用网络照相机5拍摄图片601时，拍摄图像的取向变得如由602所示。也就是说，在墙壁上显示的图片601和拍摄图片602在上取向、下取向、左取向和右取向相同。如果网络照相机5仅从其面对房间的近侧的状态进行倾斜操作，并且移动到拍摄房间的远侧(即，显示图片610的墙壁侧)的位置，则当用网络照相机5拍摄图片610时，拍摄图片的取向变得如由612所示。也就是说，在墙壁上显示的图片610并且拍摄图片612在上取向、下取向、左取向和右方向反转。

因此，本实施例中的网络照相机5可以通过以使得实际空间中的物体和拍摄的物体在取向上相同的方式，根据倾斜方向上的角度反转拍摄图像，来将拍摄图像的取向改变成实际物体的取向。将图片倒置反转(即，转动180°)的处理是指翻转。当倾斜方向上的角度变为预定值时(即，当角度超过预定角度时)，本实施例中的网络照相机5自动进行翻转操作，这被称为自动翻转(auto-flipping)操作。

接下来，参照图7描述本实施例中的网络照相机5的翻转角度。图7例示了本实施例中的网络照相机5的翻转操作与倾斜位置之间的关系。在图7中，当本实施例中的网络照相机5在方向701上进行倾斜操作时，网络照相机5以超过角度702(-100°)的角度(即，小于-100°并且不小于-180°的角度)进行翻转操作。利用翻转操作，本实施例中的网络照相机5在倾斜方向上以小于-100°且不小于-180°的角度反转拍摄图像，以将拍摄图像的取向校正为实际物体的取向。在下文中，将用作进行翻转操作的基准的倾斜方向上的角度(在本实施例中为-100°)称为翻转角度。

为了防止拍摄图像变得倒置，可以在网络照相机5的角度在倾斜方向上超过-90°时进行翻转操作。然而，如果在倾斜方向上以-90°作为边界进行翻转操作，则当用户指示网络照相机5在倾斜方向的-90°附近的摇摄/倾斜时，可能频繁地发生翻转操作。由于上述原因，在本实施例的网络照相机5中，以倾斜方向上的-100°作为基准进行翻转操作。本实施例的网络照相机在倾斜方向上的角度达到-100°时进行翻转操作，但是该构造不是限制性的。可以依据用户的偏好等，在从大约-90°至大约-135°的范围中确定翻转操作的角度。

接下来，参照图8A至图8F描述关于翻转操作和拍摄图像的摇摄/倾斜信息。图8A、图8B和图8C例示了网络照相机5的倾斜角度是进行翻转操作的角度(即，超过翻转角度的角度)的情况。首先，描述网络照相机5在图8A和图8B中例示的状态下拍摄图像的情况。如果如图8A中所示摇摄方向上的角度(即，位置)为45°并且如图8B中所示倾斜方向上的角度为-100.1°，则在图8C中例示了用网络照相机5拍摄的图像。图8C中所示的图像未被翻转(翻转是反转拍摄图像的过程)。

当倾斜角度超过-100°时，本实施例中的网络照相机5进行如图8D、图8E和图8F中所示的处理以进行翻转。图8D、图8E和图8F例示了从图8A、图8B和图8C的状态进行翻转的状态。当进行翻转时，如图8F中所示从图8C反转图像。当进行翻转时，也反转坐标系。具体地，将摇摄位置信息从图8A中所示的角度801(45°)更新到图8D中所示的角度803(-135°)，并且将倾斜位置信息从图8B中所示的角度800(-100.1°)更新到图8E中所示的角度802(-79.9°)。例如，根据基于翻转后的摇摄方向上的角度＝翻转前的摇摄方向上的角度+180°(或-180°)而计算的值，来更新摇摄位置信息。根据基于翻转后的倾斜方向上的角度＝-(翻转前的倾斜方向上的角度+180°)而计算的值，来更新倾斜位置信息。摇摄位置信息和倾斜位置信息的计算方法不限于上述那些计算方法。关于翻转操作，可以反转拍摄图像，或者可以通过转动(即，滚动)网络照相机5自身来反转拍摄角度。

这里，图8F中所示的翻转后的图像是用网络照相机5在摇摄方向上为45°并且倾斜方向上为-79.9°的位置处拍摄的，并且变为未翻转的图像。也就是说，能够通过如上所述更新摇摄位置信息和倾斜位置信息，来实现摇摄位置信息和倾斜位置信息与图像之间的一致性。如上所述，在本实施例的网络照相机5中，当倾斜方向上的角度变得小于-100°，并且倾斜位置信息被转换成比-80°更大的角度时，进行翻转操作。因此，倾斜位置信息总是不小于-100°。

接下来，参照图描述本实施例中的全景图像。在图10中，附图标记1000表示用如图9中所示安装的网络照相机5生成的全景图像。与图3中所示的现有技术的全景图像200相比，在图10中所示的本实施例中的全景图像1000在摇摄方向上具有增加的图像范围(即，显示区域)。这是因为在本实施例中网络照相机5的摇摄方向上的移动范围为从-180°至180°，而在图3的现有技术示例中为-170°至170°：因此，本实施例的网络照相机5在摇摄方向上具有更宽的移动范围。

与现有技术示例的全景图像200相比，本实施例的全景图像1000也在倾斜方向上具有更宽的图像范围。也就是说，通过合成包括在倾斜方向上-100°处的图像1011的图像，来生成本实施例的全景图像1000。这是因为本实施例的生成全景图像的方法与现有技术示例的方法在以下观点不同。在现有技术示例中，根据网络照相机5的倾斜方向上的移动范围(从0°至-90°)，在从0°至-90°的范围生成全景图像200。与此相对，在本实施例中，根据作为翻转角度的-100°，代替作为倾斜范围的从0°至-180°，在从0°至-100°的范围生成全景图像1000。也就是说，与全景图像的倾斜操作相对应的范围包括从作为倾斜操作的起点的0°至作为摇摄操作的转动轴的-90°并且之后不包括作为倾斜操作的向前方向的终点的-180°的范围(例如，从0°至-100°)。关于倾斜操作的向后方向，范围包括从与起点相对应的-180°的位置至作为摇摄操作的转动轴的-90°，并且之后不包括作为终点的0°。本实施例中的网络照相机5在如图8A至图8F中所示超过翻转角度时，可以通过更新倾斜位置信息来表达0°与-100°之间的倾斜位置信息。本实施例中的全景图像1000在0°与-100°之间生成。因此，能够在全景图像上表达网络照相机5的整个摇摄/倾斜移动范围的拍摄图像。与根据倾斜方向上的移动范围(在0°与-180°之间)在倾斜方向上从0°至-180°的范围中生成全景图像的情况相比，通过本实施例能够生成具有更少的图像交叠的全景图像。

这里，描述用于生成图10中的全景图像1000的方法。在本实施例中，通过将网络照相机5在倾斜方向上从0°移动至-90°(即，能够拍摄图10的1001的角度)并且在摇摄方向上在-180°与180°之间拍摄图像，来生成部分全景图像(即，在倾斜方向上从0°至-90°的范围中的全景图像)。接下来，将生成的部分全景图像的部分图像1002(在摇摄方向上从-180°至-0°，在倾斜方向上从-80°至-90°)在倾斜方向上反转，并且复制到范围1005(在摇摄方向上从0°至180°，在倾斜方向上从-90°至-100°)。类似地，将部分图像1004(在摇摄方向上从0°至180°，在倾斜方向上从-80°至-90°)在倾斜方向上反转，并且复制到范围1003(在摇摄方向上从-180°至0°，在倾斜方向上从-90°至-100°)。因此，可以通过使用在倾斜方向上-80°至-90°的部分全景图像进行反转和复制(copying)(即，复制(replicating))来生成在倾斜方向上从-90°至-100°的范围的图像。可以通过将如上所述生成的在倾斜方向上-90°至-100°的图像和在倾斜方向上0°至-90°的图像合成来生成全景图像1000。

如上所述，通过反转和复制来生成在倾斜方向上从-90°至-100°范围中的图像比下述方法更有效。也就是说，与通过将网络照相机5在倾斜方向上从-90°移动到-100°并且在摇摄方向上拍摄-180°至180°之间的图像来生成部分全景图像(即，在倾斜方向上从-90°至-100°的范围中的全景图像)的处理相比，本处理所需的时间更短。

图10中所示的1002中包括的位置1006(在摇摄方向上为-45°，在倾斜方向上为-85°)对应于1005中包括的位置1007(在摇摄方向上为135°，在倾斜方向上为-95°)，并且网络照相机5的拍摄方向在空间上相同。

接下来，参照图11描述本实施例中的生成全景图像的过程。图11例示了当在使照相机服务器装置301通过摇摄/倾斜自动转动的同时生成全景图像时利用照相机服务器装置301和图像处理装置303进行的处理。在下文中，描述图11中所示的各个步骤的处理。

在步骤S1101中，图像处理装置303的通信控制单元332从照相机服务器装置301获取关于网络照相机5的翻转角度α的信息。在本实施例中，翻转角度α为-100°。在步骤S1102中，图像处理装置303确定摇摄/倾斜方向上的角度(位置)，并且向照相机服务器装置301发送命令以指示照相机服务器装置301进行摇摄/倾斜控制。在本实施例中，图像处理装置303相对于照相机服务器装置301从摇摄方向上为-180°且倾斜方向上为0°开始拍摄，并且进行控制以随着拍摄过程在摇摄方向上移位(即，改变)。在步骤S1103中，图像处理装置303以在步骤S1102中确定的在摇摄/倾斜方向上与照相机服务器装置301的角度来拍摄图像。在步骤S1104中，图像处理装置303使用在步骤S1103中获取的图像以在步骤S1102中确定的倾斜方向上的角度生成(即，合成)部分全景图像。

在步骤S1105中，图像处理装置303确定是否在倾斜方向上以0°与-90°之间的所有角度拍摄了图像。也就是说，在步骤S1105中，图像处理装置303确定是否生成了对图11中的角度(即，位置)1001的部分全景图像(即，在倾斜方向上从0°至-90°的范围中的部分全景图像)。在步骤S1106中，图像处理装置303在倾斜方向上从-90°至α的范围中生成部分全景图像。这里，在步骤S1106中，图像处理装置303生成图10中所示的图像1005和图像1003。在步骤S1107中，在步骤S1106中完成之后，图像处理装置303将在步骤S1104中生成的在倾斜方向上从0°至-90°的范围中的部分全景图像和在步骤S1106中生成的在倾斜方向上从-90°至α的范围中的部分全景图像合成。也就是说，能够通过在步骤S1107中进行合成处理来生成从倾斜方向上的0°至翻转角度α的全景图像(即，图10的全景图像1000)。

图像处理装置303经由图像处理装置303的通信控制单元332，并且经由照相机服务器装置301的通信控制单元314，将生成的全景图像发送到照相机服务器装置301的存储单元318。存储单元318存储由图像处理装置303生成的全景图像。观看器装置302访问照相机服务器装置301的存储单元318，并且使用所存储的全景图像来控制照相机服务器装置301的摄像区域。在本实施例中，例如，如图13中所示，通过在全景图像1000上移动由粗框例示的区域1303能够控制照相机服务器装置301的摄像区域。区域1303例示了照相机服务器装置301的当前摄像区域(外边缘，框)。稍后描述图13的详情。

通过根据图11的流程图生成全景图像，能够获取基于翻转角度的全景图像。即使在使用能够在摇摄方向上在180°与-180°之间并且在倾斜方向上在0°与-180°之间移动的旋转单元来生成全景图像的情况下，与生成在倾斜方向上从0°至-180°的范围的全景图像的情况相比，也能够生成具有更少图像交叠的全景图像。

接下来，参照图12A和图12B描述基于本实施例的网络照相机5中设置的操作模式的倾斜方向上的操作。图12A例示了当将正常模式设置为操作模式时本实施例的网络照相机5的倾斜方向上的操作。由于图12A中所示的正常模式下的网络照相机5的摇摄方向上的操作与上述的图5A中所示的操作相同，所以使用相同的附图标记，并且省略描述。图12B例示了当将限制模式设置为操作模式时本实施例的网络照相机5的倾斜方向上的操作。如图12B中所示，网络照相机5能够以由1220表示的角度(即，平行于摇摄方向)作为基准(0°)在方向1221上移动，如由1222所示地移动，并且能够移动到角度1223(-90°)。当设置了限制模式时，网络照相机5的倾斜方向上的操作被限制为从0°至90°的范围，从而禁止在倾斜方向上朝小于-90°的方向的移动。能够以以下方式将该限制模式设置在照相机服务器装置301中。例如，观看器装置302的操作输入单元323由用户输入关于限制模式的指令，并且命令生成单元322根据该指令生成关于限制模式的命令。可以通过通信控制单元321经由网络304在照相机服务器装置301中输入生成的命令来设置限制模式。也可以通过使用图像处理装置303在照相机服务器装置301中设置限制模式。

接下来，如图12A中所示，参照图13描述在网络照相机5中设置正常模式作为操作模式的情况下的全景图像。如图13中所示，在本实施例中，在观看器装置302的显示单元326的画面1300上显示全景图像1000。图13中由粗框例示的区域1303例示了网络照相机5的当前摄像区域(外边缘、框)。当用户指示操作输入单元323或操作输入单元335移动和/或变换(包括放大和缩小)该区域时，可以PTZ控制网络照相机5，并且可以设置(即，改变)摄像区域。可以在图13中的画面1300上显示全景图像1000，并且如由1301和1302所示，可以将区域1303设置为整个全景图像。区域1303可以在摇摄方向上在-180°与180°之间并且在倾斜方向上在0°与-100°之间移动。

通过使用生成上述全景图像的方法，如图13的区域1304中所示，可以将摄像区域指定为倾斜方向上的翻转角度。这里，在倾斜方向上从0°至-90°的范围中，不存在能够拍摄与在倾斜方向上从-90°至-100°的范围中拍摄的图像相等的图像(除了上取向、下取向、左取向、右取向反转的图像)的区域。由于这个原因，在图3中所示的现有技术的全景图像中，用户不能将在倾斜方向上从-90°至-100°的范围指定为摄像区域。通过使用本实施例的全景图像，用户可以将在倾斜方向上从-90°至-100°的范围指定为摄像区域。例如，如果使用本实施例的全景图像来拍摄在倾斜方向上从-90°移动到-100°的物体，则可以将摄像区域指定为翻转的角度。如果物体在倾斜方向上进一步从-100°移动到-110°，则当超过翻转角度(-100°)时，在全景图像1000中在与倾斜方向上从-80°至-70°相对应的位置处显示物体。

图13中所示的全景图像1000对应于在倾斜方向上从0°至-100°的范围，而与在倾斜方向上从-100°到-180°的范围相对应的部分图像等于与在倾斜方向上从-90°至0°的范围相对应的部分全景图像。也就是说，如果用户希望指定在倾斜方向上小于-100°的范围作为摄像区域，则仅需要指定在倾斜方向上从-90°至0°的倾斜方向的对应角度(位置、范围)。例如，如果要指定在摇摄方向上为135°并且在倾斜方向上为-100°作为摄像区域，则如图13的区域1305中所示，仅需要指定在倾斜方向上为-45°并且在摇摄方向上为-70°作为摄像区域。

在本实施例中，如图13的区域1304中所示，以使得与区域1304相对应的倾斜角度的范围在全景图像1000的在倾斜方向上小于-90°的角度的范围内的方式来生成全景图像。因此，可以在全景图像1000中不中断地显示区域1304。与此相对，在倾斜方向上从0°至-90°的全景图像中，当要指定小于-90°的角度时，区域1304在-90°处中断，这使得用户难以指定摄像区域。

在通常的用于生成全景图像的方法中，在摇摄方向和倾斜方向上改变摄像方向的同时，将依次拍摄的图像拼接。在该方法中，在倾斜方向上-90°附近的位置处拍摄的图像倾向于变形。因此，如果用户希望跟随在倾斜方向上朝-90°附近移动的物体，则用户有时可能难以设置区域1304。在本实施例中，由于全景图像被生成到在倾斜方向上小于-90°的角度(即，-100°)，则用户可以观看到超过图像失真的90°附近的角度。因此，用户即使在-90°附近的角度也容易地设置区域1304。

在本实施例中，以小于-100°的角度在倾斜方向上进行翻转操作。因此，在本实施例中，通过在倾斜方向上从0°至-100°的范围中生成全景图像，可以总是在全景图像上显示区域1304。与此相对，如果仅在倾斜方向上从0°至-90°生成全景图像，则紧接在开始拍摄小于-90°的角度(例如，-90.1°)之后存在在全景图像上不显示区域1304的时间。也就是说，在本实施例中，可以在倾斜方向上以任何角度进行拍摄的同时，在全景图像1000上显示区域1304。

虽然在本实施例中，根据进行翻转操作的角度在倾斜方向上从0°至-100°的范围中生成全景图像1000，但这不是限制性的。也就是说，即使在使用能够在倾斜方向上在0°与-180°之间移动的旋转单元来生成全景图像的情况下，也可以在倾斜方向上从0°至-90°的范围中生成全景图像。因此，与在倾斜方向上从0°至-180°生成图像的情况相比，通过生成从0°至-90°的全景图像，能够生成具有更少图像交叠的全景图像。

接下来，如图12B中所示，参照图14描述当在网络照相机5中设置限制模式作为操作模式时的全景图像。如图14中所示，在本实施例中，在观看器装置302的显示单元326的画面1400上显示全景图像1405。如图14中的粗框所示的区域1403是与图13中的区域1303类似的网络照相机5的当前摄像区域。也就是说，通过使区域1403移动和/或变形，可以进行网络照相机5的PTZ控制以设置(即，改变)摄像区域。可以在图14的画面1400上显示全景图像1405，并且可以如1401和1402中所示来设置区域1403。也就是说，可以在摇摄方向上-180°至180°并且在倾斜方向上0°至-90°的范围内移动区域1303。

在本实施例中，设置了限制模式的网络照相机5，禁止在倾斜方向上在-90°与-100°之间的操作。如图14中所示，在设定了极限模式的全景图像1405中，考虑到禁止操作的范围，以黑色显示原始全景图像1000(在正常模式下)的区域1404。然后用户能够观看禁止操作的区域。用于显示禁止操作的区域的方法不限于此，而是可以进行其他图像处理。例如，区域1404可以被以其他颜色涂画，被模糊，被镶嵌、被阴影或被叠加预定图像。作为选择，区域1404可以通过画面上显示(on-screen display，OSD)被叠加字符、符号等。可以在画面1400上显示除了区域1404以外的图像(即，区域1404被消除)作为全景图像。

在极限模式下的全景图像中，可以使用正常模式下的全景图像的一部分用于除了禁止操作的范围以外的图像。也就是说，可以使用图13中所示的正常模式下的全景图像1000的在倾斜方向上从0°至-90°的图像，作为在图14中所示的极限模式下的全景图像1405的在倾斜方向上从0°至-90°的图像。

接下来，参照图15描述图13和图14中所示的全景图像的显示处理的过程。图15是由观看器装置302执行以显示全景图像的处理。当例如用户使用全景图像时执行该序列。

在步骤S1500中，观看器装置302的通信控制单元321从照相机服务器装置301获取关于网络照相机5的翻转角度α的信息。在本实施例中，如在图11中，翻转角度α为-100°。在步骤S1501中，观看器装置302从照相机服务器装置301获取关于操作模式的信息。在步骤S1502中，观看器装置302从照相机服务器装置301获取(即，读取)全景图像。在步骤S1503中，观看器装置302的显示控制单元324控制在步骤S1502中获取的全景图像以显示在显示单元326上。

在步骤S1504中，观看器装置302根据在步骤S1501中获取的关于操作模式的信息来确定是否设置了限制模式。如果在本实施例中设置了限制模式，则如上所述，照相机服务器装置301在倾斜方向上的操作应当被限制在从0°至-90°的范围内。也就是说，在步骤S1504中，观看器装置302可以获取表示照相机服务器装置301在倾斜方向上的操作是否被限制在从0°至-90°的范围的禁止信息，并且可以确定在倾斜方向上的操作是否被禁止。

如果在步骤S1504中确定未设置限制模式(即，禁止在倾斜方向上的操作)，即，设置了正常模式(步骤S1504：否)，则观看器装置302进行到步骤S1505的处理。在步骤S1505中，观看器装置302将能够显示全景图像的范围设置为从0°至α(-100°)。然后，如图13中所示，观看器装置302的显示控制单元324控制全景图像1000显示在显示单元326上。显示单元326显示全景图像1000，并且终止全景图像的显示处理。

如果在步骤S1504中确定设置了限制模式(步骤S1504：是)，则观看器装置302进行到步骤S1506的处理。在步骤S1506中，观看器装置302对在倾斜方向上禁止操作的范围(即，在图14的区域1403中所示的在倾斜方向上-90°至α的范围)进行如图14中描述的不显示处理(例如，以黑色涂画)，并且进行到步骤S1507。在步骤S1507中，观看器装置302将能够显示全景图像的范围设置为从0°至-90°。然后，如图14中所示，观看器装置302的显示控制单元324控制全景图像1405显示在显示单元326上。显示单元326显示全景图像1405并且终止全景图像的显示处理。

本实施例中的网络系统可以在能够从安装表面在倾斜方向上不小于90°操作的摄像装置(例如，旋转单元)中提供具有高可见度和减小的交叠区域的全景图像。可以通过显示生成的全景图像来提高用户的便利性。

在下文中，参照附图描述第二实施例。在本实施例的上述说明中，图4中所示的照相机服务器装置301、观看器装置302和图像处理装置303的处理单元中的各个由硬件构造。关于图4中所示的各个处理单元，除了在视频照相机311、可移动照相机平台312、显示单元326和显示单元338中进行的处理以外的处理可以由计算机程序来构造。在下文中，参照图2描述本实施例。图2是例示适用于根据上述实施例的图像处理系统的计算机硬件的示例性构造的框图。

CPU 201使用计算机程序和RAM 202或ROM 203中存储的数据来控制整个计算机，并且执行根据上述实施例的要由图像处理系统进行的上述各个处理。也就是说，CPU 201用作图2所示的各个处理单元。

RAM 202具有用于暂时存储从外部存储装置206加载的计算机程序和数据的区域、经由接口(I/F)207从外部获取的数据等。RAM 202具有当CPU 201执行各种处理时使用的工作区域。例如，RAM 202可以被分配为图片存储器，或者能够用作各种其他区域。

该计算机的设置数据、引导程序等被存储在ROM 203中。操作单元204例如由键盘和鼠标构成，并且当由计算机的用户操作时能够在CPU 201中输入各种指令。输出单元205显示CPU 201的处理结果。输出单元205例如由液晶显示器形成。

外部存储装置206是诸如硬盘驱动装置等的大容量信息存储装置。操作系统(OS)以及使CPU 201实现图2中所示的各个单元的功能的计算机程序被存储在外部存储装置206中。作为处理对象的图像数据可以被存储在外部存储装置206中。

存储在外部存储装置206中的计算机程序和数据在CPU201的控制下被加载到RAM202中，并且被CPU 201处理。诸如LAN和互联网等的网络以及诸如投影装置和显示装置等的其他装置可以连接到I/F 207。该计算机能够经由I/F 207获取或发送各种类型的信息。附图标记208表示连接上述各个单元的总线。

在上述构造的操作中，CPU 201主要控制在上述流程图中描述的处理。

在第一实施例中，图像处理装置303不一定包括图4中所示的所有处理单元。例如，可以从图像处理装置303中排除显示控制单元336和/或显示单元338。作为选择，图像处理装置303的处理单元可以被包括在照相机服务器装置301中。在这种情况下，照相机服务器装置生成全景图像和/或进行全景图像的显示控制。

还可以通过读出并执行记录在存储介质(也可更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由系统或装置的计算机例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制一个或更多个电路以执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。

计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存装置以及存储卡等中的一个或更多个。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以便涵盖所有这些变型例以及等同的结构和功能。

本申请要求2014年11月14日提交的日本专利申请第2014-232193号的优先权，该申请的全部内容通过引用并入本文。

Claims (7)

1.一种图像处理装置，所述图像处理装置包括：

获取单元，其被构造为获取由摄像单元拍摄的多个图像，所述摄像单元能够通过在摇摄方向和倾斜方向上转动来改变拍摄方向，其中，摄像单元能够在摇摄方向上从-180°转动到180°且在倾斜方向上从0°转动到-180°，以及摄像单元的控制单元被构造为在摄像单元在倾斜方向上从-90°移动预定角度的位置处进行倒置反转图像的处理；以及

生成单元，其被构造为使用由所述获取单元获取的图像，来生成与通过在摇摄方向和倾斜方向上转动而由所述摄像单元能够拍摄的范围相对应的全景图像，

其中，所述生成单元在倾斜方向上的0°到-90°的范围内和在摇摄方向上的-180°到180°的范围内生成第一部分全景图像，

其中，生成单元通过复制第一部分全景图像的在倾斜方向上的-90°到通过-90°加上所述预定角度获得的角度的范围内和在摇摄方向上的-180°到180°的范围内的一部分和反转第一部分全景图像的复制的部分，来在倾斜方向上的-90°到通过-90°减去所述预定角度获得的角度的范围内和在摇摄方向上的-180°到180°的范围内生成第二部分全景图像，以及

其中，生成单元通过合并第一部分全景图像和第二部分全景图像来生成全景图像。

2.根据权利要求1所述的图像处理装置，所述图像处理装置还包括显示控制单元，所述显示控制单元被构造为控制由所述生成单元生成的全景图像显示在显示单元上。

3.根据权利要求1所述的图像处理装置，其中，所述生成单元根据关于所述摄像单元的拍摄方向的限制的信息，来生成全景图像。

4.根据权利要求1所述的图像处理装置，其中，所述生成单元对全景图像的、基于关于所述摄像单元的拍摄方向的限制的信息的范围，进行图像处理。

5.根据权利要求2所述的图像处理装置，其中，所述显示控制单元根据关于所述摄像单元的拍摄方向的限制的信息，来控制由所述生成单元生成的全景图像的显示区域。

6.根据权利要求1所述的图像处理装置，所述图像处理装置还包括所述摄像单元。

7.一种图像处理方法，所述图像处理方法包括：

获取由摄像单元拍摄的多个图像，所述摄像单元能够通过在摇摄方向和倾斜方向上转动来改变拍摄方向，其中，摄像单元能够在摇摄方向上从-180°转动到180°且在倾斜方向上从0°转动到-180°，以及摄像单元的控制单元被构造为在摄像单元在倾斜方向上从-90°移动预定角度的位置处进行倒置反转图像的处理；以及

使用获取的图像，来生成与通过在摇摄方向和倾斜方向上转动而由所述摄像单元能够拍摄的范围相对应的全景图像，

其中，在倾斜方向上的0°到-90°的范围内和在摇摄方向上的-180°到180°的范围内生成第一部分全景图像，

其中，通过复制第一部分全景图像的在倾斜方向上的-90°到通过-90°加上所述预定角度获得的角度的范围内和在摇摄方向上的-180°到180°的范围内的一部分和反转第一部分全景图像的复制的部分，来在倾斜方向上的-90°到通过-90°减去所述预定角度获得的角度的范围内和在摇摄方向上的-180°到180°的范围内生成第二部分全景图像，以及

其中，通过合并第一部分全景图像和第二部分全景图像来生成全景图像。

Images