CN102385747B - 用于生成全景图像的处理装置及方法 - Google Patents

Abstract

本发明提供一种用于生成全景图像的处理装置及方法。该处理装置能够由通过多次拍摄获得的多个捕获图像生成全景图像，该处理装置包括：输入单元，其被构造成输入用于确定预定图像在所述捕获图像上的叠加位置的叠加参数；生成单元，其被构造成通过对通过所述多次拍摄而获得的所述多个捕获图像的坐标值进行变换处理，来由所述多个捕获图像生成所述全景图像；以及确定单元，其被构造成根据由所述生成单元执行了所述坐标值的变换处理的所述全景图像上的位置信息和用于确定所述预定图像在所述捕获图像上的叠加位置的所述叠加参数，来确定所述预定图像在所述全景图像上的叠加位置。

Description

用于生成全景图像的处理装置及方法

技术领域

本发明涉及一种用于由多个捕获图像生成全景图像的处理装置及方法。

背景技术

作为全景图像生成方法，日本专利申请特开2001-136514号公报论述了一种技术，该技术将拍摄装置能够通过摇摆来摄影的整个区域分割成多个区域，对各个区域的捕获图像执行投影变换，并将这些图像相连接。

作为私密掩模(privacy mask)的合成方法，日本专利申请特开2001-69494号公报论述了一种技术，该技术生成与拍摄装置的摇摆角度相对应的位置和尺寸的私密掩模，并将该掩模叠加在捕获图像上。

然而，存在如下可能：依据于捕获图像经受处理的位置，全景图像的质量可能劣化。

例如，在私密掩模区域在用于生成全景图像的多个捕获图像之间交叠的情况下，存在如下可能：在通过对叠加有私密掩模图像的多个捕获图像执行投影变换而生成全景图像时，私密掩模图像在连接部分处移位。

此外，例如在私密掩模区域(以下称为“掩模区域”)在多个捕获图像之间不交叠的情况下，存在如下可能：全景图像上应该是掩模区域的区域没有成为掩模区域。例如，描述了如下情况，即掩模区域的位置由与掩模区域的中心位置相对应的摄像机的摆动角和倾斜角的信息来管理，并且掩模区域的尺寸由关于宽度和高度的信息来管理。

在此情况下，如果基于捕获所述多个图像时的摆动角和倾斜角将掩模图像叠加在所述多个捕获图像的各个上，然后生成全景图像，则存在如下可能：应该是掩模区域的区域从实际叠加有掩模图像的区域处移位。在具有大的倾斜角的区域(通常指全景图像的上部区域)上该现象尤其显著。这是因为随着倾斜角的增大，与摆动控制相对应的摄像机的图像捕获(capturing)方向的移动方向变得与绝对水平方向(just horizontaldirection)不同。

此外，当包括同屏显示(on-screen display)功能的拍摄装置生成全景图像时，存在全景图像的图像质量被劣化的可能。该同屏显示功能将诸如拍摄日期/时间以及拍摄地点的同屏图像(on-screen image)叠加在捕获图像上。更具体地说，存在如下可能：根据同屏图像的叠加位置，将不必要的同屏图像叠加在全景图像的捕获图像的连接部分处。

图5示出了由上述方法生成的全景图像的示例。在图5中，阴影区域示出了私密掩模图像，而下部表示日期/时间的区域示出了同屏图像。如图5所示，根据私密掩模图像在各捕获图像上的叠加位置，有可能在私密掩模图像的边缘部分生成不平整的区域(irregular area)和部分缺失区域。此外，根据同屏图像在各捕获图像上的叠加位置，有可能叠加上不可辨识的不必要的同屏图像。

发明内容

本发明提供一种用于提高由多个捕获图像生成的全景图像的质量的方法。

根据本发明的一方面，提供了一种能够由通过多次拍摄获得的多个捕获图像生成全景图像的处理装置，该处理装置包括：输入单元，其被构造成输入用于确定预定图像在所述捕获图像上的叠加位置的叠加参数；生成单元，其被构造成通过对通过所述多次拍摄而获得的所述多个捕获图像的坐标值进行变换处理，来由所述多个捕获图像生成所述全景图像；以及，确定单元，其被构造成根据通过所述生成单元执行了所述坐标值的变换处理的所述全景图像上的位置信息和用于确定所述预定图像在所述捕获图像上的叠加位置的所述叠加参数，来确定所述预定图像在所述全景图像上的叠加位置。

通过下面参照附图对示例性实施例的详细说明，本发明的其他特征和各方面将变得清楚。

附图说明

包括在说明书中并构成说明书的一部分的附图，例示本发明的示例性实施例、特征和各方面，与文字描述一起，用于解释本发明的原理。

图1是示出用于生成全景图像的网络摄像机系统的框图。

图2是示出用于生成全景图像的处理的流程图。

图3示出了客户机的画面显示的示例。

图4示出了捕获图像平面和全景图像平面的概念图。

图5示出了由传统方法生成的全景图像的示例。

具体实施方式

现在，参照附图详细说明本发明的示例性实施例、特征和各方面。

图1是示出根据本发明的示例性实施例的网络摄像机系统的框图。

在该示例性实施例中，摄像机服务器1、阅读器(viewer)客户机2(以下称为“客户机2”)以及用于生成全景图像的客户机3经由网络4相连。能够将多个摄像机服务器1、客户机2以及客户机3连接到网络4。在本示例性实施例中，客户机3是用于由通过多次拍摄获得的多个捕获图像生成全景图像的处理装置。本示例性实施例中的全景图像是具有比一次拍摄获得的捕获图像更宽的视场角的图像。

网络4是数字网络(例如互联网和内联网)，能够利用摄像机服务器1传送摄像机控制信号和捕获图像。在本示例性实施例中，假定传输控制协议/互联网协议(TCP/IP)(或用户数据报协议/互联网协议(UDP/IP))，作为网络协议。此外，在本示例性实施例中，针对摄像机服务器1、客户机2和客户机3中的各个分配了不同的互联网协议(IP)地址。

摄像机服务器1响应于来自客户机2和客户机3的图像请求命令，经由网络4发送捕获图像。此外，摄像机服务器1响应于来自客户机2和客户机3的摄像机控制命令，执行各种类型的摄像机控制(例如，摆动/倾斜/变焦控制)。摄像机服务器1中的图像输入单元15获得由视频摄像机11捕获的图像(运动图像和静止图像)。在私密掩模和同屏显示有效时，图像输入单元15将所捕获的图像输入至图像叠加单元19。在私密掩模和同屏显示无效时，图像输入单元15将所捕获的图像输入至图像压缩单元16。

图像叠加单元19将私密掩模图像和同屏图像叠加在输入的捕获图像上，并将叠加后的捕获图像输入至图像压缩单元16。换言之，摄像机服务器1中的图像叠加单元19将同屏图像和私密掩模图像叠加在捕获图像上。

同屏图像例如是捕获图像的拍摄日期、拍摄时间或拍摄地点、文本图像以及关于拍摄对象的图形图像、或者摄像机服务器1的标识信息。私密掩模图像例如是使得不能够确定(specify)人员、名称或者数字的掩模图像。私密掩模可以是，例如用一种颜色绘制的图像或者马赛克图像(mosaic image)。

本示例性实施例的客户机2的操作输入单元23和客户机3的操作输入单元34能够输入私密掩模图像的叠加位置。客户机2的通信控制单元21和客户机3的通信控制单元31根据操作输入单元23和34对叠加位置的输入，向摄像机服务器1发送包含表示叠加位置的叠加参数的命令。

摄像机服务器1中的图像叠加单元19将私密掩模图像叠加在捕获图像上的与从客户机2和3通知的叠加参数、在输入叠加位置时视频摄像机11的摆动/倾斜/变焦值以及视频摄像机11的当前摆动/倾斜/变焦值相对应的区域上。当由多个捕获图像生成了全景图像时，根据对捕获图像上的叠加位置的输入，还将私密掩模图像叠加在全景图像上。

然而，私密掩模的叠加位置并不限于由用户输入叠加区域而确定的示例。例如，可以将叠加位置确定为，叠加在由图像处理检测到的面部区域上。

图像压缩单元16将从图像输入单元15或图像叠加单元19输入的捕获图像压缩成易于发送给客户机的数据大小，并将压缩后的捕获图像输入通信控制单元14。通信控制单元14将经图像压缩单元16压缩的捕获图像，经由网络4发送给图像请求命令的发送源客户机。

存储单元18存储私密掩模和同屏显示的设定值、由客户机3生成的全景图像的各种设定值和数据。命令解释单元17解释来自客户机2和3的命令，并控制摄像机服务器1的各个部分。例如，命令解释单元17响应于通信控制单元14接收到摄像机控制命令，经由摄像机/云台控制单元13控制可动云台(movable camera platform)12的方向和视频摄像机11的变焦倍率。

本示例性实施例的图像压缩单元16对来自视频摄像机11的美国国家电视制式委员会(NTSC，national television system committee)图像信号进行模拟/数字(A/D)转换，然后利用移动式连续图像专家组(Motion-Joint Photographic Experts Group，MotionJEPG)压缩转换后的图像信息。然而，可以使用其他压缩方法。此外，命令解释单元17响应于通信控制单元14接收到包含表示私密掩模的叠加位置的叠加参数的命令，向存储单元18和图像叠加单元19输入叠加参数。

客户机2指定分配给摄像机服务器1的IP地址，并与摄像机服务器1相连。通信控制单元21向摄像机服务器1发送图像请求命令和摄像机控制命令。此外，通信控制单元21从摄像机服务器1接收捕获图像、全景图像以及各种摄像机控制结果。

显示控制单元24基于图像扩展单元25所扩展的捕获图像和全景图像生成图形用户界面(GUI)，然后，由画面显示单元26显示该GUI。操作输入单元23接收用户利用鼠标或键盘进行的GUI操作。

用户的GUI操作例如是用于指示摄像机服务器1执行摆动/倾斜控制和变焦控制的操作。更具体地说，用户执行GUI操作，例如，在显示在画面显示单元26上的全景图像上进行的鼠标点击，以及对显示视频摄像机11的摆动/倾斜/变焦值的框进行的拖动。命令生成单元22根据操作输入单元23接收到的GUI操作，生成各种摄像机控制命令。将所生成的摄像机控制命令从通信控制单元21发送到摄像机服务器1。

与客户机2类似，客户机3指定分配给摄像机服务器1的IP地址，并连接到摄像机服务器1。通信控制单元31、显示控制单元35、图像扩展单元36以及画面显示单元37分别与客户机2中的对应单元具有类似的功能。

客户机3中的操作输入单元34除了接收来自客户机2中的操作输入单元23的操作输入以外，还接收来自摄像机服务器1的对用于请求全景图像的GUI操作的输入。该用于请求全景图像的GUI操作可以包括用于指定全景图像的区域的GUI操作。客户机3中的控制参数计算单元33根据通过操作输入单元34输入的用于请求全景图像的GUI操作，计算用于捕获用于生成全景图像的图像的摆动角/倾斜角，并将所计算的结果输入命令生成单元32。

命令生成单元32根据输入的摆动角/倾斜角生成摄像机控制命令，并将该命令经由通信控制单元31发送给摄像机服务器1。接收到该摄像机控制命令的摄像机服务器1控制可动云台12以具有与该摄像机控制命令相对应的摆动角/倾斜角，然后将视频摄像机11获得的捕获图像发送给客户机3。

客户机3中的操作输入单元34还可以进行用于指定私密掩模图像在捕获图像上的叠加位置的输入。当从操作输入单元34输入了私密掩模图像的叠加位置时，通信控制单元31将包含有表示叠加位置的叠加参数的命令发送给摄像机服务器1。

全景图像生成单元38由从摄像机服务器1接收到的多个捕获图像生成全景图像。更具体地说，全景图像生成单元38通过变换处理(投影变换)将在图像扩展单元36中扩展的多个捕获图像的坐标值进行转换，并且将经过转换的所述多个捕获图像连接，以生成全景图像。将全景图像生成单元38所生成的全景图像输入图像叠加单元39。

图像叠加单元39将私密掩模图像叠加在全景图像生成单元38所生成的全景图像上，并输出至图像压缩单元30。客户机3中的图像叠加单元39基于表示捕获图像上指定的叠加位置的叠加参数和投影变换的计算公式，确定私密掩模图像在全景图像上的叠加位置。

更具体地说，图像叠加单元39确定私密掩模图像在全景图像上的叠加位置，使得将预定图像(私密掩模图像)叠加在由捕获图像上的叠加位置转换来的全景图像的叠加位置上。图像叠加单元39将私密掩模图像叠加在所确定的叠加位置上。

图像压缩单元30对由图像叠加单元39叠加了私密掩模图像的全景图像进行压缩，并将该全景图像发送给通信控制单元31。将从通信控制单元31发送给摄像机服务器1的全景图像存储在摄像机服务器1中的存储单元18中，并根据来自另一客户机(客户机2)的请求进行发送。

图2是示了本示例性实施例中的摄像机服务器1和客户机3中的全景图像的生成处理的流程图。客户机3是由通过多次拍摄获得的多个捕获图像生成全景图像的处理装置。图2中的处理响应于通过客户机3中的操作输入单元34进行的用于生成全景图像的指令的输入操作而启动。

在步骤S101中，客户机3中的命令生成单元32确定摄像机服务器1中的同屏显示(OSD)是否有效(ON)。当命令生成单元32确定同屏显示为ON(步骤S101中的“是”)时，在步骤S102中，命令生成单元32发送用于将摄像机服务器1中的同屏显示转变成有无效(OFF)的控制命令。

摄像机服务器1中的通信控制单元14根据接收到用于将同屏显示转变成无效的控制命令，将利用图像叠加单元19的同屏显示的功能转变成无效(OFF)。

在步骤S103中，命令生成单元32确定摄像机服务器1中的私密掩模处理是否有效(ON)。当命令生成单元32确定私密掩模处理为ON(步骤S103中的“是”)时，在步骤S104中，命令生成单元32发送用于将摄像机服务器1中的私密掩模处理转变成无效(OFF)的控制命令。

摄像机服务器1中的通信控制单元14根据接收到用于将私密掩模处理转变成无效的控制命令，将利用图像叠加单元19的私密掩模处理转变成无效(OFF)。

在步骤S105中，客户机3中的控制参数计算单元33基于从操作输入单元34输入的关于全景图像区域的信息，计算用于生成全景图像的多个捕获图像的各个的摆动角/倾斜角。

在步骤S106中，命令生成单元32发送摄像机控制命令，该摄像机控制命令用于将视频摄像机11控制成与步骤S105中计算的多个摆动角/倾斜角中的一个摆动角/倾斜角相对应的图像捕获方向。

当通信控制单元31接收到表示将视频摄像机11的图像捕获方向控制成与步骤S106中发送的摄像机控制命令相对应的图像捕获方向的通知时，则在步骤S107中，命令生成单元32发送拍摄命令。

视频摄像机11响应于通信控制单元14接收到拍摄命令，按当前的摆动角/倾斜角捕获图像。利用该处理，获得用于生成全景图像的多个捕获图像中的一个图像。由图像压缩单元16对视频摄像机11所获得的捕获图像进行压缩，并经由通信控制单元14发送给客机3。

在步骤S108(生成过程)中，从摄像机服务器1接收到压缩后的捕获图像的客户机3在图像扩展单元36中扩展捕获图像，在全景图像生成单元38中将所扩展的图像与其他捕获图像相连，从而生成全景图像。

更具体地说，客户机3中的全景图像生成单元38通过对进行多次拍摄而获得的多个捕获图像的坐标值进行变换处理(投影变换)，由所述多个捕获图像生成全景图像。以下将描述变换处理的详情。

在步骤S109中，命令生成单元32确定是否获得了用于生成全景图像的所有的捕获图像，以及是否输入了用于中断生成全景图像的的指令。

如果确定获得了所有的捕获图像，或者输入了用于中断生成全景图像的指令(步骤S109中的“是”)，则处理进行到步骤S110。另一方面，如果确定没有获得所有的捕获图像，并且没有输入用于中断生成全景图像的指令(步骤S109中的“否”)，则处理返回步骤S106。

当处理返回步骤S106时，命令生成单元32发送用于将视频摄像机11控制成如下方向的摄像机控制命令，该方向具有与步骤S105中计算的多个摆动角/倾斜角中的在前处理中不同的摆动角/倾斜角。然后，在步骤S107和步骤S109中，类似地执行上述处理。通过反复进行步骤S106到步骤S109的处理，客户机3能够获得用于生成全景图像的所有的捕获图像。

在步骤S110中，命令生成单元32确定在步骤S102中摄像机服务器1中的同屏显示是否被转变成无效(OFF)。当确定摄像机服务器1中的同屏显示被转变成无效(步骤S110中的“是”)时，则在步骤S111中，命令生成单元32发送用于将摄像机服务器1中的同屏显示转变成有效(ON)的控制命令。

在步骤S112中，命令生成单元32确定在步骤S104中摄像机服务器1中的私密掩模处理是否被转变成无效(OFF)。如果确定摄像机服务器1中的私密掩模处理被转变成无效(步骤S112中的“是”)，则在步骤S113中，命令生成单元32发送用于将摄像机服务器1中的私密掩模处理转变成有效(ON)的控制命令。

在步骤S114中，图像叠加单元39确定在步骤S109是否中断了全景图像的生成。如果确定全景图像的生成未中断(步骤S114中的“否”)，则处理进行到步骤S115。在步骤S115中，图像叠加单元39将私密掩模图像叠加在由步骤S106至S109中获得的多个捕获图像而生成的全景图像上。

换言之，在步骤S115(输入过程)中，图像叠加单元39输入存储在存储单元18中的关于私密掩模位置的参数和关于描绘方法的参数。

该关于私密掩模的参数包括关于表示私密掩模的叠加位置的叠加参数、设置叠加参数时的摆动/倾斜/变焦值以及当前的摆动/倾斜/变焦值的信息。该关于描绘方法的参数包括关于私密掩模图像的颜色或图案的信息。

在步骤S115(确定过程)中，图像叠加单元39将私密掩模图像叠加在全景图像上的叠加位置，该叠加位置是基于关于在捕获图像上指定的私密掩模图像的叠加位置的参数和以下描述的投影变换的计算公式而确定的。

换言之，图像叠加单元39基于叠加参数确定私密掩模图像在全景图像上的叠加位置，使得将私密掩模图像叠加在由捕获图像上的叠加位置转换来的全景图像上的叠加位置上。

如上所述，根据本示例性实施例的摄像机服务器1中的通信控制单元14，在步骤S102和步骤S104中，将利用摄像机服务器1中的图像叠加单元19的同屏显示和私密掩模处理的功能，转变成无效(OFF)(控制过程)。然后，通信控制单元14向客户机3发送，视频摄像机11所捕获的并且处于未叠加有同屏图像和私密掩模的状态的多个捕获图像。

然后，客户机3连接所述多个捕获图像，以生成全景图像。接下来，客户机3中的图像叠加单元39执行叠加处理。更具体地说，在步骤S102和S104中，摄像机服务器1中的通信控制单元14控制预定图像(私密掩模图像)被叠加在由通过多次拍摄获得的多个捕获图像而生成的全景图像上。

然后，在步骤S115中，客户机3中的通信控制单元31向摄像机服务器1发送，由图像叠加单元39叠加了各种图像的全景图像。摄像机服务器1将所接收到的全景图像存储在存储单元18中。摄像机服务器1中的通信控制单元14响应于来自客户机2的请求，向客户机2发送存储在存储单元18中的全景图像(输出过程)。

在本示例性实施例中，在步骤S115中叠加私密掩模图像。然而，也可以与全景图像的生成相并行地执行叠加处理。例如，在用于生成全景图像的多次拍摄当中，客户机3中的全景图像生成单元38将第一次拍摄获得的第一捕获图像与第二次拍摄获得的第二捕获图像进行合成，从而生成全景图像的一部分。

然后，当全景图像生成单元38生成全景图像的一部分时，客户机3中的图像叠加单元39将以与所述第一捕获图像和所述第二捕获图像交叠的方式叠加的图像，分别叠加在第一捕获图像和第二捕获图像上。因此，与在完成全景图像生成之后执行叠加处理的情况相比，该全景图像的生成能够更快完成。

此外，在步骤S115中，图像叠加单元39能够在全景图像上叠加同屏图像。更具体地说，图像叠加单元39能够基于存储在存储单元18中的关于同屏显示位置的叠加参数(捕获图像上的位置和尺寸)和关于显示内容的参数(字符串和字体大小)，叠加同屏图像。此外，例如，可以在显示全景图像的客户机2中叠加同屏图像。

图3是显示捕获图像的客户机2的画面显示的示例，在摄像机服务器1中在该捕获图像上叠加了同屏图像和私密掩模图像。

客户机2中的显示画面包括实时图像(live image)显示单元50和全景图像显示单元51。实时图像显示单元50显示由视频摄像机11捕获的实时图像。全景图像显示单元51显示从摄像机服务器1中的存储单元19获得的全景图像。

客户机2中的显示画面包括：摆动滚动条52、倾斜滚动条53和变焦滑块54。摆动滚动条52和倾斜滚动条53用于通过拖动调钮(knob)来指示对可动云台12的摆动/倾斜控制。变焦滑块54用于通过拖动调钮来指示对视频摄像机11的变焦控制。

此外，全景图像显示单元51显示用于指示摆动/倾斜/变焦控制的全景预览框55。用户能够通过利用例如鼠标拖动(mouse-dragging)而移动全景预览框55，来控制视频摄像机11的图像捕获方向。此外，用户能够利用通过鼠标拖动而改变全景预览框55的尺寸，来控制视频摄像机11的图像变焦倍率。在实时图像显示单元50中，显示通过操作全景预览框55而进行控制后的实时图像。

当在摄像机服务器1中同屏显示和私密掩模有效时，在实时图像显示单元50中显示通过图像叠加单元19叠加了同屏图像57和私密掩模图像56的捕获图像。捕获图像上的同屏图像57是由图像叠加单元19基于存储在存储单元18中的关于同屏显示位置的参数(捕获图像上的位置和尺寸)以及关于显示内容的参数(字符串和字体大小)而叠加的。

捕获图像上的私密掩模图像56是基于存储在存储单元18中的关于私密掩模的叠加位置的参数和关于描绘方法的参数而叠加的。该关于私密掩模的叠加位置的参数例如包括：关于私密掩模图像的叠加位置的叠加参数、关于在设置叠加参数时的摇动/倾斜/变焦值以及当前的摆动/倾斜/变焦值的信息。此外，关于描绘方法的参数包括关于私密掩模图像的颜色或图案的信息。

在图3中的私密掩模图像56中，左侧的部分缺失(missed)。当摆动到左侧时可以看到整个私密掩模图像。当捕获用于生成全景图像的图像时可能出现私密掩模的部分缺失的问题，并且根据步骤S103中计算的摆动角/倾斜角，会存在一个私密掩模与相邻的捕获图像相交叠的情况。在此情况下，当由叠加有私密掩模图像的多个捕获图像，通过例如投影变换来生成全景图像时，私密掩模图像可能在全景图像的连接处移位。

以下参照图4描述用于由多个捕获图像生成全景图像的投影变换。图4是捕获图像平面和全景图像平面的概念图。

可以利用地图投影方法中的心射切面投影(gnomonic projection)描述用于生成全景图像的投影变换。更具体地说，将心射切面投影中的视点(标记为Q)布置在摆动/倾斜中心Q(0，0，0)处。

图像平面上的坐标P1(x，y)是以一定的摆动(Pan)角/倾斜(Tilt)角(p，τ)获得的。当将图像布置成与以视点Q为球心且半径为R的球面相接触时，以极坐标的方式表示连接P1(x，y)和视点Q的直线穿过该球面的点的坐标。

当按心射切面投影该极坐标表示的结果是( )时，通常满足以下公式。

(公式1.1)

(公式1.2)

当摆动角/倾斜角是(p，τ)时，该图像平面与球面交叉处的图像平面的坐标为原点(0，0)。

通过摆动/倾斜获得的整个图像区域，由作为摇动方向θmin至θmax和倾斜方向至的角度表示。在这些角度中，将视频摄像机11的视角加增加至可动云台12的摆动/倾斜可动区域。

更具体地说，当摆动/倾斜的极限分别是Pmin、Pmax、Tmin和Tmax时，视频摄像机11在水平方向和垂直方向分别具有Ah和Av的视角，满足以下公式。

θmin＝Pmin-Ah/2

θmax＝Pmax+Ah/2

当所生成的全景图像的像素数是水平方向H个像素且垂直方向V个像素时，以如下公式来分别描述与摆动方向和倾斜方向中的一个像素对应的视角。

Δθ＝(θmax-θmin)/H    (公式2.1)

(公式2.2)

更具体地说，当由摆动/倾斜角表达像素(i，j)时，满足以下公式

其中，i＝0，1，2，...，H-1，并且j＝0，1，2，...，V-1。

因此，基于值和获得某一图像img(Pa，Tb)时的摆动/倾斜角，能够利用公式(1.1)、(1.2)、(2.1)和(2.2)确定图像img(Pa，Tb)上的坐标(x，y)对应于全景图像上哪个坐标，其中a＝1，2，...，n，而b＝1，2，...，m。更具体地说，当全景图像上的坐标是Xp和Yp，且变换公式是F时，由以下公式3将原始捕获图像上的坐标映射成全景图像上的坐标。

(Xp，Yp)＝F(X，y，Pa，Tb)  (公式3)

因此，可以用原始捕获图像img(Pa，Tb)的像素值替换全景图像上的坐标(Xp，Yb)的像素值。当对整个全景图像上的像素(i，j)执行了这种计算时，能够获得具有相对于摇动角/倾斜角呈线性的坐标系的全景图像。变换公式F是由全景图像生成单元38执行的投影变换的计算公式。

如上所述，在本示例性实施例中，由于在用于生成全景图像的捕获图像过程中摄像机服务器1中的同屏图像的叠加处理是无效的，因此可以防止图5中所示的不必要的同屏图像显示。

此外，在用于生成全景图像的图像捕获过程中，摄像机服务器1中的私密掩模的叠加处理是无效的。可以基于用于确定私密掩模图像在捕获图像上的叠加位置的叠加参数和投影变换的计算公式，来确定私密掩模图像在全景图像上的叠加位置(其中，该私密掩模图像的叠加位置是通过进行投影变换而转换来的)。利用这一配置，能够生成具有平滑边缘部分的私密掩模图像的全景图像。

更具体地说，图像叠加单元39基于存储在存储单元18中的、设置私密掩模时的摆动/倾斜/变焦值，计算变换公式F。然后，图像叠加单元39将构成设置私密掩模时捕获图像上的私密掩模的各像素的坐标代入公式3中，并且确定私密掩模图像的区域。利用该处理，能够将具有平滑边缘部分的私密掩模图像叠加在全景图像上。

当由摆动角、倾斜角、摄像机的宽度和高度来管理掩模区域，并且由叠加有掩模图像的多个捕获图像生成全景图像时，存在原始的掩模区域和实际叠加有掩模图像区域移位的情况。在具有大的倾斜角的区域(图5中的上侧区域)中，这一现象尤其显著。这是因为随着倾斜角增大，与摆动控制相对应的、摄像机的图像捕获方向的移动方向变得与绝对水平方向不同。

在本示例性实施例中，摄像机服务器1中的图像叠加单元19的功能在生成全景图像时是无效的，而经由网络4连接的客户机3中的图像叠加单元39将私密掩模图像叠加在全景图像上。然而，本发明不限于这一示例。

例如，在摄像机服务器1中，在将图像叠加单元19的功能转变成无效后，由通过多次拍摄获得的多个捕获图像生成全景图像。然后，摄像机服务器1中的图像叠加单元19能够叠加私密掩模图像。在此情况下，当输出捕获图像并且在步骤S103中确定图像叠加单元19中的私密掩模处理为ON时，摄像机服务器1中的通信控制单元14保持图像叠加单元19的功能有效(ON)。

另一方面，当输出全景图像时并且在步骤S103中确定图像叠加单元19中的私密掩模处理为ON时，在步骤S104中，通信控制单元14将图像叠加单元19的功能暂时转变成无效，使得将私密掩模叠加在全景图像上。换言之，在输出全景图像时，摄像机服务器1中的通信控制单元14执行控制，以使在生成全景图像后叠加私密掩模图像。

利用该处理，摄像机服务器1能够在自身装置内生成高质量的全景图像。此外，摄像机服务器1可以从客户机3接收在客户机3中生成的全景图像，并且将私密掩模图像叠加在全景图像上。

此外，上述示例性实施例关注用于在所生成的全景图像上叠加私密掩模图像的处理。然而，该处理不限于这种情况。例如，当执行掩模处理(马赛克处理或者用于降低特定区域的分辨率的处理)而不是叠加私密掩模图像时，也可以应用本发明。

以此情况下，在步骤S104中，摄像机服务器1中的通信控制单元14执行用于将图像叠加单元19中的掩模处理转变成无效的控制，以使得在由多个捕获图像获得的全景图像上执行掩模处理，并向客户机3发送未经过掩模处理的捕获图像。然后，在步骤S115中，客户机3生成全景图像，同时基于表示在捕获图像上指定的掩模位置的掩模参数和投影变换的计算公式，来确定全景图像上的掩模位置，以执行掩模处理。

可以利用例如客户机2中的操作输入单元23和客户机3中的操作输入单元34，输入掩模参数(例如，私密掩模的叠加参数)。客户机3中的叠加单元39基于掩模参数、设置掩模参数时的摆动/倾斜/变焦值、当前的摆动/倾斜/变焦值以及投影变换的计算公式，确定全景图像上的掩模位置，并执行掩模处理。

掩模参数并不限于来自操作输入单元23和34的输入。例如，可以使用表示由图像处理所检测到的脸图像的区域的区域信息，作用掩模参数。利用该配置，能够降低例如马赛克处理的边缘部分的不平整性(irregularity)。在步骤S115中，摄像机服务器1中的图像叠加单元19可以对全景图像执行掩模处理。

此外，上述示例性实施例关注用于在所生成的全景图像上叠加秘密掩模图像的处理。然而，该处理并不限于这种情况。例如，在实际生成全景图像之前，计算私密掩模图像在全景图像上的叠加位置，并可以基于计算结果来叠加私密掩模图像。此外，用于获得私密掩模的叠加位置的方法并不限于计算，还可以例如通过参照表来进行。

此外，在上述示例性实施例中，图1中示出的摄像机服务器1、客户机2和客户机3中的各单元的处理是由各装置的专用硬件执行的。然而，这些处理的至少一部分可以由中央处理单元(CPU)来执行。例如，图1中所示的摄像机服务器1中的各单元的至少一部分可以由摄像机1中的CPU和存储由该CPU执行的程序的存储器来替换，并且该CPU能够执行这些处理。

类似地，客户机2和客户机3中的各单元的至少一部分可以由客户机2和客户机3中的CPU和存储由该CPU执行的程序的存储器来替换，并且该CPU能够执行这些处理。因此，图2中示出的流程图中的至少一部分处理可以由CPU来执行。

还可以由读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统或装置的计算机(或诸如CPU或微处理单元(MPU)等的设备)，来实现本发明的各方面；并且可以利用由通过例如读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统或装置的计算机来执行各步骤的方法，来实现本发明的各方面。为此，例如经由网络或从充当存储设备的各种类型的记录介质(例如，计算机可读介质)将程序提供给计算机。在此情况下，所述系统或装置以及存储所述程序的存储介质包括在本发明的范围内。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不局限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽泛的解释，以使所述范围涵盖所有的此类变型例以及等同结构和功能。

Claims (9)

1.一种能够由通过多次拍摄获得的多个捕获图像生成全景图像的处理装置，该处理装置包括：

输入单元，其被构造成输入用于指定预定图像在用户指示的图像捕获方向上捕获的捕获图像上的第一叠加位置的叠加参数；

生成单元，其被构造成通过对所述多个捕获图像的坐标值进行变换处理，来由所述多个捕获图像生成所述全景图像，其中，在所述预定图像在捕获图像上的叠加功能转变成无效后，生成所述全景图像；

确定单元，其被构造成根据所述全景图像上的位置信息和用于指定所述预定图像在用户指示的图像捕获方向上捕获的所述捕获图像上的所述第一叠加位置的叠加参数，来确定所述预定图像在所述全景图像上的第二叠加位置；以及

叠加单元，其被构造成在所述确定单元确定的所述第二叠加位置，将所述预定图像叠加在所述生成单元生成的所述全景图像上。

2.根据权利要求1所述的处理装置，所述处理装置还包括接收单元，该接收单元被构造成从经由网络连接的拍摄装置接收未叠加所述预定图像的所述多个捕获图像，

其中，所述生成单元由所接收的多个捕获图像来生成所述全景图像。

3.根据权利要求1所述的处理装置，其中，所述预定图像是表示关于所述捕获图像的拍摄时间和拍摄地点的至少一项信息的图像。

4.根据权利要求1所述的处理装置，其中，所述预定图像是私密掩模图像。

5.根据权利要求1所述的处理装置，该处理装置还包括叠加单元，其被构造成，在基于通过第一拍摄获得的第一捕获图像和通过第二拍摄获得的第二捕获图像来生成所述全景图像的一部分后，以与所述第一捕获图像和所述第二捕获图像交叠的方式叠加所述预定图像。

6.根据权利要求1所述的处理装置，其中，所述确定单元在生成所述全景图像之前确定所述全景图像上的第二叠加位置。

7.一种由处理装置执行的用于生成全景图像的方法，所述处理装置能够由通过多次拍摄获得的多个捕获图像生成全景图像，所述方法包括：

输入用于指定预定图像在用户指示的图像捕获方向上捕获的捕获图像上的第一叠加位置的叠加参数；

通过对所述多个捕获图像的坐标值进行变换处理，来由所述多个捕获图像生成所述全景图像，其中，在所述预定图像在捕获图像上的叠加功能转变成无效后，生成所述全景图像；

根据所述全景图像上的位置信息和用于指定所述预定图像在用户指示的图像捕获方向上捕获的所述捕获图像上的所述第一叠加位置的叠加信息，来确定所述预定图像在所述全景图像上的第二叠加位置；以及

在所生成的全景图像的所述第二叠加位置，将所述预定图像叠加在所述全景图像上。

8.根据权利要求7所述的方法，所述方法还包括：

从经由网络连接的拍摄装置接收未执行对所述预定图像的叠加的所述多个捕获图像，

由所接收的多个捕获图像来生成所述全景图像。

9.根据权利要求7所述的方法，所述方法还包括：在基于通过第一拍摄获得的第一捕获图像和通过第二拍摄获得的第二捕获图像来生成所述全景图像的一部分后，以与所述第一捕获图像和所述第二捕获图像交叠的方式叠加所述预定图像。