CN103475808A - 给图像拍摄装置的操作者显示图像的方法、系统和装置 - Google Patents

Abstract

提供了一种用于给图像拍摄装置的操作者显示对应于第一视场的图像的方法、系统和装置。该方法包括：接收涉及对第一视场的位置、朝向或缩放比例至少之一的改变的输入数据，并基于该输入数据确定第一视场关于大于第一视场的第二视场的位置、朝向或缩放比例至少之一。进而，该方法包括：接收由图像拍摄装置拍摄的图像，并确定第一视场与所接收的图像之间的重叠部分。随后通过在重叠部分中使用所接收的图像的图像数据和在非重叠部分中使用第二视场的图像数据来确定将要显示的图像。本发明的优点是其提供了对图像拍摄装置的操作的改进。

Description

给图像拍摄装置的操作者显示图像的方法、系统和装置

技术领域

本发明涉及图像拍摄装置的操作这一技术领域。

背景技术

具有平移、倾斜和变焦（pan，tilt and zoom）功能的摄像机广泛用于监控（surveillance）用途。这种摄像机典型地通过网络连接至用作软件或硬件界面的客户装置，操作者能够通过该界面控制摄像机的移动。

由于网络中的迟延（latencies），在摄像机中或在客户装置中，从执行摄像机控制之时到摄像机受控后的图像到达之时会有时间延迟。即，要花费一些时间才能等到反映操作者控制命令的图像可以显示给操作者。由于显示给操作者的图像有滞后，因而难以控制所述平移/倾斜/变焦（pan/tilt/zoom）移动。这个问题在平移/倾斜/变焦移动的速度增大时尤为严峻。

美国专利US6822676在关于变焦控制的背景下解决了此问题。在接收到放大控制命令后，在从摄像机接收的最后一幅图像中执行电子变焦处理，然后该电子变焦后的图像被显示给操作者。当预定时间过后，所显示的图像从经过电子变焦处理的图像变成从摄像机传输过来的新图像。

然而，这种方式的缺点是它局限于放大。进一步的缺点是操作者不得不一直等到新图像数据展示给他/她为止。因而需要加以改进。

发明内容

有鉴于此，本发明的目的在于克服或至少减轻上述缺点，并提供一种用于减轻在图像拍摄装置控制中的迟延的负面效应的改进的方法、装置和系统。

根据本发明的第一个方案，提供一种用于给具有平移、倾斜和变焦功能至少之一的图像拍摄装置的操作者显示对应于第一视场的图像的方法。该方法包括以下步骤：接收涉及第一操作命令的输入数据，所述第一操作命令涉及对所述第一视场的位置、朝向或缩放比例（scaling）至少之一的改变；基于所述输入数据来确定所述第一视场关于大于所述第一视场的第二视场的位置、朝向或缩放比例至少之一；接收由图像拍摄装置拍摄的图像，以及确定所述第一视场与由图像拍摄装置拍摄的图像的重叠部分。该方法还包括以下步骤：通过以下来确定将要显示的图像：在所述重叠部分中使用由图像拍摄装置拍摄的图像的图像数据；以及访问所述第二视场的图像数据，并在所述第一视场落在所述重叠部分之外的部分中使用所述第二视场的图像数据。该方法还包括将所确定的图像显示给所述操作者，以及将涉及第一操作命令的第二操作命令传输至图像拍摄装置。

术语“第一视场”被解释为将要显示在显示器上的图像的图像区域。典型地，该图像区域具有矩形形状。

术语“第一操作命令”被解释为关于将要如何改变第一视场的位置、朝向（orientation）和/或缩放比例(scaling)的指令。例如，该指令可涉及第一视场的目标位置的坐标、第一视场的目标旋转角度、或第一视场的目标缩放比例值（例如目标放大或缩小值）。可选地，该指令可涉及第一视场的移动速度和移动方向（例如第一视场的平移移动(translational movement)的速度和方向）、第一视场的旋转速度和方向、或第一视场的变焦速度和变焦方向。

“第一视场的位置”可相对于某个预定坐标系来定义。例如，该位置可以指第一视场相对于该预定坐标系的点（例如中心点或角点）的坐标。类似地，“第一视场的朝向”可相对于某预定方向来定义。类似地，“第一视场的缩放比例”可相对于某个基准缩放比例值来定义。

术语“第二视场”被解释为大于对应于第一视场的图像区域的图像区域。典型地，但不是必须地，第二视场覆盖该第一视场。例如，第二视场可对应于图像拍摄装置的总视场（total field of view）。

术语“第二操作命令”被解释为包括涉及图像拍摄装置的期望移动（desired movement）的信息的指令。第二操作命令例如可涉及期望的平移/倾斜/变焦位置或期望的平移/倾斜/变焦移动速度和移动方向。可选地，该第二操作命令可涉及对由图像拍摄装置拍摄的图像的位置、朝向、或缩放比例的改变。该第二操作命令涉及第一操作命令。在某些实施例中，第二操作命令相当于该第一操作命令。在其他实施例中，第二操作命令可基于第一操作命令而确定。该第二操作命令还可基于多个第一操作命令的历史而确定，即，基于在特定的时间段期间已经输入的多个第一操作命令而确定。

“第一视场与由图像拍摄装置拍摄的图像的重叠部分”表示对应于第一视场的图像区域和从图像拍摄装置接收的图像的图像区域的共同部分。

“第二视场的图像数据”通常表示描述（represent，再现）第二视场中包含的场景的数据。在某些实施例中，第二视场的图像数据对应的图像数据覆盖由图像拍摄装置拍摄的第二视场的至少一些部分。在其他实施例中，该图像数据可从场景的几何模型获得（render）。

在执行该方法时的时间点，由于迟延的缘故，完全反映操作者对图像拍摄装置期望的操作的图像尚不可得。更具体而言，被从图像拍摄装置接收到的图像所覆盖的图像区域并不反映操作者期望的视场。为了解决此问题，该方法将对应于按照符合第一操作命令定义的操作者期望操作的方式定位、定向和定缩放比例的第一视场的图像显示给操作者。这样，在显示给操作者的图像中就没有滞后，从而操作者的体验是他/她对图像拍摄装置的移动有更为精确的控制。

所显示的图像由当前可得的数据组成。当前可得的数据至少部分地呈当前从图像拍摄装置接收到的图像数据的形式。具体而言，所显示的图像的与从图像拍摄装置接收到的图像重叠的部分，基于来自接收到的图像的图像数据而确定。因而，当前从图像拍摄装置接收到的图像数据被尽可能快地显示给操作者，使得操作者不必等待所显示的图像去包含当前图像信息。

进而，该方法在非重叠部分中使用来自第二视场的可访问的图像数据。例如第二视场的图像数据可对应于之前所接收的图像（其覆盖比将要显示的图像更大的区域）。这样，通过具有大于所显示的第一视场的第二视场的图像数据，会有覆盖至少部分第一视场的非重叠部分的可用图像数据。

在某些实施例中，仅在有部分第一视场落在重叠部分之外时，才访问第二视场的图像数据。该方法因而还可包括核查是否有部分第一视场落在重叠部分之外。

关于怎样确定第二视场的图像数据，有数个选择。在一个实施例中，已经由该图像拍摄装置或其他分离的图像拍摄装置拍摄到第二视场的图像数据。例如，第二视场的图像数据可对应于时常（from time to time）更新的预先记录的图像。第二视场的图像数据可从图像拍摄装置直接接收，或者也可从存储器访问。

在一个实施例中，第二视场的图像数据已经从场景的几何模型获得。为此目的，该方法可包括基于场景的几何模型而获得第二视场的图像数据。所获得的第二视场的图像数据例如可以从临时存储了它的存储器访问。场景的几何模型典型地包括促使（enable）场景图像被获得的信息。其优点是，它允许第二视场的图像数据得以生成而不用依赖于从图像拍摄装置接收涉及第二视场的图像数据。

该方法可还包括访问与用于将图像显示给所述图像拍摄装置的操作者的系统中的迟延相关的时间延迟，以及基于所述输入数据和所述时间延迟确定所述第二操作命令。例如，在系统的不同部件（例如在操作输入装置与图像拍摄装置之间）的信号传输可能会有迟延，在图像拍摄装置所连接的网络中可能会有迟延，在图像拍摄装置的机构（mechanics）中可能会有迟延，以及在图像拍摄装置的编码中和在系统其他部件中可能会有迟延。时间延迟典型地与从将第二操作命令发送至图像拍摄装置之时直到图像拍摄装置可传送反映第二操作命令的指令的图像之时的时间延迟相关。该时间延迟可以是估算的时间延迟。该时间延迟也可以是测量的时间延迟。该时间延迟例如可以是从存储器访问的或经由用户输入而接收的。

基于所述输入数据，即，操作者期望的对所显示的视场的位置、朝向和/或缩放比例的改变、以及所述时间延迟，可估算图像拍摄装置的预料的（expected）移动。如果所预料的移动不同于由输入数据所表达的期望的移动，则可确定作为对第一操作命令的调节的第二操作命令。例如，如果在期望的移动与预料的移动之间有滞后，则为了减少该滞后，第二操作命令可指示图像拍摄装置更快地移动。

因而，其优点是，可调节对图像拍摄装置的控制，使得时间延迟的影响进一步下降。

优选地，第二操作命令涉及由图像拍摄装置拍摄的图像的目标位置、目标朝向、或目标缩放比例至少之一。其具有使用方便和灵活的优点。而且，通过使用这种目标值，不必考虑累积误差。可选地，第二操作命令可涉及平移位置、倾斜位置、以及变焦位置至少之一的目标值。可选地，或者额外地，第二操作命令可涉及图像拍摄装置的移动速度和移动方向。例如，第二操作命令可涉及平移移动、倾斜移动、以及变焦移动至少之一的移动速度和移动方向。

第一操作命令可涉及将要显示的图像的第一视场的目标位置、目标朝向、或目标缩放比例至少之一。例如目标位置可以是第一视场的中心关于某坐标系的目标坐标，目标朝向可以是关于某预定方向的目标旋转角度，而目标缩放比例可以是目标放大值或目标缩小值。

可选地，或者额外地，第一操作命令可涉及将要显示的图像的第一视场的移动速度和移动方向。例如，第一操作命令可涉及关于某x-y坐标系的沿x方向和沿y方向的移动速度，第一操作命令可涉及沿顺时针或逆时针方向的旋转速度，和/或第一操作命令可涉及放大或缩小速度。其优点例如是，操作者可提供关于他/她想要第一视场怎样移动的输入。例如可经由操纵杆或经由图形用户界面（稍后述及）输入第一操作命令。

该方法还可包括确定由图像拍摄装置拍摄的图像关于第二视场的位置、朝向、或缩放比例至少之一。其优点是，简化了在所接收的图像的位置、朝向和/或缩放比例与第一视场的位置、朝向和/或缩放比例之间的比较。

确定第一视场与由图像拍摄装置拍摄的图像的重叠部分的动作可包括确定在第一视场与由图像拍摄装置拍摄的图像之间的位置、朝向、以及缩放比例至少之一的偏移。其优点是，获得关于第一视场和由图像拍摄装置拍摄的图像的相对位置、朝向和/或缩放比例的信息。

在一个实施例中，该方法包括从图像拍摄装置接收涉及由图像拍摄装置拍摄的图像的位置、朝向、或缩放比例至少之一的信息。所接收的信息可用于确定在第一视场与由图像拍摄装置拍摄的图像之间的偏移。可关于某坐标系而给出由图像拍摄装置拍摄的图像的位置。可关于某基准方向而给出所述朝向。可关于某基准缩放比例值而给出所述缩放比例。其优点是，允许以简化而高效的方式来计算在第一视场与由图像拍摄装置拍摄的图像之间的偏移。

在一个实施例中，该方法包括接收涉及图像拍摄装置的移动速度和移动方向的信息，以及基于涉及图像拍摄装置的移动速度和移动方向的信息而确定由图像拍摄装置拍摄的图像的位置、朝向、或缩放比例至少之一。所述移动可涉及平移/倾斜/变焦移动。其优点是，允许以简化而高效的方式来计算在第一视场与由图像拍摄装置拍摄的图像之间的偏移。在没有可用的涉及由图像拍摄装置拍摄的图像的位置、朝向或缩放比例至少之一的信息的情况下，这是特别有利的。

通过执行在第二视场的图像数据与由图像拍摄装置拍摄的图像之间的关联，可确定由图像拍摄装置拍摄的图像关于第二视场的位置、朝向、以及缩放比例至少之一。可选地，当执行该关联时，为了减少耗费在结果精确度上的处理功率（processing power），第二视场的图像数据可被限制到第一视场。

在一个实施例中，这种方式用作对从图像拍摄装置接收涉及由图像拍摄装置拍摄的图像的位置、朝向、或缩放比例至少之一的信息和/或接收涉及图像拍摄装置的移动速度和移动方向的信息的上述方式的补充。这样就可以改善对所接收的图像关于第二视场的位置、朝向、和/或缩放比例的确定精度。在另一个实施例中，只使用这种方式自身而不用从图像拍摄装置接收任何进一步的信息。其优点是，允许确定所接收的图像关于第二视场的位置、朝向、和/或缩放比例（以及因此而确定重叠部分）而不用访问关于由图像拍摄装置拍摄的图像的位置、朝向、或缩放比例的任何附加知识（knowledge）。

在一个实施例中，通过将时间延迟考虑在内而估算图像拍摄装置的运动，可确定所述偏移。这样，可以估算由图像拍摄装置拍摄的图像的位置，并且可以很容易地确定对应的偏移。

优选地，时常对第二视场的图像数据进行更新。例如，可周期性地更新第二视场的图像数据。具体而言，该方法可包括使用由图像拍摄装置拍摄的图像来更新第二视场的图像数据。例如，可使用来自图像拍摄装置的图像来更新第二视场的对应于由图像拍摄装置拍摄的图像的图像区域的图像数据。对于平移/倾斜/变焦移动变慢或方向反转的情况来说，由于第一视场随后移动到最近使用新图像数据更新的第二视场的区域，这是特别有利的。

根据本发明的第二方案，提供一种用于给具有平移、倾斜和变焦功能至少之一的图像拍摄装置的操作者显示对应于第一视场的图像的处理装置，所述图像拍摄装置被设置为接收涉及第一操作命令的操作命令。所述处理装置包括：存储器，被设置为存储第二视场的图像数据；接收器，被设置为接收涉及第一操作命令的输入数据，所述第一操作命令涉及对将要显示的图像的第一视场的位置、朝向、或缩放比例至少之一的改变，以及接收由图像拍摄装置拍摄的图像；处理单元，被设置为基于所述输入数据确定所述第一视场关于大于所述第一视场的第二视场的位置、朝向、或缩放比例至少之一，确定所述第一视场与由图像拍摄装置拍摄的图像的重叠部分，并通过以下确定将要显示的图像：在所述重叠部分中使用由图像拍摄装置拍摄的图像的图像数据，以及从存储器访问所述第二视场的图像数据，并在所述第一视场的落在所述重叠部分之外的部分中使用所述第二视场的图像数据。该处理装置还包括发送器，被设置为将所确定的图像传输至显示器。

根据本发明的第三方案，提供一种用于给图像拍摄装置的操作者显示对应于第一视场的图像的系统，包括：操作输入装置，被设置为从操作者接收涉及第一操作命令的输入，所述第一操作命令涉及对所述第一视场的位置、朝向、或缩放比例至少之一的改变；图像拍摄装置，具有平移、倾斜和变焦功能至少之一，所述图像拍摄装置被设置为接收涉及所述第一操作命令的操作命令；根据第一方案的处理装置，连接至所述操作输入装置和所述图像拍摄装置，因此而被设置为从操作输入装置接收涉及所述第一操作命令的输入数据，以及接收由图像拍摄装置拍摄的图像；以及显示器，被设置为从处理装置接收图像并将所接收的图像呈现给所述操作者。

根据本发明的第四方案，提供一种计算机可读记录介质，其上记录有当在具有处理能力的装置上执行时用于实施根据第一方案的方法的程序。

第二、第三和第四方案通常可具有与第一方案相同的技术特征和优点。还应注意，本发明涉及所有可能的特征组合，除非另有明确说明。

通常而言，在权利要求中使用的所有术语应根据它们在本技术领域中的一般含义而进行解释，除非本文中另有明确定义。应对提到的所有关于“一个(a或an)/该[装置、事件、消息、警示、参数、步骤等]”进行开放式解释，即，指的是该装置、事件、消息、警示、参数、步骤等的至少一个例子，除非另有明确说明。本文所公开的任何方法的步骤不必按照所公开的确切顺序执行，除非有明确说明。

附图说明

通过下面参照附图而对本发明的优选实施例的示意性和非限制性的具体描述，本发明的上述以及其他目的、特征和优点将更易理解，其中相同的附图标记将用于指代类似的元件，其中：

图1是根据本发明的实施例的用于给图像拍摄装置的操作者显示图像的系统的示意图；

图2是根据本发明的实施例的用于给图像拍摄装置的操作者显示图像的装置的示意图；

图3a至图5b是根据本发明的实施例的怎样基于第二视场的图像数据和从图像拍摄装置接收的图像来确定对应于第一视场的图像的示意图；

图6是根据本发明的实施例的方法的流程图。

具体实施方式

图1示出用于给图像拍摄装置104的操作者显示图像的系统100的实施例。将对处于操作状态下的该系统100进行描述。该系统包括：处理装置102，可操作地连接至图像拍摄装置104、操作输入装置106、以及显示器108。所述连接可以是有线连接、无线连接或其组合。

处理装置102与操作输入装置106和显示器108一起用作这样的界面，操作者可通过该界面控制图像拍摄装置104。图像拍摄装置104作为图像拍摄装置网络的一部分可以受控以沿着不同方向拍摄图像。例如，图像拍摄装置104可被引导而拍摄沿着半球内的各个方向的图像。为此目的，图像拍摄装置104可具有平移（pan）功能、倾斜（tilt）功能和变焦（zoom）功能至少之一。图像拍摄装置104以预定速率将图像传输至处理装置102。处理装置102可处理所接收的图像，并在显示器108上将它们显示给操作者。

操作者可通过操作输入装置106来将操作命令传输至处理装置102。所述操作命令涉及操作者想要怎样改变在显示器108上示出的视场的位置、朝向和/或缩放比例。还可将所述操作命令发送至图像拍摄装置104，如图1中的虚线所示，可以直接从操作输入装置106发送至图像拍摄装置104，或经由处理装置102发送至图像拍摄装置104。

操作输入装置106通常可以是本领域中任何适用于输入这种操作命令的已知装置。例如，操作输入装置106可以是操纵杆、键盘、眼动传感器、头动传感器、脚踏板、触摸屏、声音控制器等。例如，操作输入装置106可以是鼠标，操作者可通过该鼠标经由图形用户界面来输入操作命令。

典型地，在图1所示的这种类型的系统中会有迟延出现。例如，在操作输入装置106与图像拍摄装置104之间的信号传输中可能会有迟延，在网络中可能有迟延，在图像拍摄装置104的机构中可能会有迟延，并且在图像拍摄装置104的编码中和在处理装置102中可能会有迟延。其结果是，在操作者作用于操作输入装置106以给出操作命令的时刻直到来自图像拍摄装置104且反映操作者的输入的图像可被显示在显示器108上的时刻之间会有延迟。这种延迟会给操作者带来很大困扰，并使其难以将图像拍摄装置104操作至一个令人满意的程度。根据本发明，如下文中进一步所述，这种延迟的负面效应得以减少，从而给操作者提供针对图像拍摄装置104的改进的控制。

在显示器108上展示给操作者的图像对应于第一视场。在操作期间，操作输入装置106从图像拍摄装置104的操作者接收第一操作命令。操作输入装置106将关于第一操作命令的输入数据传输至处理装置102。第一操作命令涉及操作者想要在显示器108上显示的第一视场。具体而言，第一操作命令可涉及对第一视场的位置、朝向和/或缩放比例的改变。第一操作命令因此而涉及第一视场的平移移动（translational movement）、旋转移动和变焦。因而，第一操作命令可包含怎样改变第一视场的位置、朝向和/或缩放比例的指令。例如，第一操作命令可涉及第一视场的目标位置、目标朝向和/或目标缩放比例。可选地，第一操作命令可涉及期望的（desired）第一视场的移动速度和移动方向，例如平移移动、旋转移动和/或缩放移动的速度。移动的目标位置和方向可基于处理装置102所知的某坐标系而定义。目标朝向可定义为基于处理装置102所知的某预定方向的目标角度。进而，目标缩放比例值可基于处理装置102所知的某基准缩放比例值而定义。这样，由处理装置102接收到的输入数据可包含第一视场的目标位置的坐标、第一视场的目标角度、和/或第一视场的目标缩放比例值。进而，由处理装置102接收到的输入数据可包含第一视场的期望运动的移动速度和方向。这在图3a（作为操作者输入关于改变第一视场位置的第一操作命令的示例）中被进一步示出。稍后将参照图4-图5来描述关于改变朝向或缩放比例的对应示例。应了解，可对这些示例进行结合。

在图3a中示出第二视场300。如下文所进一步公开的，处理装置102能访问（has accesss to）第二视场300的图像数据。图3a进一步示出位于该第二视场300内的第一位置P1处的第一视场302a。处于第一位置P1处的第一视场302a可对应于显示器108上显示的当前图像。第二视场300相比第一视场302a而覆盖了较大的区域。例如，第二视场300可对应于图像拍摄装置104可以拍摄图像的总视场。

在所示出的示例中，由处理装置102接收到的输入数据涉及对第一视场302a的位置P1的改变（如箭头310所示）。具体而言，输入数据可涉及位于第一位置P1中的第一视场302a向第二位置P2移动。这由处于第二位置P2处的第一视场302b表示。例如，输入数据可涉及第一视场302b的目标位置。可以通过第一视场302b的点例如中心点等的坐标方式来给出该目标位置。可选地，该输入数据可涉及第一视场302a的期望移动的移动速度和移动方向。例如，可针对两个预定方向（例如，针对某x-y坐标系的x方向和y方向）给出该移动速度。

图3a进一步示出图像拍摄装置104的视场304a。起初，视场304a对应于图像拍摄装置104的当前视场。在所示出的示例中，图像拍摄装置104的视场304a关于第一视场304a而居中。然而，通常并不必如此。换句话说，在显示器108上显示的图像的第一视场不必对应于图像拍摄装置104的视场。

一旦接收到输入数据，则处理装置102基于所述输入数据而确定第二视场300内的第一视场302b的位置P2。如果输入数据涉及目标位置，则所确定的位置P2相当于该目标位置。如果输入数据涉及移动速度和移动方向，则可基于该移动速度、移动方向和在显示器108上显示图像的时间间隔来确定该位置。在所示出的示例中，该时间间隔对应于在第一位置P1显示第一视场302a与在第二位置P2显示第一视场302b之间所经过的时间。

处理装置102从图像拍摄装置104持续接收图像。具体而言，处理装置102在对应于位于位置P2处的第一视场302b的图像将要显示在显示器108上之时从图像拍摄装置104接收图像。图3b示出那时从图像拍摄装置104接收到的图像304b。理想地，所接收的图像304b应该关于第一视场302b而居中，这意味着在所接收的图像304b与将要显示在显示器上的第一视场302b之间没有位置上的滞后。然而，且如图3b所示，由于系统100中存在迟延的缘故，所接收的图像典型地并没有关于第一视场302b而居中。具体而言，在图3b中，图像304b位于不同于位置P2的位置P4处。因而，由于迟延的缘故，图像拍摄装置104还不能传输反映第一视场302a-b的期望的位置变化的图像。

为了解决此问题，处理装置102进行对第一视场302b与从图像拍摄装置104接收到的图像304b的重叠部分306的确定。对重叠部分的确定可包括对从图像拍摄装置104接收到的图像304b的位置的确定。进而，可确定偏移（offset），即，在第一视场302b的位置与从图像拍摄装置104接收到的图像304b之间的相对位置。例如，可确定在第一视场302b与所接收图像304b的中心点或任何其他预定点（例如位置P2和P4）之间的偏移。

在一个实施例中，处理装置102从图像拍摄装置104与接收图像304b一起接收信息（例如元数据）。所述信息可涉及由图像拍摄装置104拍摄的图像304b的位置P4。基于所接收的信息，处理装置102可确定所述偏移为在图像304b的位置P4与第一视场302b的位置P2之间的差值。

可选地，或者额外地，所述信息可包括涉及图像拍摄装置104在拍摄图像304b时的移动速度和移动方向的信息。基于所接收的信息，处理装置102可确定或至少可估算所接收的图像304b的位置P4。具体而言，可基于之前接收到的图像的位置（例如图像304a的位置P3）、自从之前接收的图像被拍摄之时所经过的时间、以及涉及图像拍摄装置104的移动速度和移动方向的信息，来估算位置P4。

可选地，或者额外地，处理装置102通过图像关联来确定在第一视场302b与所接收的图像304b之间的偏移。更详细地，为了确定所接收的图像304b的位置P4，处理装置102可将第二视场300的图像数据与所接收的图像304b相关联。可选地，在执行所述关联之前，为了节约处理资源，第二视场的图像数据可被限制为第一视场。可以任何已知方式来执行所述关联。通过将上述使用元数据来确定偏移的方式与图像关联方式结合，可获得对偏移确定的进一步改良（refinement）。

在另一个实施例中，处理装置102基于已经发送到图像拍摄装置104的该操作命令（一个或多个）和系统100的时间延迟来估算所接收的图像304b的位置P4。更准确地说，处理装置102了解哪个操作命令已经被发送到图像拍摄装置104，并且可因此而在知悉了时间延迟之后估算图像拍摄装置104的移动。如果已经被发送到图像拍摄装置104的操作命令相当于第一操作命令，其例如可以是操作输入装置106将操作命令直接传输到图像拍摄装置104的情况，处理装置102可根据输入数据和时间延迟来估算图像拍摄装置104的移动。

一旦处理装置102已经确定了在第一视场302b与所接收的图像304b之间的重叠部分306，则继续确定将要显示在显示器108上的图像。将要显示的图像对应于处于位置P2处的第一视场302b。如图3b所示，第一视场302b可包括重叠部分306和非重叠部分308这两部分。非重叠部分308可被看作是第一视场落在重叠部分306之外的部分。应理解会有这样的情况发生：当所接收的图像304b与第一视场302b完全重叠时，因此而没有非重叠部分。

在重叠部分306内，处理装置102经由所接收的图像304b而能访问由图像拍摄装置104拍摄的当前图像数据。因而，处理装置102确定重叠部分306的图像数据对应于来自所接收的图像304b的对应部分306的图像数据。

在非重叠部分308内，处理装置102不能访问来自图像拍摄装置104的当前图像数据。相反，处理装置102可访问第二视场300的图像数据。处理装置102可随后确定非重叠部分308的图像数据对应于第二视场300的对应部分308的图像数据。可选地，可针对例如强度、对比度和/或颜色而调节非重叠部分308的图像数据，以便匹配所接收的图像304b的对应参数。

第二视场的图像数据可包括由图像拍摄装置拍摄的图像数据。例如，处理装置102可从内部存储器访问预先记录的覆盖图像拍摄装置104的可能视场（potential field of view）的全部或部分的图像。预先记录的图像例如可以由图像拍摄装置104拍摄。在一个实施例中，第二视场300的图像数据由多个子图像组成，所述多个子图像并排设置或轻微重叠以形成完整的第二视场300的图像数据。例如，可由图像拍摄装置104通过扫描第二视场300而生成所述子图像。这种对第二视场300的扫描可以预定的时间间隔执行。根据其他实施例，可从图像拍摄装置104或从另一个分离的图像拍摄装置（未示出）接收第二视场300的图像数据。如果是这样，并且为了节约带宽，可以将由图像拍摄装置104或由分离的图像拍摄装置拍摄的图像的处于图像的预定中央部分之外的图像数据相比处于预定中央部分之内的图像数据压缩得更多。这在由图像拍摄装置104自身拍摄图像时（由于在这种情况下带宽尤为受限）更具优越性。根据一个实施例，图像拍摄装置104可通过从其当前变焦水平进行缩小（zoom out）来拍摄第二视场300的图像数据，因此而使得所拍摄的图像覆盖更宽视场。可选地，处理装置102可从场景的几何模型获得第二视场300的图像数据。所获得的图像数据可被临时存储在处理装置的内部存储器中。进一步地，几何模型可被存储在处理装置102的内部存储器中。第二视场的图像数据还可以是由图像拍摄装置拍摄的图像数据和从几何模型数据获得的图像数据的结合。

在某些实施例中，可使用从图像拍摄装置104接收到的图像304b对第二视场300的图像数据进行更新。更具体而言，通过使用所接收的图像304b的图像数据，处理装置102可更新落在图像304b之内的部分中的第二视场300的图像数据。

在已经确定将要显示的图像之后，处理装置102将图像数据传输到显示器108，使其能够按照惯有模式而显示给操作者。

如上所述，可将在操作输入装置106处输入的操作命令传输至图像拍摄装置104。具体而言，与第一操作命令相关的第二操作命令可被传输至图像拍摄装置104。在一个实施例中，通过操作输入装置106将第二操作命令直接传输至图像拍摄装置104。如果是这样，第二操作命令典型地相当于第一操作命令。

在另一个实施例中，通过处理装置102将第二操作命令传输至图像拍摄装置104。如果是这样，第二操作命令既可以相当于第一操作命令，或者也可由处理装置102基于第一操作命令而确定。具体而言，可由处理单元102基于输入数据和与系统100中的迟延相关的时间延迟来确定第二操作命令。在此情况下，处理装置102例如可从内部存储器访问时间延迟，并基于所访问的时间延迟和输入数据而确定第二操作命令。这样，基于从操作者接收的指令并将迟延考虑在内，处理装置102可估算理想的图像位置（ideal imageposition）或图像拍摄装置104的期望的移动速度和方向。例如，这可以是这样的情况，为了补偿系统100中的迟延，图像拍摄装置104需要相比操作者在操作输入装置106处已经输入的而言更快地移动。

作为可选方案，第二操作命令可基于在第一视场302b与从图像拍摄装置104接收的图像304b之间的偏移而定。例如，如果该偏移大于特定值，处理装置可发送指示图像拍摄装置104更快地移动的第二操作命令。例如，第二操作命令可涉及作为偏移函数（function of offset）的移动速度和移动方向。第二操作命令的移动速度可与偏移的绝对值成比例。

下面将参照图4a-图4b来描述涉及第一视场的朝向改变的另一个示例。

图4a示出位于第二视场400内的第一视场402a。在所示出的示例中，第一视场402a与第二视场400具有同样的朝向。然而，通常而言，第一视场402a可关于第二视场400而具有任意朝向。操作者可经由操作输入装置106将他想要改变第一视场402a的朝向输入给处理装置102。由处理装置接收到的输入数据例如可涉及目标朝向，例如针对某预定方向的目标角度、或期望的角速度和角方向。基于所述输入，处理装置106可确定第一视场402a关于第二视场400的新朝向。由第一视场402b例示出具有新朝向的第一视场。在该示例中，第一视场402b关于第二视场旋转了角度α。可关于预定方向而定义该角度α。

处理装置102进而接收由图像拍摄装置104拍摄的图像404b。基于所接收的图像404b，处理装置102进行所接收的图像与第一视场402b的重叠部分406的确定。为了这样做，处理装置可关于第二视场400确定所接收的图像404b的朝向。如参照图3a-图3b进一步所述，这种确定例如可以基于与图像404b一起发送给处理装置102的元数据、和/或基于图像关联技术、和/或基于通过将时间延迟考虑在内而对图像拍摄装置104的移动的估算而定。元数据例如可包括图像404b关于预定方向的朝向。可选地，元数据可涉及图像拍摄装置104的角速度和方向。在所示出的示例中，所接收的图像404b关于第二视场400旋转了角度β。因而，在第一视场402b与所接收的图像404b之间具有α-β的角偏移。

在已经知悉第一视场402b与所接收的图像404b关于第二视场400的角朝向之后，处理装置102可确定在第一视场402b与所接收的图像404b之间的重叠部分406。进而，处理装置102可确定是否有第一视场402b的非重叠部分408，即，是否有部分第一视场402b落在重叠部分406之外。

为了确定将要显示的图像，处理装置102在重叠部分406中使用所接收的图像404b的图像数据。进而，处理装置102访问第二视场400的图像数据并在非重叠部分408中使用所访问的图像数据。

图4b示出在显示器108上显示的所得到的图像402。当构建将要显示的图像402时，须注意应该将所接收的图像404b和第一视场402b关于第二视场400的各自的旋转考虑在内。如上文所公开，处理装置102在非重叠部分408中使用第二视场400的图像数据。由于该图像数据来源于第二视场400（其关于第一视场402b而以角度–α而定位），应该以角度–α对其进行旋转而与图像402适配。类似地，处理装置102在重叠部分406中使用所接收的图像404b的图像数据。由于该图像数据来源于所接收的图像404b（其关于第一视场404b而以角度–（α-β）而定位），应该以角度-（α-β）对其进行旋转而与图像402适配。

下面将参照图5a-图5b来描述涉及第一视场的缩放比例改变的另一个示例。

图5a示出位于第二视场500内的第一视场502a。操作者可经由操作输入装置106将他想要改变第一视场502a的缩放比例输入给处理装置102。例如缩放比例的改变可涉及放大或缩小。基于所述输入，处理装置106可确定第一视场502a关于第二视场500的新缩放比例。例如可按照缩放比例因子形式来给出该缩放比例。由处理装置接收到的输入数据例如可涉及目标缩放比例因子（例如关于某预定值的目标缩放比例因子）、或期望的缩放速度和缩放方向（例如放大速度或缩小速度）。在所示出的示例中，缩放比例的改变是指缩小。由相比第一视场502a而覆盖较大图像区域的第一视场502b示出具有新缩放比例的第一视场。需要强调的是，这仅仅是为了示出目的。实际上第一视场的尺寸是恒定的，即，在显示器上显示的图像的尺寸是恒定的，而图像内容被缩放。在该示例中，以因子K1关于第二视场500而缩放第一视场502b。

处理装置102进而接收由图像拍摄装置104拍摄的图像504b。基于所接收的图像504b，处理装置102进行对所接收的图像与第一视场502b的重叠部分506的确定。为了这样做，处理装置可关于第二视场500而确定所接收的图像504b的缩放比例。如参照图3a-图3b进一步所述，这种确定例如可以基于与图像504b一起发送给处理装置102的元数据、和/或基于图像关联技术、和/或基于在将时间延迟考虑在内时对图像拍摄装置104的移动的估算而定。元数据例如可包括图像504b关于预定基准缩放比例值的缩放比例因子。可选地，元数据可涉及图像拍摄装置104的缩放速度和缩放方向。在所示出的示例中，以关于第二视场500的因子K2来缩放所接收的图像504b。

在已经知悉第一视场502b与所接收的图像504b关于第二视场500的缩放比例因子K1和K2之后，处理装置102可确定在第一视场502b与所接收的图像504b之间的重叠部分506。这在图5b中有示出。进而，处理装置102可确定是否有第一视场502b的非重叠部分508，即，是否有部分第一视场502b落在重叠部分506之外。

为了确定将要显示的图像，处理装置102在重叠部分506中使用所接收的图像504b的图像数据。进而，处理装置102访问第二视场500的图像数据，并在非重叠部分508中使用所访问的图像数据。

当构建将要显示的图像时，须注意应该将所接收的图像504b和第一视场502b关于第二视场500的各自的缩放比例考虑在内。如上所述，处理装置102在非重叠部分508中使用第二视场500的图像数据。由于图像数据的非重叠部分来源于第二视场500（其以因子1/K1关于第一视场502b而缩放），因此应该以因子K1对其进行缩放而与第一视场适配。类似地，处理装置102在重叠部分506中使用所接收的图像504b的图像数据。由于该图像数据来源于所接收的图像504b（其以因子K2/K1关于第一视场502b而缩放），因此应该以因子K1/K2对其进行缩放而与第一视场适配。

处理装置102可以软件或硬件的方式实施。图2示出根据一个实施例的处理装置102的内部部件。处理装置102包括处理单元202（其可以是中央处理单元（CPU））。处理单元202可操作地连接至存储器204、接收器206和发送器208。接收器206被配置为以任何已知方式从外部单元、装置和设备接收数据信号。例如，接收器202可被配置为从操作输入装置106和图像拍摄装置104接收数据。同样，发送器208被配置为以任何已知方式将数据信号传输至外部单元、装置和设备。例如，发送器可被配置为将数据传输至显示器108和图像拍摄装置104。存储器204可被配置为存储关于用于给图像拍摄装置104的操作者显示图像的计算机实施方法的软件指令。存储器204可因此而形成可将软件指令存储其上的计算机可读介质。软件指令可促使处理单元202执行根据本发明的实施例的方法。

下面将参照图1-图5和图6的流程图来描述根据一个实施例的方法。该方法涉及给图像拍摄装置104的操作者显示对应于第一视场的图像。

在步骤S02中，处理装置102从操作输入装置106接收输入数据。所述输入数据涉及第一操作命令。通常而言，第一操作命令涉及对将要显示在显示器108上的第一视场的位置、朝向或缩放比例至少之一的改变。

在步骤S04中，处理装置102基于所述输入数据来确定第一视场302b关于第二视场300的位置、朝向或缩放比例至少之一。例如，在步骤S04中确定的位置对应于图3a中第一视场302b的位置P2，对应于图4a中的角度α，以及对应于上文中参照图5a而公开的缩放比例因子K1。如果输入数据涉及目标位置、目标朝向或目标缩放比例，则所确定的位置/朝向/缩放比例相当于目标位置/目标朝向/目标缩放比例。如果输入数据涉及移动速度和移动方向，则可基于该移动速度、移动方向和在显示器108上显示图像的时间间隔来确定位置、朝向和/或缩放比例。

在步骤S06中，处理装置102从图像拍摄装置104接收图像。处理装置102可确定由图像拍摄装置拍摄的图像关于第二视场的位置、朝向或缩放比例至少之一。

在步骤S08中，处理装置102确定第一视场302b与从图像拍摄装置104接收的图像304b的重叠部分306。对重叠部分的确定可包括确定在第一视场与由图像拍摄装置104拍摄的图像之间的位置、朝向或缩放比例至少之一的偏移。该偏移因而可对应于位置偏移（例如在第一视场302b与所接收的图像304b的中心点或任何其他预定点之间的偏移）、和/或朝向偏移（例如角偏移）、和/或缩放比例偏移（例如缩放比例因子偏移）。如上所述，这种确定可基于从图像拍摄装置104接收到的元数据、和/或基于在所接收的图像304b与第二视场300的图像数据之间执行的关联、或基于通过将时间延迟考虑在内而对图像拍摄装置104的移动的估算而定。

然后，在步骤S10中，通过在重叠部分306中使用由图像拍摄装置102拍摄的图像304b的图像数据，处理装置102确定将要显示的图像。处理装置102进而访问第二视场的图像数据。例如，处理装置102可从存储器204访问预先记录的、覆盖全部或部分图像拍摄装置104的可能视场的图像。处理装置102随后在第一视场落在重叠部分之外的部分308中使用所访问的第二视场300的图像数据。如上文参照图3-图5所述，在构建将要显示的图像时，须将第一视场与从图像拍摄装置104接收的图像的相对位置、相对朝向、和/或相对缩放比例考虑在内。

在一个实施例中，步骤S10通过数个子步骤得以执行。在第一子步骤中，第一图像被确定为第二视场300落在第一视场302b之内的图像数据。可选地，在执行下个子步骤之前，可将第一图像给操作者显示在显示器108上。在第二子步骤中，使用由图像拍摄装置104拍摄的图像304b的图像数据而在重叠部分中更新第一图像。所更新的第一图像随后在步骤S16中显示给操作者。

在步骤S12中，所确定的图像被显示给操作者。

在步骤S14中，将与第一操作命令相关的第二操作命令传输至图像拍摄装置104。在一个实施例中，是由处理装置102将第二操作命令传输至图像拍摄装置104。在另一个实施例中，是由操作输入单元106将第二操作命令传输至图像拍摄装置104。

应当理解，本领域技术人员能够以多种方式修改上述实施例而仍然应用了本发明如上文中的实施例所述的优点。例如，如果主要的延迟是在图像拍摄装置自身中而不是在网络传输或处理装置中，本发明的原理可在图像拍摄装置中本地应用。因而，本发明不应该局限于所示实施例，而应该仅由所附权利要求限定。

Claims (14)

1.一种用于给具有平移、倾斜和变焦功能至少之一的图像拍摄装置（104）的操作者显示对应于第一视场（302a，402a，502a）的图像的方法，包括以下步骤：

接收（S02）涉及第一操作命令的输入数据，所述第一操作命令涉及对所述第一视场（302a，402a，502a）的位置、朝向或缩放比例至少之一的改变，

基于所述输入数据来确定（S04）所述第一视场（302a，402a，502a）关于大于所述第一视场（302a，402a，502a）的第二视场（300，400，500）的位置、朝向或缩放比例至少之一，

接收（S06）由所述图像拍摄装置拍摄的图像（304b，404b，504b），

确定（S08）所述第一视场（302a，402a，502a）与由所述图像拍摄装置（104）拍摄的图像（304b，404b，504b）的重叠部分（306，406，506），

通过以下确定（S10）将要显示的图像：

在所述重叠部分（306，406，506）中使用由所述图像拍摄装置（104）拍摄的图像（304b，404b，504b）的图像数据，以及，

访问所述第二视场（300，400，500）的图像数据，并在所述第一视场（302a，402a，502a）落在所述重叠部分（306，406，506）之外的部分（308，408，508）中使用所述第二视场（300，400，500）的图像数据，

给所述操作者显示（S12）所确定的图像，以及

其中，所述第二视场（300，400，500）的图像数据包括预先记录的图像，该方法还包括使用由所述图像拍摄装置（104）拍摄的所述图像（304b，404b，504b）来更新所述预先记录的图像。

2.根据权利要求1所述的方法，其中所述第二视场（300，400，500）的图像数据已经由所述图像拍摄装置（104）拍摄，或已经由另一个分离的图像拍摄装置拍摄。

3.根据权利要求1所述的方法，其中所述第二视场（300，400，500）的图像数据已经从场景的几何模型获得。

4.根据权利要求1所述的方法，还包括以下步骤：

传输（S14）涉及所述第一操作命令的第二操作命令至所述图像拍摄装置（104），

访问与用于将图像显示给所述图像拍摄装置（104）的操作者的系统（100）中的迟延相关的时间延迟，以及

基于所述输入数据和所述时间延迟来确定所述第二操作命令。

5.根据权利要求4所述的方法，其中所述第二操作命令涉及由所述图像拍摄装置（104）拍摄的图像的目标位置、目标朝向、或目标缩放比例至少之一，和/或涉及所述图像拍摄装置（104）的移动速度和移动方向。

6.根据权利要求1所述的方法，其中所述第一操作命令涉及所述将要显示的图像的所述第一视场（302a，402a，502a）的目标位置、目标朝向、或目标缩放比例至少之一，和/或涉及所述将要显示的图像的所述第一视场（302a，402a，502a）的移动速度和移动方向。

7.根据权利要求1所述的方法，还包括确定由所述图像拍摄装置（104）拍摄的图像（304b，404b，504b）关于所述第二视场（300，400，500）的位置、朝向、或缩放比例至少之一。

8.根据权利要求7所述的方法，其中所述确定所述第一视场（302a，402a，502a）与由所述图像拍摄装置（104）拍摄的图像（304b，404b，504b）的重叠部分（306，406，506）的动作包括确定在所述第一视场（302a，402a，502a）与由所述图像拍摄装置（104）拍摄的图像（304b，404b，504b）之间的位置、朝向、或缩放比例至少之一的偏移。

9.根据权利要求7-8的任意一个所述的方法，还包括以下步骤：

从所述图像拍摄装置（104）接收涉及由所述图像拍摄装置（104）拍摄的图像（304b，404b，504b）的所述位置、所述朝向、或所述缩放比例至少之一的信息。

10.根据权利要求7-8的任意一个所述的方法，还包括以下步骤：

接收涉及所述图像拍摄装置（104）的移动速度和移动方向的信息，

基于涉及所述图像拍摄装置（104）的所述移动速度和所述移动方向的所述信息，确定由所述图像拍摄装置（104）拍摄的图像（304b，404b，504b）的所述位置、所述朝向、或所述缩放比例至少之一。

11.根据权利要求7-8的任意一个所述的方法，其中通过执行在所述第二视场（300，400，500）的图像数据与由所述图像拍摄装置（104）拍摄的图像（304b，404b，504b）之间的关联，确定由所述图像拍摄装置（104）拍摄的图像（304b，404b，504b）关于所述第二视场（300，400，500）的位置、朝向、以及缩放比例至少之一。

12.根据权利要求1所述的方法，还包括以下步骤：

使用由所述图像拍摄装置（104）拍摄的图像（304b，404b，504b）来更新所述第二视场（300，400，500）的图像数据。

13.一种用于给具有平移、倾斜和变焦功能至少之一的图像拍摄装置（104）的操作者显示对应于第一视场（302a，402a，502a）的图像的处理装置（102），所述图像拍摄装置（104）被设置为接收涉及第一操作命令的操作命令，所述处理装置（102）包括：

存储器（204），被设置为存储第二视场（300，400，500）的图像数据，

接收器（206），被设置为接收涉及第一操作命令的输入数据，所述第一操作命令涉及对将要显示的图像的第一视场（302a，402a，502a）的位置、朝向、或缩放比例至少之一的改变，以及被设置为接收由所述图像拍摄装置（104）拍摄的图像（304b，404b，504b），

处理单元（202），被设置为基于所述输入数据，确定所述第一视场（302a，402a，502a）关于大于所述第一视场（302a，402a，502a）的第二视场（300，400，500）的位置、朝向、或缩放比例至少之一，确定所述第一视场（302a，402a，502a）与由所述图像拍摄装置（104）拍摄的图像（304b，404b，504b）的重叠部分（306，406，506），并通过以下确定将要显示的图像：在所述重叠部分（306，406，506）中使用由所述图像拍摄装置（104）拍摄的图像（304b，404b，504b）的图像数据，以及从所述存储器访问所述第二视场（300，400，500）的图像数据，并在所述第一视场（302a，402a，502a）的落在所述重叠部分（306，406，506）之外的部分（308，408，508）中使用所述第二视场（300，400，500）的图像数据，以及

发送器（208），被设置为将所确定的图像传输至显示器，

其中，所述第二视场（300，400，500）的图像数据包括预先记录的图像，所述处理单元进而被设置为使用由所述图像拍摄装置（104）拍摄的图像（304b，404b，504b）来更新所述预先记录的图像。

14.一种用于给图像拍摄装置（104）的操作者显示对应于第一视场（302a，402a，502a）的图像的系统（100），包括：

操作输入装置（106），被设置为从操作者接收涉及第一操作命令的输入，所述第一操作命令涉及对所述第一视场（302a，402a，502a）的位置、朝向、或缩放比例至少之一的改变，

图像拍摄装置（104），具有平移、倾斜和变焦功能至少之一，所述图像拍摄装置（104）被设置为接收涉及所述第一操作命令的第二操作命令，

根据权利要求13所述的处理装置（102），连接至所述操作输入装置（106）和所述图像拍摄装置（104），从而被设置为从所述操作输入装置（106）接收涉及所述第一操作命令的输入数据，以及接收由所述图像拍摄装置（104）拍摄的图像（304b，404b，504b），以及

显示器（108），被设置为从所述处理装置（102）接收图像并将所接收的图像呈现给操作者。

Images