CN104011768A - 数字图像放大用户界面 - Google Patents

Abstract

一种用于围绕聚焦点显示和放大源图像的图形用户界面，所述图形用户界面包括具有背景图像和放大图像的图像帧。图像帧响应于用户输入。背景图像由源图像创建，并且填充图像帧。放大图像是通过将源图像的至少一部分作为纹理映射到曲面上，并且将所得纹理化表面的二维渲染叠加到背景图像的区域上来创建。

Description

数字图像放大用户界面

背景

本发明大体涉及视频界面，更具体来说，涉及一种用于数字视频放大的用户界面。

监控系统通常从一个或多个摄像机接收数字视频，并且在一个或多个用户站的屏幕或显示器上实时播放接收到的视频或是从记录器或档案接收后进行播放。这类视频通常经由可允许用户控制摄像机的平移、倾斜或缩放的用户界面来显示。对于归档的连续镜头来说，用户界面通常也允许用户以多个速度快进或向前或前后扫描视频。通过提供缩小的摄像机视野的放大图像，缩放允许用户聚焦在图像或图像的视频序列的较小区域上。存在许多常规方法来实现光学和数字(基于软件)缩放。然而，放大一个特征之后，用户观察缩小的所得视野外部的周围特征的能力受到限制。为了防止丢失这些信息，监控系统的一些用户界面提供“画中画”图像，其中摄像机的全视野的较小参考图像覆盖较大的缩放图像。这种较小的未缩放的图像有时被标注来指示较大的放大图像中可见的区域。“画中画”界面允许用户查看放大区域中的细节，同时保留在同一屏幕上看见摄像机的较宽视野的能力。

“画中画”界面并未提供完美解决方案。缩放图像的一些部分被未缩放参考图像覆盖，从而使得一部分缩放图像变得模糊。“画中画”界面中的未缩放参考图像通常很小，因此无法看见细节。另外，分辨缩放图像相对于未缩放参考图像的位置要求眼睛在两个图像之间移动，这可能会令人迷惑。常规“画中画”界面线性地缩放已缩放图像。

概述

本发明针对一种用于围绕聚焦点显示和放大数字图像的图形用户界面，针对一种运行图形用户界面的图像处理系统，并且针对一种用于产生放大数字图像的方法。所述图形用户界面包括具有背景图像和放大图像的图像帧。图像帧响应于用户输入。背景图像是由源图像创建，并且填充图像帧。放大图像是通过将源图像的至少一部分作为纹理映射到曲面上，并且将所得纹理化表面的二维渲染叠加到背景图像的区域上来创建。

附图简述

图1是本发明的视频系统的框图。

图2是示例性现有技术“画中画”用户缩放界面的截屏。

图3是本发明的用户缩放界面的截屏。

图4是描述借以提供图3的用户界面的算法的方法流程图。

图5是用来产生图3的用户界面的纹理映射过程的概念图解。

详细描述

图1是视频系统10的框图，其中包括源12、记录器14、服务器16和用户设备18。用户设备18具有处理器20、输入设备22、存储器24和显示器26。源12是如数字摄像机的视频源。尽管仅展示了一个源12，但是许多视频源可包括在视频捕捉和播放网络10中。记录器14是视频记录器，其用来编码从源12接收的实时视频并以机器可读格式存储所编码视频。在一些实施方案中，源12和记录器14可直接通信，而在其它实施方案中，记录器14仅可经由视频捕捉和播放网络10来从源12接收视频。尽管仅展示了一个记录器14，但是许多视频记录器可包括在视频捕捉和播放网络10中，有可能包括编码来自源12的视频的多个记录器，以及用来编码来自其它源的视频的多个记录器。服务器16是视频管理服务器，其可对来自记录器14的视频进行分类、从所述记录器检索视频，或处理来自所述记录器14的视频，以供在用户设备18处播放。或者，服务器16可对来自记录器14的视频进行分类，并提供配置信息来使得用户设备18能够直接从记录器14检索视频并加以播放。用户设备18是具逻辑能力的用户方视频查看设备，如个人计算机，用户可经由所述设备查看来自源12、记录器14或服务器16的视频并操纵所述视频。在一些实施方案中，本地服务器16、记录器14和客户端设备18，或它们的一些组合可以是单个硬件计算机的逻辑上可分开的部件。本地服务器16和客户端设备18是带有处理器和硬件存储器的计算机，并且可以是专用硬件计算机或运行用于视频管理和查看的专用软件的通用计算机。

在一个实施方案中，用户设备18从客户端12直接接收实时视频，并且可能能够控制源12的摄像机平移、倾斜或缩放。在其它实施方案中，用户设备18从记录器14直接或经由服务器16接收归档视频。用户设备18包括处理器20，所述处理器可例如是常规微处理器。处理器20从输入设备22接收输入，所述输入设备可以是键盘、鼠标、触摸屏或用来提供用户输入的其它常规装置。用户设备18可使用多个输入设备22。处理器20从存储器24读取并且写入存储器24，并且在显示器26上显示选定视频的图像。

处理器20运行可在显示器26上查看的用户界面，如下文关于图3所述。这种用户界面允许用户查看由源12、记录器14或服务器16提供的源图像SI的放大部分，同时以未放大状态保存基础图像的剩余部分。

图2是示例性现有技术“画中画”用户缩放界面的图像帧100的截屏。图像帧100含有放大图像102和带有视野指示符106的参考图像104。放大图像102展示参考图像104中由视野指示符106指定的放大区域。尽管视野指示符106描绘为参考图像104上的虚线矩形，但其它常规视野界面使用阴影或色彩来指示放大图像102在参考图像104上的视野。

放大图像102是通过线性地缩放源图像SI的一部分来产生。通常，提供参考图像104来允许用户快速分辨放大图像102中显示的位置。如图所示，参考图像104叠加在放大图像102右上角上的较小图像上。在其它常规情况下，参考图像104可显示在其它区域，但总是会覆盖放大图像102的至少一部分，从而妨碍一些查看空间被用来查看放大图像102。

图3是本发明的用户缩放界面的图像帧200的截屏。图像帧200含有放大图像202和背景图像204。放大图像202叠加在背景图像204上，并且限制在边界206内。背景图像204是相比放大图像202具有较宽视野的图像。然而，背景图像204无需对应于从源12或从记录器14或服务器16提供的记录视频可利用的最大视野(也就是，源图像SI的全记录视野)。放大图像202是查看帧200中以较高放大率显示背景图像204中以聚焦点FP为中心的一部分的区域。图像帧200响应于用户输入，以使得聚焦点FP可由用户经由鼠标点击、按键命令或其它常规方法来指定。如所描绘，放大图像202是通过将源图像SI映射到球面上来创建，因此边界206是圆形。更一般来说，放大图像202是通过将源图像SI映射到曲面CS上来创建，其中所述曲面可呈现各种形状。为便于理解，除非另有规定，否则本说明书将假设球形曲面CS，但本领域技术人员将理解，可在不脱离本文所提出的系统和方法的情况下用其它形状替代。根据本发明处理的图像可呈现许多形式。具体来说，源图像SI可为独立的静止图像，或从源12、记录器14或服务器16接收的实时或记录视频流。

放大图像202是通过将源图像SI作为纹理施加到曲面CS上来形成。这种纹理被平移到曲面CS上，以便使聚焦点FP与曲面CS的查看区域的中心对齐，然后沿着这个查看轴线平整化并叠加在背景图像204上，以便提供相对于背景图像204的非线性放大，并且恰好使近似最大的放大率在靠近聚焦点FP处。选择曲面CS的尺寸来实现所需的放大率。在曲面CS为球面的情况下，增大曲面CS的半径会产生较大放大率，而减小曲面CS的半径则减小放大率。

用户经由图像帧片(pane)200与源图像SI互动。图像帧片200在指定聚焦点FP的用户输入之前可不包括任何放大图像202。如上文所述，聚焦点FP可由任何常规手段来指定，如鼠标点击、鼠标轻扫或拖动，或按键命令。一旦指定聚焦点FP，以聚焦点FP为中心的放大图像202就在聚焦点FP在背景图像204上的位置处叠加在背景图像204上。然后，放大图像202可由另一鼠标点击或按键命令来解除，从而仅背景图像204留在图像帧片200内。在一些实施方案中，聚焦点FP可通过按键命令来移动，通过用鼠标拖动放大图像202来移动，或通过其它用户输入来移动。放大图像202最初是通过使用带有预定尺寸的曲面CS来创建。这些尺寸(例如，球面半径)可由用户输入来修改，如鼠标拖动或鼠标滚轮滚动，从而更改放大图像202的放大率。在一些实施方案中，曲面CS的尺寸可在放大图像202解除时记录在存储器24中(参见图1)，并用作用来创建后续放大图像202的下一曲面CS的预定尺寸。尽管图3仅展示了一个放大图像202，本发明的一些实施方案可允许多个放大图像202同时叠加在背景图像204上。

图像帧片200可仅构成较大用户界面的一部分，所述用户界面包括源自多个源12或对记录器14处的视频截取多次或在多个时间周期截取的多个图像。这个用户界面可进一步包括用于选择源图像SI的输入手段，如下拉菜单、拖放列表或其它常规工具。

放大图像202提供聚焦点FP指示的目标区域附近的最高非线性放大率。放大率朝向边界206持续减小。这个非线性放大率允许在远离聚焦点FP处出于背景目的而分辨一般细节，同时允许在聚焦点FP附近分辨高精度细节。

图4是可借以从源图像SI创建放大图像202的缩放方法300的流程图。首先，用户设备18从源12、记录器14或服务器16接收源图像SI。(步骤S1)。如上文所论述，源图像SI是记录在记录器14处的未转换的图像或来自源12的转播实况。源图像SI可以是从视频连续镜头接收的图像，如上文所描述，或者可以是独立的静止图像。源图像SI可以直接检索或经由网络10检索，并且存储在用户设备18的存储器24中。源图像SI是在作为背景图像204的图像帧200中进行渲染。(步骤S2)。在各种实施方案中，背景图像204可以或可以不关于源图像线性地缩放，并且可以包括或可以不包括整个源图像SI。

然后，响应于指定聚焦点FP的用户输入，处理器20创建曲面CS的三维表示。(步骤S3)。其中θ是x-y平面中的角度，并且是x-z平面中的角度，球形曲面CS可例如以笛卡尔(Cartesian)坐标生成：

Y＝r sin(θ)；以及

如上文所描述，半径r是根据所需的放大程度来选择的，并且较大半径r生成较大放大率。在一些实施方案中，曲面CS的这个表示可使用如OpenGL或Direct3D的常见函数库中的函数来生成。

然后，处理器20从源图像SI创建纹理T。(步骤S4)。纹理T可存储在OpenGL或Direct3D中的纹理缓冲器中。在一些实施方案中，纹理T的尺寸可与源图像SI相同。在其它实施方案中，源图像SI可被线性地缩放，以便创建放大的纹理T，从而线性地增大放大图像202的最终放大率。这种缩放可通过一些常规方法来完成，包括使用OpenGL或DirectX缩放函数。然后，平移所得纹理T，以将聚焦点FP定位在曲面CS的查看区域中心，以使得聚焦点FP出现在最终放大图像202的中心。(步骤S5)。

处理器20将纹理T映射到曲面CS，从而在曲面CS的表示周围“包裹”纹理T，以使得纹理T的像素被映射到曲面CS的像素或像素组上。(步骤S6)。对于宽度定义为u、高度定义为v的纹理来说，使用下式来映射到球形曲面CS上：

u＝y/x＝tan^-1(θ)

在一些实施方案中，纹理T可使用适当的OpenGL或Direct3D函数来映射到曲面CS上。这种映射产生纹理化的三维物体(如球面)。然后，对这个三维物体进行二维渲染，以便产生放大图像202、纹理化曲面CS的平整化图像。(步骤S7)。在使用其它映射和渲染步骤的情况下，放大图像202的渲染可使用适当的图形函数库(如OpenGL或Direct3D)来完成。放大图像202在聚焦点FP附近展现出最好、最均匀的缩放效果，并且在边界206附近对应地压缩源图像SI。最后，将放大图像202叠加在背景图像204上，并平移放大图像202以使放大图像202上的聚焦点FP与背景图像204上的聚焦点FP对齐。(步骤S8)。因此，放大图像202提供一部分背景图像204的放大视图，同时利用了图像帧200的整个空间，并允许用户立即轻松认出作为背景图像204的一部分的放大图像202中所示的位置。通过在背景图像上的各个位置处拖动或重新创建放大图像202，用户能够选择背景图像204的区域以供在非线性放大的情况下细看。

尽管本说明书关注球形曲面CS，但是可替代地使用其它曲面。具体来说，曲线CS无需是闭合表面。举例来说，曲面CS可以是非均匀有理B样条(NURB)表面，所述表面通过朝向观看者“拉动”表面的焦点区域来形成。任何二维形状可用来形成如NURB表面，包括圆形、矩形或任意多边形。产生放大图像202的过程对于使用任何适当曲面CS来说大致上相同：首先检索源图像SI，然后渲染背景图像204，然后创建曲面CS的三维表示并且将由源图像SI的一部分形成的纹理映射到所述表示上，然后将曲面CS渲染成二维放大图像202，叠加到背景图像204上。在一些实施方案中，仅仅背景图像204中由放大图像202覆盖的一部分可用来生成纹理T，在这类实施方案中。使用曲面CS的对称NURB表面可在如上文所描述的球形曲面CS上提供放大图像202与背景图像204之间的较高连续性。放大图像202最靠近边界206的区域将被压缩，并且最靠近聚焦点FP的区域将被放大，但放大图像202可在边界206处与背景图像204对准，从而在放大图像202与背景图像204之间形成更流畅的过渡，以使得观看起来更舒适。然而，较大的缩放程度会在边界206处产生较明显的过渡。

尽管本说明书关注通过将图像纹理映射到曲面上而使用球形和其它非线性缩放，但是这种非线性缩放可用线性缩放补充。如上文关于步骤S4所论述的，源图像SI有时可线性地缩放以创建放大纹理T，从而线性地增大放大图像202的最终放大率。另外，本发明一些实施方案可在步骤S7之后将线性缩放应用到放大图像202。举例来说，在球形或NURB缩放之后，缩放图像202可任选地响应于鼠标滚轮滚动而线性地缩放。这样允许用户随时调整放大程度而无需改变曲面尺寸。

图5是上文关于方法300的步骤S6和S7(参见图4)所描述的纹理映射过程的概念图解。具体来说，图5示出图像从纹理空间TS到物体空间OS到屏幕空间SS的映射。纹理空间TS和屏幕空间SS是二维空间，而物体空间OS是三维空间。曲面CS存在于物体空间OS中，并且纹理T存在于纹理空间TS中。将纹理T映射到曲面CS上(S6)要求将纹理空间TS转换成物体空间OS，如上文关于步骤S6所描述。曲面CS和放大图像202以类似方式分别占据物体空间OS和屏幕空间SS。为了在二维中渲染曲面CS(S7)，物体空间OS必须转换成屏幕空间SS。所有上述转换必须使用函数库函数来完成，如上文所描述。

本发明利用整个图像帧200来显示放大图像202和背景图像204。放大图像202提供背景图像204的部分的非线性放大视图，并且放大图像202的尺寸和放大率可进行调整，以便实现所需视野和放大程度。因为放大图像202的放大是非线性的，所得放大率在聚焦点FP指示的目标区域附近最高，并且朝向边界206持续减小。放大率朝向边界206逐渐减小，使得在远离聚焦点FP处出于背景目的而看出一般细节，同时允许在聚焦点FP附近看出高精度细节。因为放大图像202叠加在背景图像204上并与聚焦点FP对齐，用户可以立即轻松认出放大图像202中描绘的背景图像204的区域。通过将NURB表面用作曲面CS，本发明在放大图像202与背景图像204之间提供的过渡能够更连续，且因此不那么令人迷惑。

尽管已参阅示例性实施方案描述本发明，本领域技术人员应了解的是，在不脱离本发明范围的情况下，可以做出各种改变，并且等效物可替代本发明的各要素。具体来说，尽管已关于视频缩放论述本发明，本领域技术人员将认识到，所公开的用户界面也可用来放大静止的或非连续的图像。另外，在不脱离本发明基本范围的情况下，可以做出许多修改以使特定的情况或材料适应于本发明的教义。因此，希望本发明不限于所公开的一个或多个特定实施方案，而是本发明将包括落在所附权利要求的范围内的所有实施方案。

Claims (20)

1.一种用于围绕聚焦点显示和放大源图像的图像处理系统，所述图像处理系统包括：

输入设备，所述输入设备被配置来从用户接收指定所述聚焦点的输入；

输出屏幕；以及

处理器，所述处理器被编程来在所述输出屏幕上渲染图形用户界面，所述图形用户界面包括：

图像帧，所述图像帧被显示在所述输出屏幕上，所述图像帧经由所述输入设备来响应于用户输入；

背景图像，所述背景图像由所述源图像生成，并且在所述屏幕上进行渲染以便填充所述图像帧；

放大图像，所述放大图像是通过以下来创建：将所述源图像的至少一部分作为纹理映射到曲面上，并且将所述所得纹理化表面的二维渲染叠加到所述屏幕上的所述图像帧中的所述背景图像的区域上。

2.如权利要求1所述的图像处理系统，其中所述放大图像是以所述聚焦点为中心，并且在所述聚焦点的位置处叠加在所述背景图像上。

3.如权利要求1所述的图像处理系统，其中所述输入设备包括鼠标，并且所述处理器响应于鼠标点击或限定所述聚焦点的类似用户输入来控制所述图像帧。

4.如权利要求3所述的图像处理系统，其中所述输入设备进一步被配置来响应于所述用户的输入而重设所述放大图像或从所述输出屏幕移除所述放大图像。

5.如权利要求3所述的图像处理系统，其中所述聚焦点可通过用鼠标、用按键命令或通过经由所述输入设备进行的类似用户输入拖动所述放大图像来移动。

6.如权利要求1所述的图像处理系统，其中所述放大图像的放大率可通过响应于用户输入而改变所述曲面的至少一个尺寸来增大。

7.如权利要求1所述的图像处理系统，其中所述输入设备进一步包括能够选择所述源图像的输入机构。

8.一种图像处理系统，其包括：

图像源，所述图像源生成源图像；以及

用户设备，所述用户设备包括：

屏幕，所述屏幕显示图像帧，其中将所述源图像的放大版本叠加在所述源图像的背景版本的区域上；以及

处理器，所述处理器通过将所述源图像的至少一部分作为纹理映射到曲面上，并且对所得表面二维渲染来产生所述源图像的所述放大版本。

9.如权利要求8所述的图像处理系统，其进一步包括记录器，所述记录器存储所述源图像。

10.如权利要求9所述的图像处理系统，其进一步包括服务器，所述服务器在所述源图像、所述记录器和所述用户设备的至少一些之间转移或间接转移图像。

11.如权利要求8所述的图像处理系统，其中所述曲面是球面。

12.如权利要求8所述的图像处理系统，其中所述曲面是NURB表面。

13.如权利要求8所述的图像处理系统，其进一步包括一个或多个另外的图像源，并且其中所述用户设备包括用于从所述图像源或所述另外的图像源选择所述源图像的输入机构。

14.如权利要求8所述的图像处理系统，其中所述用户设备进一步包括至少一个输入设备，如用户可借以指定所述曲面的尺寸和所述放大图像的位置的键盘、鼠标或触摸屏。

15.一种数字缩放方法，其包括：

从图像源或图像记录器检索数字源图像；

在屏幕上从所述源图像渲染背景图像；

创建曲面的表示；

从所述源图像创建纹理；

将所述纹理映射到所述曲面上；

对所述曲面二维渲染来产生放大图像；以及

将所述放大图像叠加到所述屏幕上的所述背景图像的一部分上。

16.如权利要求15所述的数字缩放方法，其中所述曲面是球面。

17.如权利要求15所述的数字缩放方法，其中所述曲面是NURB表面。

18.如权利要求15所述的数字缩放方法，其中创建所述图像源的纹理包括线性地缩放所述源图像。

19.如权利要求15所述的数字缩放方法，其进一步包括使所述纹理以聚焦点为中心，并且其中所述放大图像是对应于所述聚焦点而叠加在所述背景图像的所述部分上。

20.如权利要求15所述的数字缩放方法，其进一步包括线性地缩放所述源图像。