CN103327217A

CN103327217A - 一种视频处理方法及装置

Info

Publication number: CN103327217A
Application number: CN2012100811854A
Authority: CN
Inventors: 刘光盐; 李捷
Original assignee: PUWELL TECHNOLOGIES (HANGZHOU) Co Ltd
Current assignee: Hangzhou Puwei cloud Technology Co.,Ltd.
Priority date: 2012-03-23
Filing date: 2012-03-23
Publication date: 2013-09-25
Anticipated expiration: 2032-03-23
Also published as: CN103327217B

Abstract

本发明公开了一种视频处理方法及装置。本发明所提供的方法包括：利用数字平移/倾斜/变倍DPTZ技术确定一全景视频对应的至少一个DPTZ视频；计算所确定的DPTZ视频中的像素与全景视频中的像素的映射关系；利用所确定的映射关系，在全景视频和/或DPTZ视频的窗口上设置DPTZ视频对应的、区别显示于全景视频和/或DPTZ视频的视界框；将设置有视界框的全景视频和/或DPTZ视频与相应的DPTZ视频同时进行显示。本方案中，在全景视频和/或DPTZ视频中设置相应DPTZ视频的视界框的方式，可以达到向用户展示全景视频和/或DPTZ视频与相应DPTZ视频的空间对应关系的目的。

Description

一种视频处理方法及装置

技术领域

本发明涉及视频监控技术领域，特别是涉及一种视频处理方法及装置。

背景技术

在现有的视频监控系统中，反折式全景成像光学系统、鱼眼镜头等类型的全景摄像机得到了普遍应用。对于全景摄像机而言，其成像体制决定了其所拍摄的视频为圆形或环形的，且包含了由光学系统本身导入的各种图像畸变。例如：对于一全景摄像机原始的环形视频而言，其下面的180度内景物是倒立的，与人类的视觉习惯不协调。因此，在实际应用中，一般会采用投影展开、图像畸变修正等算法，展开和修正全景视频，以符合人类视觉习惯的方式显示给用户。

现有技术中，通常采用DPTZ(Digital Pan/Tilt/Zoom，数字平移/倾斜/变倍)进行全景视频的处理，以符合人类视觉习惯的方式显示给用户。其中，利用DPTZ技术可以将360度全景视频直接展开矫正在一个窗口中显示、将360度的环形视频分成两个180度的视频并展开矫正在两个窗口中显示、将360度的环形视频分成四个90度的视频并展开矫正在四个窗口中显示等。可见，DPTZ技术将全景视频分割成为1、2、4个部分，采用展开矫正算法让全景视频以符合人类视觉习惯的方式进行显示。并且，可以通过鼠标来控制视频在窗口内作水平和垂直方向的平移、倾斜或缩放。其中，每个窗口的视频如同一个PTZ摄像机所拍摄到的视频，用户在交互操作时如同在一个或多个PTZ(Pan/Tilt/Zoom，平移/倾斜/变倍)摄像机拍摄的情景相同。通常将利用DPTZ技术所切割出视频称为DPTZ视频。

虽然全景视频和对应的DPTZ视频可以同时展示给用户，但是用户很难准确快速的将两者在空间上准确的对应起来。例如，当将360度全景视频分成4个90度的视频并展开矫正在四个窗口中时，用户无法准确快速的确定4个DPTZ视频在全景视频中的位置，导致用户对监控场景感知能力受到限制，也影响了用户对全景摄像机的操作。

发明内容

为解决上述技术问题，本发明实施例提供了一种视频处理方法及装置，以向用户展示全景视频和/或DPTZ视频与相应DPTZ视频的空间对应关系，技术方案如下：

一种视频处理方法，所述方法包括：

利用数字平移/倾斜/变倍DPTZ技术确定一全景视频对应的至少一个DPTZ视频；

计算所确定的DPTZ视频中的像素与所述全景视频中的像素的映射关系；

利用所确定的映射关系，在全景视频和/或DPTZ视频的窗口上设置所述DPTZ视频对应的、区别显示于所述全景视频和/或DPTZ视频的视界框，其中，所述视界框包含的视频内容与相应的DPTZ视频的视频内容相同；

将设置有视界框的全景视频和/或DPTZ视频与相应的DPTZ视频同时进行显示。

其中，计算一DPTZ视频中的像素与所述全景视频中的像素的一映射关系，具体为：

预设所述DPTZ视频的原始视场角、宽高比及视场中心点；

计算所述DPTZ视频的原始成像平面大小；

获得虚拟平移角和虚拟倾斜角；

获得缩放值和分辨率；

计算所述DPTZ视频的成像平面大小及法向量；

计算所述DPTZ视频中像素对应的极坐标向量，并根据全景视频与极坐标的对应关系，确定DPTZ视频中的像素所对应的全景视频中的像素位置。

其中，在全景视频和/或DPTZ视频的窗口上设置一DPTZ视频对应的、区别显示于所述全景视频和/或DPTZ视频的一视界框，具体为：

利用所确定的映射关系，确定所述DPTZ视频对应窗口边缘的像素在所述全景视频和/或DPTZ视频中的显示位置；

将所确定的显示位置构成视界框，并为所述视界框设置一标识颜色，以使得所述视界框能够在所述全景视频和/或DPTZ视频对应窗口中突出显示。

将所确定的显示位置构成视界框，并为所述视界框以及相应DPTZ视频的窗口设置同一标识颜色，以使得所述视界框能够在所述全景视频和/或DPTZ视频对应窗口中突出显示；

其中，所述视界框的标识颜色与所述DPTZ视频的窗口的标识颜色具有唯一对应性。

将所确定的显示位置构成视界框，并为所述视界框设置与相应DPTZ视频窗口上所叠加色标的颜色相同的标识颜色，以使得所述视界框能够在所述全景视频和/或DPTZ视频对应窗口中突出显示；

其中，所述视界框的标识颜色与相应DPTZ视频窗口的色标的颜色具有唯一对应性。

其中，将设置有视界框的全景视频和/或DPTZ视频与相应的DPTZ视频同时进行显示，具体为：

在设置有视界框的全景视频和/或DPTZ视频所在的显示单元上叠加显示相应的DPTZ视频。

其中，在设置有视界框的全景视频和/或DPTZ视频所在的显示单元上叠加显示所述相应的DPTZ视频，具体为：

在设置有视界框且经过半透明处理的全景视频和/或DPTZ视频所在的显示单元上叠加显示相应的DPTZ视频。

分别将设置有视界框的全景视频和/或DPTZ视频和相应的DPTZ视频显示在不同的显示单元上，且保证设置有视界框的全景视频和/或DPTZ视频和相应的DPTZ视频同时显示给用户。

其中，所述方法还包括：

在接收到DPTZ视频对应窗口被平移、倾斜或缩放的指令后，将设置在所述全景视频和/或DPTZ视频上的相应视界框进行相应调整，以实现所述DPTZ视频的视频内容与相应视界框所包含视频内容相同。

其中，所述方法还包括：

在接收到所述全景视频和/或DPTZ视频中一视界框被平移、倾斜或缩放的指令后，将相应DPTZ视频对应窗口进行适应性调整，以实现视界框所包含的视频内容与相应DPTZ视频的视频内容相同。

其中，所述方法还包括：

在接收到全景视频绕中心整体旋转的指令后，将所述全景视频中的视界框对应的DPTZ视频进行调整，以使得全景视频中视界框所包含的视频内容与相应DPTZ视频的视频内容相同。

相应的，本发明实施例还提供一种视频处理装置，其特征在于，包括：

DPTZ视频确定模块，用于利用数字平移/倾斜/变倍DPTZ技术确定一全景视频对应的至少一个DPTZ视频；

映射关系确定模块，用于计算所确定的DPTZ视频中的像素与所述全景视频中的像素的映射关系；

视界框确定模块，用于利用所确定的映射关系，在全景视频和/或DPTZ视频的窗口上设置所述DPTZ视频对应的、区别显示于所述全景视频和/或DPTZ视频的视界框，其中，所述视界框包含的视频内容与相应的DPTZ视频的视频内容相同；

显示模块，用于将设置有视界框的全景视频和/或DPTZ视频与相应的DPTZ视频同时进行显示。

本发明所提供的方案中，在确定出一全景视频对应的至少一个DPTZ视频后，确定DPTZ视频中的像素与全景视频像素的映射关系；并利用该映射关系，在全景视频和/或DPTZ视频的窗口上设置所述DPTZ视频对应的、与全景视频和/或DPTZ视频区别显示的视界框，且将设置有视界框的全景视频和/或DPTZ视频与相应的DPTZ视频同时进行显示。可见，在全景视频和/或DPTZ视频中设置相应DPTZ视频的视界框的方式，可以达到向用户展示全景视频和/或DPTZ视频与相应DPTZ视频的空间对应关系的目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所提供的一种视频处理方法的第一种方法流程图；

图2为本发明实施例所提供的一种视频处理方法的第二种方法流程图；

图3为本发明实施例所提供的一种视频处理方法的第三种方法流程图；

图4为本发明实施例所提供的一种视频处理方法的第四种方法流程图；

图5为本发明实施例中全景摄像机极坐标系中的单位球面示意图；

图6为本发明所提供的一种视频处理方法对应的第一种界面示意图；

图7为本发明所提供的一种视频处理方法对应的第二种界面示意图；

图8为本发明所提供的一种视频处理方法对应的第三种界面示意图；

图9为本发明所提供的一种视频处理方法对应的第四种界面示意图；

图10为本发明实施例所提供的一种视频处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了解决现有技术所存在的问题，本发明实施例提供了一种视频处理方法及装置，以向用户展示全景视频和/或DPTZ视频与相应DPTZ视频的空间对应关系。

需要说明的是，对于一个目标DPTZ视频而言，其视频内容可以包含在一全景视频的视频内容中，或者，其视频内容可以包含在其所对应全景视频的其他DPTZ视频的视频内容中。因此，可以向用户展示全景视频与该目标DPTZ视频的空间对应关系，或者，该全景视频的其他DPTZ视频与该目标DPTZ视频的空间对应关系，或者，该全景视频和其他DPTZ视频分别与该目标DPTZ视频的空间对应关系。为了描述方便，下面将上述三种情况总结定义为：向用户展示全景视频和/或DPTZ视频与相应DPTZ视频的空间对应关系。下面首先对本发明实施例所提供的一种视频处理方法进行介绍。如图1所示，一种视频处理方法，可以包括：

S101，利用数字平移/倾斜/变倍DPTZ技术确定一全景视频对应的至少一个DPTZ视频；

其中，由于全景摄像机所拍摄的全景视频为圆形或环形，且包含了由光学系统本身导入的各种图像畸变，不符合人类得视觉习惯，因此，对于一全景视频而言，需要首先利用DPTZ技术确定该全景视频对应的至少一个DPTZ视频。

可以理解的是，利用DPTZ技术可以将360度全景视频直接展开矫正在一个窗口中显示、将360度的全景视频分成两个180度的视频并展开矫正在两个窗口中显示、将360度全景视频分成四个90度的视频并展开矫正在四个窗口中显示。当然，可以根据实际应用场景，将全景视频切割为其他角度的DPTZ视频，这都是合理的。

需要说明的是，对于一目标DPTZ视频而言，其可以在全景视频中存在对应的位置，或者，在其他DPTZ视频中存在对应的位置，当然，其他DPTZ视频所对应的角度应该大于该目标DPTZ视频所对应的角度。

为了便于理解，现将DPTZ技术进行如下简单介绍：

DPTZ技术是利用全景摄像机拍摄的全景视频来模拟真实的PTZ摄像机拍摄的视频。DPTZ平移、倾斜与缩放(变倍)都是在一个极坐标系统中虚拟进行的，一般这个极坐标系选用与全景摄像机同一个极坐标系。如图5所示为全景摄像机极坐标系中的一个单位球面，其标记圈为全景视频中标记圈内某个像素所对应的向量位置。

DPTZ模拟PTZ方法的实质是根据透视投影原理将真实PTZ的平移、倾斜与全景摄像机极坐标系的单位球面相统一；用一个平面与单位球面相切，平面的大小由DPTZ分辨率和缩放值决定；用单位球面的从原点出发向量将单位球面的全景视频信息投射到这个平面上，就是DPTZ窗口内的视频。

S102，计算所确定的DPTZ视频中的像素与所述全景视频中的像素的映射关系；

在利用DPTZ技术将全景视频切割为至少一个DPTZ视频后，需要计算出各个DPTZ视频中的像素与该全景视频中的像素的映射关系。可以理解的是，在确定出各个DPTZ视频中像素与该全景视频中像素的映射关系后，则可以确定出一目标DPTZ视频中的像素与全景视频和/或DPTZ视频中的像素的映射关系。需要说明的是，全景视频和/或DPTZ视频中包含有相应的目标DPTZ视频。

第一步，预设该DPTZ视频的原始视场角、宽高比及视场中心点：视场中心点可以为DPTZ视频的中心或DPTZ视频的成像平面与极坐标单位球面的切点；

第二步，计算该DPTZ视频的原始成像平面大小：原始平面通常为缩放值＝1情况的平面；由于成像平面在中心，根据公式α＝2(arctan(wid/2/r))，计算成像平面的宽为2，根据长宽比得到高Hei＝1.5；

第三步，获得虚拟平移角θ_e和虚拟倾斜角

第一种方法：选取全景视频或其他DPTZ视频中一点，计算该点在坐标系中的方向向量；根据方向向量通过公式获得水平角和俯仰角；第二种方法：直接输入；

第四步，获得缩放值和分辨率：

第五步，计算该DPTZ视频的成像平面大小及法向量：根据原始成像平面尺寸以及所输入的缩放值，按照尺寸比例、面积比例等计算该缩放值下的实际尺寸；根据所输入的分辨率，对成像平面进行离散化分割；如果输入的是虚拟平移角θ_e和虚拟倾斜角

则计算其对应的极坐标向量，如果直接输入向量，则不需要计算，将此向量作为成像平面的法向量；

第六步，计算该DPTZ视频中像素对应的极坐标向量，并根据全景视频与极坐标的对应关系，确定该DPTZ视频中的像素所对应的全景视频中的像素位置。

通过第一步至第六步的计算过程，可以计算出一DPTZ视频中的像素与全景视频中的像素的映射关系。

S103，利用所确定的映射关系，在全景视频和/或DPTZ视频的窗口上设置所述DPTZ视频对应的、区别显示于该全景视频和/或DPTZ视频的视界框；

其中，所述视界框包含的视频内容与相应的DPTZ视频的视频内容相同。

在计算出所确定的DPTZ视频中的像素与全景视频中的像素的映射关系后，则可以在全景视频和/或DPTZ视频的窗口上设置所述DPTZ视频对应的、区别显示于该全景视频和/或DPTZ视频的视界框。

可以理解的是，对于一个目标DPTZ视频而言，如果其仅仅包含在全景视频中，则在全景视频相应位置设置视界框即可；如果其既包含在全景视频中又包含在该全景视频对应的其他DPTZ视频中，则可以根据实际情况在其所属视频的窗口上设置视界框。

其中，在全景视频和/或DPTZ视频的窗口上设置一DPTZ视频对应的、区别显示于所述全景视频和/或DPTZ视频的一视界框，具体可以为：

利用所确定的映射关系，确定该DPTZ视频对应窗口边缘的像素在该全景视频和/或DPTZ视频中的显示位置；

将所确定的显示位置构成视界框，并为该视界框设置一标识颜色，以使得该视界框能够在该全景视频和/或DPTZ视频对应窗口中突出显示。

在本发明的另一实施例中，在全景视频和/或DPTZ视频的窗口上设置一DPTZ视频对应的、区别显示于所述全景视频和/或DPTZ视频的一视界框，具体为：

将所确定的显示位置构成视界框，并为该视界框以及相应DPTZ视频的窗口设置同一标识颜色，以使得所述视界框能够在所述全景视频和/或DPTZ视频对应窗口中突出显示；

可以理解的是，在一个全景视频/DPTZ视频中包含多个DPTZ视频时，可以为每个DPTZ视频和其对应的视界框分配同一种颜色，以能够更好的展现出DPTZ视频与视界框的空间对应关系。

可以理解的是，在一个全景视频/DPTZ视频中包含多个DPTZ视频时，可以为每个DPTZ视频叠加一种颜色的色标，并为其对应的视界框设置与色标相同的颜色，以能够更好的展现出DPTZ视频与视界框的空间对应关系。

需要说明的是，本发明所提供的在全景视频和/或DPTZ视频的窗口上设置一DPTZ视频对应的、区别显示于所述全景视频和/或DPTZ视频的一视界框的方式仅仅是作为一种实例，并不应该构成对本发明方案的限制，本领域人员可以理解的是，还可以通过其他的方式进行区别显示。

S104，将设置有视界框的全景视频和/或DPTZ视频与相应的DPTZ视频同时进行显示。

为了实现向用户展示全景视频和/或DPTZ视频与相应的DPTZ视频的空间对应关系，需要将设置有视界框的全景视频和/或DPTZ视频与相应的DPTZ视频同时进行显示，以使得用户可以清晰获知全景视频和/或DPTZ视频与相应的DPTZ视频之间的关系。

其中，将设置有视界框的全景视频和/或DPTZ视频与相应的DPTZ视频同时进行显示，具体可以为：

更进一步的，为了减小叠加视频的相互遮盖，可以将全景视频和/或DPTZ视频进行半透明处理后，再叠加相应的DPTZ视频。

在本发明的另一实施例中，将设置有视界框的全景视频和/或DPTZ视频与相应的DPTZ视频同时进行显示，具体可以为：

本发明实施例还提供一种视频处理方法，以在向用户展示出全景视频和/或DPTZ视频与相应DPTZ视频的基础上，当DPTZ视频窗口发生变化时，为用户提供准确有效的视频之间的空间对应关系。

如图2所示，一种视频处理方法，可以包括：

S201，利用数字平移/倾斜/变倍DPTZ技术确定一全景视频对应的至少一个DPTZ视频；

S202，计算所确定的DPTZ视频中的像素与所述全景视频中的像素的映射关系；

S203，利用所确定的映射关系，在全景视频和/或DPTZ视频的窗口上设置所述DPTZ视频对应的、区别显示于所述全景视频和/或DPTZ视频的视界框，其中，所述视界框包含的视频内容与相应的DPTZ视频的视频内容相同；

S204，将设置有视界框的全景视频和/或DPTZ视频与相应的DPTZ视频同时进行显示；

本实施例中，步骤S201-步骤S204与上述实施例中步骤S101-步骤S104相似，在此不再赘述。

S205，在接收到DPTZ视频对应窗口被平移、倾斜或缩放的指令后，将设置在所述全景视频和/或DPTZ视频上的相应视界框进行相应调整，以实现所述DPTZ视频的视频内容与相应视界框所包含视频内容相同。

其中，当用户通过鼠标、触屏、键盘等方式对DPTZ视频的窗口进行平移、倾斜或缩放的操作时，会接收到DPTZ视频对应窗口被平移、倾斜或缩放的指令，此时，需要将设置在所述全景视频和/或DPTZ视频上的相应视界框进行相应调整，以实现所述DPTZ视频的视频内容与相应视界框所包含视频内容相同。

本实施例中，在向用户展示出全景视频和/或DPTZ视频与相应DPTZ视频的基础上，当DPTZ视频的窗口被平移、倾斜或缩放时，调整相应的视界框，以此保证了DPTZ视频的视频内容与相应视界框的视频内容相同，为用户提供了准确有效的视频之间的空间对应关系。

本发明实施例还提供一种视频处理方法，以在向用户展示出全景视频和/或DPTZ视频与相应DPTZ视频的基础上，当视界框发生变化时，为用户提供准确有效的视频之间的空间对应关系。

如图3所示，一种视频处理方法，可以包括：

S301，利用数字平移/倾斜/变倍DPTZ技术确定一全景视频对应的至少一个DPTZ视频；

S302，计算所确定的DPTZ视频中的像素与所述全景视频中的像素的映射关系；

S303，利用所确定的映射关系，在全景视频和/或DPTZ视频的窗口上设置所述DPTZ视频对应的、区别显示于所述全景视频和/或DPTZ视频的视界框，其中，所述视界框包含的视频内容与相应的DPTZ视频的视频内容相同；

S304，将设置有视界框的全景视频和/或DPTZ视频与相应的DPTZ视频同时进行显示；

本实施例中，步骤S301-步骤S304与上述实施例中步骤S101-步骤S104相似，在此不再赘述。

S305，在接收到所述全景视频和/或DPTZ视频中一视界框被平移、倾斜或缩放的指令后，将相应DPTZ视频对应窗口进行适应性调整，以实现视界框所包含的视频内容与相应DPTZ视频的视频内容相同。

其中，当用户通过鼠标、触屏、键盘等方式对设置在全景视频和/或DPTZ视频中的一视界框进行平移、倾斜或缩放的操作时，会接收到所述全景视频和/或DPTZ视频中一视界框被平移、倾斜或缩放的指令，此时，需要将相应的DPTZ视频对应窗口进行适应性调整，以实现视界框所包含的视频内容与相应DPTZ视频的视频内容相同。

本实施例中，在向用户展示出全景视频和/或DPTZ视频与相应DPTZ视频的基础上，当设置在全景视频和/或DPTZ视频上的一视界框被平移、倾斜或缩放时，调整相应DPTZ视频的窗口，以此保证了视界框所包含的视频内容与相应DPTZ视频的视频内容相同，为用户提供了准确有效的视频之间的空间对应关系。

本发明实施例还提供一种视频处理方法，以在向用户展示出全景视频和/或DPTZ视频与相应DPTZ视频的基础上，当全景视频绕中心整体旋转时，为用户提供准确有效的视频之间的空间对应关系。

如图4所示，一种视频处理方法，可以包括：

S401，利用数字平移/倾斜/变倍DPTZ技术确定一全景视频对应的至少一个DPTZ视频；

S402，计算所确定的DPTZ视频中的像素与所述全景视频中的像素的映射关系；

S403，利用所确定的映射关系，在全景视频和/或DPTZ视频的窗口上设置所述DPTZ视频对应的、区别显示于所述全景视频和/或DPTZ视频的视界框，其中，所述视界框包含的视频内容与相应的DPTZ视频的视频内容相同；

S404，将设置有视界框的全景视频和/或DPTZ视频与相应的DPTZ视频同时进行显示；

本实施例中，步骤S401-步骤S404与上述实施例中步骤S101-步骤S104相似，在此不再赘述。

S405，在接收到全景视频绕中心整体旋转的指令后，将所述全景视频中的视界框对应的DPTZ视频进行调整，以使得全景视频中视界框所包含的视频内容与相应DPTZ视频的视频内容相同。

其中，当用户通过鼠标、触屏、键盘灯方式将全景视频绕中心整体旋转时，会接收到全景视频绕中心整体旋转的指令，此时需要将所述全景视频中的视界框对应的DPTZ视频进行调整，以使得全景视频中视界框所包含的视频内容与相应DPTZ视频的视频内容相同。

本实施例中，在向用户展示出全景视频和/或DPTZ视频与相应DPTZ视频的基础上，当全景视频绕中心整体旋转时，将所述全景视频中的视界框对应的DPTZ视频进行调整，以此保证了视界框所包含的视频内容与相应DPTZ视频的视频内容相同，为用户提供了准确有效的视频之间的空间对应关系。

下面结合具体的应用实例对本发明所提供的一种视频处理方法对应的显示界面进行介绍。

实施例一：

如图6所示的显示界面示意图。其中，(1)、(2)、(3)、(4)为4个显示DPTZ视频的窗口，[1]、[2]、[3]、[4]为4个视界框，显示界面中心部分为全景视频的窗口，全景视频通过一定方式叠加显示在4个DPTZ视频之上，且全景视频显示透明度可以调整，以优化两种视频的相互遮盖效应。其中，(1)、(2)、(3)、(4)窗口内的视频分别为视界框[1]、[2]、[3]、[4]内的视频内容具有映射关系。

其中，具有映射关系的DPTZ视频的窗口和视界框的颜色相同，对应关系可以如下表1所示：

表1

当用户通过鼠标、键盘、触屏等方式控制(1)/(2)/(3)/(4)中某个DPTZ视频在其窗口内平移、倾斜和缩放(变倍)时，将同步反映在显示界面中心的全景视频中的对应的[1]/[2]/[3]/[4]视界框上，也就是，相应视界框的位置、形状和大小将根据映射关系发生变化。

当用户通过鼠标、键盘、触屏等方式控制显示界面中心的全景视频的[1]/[2]/[3]/[4]中某个视界框进行平移、倾斜和缩放(变倍)时，将同步反映在显示界面中相应的(1)/(2)/(3)/(4)DPTZ视频上，也就是，相应的DPTZ视频将根据映射关系在其窗口内发生平移、倾斜和缩放(变倍)。

当用户通过鼠标键盘、触屏等方式控制显示界面中心的全景视频绕中心整体旋转时，将同步反映在(1)、(2)、(3)、(4)这4个DPTZ视频上，因全景视频内[1]、[2]、[3]、[4]这4个视界框将相对旋转，相应的4个DPTZ视频根据映射关系发生平移。

实施例二：

如图7所示，为本发明的另一种显示界面示意图。其中，(1)、(2)为2个显示DPTZ视频的窗口，[1]、[2]为两个视界框；显示界面的左侧是全景视频的窗口，右侧为2个180度部分的DPTZ视频窗口。由于这种方式的全景视频的窗口比较大，且DPTZ视频窗口个数较小，比较适合低分辨率的全景视频的显示。其中，(1)、(2)分别与[1]、[2]具有映射关系。

具有映射关系的DPTZ视频的窗口与视界框的颜色相同，对应关系可以如下表2所示：

表2

当用户通过鼠标、键盘、触屏等方式控制(1)/(2)中某个DPTZ视频在其窗口内平移、倾斜和缩放(变倍)时，将同步反映在显示界面中心的全景视频中的对应的[1]/[2]视界框上，也就是，相应视界框的位置、形状和大小将根据映射关系发生变化。

当用户通过鼠标、键盘、触屏等方式控制显示界面中心的全景视频的[1]/[2]中某个视界框进行平移、倾斜和缩放(变倍)时，将同步反映在显示界面中相应的(1)/(2)DPTZ视频上，也就是，相应的DPTZ视频将根据映射关系在其窗口内发生平移、倾斜和缩放(变倍)。

当用户通过鼠标键盘、触屏等方式控制显示界面中心的全景视频绕中心整体旋转时，将同步反映在(1)、(2)这2个DPTZ视频上，因全景视频内[1]、[2]这2个视界框将相对旋转，相应的2个DPTZ视频根据映射关系发生平移。

实施例三：

如图8所述，为本发明的另一种显示界面示意图。其中，上面的(1)为一个与全景视频局部区域映射的DPTZ视频的窗口，下面的(2)为一个与全景视频全部区域映射的DPTZ视频的窗口。其中，[1]是(1)对应的视界框。

当用户通过鼠标、触屏、键盘灯方式控制(1)中DPTZ视频在其窗口内平移、倾斜和缩放(变倍)时，将同步反映在(2)中DPTZ视频对应的[1]视界框上，也就是，[1]的位置、形状和大小将根据映射关系发生变化。

当用户通过鼠标、键盘、触屏等方式控制(2)中的DPTZ视频中[1]视界框平移、倾斜或缩放(变倍)时，将同步反映在其对应的(1)DPTZ视频中，也就是，(1)DPTZ视频将根据映射关系在其窗口内发生平移、倾斜和缩放(变倍)。

当用户通过鼠标、键盘、触屏等方式控制(2)DPTZ视频左右平移时，将同步反映在(1)DPTZ视频上，因(2)DPTZ视频中[1]视界框将相对旋转，(1)DPTZ视频根据映射关系发生平移。

实施例四：

如图9所示的显示界面示意图。其中，(1)、(2)、(3)、(4)为4个显示DPTZ视频的窗口，且显示DPTZ视频的窗口上分别设置有色标(10)、(20)、(30)、(40)；[1]、[2]、[3]、[4]为4个视界框，显示界面中心部分为全景视频的窗口，全景视频通过一定方式叠加显示在4个DPTZ视频之上，且全景视频显示透明度可以调整，以优化两种视频的相互遮盖效应。其中，(1)、(2)、(3)、(4)窗口内的视频分别为视界框[1]、[2]、[3]、[4]内的视频内容具有映射关系。

其中，具有映射关系的DPTZ视频的窗口中色标和视界框的颜色相同，对应关系可以如下表3所示：

表3

通过以上的方法实施例的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

相应的，本发明实施例还提供一种视频处理装置，如图10所示，可以包括：

DPTZ视频确定模块110，用于利用数字平移/倾斜/变倍DPTZ技术确定一全景视频对应的至少一个DPTZ视频；

映射关系确定模块120，用于计算所确定的DPTZ视频中的像素与所述全景视频中的像素的映射关系；

视界框确定模块130，用于利用所确定的映射关系，在全景视频和/或DPTZ视频的窗口上设置所述DPTZ视频对应的、区别显示于所述全景视频和/或DPTZ视频的视界框，其中，所述视界框包含的视频内容与相应的DPTZ视频的视频内容相同；

显示模块140，用于将设置有视界框的全景视频和/或DPTZ视频与相应的DPTZ视频同时进行显示。

本发明所提供的视频处理装置，在确定出一全景视频对应的至少一个DPTZ视频后，确定DPTZ视频中的像素与全景视频像素的映射关系；并利用该映射关系，在全景视频和/或DPTZ视频的窗口上设置所述DPTZ视频对应的、与全景视频和/或DPTZ视频区别显示的视界框，且将设置有视界框的全景视频和/或DPTZ视频与相应的DPTZ视频同时进行显示。可见，在全景视频和/或DPTZ视频中设置相应DPTZ视频的视界框的方式，可以达到向用户展示全景视频和/或DPTZ视频与相应DPTZ视频的空间对应关系的目的。

其中，映射关系确定模块120中计算一DPTZ视频中的像素与所述全景视频中的像素的映射关系的具体过程为：

预设所述DPTZ视频的原始视场角、宽高比及视场中心点；

计算所述DPTZ视频的原始成像平面大小；

获得虚拟平移角和虚拟倾斜角；

获得缩放值和分辨率；

计算所述DPTZ视频的成像平面大小及法向量；

其中，视界框确定模块130，可以包括：

第一显示位置确定单元，用于利用所确定的映射关系，确定所述DPTZ视频对应窗口边缘的像素在所述全景视频和/或DPTZ视频中的显示位置；

第一视界框构建单元，用于将所确定的显示位置构成视界框，并为所述视界框设置一标识颜色，以使得所述视界框能够在所述全景视频和/或DPTZ视频对应窗口中突出显示。

其中，视界框确定模块130，可以包括：

第二显示位置确定单元，用于利用所确定的映射关系，确定所述DPTZ视频对应窗口边缘的像素在所述全景视频和/或DPTZ视频中的显示位置；

第二视界框构建单元，用于将所确定的显示位置构成视界框，并为所述视界框以及相应DPTZ视频的窗口设置同一标识颜色，以使得所述视界框能够在所述全景视频和/或DPTZ视频对应窗口中突出显示；

其中，视界框确定模块130，可以包括：

第三显示位置确定单元，用于利用所确定的映射关系，确定所述DPTZ视频对应窗口边缘的像素在所述全景视频和/或DPTZ视频中的显示位置；

第三视界框构建单元，用于将所确定的显示位置构成视界框，并为所述视界框设置与相应DPTZ视频窗口上所叠加色标的颜色相同的标识颜色，以使得所述视界框能够在所述全景视频和/或DPTZ视频对应窗口中突出显示；

其中，所述视界框的标识颜色与所述DPTZ视频的窗口的色标的颜色具有唯一对应性。

其中，显示模块140，可以包括：

第一显示单元，用于在设置有视界框的全景视频和/或DPTZ视频所在的显示单元上叠加显示相应的DPTZ视频。

更进一步的，该第一显示单元具体用于：

其中，显示模块140，可以包括：

第二显示单元，用于分别将设置有视界框的全景视频和/或DPTZ视频和相应的DPTZ视频显示在不同的显示单元上，且保证设置有视界框的全景视频和/或DPTZ视频和相应的DPTZ视频同时显示给用户。

更进一步的，该视频处理装置，还可以包括：

视界框调整模块，用于在接收到DPTZ视频对应窗口被平移、倾斜或缩放的指令后，将设置在所述全景视频和/或DPTZ视频上的相应视界框进行相应调整，以实现所述DPTZ视频的视频内容与相应视界框所包含视频内容相同。

更进一步的，该视频处理装置，还可以包括：

第一DPTZ视频调整模块，用于在接收到所述全景视频和/或DPTZ视频中一视界框被平移、倾斜或缩放的指令后，将相应DPTZ视频对应窗口进行适应性调整，以实现视界框所包含的视频内容与相应DPTZ视频的视频内容相同。

更进一步的，该视频处理装置，还可以包括：

第二DPTZ视频调整模块，用于在接收到全景视频绕中心整体旋转的指令后，将所述全景视频中的视界框对应的DPTZ视频进行调整，以使得全景视频中视界框所包含的视频内容与相应DPTZ视频的视频内容相同。

对于装置或系统实施例而言，由于其基本相应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置或系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，在没有超过本申请的精神和范围内，可以通过其他的方式实现。当前的实施例只是一种示范性的例子，不应该作为限制，所给出的具体内容不应该限制本申请的目的。例如，所述单元或子单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或多个子单元结合一起。另外，多个单元可以或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

另外，所描述系统，装置和方法以及不同实施例的示意图，在不超出本申请的范围内，可以与其它系统，模块，技术或方法结合或集成。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

以上所述仅是本发明的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种视频处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，计算一DPTZ视频中的像素与所述全景视频中的像素的一映射关系，具体为：

预设所述DPTZ视频的原始视场角、宽高比及视场中心点；

计算所述DPTZ视频的原始成像平面大小；

获得虚拟平移角和虚拟倾斜角；

获得缩放值和分辨率；

计算所述DPTZ视频的成像平面大小及法向量；

3.根据权利要求1所述的方法，其特征在于，在全景视频和/或DPTZ视频的窗口上设置一DPTZ视频对应的、区别显示于所述全景视频和/或DPTZ视频的一视界框，具体为：

4.根据权利要求1所述的方法，其特征在于，在全景视频和/或DPTZ视频的窗口上设置一DPTZ视频对应的、区别显示于所述全景视频和/或DPTZ视频的一视界框，具体为：

5.根据权利要求1所述的方法，其特征在于，在全景视频和/或DPTZ视频的窗口上设置一DPTZ视频对应的、区别显示于所述全景视频和/或DPTZ视频的一视界框，具体为：

6.根据权利要求1所述的方法，其特征在于，将设置有视界框的全景视频和/或DPTZ视频与相应的DPTZ视频同时进行显示，具体为：

7.根据权利要求6所述的方法，其特征在于，在设置有视界框的全景视频和/或DPTZ视频所在的显示单元上叠加显示所述相应的DPTZ视频，具体为：

8.根据权利要求1所述的方法，其特征在于，将设置有视界框的全景视频和/或DPTZ视频与相应的DPTZ视频同时进行显示，具体为：

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

11.根据权利要求1所述的方法，其特征在于，所述方法还包括：

12.一种视频处理装置，其特征在于，包括：