CN111866467B - 监控视频的三维覆盖空间确定方法、装置及存储介质 - Google Patents

Abstract

本发明实施例提供了一种监控视频的三维覆盖空间确定方法、装置及存储介质。所述方法包括：获取三维场景内已标定的虚拟相机的虚拟相机参数，并获取所述虚拟相机对应的实体相机的视频流的分辨率；根据所述虚拟相机参数和所述分辨率确定所述实体相机的视频画面的多个顶点在相机坐标系下的坐标，并将所述多个顶点在所述相机坐标系下的坐标转换为所述多个顶点在世界坐标系下的坐标；根据所述虚拟相机参数和所述多个顶点在所述世界坐标系下的坐标，确定所述虚拟相机在所述三维场景内的覆盖空间。通过本发明，解决了无法准确确定摄像机监控视频的三维覆盖空间的问题。

Description

监控视频的三维覆盖空间确定方法、装置及存储介质

技术领域

本发明实施例涉及三维监控技术领域，具体而言，涉及一种监控视频的三维覆盖空间确定方法、装置及存储介质。

背景技术

现阶段视频监控已经应用在大街小巷，对社会安全的促进起到了极大的作用。而清晰地掌握视频监控的覆盖空间将有利于整个监控场景内摄像机的布置，做到最大限度的监控资源利用及场景的最大覆盖。

现阶段视频监控领域主要以二维视频为主，主要通过辨识视频画面的具体内容来近似判断摄像机的覆盖空间。由于二维监控视频是平面的，很难显示出整个监控摄像机视野范围的三维立体空间。

各个摄像机的监控视频只有局部视角，很难通过二维监控视频准确判断出各个摄像机在场景内的覆盖范围，这样就会造成摄像机资源的浪费，更会造成监控死角的出现。

因此，如何准确确定摄像机监控视频的三维覆盖空间，是目前亟待解决的问题。

发明内容

本发明实施例提供了一种监控视频的三维覆盖空间确定方法、装置及存储介质，以至少解决相关技术中无法准确确定摄像机监控视频的三维覆盖空间的问题。

根据本发明的一个实施例，提供了一种监控视频的三维覆盖空间确定方法，包括：获取三维场景内已标定的虚拟相机的虚拟相机参数，并获取所述虚拟相机对应的实体相机的视频流的分辨率；根据所述虚拟相机参数和所述分辨率确定所述实体相机的视频画面的多个顶点在相机坐标系下的坐标，并将所述多个顶点在所述相机坐标系下的坐标转换为所述多个顶点在世界坐标系下的坐标；根据所述虚拟相机参数和所述多个顶点在所述世界坐标系下的坐标，确定所述虚拟相机在所述三维场景内的覆盖空间。

在至少一个示例性实施例中，根据所述虚拟相机参数和所述分辨率确定所述实体相机的视频画面的多个顶点在相机坐标系下的坐标包括：根据所述虚拟相机参数和所述分辨率计算相机坐标系的等效焦距；根据所述等效焦距将所述视频画面的多个顶点在图像坐标系下的坐标转换为所述多个顶点在所述相机坐标系下的坐标。

在至少一个示例性实施例中，所述虚拟相机参数包括所述虚拟相机的视场角fovy，所述分辨率包括分辨率的高度信息height，根据所述虚拟相机参数和所述分辨率计算相机坐标系的等效焦距包括：计算所述相机坐标系的等效焦距fy＝(height/2.0)/tan(fovy*0.5)。

在至少一个示例性实施例中，根据所述等效焦距将所述视频画面的多个顶点在图像坐标系下的坐标转换为所述多个顶点在所述相机坐标系下的坐标包括：对于所述多个顶点中的每个顶点，根据所述等效焦距fy和所述顶点在所述图像坐标系下的二维坐标(u,v)，分别确定所述图像坐标系的x方向的夹角正切值tan_x＝(u–center_u)/fy和y方向的夹角正切值tan_y＝(v–center_v)/fy，其中，u和v分别为所述顶点在所述图像坐标系下x方向和y方向的坐标，center_u和center_v分别为所述图像坐标系下x方向和y方向的中心点坐标；确定所述顶点在所述相机坐标系下三维坐标p，其中，所述相机坐标系下z方向的坐标p.z＝Far，x方向的坐标p.x＝Far*tan_x，y方向的坐标p.y＝Far*tan_y，其中，Far为所述虚拟相机对称透视视景体的可视最远距离。

在至少一个示例性实施例中，将所述多个顶点在所述相机坐标系下的坐标转换为所述多个顶点在世界坐标系下的坐标包括：根据所述虚拟相机参数计算所述虚拟相机的观察矩阵的逆矩阵；对于所述多个顶点中的每个顶点，根据所述观察矩阵的逆矩阵将所述顶点在所述相机坐标系下的坐标转换为所述顶点在所述世界坐标系下的坐标。

在至少一个示例性实施例中，所述虚拟相机参数包括所述虚拟相机的视点在世界坐标系下的坐标eye，以及姿态角，所述姿态角包括俯仰角pitch、偏航角yaw和侧滚角roll，根据所述虚拟相机参数计算所述虚拟相机的观察矩阵的逆矩阵包括：确定旋转矩阵Rotate和平移矩阵Translate，其中，Rotate＝Matrix(pitch*yaw*roll)，Translate＝Matrix(eye)，Matrix()代表矩阵求解；计算所述观察矩阵的逆矩阵ViewMatrixInvert＝Rotate*Translate。

在至少一个示例性实施例中，根据所述观察矩阵的逆矩阵将所述顶点在所述相机坐标系下的坐标转换为所述顶点在所述世界坐标系下的坐标包括：根据所述观察矩阵的逆矩阵ViewMatrixInvert确定所述顶点在所述世界坐标系下的坐标WorldPoint＝p*ViewMatrixInvert，其中，p为所述顶点在所述相机坐标系下的坐标。

在至少一个示例性实施例中，所述虚拟相机参数包括所述虚拟相机的视点在世界坐标系下的坐标，根据所述虚拟相机参数和所述多个顶点在所述世界坐标系下的坐标，确定所述虚拟相机在所述三维场景内的覆盖空间包括：基于所述虚拟相机的所述视点在所述世界坐标系下的坐标和所述多个顶点在所述世界坐标系下的坐标绘制几何体，并将所述几何体确定为所述虚拟相机在所述三维场景内的所述覆盖空间。

在至少一个示例性实施例中，根据所述虚拟相机参数和所述多个顶点在所述世界坐标系下的坐标，确定所述虚拟相机在所述三维场景内的覆盖空间之后，所述方法还包括：在所述三维场景内使用三维渲染引擎绘制出所述几何体作为所述虚拟相机在所述三维场景内的所述覆盖空间的可视化效果。

根据本发明的另一个实施例，提供了一种监控视频的三维覆盖空间确定装置，包括：参数获取模块，设置为获取三维场景内已标定的虚拟相机的虚拟相机参数，并获取所述虚拟相机对应的实体相机的视频流的分辨率；坐标转换模块，设置为根据所述虚拟相机参数和所述分辨率确定所述实体相机的视频画面的多个顶点在相机坐标系下的坐标，并将所述多个顶点在所述相机坐标系下的坐标转换为所述多个顶点在世界坐标系下的坐标；覆盖空间确定模块，设置为根据所述虚拟相机参数和所述多个顶点在所述世界坐标系下的坐标，确定所述虚拟相机在所述三维场景内的覆盖空间。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，由于根据虚拟相机参数和分辨率确定实体相机的视频画面的多个顶点在相机坐标系下的坐标，并将所述多个顶点在所述相机坐标系下的坐标转换为所述多个顶点在世界坐标系下的坐标，从而能够根据所述虚拟相机参数和所述多个顶点在所述世界坐标系下的坐标，确定所述虚拟相机在所述三维场景内的覆盖空间，因此，可以解决无法准确确定摄像机监控视频的三维覆盖空间的问题，实现了三维覆盖空间的准确确定，为基于覆盖空间的多种技术应用提供良好的先决条件。

附图说明

图1是根据本发明实施例的监控视频的三维覆盖空间确定方法的流程图；

图2是根据本发明实施例的监控视频的三维覆盖空间确定方法的示例性流程图；

图3是根据本发明实施例的监控视频的三维覆盖空间确定装置的结构框图；

图4是根据本发明实施例的监控视频的三维覆盖空间确定装置的示例性流程图；

图5是根据本发明实施例的虚拟相机的视景体的示意图；

图6是根据本发明实施例的视景体绘制的流程图。

具体实施方式

相关技术中，往往只能够基于监控视频的视频纹理大体判断监控覆盖范围，无法准确确定并直观立体地显示出摄像机监控视频的三维覆盖空间。此外，当多个摄像头的覆盖空间存在重叠区域时，往往无法准确判断监控区域隶属的摄像头。

为了克服上述问题，本发明实施例能够准确确定三维覆盖空间，在某些示例性实施例中还能够进一步在三维虚拟监控场景内直观立体地显示出真实场景的监控视频的覆盖空间，从而让用户清晰直观地辨识出真实场景下摄像机监控视频的覆盖范围。

下文中将参考附图并结合实施例来详细说明本发明的实施例。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例中所提供的方法实施例可以在任意具有计算处理能力的电子装置中执行，包括但不限于终端设备、个人电脑、服务器、监控视频处理平台等等。

图1是根据本发明实施例的监控视频的三维覆盖空间确定方法的流程图，如图1所示，该流程包括如下步骤S102至S106。

步骤S102，获取三维场景内已标定的虚拟相机的虚拟相机参数，并获取所述虚拟相机对应的实体相机的视频流的分辨率。

在至少一个示例性实施例中，所述虚拟相机参数可以包括所述虚拟相机的位置参数和角度参数，其中，所述虚拟相机的位置参数可以包括所述虚拟相机的视点在世界坐标系下的坐标eye，所述虚拟相机的角度参数可以包括视场角fovy和姿态角，其中，所述姿态角包括俯仰角pitch、偏航角yaw和侧滚角roll。

本步骤S102中获取三维场景内已标定的虚拟相机的虚拟相机参数，以及获取所述虚拟相机对应的实体相机的视频流的分辨率是各自独立的获取过程，二者之间的顺序是随意指定，本发明实施例对此不做限定。

步骤S104，根据所述虚拟相机参数和所述分辨率确定所述实体相机的视频画面的多个顶点在相机坐标系下的坐标，并将所述多个顶点在所述相机坐标系下的坐标转换为所述多个顶点在世界坐标系下的坐标。

在至少一个示例性实施例中，根据所述虚拟相机参数和所述分辨率确定所述实体相机的视频画面的多个顶点在相机坐标系下的坐标可以包括以下操作S104-1和S104-2。

步骤S104-1，根据所述虚拟相机参数和所述分辨率计算相机坐标系的等效焦距。

在至少一个示例性实施例中，所述虚拟相机参数包括所述虚拟相机的视场角fovy，所述分辨率包括分辨率的高度信息height，步骤S104-1可以包括：计算所述相机坐标系的等效焦距fy＝(height/2.0)/tan(fovy*0.5)。

步骤S104-2，根据所述等效焦距将所述视频画面的多个顶点在图像坐标系下的坐标转换为所述多个顶点在所述相机坐标系下的坐标。

在至少一个示例性实施例中，步骤S104-2可以包括：

对于所述多个顶点中的每个顶点，

根据所述等效焦距fy和所述顶点在所述图像坐标系下的二维坐标(u,v)，分别确定所述图像坐标系的x方向的夹角正切值tan_x＝(u–center_u)/fy和y方向的夹角正切值tan_y＝(v–center_v)/fy，其中，u和v分别为所述顶点在所述图像坐标系下x方向和y方向的坐标，center_u和center_v分别为所述图像坐标系下x方向和y方向的中心点坐标；

确定所述顶点在所述相机坐标系下三维坐标p，其中，所述相机坐标系下z方向的坐标p.z＝Far，x方向的坐标p.x＝Far*tan_x，y方向的坐标p.y＝Far*tan_y，其中，Far为所述虚拟相机对称透视视景体的可视最远距离。

在至少一个示例性实施例中，将所述多个顶点在所述相机坐标系下的坐标转换为所述多个顶点在世界坐标系下的坐标可以包括以下操作S104-3和S104-4。

步骤S104-3，根据所述虚拟相机参数计算所述虚拟相机的观察矩阵的逆矩阵。

在至少一个示例性实施例中，所述虚拟相机参数包括所述虚拟相机的视点在世界坐标系下的坐标eye，以及姿态角，所述姿态角包括俯仰角pitch、偏航角yaw和侧滚角roll，步骤S104-3可以包括：确定旋转矩阵Rotate和平移矩阵Translate，其中，Rotate＝Matrix(pitch*yaw*roll)，Translate＝Matrix(eye)，Matrix()代表矩阵求解；计算所述观察矩阵的逆矩阵ViewMatrixInvert＝Rotate*Translate。

步骤S104-4，对于所述多个顶点中的每个顶点，根据所述观察矩阵的逆矩阵将所述顶点在所述相机坐标系下的坐标转换为所述顶点在所述世界坐标系下的坐标。

需要注意的是，步骤S104-4基于步骤S104-2的所述顶点在所述相机坐标系下的坐标的确定结果，但是步骤S104-3却并不依赖于这样的结果，因此，步骤S104-3与步骤S104-1和S104-2之间并无执行先后的制约。

在至少一个示例性实施例中，步骤S104-4可以包括：根据所述观察矩阵的逆矩阵ViewMatrixInvert确定所述顶点在所述世界坐标系下的坐标WorldPoint＝p*ViewMatrixInvert，其中，p为所述顶点在所述相机坐标系下的坐标。

步骤S106，根据所述虚拟相机参数和所述多个顶点在所述世界坐标系下的坐标，确定所述虚拟相机在所述三维场景内的覆盖空间。

在至少一个示例性实施例中，所述虚拟相机参数包括所述虚拟相机的视点在世界坐标系下的坐标，步骤S106可以包括：

基于所述虚拟相机的所述视点在所述世界坐标系下的坐标和所述多个顶点在所述世界坐标系下的坐标绘制几何体，并将所述几何体确定为所述虚拟相机在所述三维场景内的所述覆盖空间。

图2是根据本发明实施例的监控视频的三维覆盖空间确定方法的示例性流程图，如图2所示，在至少一个示例性实施例中，步骤S106之后，所述方法还可以包括：

步骤S202，在所述三维场景内使用三维渲染引擎绘制出所述几何体作为所述虚拟相机在所述三维场景内的所述覆盖空间的可视化效果。

在至少一个示例性实施例中，步骤S202可以包括以下操作：

在所述三维场景内使用三维渲染引擎绘制以所述虚拟相机的所述视点在所述世界坐标系下的坐标为顶点、以所述多个顶点在所述世界坐标系下的坐标构成的几何图形为底面的几何体，作为所述虚拟相机在所述三维场景内的所述覆盖空间的可视化效果。

在至少一个示例性实施例中，所述实体相机的视频画面可以具有四个顶点，则步骤S202可以包括以下操作：

在所述三维场景内使用三维渲染引擎绘制以所述虚拟相机的所述视点在所述世界坐标系下的坐标为顶点、以所述四个顶点在所述世界坐标系下的坐标构成的四边形为底面的四棱锥体，作为所述虚拟相机在所述三维场景内的所述覆盖空间的可视化效果。

通过上述步骤，由于根据虚拟相机参数和分辨率确定实体相机的视频画面的多个顶点在相机坐标系下的坐标，并将所述多个顶点在所述相机坐标系下的坐标转换为所述多个顶点在世界坐标系下的坐标，从而能够根据所述虚拟相机参数和所述多个顶点在所述世界坐标系下的坐标，确定所述虚拟相机在所述三维场景内的覆盖空间，因此，可以解决无法准确确定摄像机监控视频的三维覆盖空间的问题，实现了三维覆盖空间的准确确定，为基于覆盖空间的多种技术应用提供良好的先决条件。

其中，本发明实施例的各个步骤的执行主体可以为任意具有计算处理能力的电子装置，包括但不限于终端设备、个人电脑、服务器、监控视频处理平台等等，但不限于此。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种监控视频的三维覆盖空间确定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图3是根据本发明实施例的监控视频的三维覆盖空间确定装置的结构框图，如图3所示，该装置包括：

参数获取模块32，设置为获取三维场景内已标定的虚拟相机的虚拟相机参数，并获取所述虚拟相机对应的实体相机的视频流的分辨率；

坐标转换模块34，设置为根据所述虚拟相机参数和所述分辨率确定所述实体相机的视频画面的多个顶点在相机坐标系下的坐标，并将所述多个顶点在所述相机坐标系下的坐标转换为所述多个顶点在世界坐标系下的坐标；

覆盖空间确定模块36，设置为根据所述虚拟相机参数和所述多个顶点在所述世界坐标系下的坐标，确定所述虚拟相机在所述三维场景内的覆盖空间。

在至少一个示例性实施例中，所述虚拟相机参数可以包括所述虚拟相机的位置参数和角度参数，其中，所述虚拟相机的位置参数可以包括所述虚拟相机的视点在世界坐标系下的坐标eye，所述虚拟相机的角度参数可以包括视场角fovy和姿态角，其中，所述姿态角包括俯仰角pitch、偏航角yaw和侧滚角roll。

本步骤S102中获取三维场景内已标定的虚拟相机的虚拟相机参数，以及获取所述虚拟相机对应的实体相机的视频流的分辨率是各自独立的获取过程，二者之间的顺序是随意指定，本发明实施例对此不做限定。

在至少一个示例性实施例中，所述坐标转换模块34可以通过执行以下操作根据所述虚拟相机参数和所述分辨率确定所述实体相机的视频画面的多个顶点在相机坐标系下的坐标：

(1)根据所述虚拟相机参数和所述分辨率计算相机坐标系的等效焦距。

在至少一个示例性实施例中，所述虚拟相机参数包括所述虚拟相机的视场角fovy，所述分辨率包括分辨率的高度信息height，该过程可以包括：计算所述相机坐标系的等效焦距fy＝(height/2.0)/tan(fovy*0.5)。

(2)根据所述等效焦距将所述视频画面的多个顶点在图像坐标系下的坐标转换为所述多个顶点在所述相机坐标系下的坐标。在至少一个示例性实施例中，该过程可以包括：对于所述多个顶点中的每个顶点，根据所述等效焦距fy和所述顶点在所述图像坐标系下的二维坐标(u,v)，分别确定所述图像坐标系的x方向的夹角正切值tan_x＝(u–center_u)/fy和y方向的夹角正切值tan_y＝(v–center_v)/fy，其中，u和v分别为所述顶点在所述图像坐标系下x方向和y方向的坐标，center_u和center_v分别为所述图像坐标系下x方向和y方向的中心点坐标；确定所述顶点在所述相机坐标系下三维坐标p，其中，所述相机坐标系下z方向的坐标p.z＝Far，x方向的坐标p.x＝Far*tan_x，y方向的坐标p.y＝Far*tan_y，其中，Far为所述虚拟相机对称透视视景体的可视最远距离。

在至少一个示例性实施例中，所述坐标转换模块34可以通过执行以下操作将所述多个顶点在所述相机坐标系下的坐标转换为所述多个顶点在世界坐标系下的坐标：

(1)根据所述虚拟相机参数计算所述虚拟相机的观察矩阵的逆矩阵。

在至少一个示例性实施例中，所述虚拟相机参数包括所述虚拟相机的视点在世界坐标系下的坐标eye，以及姿态角，所述姿态角包括俯仰角pitch、偏航角yaw和侧滚角roll，当前操作可以包括：确定旋转矩阵Rotate和平移矩阵Translate，其中，Rotate＝Matrix(pitch*yaw*roll)，Translate＝Matrix(eye)，Matrix()代表矩阵求解；计算所述观察矩阵的逆矩阵ViewMatrixInvert＝Rotate*Translate。

(2)对于所述多个顶点中的每个顶点，根据所述观察矩阵的逆矩阵将所述顶点在所述相机坐标系下的坐标转换为所述顶点在所述世界坐标系下的坐标。

在至少一个示例性实施例中，当前操作可以包括：根据所述观察矩阵的逆矩阵ViewMatrixInvert确定所述顶点在所述世界坐标系下的坐标WorldPoint＝p*ViewMatrixInvert，其中，p为所述顶点在所述相机坐标系下的坐标。

在至少一个示例性实施例中，所述虚拟相机参数包括所述虚拟相机的视点在世界坐标系下的坐标，所述覆盖空间确定模块36可以设置为：基于所述虚拟相机的所述视点在所述世界坐标系下的坐标和所述多个顶点在所述世界坐标系下的坐标绘制几何体，并将所述几何体确定为所述虚拟相机在所述三维场景内的所述覆盖空间。

图4是根据本发明实施例的监控视频的三维覆盖空间确定装置的示例性流程图，如图4所示，在至少一个示例性实施例中，在图3所示的模块的基础上，所述装置还可以包括：

覆盖空间绘制模块42，在所述三维场景内使用三维渲染引擎绘制出所述几何体作为所述虚拟相机在所述三维场景内的所述覆盖空间的可视化效果。

在至少一个示例性实施例中，所述覆盖空间绘制模块42可以设置为：在所述三维场景内使用三维渲染引擎绘制以所述虚拟相机的所述视点在所述世界坐标系下的坐标为顶点、以所述多个顶点在所述世界坐标系下的坐标构成的几何图形为底面的几何体，作为所述虚拟相机在所述三维场景内的所述覆盖空间的可视化效果。

在至少一个示例性实施例中，所述实体相机的视频画面可以具有四个顶点，则所述覆盖空间绘制模块42可以设置为执行以下操作：在所述三维场景内使用三维渲染引擎绘制以所述虚拟相机的所述视点在所述世界坐标系下的坐标为顶点、以所述四个顶点在所述世界坐标系下的坐标构成的四边形为底面的四棱锥体，作为所述虚拟相机在所述三维场景内的所述覆盖空间的可视化效果。

通过上述装置，由于根据虚拟相机参数和分辨率确定实体相机的视频画面的多个顶点在相机坐标系下的坐标，并将所述多个顶点在所述相机坐标系下的坐标转换为所述多个顶点在世界坐标系下的坐标，从而能够根据所述虚拟相机参数和所述多个顶点在所述世界坐标系下的坐标，确定所述虚拟相机在所述三维场景内的覆盖空间，因此，可以解决无法准确确定摄像机监控视频的三维覆盖空间的问题，实现了三维覆盖空间的准确确定，为基于覆盖空间的多种技术应用提供良好的先决条件。

其中，本发明实施例的装置可以设置于任意具有计算处理能力的电子装置，包括但不限于终端设备、个人电脑、服务器、监控视频处理平台等等，但不限于此。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在本实施例中，上述计算机可读存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取三维场景内已标定的虚拟相机的虚拟相机参数，并获取所述虚拟相机对应的实体相机的视频流的分辨率；

S2，根据所述虚拟相机参数和所述分辨率确定所述实体相机的视频画面的多个顶点在相机坐标系下的坐标，并将所述多个顶点在所述相机坐标系下的坐标转换为所述多个顶点在世界坐标系下的坐标；

S3，根据所述虚拟相机参数和所述多个顶点在所述世界坐标系下的坐标，确定所述虚拟相机在所述三维场景内的覆盖空间。

计算机可读存储介质还被设置为存储用于执行以下步骤的计算机程序：在所述三维场景内使用三维渲染引擎绘制出所述几何体作为所述虚拟相机在所述三维场景内的所述覆盖空间的可视化效果。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

在一个示例性实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取三维场景内已标定的虚拟相机的虚拟相机参数，并获取所述虚拟相机对应的实体相机的视频流的分辨率；

S2，根据所述虚拟相机参数和所述分辨率确定所述实体相机的视频画面的多个顶点在相机坐标系下的坐标，并将所述多个顶点在所述相机坐标系下的坐标转换为所述多个顶点在世界坐标系下的坐标；

S3，根据所述虚拟相机参数和所述多个顶点在所述世界坐标系下的坐标，确定所述虚拟相机在所述三维场景内的覆盖空间。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

以下通过示例性实施例详细描述监控视频的三维覆盖空间确定方案，以及三维监控视频覆盖空间显示方法。

三维虚拟场景内的虚拟相机和真实场景内的监控设备具有映射关系，是真实场景的客观反映，实际使用中可通过在三维虚拟场景内进行标定的方式注册虚拟相机，表现出真实场景内摄像机的位置、安装高度及角度等信息。而真实场景内想要获得监控设备的覆盖空间只能通过二维视频的画面内容进行辨识，由于二维监控视频是平面的，很难显示出整个监控摄像机视野范围的的三维立体空间。

虚拟相机在三维虚拟场景内的覆盖空间即为虚拟相机的视景体，在三维场景内绘制出该视景体即可立体直观地表示出真实场景内监控相机的覆盖空间。图5是根据本发明实施例的虚拟相机的视景体的示意图。

图6是根据本发明实施例的视景体绘制的流程图，如图6所示，该方法包括如下步骤：

步骤S601，获取标定好的三维场景内虚拟相机的参数，包括位置、角度，其中角度包括姿态角、视场角，再获取虚拟相机对应的真实场景相机的视频流的分辨率大小。

步骤S602，将摄像机监控视频画面的四个顶点在图像坐标系下的坐标经过坐标转换得出四个顶点在世界坐标系下的坐标，转换过程为：

(1)求出旋转矩阵：

Rotate＝Matrix(pitch*yaw*roll)，其中Rotate代表旋转矩阵，Matrix代表矩阵求解，pitch，yaw，roll分别为虚拟相机姿态角的俯仰角、偏航角、侧滚角；

(2)求出平移矩阵：

Translate＝Matrix(eye)，其中Translate代表平移矩阵，eye代表虚拟相机视点的世界坐标位置；

(3)求出虚拟相机的观察矩阵的逆矩阵：

ViewMatrixInvert＝Rotate*Translate，其中ViewMatrixInvert代表虚拟相机的观察矩阵的逆矩阵；

(4)根据小孔成像原理，将图像坐标系下的坐标转换到相机坐标系：

首先，根据视场角(fovy)和监控视频分辨率的高(height)计算出相机坐标系的等效焦距大小：fy＝(height/2.0)/tan(fovy*0.5)；

然后，计算出x方向和y方向的夹角正切值：

tan_x＝(u–center_u)/fy；

tan_y＝(v–center_v)/fy；

其中，u，v代表图像坐标系下x方向和y方向的目标点坐标，center_u和center_v代表x方向和y方向的中心点坐标；

最后，求得相机坐标系下的坐标点p：

p.z＝Far；

p.x＝Far*tan_x；

p.y＝Far*tan_y；

其中，Far为虚拟相机对称透视视景体的可视最远距离。

(5)求出监控视频四个顶点在世界坐标系下的坐标：

WorldPoint＝p*ViewMatrixInvert

步骤S603，根据虚拟相机的位置和监控视频四个顶点在三维场景内的三维坐标，使用三维渲染引擎如：OSG、OpenGL等，绘制出半透明的几何体，以虚拟相机的位置为顶点，和其中的两个点顺序绘制出四个三角面几何体，组合为四棱锥，即为虚拟相机在场景内的覆盖空间。

本发明实施例的方案实现了二维监控视频顶点坐标转换到三维场景内的坐标转换，并进一步实现了三维监控视频覆盖空间的显示，该方案具有以下优点：

在三维监控虚拟场景内可以直观立体地显示出真实场景内监控视频的覆盖空间，从而让用户清晰直观地辨识出摄像机监控视频的覆盖范围；

可以事先通过设置虚拟参数绘制三维监控虚拟场景内的覆盖空间来指导真实场景内摄像机的安装工作，做到最大限度的摄像机资源利用及场景的最大覆盖，避免监控死角的出现。

通过三维的覆盖空间可以更加直观立体的表现出摄像机的位置、安装高度及角度等信息。

可以通过三维的监控覆盖空间清晰地辨别出监控区域隶属的摄像机，避免通过二维视频内容查找相机列表进而确定摄像机的繁琐。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种监控视频的三维覆盖空间确定方法，其特征在于，包括：

获取三维场景内已标定的虚拟相机的虚拟相机参数，并获取所述虚拟相机对应的实体相机的视频流的分辨率；

根据所述虚拟相机参数和所述分辨率确定所述实体相机的视频画面的多个顶点在相机坐标系下的坐标，并将所述多个顶点在所述相机坐标系下的坐标转换为所述多个顶点在世界坐标系下的坐标；

根据所述虚拟相机参数和所述多个顶点在所述世界坐标系下的坐标，确定所述虚拟相机在所述三维场景内的覆盖空间；

其中,所述虚拟相机参数包括所述虚拟相机的视点在世界坐标系下的坐标，根据所述虚拟相机参数和所述多个顶点在所述世界坐标系下的坐标，确定所述虚拟相机在所述三维场景内的覆盖空间包括：

基于所述虚拟相机的所述视点在所述世界坐标系下的坐标和所述多个顶点在所述世界坐标系下的坐标形成几何体，并将所述几何体确定为所述虚拟相机在所述三维场景内的所述覆盖空间；

根据所述虚拟相机参数和所述多个顶点在所述世界坐标系下的坐标，确定所述虚拟相机在所述三维场景内的覆盖空间之后，还包括：

在所述三维场景内使用三维渲染引擎绘制出所述几何体作为所述虚拟相机在所述三维场景内的所述覆盖空间的可视化效果，其中，在所述实体相机的视频画面包括四个顶点的情况下，在所述三维场景内使用三维渲染引擎绘制以所述虚拟相机的所述视点在所述世界坐标系下的坐标为顶点、以所述四个顶点在所述世界坐标系下的坐标构成的四边形为底面的四棱锥体，作为所述虚拟相机在所述三维场景内的所述覆盖空间的可视化效果。

2.根据权利要求1所述的方法，其特征在于，根据所述虚拟相机参数和所述分辨率确定所述实体相机的视频画面的多个顶点在相机坐标系下的坐标包括：

根据所述虚拟相机参数和所述分辨率计算相机坐标系的等效焦距；

根据所述等效焦距将所述视频画面的多个顶点在图像坐标系下的坐标转换为所述多个顶点在所述相机坐标系下的坐标。

3.根据权利要求2所述的方法，其特征在于，所述虚拟相机参数包括所述虚拟相机的视场角fovy，所述分辨率包括分辨率的高度信息height，根据所述虚拟相机参数和所述分辨率计算相机坐标系的等效焦距包括：

计算所述相机坐标系的所述等效焦距fy = (height/2.0) / tan(fovy*0.5)。

4.根据权利要求2所述的方法，其特征在于，根据所述等效焦距将所述视频画面的多个顶点在图像坐标系下的坐标转换为所述多个顶点在所述相机坐标系下的坐标包括：

对于所述多个顶点中的每个顶点，

根据所述等效焦距fy和所述顶点在所述图像坐标系下的二维坐标（u,v），分别确定所述图像坐标系的x方向的夹角正切值tan_x = (u – center_u)/fy和y方向的夹角正切值tan_y = (v – center_v)/fy，其中，u和v分别为所述顶点在所述图像坐标系下x方向和y方向的坐标，center_u和center_v分别为所述图像坐标系下x方向和y方向的中心点坐标；

确定所述顶点在所述相机坐标系下三维坐标p，其中，所述相机坐标系下z方向的坐标p.z = Far，x方向的坐标p.x = Far * tan_x，y方向的坐标p.y = Far * tan_y，其中，Far为所述虚拟相机对称透视视景体的可视最远距离。

5.根据权利要求1所述的方法，其特征在于，将所述多个顶点在所述相机坐标系下的坐标转换为所述多个顶点在世界坐标系下的坐标包括：

根据所述虚拟相机参数计算所述虚拟相机的观察矩阵的逆矩阵；

对于所述多个顶点中的每个顶点，根据所述观察矩阵的逆矩阵将所述顶点在所述相机坐标系下的坐标转换为所述顶点在所述世界坐标系下的坐标。

6.根据权利要求5所述的方法，其特征在于，所述虚拟相机参数包括所述虚拟相机的视点在世界坐标系下的坐标eye，以及姿态角，所述姿态角包括俯仰角pitch、偏航角yaw和侧滚角roll，根据所述虚拟相机参数计算所述虚拟相机的观察矩阵的逆矩阵包括：

确定旋转矩阵Rotate和平移矩阵Translate，其中，Rotate = Matrix(pitch * yaw *roll)，Translate = Matrix(eye)，Matrix（）代表矩阵求解；

计算所述观察矩阵的逆矩阵ViewMatrixInvert = Rotate * Translate。

7.根据权利要求5所述的方法，其特征在于，根据所述观察矩阵的逆矩阵将所述顶点在所述相机坐标系下的坐标转换为所述顶点在所述世界坐标系下的坐标包括：

根据所述观察矩阵的逆矩阵ViewMatrixInvert确定所述顶点在所述世界坐标系下的坐标WorldPoint = p * ViewMatrixInvert，其中，p为所述顶点在所述相机坐标系下的坐标。

8.一种监控视频的三维覆盖空间确定装置，其特征在于，包括：

参数获取模块，设置为获取三维场景内已标定的虚拟相机的虚拟相机参数，并获取所述虚拟相机对应的实体相机的视频流的分辨率；

坐标转换模块，设置为根据所述虚拟相机参数和所述分辨率确定所述实体相机的视频画面的多个顶点在相机坐标系下的坐标，并将所述多个顶点在所述相机坐标系下的坐标转换为所述多个顶点在世界坐标系下的坐标；

覆盖空间确定模块，设置为根据所述虚拟相机参数和所述多个顶点在所述世界坐标系下的坐标，确定所述虚拟相机在所述三维场景内的覆盖空间；

其中,所述虚拟相机参数包括所述虚拟相机的视点在世界坐标系下的坐标，所述覆盖空间确定模块还用于：基于所述虚拟相机的所述视点在所述世界坐标系下的坐标和所述多个顶点在所述世界坐标系下的坐标形成几何体，并将所述几何体确定为所述虚拟相机在所述三维场景内的所述覆盖空间；

所述装置还用于根据所述虚拟相机参数和所述多个顶点在所述世界坐标系下的坐标，确定所述虚拟相机在所述三维场景内的覆盖空间之后，在所述三维场景内使用三维渲染引擎绘制出所述几何体作为所述虚拟相机在所述三维场景内的所述覆盖空间的可视化效果，其中，在所述实体相机的视频画面包括四个顶点的情况下，在所述三维场景内使用三维渲染引擎绘制以所述虚拟相机的所述视点在所述世界坐标系下的坐标为顶点、以所述四个顶点在所述世界坐标系下的坐标构成的四边形为底面的四棱锥体，作为所述虚拟相机在所述三维场景内的所述覆盖空间的可视化效果。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项中所述的方法。

Images