CN106683163B - 一种视频监控的成像方法及系统 - Google Patents

Abstract

本发明公开了一种视频监控的成像方法及系统，所述方法包括：对同一监控场景中的同一监控对象进行图像采集，以获取多个视角下的监控图像数据；对所述监控图像数据进行三维信息恢复，生成所述监控对象在所述监控场景中的三维空间图像，所述三维空间图像包括具有三维空间位置信息的三维点集；对所述三维点集进行显示变换处理，生成所述监控对象在所述监控场景中的显示数据；对显示视窗下的所述显示数据进行空间划分以过滤掉所述显示视窗所属空间外的显示数据，得到所述显示视窗所属空间内的视窗显示数据。本发明通过对显示数据进行空间划分和优化，能够提高计算速度和减少显示时间，同时解决了重复构建三维显示数据的问题。

Description

一种视频监控的成像方法及系统

技术领域

本发明涉及视频监控技术领域，特别涉及一种视频监控的成像方法及系统。

背景技术

三维监控对象的虚拟表示是基于计算机对其进行各种性能或者特性的关键的分析，利用获取的低维信号经过处理表示成具有一定三维空间位置信息的图形图像，借助于各种深度恢复算法重建三维空间信息。

传统的三维建模的方法可以分为两类：

第一类是人工通过计算机软件进行三维几何建模，比如借助于计算机图形软件进行实现。

第二类是利用获取的低维信号，经过处理表示成具有一定三维空间位置信息的图形或者图像，借助于各种深度恢复算法重建三维空间信息。

传统的成像的存在一种缺陷：将三维空间中的信息映射到二维空间中，因而丢失了距离深度信息。如果需要从二维空间恢复出三维空间的信息，则必须要在得到二维的方位信息的同时得到距离信息，才能够准确的恢复三维信息。

目前采用最多的一种三维重建方法是双目立体视觉方法，其主要利用图像采集设备在不同位置处对同一个场景中物体进行观测时产生的视差进行深度信息的恢复。但是双目立体视觉也还存在着许多问题：例如同名点的查找与匹配是整个双目视觉的关键和难点，另外双目视觉还面临着计算速度和精度之间的问题，需要专门的硬件进行加速计算。

上述的三维重建方法采用的深度恢复算法中获取透视成像模型中的转换矩阵，采用的是直接线性变换法。但该方法没有考虑图像采集设备的系统误差，不能够进行系统误差的纠正，另外它也不能够消除镜头的相差，因而标定精度一般。此外，显示数据也存成重复构建多余数据，效率低的问题。

发明内容

本发明的目的是提供一种视频监控的成像方法及系统，本发明通过对显示数据进行空间划分和优化，能够提高计算速度和减少显示时间，同时解决了重复构建三维显示数据的问题。

为实现上述目的，本发明提供一种视频监控的成像方法，该方法包括：对同一监控场景中的同一监控对象进行图像采集，以获取多个视角下的监控图像数据；对所述监控图像数据进行三维信息恢复，生成所述监控对象在所述监控场景中的三维空间图像，所述三维空间图像包括具有三维空间位置信息的三维点集；对所述三维点集进行显示变换处理，生成所述监控对象在所述监控场景中的显示数据；对显示视窗下的所述显示数据进行空间划分以过滤掉显示视窗所属空间外的显示数据，得到所述显示视窗所属空间内的视窗显示数据，以供显示。

其中，对所述监控图像数据进行三维信息恢复的步骤，包括：获取图像坐标系与世界坐标系的映射关系；获得三维空间中的监控对象到像平面的投影关系，生成透视成像变换矩阵；利用所述透视成像变换矩阵计算每个像素所对应的方向；计算每个所述像素的当前位置处的深度值，得到深度图；利用所述深度图恢复出的三维坐标点建立三维图，得到三维空间图像。

其中，所述透视成像变换矩阵为：

满足如下关系：

其中，x_w,y_w,z_w为世界坐标系中的坐标，u,v为图像坐标系中的坐标，m_ij为透视矩阵的元素，Z_c为摄像机坐标系中的Z坐标。

其中，对所述三维点集进行显示变换处理，包括如下步骤：在显示系统的显示窗口下创建显示视窗；对所述三维点集进行坐标变换，将世界坐标转换为图像坐标；创建Do类型显示数据对象，将所述三维点集划分为多种类型的Do数据；在所述显示视窗下创建管理节点，以管理所述显示数据；在管理节点下创建根节点，每个显示数据会作为一个子节点以由所述根节点管理。

其中，所述多种类型的Do数据，包括：点数据、多段线数据和多边形数据。

其中，在所述对显示视窗下的显示数据进行空间划分得到视窗显示数据的步骤之后，还包括：基于所述显示视窗的缩放比例，对所述视窗显示数据中的图元数据进行优化的步骤。

其中，所述对所述视窗显示数据中的图元数据进行优化的步骤包括：计算所述显示视窗的缩放比例；基于所述显示视窗的缩放比例，对所述视窗显示数据中的图元数据进行减少或增加。

其中，所述对显示视窗下的显示数据进行空间划分的步骤包括：基于所述显示视窗所属的空间，对所述显示视窗下的所述显示数据进行空间划分以过滤掉所述显示视窗所属空间外的显示数据，得到显示视窗所属空间内的视窗显示数据。

根据本发明的另一方面，提供了一种视频监控的成像方法，包括:至少一个图像采集设备，用于对同一监控场景中的同一监控对象进行图像采集，获取多个视角下的监控图像数据；三维图像创建模块，用于对所述监控图像数据进行三维信息恢复，生成所述监控对象在所述监控场景中的三维空间图像，所述三维空间图像包括具有三维空间位置信息的三维点集；显示数据创建模块，用于对所述三维点集进行显示变换处理，得到所述监控对象在所述监控场景中的显示数据；空间划分模块，用于对显示视窗下的所述显示数据进行空间划分以过滤掉所述显示视窗所属空间外的显示数据，得到所述显示视窗所属空间内的视窗显示数据，以供显示。

其中，所述三维图像创建模块获取图像坐标系与世界坐标系的映射关系，获得三维空间中的监控对象到像平面的投影关系，生成透视成像变换矩阵，利用所述透视成像变换矩阵计算每个像素所对应的方向，计算每个所述像素的当前位置处的深度值，得到深度图，利用所述深度图恢复出的三维坐标点建立三维图，得到三维空间图像。

其中，所述透视成像变换矩阵为：

满足如下关系：

其中，x_w,y_w,z_w为世界坐标系中的坐标，u,v为图像坐标系中的坐标，m_ij为透视矩阵的元素，Z_c为摄像机坐标系中的Z坐标。

其中，所述显示数据创建模块在显示窗口下创建显示视窗，对所述三维点集进行坐标变换，将世界坐标转换为图像坐标，创建Do类型显示数据对象，将所述三维点集划分为多种类型的Do数据，在显示视窗下创建管理节点，以管理所述显示数据,在管理节点下创建根节点，每个显示数据会作为一个子节点以由所述根节点管理。

其中，所述多种类型的Do数据，包括：点数据、多段线数据和多边形数据。

其中，所述空间划分模块基于所述显示视窗所属的空间，对所述显示视窗下的所述显示数据进行空间划分以过滤掉所述显示视窗所属空间外的显示数据，得到显示视窗所属空间内的视窗显示数据。

优选的，还包括图元调整模块，用于基于所述显示视窗的缩放比例，对所述视窗显示数据中的图元数据进行优化。

其中，所述图元调整模块计算所述显示视窗的缩放比例，基于所述显示视窗的缩放比例，对所述视窗显示数据中的图元数据进行减少或增加。

如上所述，本发明通过将图像采集设备设置在不同位置处的，对同一个场景中的同一监控对象进行观测时产生的视差进行三维信息的恢复，准确的获取监控范围内的具有一定三维空间位置信息的图像。在获得三维点集构造的显示数据后，将显示数据加入到显示系统的管理中，让显示系统来维护显示数据的关系，由显示系统对显示数据进行空间划分以提高图像成型的计算速度，并对所述显示数据进行优化管理，调整显示数据中的图元数据，进而减少显示数据的显示时间，并解决了重复构建三维显示数据的问题。

附图说明

图1是根据本发明实施方式的视频监控的成像方法的流程图；

图2是根据本发明实施方式的三维信息恢复的流程图；

图3是根据本发明实施方式的三维坐标恢复示意图；

图4是根据本发明实施方式的显示变换处理的流程图；

图5是根据本发明实施方式的显示变换处理的架构图；

图6是根据本发明实施方式的显示创建关系示意图；

图7是根据本发明实施方式的Do类型对象创建示意图；

图8是根据本发明实施方式的绘制图元数目的示意图；

图9是根据本发明实施方式的监控的成像系统的结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

图1是根据本发明实施方式的视频监控的成像方法的流程图。

如图1所示，本发明提供一种视频监控的成像方法，所述方法包括如下步骤：

步骤S1，对同一监控场景中的同一监控对象进行图像采集，获取多个视角下的监控图像数据。

本步骤中，对同一监控场景下的同一监控对象，在其周围设置多个图像采集设备，通过所述多个图像采集设备从多个角度对该监控对象进行图像采集或拍摄，例如，可以从两个(或多个)视点观察同一监控对象，以获取多个视角下的监控图像数据，此时图像采集设备采集的监控图像数据是二维的。

步骤S2，对所述监控图像数据进行三维信息恢复，生成所述监控对象在所述监控场景中的三维空间图像，所述三维空间图像包括具有三维空间位置信息的三维点集。

如前所示，在将三维空间中的物体映射到二维空间中时，丢失了距离深度信息，如果需要从二维空间恢复出三维空间的信息，必须要在得到二维的方位信息的同时得到距离深度信息，才能够准确的恢复出三维信息。

本步骤中，对采集到的多个视角下的二维监控图像数据进行三维信息恢复，具体的，通过三角测量原理计算图像像素间的位置偏差(即视差)来获取监控对象的三维信息，以生成所述监控对象在所述监控场景中的三维空间图像，即生成整个监控场景中深度图像中各点变换后构建的一个世界坐标系中的三维点集。

需要说明的是，视差是指从有一定距离的两个视点上观察同一个目标所产生的方向差异。从目标看两个点之间的夹角，叫做这两个视点的视差角，两视点之间的距离称作基线。只要知道视差角度和基线长度，就可以计算出目标和观测者之间的距离。

这里，所述三维空间图像包括具有三维空间位置信息的三维点集，即具有三维空间位置信息的三维点集构成了所述三维空间图像。

步骤S3，对所述三维点集进行显示变换处理，生成所述监控对象在所述监控场景中的显示数据。

本步骤中，通过三维信息恢复后得到具有一定三维空间位置信息的三维空间图像,在获得三维点集后需要构造显示数据，具体的，对所述三维点集进行显示变换处理，例如，经过坐标变化处理，将所述三维点集划分为多种类型的Do数据等，生成所述监控对象在所述监控场景中的显示数据。

步骤S4，对显示视窗下的所述显示数据进行空间划分以过滤掉所述显示视窗所属空间外的显示数据，得到所述显示视窗所属空间内的视窗显示数据，以供显示。

本步骤中，将所述显示数据加入到显示系统中，在显示系统的显示窗口下创建显示视窗，对所述显示视窗下的所述显示数据进行空间划分，目的是过滤掉所述显示视窗所属空间外的显示数据，保留所述显示视窗所属空间内的视窗显示数据，用于显示。

图2是根据本发明优选实施方式的三维信息恢复的流程图。

如图2所示，本发明优选实施例中，对所述监控图像数据进行三维信息恢复的步骤，包括下述步骤：

步骤S21，获取图像坐标系与世界坐标系的映射关系。

本步骤中，获取图像坐标系中u,v与世界坐标系中X_wY_wZ_w的映射关系，本步骤也称摄像机标定。

摄像机标定是为了确定摄像机的图像坐标系与物体空间中的世界坐标系之间的对应关系，以便确定空间坐标系中物理点同它在图像平面上像素点之间的对应关系。只有当摄像机被恰当的标定以后，才能根据图像平面中的二维坐标推导出对应监控对象在三维空间中的实际位置。经过标定的图像采集设备包括更多关于场景以及图像的信息，能够有助于后续进行三维轮廓(三维空间图像)的重建。步骤S22，获得三维空间中的监控对象到像平面的投影关系，生成透视成像变换矩阵。

本步骤包括下述处理流程：

具体地，获得三维空间中的监控对象到像平面的投影关系，即为透视成像模型。优选的透视成像模型是小孔成像模型，在该优选实施例中，将三维空间往二维空间中的映射表示为如下的一个透视线性变换：

其中，x_w,y_w,z_w为世界坐标系中的坐标，u,v为图像坐标系中的坐标，m_ij为透视成像变换矩阵的元素，Z_c为摄像机坐标系中的Z坐标。

通过下式计算u,v方向视线与水平面的交点：

整理得到下式(3)：

上述式(3)中，设定u,v,z_w＝0求解得到世界坐标系中的x_w,y_w。

根据上述的式(3)中得到的世界坐标系x_w,y_w以及式(2)计算的u,v方向视线与水平面的交点，可以得到透视成像变换矩阵，即透视成像模型中的转换矩阵M，记为式(4)：

步骤S23，利用所述透视成像变换矩阵计算每个像素所对应的方向。

本步骤中，利用透视成像变换矩阵计算世界坐标系中的Z_w，就可知道每个像素所对应的方向，即像素的矢量。

通过遍历所有u,v，计算出x_w,y_w后形成两个矩阵X_u,v,Y_u,v。

进而，通过下式(5)计算出X_u,v,Y_u,v,0距离摄像机的距离：

distance(u,v)＝sqrt((x_u,v-x_c)²+(y_u,v-y_c)²+(H_c)²) (5)

其中，x_c,y_c,H_c表示摄像机的位置坐标,H_c表示摄像机在世界坐标系中的深度值。

步骤S24，计算各个像素的当前位置处的深度值，得到深度图。

具体的，依据立体几何中的等比三角形理论，配合深度摄像机采集到的像素相对于摄像机的深度值H_c，计算深度图像中图像点u,v对应真实世界中的坐标,即该图像的深度信息depth(u,v)，参考图3所示。

步骤S25，利用所述深度图恢复出的三维坐标点建立三维图，得到三维空间图像。

本步骤中，利用每个像素的深度值恢复得到对应的三维坐标，进而形成三维空间图像，参见图3。

图3是根据本发明优选实施方式的三维信息恢复的流程示意图。

如图3所示，本发明优选实施方式的三维信息恢复方法中，利用每个像素的深度值恢复得到对应的三维坐标，得到图像在世界坐标系中的三维点集，进而构建出三维空间图像，本步骤包括下述处理流程：

设深度信息与同一像素点地面投影点距离之间的比值为：

该像素点所对应世界坐标系中的三维空间坐标可通过下式计算为：

x_w＝(x_u,v-x_c).ratio(u,v)+x_c (7)

y_w＝(y_u,v-y_c).ratio(u,v)+y_c (8)

H_w＝(1-ratio(u,v)).H_c (9)

其中，(x_w,y_w,H_w)表示像素点在世界坐标系中的三维坐标，遍历各个像素点，最后形成三维坐标的集合，即三维点集。

利用深度图恢复出的三维坐标点x,y,H,建立f(x,y)＝H的三维图可得到三维空间信息。即，利用深度图恢复出的三维坐标点建立三维图，得到三维空间图像。

具体地，首先初始化一幅高程图I_L×W＝0，大小为房间的长度L和宽度W；对深度图像的u,v像素点依据上述方法计算x_w,y_w,z_w，在轮廓高程图中通过式I(x_w,y_w)＝max(I(x_w,y_w),z_w)将位置为x_w,y_w的像素进行更新赋值，然后逐点遍历深度图像，即可生成整个监控场景中深度图像中各点变换后构建的世界坐标系中的三维点集。

图4是根据本发明优选实施方式的显示变换处理的流程图。

三维点集需要经过一系列的转换得到基本的点、多段线、多边形等基本元素，这样就能精简数据结构来方便显示系统进行管理和显示，得到监控对象在该监控场景中的显示数据。

如图4所示，所述三维点集进行显示变换处理的步骤，包括：

步骤S31，在显示系统的显示窗口下创建显示视窗。

步骤S32，对所述三维点集进行坐标变换，将世界坐标转换为图像坐标。本步骤中。首先，在显示系统的显示窗口下创建显示视窗。然后，对三维点集进行坐标变换，将世界坐标转换为图像坐标。具体地，三维点集例如在GraphicSystem中先进行坐标变换的处理，将世界坐标转为图像坐标。

步骤S33，创建Do类型显示数据对象，将所述三维点集划分为多种类型的Do数据。

具体地，创建Do类型显示数据对象，根据数据的不同可以将三维点集划分为多种类型的Do数据，包括点，多段线，多边形等基础数据。

步骤S34，在所述显示视窗下创建管理节点，以管理所述显示数据。

步骤S35，在管理节点下创建根节点，每个所述显示数据作为一个子节点以由所述根节点管理。

本步骤中，将Do数据加入到GsModule的根节点GsRoot进行管理。具体地，将Do数据加入到GsModule的根节点GsRoot，视图改变(平移，缩放)时显示数据的修改，建立视图与显示数据的关系，使每个视图都有各自的显示数据生成并管理这些数据，方便管理图元数据。

在一优选实施方式中，在所述对显示视窗下的显示数据进行空间划分得到视窗显示数据的步骤之后，还包括：步骤S5，基于所述显示视窗的缩放比例，对所述视窗显示数据中的图元数据进行优化的步骤。

所述对所述视窗显示数据中的图元数据进行优化的步骤包括：

步骤S51，计算所述显示视窗的缩放比例。

本步骤中，对所述显示视窗的缩放比例进行计算，目的是根据所述显示视窗的缩放比例对所述显示视窗中的图元数据进行调整。

步骤S52，基于所述显示视窗的缩放比例，对所述视窗显示数据中的图元数据进行减少或增加。

本步骤中，基于所述显示视窗的缩放比例，来调整所述视窗显示数据中的图元数据，例如，当视窗的缩放比例缩小时，减少图元数据中的基本点的数量；当视窗的缩放比例放大时，增加图元数据中的基本点的数量。

图5是根据本发明可选实施方式的显示变换处理的架构图。

如5所示，GraphicSystem表示显示系统，用于管理图像数据，显示系统包括Gs模块，Gi模块、Do模块、Gr模块以及Si模块。在得到步骤S32获得的图元的基本元素后，由Gs模块构建成像系统的管理，用于生成显示数据并显示,以及进行视口管理。而后由Gi模块，构成成像系统的坐标变换，用于执行坐标变换操作，以及进行视窗比例计算等几何运算功能。经过Gi模块的运算，将转换后的图元元素由Do模块进行构成成像系统的数据构建，构建显示对象即Do显示对象,而该对象在显示系统的视口中显示需要借助Gr模块，进行成像系统的图像渲染，借助显卡或CPU对成像显示对象进行渲染。而为了提高显示系统的缩放和平移效率，Si模块为显示数据完成了成像系统的空间划分。

使用Si模块对该视窗下的显示数据进行空间划分。具体地，将显示数据作为空间对象，通过空间划分使空间对象与空间位置进行映射，每个显示数据都会有对应的空间索引。把当前屏幕的坐标作为一个搜索矩形，在平移和缩放的过程中，迅速的找到与该矩形相交的所有空间对象集合，以此来提高显示的效率。

图6是根据本发明实施方式的显示创建关系示意图。

如图6所示，首先在显示窗口下创建显示视窗GsView，然后将三维点集数据交给GsView创建显示数据对象(Do模块类型的数据)，GsView会创建GsModule来管理显示数据。

GsModule为示显示视窗对应的模型管理类，负责视窗和显示数据的管理。在GsModule下创建根节点GsRoot，每个显示数据会作为一个GsNode被GsRoot所管理。

图7是根据本发明实施方式的Do类型对象创建示意图。

如图7所示，多种类型的Do数据，包括：点数据(Do Point Object)、多段线数据(DoPolyline Object)和多边形数据(Do Polygon Object)等基础数据。

然后，在显示视窗GsView下创建管理节点GsModule，以管理显示数据，包括下述操作。

首先，加入GsModule的GsRoot节点进行管理

在管理节点GsModule下创建根节点GsRoot，每个显示数据会作为一个子节点以由根节点GsRoot管理。

具体地，将Do数据加入到GsModule的根节点GsRoot进行管理。

其次，Si模块进行空间划分

对显示视窗GsView下的显示数据进行空间划分。具体地，使用Si模块对该显示视窗下的显示数据进行空间划分。

图8是根据本发明实施方式的绘制图元数目的示意图。

目前传统显示效率低，其根本存在的是由于两个关键的因素，绘制图元个数k,每个图元绘制所需要的元素v。如图8所示，当需要绘制的图元数目k多时，需要绘制的图元的元素v相应的就会增加，这样就无可避免的就会使生成显示数据的成本变大，一旦窗口触发缩放或者移动时，就会极大的消耗内存，影响显示的速度。

本发明采用以下手段来解决此问题:

1)Gs模块依据Gi模块计算当前视窗的缩放比例。由于此前已经由Si模块对显示数据进行了空间划分，因此能够知道当前视窗所属的空间内的显示数据，可以过滤掉显示视窗所属空间外的外的图元，只绘制空间内的图元，即只创建该空间内的显示数据对象。

2)减少绘制元素v的个数，当显示缩小到一定程度时，人眼能够看到的图元只有一个基本轮廓。而传统的做法是不管缩放比例如何都统一生成所有的图元的每个基本元素，而本发明则可以依据缩放的比例，来调整创建显示对象所需要的基本元素，即减少Do对象中维护的基本点的数量。

如上所述，详细介绍了本发明的视频监控的成像方法，通过将图像采集设备设置在不同位置处对同一个场景中的同一监控对象进行图像采集时产生的视差进行三维信息恢复，形成三维空间图像。在获得三维点集后构造显示对象，将显示数据加入到显示系统的管理中，让显示系统对显示数据进行空间划分和优化，提高图像成型的计算速度，减少三维显示数据的显示时间，同时解决三维显示数据的重复构建问题。

图9是根据本发明实施方式的智能视频监控的成像系统的结构图。

如图9所示，本发明的视频监控的成像系统，包括：至少一个图像采集设备1、三维图像创建模块2、显示数据创建模块3和空间划分模块4。

至少一个图像采集设备1，将所述图像采集设备1置于不同位置处，用于对同一监控场景中的同一监控对象进行图像采集，从不同角度拍摄监控对象，获取多个视角下的图像数据。

通常来说，单个图像采集设备1采集的图像数据仅为二维数据或平面数据，不足以构成有效的三维图像数据。本发明利用多个图像采集设备对采集的多个视角下的图像数据进行深度恢复，并获取二维图像数据所在位置的深度信息，进而构成三维空间图像。当通过一个图像采集设备对监控对象进行图像采集时，可以将这一个图像采集设备转换不同角度，这样也能够实现一个图像采集设备多角度对监控对象进行拍摄的目的。

本发明中，所述图像采集设备可以是摄像机或其他能够进行图像采集的设备。

三维图像创建模块2关联到所述图像采集设备1，用于对所述图像数据进行三维信息恢复，生成所述监控对象在所述监控场景中的三维空间图像，所述三维空间图像包括具有三维空间位置信息的三维点集。

具体地，三维图像创建模块2获取图像坐标系与世界坐标系的映射关系。

三维图像创建模块2获取图像坐标系中u,v与世界坐标系中X_wY_wZ_w的映射关系，

本步骤中，获取图像坐标系中u,v与世界坐标系中X_wY_wZ_w的映射关系，本步骤也称摄像机标定。

摄像机标定是为了确定摄像机的图像坐标系与物体空间中的世界坐标系之间的对应关系，以便确定空间坐标系中物理点同它在图像平面上像素点之间的对应关系。只有当摄像机被恰当的标定以后，才能根据图像平面中的二维坐标推导出对应监控对象在三维空间中的实际位置。经过标定的图像采集设备包括更多关于场景以及图像的信息，能够有助于后续进行三维轮廓(三维空间图像)的重建。

三维图像创建模块2获得三维空间中监控对象到像平面的投影关系，生成透视成像变换矩阵。

具体地，三维图像创建模块2获得三维空间中的监控对象到像平面的投影关系，即为透视成像模型。理想的透视成像模型是小孔成像模型。将理想情况下三维空间往二维空间中的映射看作是如下的一个透视线性变换：

其中，x_w,y_w,z_w为世界坐标系中的坐标，u,v为图像坐标系中的坐标，m_ij为透视成像变换矩阵的元素，Z_c为摄像机坐标系中的Z坐标。

三维图像创建模块2计算u,v方向视线与水平面的交点，如下：

整理得到如下二元一次方程：

设u,v,z_w＝0时通过上述方程(3)求解得到世界坐标系中的x_w,y_w。

根据上述式(3)中得到的世界坐标系x_w,y_w以及式(2)计算的u,v方向视线与水平面的交点，三维图像创建模块2可以得到透视成像变换矩阵，即透视成像模型中的转换矩阵M，记为：

三维图像创建模块2利用透视成像变换矩阵计算世界坐标系中的Z_w，就可知道每个像素所对应的方向，即像素的矢量。

通过遍历所有u,v，计算出x_w,y_w后形成两个矩阵X_u,v,Y_u,v。

进而，计算出X_u,v,Y_u,v,0距离摄像机的距离：

distance(u,v)＝sqrt((x_u,v-x_c)²+(y_u,v-y_c)²+(H_c)²) (5)

其中x_c,y_c,H_c表示摄像机的位置坐标，H_c表示的是摄像机在世界坐标系中的深度值。

三维图像创建模块2计算每个像素的当前位置处的深度值，得到深度图，利用深度图恢复出的三维坐标点建立三维图，得到三维空间图像。

依据立体几何中的等比三角形理论，配合深度摄像机采集到的像素相对于摄像机的深度值H_c，三维图像创建模块2计算深度图像中图像点u,v对应真实世界中的坐标，即该图像的深度信息depth(u,v)，设深度信息与同一像素点地面投影点距离之间的比值为：

该图像点所对应世界坐标系中的三维空间的坐标由立体几何可计算为：

x_w＝(x_u,v-x_c).ratio(u,v)+x_c (7)

y_w＝(y_u,v-y_c).ratio(u,v)+y_c (8)

H_w＝(1-ratio(u,v)).H_c (9)

其中，(x_w,y_w,H_w)表示实际的像素点在世界坐标系中的三维坐标，遍历各个像素点，最后形成三维坐标的集合，即三维点集。

三维图像创建模块2利用深度图恢复出的三维坐标点x,y,H,建立f(x,y)＝H的三维图，即可得到三维空间信息。即，利用深度图恢复出的三维坐标点建立三维图，得到三维空间图像。

具体地，生成三维轮廓。首先初始化一幅高程图I_L×W＝0，I为高程图的名称，大小为房间的长度L和宽度W；对深度图像的u,v点依据上述方法计算x_w,y_w,z_w，在轮廓高程图中将位置为x_w,y_w处进行更新赋值，I(x_w,y_w)＝max(I(x_w,y_w),z_w)，然后逐点遍历深度图像，即可生成整个监控场景中深度图像中各点变换后构建的一个世界坐标系中的三维点集。

显示数据创建模块3关联到所述三维图像创建模块2，用于对三维点集进行显示变换处理，得到所述监控对象在所述监控场景中的显示数据。

显示数据创建模块3在显示窗口下创建显示视窗，对三维点集进行坐标变换，将世界坐标转换为图像坐标。

具体地，显示数据创建模块3对三维点集在GraphicSystem会先进行坐标变换的处理，将世界坐标转为图像坐标。

显示数据创建模块3创建Do类型显示数据对象，将三维点集划分为多种类型的Do数据。多种类型的Do数据，包括：点数据(Do Point Object)、多段线数据(Do PolylineObject)和多边形数据(Do Polygon Object)等基础数据。

显示数据创建模块3在显示视窗GsView下创建管理节点GsModule，以管理显示数据。显示数据创建模块3在管理节点GsModule下创建根节点GsRoot，每个显示数据会作为一个子节点以由根节点GsRoot管理。具体地，将Do数据加入到GsModule的根节点GsRoot进行管理。显示视图改变(平移，缩放)时显示数据的修改，建立显示视图与显示数据的关系，使每个视图都有各自的显示数据生成并管理这些数据，方便管理图元数据。

空间划分模块4关联到所述显示数据创建3，用于对显示视窗下的所述显示数据进行空间划分以过滤掉所述显示视窗所属空间外的显示数据，得到所述显示视窗所属空间内的视窗显示数据，以供显示。具体的，所述空间划分模块4基于所述显示视窗所属的空间，对所述显示视窗下的所述显示数据进行空间划分以过滤掉所述显示视窗所属空间外的显示数据，得到显示视窗所属空间内的视窗显示数据。

这里，对该显示视窗下的显示数据进行空间划分，将显示数据作为空间对象，通过空间划分使空间对象与空间位置进行映射，每个显示数据都会有对应的空间索引。把当前屏幕的坐标作为一个搜索矩形，在平移和缩放的过程中，迅速的找到与该矩形相交的所有空间对象集合，以此来提高显示的效率。

在一优选实施方式中，本发明的成像系统还包括：图元调整模块5与所述空间划分模块4关联，用于基于所述显示视窗的缩放比例，对所述视窗显示数据中的图元数据进行优化。具体的，所述图元调整模块5计算所述显示视窗的缩放比例，基于所述显示视窗的缩放比例，对所述视窗显示数据中的图元数据进行减少或增加。对所述显示视窗的缩放比例进行计算的目的是根据所述显示视窗的缩放比例对所述显示视窗中的图元数据进行调整。例如，当视窗的缩放比例缩小时，减少图元数据中的基本点的数量；当视窗的缩放比例放大时，增加图元数据中的基本点的数量。

如上所述，详细介绍了本发明的视频监控的成像系统，通过将图像采集设备设置在不同位置处对同一个场景中的同一监控对象进行图像采集时产生的视差进行三维信息恢复，形成三维空间图像。并对显示数据进行空间划分和优化，提高了图像成型的计算速度，减少了三维显示数据的显示时间，同时解决了三维显示数据的重复构建问题。

如上所述，本发明提供了一种视频监控的成像方法及系统，基于使用结构光编码技术的摄像头，利用摄像头在不同位置处对同一个场景中的同一监控对象进行观测时产生的视差进行三维信息恢复，准确的获取监控范围内的具有一定三维空间位置信息的图像。在获得三维点集后构造显示对象，将显示数据加入到显示系统的管理中，让显示系统来维护显示数据的关系，对显示数据进行空间划分和图元数据优化，降低了图元数目和控制图元的基本元素。本发明可以提高图像成型计算速度，三维建模后的显示数据构成可以方便用户管理，必要时才进行绘制使显示简单高效，减少显示时间。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种视频监控的成像方法，该方法包括：

对同一监控场景中的同一监控对象进行图像采集，以获取多个视角下的监控图像数据；

对所述监控图像数据进行三维信息恢复，生成所述监控对象在所述监控场景中的三维空间图像，所述三维空间图像包括具有三维空间位置信息的三维点集；

对所述三维点集进行显示变换处理，生成所述监控对象在所述监控场景中的显示数据；

对所述三维点集进行显示变换处理，包括：在显示系统的显示窗口下创建显示视窗；

对所述三维点集进行坐标变换，将世界坐标转换为图像坐标；

创建Do类型显示数据对象，将所述三维点集划分为多种类型的Do数据；

在所述显示视窗下创建管理节点，以管理所述显示数据；

在管理节点下创建根节点，每个所述显示数据作为一个子节点以由所述根节点管理；

对显示视窗下的所述显示数据进行空间划分以过滤掉所述显示视窗所属空间外的显示数据，得到显示视窗所属空间内的视窗显示数据，以供显示；

计算所述显示视窗的缩放比例；

基于所述显示视窗的缩放比例，对所述视窗显示数据中的图元数据进行减少或增加。

2.根据权利要求1所述的方法，其中，对所述监控图像数据进行三维信息恢复的步骤，包括：

获取图像坐标与世界坐标系的映射关系；

获得三维空间中的监控对象到像平面的投影关系，生成透视成像变换矩阵；

利用所述透视成像变换矩阵计算每个像素所对应的方向；

计算每个所述像素的当前位置处的深度值，得到深度图；

利用所述深度图恢复出的三维坐标点建立三维图，得到三维空间图像。

3.根据权利要求2所述的方法，其中，所述透视成像变换矩阵M为：

满足如下关系：

其中，x_w,y_w,z_w为世界坐标系中的坐标，u,v为图像坐标系中的坐标，M为透视变换矩阵，m_ij为透视矩阵的元素，Z_c为摄像机坐标系中的Z坐标。

4.根据权利要求1所述的方法，其中，所述多种类型的Do数据，包括：点数据、多段线数据和多边形数据。

5.根据权利要求1所述的方法，其特征在于，所述对显示视窗下的显示数据进行空间划分的步骤包括：

基于所述显示视窗所属的空间，对所述显示视窗下的所述显示数据进行空间划分以过滤掉所述显示视窗所属空间外的显示数据，得到显示视窗所属空间内的视窗显示数据。

6.一种视频监控的成像系统，包括：

至少一个图像采集设备(1)，用于对同一监控场景中的同一监控对象进行图像采集，获取多个视角下的监控图像数据；

三维图像创建模块(2)，用于对所述监控图像数据进行三维信息恢复，生成所述监控对象在所述监控场景中的三维空间图像，所述三维空间图像包括具有三维空间位置信息的三维点集；

显示数据创建模块(3)，用于对所述三维点集进行显示变换处理，得到所述监控对象在所述监控场景中的显示数据；所述显示数据创建模块(3)在显示窗口下创建显示视窗，对所述三维点集进行坐标变换，将世界坐标转换为图像坐标，创建Do类型显示数据对象，将所述三维点集划分为多种类型的Do数据，在显示视窗下创建管理节点，以管理所述显示数据,在管理节点下创建根节点，每个显示数据会作为一个子节点以由所述根节点管理；

空间划分模块(4)，用于对显示视窗下的所述显示数据进行空间划分以过滤掉所述显示视窗所属空间外的显示数据，得到所述显示视窗所属空间内的视窗显示数据，以供显示；

图元调整模块(5)，用于计算所述显示视窗的缩放比例；并基于所述显示视窗的缩放比例，对所述视窗显示数据中的图元数据进行减少或增加。

7.如权利要求6所述的系统，其中，所述三维图像创建模块(2)获取图像坐标系与世界坐标系的映射关系，获得三维空间中的监控对象到像平面的投影关系，生成透视成像变换矩阵，利用所述透视成像变换矩阵计算每个像素所对应的方向，计算每个所述像素的当前位置处的深度值，得到深度图，利用所述深度图恢复出的三维坐标点建立三维图，得到三维空间图像。

8.如权利要求7所述的系统，其中，所述透视成像变换矩阵为：

满足如下关系：

其中，x_w,y_w,z_w为世界坐标系中的坐标，u,v为图像坐标系中的坐标，m_ij为透视矩阵的元素，Z_c为摄像机坐标系中的Z坐标。

9.如权利要求6所述的系统，其中，所述多种类型的Do数据，包括：点数据、多段线数据和多边形数据。

10.如权利要求6所述的系统，其中，所述空间划分模块(4)基于所述显示视窗所属的空间，对所述显示视窗下的所述显示数据进行空间划分以过滤掉所述显示视窗所属空间外的显示数据，得到显示视窗所属空间内的视窗显示数据。

Images