CN105096382B - 一种在视频监控图像中关联真实物体信息的方法及装置 - Google Patents

Abstract

本发明公开了一种在视频监控图像中关联真实物体信息的方法及装置，根据视频监控的监控场景建立三维模型，在所述三维模型中设置与真实摄像机位置信息、参数信息一致的虚拟摄像机，接收在视频监控真实图像中输入的位置坐标；根据建立的三维模型及虚拟摄像机，获取该位置坐标对应于三维模型中的虚拟物体；查找该虚拟物体对应的物体信息，并将该信息叠加在真实图像中显示。本发明的装置包括三维模型建立模块、接收模块、匹配模块和信息叠加模块。本发明通过建立三维模型，实现视频监控图像中的目标对象与真实物体信息之间的关联，使得用户在实况监控画面上就可以获取到物体信息。

Description

一种在视频监控图像中关联真实物体信息的方法及装置

技术领域

本发明属于视频监控技术领域，尤其涉及一种在视频监控图像中关联真实物体信息的方法及装置。

背景技术

随着3D技术在视频监控领域的应用，许多功能有了新的解决方法，相比传统的实现方式可能更加的直观和便捷。传统的视频播放很难直观地反映真实物体状态信息，图像上所能传达的信息和真实物体之间衔接关联性很差。例如室外图像中看到一幢大楼无法直接关联大楼的详细信息，而室内图像中机房中的设备也无法关联设备的名称、状态，例如是否故障等等。

现有技术中，对于视频监控图像中的目标对象与真实物体之间的关联，是通过三维仿真软件进行查看，在三维仿真软件上建立三维虚拟模型，然后将各类数据信息输入到三维软件中，将数据信息与三维虚拟模型之间建立联系。需要查看时，通过在三维仿真软件上查找相应的三维模型，来查看相应的数据信息。但是这种方式，无法直接在现有的视频监控中直接查看目标对象对应的真实物体信息，需要通过三维仿真软件中进行操作查看，对于传统的视频监控系统中，难以实现与三维仿真软件之间的衔接，不方便直接查看。

发明内容

本发明的目的就是提供一种在视频监控中关联真实物体信息的方法及装置，无需改变用户的操作习惯，可以接入传统的视频监控系统中，在现有的监控视频中增加真实物体信息，快速的关联监控视频中目标对象与真实物体的数据信息。

为了实现上述目的，本发明技术方案如下：

一种在视频监控图像中关联真实物体信息的方法，根据视频监控的监控场景建立三维模型，在所述三维模型中设置与真实摄像机位置信息、参数信息一致的虚拟摄像机，所述方法包括步骤：

接收在视频监控真实图像中输入的位置坐标；

根据建立的三维模型及虚拟摄像机，获取该位置坐标对应于三维模型中的虚拟物体；

查找该虚拟物体对应的物体信息，并将该信息叠加在真实图像中显示。

其中，所述位置信息包括安装位置和安装角度，所述参数信息包括水平视场角、竖直视场角和输出长宽比。

进一步地，所述根据建立的三维模型及虚拟摄像机，获取该位置坐标对应于三维模型中的虚拟物体，包括步骤：

根据输入的位置坐标，确定在虚拟摄像机虚拟图像中该输入的位置坐标对应的比例坐标；

根据所述比例坐标及摄像机坐标系，确定该比例坐标对应的空间坐标；

根据所述空间坐标，确定其对应于三维模型中的虚拟物体。

其中，所述根据所述比例坐标及摄像机坐标系，确定该比例坐标对应的空间坐标，根据如下公式计算：

V_t＝M_v ^-1·M_p ^-1·V

其中V_t为空间坐标，M_v为虚拟摄像机的视图矩阵，M_p为虚拟摄像机的投影矩阵，V为(X_d/W，Y_d/H，s)，其中(X_d/W，Y_d/H)为输入的位置坐标对应的比例坐标，(X_d，Y_d)为输入的位置坐标，s为虚拟图像投影平面的深度，W、H为真实图像长和宽。

所述根据所述空间坐标，确定其对应与三维模型中的虚拟物体，包括：

以虚拟摄像机为起点，经所述空间坐标点作射线，根据所述射线与三维模型的交点获取对应的虚拟物体。

本发明同时还提出了一种在视频监控图像中关联真实物体信息的装置，所述装置包括：

三维模型建立模块，用于根据视频监控的监控场景建立三维模型，在所述三维模型中设置与真实摄像机位置信息、参数信息一致的虚拟摄像机；

接收模块，用于接收在视频监控真实图像中输入的位置坐标；

匹配模块，用于根据建立的三维模型及虚拟摄像机，获取所述位置坐标对应于三维模型中的虚拟物体；

信息叠加模块，用于查找所述虚拟物体对应的物体信息，并将该信息叠加在真实图像中显示。

进一步地，所述匹配模块在根据建立的三维模型及虚拟摄像机，获取所述位置坐标对应于三维模型中的虚拟物体时，执行如下操作：

根据输入的位置坐标，确定在虚拟摄像机虚拟图像中该输入的位置坐标对应的比例坐标；

根据所述比例坐标及摄像机坐标系，确定该比例坐标对应的空间坐标；

根据所述空间坐标，确定其对应于三维模型中的虚拟物体。

其中，所述匹配模块在根据所述比例坐标及摄像机坐标系，确定该比例坐标对应的空间坐标时，根据如下公式计算：

V_t＝M_v ^-1·M_p ^-1·V

其中V_t为空间坐标，M_v为虚拟摄像机的视图矩阵，M_p为虚拟摄像机的投影矩阵，V为(X_d/W，Y_d/H，s)，其中(X_d/W，Y_d/H)为输入的位置坐标对应的比例坐标，(X_d，Y_d)为输入的位置坐标，s为虚拟图像投影平面的深度，W、H为真实图像长和宽。

所述匹配模块在根据所述空间坐标，确定其对应与三维模型中的虚拟物体时，执行如下操作：

以虚拟摄像机为起点，经所述空间坐标点作射线，根据所述射线与三维模型的交点获取对应的虚拟物体。

本发明提出的一种在视频监控中关联真实物体信息的方法及装置，通过在视频监控系统中增加三维服务器，利用三维服务器建立的三维模型，并在三维模型内架设与真实摄像机参数信息一致的虚拟摄像机，当用户在真实摄像机上进行操作时，能将视频监控系统中真实画面的指针信息转化至三维模型中的空间信息，再结合虚拟摄像机的空间坐标，形成射线，根据射线碰撞检测的方法，将真实画面中指针对应的目标对象在三维模型中检测出，然后查找对应的数据信息，输送至视频监控系统的监控画面中显示，实现视频监控画面内的目标对象与真实物体之间的关联。

附图说明

图1为本发明真实摄像机真实图像示意图；

图2为本发明虚拟摄像机虚拟图像示意图；

图3为虚拟摄像机坐标系示意图；

图4为射线碰撞检测原理图；

图5为本发明在视频监控图像中关联真实物体信息的方法流程图；

图6为本发明在视频监控图像中关联真实物体信息的装置结构示意图。

具体实施方式

下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。

本发明的总体思路是在视频监控系统中添加三维服务器，利用三维服务器建立三维模型，并根据真实摄像机的参数信息，在三维模型的相同位置上设置虚拟摄像机，使虚拟摄像机上的虚拟图像与真实摄像机上的真实图像一致，再通过对真实摄像机上真实画面的操作，使真实画面内的指针位置信息转化为三维模型中世界坐标系内的空间坐标点，结合虚拟摄像机的世界坐标，以射线碰撞检测的方式，将真实画面中指针所对应的目标对象在三维模型中检测出，并且利用三维服务器，查找目标对象的相关信息，发送至视频监控系统的客户端中，在真实画面上显示，从而实现视频监控图像中的目标对象与真实物体之间的关联。

其中，通过三维服务器建立监控场景的三维模型，在不需要非常精确的情况下可以使用立方体建模，即模型无需材质贴图，直接用立方体代替真实物体。例如真实摄像机cam1拍摄的视频中有两个物体，分别为物体A和物体B，根据物体A和物体B以及cam1的相对位置关系创建对应的三维模型，三维模型与真实物体的比例大小相同。例如物体A坐标点1的位置为(0，0，0)点，物体B底部圆心坐标点相对位置是(x₁，0，z₁)，真实摄像机cam1安装的相对位置是(x₂，y₂，z₂)，在三维模型中创建位置信息一致的虚拟物体A’、物体B’和虚拟摄像机cam2。位置信息一致就是真实世界以物体A坐标点1为参考点，三维模型以虚拟物体A’对应的坐标点1’为参考点，虚拟物体B’和虚拟摄像机cam2的相对位置与物体B和真实摄像机cam1的相对位置一致。

虚拟摄像机cam2是应用在三维模型中，用来摄录三维模型中虚拟图像的图像采集设备。由于三维模型是真实比例构建，通过调节虚拟摄像机cam2的参数，可调整虚拟摄像机cam2的可视域与真实摄像机cam1可视域一致，从而虚拟摄像机cam2的成像结果应该与真实摄像机cam1相同。

一般摄像机的参数包括水平视场角AG_hor、竖直视场角AG_ver和输出长宽比A_spect，分别为：

输出长宽比：A_spect＝w/h；

水平视场角：AG_hor＝2arctan(w/2F)；

竖直视场角：AG_ver＝2arctan(h/2F)；

其中，w、h为摄像机的图像传感器CCD的宽和高，F为焦距。

为了使虚拟摄像机cam2所拍摄的视频图像与真实摄像机cam1所拍摄的视频图像一致，因此，将真实摄像机cam1的安装位置(包括三维空间坐标、安装角度)、CCD尺寸以及焦距信息下发给三维服务器，就可以创建出图像比例一致的虚拟摄像机cam2。只需要对焦距F进行调节，就可以达到一致的水平视场角和竖直视场角。为了方便进行说明，以下将虚拟摄像机cam2拍摄的三维模型的图像称为虚拟图像，将真实摄像机cam1拍摄的真实视频图像称为真实图像。

如图1、图2所示，假设真实图像长宽为W、H，虚拟图像长宽为W’、H’，从三维模型中得到的虚拟图像应该和真实图像比例一致，即W/H＝W’/H’。而真实图像中物体A左上角a点所在位置(X_a，Y_a)所对应的比例坐标P_a(X_a/W，Y_a/H)，和虚拟图像中物体A’左上角a’点所在位置(X_a’，Y_a’)所对应的比例坐标Pa’(X_a’/W’，Y_a’/H’)是相等的；同样真实图像中物体B左上角b点所对应的比例坐标P_b(X_b/W，Y_b/H)，和虚拟图像中物体B’左上角b’点所对应的比例坐标P_b’(X_b’/W’，Y_b’/H’)也是相等的，两图像的比例坐标完全相同。此时用户在真实图像中鼠标移动(或点击)到物体B上所得到的坐标位置d(X_d，Y_d)，可以得到对应的比例坐标P_d(X_d/W，Y_d/H)，对应于虚拟图像中的位置d’(X_d’，Y_d’)，其对应的比例坐标为P_d’(X_d’/W’，Y_d’/H’)，从而当用户在真实图像中鼠标移动(或点击)到物体B上所得到的坐标位置d(X_d，Y_d)后，可以求得其在虚拟图像上对应的d’点对应的比例坐标P_d’(X_d’/W’，Y_d’/H’)＝P_d(X_d/W，Y_d/H)。

进一步地，根据d’在虚拟图像中的比例坐标，可以得到其在三维模型中的空间坐标，本实施例物体在三维模型中的空间坐标采用世界坐标系。转换过程如下：

1)、计算虚拟摄像机的投影矩阵M_p。

虚拟摄像机为透视投影，其形状在数学意义上，为图3所示的截锥六面体。根据虚拟摄像机的投影，以虚拟摄像机为原点，建立摄像机坐标系，设定近裁剪面到虚拟摄像机距离为n，远裁剪面到虚拟摄像机的距离为f，近裁剪面左下角在摄像机坐标系中的坐标为(l，b，n)，近裁剪面右上角在摄像机坐标系中的坐标为(r，t，n)，则可得出截锥六面体各个顶点的坐标。因此，虚拟摄像机的投影矩阵M_p：

其中，

2)、计算虚拟摄像机的视图矩阵，即从世界坐标系转换到摄像机坐标系的换算矩阵M_v。

其中，R为虚拟摄像机的旋转变换矩阵，T为位移变换矩阵。

3)、将d’在虚拟图像中的比例坐标换算到三维模型中的空间坐标V_t。

d’在虚拟图像中的比例坐标为P_d’(X_d’/W’，Y_d’/H’)＝P_d(X_d/W，Y_d/H)，将虚拟图像的投影平面设置为虚拟摄像的近裁剪面，则投影平面的深度就是n，设V为(X_d/W，Y_d/H，n)，通过如下公式计算得到d’在对应的三维模型中的空间坐标V_t。

V_t＝M_v ^-1·M_p ^-1·V

其中，V为(X_d/W，Y_d/H，n)。本实施例以近裁剪面为虚拟图像的投影平面为例进行说明。虚拟图像的投影平面可以位于近裁剪面到远裁剪面之间，对于V，(X_d，Y_d)为输入的位置坐标(d点的位置坐标)，s为虚拟图像投影平面的深度，真实图像长宽为W、H，当以近裁剪面为虚拟图像的投影平面时，s等于n。

在得到d’点的空间坐标V_t后，就可以以虚拟摄像机为起点，经V_t做射线，该射线与三维模型的交点对应的虚拟物体就是在真实图像中鼠标所点击的目标对象对应的三维模型虚拟物体。如图4所示，射线的起点为虚拟摄像机的世界坐标Pos_v，射线的方向为Pos_v-V_t，即：

Ray.origin＝Pos_v

Ray.direction＝Pos_v-V_t

根据虚拟摄像机所在位置点Pos_v和V_t的连线发出射线ray，通过射线碰撞检测所得到的物体就是虚拟物体B’，利用该虚拟物体B’在三维服务器中的ID信息就可以进行数据查找，就可以得到物体的信息，从而在真实图像中呈现，实现了视频监控图像中目标对象与真实物体信息的关联。

如图5所示，本实施例的一种在视频监控图像中关联真实物体信息的方法，包括步骤：

S1：接收在视频监控真实图像中输入的位置坐标；

S2：根据建立的三维模型及虚拟摄像机，获取该位置坐标对应于三维模型中的虚拟物体；

S3：查找该虚拟物体对应的物体信息，并将该信息叠加在真实图像中显示。

可见，在应用中，用户只需通过鼠标点击视频监控实况真实图像中的目标对象点，例如物体B上的d点，然后计算得到d点对应于虚拟图像中的d’点的比例坐标，通过换算得到其在三维模型中的空间坐标V_t后，根据射线碰撞原理，以虚拟摄像机在三维模型的坐标点Pos_v为射线起点，Pos_v-V_t为射线方向，发射一条射线，利用射线碰撞的原理，使射线碰撞至三维模型中的虚拟物体B’上。从而使鼠标指针所指的真实物体B与三维模型中的虚拟物体B’之间建立联系，三维服务器查找虚拟物体B’的物体信息，并将该物体信息发送至真实摄像机的真实图像中，在真实图像内，将其物体信息进行显示，实现真实物体与其对应的物体信息之间的相互关联。

本发明通过在用户界面内的对真实图像中进行操作，通过移动鼠标指针进行选择点击，通过点击点的坐标换算并根据射线碰撞原理，进行虚拟物体检测，若射线有与虚拟物体发生碰撞，则在三维服务器中查找相关虚拟物体的物体信息，在用户界面上进行显示，若没有碰撞到物体，则表示鼠标指针未点击到物体，无法显示物体的物体信息。

需要说明的是，本发明不限于根据真实图像获取虚拟物体的具体方法。本实施例仅列举了通过鼠标点击，并进行坐标转换获取对应与虚拟图像中的比例坐标和空间坐标，然后通过射线碰撞来在三维模型中找到对应的虚拟物体。还可以通过鼠标点击或人为输入坐标来选择目标对象，通过图像处理获取目标对象的形状或颜色，并通过在虚拟图像中通过形状或颜色比对来找到对应的图像，并进一步映射到三维模型中找到对应的虚拟物体。

本实施例基于上述方法的一种在视频监控图像中关联真实物体信息的装置，如图6所示，包括：

三维模型建立模块，用于根据视频监控的监控场景建立三维模型，在所述三维模型中设置与真实摄像机位置信息、参数信息一致的虚拟摄像机；

接收模块，用于接收在视频监控真实图像中输入的位置坐标；

匹配模块，用于根据建立的三维模型及虚拟摄像机，获取所述位置坐标对应于三维模型中的虚拟物体；

信息叠加模块，用于查找所述虚拟物体对应的物体信息，并将该信息叠加在真实图像中显示。

与上述方法对应地，匹配模块在根据建立的三维模型及虚拟摄像机，获取所述位置坐标对应于三维模型中的虚拟物体时，执行如下操作：

根据输入的位置坐标，确定在虚拟摄像机虚拟图像中该输入的位置坐标对应的比例坐标；

根据所述比例坐标及摄像机坐标系，确定该比例坐标对应的空间坐标；

根据所述空间坐标，确定其对应于三维模型中的虚拟物体。

具体匹配模块在获得空间坐标、以及确定其对应于三维模型中的虚拟物体的操作与本实施例在视频监控图像中关联真实物体信息的方法中所列举的操作方法一致，这里不在赘述。

需要说明的是，本发明的装置可以为三维服务器，也可以是单独的服务器或专门的设备。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种在视频监控图像中关联真实物体信息的方法，其特征在于，根据视频监控的监控场景建立三维模型，在所述三维模型中设置与真实摄像机位置信息、参数信息一致的虚拟摄像机，所述方法包括步骤：

接收在视频监控真实图像中输入的位置坐标；

根据建立的三维模型及虚拟摄像机，获取该位置坐标对应于三维模型中的虚拟物体；

查找该虚拟物体对应的物体信息，并将该信息叠加在真实图像中显示。

2.根据权利要求1所述的方法，其特征在于，所述位置信息包括安装位置和安装角度，所述参数信息包括水平视场角、竖直视场角和输出长宽比。

3.根据权利要求1所述的方法，其特征在于，所述根据建立的三维模型及虚拟摄像机，获取该位置坐标对应于三维模型中的虚拟物体，包括步骤：

根据输入的位置坐标，确定在虚拟摄像机虚拟图像中该输入的位置坐标对应的比例坐标；

根据所述比例坐标及摄像机坐标系，确定该比例坐标对应的空间坐标；

根据所述空间坐标，确定其对应于三维模型中的虚拟物体。

4.根据权利要求3所述的方法，其特征在于，所述根据所述比例坐标及摄像机坐标系，确定该比例坐标对应的空间坐标，根据如下公式计算：

V_t＝M_v ^-1·M_p ^-1·V

其中V_t为空间坐标，M_v为虚拟摄像机的视图矩阵，M_v ^-1为M_v的逆矩阵，M_p为虚拟摄像机的投影矩阵，M_p ^-1为M_p的逆矩阵，V为(X_d/W，Y_d/H，s)，其中(X_d/W，Y_d/H)为输入的位置坐标对应的比例坐标，(X_d，Y_d)为输入的位置坐标，s为虚拟图像投影平面的深度，W、H为真实图像长和宽。

5.根据权利要求3所述的方法，其特征在于，所述根据所述空间坐标，确定其对应与三维模型中的虚拟物体，包括：

以虚拟摄像机为起点，经所述空间坐标点作射线，根据所述射线与三维模型的交点获取对应的虚拟物体。

6.一种在视频监控图像中关联真实物体信息的装置，其特征在于，所述装置包括：

三维模型建立模块，用于根据视频监控的监控场景建立三维模型，在所述三维模型中设置与真实摄像机位置信息、参数信息一致的虚拟摄像机；

接收模块，用于接收在视频监控真实图像中输入的位置坐标；

匹配模块，用于根据建立的三维模型及虚拟摄像机，获取所述位置坐标对应于三维模型中的虚拟物体；

信息叠加模块，用于查找所述虚拟物体对应的物体信息，并将该信息叠加在真实图像中显示。

7.根据权利要求6所述的装置，其特征在于，所述位置信息包括安装位置和安装角度，所述参数信息包括水平视场角、竖直视场角和输出长宽比。

8.根据权利要求6所述的装置，其特征在于，所述匹配模块在根据建立的三维模型及虚拟摄像机，获取所述位置坐标对应于三维模型中的虚拟物体时，执行如下操作：

根据输入的位置坐标，确定在虚拟摄像机虚拟图像中该输入的位置坐标对应的比例坐标；

根据所述比例坐标及摄像机坐标系，确定该比例坐标对应的空间坐标；

根据所述空间坐标，确定其对应于三维模型中的虚拟物体。

9.根据权利要求8所述的装置，其特征在于，所述匹配模块在根据所述比例坐标及摄像机坐标系，确定该比例坐标对应的空间坐标时，根据如下公式计算：

V_t＝M_v ^-1·M_p ^-1·V

其中V_t为空间坐标，M_v为虚拟摄像机的视图矩阵，M_v ^-1为M_v的逆矩阵，M_p为虚拟摄像机的投影矩阵，M_p ^-1为M_p的逆矩阵，V为(X_d/W，Y_d/H，s)，其中(X_d/W，Y_d/H)为输入的位置坐标对应的比例坐标，(X_d，Y_d)为输入的位置坐标，s为虚拟图像投影平面的深度，W、H为真实图像长和宽。

10.根据权利要求8所述的装置，其特征在于，所述匹配模块在根据所述空间坐标，确定其对应与三维模型中的虚拟物体时，执行如下操作：

以虚拟摄像机为起点，经所述空间坐标点作射线，根据所述射线与三维模型的交点获取对应的虚拟物体。