CN104954747A - 视频监视方法和装置 - Google Patents

Abstract

本发明提出一种视频监视方法和装置，涉及监视领域。其中，本发明的一种视频监视方法，包括：获取平面视频图像；根据平面视频图像确定平面视频图像中目标的平面坐标信息；根据平面坐标信息通过3D重建算法进行3D重建，获得目标的三维坐标信息；基于目标和虚拟门的位置关系提取事件发生，其中，虚拟门包括三维坐标信息。通过这样的方法，根据视频图像获取目标的三维坐标信息，基于虚拟门和目标的三维坐标信息判断二者的位置关系，从而提取事件发生，有效避免了二维图像中由于透视效果引起的事件误判，提高了事件判断的准确度。

Description

视频监视方法和装置

技术领域

本发明涉及监视领域，特别是一种视频监视方法和装置。

背景技术

智能视频行为分析系统在各种监控场所中有很高的应用价值，其基本通用方法为通过对输入视频进行背景建模，利用背景图像与当前帧的图像检测运动目标，后续对运动目标进行跟踪、分类和行为分析，或者采用训练识别的方式直接从视频中检测指定类型目标，对检测到的目标进行跟踪和分析，并对行为事件进行预警判断，以达到智能监控的目的。

在行为分析中，绊线检测与区域入侵检测是基本的检测功能。其基本实现为：在视频图像设置至少一个线段或一个区域，检测视频中的运动目标是否发生跨越该线段或进入/离开该区域，若有事件发生，则产生报警。其中，绊线检测在视频图像中设置至少一条带有方向的线段，检测运动目标是否从线的一侧运动到另一侧，若有绊线行为发生则产生报警事件；区域入侵检测在视频图像中设置至少一个检测区域，检测运动目标是否从一个区域外进入到该区域内，若有区域入侵行为发生则产生报警事件。

现有的绊线和区域入侵检测技术，在图像平面上直接根据目标和所设置绊线、区域是否相交来判断是否触发相应规则。由于摄像机成像存在透视效果，当图像中目标与绊线或区域相交时，现实世界中，并不一定会发生绊线或者进入的动作，因此容易产生误判，发生错误报警。

发明内容

本发明的目的在于解决由于摄像机的透视效果造成事件误判的问题。

根据本发明的一个方面，提供一种视频监视方法，包括：获取平面视频图像；根据平面视频图像确定平面视频图像中目标的平面坐标信息；根据平面坐标信息通过3D重建算法进行3D重建，获得目标的三维坐标信息；基于目标和虚拟门的位置关系提取事件发生，其中，虚拟门包括三维坐标信息。

可选地，虚拟门为与地面垂直的门区域，虚拟门与地面的交线为直线、线段或折线。

可选地，根据平面视频图像确定平面视频图像中目标的平面坐标信息包括：对比连续帧平面视频图像，或将平面视频图像与背景图像对比，获取平面视频图像中的变化点或点群；从变化点或点群中提取点或点群作为目标，根据平面视频图像确定目标的平面坐标信息。

可选地，获取平面视频图像的设备包括一个以上2D摄像机。

可选地，根据平面坐标信息通过3D重建算法进行3D重建，获得目标的三维坐标信息为：根据平面坐标信息通过3D重建算法进行3D重建，获得目标的三维坐标下的水平坐标信息；基于目标和虚拟门的位置关系提取事件发生，其中，虚拟门包括三维坐标信息为：基于目标和虚拟门的位置关系提取事件发生，其中，虚拟门包括三维坐标下的水平坐标信息。

可选地，根据平面坐标信息通过3D重建算法进行3D重建，获得目标的三维坐标信息为：根据公式

将目标的平面坐标信息转换成三维坐标下的水平坐标信息，其中，u、v为目标的平面坐标信息，X、Y为目标的三维坐标下的水平坐标信息，P为转换矩阵，λ为畸变系数。

可选地，还包括：根据多帧平面视频图像确定平面视频图像中目标的运动轨迹；确定目标的运动轨迹的三维坐标信息；基于目标的运动轨迹和虚拟门的位置关系提取事件发生。

可选地，事件包括位于虚拟门内、位于虚拟门外、位于虚拟门区域、从外向内穿过虚拟门、从内向外穿过虚拟门、从外向内运动且未穿过虚拟门和/或从内向外运动且未穿过虚拟门。

可选地，还包括，判断目标的类型，目标的类型包括人、动物和/或车。

可选地，还包括，若提取到预定事件，则发出报警信息，报警信息包括入侵位置信息和/或入侵方向信息。

可选地，基于目标和虚拟门的位置关系提取事件发生包括，统计事件的连续帧数，当帧数大于预定报警帧数时，判断事件发生。

通过这样的方法，根据平面视频图像获取目标的三维坐标信息，基于虚拟门和目标的三维坐标信息判断二者的位置关系，从而提取事件发生，有效避免了二维图像中由于透视效果引起的事件误判，提高了事件判断的准确度。

根据本发明的另一个方面，提供一种视频监控装置，包括：视频采集模块，用于获取平面视频图像；目标获取模块，用于根据平面视频图像确定平面视频图像中目标的平面坐标信息；三维坐标确定模块，用于根据平面坐标信息通过3D重建算法进行3D重建，获得目标的三维坐标信息；事件提取模块，用于基于目标和虚拟门的位置关系提取事件发生，其中，虚拟门包括三维坐标信息。

可选地，虚拟门为与地面垂直的门区域，虚拟门与地面的交线为直线、线段或折线。

可选地，目标获取模块包括：帧比对单元，用于对比连续帧平面视频图像，或将平面视频图像与背景图像对比，获取平面视频图像中的变化点或点群；目标确定单元，从变化点或点群中提取点或点群作为目标；平面坐标获取单元，用于通过平面视频图像获取目标的平面坐标信息。

可选地，视频采集模块包括一个以上2D摄像机。

可选地，三维坐标确定模块还用于：根据平面坐标信息通过3D重建算法进行3D重建，获得目标的三维坐标下的水平坐标信息；事件提取模块还用于：基于目标和虚拟门的位置关系提取事件发生，其中，虚拟门包括三维坐标下的水平坐标信息。

可选地，三维坐标确定模块用于：根据公式

将目标的平面坐标信息转换成三维坐标下的水平坐标信息，其中，u、v为目标的平面坐标信息，X、Y为目标的三维坐标下的水平坐标信息，P为转换矩阵，λ为畸变系数。

可选地，目标获取模块还包括运动轨迹确定单元，用于根据多帧平面视频图像确定视频图像中目标的运动轨迹；三维坐标确定模块，还用于确定目标的运动轨迹的三维坐标信息；事件提取模块，还用于基于目标的运动轨迹和虚拟门的位置关系提取事件发生。

可选地，事件包括位于虚拟门内、位于虚拟门外、位于虚拟门区域、从外向内穿过虚拟门、从内向外穿过虚拟门、从外向内运动且未穿过虚拟门和/或从内向外运动且未穿过虚拟门。

可选地，还包括目标类型分析模块，用于分析目标类型，目标的类型包括人、动物和/或车。

可选地，还包括报警模块，用于根据提取到的预定事件发出报警信息，报警信息包括入侵位置信息和/或入侵方向信息。

可选地，事件提取模块还用于统计事件的连续帧数，当帧数大于预定报警帧数时，判断事件发生。

通过这样的装置，根据平面视频图像获取目标的三维坐标信息，基于虚拟门和目标的三维坐标信息判断二者的位置关系，从而提取事件发生，有效避免了二维图像中由于透视效果引起的事件误判，提高了事件判断的准确度。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的视频监视方法的一个实施例的流程图。

图2为本发明的视频监视方法的另一个实施例的流程图。

图3为本发明的确定目标的三维坐标部分一个实施例的流程图。

图4为本发明的视频监视装置的一个实施例的示意图。

图5为本发明的视频监视装置的另一个实施例的示意图。

图6为本发明的视频监视装置的又一个实施例的示意图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

本发明的视频监视方法的一个实施例的流程图如图1所示。

在步骤101中，摄像设备获取监控区域的视频图像。

在步骤102中，确定视频图像中需要监视的目标，获取目标的平面坐标信息。该目标可以通过当前的图像与背景图像的对比获得，或者可以通过前后几帧图像的对比获得。该目标可以是运动物体，也可以是位于监控区域的静止物体，或者可以是平面视频图像中发生变化的像素点或点群。

在步骤103中，根据平面坐标信息通过3D重建算法进行3D重建，获得目标的三维坐标信息。

在步骤104中，根据目标和虚拟门的三维坐标信息确定二者的位置关系，从而提取事件的发生。

通过这样的方法，根据单平面视频图像获取目标的三维坐标信息，基于虚拟门和目标的三维坐标信息判断二者的位置关系，从而提取事件发生，有效避免了二维图像中由于透视效果引起的事件误判，提高了事件判断的准确度。

在一个实施例中，步骤103中获取的目标的三维坐标信息为目标在三维坐标下的水平坐标信息，即XY轴坐标信息；虚拟门的三维坐标信息为三维坐标下的水平坐标信息，也即XY轴坐标信息。基于三维坐标下的水平坐标信息，可以判断同一水平面上目标的XY轴坐标与虚拟门的XY轴坐标的位置关系，从而更准确的提取事件的发生。

在一个实施例中，本发明的视频监视方法的另一个实施例的流程图如图2所示。

在步骤201中，摄像设备获取监控区域的视频图像。

在步骤202中，对比连续帧平面视频图像，或将平面视频图像与背景图像对比，获取平面视频图像中的变化点或点群。

在步骤203中，从变化点或点群中提取点或点群作为目标。可以设置预定的提取策略，比如提取连续多帧变化的变化点或点群作为目标，提取变化量超过阈值的变化点或点群作为目标，或提取点群面积超过一定大小的变化点群作为目标等。

在步骤204中，通过平面视频图像获取目标的平面坐标信息。

在步骤205中，根据平面坐标信息通过3D重建算法进行3D重建，获得目标的三维坐标信息。

在步骤206中，根据目标和虚拟门的三维坐标信息确定二者的位置关系，从而提取事件的发生。

通过这样的方法，能够根据平面视频图像像素点的变化，获取连续帧中连续变化的点或点群，作为目标进行检测，从而减少漏判的可能性，实现更加严密的监控。

在一个实施例中，平面视频图像可以通过2D摄像机获取。2D摄像机的数量可以是1个，根据单2D摄像机获取的平面视频图像进行3D重建，获取目标的三维坐标信息。这样的方法成本低，且不需要对于普遍使用的2D摄像机监控设备进行改造，降低了对现有系统升级的成本。

在一个实施例中，同一视频图像区域的平面视频图像可以通过多个2D摄像机获取。多个2D摄像机可以分别进行事件提取，根据多2D摄像机的事件提取结果进行判断，可以通过对不同摄像机设置权重的方式，比较判断目标穿越虚拟门的权重和未穿越虚拟门的权重，确定目标是否穿越虚拟门。通过这样的方法，能够避免由于角度、距离等原因造成的误判，使事件判断更加准确。

图3为确定目标的三维坐标的一个实施例的流程图。

在步骤301中，利用一个物体在图像中平面上三个不同位置的高度信息来获取灭线(vanishing line，是投影几何学中的一个最基本的概念，就是真实世界中的所有平行线经过投影之后在图像上的交点构成的直线)方程。需要知道该物体在空间中的高度，获得的三个不同位置需要不在一条直线上，高度信息可以用像素来表示。

在步骤302中，利用地平面上一条直线的长度信息来表示获取摄像机绕X轴旋转角度和绕Y轴旋转的角度。获取的直线在空间中的长度已知，它在图像中的长度信息可以用像素来表示。

在步骤303中，利用灭线方程和摄像机的旋转角度获取2D与3D的投影矩阵。

在步骤304中，根据步骤303中的投影矩阵，以及平面坐标，获取三维坐标。

通过这样的方法，能够根据目标、虚拟门的平面坐标，获取三维坐标，从而依据三维坐标进行事件提取。

下面给出一种获得2D平面视频图像与三维坐标之间的对应关系的具体实现方法。

首先，对视频监控关注的平面进行标定，经过标定后，可以获得该平面上任意两点在真实世界坐标系中对应的欧式距离。

二维图像和三维物体之间的对应关系可以表示为如下公式：

其中λ表示摄像机的畸变系数，考虑到一般的摄像机畸变都比较小，这里简化为λ＝1，因此平面标定的重点即为获取投影矩阵P。经过推导可知，该矩阵可以由α,β(α表示相机绕X轴的旋转角度(tiltangle)，β表示相机绕Y轴的旋转角度(pan angle))以及灭线方程决定，具体推导细节可以参考文献：“Fengjun Lv Tao Zhao RamNevatia，Self Calibration of a camera from video of a walking human，ICPR，2002”。

然后利用一个物体(空间中高度已知)在图像中地平面上三个不同位置(不在一条直线上)的高度信息(像素表示)来获取灭线方程，利用地平面上一条直线(空间中长度已知)的长度信息(像素表示)，来获取α，β，从而得到投影矩阵P来标定一个平面。具体方法如下：

A、使用者在输入的视频图像上找到地平面，在地平面上任意指定两个点，其像素位置表示为(u₁,v₁)和(u₂,v₂)，并给出这两个点在真实世界坐标系中的坐标间的欧式距离d。

B、使用如下的方法来计算最优的α,β：首先，将α,β分别离散化到0度到360度之间，对每个可能的α,β的组合(α_i,β_i)构造一个映射矩阵P_i，将步骤A中获取的像素位置(u₁,v₁)和(u₂,v₂)通过P_i获取其对应的三维真实世界的坐标后计算一次欧式距离d_i，将与d误差最小的d_i对应的(α_i,β_i)作为相机或者摄像机参数。

由于α,β的大小均处于0度到360度之间，我们可以将α,β分别离散化，如α取1度、2度、….360度，β取1度、2度、….360度，对于其中每一个可能的角度值作为一组候选组合(α_i,β_i)。

将公式1稍加变形，得到公式2：

其中P^-1表示矩阵P的逆矩阵，即P^-1P＝I，I表示3×3的单位矩阵。矩阵P的维数是3×4，但是考虑到标定的点位于真实世界中的地平面上，即Z方向的坐标为0，这样，矩阵P退化为一个3×3的矩阵，这样就可以求逆了。

将(u₁,v₁)、(u₂,v₂)代入上述公式，得到这两点的世界坐标(X₁,Y₁,Z₁)和(X₂,Y₂,Z₂)，然后，计算其欧式距离与d的误差Δ(α_i,β_i)，其具体定义可以有很多种表现形式，这里只推荐比较常用的两种或者|(X₁-X₂)²+(Y₁-Y₂)²+(Z₁-Z₂)²-d²|。

对于所有可能的α,β的值，选出误差最小的一组参数α^*,β^*作为最优的参数：

C、计算灭线方程。现有技术中，任意一种获取灭线的方法都适用本发明，其中，灭线的计算方法可以参考文献“Single-ViewMetrology:Algorithms and Applications”，Antonio Criminisi，proceeding of 24DAGM symposium on Pattern Recognition。

D、计算估计矩阵二维坐标到三维坐标的投影矩阵P。

获取上述相机参数α,β之后，可以通过下式获得投影矩阵：

P＝K[R|t]  (4)

其中，矩阵P是一个3×4的映射矩阵，K是一个3×3的内部参数矩阵，(u₀,v₀)表示视频图像的本征点，一般就用视频图像的中心点表示，表示相机或摄像机的焦距，R是一个3×3的旋转矩阵，由公式(5)表示，其中α表示摄像机绕X轴的旋转角度(tilt angle)，β为绕Y轴的旋转角度(pan angle)，γ为绕Z轴的旋转角度(yaw angle)，γ近似于灭线方程相对于水平方向的倾角。

t是一个3×1的矩阵，可以表示为:t＝R[0,Hc,0]^T，Hc表示取景设备距离地面的高度，T表示对[0,Hc,0]进行转置运算。

E、由于虚拟门和目标在同一水平面上，即Z轴坐标是相同的，因此在计算过程中，省略Z轴的计算，只需要获得目标在三维坐标下的XY轴坐标。利用公式(6)将图像中地平面上的任意坐标点带入映射矩阵P，获取其对应的三维坐标下的XY轴坐标。P^-1表示退化处理后的3×3的映射矩阵的逆矩阵。

使用如上方法，可以获得2D与3D之间转换的矩阵，公式(6)，将平面坐标带入公式(6)的u、v，能够获得该平面坐标对应的三维坐标下的XY轴坐标。

综上所述，在相机标定后，其畸变系数λ和投影矩阵P固定，将目标的平面坐标(u，v)带入上述公式(6)，即可获得目标在三维坐标下的水平坐标(X，Y)，完成对目标的三维坐标信息的获取。

在进行图像标定前，可以先对图像进行诸如降噪滤波、图像增强和/或电子稳像等预处理，从而提高检测的准确性。

通过这样的方法，能够在只有一个2D摄像头，获取图像为平面视频图像的条件下，将目标的平面坐标转化为三维坐标，从而以较少的成本、设备，实现以物体的三维坐标为基础进行事件提取的目的。

在一个实施例中，视频监控同时获取的目标可以是多个，从而减少事件的漏提取。

虚拟门为与地面垂直的门区域，虚拟门与地面的交线可以是直线、线段或折线。通过这样的方法，能够尽可能的划定要监控保护的区域的边界，且从地面到空间均进行监控，提高事件提取的全面和准确性。

虚拟门在该直线、线段或折线的基础上向上延伸，高度可以是无限的，也可以预定高度。虚拟门可以通过设置虚拟门与地面的交界线的方式进行设置；也可以直接通过划定凸多边形的方式设定虚拟门，该多边形垂直于地面，且多边形的下边界为虚拟门与地面的交线；还可以通过设置虚拟门与摄像头的距离的方式进行设定；或者先设定虚拟门延伸面与地面的交界线，再设置虚拟门区域，虚拟门上下边界可以通过用户图像指定，或者设定高度。通过这样的方式，能够根据监控需要自由设定虚拟门，更具灵活性，使得视频监控区域更有针对性。

通过以上这些的方法，能够灵活的获取目标的三维坐标信息，配合虚拟门的三维坐标信息，根据二者的位置提取事件发生，防止由于摄像设备的透视现象引起的事件误提取。

在一个实施例中，由于目标可能处于运动状态，可以根据目标的运动轨迹提取事件的发生。通过比对前后多帧视频图像，提取运动目标，记录各帧图像中目标的位置信息，获取目标的运动轨迹。

根据目标的运动轨迹和虚拟门的三维坐标信息提取事件的发生。提取到的事件可以包括：从外向内穿过虚拟门、从内向外穿过虚拟门、从外向内运动且未穿过虚拟门、从内向外运动且未穿过虚拟门。

下面给出一种提取事件发生的具体实施方法。

A、获取目标和虚拟门的三维坐标信息。确定一条参考直线，这里选取经由图像的中心最下点与图像下边界垂直的一条直线。

B、分别计算当前帧图像中虚拟门设置的各线段端点到参考点坐标的连线与参考直线的夹角，分别记作θ₁，θ₂…θ_m，m为端点个数，计算当前帧图像中目标坐标点到参考点坐标的连线与参考直线的夹角α，将θ₁，θ₂…θ_m与α按照数值的大小进行排序，选择大于α的θ最小值记作T₁，选择小于α的θ最大值，记作T₂，记录T₁、T₂对应的线段端点转换后的三维坐标(x₁,y₁)和(x₂,y₂)，记录此时运动目标转换后的三维坐标(x,y)，记录参考点转换后的三维坐标(X,Y)。

C、分别计算前一帧图像中虚拟门设置的各线段端点到参考点坐标的连线与参考直线的夹角，分别记作θ₁'，θ₂'…θ_m'，m为端点个数，计算前一帧图像中目标坐标点到参考点坐标的连线与参考直线的夹角α'，将θ₁'，θ₂'…θ_m'与α'按照数值的大小进行排序，选择大于α'的θ'最小值记作T₁'，选择小于α'的θ'最大值记作T₂'，记录T₁'、T₂'对应的线段端点转换后的三维坐标(x₁′,y₁′)和(x₂′,y₂′)，记录此时运动目标转换后的三维坐标(x′,y′)。

D、分别计算T₁，T₂对应的线段端点转换后的三维坐标(x₁,y₁)和(x₂,y₂)与参考点转换后的三维坐标(X,Y)的距离d₁，d₂，计算运动目标转换后的三维坐标(x,y)与参考点转换后的三维坐标(X,Y)的距离d。

d＝((X-x)²+(Y-y)²)^1/2  (10)

判断d与d₁和d₂的大小，有可能出现三种结果：d比d₁和d₂都大，d比d₁和d₂都小，d介于d₁和d₂之间，分别记作结果1.1,1.2,1.3。

E、分别计算T₁'，T₂'对应的线段端点转换后的三维坐标(x₁',y₁')和(x₂',y₂')与参考点转换后的三维坐标(X,Y)的距离d₁'，d₂'，计算运动目标转换后的三维坐标(x,y)与参考点转换后的三维坐标(X,Y)的距离d'。

判断d'与d₁'和d₂'的大小，有可能出现三种结果：d'比d₁'和d₂'都大，d'比d₁'和d₂'都小，d'介于d₁'和d₂'之间，分别记作结果2.1,2.2,2.3。

F、根据结果进行运动方向的判断。

结果1.1,2.1组合：说明运动目标离参考点的距离一直大于虚拟门设置的线段端点离参考点的距离，未出现穿越虚拟门情况。

结果1.1,2.2组合：说明运动目标距参考点的距离发生从小于到大于虚拟门设置的线段端点离参考点的距离，发生穿越虚拟门情况，方向为从内到外。

结果1.1,2.3组合：说明运动目标距参考点的距离发生从小于到大于虚拟门设置的线段端点离参考点的距离，发生穿越虚拟门情况，方向为从内到外。

结果1.2,2.1组合：说明运动目标距参考点的距离发生从大于到小于虚拟门设置的线段端点离参考点的距离，发生穿越虚拟门情况，方向为从外到内。

结果1.2,2.2组合：说明运动目标离参考点的距离一直小于虚拟门设置的线段端点离参考点的距离，未出现穿越虚拟门情况。

结果1.2,2.3组合：说明运动目标距参考点的距离发生从大于到小于虚拟门设置的线段端点离参考点的距离，发生穿越虚拟门情况，方向为从外到内。

结果1.3,2.1组合：说明运动目标距参考点的距离发生从大于到小于虚拟门设置的线段端点离参考点的距离，发生穿越虚拟门情况，方向为从外到内。

结果1.3,2.2组合：说明运动目标距参考点的距离发生从小于到大于虚拟门设置的线段端点离参考点的距离，发生穿越虚拟门情况，方向为从内到外。

结果1.3,2.3组合：说明运动目标离参考点的距离一直介于虚拟门设置的线段端点离参考点的距离之间，未出现穿越虚拟门情况，不报警。

通过这样的方法，能够根据目标的运动状态提取事件的发生，判断目标的运动方向以及是否穿越虚拟门，达到较为准确和详细的事件提取效果。

在一个实施例中，还包括报警功能。预定需要报警的事件，如位于虚拟门内，处在虚拟门区域，从外向内穿越虚拟门和/或从内向外穿越虚拟门等。当这些事件发生时，触发报警。通过这样的方法，能够实现清楚的向用户提供报警信息，帮助用户及时处理发生的事件。

在一个实施例中，还包括目标类型分析。目标类型包括人、动物和/或车。通过图像匹配，获取目标的类型，从而丰富事件提取信息。通过这样的方法，还可以选择需要报警的目标类型，减少用户的工作量。

在一个实施例中，统计事件提取的帧数，当事件的提取达到预定的帧数时，才确定事件发生。通过这样的方法，能够防止误判，过滤一部分的虚警。

本发明的视频监控装置的一个实施例的示意图如图4所示。其中，41为视频采集模块，用于获取监控区域的视频图像，视频采集模块可以为摄像机；视频采集模块41将采集到的视频图像发送给目标获取模块42，目标获取模块42根据视频图像获取目标的平面坐标信息，该目标可以通过与设定的背景图像对比的方式获得，也可以采用前后帧对比的方式获得，该目标可以是运动物体，也可以是位于监控区域的静止物体，或者可以是平面视频图像中发生变化的像素点或点群。目标获取模块42获取目标的平面坐标信息，即在平面图像中的坐标信息。目标获取模块42将获取的目标的平面坐标信息发送给三维坐标确定模块43确定目标的三维坐标信息，三维坐标确定模块43通过3D重建算法，获取目标的三维坐标信息，并将三维坐标信息发送给事件提取模块44；事件提取模块44根据目标的三维坐标信息和虚拟门的三维坐标信息确定目标和虚拟门的位置关系，提取事件的发生。

通过这样的装置，根据视频图像获取目标的三维坐标信息，基于虚拟门和目标的三维坐标信息判断二者的位置关系，从而提取事件发生，有效避免了二维图像中由于透视效果引起的事件误判，提高了事件判断的准确度。

在一个实施例中，目标的三维坐标信息为目标在三维坐标下的水平坐标信息，即XY轴坐标信息；虚拟门的三维坐标信息为三维坐标下的水平坐标信息，也即XY轴坐标信息。基于三维坐标下的水平坐标信息，可以判断同一水平面上目标的XY轴坐标信息与虚拟门的XY轴坐标信息的位置关系，从而更准确的提取事件的发生。

图5为本发明的视频监视装置的另一个实施例的示意图。51、52、53、54分别为视频采集模块、目标获取模块、三维坐标确定模块和事件提取模块，其工作过程与图4实施例中相同。目标获取模块52包括帧比对单元521、目标确定单元522和平面坐标获取单元523。帧比对单元521对比连续帧平面视频图像，或将当前帧的平面视频图像与背景图像对比，获取平面视频图像中的变化点或点群。目标确定单元522从变化点或点群中提取点或点群作为目标，可以设置预定的提取策略，比如提取连续多帧变化的变化点或点群作为目标，或提取点群面积超过一定大小的变化点群作为目标等。平面坐标获取单元523从平面图像中获取目标的平面坐标信息。

这样的装置，能够根据平面视频图像像素点的变化，获取连续帧平面视频图像中连续变化的点或点群，作为目标进行检测，从而减少漏判的可能性，实现更加严密的监控。

在一个实施例中，由于目标可能处于运动状态，可以根据目标的运动轨迹提取事件的发生，如图4所示，视频采集模块51将采集到的视频图像发送给目标获取模块52，目标获取模块52还包括运动轨迹确定单元，运动轨迹确定单元根据帧比对单元521对于多帧视频图像的对比结果，确定视频图像中目标的运动轨迹，运动轨迹可以通过每帧中目标的位置信息记录；目标获取模块52将获取的目标运动轨迹信息发送给三维坐标确定模块53，三维坐标确定模块53确定目标的运动轨迹的三维坐标信息，并将三维坐标信息发送给事件提取模块54；事件提取模块54根据目标运动轨迹的三维坐标信息和虚拟门的三维坐标信息确定目标和虚拟门的位置关系，提取事件的发生。

通过这样的装置提取到的事件可以包括：从外向内穿过虚拟门、从内向外穿过虚拟门、从外向内运动且未穿过虚拟门、从内向外运动且未穿过虚拟门，从而能够丰富事件的类型，并提取事件发生的经过，达到较为详细的事件提取效果。

在一个实施例中，视频采集模块包括一个2D摄像机。根据单2D摄像机获取的平面视频图像进行3D重建，获取目标的三维坐标信息。这样的方法成本低，且不需要对于硬件进行改造，降低了对现有系统升级的成本。

在一个实施例中，视频采集模块可以包括多个2D摄像机。多个2D摄像机可以分别进行事件提取，根据多2D摄像机的事件提取结果进行判断，可以通过对不同摄像机设置权重的方式，比较判断目标穿越虚拟门的权重和未穿越虚拟门的权重，确定目标是否穿越虚拟门。通过这样的方法，能够避免由于角度、距离等原因造成的误判，使事件判断更加准确。

在一个实施例中，虚拟门为与地面垂直的门区域，虚拟门与地面的交线可以是直线、线段或折线。通过这样的方法，能够尽可能的划定要监控保护的区域的边界，且从地面到空间均进行监控，提高事件提取的全面和准确性。

虚拟门在该直线、线段或折线的基础上向上延伸，高度可以无限，也可以预定高度。虚拟门可以通过设置虚拟门与地面的交界线的方式进行设置；也可以直接通过划定凸多边形的方式设定，该多边形垂直于地面，且多边形的下边界为虚拟门与地面的交线；还可以通过设置虚拟门与摄像头的距离的方式进行设定；或者先设定虚拟门延伸面与地面的交界线，再设置虚拟门区域，虚拟门上下边界可以通过用户图像指定，或者设定高度。虚拟门的设置可以通过外部程序的接口实现。通过这样的方式，能够根据监控需要自由设定虚拟门，更具灵活性，使得视频监控区域更有针对性。

图6为本发明的视频监视装置的又一个实施例的示意图。其中，61、62、63、64分别为视频采集模块、目标获取模块、三维坐标确定模块和事件提取模块，621、622、623分别为目标获取模块62中的帧比对单元、目标确定单元和平面坐标获取单元，其工作过程与图5的实施例中相似。视频监控装置还包括目标类型分析模块65。目标类型分析模块65根据目标确定单元622获取的目标信息匹配获取目标类型，目标类型可以包括人、动物和/或车。通过图像匹配，获取目标的类型，从而丰富事件提取信息。通过这样的装置，还可以选择需要报警的目标类型，减少用户的工作量。

在一个实施例中，还可以包括报警模块66。当事件提取模块64提取到预定需要报警的事件时，发送报警信号和/或事件信息到报警模块66触发报警。通过这样的装置，能够实现清楚的向用户提供报警信息，帮助用户及时处理发生的事件。预定需要报警的事件可以包括位于虚拟门内，处在虚拟门区域，从外向内穿越虚拟门和/或从内向外穿越虚拟门等。在一个实施例中，报警模块66还可以获取目标类型分析模块65确定的目标类型信息，从而在报警的同时向用户提供目标类型信息。

在一个实施例中，事件提取模块统计提取到的事件发生的帧数，当事件的提取达到预定的帧数时，才确定事件发生。通过这样的方法，能够防止误判，过滤一部分的虚警。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (22)

1.一种视频监视方法，其特征在于：

获取平面视频图像；

根据所述平面视频图像确定所述平面视频图像中目标的平面坐标信息；

根据所述平面坐标信息通过3D重建算法进行3D重建，获得所述目标的三维坐标信息；

基于所述目标和虚拟门的位置关系提取事件发生，其中，所述虚拟门包括三维坐标信息。

2.根据权利要求1所述的方法，其特征在于，所述虚拟门为与地面垂直的门区域，所述虚拟门与地面的交线为直线、线段或折线。

3.根据权利要求1所述的方法，其特征在于，所述根据所述平面视频图像确定所述平面视频图像中目标的平面坐标信息包括：

对比连续帧所述平面视频图像，或将所述平面视频图像与背景图像对比，获取所述平面视频图像中的变化点或点群；

从所述变化点或点群中提取点或点群作为目标；

根据所述平面视频图像确定所述目标的平面坐标信息。

4.根据权利要求1所述的方法，其特征在于，获取所述平面视频图像的设备包括一个以上2D摄像机。

5.根据权利要求1所述的方法，其特征在于，

所述根据所述平面坐标信息通过3D重建算法进行3D重建，获得所述目标的三维坐标信息为：所述根据所述平面坐标信息通过3D重建算法进行3D重建，获得所述目标的三维坐标下的水平坐标信息；

所述基于所述目标和虚拟门的位置关系提取事件发生，其中，所述虚拟门包括三维坐标信息为：基于所述目标和虚拟门的位置关系提取事件发生，其中，所述虚拟门包括三维坐标下的水平坐标信息。

6.根据权利要求1所述的方法，其特征在于，所述根据所述平面坐标信息通过3D重建算法进行3D重建，获得所述目标的三维坐标信息为：根据公式

$\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]={\mathrm{\λP}}^{-1}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]$

将所述目标的平面坐标信息转换成三维坐标下的水平坐标信息，其中，u、v为所述目标的平面坐标信息，X、Y为所述目标的三维坐标下的水平坐标信息，P为投影矩阵，λ为畸变系数。

7.根据权利要求1所述的方法，其特征在于，还包括：

根据多帧所述平面视频图像确定所述平面视频图像中目标的运动轨迹；

确定所述目标的所述运动轨迹的三维坐标信息；

基于所述目标的所述运动轨迹和所述虚拟门的位置关系提取事件发生。

8.根据权利要求1所述的方法，其特征在于，所述事件包括位于虚拟门内、位于虚拟门外、位于虚拟门区域、从外向内穿过虚拟门、从内向外穿过虚拟门、从外向内运动且未穿过虚拟门和/或从内向外运动且未穿过虚拟门。

9.根据权利要求1所述的方法，其特征在于，还包括，判断所述目标的类型，所述目标的类型包括人、动物和/或车。

10.根据权利要求1所述的方法，其特征在于，还包括，若提取到预定事件，则发出报警信息，所述报警信息包括入侵位置信息和/或入侵方向信息。

11.根据权利要求1所述的方法，其特征在于，基于所述目标和虚拟门的位置关系提取事件发生包括，统计事件的连续帧数，当所述帧数大于预定报警帧数时，判断事件发生。

12.一种视频监控装置，其特征在于，包括：

视频采集模块，用于获取平面视频图像；

目标获取模块，用于根据所述平面视频图像确定所述平面视频图像中目标的平面坐标信息；

三维坐标确定模块，用于根据所述平面坐标信息通过3D重建算法进行3D重建，获得所述目标的所述三维坐标信息；

事件提取模块，用于基于所述目标和虚拟门的位置关系提取事件发生，其中，所述虚拟门包括三维坐标信息。

13.根据权利要求12所述的装置，其特征在于，所述虚拟门为与地面垂直的门区域，所述虚拟门与地面的交线为直线、线段或折线。

14.根据权利要求12所述的装置，其特征在于，所述目标获取模块包括：

帧比对单元，用于对比连续帧所述平面视频图像，或将所述平面视频图像与背景图像对比，获取所述平面视频图像中的变化点或点群；

目标确定单元，从所述变化点或点群中提取点或点群作为目标；

平面坐标获取单元，用于通过所述平面视频图像获取所述目标的平面坐标信息。

15.根据权利要求12所述的装置，其特征在于，所述视频采集模块包括一个以上2D摄像机。

16.根据权利要求12所述的装置，其特征在于，

所述三维坐标确定模块还用于：根据所述平面坐标信息通过3D重建算法进行3D重建，获得所述目标的三维坐标下的水平坐标信息；

所述事件提取模块还用于：基于所述目标和虚拟门的位置关系提取事件发生，其中，所述虚拟门包括三维坐标下的水平坐标信息。

17.根据权利要求12所述的装置，其特征在于，所述三维坐标确定模块用于：根据公式

$\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]={\mathrm{\λP}}^{-1}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]$

将所述目标的平面坐标信息转换成三维坐标下的水平坐标信息，其中，u、v为所述目标的平面坐标信息，X、Y为所述目标的三维坐标下的水平坐标信息，P为投影矩阵，λ为畸变系数。

18.根据权利要求14所述的装置，其特征在于：

所述目标获取模块还包括运动轨迹确定单元，用于根据多帧所述平面视频图像确定所述视频图像中所述目标的运动轨迹；

所述三维坐标确定模块，还用于确定所述目标的所述运动轨迹的三维坐标信息；

所述事件提取模块，还用于基于所述目标的所述运动轨迹和所述虚拟门的位置关系提取事件发生。

19.根据权利要求12所述的装置，其特征在于，所述事件包括位于虚拟门内、位于虚拟门外、位于虚拟门区域、从外向内穿过虚拟门、从内向外穿过虚拟门、从外向内运动且未穿过虚拟门和/或从内向外运动且未穿过虚拟门。

20.根据权利要求12所述的装置，其特征在于，还包括目标类型分析模块，用于分析目标类型，所述目标的类型包括人、动物和/或车。

21.根据权利要求12所述的装置，其特征在于，还包括报警模块，用于根据提取到的预定事件发出报警信息，所述报警信息包括入侵位置信息和/或入侵方向信息。

22.根据权利要求12所述的装置，其特征在于，所述事件提取模块还用于统计事件的连续帧数，当所述帧数大于预定报警帧数时，判断事件发生。