CN104966062A - 视频监视方法和装置 - Google Patents

Abstract

本发明提出一种视频监视方法和装置，涉及监视领域。其中，本发明的一种视频监视方法，包括：获取多个不同拍摄位置的平面视频图像；将多个平面视频图像进行3D重建获得3D视频图像；根据3D视频图像，获取目标的三维坐标信息；基于目标和虚拟门的位置关系提取事件发生，其中，虚拟门包括三维坐标信息。通过这样的方法，将多个拍摄位置的平面视频图像三维重建得到3D视频图像，从3D视频图像中获取目标的三维坐标信息，基于虚拟门和目标的三维坐标信息判断二者的位置关系，从而提取事件发生，有效避免了二维图像中由于透视效果引起的事件误判，提高了事件判断的准确度。

Description

视频监视方法和装置

技术领域

本发明涉及监视领域，特别是一种视频监视方法和装置。

背景技术

智能视频行为分析系统在各种监控场所中有很高的应用价值，其基本通用方法为通过对输入视频进行背景建模，利用背景图像与当前帧的图像检测运动目标，后续对运动目标进行跟踪、分类和行为分析，或者采用训练识别的方式直接从视频中检测指定类型目标，对检测到的目标进行跟踪和分析，并对行为事件进行预警判断，以达到智能监控的目的。

在行为分析中，绊线检测与区域入侵检测是基本的检测功能。其基本实现为：在视频图像设置至少一个线段或一个区域，检测视频中的运动目标是否发生跨越该线段或进入/离开该区域，若有事件发生，则产生报警。其中，绊线检测在视频图像中设置至少一条带有方向的线段，检测运动目标是否从线的一侧运动到另一侧，若有绊线行为发生则产生报警事件；区域入侵检测在视频图像中设置至少一个检测区域，检测运动目标是否从一个区域外进入到该区域内，若有区域入侵行为发生则产生报警事件。

现有的绊线和区域入侵检测技术，在图像平面上直接根据目标和所设置绊线、区域是否相交来判断是否触发相应规则。由于摄像机成像存在透视效果，当图像中目标与绊线或区域相交时，现实世界中，并不一定会发生绊线或者进入的动作，因此容易产生误判，发生错误报警。

发明内容

本发明的目的在于解决由于摄像机的透视效果造成事件误判的问题。

根据本发明的一个方面，提供一种视频监视方法，包括：获取多个不同拍摄位置的平面视频图像；将多个平面视频图像进行3D重建获得3D视频图像；根据3D视频图像，获取目标的三维坐标信息；基于目标和虚拟门的位置关系提取事件发生，其中，虚拟门包括三维坐标信息。

可选地，虚拟门为与地面垂直的门区域，虚拟门与地面的交线为直线、线段或折线。

可选地，根据3D视频图像，获取目标的三维坐标信息包括：对比连续帧3D视频图像，或将3D视频图像与背景3D图像对比，获取3D视频图像中的变化点或点群；从变化点或点群中提取点或点群作为目标；根据3D视频图像确定目标的三维坐标信息。

可选地，获取平面视频图像的设备包括两个以上2D摄像机或基于双目视觉的3D摄像机。

可选地，根据3D视频图像，获取目标的三维坐标信息为：获得目标在三维坐标下的水平坐标信息；基于目标和虚拟门的位置关系提取事件发生为：基于目标的水平坐标信息与虚拟门的位置关系提取事件发生，其中，虚拟门包括三维坐标下的水平坐标信息。

可选地，还包括：根据多帧3D视频图像确定目标的运动轨迹；根据3D视频图像，获取目标的运动轨迹的三维坐标信息；基于目标的运动轨迹的三维坐标信息和虚拟门的位置关系提取事件发生。

可选地，事件包括位于虚拟门内、位于虚拟门外、位于虚拟门区域、从外向内穿过虚拟门、从内向外穿过虚拟门、从外向内运动且未穿过虚拟门和/或从内向外运动且未穿过虚拟门。

可选地，还包括，判断目标的类型，目标的类型包括人、动物和/或车。

可选地，还包括，若提取到预定事件，则发出报警信息，报警信息包括入侵位置信息和/或入侵方向信息。

可选地，基于目标和虚拟门的位置关系提取事件发生包括，统计事件的连续帧数，当帧数大于预定报警帧数时，判断事件发生。

通过这样的方法，将多个拍摄位置的平面视频图像三维重建得到3D视频图像，从3D视频图像中获取目标的三维坐标信息，基于虚拟门和目标的三维坐标信息判断二者的位置关系，从而提取事件发生，有效避免了二维图像中由于透视效果引起的事件误判，提高了事件判断的准确度。

根据本发明的另一个方面，提供一种视频监控装置，包括：图像获取模块，用于获取多个拍摄位置的平面视频图像；3D重建模块，用于将多个平面视频图像进行3D重建获得3D视频图像；三维坐标获取模块，用于根据3D视频图像，获取目标的三维坐标信息；事件提取模块，用于基于目标和虚拟门的位置关系提取事件发生，其中，虚拟门包括三维坐标信息。

可选地，虚拟门为与地面垂直的门区域，虚拟门与地面的交线为直线、线段或折线。

可选地，三维坐标确定模块包括：帧对比单元，用于对比连续帧3D视频图像，或将3D视频图像与背景3D图像对比，获取3D视频图像中的变化点或点群；目标提取单元，用于从变化点或点群中提取点或点群作为目标；坐标提取单元，用于根据3D视频图像确定目标的三维坐标信息。

可选地，图像获取模块为两个以上2D摄像机或基于双目视觉的3D摄像机。

可选地，三维坐标确定模块，还用于获得目标在三维坐标下的水平坐标信息；事件提取模块，还用于基于目标的水平坐标信息与虚拟门的位置关系提取事件发生，其中，虚拟门包括三维坐标下的水平坐标信息。

可选地，还包括：轨迹确定模块，用于根据多帧3D视频图像确定目标的运动轨迹；三维坐标确定模块，还用于根据3D视频图像，获取目标的运动轨迹的三维坐标信息；事件提取模块，还用于基于目标的运动轨迹的三维坐标信息和虚拟门的位置关系提取事件发生。

可选地，事件包括位于虚拟门内、位于虚拟门外、位于虚拟门区域、从外向内穿过虚拟门、从内向外穿过虚拟门、从外向内运动且未穿过虚拟门和/或从内向外运动且未穿过虚拟门。

可选地，还包括类型判断模块，用于判断目标的类型，目标的类型包括人、动物和/或车。

可选地，还包括报警模块，用于在提取到预定事件的情况下，发出报警信息，报警信息包括入侵位置信息和/或入侵方向信息。

可选地，事件提取模块，还用于统计事件的连续帧数，当帧数大于预定报警帧数时，判断事件发生

通过这样的装置，将多个拍摄位置的平面视频图像三维重建得到3D视频图像，从3D视频图像中获取目标的三维坐标信息，基于虚拟门和目标的三维坐标信息判断二者的位置关系，从而提取事件发生，有效避免了二维图像中由于透视效果引起的事件误判，提高了事件判断的准确度。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的视频监视方法的一个实施例的流程图。

图2为本发明的视频监视方法的一部分的一个实施例的流程图。

图3为本发明的视频监视方法的另一个实施例的流程图。

图4为本发明的视频监视装置的一个实施例的示意图。

图5为本发明的视频监视装置的另一个实施例的示意图。

图6为本发明的视频监视装置的又一个实施例的示意图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

本发明的视频监控方法的一个实施例的流程图如图1所示。

在步骤101中，获取多个不同拍摄位置的平面视频图像。使用多个2D摄像机从不同的拍摄位置监控同一片区域，获取从不同位置拍摄的平面视频图像。在一个实施例中，采用两个2D摄像机构成双目立体视觉系统。

在步骤102中，将上一步中获取的多个平面视频图像进行3D重建，获取3D视频图像。

在步骤103中，根据3D视频图像获取目标的三维坐标信息。目标可以是位于监控区域内的物体、位置，也可以是3D视频图像中三维坐标信息、色彩信息发生变化的像素点或点群。

在步骤104中，根据目标与虚拟门的位置关系提取事件发生。可提取的事件包括，目标出现在虚拟门内，目标从外向内穿过虚拟门或目标位于虚拟门外等。可以根据目标与虚拟门的相对位置关系判断是否报警以及确定报警的具体事件信息。

通过这样的方法，将多个拍摄位置的平面视频图像3D重建得到3D视频图像，从3D视频图像中获取目标的三维坐标信息，基于虚拟门和目标的三维坐标信息判断二者的位置关系，从而提取事件发生，有效避免了二维图像中由于透视效果引起的事件误判，提高了事件判断的准确度。

在一个实施例中，视频监控同时获取的目标可以是多个，从而减少事件的漏提取。

虚拟门为与地面垂直的门区域，虚拟门与地面的交线可以是直线、线段或折线。通过这样的方法，能够尽可能的划定要监控保护的区域的边界，且从地面到空间均进行监控，提高事件提取的全面和准确性。

虚拟门在该直线、线段或折线的基础上向上延伸，高度可以是无限的，也可以预定高度。虚拟门可以通过设置虚拟门与地面的交界线的方式进行设置；也可以直接通过划定凸多边形的方式设定虚拟门，该多边形垂直于地面，且多边形的下边界为虚拟门与地面的交线；还可以通过设置虚拟门与监控装置的距离的方式进行设定；或者先设定虚拟门延伸面与地面的交界线，再设置虚拟门区域，虚拟门上下边界可以通过用户图像指定，或者设定高度。通过这样的方式，能够根据监控需要自由设定虚拟门，更具灵活性，使得视频监控区域更有针对性。

在一个实施例中，将多个平面视频图像3D重建的一种方法的具体过程如下，以双平面视频图像的3D重建为例：

首先，摄像机需要安装在一个稳定的平台上，在进行监控场景的拍摄时，要确保摄像机的内参(比如焦距)和两个摄像机的位置关系不能够发生变化，否则要重新对系统进行标定。获取两个摄像机的成像画面，并对结果进行分析，提取深度信息。

为了得到更高的精度，可以使摄像机的焦距和基线长度增大，同时使监控区域尽可能靠近摄像机，确保两个摄像机的监控区域的交叠区域足够大，并且每个摄像机绕光轴旋转角度不能太大。

A、消除畸变。使用数学方法消除径向和切线方向上的镜头畸变，

径向畸变使得光线在远离透镜中心的地方比靠近中心的地方更加弯曲。对于径向畸变，将成像位置按照公式(1)进行校正。

x₁＝x(1+k₁r²+k₂r⁴+k₃r⁶)

y₁＝y(1+k₁r²+k₂r⁴+k₃r⁶)   (1)

这里，x₁，y₁为校正后的新位置，x，y为原始位置，对于便宜的网络摄像机，使用前两项，畸变很大的如鱼眼摄像机，使用第三项。

切向畸变是由于透镜制造缺陷使得透镜本身与图像平面不平行造成。对于切向畸变，将成像位置按照公式(2)进行校正。

x₂＝x+[2p₁y+p₂(r²+2x²)]

y₂＝y+[p₁(r²+2y²)+2p₂x]   (2)

这里，x₂，y₂为校正后的新位置，x，y为原始位置。

B、摄像机校正。调整摄像机的角度和距离，输出行对准(图像在一个平面上，图像上的每一行是严格对齐的)的校正图像。

C、图像匹配：查找两个摄像机视场中的相同特征，输出视差图，差值是指两图像上的相同坐标在x坐标上的差值x₁-x₂。

D、重投影。知道了两个摄像机的相对几何位置后，将视差图通过三角测量的方法转换成距离。

利用相似三角形可以推出深度信息Z值。

$Z=\frac{\mathrm{fT}}{x_1-x_2}---\left(3\right)$

其中，x₁-x₂即为视差，量纲是像素点，f的量纲也是像素点，T为两台摄像机的中心距，一般设成毫米。

通过这样的方法，能够获得平面图像与摄像头之间的距离，从而在平面坐标的基础上获得深度信息，完成图像的3D重建，基于3D视频图像获取目标的三维坐标信息。使用目标的三维坐标信息判断目标与虚拟门的相对位置关系，能够减少误判的发生。

在一个实施例中，本领域技术人员可以采用基于双目立体视觉的三维重建技术对获取的多平面图像进行3D重建，获取完整的三维描述。完整的三维描述可以包括遮挡部分的信息、背面信息等，从而能够恢复监控区域的三维场景，进一步减少事件的误判断。

在一个实施例中，可以采用基于双目视觉原理的3D摄像机获取监控图像。基于双目视觉原理的3D摄像机能够获取多个平面视频图像，并对平面视频图像进行3D重建，获取3D视频图像。这样的方法简化了摄像机安装和标定的过程，方便使用且减小了摄像机安装和标定过程中产生的误差。

在一个实施例中，从3D视频图像中获取目标的三维坐标信息的流程图如图2所示。

在步骤201中，对比连续帧3D视频图像，或将3D视频图像与背景3D图像对比，根据相同位置像素点的三维坐标信息、色彩信息的不同，获取3D视频图像中的变化点或点群。

在步骤202中，从上一步获取的变化点或点群中获取目标。可以通过去噪，剔除误差点的方式从变化点或点群中获取目标，或设置门限，当三维坐标信息或色彩信息的变化超过门限时确定变化点或点群为目标。

在步骤203中，根据3D视频图像确定目标的三维坐标信息。

这样的方法能够根据3D视频图像中像素点或点群三维坐标信息、色彩信息的变化，捕捉到变化的点或点群作为目标，从而提高监控的灵敏度，降低遗漏的概率。

在一个实施例中，由于目标可能处于运动状态，可以根据目标的运动轨迹提取事件的发生，流程图如图3所示。

在步骤301中，获取多个不同拍摄位置的平面视频图像。使用多个2D摄像机从不同的拍摄位置监控同一片区域，获取从不同位置拍摄的平面视频图像。

在步骤302中，将上一步中获取的多个平面视频图像进行3D重建，获取3D视频图像。

在步骤303中，从3D视频图像中获取目标的运动轨迹。可以根据前后多帧3D视频图像像素点三维坐标信息、色彩信息的变化，提取运动目标，记录各帧图像中目标的像素位置，获取目标的运动轨迹。

在步骤304中，在3D视频图像中获取目标运动轨迹的三维坐标信息。

在步骤305中，根据目标运动轨迹与虚拟门的位置关系，提取事件的发生。

根据目标的运动轨迹和虚拟门的三维坐标信息提取事件的发生，提取到的事件可以包括：从外向内穿过虚拟门、从内向外穿过虚拟门、从外向内运动且未穿过虚拟门、从内向外运动且未穿过虚拟门。通过这样的方法，能够实现对目标的持续监测，提高事件提取的准确性。

在一个实施例中，根据目标的三维坐标信息和虚拟门的位置关系提取事件的方法具体如下：

A、获取目标和虚拟门的三维坐标信息。确定一条参考直线，这里选取经由图像的中心最下点与图像下边界垂直的一条直线。

B、分别计算当前帧图像中虚拟门设置的各线段端点到参考点坐标的连线与参考直线的夹角，分别记作θ₁，θ₂…θ_m，m为端点个数，计算当前帧图像中目标坐标点到参考点坐标的连线与参考直线的夹角α，将θ₁，θ₂…θ_m与α按照数值的大小进行排序，选择大于α的θ最小值记作T₁，选择小于α的θ最大值，记作T₂，记录T₁、T₂对应的线段端点转换后的三维坐标(x₁,y₁)和(x₂,y₂)，记录此时运动目标转换后的三维坐标(x,y)，记录参考点转换后的三维坐标(X,Y)。

C、分别计算前一帧图像中虚拟门设置的各线段端点到参考点坐标的连线与参考直线的夹角，分别记作θ₁'，θ₂'…θ_m'，m为端点个数，计算前一帧图像中目标坐标点到参考点坐标的连线与参考直线的夹角α'，将θ₁'，θ₂'…θ_m'与α'按照数值的大小进行排序，选择大于α'的θ'最小值记作T₁'，选择小于α'的θ'最大值记作T₂'，记录T₁'、T₂'对应的线段端点转换后的三维坐标(x₁′,y₁′)和(x₂′,y₂′)，记录此时运动目标转换后的三维坐标(x′,y′)。

D、分别计算T₁，T₂对应的线段端点转换后的三维坐标(x₁,y₁)和(x₂,y₂)与参考点转换后的三维坐标(X,Y)的距离d₁，d₂，计算运动目标转换后的三维坐标(x,y)与参考点转换后的三维坐标(X,Y)的距离d。

d＝((X-x)²+(Y-y)²)^1/2

判断d与d₁和d₂的大小，有可能出现三种结果：d比d₁和d₂都大，d比d₁和d₂都小，d介于d₁和d₂之间，分别记作结果1.1,1.2,1.3。

E、分别计算T₁'，T₂'对应的线段端点转换后的三维坐标(x₁',y₁')和(x₂',y₂')与参考点转换后的三维坐标(X,Y)的距离d₁'，d₂'，计算运动目标转换后的三维坐标(x,y)与参考点转换后的三维坐标(X,Y)的距离d'。

判断d'与d₁'和d₂'的大小，有可能出现三种结果：d'比d₁'和d₂'都大，d'比d₁'和d₂'都小，d'介于d₁'和d₂'之间，分别记作结果2.1,2.2,2.3。

F、根据结果进行运动方向的判断。

结果1.1,2.1组合：说明运动目标离参考点的距离一直大于虚拟门设置的线段端点离参考点的距离，未出现穿越虚拟门情况。

结果1.1,2.2组合：说明运动目标距参考点的距离发生从小于到大于虚拟门设置的线段端点离参考点的距离，发生穿越虚拟门情况，方向为从内到外。

结果1.1,2.3组合：说明运动目标距参考点的距离发生从小于到大于虚拟门设置的线段端点离参考点的距离，发生穿越虚拟门情况，方向为从内到外。

结果1.2,2.1组合：说明运动目标距参考点的距离发生从大于到小于虚拟门设置的线段端点离参考点的距离，发生穿越虚拟门情况，方向为从外到内。

结果1.2,2.2组合：说明运动目标离参考点的距离一直小于虚拟门设置的线段端点离参考点的距离，未出现穿越虚拟门情况。

结果1.2,2.3组合：说明运动目标距参考点的距离发生从大于到小于虚拟门设置的线段端点离参考点的距离，发生穿越虚拟门情况，方向为从外到内。

结果1.3,2.1组合：说明运动目标距参考点的距离发生从大于到小于虚拟门设置的线段端点离参考点的距离，发生穿越虚拟门情况，方向为从外到内。

结果1.3,2.2组合：说明运动目标距参考点的距离发生从小于到大于虚拟门设置的线段端点离参考点的距离，发生穿越虚拟门情况，方向为从内到外。

结果1.3,2.3组合：说明运动目标离参考点的距离一直介于虚拟门设置的线段端点离参考点的距离之间，未出现穿越虚拟门情况，不报警。

通过这样的方法，能够根据目标的运动状态提取事件的发生，判断目标的运动方向以及是否穿越虚拟门，达到较为准确和详细的事件提取效果。

在一个实施例中，根据3D视频图像确定的目标的三维坐标信息为相机坐标系下的三维坐标信息。可以将目标的三维坐标信息与虚拟门的三维坐标信息统一到同一坐标系下。在一个实施例中，根据相机坐标系与地面坐标系的关系，将目标在相机坐标系下的三维坐标信息转换到地面坐标系。虚拟门可以是垂直于地面的门区域，将虚拟门和目标的坐标系统一到地面坐标系，可以仅根据虚拟门和目标的水平坐标信息判断二者的相对位置关系，根据二者的相对位置关系判断事件发生。

通过这样的方法，能够将虚拟门和目标的三维坐标信息统一到地面坐标系中，在同一坐标系中判断二者的位置关系，提高事件提取的准确性。在虚拟门垂直于地面的情况下，仅根据水平坐标信息判断二者的相对位置关系，降低事件提取的复杂度。

在一个实施例中，虚拟门的三维坐标信息为相机坐标系下的三维坐标信息，或者可以根据相机坐标系与地面坐标系的关系，将虚拟门在地面坐标系下的三维坐标信息转换到相机坐标系，从而获取目标和虚拟门在相机坐标系下的相对位置关系，根据二者的相对位置关系判断事件发生。

通过这样的方法，能够将虚拟门和目标的三维坐标信息统一到相机坐标系中，在同一坐标系中判断二者的位置关系，提高事件提取的准确性。由于不需要对目标的三维坐标信息进行转换，简化了数据处理的步骤。

在一个实施例中，目标与虚拟门的位置关系包括位于虚拟门内、位于虚拟门外、位于虚拟门区域、从外向内穿过虚拟门、从内向外穿过虚拟门、从外向内运动且未穿过虚拟门或从内向外运动且未穿过虚拟门。在这些事件中，可根据具体需求判断哪个或哪些为需要报警的事件，如位于虚拟门内、从外向内穿过虚拟门等。这样的方法，能够方便用户根据具体使用场景选择需要报警的事件，从而增加本方法的可用场景。

在一个实施例中，还可以根据确定为目标的点群的形状、色彩、三维坐标信息等特点，与资料库匹配，确定目标的类型，目标类型可以包括人、动物或者车等，从而能够供用户设置需报警的目标类型，减少对某些不必要事件的报警。

在一个实施例中，当提取到预定的需要报警的事件时，发出报警信息，可以通过声音、图像、警示灯等进行报警，报警的信息可以包括入侵位置、入侵方向等，还可以包括入侵目标，从而能够自动提示监控人员做出对应的反应，防止工作人员漏处理事件。

在一个实施例中，根据目标的三维坐标信息与虚拟门的位置关系提取事件的发生，当事件发生的连续帧数超过预定值时才触发报警，从而减少偶然事件或噪声造成的误报警。

本发明的视频监控装置的一个实施例的示意图如图4所示。其中，401为图像获取模块，从多个不同拍摄位置拍摄平面视频图像。图像获取模块可以是多个2D摄像机，从不同的拍摄位置监控同一片区域，也可以是基于双目视觉原理的3D摄像机。402为3D重建模块，将图像获取模块401获取的多个平面视频图像进行3D重建，获取3D视频图像。403为三维坐标获取模块，根据3D重建模块402获取的3D视频图像确定目标的三维坐标信息。目标可以是位于监控区域内的物体、位置，也可以是3D视频图像中三维坐标信息、色彩信息发生变化的像素点或点群。404为事件提取模块，根据目标与虚拟门的位置关系提取事件发生，可提取的事件包括目标出现在虚拟门内、目标从外向内穿过虚拟门或目标位于虚拟门外等。可以根据目标与虚拟门的相对位置关系判断是否报警以及确定报警的具体事件信息。

这样的装置，将多个拍摄位置的平面视频图像3D重建得到3D视频图像，从3D视频图像中获取目标的三维坐标信息，基于虚拟门和目标的三维坐标信息判断二者的位置关系，从而提取事件发生，有效避免了二维图像中由于透视效果引起的事件误判，提高了事件判断的准确度。

本发明的视频监控装置的另一个实施例的示意图如图5所示。其中，51、52、53、54分别为图像获取模块、3D重建模块、三维坐标获取模块和事件提取模块，其工作过程与图4的实施例中相似。其中，三维坐标获取模块53包括帧对比单元531、目标提取单元532和三维坐标提取单元533。帧对比单元531将3D重建模块52重建的3D视频图像的连续帧进行对比，或者将3D视频图像与背景3D图像进行对比，获取其中三维坐标信息或色彩信息发生变化的点或点群。目标提取单元532从帧对比单元531获取的变化点或点群中获取目标，可以通过去噪，剔除误差点的方式从变化点或点群中提取目标；或设置门限，当三维坐标信息、色彩信息的变化超过门限时确定变化点或点群为目标。三维坐标提取单元533根据3D视频图像确定目标的三维坐标信息。

这样的装置能够根据多个平面视频图像3D重建获取3D视频图像，根据3D视频图像中三维坐标信息或色彩信息的变化，捕捉发生变化的像素点或点群作为目标，从而提高监控的灵敏度，降低遗漏的概率。

在一个实施例中，如图6所示，由于目标可能处于运动状态，可以根据目标的运动轨迹提取事件的发生。61、62、63、64分别为图像获取模块、3D重建模块、三维坐标获取模块和事件提取模块，其工作过程与图5的实施例中相似。其中，三维坐标获取模块63包括帧对比单元631、目标提取单元632、轨迹确定单元633和三维坐标提取单元634。帧对比单元631根据前后多帧3D视频图像像素点三维坐标信息、色彩信息的变化，或者当前帧3D图像与背景3D图像的区别获取变化的点或点群。目标确定单元632根据帧对比单元631获取的变化点或点群提取目标。轨迹确定单元633记录各帧图像中目标的像素位置，获取目标的运动轨迹。三维坐标提取单元634根据目标运动轨迹与虚拟门的位置关系，提取事件的发生。根据目标的运动轨迹和虚拟门的三维坐标信息提取事件的发生，提取到的事件可以包括：从外向内穿过虚拟门、从内向外穿过虚拟门、从外向内运动且未穿过虚拟门、从内向外运动且未穿过虚拟门。这样的装置，能够实现对目标的持续监测，提高事件提取的丰富性和准确性。

在一个实施例中，三维坐标确定模块63获取的目标的三维坐标信息为相机坐标系下的三维坐标。在一个实施例中，虚拟门的三维坐标信息也为相机坐标系下的三维坐标信息，则根据目标和虚拟门在相机坐标系下的相对位置关系判断事件的发生。这样的装置不需要坐标系的转换，简化了位置判断的逻辑。

在一个实施例中，虚拟门的三维坐标信息为地面坐标系下的三维坐标信息。可以将虚拟门的三维坐标信息根据相机坐标系与地面坐标系的转换关系，转换为相机坐标系下的三维坐标信息，从而根据目标和虚拟门在相机坐标系下的相对位置关系判断事件的发生。这样的装置只需要对虚拟门的三维坐标信息做一次转换和存储，位置判断逻辑简单。

在一个实施例中，虚拟门的三维坐标信息为地面坐标系下的三维坐标信息。可以根据相机坐标系与地面坐标系的转换关系，将目标的三维坐标信息转换到地面坐标系下，从而在地面坐标系下判断二者的相对位置关系。由于现实情况下多数物体平行于地面运动，因此基于地面坐标系的事件判断方式更贴近于现实应用。

在一个实施例中，虚拟门可以是垂直于地面的门区域，将虚拟门和目标的坐标系统一到地面坐标系，可以仅根据虚拟门和目标的水平坐标信息判断二者的相对位置关系，根据二者的相对位置关系判断事件发生。这样的装置，在虚拟门垂直于地面的情况下，仅根据水平坐标信息判断二者的相对位置关系，降低事件提取的复杂度。

在一个实施例中，目标与虚拟门的位置关系包括位于虚拟门内、位于虚拟门外、位于虚拟门区域、从外向内穿过虚拟门、从内向外穿过虚拟门、从外向内运动且未穿过虚拟门或从内向外运动且未穿过虚拟门。在这些事件中，可根据具体需求设置哪个或哪些为需要报警的事件，如位于虚拟门内、从外向内穿过虚拟门等。

这样的装置，能够方便用户根据具体使用场景选择需要报警的事件，从而增加该装置的可用场景。

在一个实施例中，如图6所示，还可以包括类型判断模块65，根据确定为目标的点群的形状、色彩、三维坐标信息变化量等特点，与资料库匹配，确定目标的类型，目标类型可以包括人、动物或者车等，从而能够供用户设置需报警的目标类型，减少对某些不必要事件的报警。

在一个实施例中，还可以包括报警模块66，用于当事件提取模块64提取到预定的需要报警的事件时，发出报警信息，可以通过声音、图像、警示灯等进行报警，报警的信息可以包括入侵位置、入侵方向等，还可以包括入侵目标，从而能够自动提示监控人员做出对应的反应，防止工作人员漏处理事件。

在一个实施例中，事件提取模块64根据目标的三维坐标信息与虚拟门的位置关系提取事件的发生，当事件发生的连续帧数超过预定值时才触发报警，从而减少偶然事件或噪声造成的误报警。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (20)

1.一种视频监视方法，其特征在于：

获取多个不同拍摄位置的平面视频图像；

将多个所述平面视频图像进行3D重建获得3D视频图像；

根据所述3D视频图像，获取目标的三维坐标信息；

基于所述目标和虚拟门的位置关系提取事件发生，其中，所述虚拟门包括三维坐标信息。

2.根据权利要求1所述的方法，其特征在于，所述虚拟门为与地面垂直的门区域，所述虚拟门与地面的交线为直线、线段或折线。

3.根据权利要求1所述的方法，其特征在于，所述根据所述3D视频图像，获取目标的三维坐标信息包括：

对比连续帧所述3D视频图像，或将所述3D视频图像与背景3D图像对比，获取所述3D视频图像中的变化点或点群；

从所述变化点或点群中提取点或点群作为目标；

根据所述3D视频图像确定所述目标的三维坐标信息。

4.根据权利要求1所述的方法，其特征在于，获取所述平面视频图像的设备包括两个以上2D摄像机或基于双目视觉的3D摄像机。

5.根据权利要求1所述的方法，其特征在于，

所述根据所述3D视频图像，获取目标的三维坐标信息为：获得所述目标在三维坐标下的水平坐标信息；

所述基于所述目标和虚拟门的位置关系提取事件发生为：基于所述目标的水平坐标信息与虚拟门的位置关系提取事件发生，其中，所述虚拟门包括三维坐标下的水平坐标信息。

6.根据权利要求1所述的方法，其特征在于，还包括：

根据多帧所述3D视频图像确定所述目标的运动轨迹；

根据所述3D视频图像，获取所述目标的所述运动轨迹的三维坐标信息；

基于所述目标的所述运动轨迹的三维坐标信息和所述虚拟门的位置关系提取事件发生。

7.根据权利要求1所述的方法，其特征在于，所述事件包括位于虚拟门内、位于虚拟门外、位于虚拟门区域、从外向内穿过虚拟门、从内向外穿过虚拟门、从外向内运动且未穿过虚拟门和/或从内向外运动且未穿过虚拟门。

8.根据权利要求1所述的方法，其特征在于，还包括，判断所述目标的类型，所述目标的类型包括人、动物和/或车。

9.根据权利要求1所述的方法，其特征在于，还包括，若提取到预定事件，则发出报警信息，所述报警信息包括入侵位置信息和/或入侵方向信息。

10.根据权利要求1所述的方法，其特征在于，基于所述目标和虚拟门的位置关系提取事件发生包括，统计事件的连续帧数，当所述帧数大于预定报警帧数时，判断事件发生。

11.一种视频监视装置，其特征在于：

图像获取模块，用于获取多个拍摄位置的平面视频图像；

3D重建模块，用于将多个所述平面视频图像进行3D重建获得3D视频图像；

三维坐标获取模块，用于根据所述3D视频图像，获取目标的三维坐标信息；

事件提取模块，用于基于所述目标和虚拟门的位置关系提取事件发生，其中，所述虚拟门包括三维坐标信息。

12.根据权利要求11所述的装置，其特征在于，所述虚拟门为与地面垂直的门区域，所述虚拟门与地面的交线为直线、线段或折线。

13.根据权利要求1所述的装置，其特征在于，

所述三维坐标确定模块包括：

帧对比单元，用于对比连续帧所述3D视频图像，或将所述3D视频图像与背景3D图像对比，获取所述3D视频图像中的变化点或点群；

目标提取单元，用于从所述变化点或点群中提取点或点群作为目标；

坐标提取单元，用于根据所述3D视频图像确定所述目标的三维坐标信息。

14.根据权利要求11所述的装置，其特征在于，所述图像获取模块为两个以上2D摄像机或基于双目视觉的3D摄像机。

15.根据权利要求11所述的装置，其特征在于，

所述三维坐标确定模块，还用于获得所述目标在三维坐标下的水平坐标信息；

所述事件提取模块，还用于基于所述目标的水平坐标信息与虚拟门的位置关系提取事件发生，其中，所述虚拟门包括三维坐标下的水平坐标信息。

16.根据权利要求11所述的装置，其特征在于，

还包括：轨迹确定模块，用于根据多帧所述3D视频图像确定所述目标的运动轨迹；

所述三维坐标确定模块，还用于根据所述3D视频图像，获取目标的运动轨迹的三维坐标信息；

所述事件提取模块还用于基于所述目标的所述运动轨迹的三维坐标信息和所述虚拟门的位置关系提取事件发生。

17.根据权利要求11所述的装置，其特征在于，所述事件包括位于虚拟门内、位于虚拟门外、位于虚拟门区域、从外向内穿过虚拟门、从内向外穿过虚拟门、从外向内运动且未穿过虚拟门和/或从内向外运动且未穿过虚拟门。

18.根据权利要求11所述的装置，其特征在于，还包括类型判断模块，用于判断所述目标的类型，所述目标的类型包括人、动物和/或车。

19.根据权利要求11所述的装置，其特征在于，还包括报警模块，用于在提取到预定事件的情况下，发出报警信息，所述报警信息包括入侵位置信息和/或入侵方向信息。

20.根据权利要求11所述的装置，其特征在于，所述事件提取模块，还用于统计事件的连续帧数，当所述帧数大于预定报警帧数时，判断事件发生。