CN104978751A - 基于摄像头角度的越界检测方法 - Google Patents

Abstract

本发明公开了一种基于摄像头角度的越界检测方法，首先获取夹角α和夹角β，根据用户设置的边界线顶点和安全通道线段的端点得到封闭边界线和安全通道线段，对封闭边界线进行扩大和缩小得到跟踪区域，然后对每帧视频监控图像进行运动目标检测，筛选出位于跟踪区域的运动目标区域，再将筛选得到的运动目标区域与跟踪目标进行匹配跟踪，得到跟踪目标的坐标队列，根据夹角α和夹角β对跟踪目标的质心进行纠正，然后根据质心对跟踪目标进行目标行为分析，判断是否有越界危险，如果越界危险很大则报警，否则根据安全标识判断是否需要对当前异常情况进行预警。本发明能在目标行为分析时根据摄像头的不同角度进行适应性变化，提高越界检测的鲁棒性。

Description

基于摄像头角度的越界检测方法

技术领域

本发明属于计算机视觉技术领域，更为具体地讲，涉及一种基于摄像头角度的越界检测方法。

背景技术

作为现代安防的主要手段之一，智能视频监控有着非常良好的发展前景。其中越界检测是智能视频监控的一个重要方面。

目前流行的越界检测主要采用红外线对射感应器、激光反射传感器等工具来实现。红外线对射感应器利用人体红外线使检测电流发生变化准确率高，但容易受强太阳光等多种含有红外线的光源干扰。激光反射传感器通过发射激光光束并接收该激光光束的反射波来确定被测物体距离，精度高，抗光、电干扰能力强，但不适用于地形起伏的复杂环境且激光对人体有伤害。如果采用普通的视频监控，需要配置工作人员来进行判断，成本较高且容易发生失误。

而计算机视觉领域的智能图像处理能准确检测越界，对人体无害且受环境地形影响小。目前常用的越界检测方法有越界判断和禁区闯入等，这些方法都是从视频序列中检测运动目标来实现越界报警功能，因此其针对的视频图像的地域范围比较小，例如仅为仓库大门处的监控图像。如果区域边界较大，特别是对于一些位于野外、地势复杂的大面积区域，就需要配置数量较多的监控设备，且不能很好的适应复杂环境变化。

在中国专利“基于视频监控的越界检测方法及越界监控系统，CN104680555A，2015.06.03”中提出了一种根据设定的边界进行越界检测的方法，通过对运动目标进行跟踪，对跟踪目标进行目标行为分析，判断是否有越界危险，实现较大区域和复杂场地的越界检测。该专利所提供的技术方案能够在一定程度上适应较大区域和复杂场地，但是实际环境往往复杂多变，存在多人共同运动时多目标之间往往会相互干扰影响。此外，因实际条件局限摄像头的安装不能在最理想的位置，摄像头放置角度发生偏移观测图像也会发生偏移使得入侵检测准确率下降。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于摄像头角度的越界检测方法，在目标行为分析时根据摄像头的不同角度进行适应性变化，提高越界检测的鲁棒性。

为实现上述发明目的，本发明提供一种基于摄像头角度的越界检测方法，包括以下步骤：

S1：首先获取摄像头视线方向与地面的夹角α，然后沿摄像头拍摄图像的水平方向作地面的垂直面，获取摄像头中心和警示区域中心的连线在该地面垂直面上的投影与地面的夹角β；在进行摄像头安装时，夹角α的取值范围为50°≤α≤90°，夹角β的取值范围为50°≤β≤90°；

S2：用户在视频监控图像上沿警示区域的边沿依次设置警示区域的边界顶点，将相邻边界顶点连接得到警示区域封闭边界线，并在封闭边界线的两个相邻端点之间设置安全通道线段的端点，连接安全通道线段端点得到安全通道线段；根据实际需要设置跟踪目标位于边界线内部和外部的安全标识，至少将其中一种情况的安全标识设置为1，其余为0；

S3：对封闭边界线进行扩大和缩小，得到扩大边界线和缩小边界线，将扩大边界线和缩小边界线所围区域作为跟踪区域；初始化跟踪目标集合O为空集，每个跟踪目标对应一个坐标队列；

S4：对每帧视频监控图像进行运动目标检测，得到运动目标区域，筛选出位于跟踪区域的运动目标区域，再将筛选得到的运动目标区域与跟踪目标集合O的跟踪目标进行匹配跟踪，分为以下情况：

(1)如果有运动目标区域无法找到匹配的跟踪目标，将该运动目标区域作为新的跟踪目标加入跟踪目标集合O，将其质心坐标加入坐标队列；

(2)如果有运动目标区域与跟踪目标一一对应匹配，将运动目标区域的质心坐标加入跟踪目标的坐标队列；

(3)如果有一个运动目标区域与X个跟踪目标匹配，其中X＞1，将运动目标区域的质心坐标分别加入X个跟踪目标的坐标队列；

(4)如果有Y个运动目标区域与跟踪目标匹配，其中Y＞1，将该跟踪目标分离成Y个跟踪目标，每个跟踪目标的坐标队列均复制分离前跟踪目标的坐标队列，然后将本帧中运动目标区域的质心坐标分别加入对应跟踪目标的坐标队列；

(5)目标消失：如果没有运动目标区域与跟踪目标匹配，将该跟踪目标从跟踪目标集合O中删除，并删除对应的坐标队列；

S5：每帧视频监控图像进行运动目标检测和匹配跟踪后，进行目标行为分析，具体包括以下步骤：

S5.1：根据摄像头角度对跟踪目标进行质心位置纠正，具体方法为：

首先根据夹角α按以下四种情况进行质心纠正：

1)如果α∈[80°,90°]，质心不进行纠正；

2)如果α∈[70°,80°)，质心坐标下移跟踪目标外接矩形框高度的1/6；

3)如果α∈[60°,70°)，质心坐标下移跟踪目标外接矩形框高度的1/4；

4)如果α∈[50°,60°)，质心坐标下移跟踪目标外接矩形框高度的1/3；

然后根据夹角β按照以下四种情况进行质心纠正：

1)如果β∈[80°,90°]，质心不进行纠正；

2)如果β∈[70°,80°)，当摄像头位于警示区域中心点的左边，质心坐标左移跟踪目标外接矩形框宽度的1/6，当摄像头位于警示区域中心点的右边，质心坐标右移跟踪目标外接矩形框宽度的1/6；

3)如果β∈[60°,70°)，当摄像头位于警示区域中心点的左边，质心坐标左移跟踪目标外接矩形框宽度的1/4，当摄像头位于警示区域中心点的右边，质心坐标右移跟踪目标外接矩形框宽度的1/4；

4)如果β∈[50°,60°)，当摄像头位于警示区域中心点的左边，质心坐标左移跟踪目标外接矩形框宽度的1/3，当摄像头位于警示区域中心点的右边，质心坐标右移跟踪目标外接矩形框宽度的1/3；

S5.2：对于跟踪目标集合O中的每个跟踪目标，首先判断质心到边界线各条边的垂心是否位于对应顶点之间，如果不是，计算对应两个顶点与跟踪目标质心的距离，选择其中较小值作为质心到该条边的距离，否则计算质心到该条边的垂直距离；从所求得所有距离中筛选出最小距离D_min；

S5.3：判断是否D_min＜H_D1，H_D1表示预设阈值，如果不是，目标安全，不作任何操作，否则进入步骤S5.4；

S5.4：计算质心到安全通道线段的垂心如果垂心在安全通道线段上，进入步骤S5.5，否则进入步骤S5.6。

S5.5：计算质心到安全通道线段的距离D_l，如果D_l≤D_min，目标安全，不作任何操作，否则进入步骤S5.6；

S5.6：判断是否D_min＜H_D2，H_D2表示预设阈值，并且H_D2＜H_D1，如果是进行报警，并根据目标的坐标队列在视频监控画面中标示出目标轨迹，否则进入步骤S5.7；

S5.7：判断跟踪目标在边界线外部还是内部，再判断对应的安全标识是否为1，如果是，进行预警，并根据目标的坐标队列在视频监控画面中标示出目标轨迹，否则目标安全，不作任何操作；

S6：判断越界检测是否结束，如果是，检测结束，否则返回步骤S4对下一帧监控视频图像进行检测。

本发明基于摄像头角度的越界检测方法，首先获取夹角α的夹角β，根据用户设置的边界线顶点和安全通道线段的端点得到封闭边界线和安全通道线段，对封闭边界线进行扩大和缩小得到跟踪区域，然后对每帧视频监控图像进行运动目标检测，筛选出位于跟踪区域的运动目标区域，再将筛选得到的运动目标区域与跟踪目标进行匹配跟踪，得到跟踪目标的坐标队列，根据摄像头角度对跟踪目标的质心进行纠正，然后根据质心对跟踪目标进行目标行为分析，判断是否有越界危险，如果安全则不作任何操作，如果越界危险很大则报警，否则根据安全标识判断是否需要对当前异常情况进行预警，在报警或预警时根据目标坐标队列标示出目标轨迹。

本发明具有以下有益效果：

(1)本发明可以实现自动越界检测与报警，可以减少监控人员工作强度，提高监控主动性和工作效率；

(2)本发明可以使用户自行设置边界线和安全通道，能够灵活适用于各种场景；

(3)本发明可以实现大范围、复杂地形环境下的越界检测，适用范围广；

(4)本发明根据摄像头角度对跟踪目标的质心进行纠正，从而消除摄像头安装位置与角度对越界检测效果的影响，提高越界检测的鲁棒性。

附图说明

图1是本发明基于摄像头角度的越界检测方法的具体实施方式流程图

图2是摄像头理想安装情况和偏移情况的示意图；

图3是本实施例中边界线和安全通道示意图；

图4是基于背景估计的运动目标检测方法的流程示意图；

图5是目标行为分析的流程示意图；

图6是摄像头角度偏移造成越界检测误判的示例图；

图7是越界检测率随摄像头角度大小的变化曲线图；

图8是在不同大小的安装角度下进行质心纠正后的越界检测准确率变化图；

图9是采用本发明对场景1的实验验证结果图；

图10是采用本发明对场景2的实验验证结果图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

图1是本发明基于摄像头角度的越界检测方法的具体实施方式流程图。如图1所示，本发明基于视频监控的越界检测方法包括以下步骤：

S101：获取摄像头安装角度：

首先获取摄像头视线方向与地面的夹角α，然后沿摄像头拍摄图像的水平方向作地面的垂直面，获取摄像头中心和警示区域中心的连线在该地面垂直面上的投影与地面的夹角β；在进行摄像头安装时，摄像头视线方向与地面的夹角α的取值范围为50°≤α≤90°，摄像头中心和警示区域中心的连线与地面的夹角β的取值范围为50°≤β≤90°。

由于摄像头通常是安装在高处，俯视警示区域，理想情况下摄像头应该位于警示区域中心点的正上方，然而由于条件所限，绝大多数户外情况都无法达到理想安装情况，与中心点会产生偏移。图2是摄像头理想安装情况和偏移情况的示意图。如图2所示，在实际情况下，摄像头并不会在警示区域中心点的正上方，存在一定的偏移，在进行越界检测时，需要考虑这部分的偏移因素。本发明中将偏移因素以角度α和角度β来表示，α即为摄像头视线方向与地面的夹角，而β是按以下方式得到的：沿摄像头拍摄图像的水平方向作地面的垂直面，然后对摄像头中心和警示区域中心的连线在该地面垂直面上进行投影，投影得到的线段与地面的夹角即为β。在实际应用中，夹角α和夹角β可以在摄像头安装完毕后，通过实地测量得到。夹角α和夹角β过小时，其偏移量太大，难以通过后面的质心纠正改善检测效果，因此在安装时，角度α和角度β都不宜小于50度。

S102：设置参数，即边界线、安全通道线段及安全标识：

用户在视频监控图像上沿警示区域的边沿依次设置警示区域的边界顶点，将相邻边界顶点连接得到警示区域封闭边界线，并在封闭边界线的两个相邻端点之间设置安全通道线段的端点，连接安全通道线段端点得到安全通道线段。并且根据实际需要设置跟踪目标位于边界线内部和外部的安全标识，至少将其中一种情况的安全标识设置为1，其余为0。

图3是本实施例中边界线和安全通道示意图。如图3所示，本实施例的边界线是一个不规则六边形，顶点集合A＝{a₁,a₂,a₃,a₄,a₅,a₆}，安全通道为线段L，其端点l₁和l₂在边界线顶点a₁和a₂之间。根据边界线顶点的坐标即可得到边界线各边的方程，同理可能得到安全通道线段的方程，将边界线方程和安全通道线段方程保存。运动目标从任何方向跨越安全通道线段以外的边界都属于非法越界。

安全标识用于标识对位于边界线内部和外部的目标的监控力度，例如某些应用场景中，对外部入侵的监控力度更强，对内部入侵的监控力度较弱，可以只设置外部的安全标识为1。对于对内外部监控力度都比较强的应用场景，例如监狱等，需要将内部和外部的安全标识都设置为1。安全标识是目标行为分析的依据之一，其具体使用方法在目标行为分析中说明。本实施例中将外部安全标识设置为1，内部安全标识设置为0。

S103：生成跟踪区域：

对封闭边界线进行扩大和缩小，得到扩大边界线和缩小边界线，将扩大边界线和缩小边界线所围的空心多边形区域作为跟踪区域。扩大比例和缩小比例根据实际情况进行设置。显然，对边界线进行扩大时，最大不能超过监视视频图像的边界。本发明设置跟踪区域的作用是减少运动目标检测和跟踪的范围。

S104：初始化跟踪目标集：

初始化跟踪目标集合O为空集。跟踪目标集合O用于存放跟踪目标，每个跟踪目标对应一个坐标队列，用于描述跟踪目标的运动轨迹。采用跟踪目标集合O可以实现对多个目标的跟踪和越界检测。

S105：运动目标检测：

对视频监控图像进行运动目标检测，得到运动目标区域，然后筛选出位于跟踪区域的运动目标区域。对于跨越跟踪区域边界线(即扩大边界线或缩小边界线)的运动目标区域的判定，可以根据实际需要选择是以运动目标区域的边界或中心来进行判定。对于跟踪区域之外的区域，由于距离边界线较远，因此即使有运动目标也无需进行跟踪，这样可以节约处理时间，提高效率。

运动目标检测的具体方法可以根据实际需要选择，本实施例中采用基于背景估计的运动目标检测方法。图4是基于背景估计的运动目标检测方法的流程示意图。如图4所示，本实施例中所采用的基于背景估计的运动目标检测方法包括以下步骤：

S401：建立背景的混合高斯模型：

选择若干张视频监控背景图像样本，训练建立背景的混合高斯模型，其具体建立方法为：统计前几帧背景图像的均值和方差，作为混合高斯模型的初始参数，权重设置为经验值。或者直接采用第一张背景图像的像素值作为均值，方差和权重设置为经验值。在训练过程中，选择权重最大的模型作为当前背景，当前训练样本t+1中，凡是与该模型的差值满足|f(x,y,t+1)-μ_i(x,y,t)|＜3δ_i(x,y,t)的像素点均被认为是背景点，其中f(x,y,t+1)表示当前训练样本t+1中像素点(x,y)的像素值，μ_i(x,y,t)表示前t帧训练样本训练得到的混合高斯模型中第i个高斯模型的均值，其中i的取值范围为i＝1,2,…,I，I表示混合高斯模型中高斯模型的数量，δ_i(x,y,t)表示前t帧训练样本训练得到混合高斯模型中第i个高斯模型的方差，采用式(1)所示的线性估计的方法不断地更新背景模型。

$\left\{\begin{array}{c}{\mathrm{\μ}}_i(x,y,t+1)=(1-\mathrm{\α}){\mathrm{\μ}}_i(x,y,t)+\mathrm{\α}f(x,y,t)\\ {{\mathrm{\δ}}_i}^2(x,y,t+1)=(1-\mathrm{\α}){{\mathrm{\δ}}_i}^2(x,y,t)+\mathrm{\α}{\left(f\right(x,y,t)-\mathrm{\μ}(x,y,t\left)\right)}^2\\ {\mathrm{\ω}}_i(t+1)={\mathrm{\ω}}_i\left(t\right)+\mathrm{\β}\end{array}\right.---\left(1\right)$

其中，ω_i(t)表示前t帧训练样本训练得到混合高斯模型中第i个高斯模型的权重，μ_i(x,y,t+1)、δ_i(x,y,t+1)、ω_i(t+1)分别表示第t+1帧训练样本训练得到的混合高斯模型中第i个高斯模型的均值、方差和权重。α和β表示预设的参数。

S402：检测前景像素点：

对当前帧视频监控图像t′，选择权重较大的模型作为当前背景，与该模型的差值满足|f(x,y,t′)-μ_i(x,y)|＜3δ_i(x,y)的像素点均被认为是背景点，f(x,y,t′)表示视频监测图像t′中像素点(x,y)的像素值，同样采用式(1)对背景混合高斯模型进行更新，将差值不满足的像素点作为前景像素点。

S403：去除背景噪声：

在步骤S402得到的前景像素点中包括运动目标和背景噪点，由于背景噪点是分散的，而运动目标的散点相隔很近，因此本实施例采用形态学滤波去除背景噪声，即先膨胀可以将各散点连起来组成一个联通区域，再腐蚀可去除绝大部分背景噪点。形态学滤波是目前前景检测领域的常用技术，在此不再赘述。

S404：根据前景外接矩形面积筛选前景：

对于步骤S403去噪后剩下的每个前景区域，计算出前景外接矩形面积，如果前景外接矩形面积小于预设阈值，则去除视作背景，否则作为运动目标区域。本实施例中预设阈值为900。

S106：目标跟踪：

将步骤S105中筛选得到的运动目标区域与跟踪目标集合O的跟踪目标进行匹配跟踪。由于可能存在多个跟踪目标的相互影响，因此本发明将跟踪情况分为五种情况进行处理：目标消失、目标匹配、遮挡、分离以及新目标出现。在实际应用中，在安装监控摄像头时进行俯视安装，避免目标被背景遮挡或目标与背景分离的情况。

跟踪目标的匹配方法与匹配特征可以根据实际需要进行选择，本实施例中采用性能相对稳定的外接矩形面积S、质心坐标C和色调空间A三个特征来进行匹配。记跟踪目标集O＝{O_i|i＝1,2,...,N}，N表示跟踪目标数量，当前监控视频图像筛选得到的运动目标区域集为R＝{R_j|j＝1,2,...,P}，P表示运动目标区域数量。匹配函数λ_S(i,j)、λ_C(i,j)、λ_A(i,j)分别表示跟踪目标与运动目标区域的外接矩形面积、质心坐标和色调空间的匹配结果，其定义如下：

λ_S(i,j)＝{1|if(|S(O_i)-S(R_j)|≤H_S),elseλ_S＝0}

${\mathrm{\λ}}_C(i,j)=\left\{d\right|if(d\≤H_C),{\mathrm{else\λ}}_C=0\},d=\max ({\left|\hat{C}\left(O_i\right)-C\left(R_j\right)\right|}_x,{\left|\hat{C}\left(O_i\right)-C\left(R_j\right)\right|}_y)---\left(2\right)$

${\mathrm{\λ}}_A(i,j)=\left\{a\right|if(a\≥D_A),{\mathrm{else\λ}}_A=0\},a=H_{VO}{H}_{VR}^{i,jT}/(\sqrt{H_{VO}{H}_{VO}^T}*\sqrt{H_{VR}^{i,j}{H}_{VR}^{i,jT}})$

其中，S(O_i)、S(R_j)分别表示跟踪目标O_i、R_j的外接矩形面积，C(O_i)、C(R_j)别表示跟踪目标O_i的质心、跟踪算法得到的跟踪目标O_i的预测质心和跟踪区域R_j的质心坐标，表示质心坐标在x轴的差值绝对值，表示质心坐标在y轴的差值绝对值，d为质心x、y坐标差值绝对值的最大值，表示两个外接矩形的重叠程度，d越小，重叠程度越高。a表示跟踪目标O_i和运动目标区域R_j的色调空间相关系数，H_VO、H_VR表示跟踪目标O_i和运动目标区域R_j的色调矩阵，将跟踪目标的图像在运动目标区域图像上平移，令跟踪目标图像的左上角位于运动目标区域的中心，将此时跟踪目标外接矩形在运动目标区域中覆盖的子图记为R^i,j，对应的色调矩阵用表示，色调矩阵H_VO、H_VR即为跟踪目标或运动目标区域的HSV矩阵，可由RGB到HSV的转换公式得到。显然a∈[0,1]，当时，a＝1。

D_S、D_C、D_A分别表示预设的面积、质心、色调的匹配阈值，根据实际情况设置，本文中D_S为跟踪目标和运动目标区域中面积较小值的1/10，D_C为跟踪目标外接矩形的长宽和的一半，D_A取0.6。

由式(2)可知，每个特征的匹配结果均有两种可能，但每个特征并不是彼此独立的，例如，当目标的质心坐标不匹配时，目标的面积、色调匹配也就没有了意义。分析发现两个特征可以产生四种有意义的匹配情况，匹配结果就是特征辨识矩阵的辨识元素m_ij，各个辨识元素m_ij组成的N*P矩阵即为特征辨识矩阵，辨识元素m_ij的计算公式为：

$m_{ij}=\left\{\begin{array}{c}0,({\mathrm{\&lambda;}}_A\&GreaterEqual;0.6)\&cap;({\mathrm{\&lambda;}}_C>0)\\ 1,({\mathrm{\&lambda;}}_A<0.6)\&cap;({\mathrm{\&lambda;}}_S=1)\&cap;({\mathrm{\&lambda;}}_C>0)\\ 2,({\mathrm{\&lambda;}}_A<0.6)\&cap;({\mathrm{\&lambda;}}_S=0)\&cap;({\mathrm{\&lambda;}}_C>0)\\ 3,{\mathrm{\&lambda;}}_C=0\end{array}\right.---\left(3\right)$

m_ij＝0表示色调空间匹配且质心坐标匹配；m_ij＝1表示色调空间不匹配但是外接矩形面积匹配且质心坐标匹配；m_ij＝2表示色调空间和外接矩形面积都不匹配只有质心坐标匹配；m_ij＝3表示质心坐标不匹配。m_ij＝0优先级高于m_ij＝1即当两个区域均与预测目标匹配时，优先选取特征辨识因素为0的区域。由式(3)得到m_ij后就可以建立特征辨识矩阵M，并通过对M的分析识别目标的状态。

本发明中，跟踪目标与运动目标区域进行匹配的结果有五种情况，包括新目标出现、目标匹配、遮挡、分离以及目标消失：

(1)新目标出现：如果对于O_i∈O，都为3，即运动目标区域的质心坐标与跟踪目标集中所有跟踪目标都不匹配，将该运动目标区域作为新的跟踪目标加入跟踪目标集合O，将其质心坐标加入坐标队列；

(2)目标匹配：如果对于 $O_{i^{\&prime;}}\&Element;O,O_{i^{\&prime;}}\&NotEqual;O_{i_0},R_{j^{\&prime;}}\&Element;R,R_{j^{\&prime;}}\&NotEqual;R_{j_0},$ 或也就是即运动目标区域在跟踪目标集合O中唯一的跟踪目标与其匹配，将运动目标区域的质心坐标加入跟踪目标i₀的坐标队列；

(3)目标遮挡：如果对于 $O_{i_s}\&Element;\tilde{O}\&Element;O,O_{i^{\&prime;}}\&NotElement;\tilde{O},R_j\&Element;R,R_j\&NotEqual;R_{j_0},$ 中元素数量X＞1，均有即运动目标区域与跟踪目标集合O中X个跟踪目标匹配，将运动目标区域的质心坐标分别加入X个跟踪目标的坐标队列；

(4)目标分离：如果对于 $O_{i^{\&prime;}}\&Element;O,O_{i^{\&prime;}}\&NotEqual;O_{i_0},R_{j_t}\&Element;\tilde{R}\&Element;R,R_{j^{\&prime;}}\&NotElement;\tilde{R},$ 中元素数量Y＞1，均有即有Y个运动目标区域与跟踪目标集合O中的一个跟踪目标匹配，将该跟踪目标分离成Y个跟踪目标，每个跟踪目标的坐标队列均复制分离前跟踪目标的坐标队列，然后将本帧监控视频图像中运动目标区域的质心坐标分别加入对应跟踪目标的坐标队列；

(5)目标消失：如果对于R_j∈R，都为3，即所有运动目标区域都不与跟踪目标匹配，将该跟踪目标从跟踪目标集合O中删除，并删除对应的坐标队列。

S107：目标行为分析：

根据步骤S106得到的本帧监控视频图像中目标跟踪结果，判断是否存在入侵行为。图5是目标行为分析的流程示意图，如图5所示，目标行为分析包括以下步骤：

S501：质心位置纠正：

在实际情况中由于条件局限，摄像头安装位置不会每次都正对警示区域，会出现一定角度的偏移，角度的偏移会带来视觉上的判别错误。图6是摄像头角度偏移造成越界检测误判的示例图。如图6所示，图6中(a)、(b)中摄像头与警戒线前后边成60°，位于左右边中间，图6中(a)中的目标1此时被系统误判为正在入侵，然而目标1实际离警戒线仍有一段距离并未跨越警戒线，但是却由于视角的原因被误判，图6中(b)中的目标2是一个两人共同运动的整体，目标2此时正在跨越警戒线，系统判定“dangerous”并报警了，判断正确。

实验发现，在判别入侵时其准确率随角度变化也发生变化。当摄像头垂直警示区域时，准确率最高，能十分准确的利用质心坐标检测目标是否有入侵行为。随着摄像头与监控区域所呈角度α和角度β变小，其准确率也变小。图7是越界检测率随摄像头角度大小的变化曲线图。如图7所示，当角度α或角度β越小时，检测率越低。

本发明对于摄像头倾斜问题采取容错策略，分别根据摄像头摆放角度α或角度β划分4种情况。

首先根据夹角α按以下四种情况进行质心纠正：

1)如果α∈[80°,90°]，质心不进行纠正；

2)如果α∈[70°,80°)，质心坐标下移跟踪目标外接矩形框高度的1/6，也就是质心下移到大约人体的膝盖上方；

3)如果α∈[60°,70°)，质心坐标下移跟踪目标外接矩形框高度的1/4，也就是质心下移到大约人体的膝盖下方；

4)如果α∈[50°,60°)，质心坐标下移跟踪目标外接矩形框高度的1/3，也就是质心下移到大约人体的脚腕处。

然后根据夹角β按照以下四种情况进行质心纠正：

1)如果β∈[80°,90°]，质心不进行纠正；

2)如果β∈[70°,80°)，当摄像头位于警示区域中心点的左边，质心坐标左移跟踪目标外接矩形框宽度的1/6，当摄像头位于警示区域中心点的右边，质心坐标右移跟踪目标外接矩形框宽度的1/6；左、右是根据摄像头监控图像的左右来确定，即和摄像头监控图像的左右一致。

3)如果β∈[60°,70°)，当摄像头位于警示区域中心点的左边，质心坐标左移跟踪目标外接矩形框宽度的1/4，当摄像头位于警示区域中心点的右边，质心坐标右移跟踪目标外接矩形框宽度的1/4；

4)如果β∈[50°,60°)，当摄像头位于警示区域中心点的左边，质心坐标左移跟踪目标外接矩形框宽度的1/3，当摄像头位于警示区域中心点的右边，质心坐标右移跟踪目标外接矩形框宽度的1/3。

两种夹角的质心纠正无所谓先后，其外接矩形框的长度和宽度可以采用当前监控图像帧与前若干监控图像帧中跟踪目标外接矩形框的平均长度和平均宽度。采用质心纠正方法对摄像头安装角度α或角度β单独为90°、75°、65°、50°，另一安装角度为90°的情况进行实验。图8是在不同大小的安装角度下进行质心纠正后的越界检测准确率变化图。如图8所示，安装角度为90°时不进行质心纠正，准确率与纠正前相同仍是95％左右；安装角度为75°时准确率为91％，与纠正前90％也几乎相同；安装角度为65°时准确率为87％，比纠正前83％提高4％；安装角度为50°时准确率为81％，比纠正前73％提高8％，可知质心纠正有效提高了入侵判别的鲁棒性。

S502：计算跟踪目标质心到边界线的最小距离：

对于跟踪目标集合O中的每个跟踪目标，首先判断质心到边界线各条边的垂心是否位于对应顶点之间，如果不是，计算对应两个顶点与跟踪目标质心的距离，选择其中较小值作为质心到该条边的距离，否则计算质心到该条边的垂直距离。从所求得所有距离中筛选出最小距离D_min。

假设跟踪目标的质心坐标为(t_x,t_y)，边界线的一条边对应的两个顶点坐标分别为(x₁,y₁)、(x₂,y₂)，质心到边的垂心(t′_x,t′_y)的计算公式为：

$\begin{array}{c}{t}_x^{\&prime;}=(\frac{{(x_2-x_1)}^2{t}_x+(y_1-y_2)(x_1-x_2)t_y-(y_1-y_2)(x_1{y}_2-x_2{y}_1)}{\sqrt{{(y_1-y_2)}^2+{(x_2-x_1)}^2}}\\ t_y^{\&prime;}=\frac{{(y_1-y_2)}^2{t}_y+(y_1-y_2)(x_1-x_2)t_x-(x_2-x_1)(x_1{y}_2-x_2{y}_1)}{\sqrt{{(y_1-y_2)}^2+{(x_2-x_1)}^2}})\end{array}---\left(4\right)$

判断垂心是否在边对应顶点间的公式为：

(t′_x-x₁)(t′_x-x₂)≤0∩(t′_y-y₁)(t′_y-y₂)≤0   (5)

即如果垂心满足公式(5)，则说明在对应顶点之间，否则不是。

质心到顶点的距离D计算公式为(以(x₁,y₁)为例)：

$D=\sqrt{{(t_x-x_1)}^2+{(t_y-y_1)}^2}---\left(6\right)$

质心到该条边的垂直距离D_⊥计算公式为：

$D_{\&perp;}=\frac{|(y_1-y_2)t_x+(x_2-x_1)t_y+(x_1{y}_2-x_2{y}_1)|}{\sqrt{{(y_1-y_2)}^2+{(x_2-x_1)}^2}}---\left(7\right)$

S503：判断是否D_min＜H_D1，H_D1表示预设阈值，如果不是，目标安全，不作任何操作，否则进入步骤S504：

S504：计算质心到安全通道线段的垂心

S505：判断垂心是否在安全通道线段上，如果是，进入步骤S506，否则进入步骤S508。

S506：计算质心到安全通道线段的距离D_l；

S507：判断是否D_l≤D_min，如果是，目标安全，不作任何操作，否则进入步骤S508。理论上，由于步骤S502中求取的是到边界线的最小距离，由于安全通道线段在边界上，那么判断条件应该是D_l＝D_min，但是考虑到实际的设置时，安全通道线段不一定与边界线完全重合，因此本步骤中判断条件是D_l≤D_min。

S508：判断是否D_min＜H_D2，H_D2表示预设阈值，并且H_D2＜H_D1，如果是，目标有很大越界危险，进入步骤S509，否则进入步骤S510。

S509：进行报警，并根据目标的坐标队列在视频监控画面中标示出目标轨迹。

S510：判断跟踪目标在边界线外部还是内部，如果在外部，进入步骤S511，否则进入步骤S512。

判断跟踪目标在边界线外部还是内部的方法也可以根据实际需要选择。本实施例中采用的判断跟踪目标在外部还是内部的方法为：从质心起，作一条射线沿x方向直到正无穷，如果与边界线的交点为偶数个，该跟踪目标就在边界线外，如果与边界线的交点为奇数个，该跟踪目标就在边界线内。

S511：判断预设的外部安全标识是否为1，如果是，目标有越界危险，进入步骤S513，否则目标安全，不作任何操作。

S512：判断预设的内部安全标识是否为1，如果是，目标有越界危险，进入步骤S513，否则目标安全，不作任何操作。

S513：进行预警，并根据目标的坐标队列在视频监控画面中标示出目标轨迹。

S108：判断越界检测是否结束，即是否接收到结束指令，如果是，检测结束，否则返回步骤S104对下一帧监控视频图像进行检测。

为了说明本发明的有益效果，采用两个具体视频监控场景对本发明进行实验验证。图9是采用本发明对场景1的实验验证结果图。图10是采用本发明对场景2的实验验证结果图。图9中摄像头放置的角度α为85°，角度β为90°；图10中摄像头放置的角度α为55°，角度β为85°。如图9和图10所示，本实施例中警示区域的边界线采用黑色线条，安全通道线段为灰色线条，当目标从安全通道穿过时，属于安全(safe)情况不会报警，当目标有越界危险或正在越界时，算法可以根据目标到边界线的距离进行相应的预警(warning)和报警(dangerous)，并在画面中标示出目标轨迹(白色线条)。为了检测算法的普适性和准确度，将安全通道设在不同的地方，以此检验当目标从同一个地方有安全通道时经过和没有安全通道时经过算法能否区分目标状态并做出准确判断。可见，本发明能够准确实现越界检测并能用于多种场景情形。

在对本发明算法进行测试的过程中，随机从以上两个监控场景中取6段每段时长为20分钟共计2小时的视频进行智能检测。并采用几个对比算法进行统计结果的对比。对比算法1是没有采用目标跟踪，只采用了本发明改进的目标行为分析方法；对比算法2是采用本发明的目标跟踪，越界检测采用一般计算机图像算法；对比算法3即为没有采用目标跟踪的一般计算机图像算法。表1是实验验证的统计结果。

处理方法	本发明	对比算法1	对比算法2	对比算法3
					样本总数	328	328	328	328
正确检测	290	264	229	186
					错误检测	35	57	91	129
漏检目标	5	7	8	13
					误检目标	3	18	11	23
准确率	89％	80％	70％	56％
					系统延时	3.1s	2.5s	2.3s	1.5s

表1

从表1可以看出，本发明比三个对比算法的准确率要高、误报率更低、鲁棒性更好，虽然有一定的系统延时，但相对比其他效果的提高，延时也在可接受范围以内，基本保证实时性，从而也证明本发明对入侵检测的有效性。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (3)

1.一种基于摄像头角度的区域入侵检测方法，其特征在于，包括以下步骤：

S1：首先获取摄像头视线方向与地面的夹角α，然后沿摄像头拍摄图像的水平方向作地面的垂直面，获取摄像头中心和警示区域中心的连线在该地面垂直面上的投影与地面的夹角β；在进行摄像头安装时，夹角α的取值范围为50°≤α≤90°，夹角β的取值范围为50°≤β≤90°；

S2：用户在视频监控图像上沿警示区域的边沿依次设置警示区域的边界顶点，将相邻边界顶点连接得到警示区域封闭边界线，并在封闭边界线的两个相邻端点之间设置安全通道线段的端点，连接安全通道线段端点得到安全通道线段；根据实际需要设置跟踪目标位于边界线内部和外部的安全标识，至少将其中一种情况的安全标识设置为1，其余为0；

S3：对封闭边界线进行扩大和缩小，得到扩大边界线和缩小边界线，将扩大边界线和缩小边界线所围区域作为跟踪区域；初始化跟踪目标集合O为空集，每个跟踪目标对应一个坐标队列；

S4：对每帧视频监控图像进行运动目标检测，得到运动目标区域，筛选出位于跟踪区域的运动目标区域，再将筛选得到的运动目标区域与跟踪目标集合O的跟踪目标进行匹配跟踪，分为以下情况：

(1)如果有运动目标区域无法找到匹配的跟踪目标，将该运动目标区域作为新的跟踪目标加入跟踪目标集合O，将其质心坐标加入坐标队列；

(2)如果有运动目标区域与跟踪目标一一对应匹配，将运动目标区域的质心坐标加入跟踪目标的坐标队列；

(3)如果有一个运动目标区域与X个跟踪目标匹配，其中X＞1，将运动目标区域的质心坐标分别加入X个跟踪目标的坐标队列；

(4)如果有Y个运动目标区域与跟踪目标匹配，其中Y＞1，将该跟踪目标分离成Y个跟踪目标，每个跟踪目标的坐标队列均复制分离前跟踪目标的坐标队列，然后将本帧中运动目标区域的质心坐标分别加入对应跟踪目标的坐标队列；

(5)目标消失：如果没有运动目标区域与跟踪目标匹配，将该跟踪目标从跟踪目标集合O中删除，并删除对应的坐标队列；

S5：每帧视频监控图像进行运动目标检测和匹配跟踪后，进行目标行为分析，具体包括以下步骤：

S5.1：根据摄像头角度对跟踪目标进行质心位置纠正，具体方法为：

首先根据夹角α按以下四种情况进行质心纠正：

1)如果α∈[80°,90°]，质心不进行纠正；

2)如果α∈[70°,80°)，质心坐标下移跟踪目标外接矩形框高度的1/6；

3)如果α∈[60°,70°)，质心坐标下移跟踪目标外接矩形框高度的1/4；

4)如果α∈[50°,60°)，质心坐标下移跟踪目标外接矩形框高度的1/3；

然后根据夹角β按照以下四种情况进行质心纠正：

1)如果β∈[80°,90°]，质心不进行纠正；

2)如果β∈[70°,80°)，当摄像头位于警示区域中心点的左边，质心坐标左移跟踪目标外接矩形框宽度的1/6，当摄像头位于警示区域中心点的右边，质心坐标右移跟踪目标外接矩形框宽度的1/6；

3)如果β∈[60°,70°)，当摄像头位于警示区域中心点的左边，质心坐标左移跟踪目标外接矩形框宽度的1/4，当摄像头位于警示区域中心点的右边，质心坐标右移跟踪目标外接矩形框宽度的1/4；

4)如果β∈[50°,60°)，当摄像头位于警示区域中心点的左边，质心坐标左移跟踪目标外接矩形框宽度的1/3，当摄像头位于警示区域中心点的右边，质心坐标右移跟踪目标外接矩形框宽度的1/3；

S5.2：对于跟踪目标集合O中的每个跟踪目标，首先判断质心到边界线各条边的垂心是否位于对应顶点之间，如果不是，计算对应两个顶点与跟踪目标质心的距离，选择其中较小值作为质心到该条边的距离，否则计算质心到该条边的垂直距离；从所求得所有距离中筛选出最小距离D_min；

S5.3：判断是否D_min＜H_D1，H_D1表示预设阈值，如果不是，目标安全，不作任何操作，否则进入步骤S5.4；

S5.4：计算质心到安全通道线段的垂心如果垂心在安全通道线段上，进入步骤S5.5，否则进入步骤S5.6。

S5.5：计算质心到安全通道线段的距离D_l，如果D_l≤D_min，目标安全，不作任何操作，否则进入步骤S5.6；

S5.6：判断是否D_min＜H_D2，H_D2表示预设阈值，并且H_D2＜H_D1，如果是进行报警，并根据目标的坐标队列在视频监控画面中标示出目标轨迹，否则进入步骤S5.7；

S5.7：判断跟踪目标在边界线外部还是内部，再判断对应的安全标识是否为1，如果是，进行预警，并根据目标的坐标队列在视频监控画面中标示出目标轨迹，否则目标安全，不作任何操作；

S6：判断越界检测是否结束，如果是，检测结束，否则返回步骤S4对下一帧监控视频图像进行检测。

2.根据权利要求1所述的区域入侵检测方法，其特征在于，所述步骤S4中运动目标检测的方法为：建立视频监控背景的混合高斯模型，根据背景的混合高斯模型检测得到前景像素点，然后去除背景噪声，计算剩余前景区域的外接矩形面积，如果面积小于预设阈值，则去除，否则作为运动目标区域。

3.根据权利要求1所述的区域入侵检测方法，其特征在于，所述步骤S4中匹配跟踪的方法为：

S3.1：选择外接矩形面积S、质心坐标C作为匹配特征；记跟踪目标集O＝{O_i|i＝1,2,...,N}，N表示跟踪目标数量，当前监控视频图像筛选得到的运动目标区域集为R＝{R_j|j＝1,2,...,P}，P表示运动目标区域数量；

S3.2：计算每个跟踪目标与运动目标区域的面积匹配结果λ_S(i,j)和质心匹配结果λ_C(i,j)：

λ_S(i,j)＝{1|if(|S(O_i)-S(R_j)|≤H_S),elseλ_S＝0}

${\mathrm{\&lambda;}}_C(i,j)=\left\{d\right|\mathrm{if}(d\&le;H_C),\mathrm{else}{\mathrm{\&lambda;}}_C=0\},d=\max \left(\right|\hat{C}\left(O_i\right)-C\left(R_j\right){|}_x,{|\hat{C}\left(O_i\right)-C\left(R_j\right)|}_y)$

${\mathrm{\&lambda;}}_A(i,j)=\left\{a\right|\mathrm{if}(a\&GreaterEqual;D_A),\mathrm{else}{\mathrm{\&lambda;}}_A=0\},a=H_{\mathrm{VO}}{H}_{\mathrm{VR}}^{i,\mathrm{jT}}/(\sqrt{H_{\mathrm{VO}}{H}_{\mathrm{VO}}^T}*\sqrt{H_{\mathrm{VR}}^{i,j}{H}_{\mathrm{VR}}^{i,\mathrm{jT}}})$

其中，S(O_i)、S(R_j)分别表示跟踪目标O_i、R_j的外接矩形面积，C(O_i)、C(R_j)别表示跟踪目标O_i的质心、跟踪算法得到的跟踪目标O_i的预测质心和跟踪区域R_j的质心坐标，表示质心坐标在x轴的差值绝对值，表示质心坐标在y轴的差值绝对值，d为质心x、y坐标差值绝对值的最大值，H_S、H_C分别表示预设的面积、质心的匹配阈值；a表示跟踪目标O_i和运动目标区域R_j的色调空间相关系数，H_VO、H_VR表示跟踪目标O_i和运动目标区域R_j的色调矩阵，将跟踪目标的图像在运动目标区域图像上平移，令跟踪目标图像的左上角位于运动目标区域的中心，将此时跟踪目标外接矩形在运动目标区域中覆盖的子图对应的色调矩阵为

S3.3：根据面积匹配结果λ_S(i,j)和质心匹配结果λ_C(i,j)得到辨识元素m_ij，各个辨识元素m_ij组成的N*P矩阵即为特征辨识矩阵，辨识元素m_ij的计算公式为：

$m_{\mathrm{ij}}=\left\{\begin{array}{c}0,({\mathrm{\&lambda;}}_A\&GreaterEqual;0.6)\&cap;({\mathrm{\&lambda;}}_C>0)\\ 1,({\mathrm{\&lambda;}}_A<0.6)\&cap;({\mathrm{\&lambda;}}_S=1)\&cap;({\mathrm{\&lambda;}}_C>0)\\ 2,({\mathrm{\&lambda;}}_A<0.6)\&cap;({\mathrm{\&lambda;}}_S=0)\&cap;({\mathrm{\&lambda;}}_C>0)\\ 3,{\mathrm{\&lambda;}}_C=0\end{array}\right.$

S3.4：根据特征辨识矩阵得到以下五种匹配情况：

(1)如果对于O_i∈O，都为3，则运动目标区域是新的跟踪目标；

(2)如果对于O_i′∈O, $O_{i^{\&prime;}}\&NotEqual;O_{i_0},$ R_j′∈R, $R_{j^{\&prime;}}\&NotEqual;R_{j_0},(m_{i_0{j}_0}=0)\&cap;(m_{i_0{j}^{\&prime;}}\&NotEqual;0)\&cap;(m_{i^{\&prime;}{j}_0}\&NotEqual;0)$ 或则运动目标区域与跟踪目标一一对应匹配；

(3)如果对于 $O_{i_S}\&Element;\tilde{O}\&Element;O,O_{i^{\&prime;}}\&NotElement;\tilde{O},R_j\&Element;R,R_j\&NotElement;R_{j_0},$ 中元素数量X＞1，均有则运动目标区域与跟踪目标集合O中X个跟踪目标匹配；

(4)如果对于O_i′∈O, $O_{i^{\&prime;}}\&NotEqual;O_{i_0},R_{j_t}\&Element;\tilde{R}\&Element;R,R_{j^{\&prime;}}\&NotElement;\tilde{R},$ 中元素数量Y＞1，均有则有Y个运动目标区域与跟踪目标集合O中的一个跟踪目标匹配。

(5)如果对于R_j∈R，都为3，则所有运动目标区域都不与跟踪目标匹配。