CN109754411A - 基于光流法目标跟踪的爬楼翻窗盗窃行为检测方法及系统 - Google Patents
基于光流法目标跟踪的爬楼翻窗盗窃行为检测方法及系统 Download PDFInfo
- Publication number
- CN109754411A CN109754411A CN201811404351.3A CN201811404351A CN109754411A CN 109754411 A CN109754411 A CN 109754411A CN 201811404351 A CN201811404351 A CN 201811404351A CN 109754411 A CN109754411 A CN 109754411A
- Authority
- CN
- China
- Prior art keywords
- moving target
- target
- building
- point
- larceny
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 230000003287 optical effect Effects 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 title claims abstract description 39
- 230000009194 climbing Effects 0.000 claims abstract description 15
- 238000012544 monitoring process Methods 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 42
- 238000009499 grossing Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 4
- 230000003542 behavioural effect Effects 0.000 abstract description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000011410 subtraction method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000009408 flooring Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种基于光流法目标跟踪的爬楼翻窗盗窃行为检测方法及系统，主要用于自动检测视频监控中爬楼翻窗的运动目标。方法包括以下步骤：采用光流法对监控视频中的运动目标进行检测跟踪；计算出运动目标的行为轨迹；将运动目标的行为轨迹与爬楼盗窃行为规则进行匹配。系统包括运动目标检测跟踪模块、行为轨迹计算模块和规则匹配模块，本发明实施例的技术方案通过将光流法用于夜晚爬楼翻窗行窃行为检测中，能够快速的检测出视频中具有爬楼翻窗行为的运动目标，并能够及时发出警报，对于及早发现安全隐患具有较大的实用价值，为保护居民的财产和人身安全、维护社会治安、打击和防止犯罪提供了科学依据。
Description
技术领域
本发明涉及一种基于光流法目标跟踪的爬楼翻窗盗窃行为检测方法及系统，属于人工智能和计算机视觉技术领域。
背景技术
运动目标跟踪是计算机视觉领域一个重要的研究方向。高性能计算机的普及，高质量、廉价摄像头的广泛使用，对智能视频分析日益增长的需求，使得许多性能优异的跟踪算法不断涌现。智能视频分析主要分三个方面：运动目标检测、图像序列中的运动目标跟踪以及目标行为的认知分析，其中，运动目标跟踪技术在各个领域都有广泛的应用。
智能视频监控主要应用于安全要求敏感的场合，如银行、商店、停车场等。利用计算机视觉处理技术自动分析摄像机采集的图像序列，检测场景中可疑行为和危险情况，实现对场景中可疑目标的定位、识别和跟踪，并在此基础上理解和判断目标行为，预防事故发生，极大地减少对人工的依赖，提高视频监控的主动监控作用。
目前常用的运动目标检测方法有帧间差分法、背景减除法和光流法。帧间差分法和背景减除法通常适用于静态背景，对背景和环境要求比较高，对于室外的背景比较复杂而且不稳定的情况，鲁棒性不好。光流法是最典型的运动分析方法，既适用于静态背景也适用于摄像头运动的动态背景。光流法将图像灰度的变化与二维速度场联系起来，利用光流场反映像素点运动的方向和速度，并根据光流场的分布特征，提取出运动目标的区域。光流法检测精度高，抗干扰能力强，对于运动目标遮挡的情况也能实现很好的跟踪效果。但是，经过申请人调研，目前尚未发现利用光流法进行爬楼翻窗行为检测的研究。
发明内容
针对以上方法存在的不足，本发明提出了一种基于光流法目标跟踪的爬楼翻窗盗窃行为检测方法，通过将光流法用于夜晚爬楼翻窗行窃行为检测中，得到了较好的检测效果，为保护居民的财产和人身安全、维护社会治安、打击和防止犯罪提供了科学依据，具备较大的实用价值。
本发明解决其技术问题采取的技术方案是：
一方面，本发明实施例提供的一种基于光流法目标跟踪的爬楼翻窗盗窃行为检测方法，包括：
采用光流法对监控视频中的运动目标进行检测跟踪；
计算出运动目标的行为轨迹；
将运动目标的行为轨迹与爬楼盗窃行为规则进行匹配。
结合作为本实施例一种可能的实现方式，采用光流法对监控视频中的运动目标进行检测跟踪的过程包括：
选择包含建筑物的实时监控视频；
对监控视频文件的每一帧图像I(x,y)利用公式(1.1)进行灰度化得到图像g(x,y)：
Gray＝0.1140×B+0.5870×G+0.2989×R (1.1)
其中，B、G、R分别为图像中每一个像素点的三种颜色分量；
分别计算图像g(x,y)中所有像素在x,y方向上的一阶导数Ix和Iy，并利用公式(1.2)计算得到像素点(x,y)的自相关矩阵M；
对矩阵M中的元素进行高斯平滑，得到新的矩阵M＇，其中高斯滤波函数为：
利用矩阵M＇计算每一帧图像g(x,y)中所有像素的角点量Cim；
设定一个阈值Th，判断Cim是否大于Th，如果是则将该角点放入集合T；
计算集合T中各点的一阶导数和二阶导数，从而计算出每个点对应的Hessian矩阵H的秩和条件数Cond(H)；
其中：Ixx、Iyx、Ixy和Iyy为集合T中各点在x,y方向上的二阶导数，λmax和λmin分布是矩阵H的较大特征值和较小特征值；
根据条件数Cond(H)设定一个阈值a，将大于等于该阈值a的点保留并放入点集J(x,y)中，将小于阈值a的点踢除，将点集J(x,y)中点的条件数进行归一化处理，计算出其倒数作为该点的权重；
根据最小二乘法求解出点集J(x,y)中每个点的光流矢量集合V(u,v)；
根据距离准则和角度准则将光流矢量集合V(u,v)进行聚类，得到目标区域序列，从中选择平均光流最大的区域作为运动目标区域。
结合作为本实施例一种可能的实现方式，所述距离准则的函数为：
所述角度准则的函数为：
其中，D为两个矢量间隔的距离，Θ为矢量间的夹角，(u1,v1)和(u2,v2)为任意两个光流矢量。
结合作为本实施例一种可能的实现方式，计算出运动目标的行为轨迹的过程包括：
用外接矩形对运动目标进行标定，并计算出运动目标的重心坐标；
对每一帧图像都计算运动目标的重心坐标，计算前后两帧运动目标的重心坐标(x1,y1)和(x2,y2)，用下列公式计算得到运动目标的运动速度和运动方向：
其中，t表示运动目标的运动时间，v表示运动速度，α表示运动方向角。
结合作为本实施例一种可能的实现方式，将运动目标的行为轨迹与爬楼盗窃行为规则进行匹配的过程包括：
设定运动目标是否爬楼行窃的第一判断规则：目标运动速度小于1.9m/s；
设定运动目标是否爬楼行窃的第二判断规则：目标向上运动；
将运动目标行为轨迹的运动速度和运动方向分别与两条判断规则进行匹配，如果符合上述两个规则，则可以判断此目标具有爬楼盗窃行为的重大嫌疑，并进行报警。
另一方面，本发明实施例提供的一种基于光流法目标跟踪的爬楼翻窗盗窃行为检测系统，包括：
运动目标检测跟踪模块，采用光流法对监控视频中的运动目标进行检测跟踪；
行为轨迹计算模块，计算出运动目标的行为轨迹；
规则匹配模块，将运动目标的行为轨迹与爬楼盗窃行为规则进行匹配。
结合作为本实施例一种可能的实现方式，所述运动目标检测跟踪模块包括：
监控视频选择模块，选择包含建筑物的实时监控视频；
灰度处理模块，对监控视频文件的每一帧图像I(x,y)利用公式(1.1)进行灰度化得到图像g(x,y)：
Gray＝0.1140×B+0.5870×G+0.2989×R (1.1)
其中，B、G、R分别为图像中每一个像素点的三种颜色分量；
像素点矩阵计算模块，分别计算图像g(x,y)中所有像素在x,y方向上的一阶导数Ix和Iy，并利用公式(1.2)计算得到像素点(x,y)的自相关矩阵M；
高斯平滑模块，对矩阵M中的元素进行高斯平滑，得到新的矩阵M＇，其中高斯滤波函数为：
角点量计算模块，利用矩阵M＇计算每一帧图像g(x,y)中所有像素的角点量Cim；
角点筛选模块，设定一个阈值Th，判断Cim是否大于Th，如果是则将该角点放入集合T；
Hessian矩阵计算模块，计算集合T中各点的一阶导数和二阶导数，从而计算出每个点对应的Hessian矩阵H的秩和条件数Cond(H)；
其中：Ixx、Iyx、Ixy和Iyy为集合T中各点在x,y方向上的二阶导数，λmax和λmin分布是矩阵H的较大特征值和较小特征值；
权重计算模块，根据条件数Cond(H)设定一个阈值a，将大于等于该阈值a的点保留并放入点集J(x,y)中，将小于阈值a的点踢除，将点集J(x,y)中点的条件数进行归一化处理，计算出其倒数作为该点的权重；
光流矢量求解模块，根据最小二乘法求解出点集J(x,y)中每个点的光流矢量集合V(u,v)；
运动目标区域确定模块，根据距离准则和角度准则将光流矢量集合V(u,v)进行聚类，得到目标区域序列，从中选择平均光流最大的区域作为运动目标区域。
结合作为本实施例一种可能的实现方式，所述行为轨迹计算模块包括：
重心坐标计算模块，用外接矩形对运动目标进行标定，并计算出运动目标的重心坐标；
运动速度和方向计算模块，对每一帧图像都计算运动目标的重心坐标，计算前后两帧运动目标的重心坐标(x1,y1)和(x2,y2)，用下列公式计算得到运动目标的运动速度和运动方向：
其中，t表示运动目标的运动时间，v表示运动速度，α表示运动方向角。
结合作为本实施例一种可能的实现方式，所述规则匹配模块包括：
第一判断规则设定模块，设定运动目标是否爬楼行窃的第一判断规则：目标运动速度小于1.9m/s；
第二判断规则设定模块，设定运动目标是否爬楼行窃的第二判断规则：目标向上运动；
判断模块，将运动目标行为轨迹的运动速度和运动方向分别与两条判断规则进行匹配，如果符合上述两个规则，则可以判断此目标具有爬楼盗窃行为的重大嫌疑，并进行报警。
本发明实施例的技术方案可以具有的有益效果如下：
本发明实施例的技术方案的一种基于光流法目标跟踪的爬楼翻窗盗窃行为检测方法，包括以下步骤：采用光流法对监控视频中的运动目标进行检测跟踪；计算出运动目标的行为轨迹；将运动目标的行为轨迹与爬楼盗窃行为规则进行匹配。本发明实施例的技术方案通过将光流法用于夜晚爬楼翻窗行窃行为检测中，得到了较好的检测效果，为保护居民的财产和人身安全、维护社会治安、打击和防止犯罪提供了科学依据，具备较大的实用价值。
本发明实施例的技术方案的一种基于光流法目标跟踪的爬楼翻窗盗窃行为检测方法，主要用于自动检测视频监控中爬楼翻窗的运动目标。首先用Harris算法提取图像中的角点，再采用LK(Lucas-Kanade)光流法计算角点的光流矢量，然后采用距离准则和角度准则对光流矢量聚类，得到运动目标的分类，并用矩形框对运动目标进行标定和跟踪，计算出运动目标的重心坐标，并根据此坐标计算出运动目标的速度和方向，最后对运动目标与爬楼盗窃行为规则进行匹配，若符合爬楼盗窃行为，则发出警报。本发明将光流法用于夜晚爬楼翻窗盗窃行为的检测中，能够快速的检测出视频中具有爬楼翻窗行为的运动目标，并能够及时发出警报，对于及早发现安全隐患具有较大的实用价值。
本发明实施例的技术方案的一种基于光流法目标跟踪的爬楼翻窗盗窃行为检测系统，与所述方法具有的相同的有益效果，它包括：运动目标检测跟踪模块，采用光流法对监控视频中的运动目标进行检测跟踪；行为轨迹计算模块，计算出运动目标的行为轨迹；规则匹配模块，将运动目标的行为轨迹与爬楼盗窃行为规则进行匹配。
附图说明：
图1是根据一示例性实施例示出的一种基于光流法目标跟踪的爬楼翻窗盗窃行为检测方法的流程图；
图2是根据一示例性实施例示出的一种监控视频文件的图像示意图；
图3是根据一示例性实施例示出的一种采用光流法对监控视频中的运动目标进行检测跟踪的流程图；
图4是根据一示例性实施例示出的一种计算出运动目标的行为轨迹的流程图；
图5是根据一示例性实施例示出的一种将运动目标的行为轨迹与爬楼盗窃行为规则进行匹配的流程图；
图6是根据一示例性实施例示出的一种基于光流法目标跟踪的爬楼翻窗盗窃行为检测系统的示意图。
具体实施方式
下面结合附图与实施例对本发明做进一步说明：
为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
图1是根据一示例性实施例示出的一种基于光流法目标跟踪的爬楼翻窗盗窃行为检测方法的流程图。如图1-5所示，本发明实施例提供的一种基于光流法目标跟踪的爬楼翻窗盗窃行为检测方法，包括：
步骤1：采用光流法对监控视频中的运动目标进行检测跟踪；
如图3所示，采用光流法对视频中的运动目标进行检测跟踪的过程包括以下具体步骤：
步骤1.1，步骤1.1，选择包含建筑物的实时监控视频，楼面监控视频图像示意图如图2所示；
步骤1.2，实时监控视频延迟2秒后，把视频文件读进来，对每一帧图像I(x,y)利用公式(1.1)进行灰度化得到图像g(x,y)；
Gray＝0.1140×B+0.5870×G+0.2989×R(1.1)
其中，B、G、R分别为图像中每一个像素点的三种颜色分量；
步骤1.3，分别计算图像g(x,y)中所有像素在x,y方向上的一阶导数，Ix，Iy，然后利用公式(1.2)计算得到像素点(x,y)的自相关矩阵M；
步骤1.4，对矩阵M中的元素进行高斯平滑，得到新的矩阵M＇，其中高斯滤波函数为：
步骤1.5，利用矩阵M＇计算所有g(x,y)中所有像素的角点量Cim；
步骤1.6，为筛选角点设定一个阈值Th，判断Cim是否大于Th，大于Th时，该点放入集合T，否则不是角点，最终得到图像的角点集合T，作为跟踪对象；
步骤1.7，计算T(m,n)各点的一阶和二阶梯度，从而计算出每个点对应的Hessian矩阵H的秩和条件数Cond(H)；
其中：λmax和λmin分布是矩阵H的较大特征值和较小特征值；
步骤1.8，根据条件数Cond(H)设定一个阈值a，大于该阈值的点保留，放入点集J(x,y)，小于阈值的点踢除，将最后的留下的点的条件数归一化处理，计算出其倒数作为该点的权重；
步骤1.9，根据最小二乘法求解出点集J(x,y)中每个点的光流矢量集合V(u,v)；
步骤1.10，根据两个聚类准则(即距离准则和角度准则)将光流矢量集合V(u,v)进行聚类，得到目标区域序列，从中选择平均光流最大的区域，就是运动目标区域，距离准则函数为：
角度准则函数为：
其中，D为两个矢量间隔的距离，Θ为矢量间的夹角，(u1,v1)和(u2,v2)为任意两个光流矢量。
步骤2：计算出运动目标的行为轨迹；
运动目标的行为轨迹包括运动目标的运动速度和运动方向，如图4所示，计算出运动目标的行为轨迹的过程包括以下具体步骤：
步骤2.1，用外接矩形对运动目标进行标定，然后计算出运动目标的重心坐标；
步骤2.2，对每一帧图像都计算运动目标的重心坐标，计算前后两帧运动目标重心坐标(x1,y1)，(x2,y2)，用下列公式计算得到运动目标的运动速度和方向；
其中，t表示运动目标的运动时间，v表示速度，α表示方向角
步骤3：将运动目标的行为轨迹与爬楼盗窃行为规则进行匹配，，若符合爬楼盗窃行为，则发出警报。
如图5所示，将运动目标的行为轨迹与爬楼盗窃行为规则进行匹配的过程包括以下具体步骤：
步骤3.1，人正常行走的速度为1.1米/秒到1.9米/秒之间，所以人类爬楼的最快速度也不会超过1.9米每秒，这是判断该目标是否行窃的第一个规则；
步骤3.2，根据监控视频画面的实际，爬楼行为在视频图像中的表现为向上攀爬，因此判断运动目标的运动方向是否向上，是本发明的第二个爬楼盗窃判断规则，由此得到爬楼盗窃的两条规则为：
(1)目标运动速度小于1.9m/s；
(2)目标向上运动；
步骤3.3，把步骤2得到的运动目标的速度、方向信息与步骤3.2中的两条规则进行匹配，如果符合上述两个规则，则可以判断此目标具有爬楼盗窃行为的重大嫌疑，报警器向有关人员和部门发出报警和预警信号。
本实施例的一种基于光流法目标跟踪的爬楼翻窗盗窃行为检测方法，主要用于自动检测视频监控中爬楼翻窗的运动目标。首先用Harris算法提取图像中的角点，再采用LK(Lucas-Kanade)光流法计算角点的光流矢量，然后采用距离准则和角度准则对光流矢量聚类，得到运动目标的分类，并用矩形框对运动目标进行标定和跟踪，计算出运动目标的重心坐标，并根据此坐标计算出运动目标的速度和方向，最后对运动目标与爬楼盗窃行为规则进行匹配，若符合爬楼盗窃行为，则发出警报。本发明将光流法用于夜晚爬楼翻窗盗窃行为的检测中，能够快速的检测出视频中具有爬楼翻窗行为的运动目标，并能够及时发出警报，得到了较好的检测效果，对于及早发现安全隐患具有较大的实用价值，为保护居民的财产和人身安全、维护社会治安、打击和防止犯罪提供了科学依据。
图6是根据一示例性实施例示出的一种基于光流法目标跟踪的爬楼翻窗盗窃行为检测系统的示意图。如图6所示，本实施例提供的一种基于光流法目标跟踪的爬楼翻窗盗窃行为检测系统，包括：
运动目标检测跟踪模块，采用光流法对监控视频中的运动目标进行检测跟踪；
行为轨迹计算模块，计算出运动目标的行为轨迹；
规则匹配模块，将运动目标的行为轨迹与爬楼盗窃行为规则进行匹配，若符合爬楼盗窃行为，则发出警报。
作为一种可能的实现方式，所述运动目标检测跟踪模块包括：
监控视频选择模块，选择包含建筑物的实时监控视频；
灰度处理模块，对监控视频文件的每一帧图像I(x,y)利用公式(1.1)进行灰度化得到图像g(x,y)：
Gray＝0.1140×B+0.5870×G+0.2989×R (1.1)
其中，B、G、R分别为图像中每一个像素点的三种颜色分量；
像素点矩阵计算模块，分别计算图像g(x,y)中所有像素在x,y方向上的一阶导数Ix和Iy，并利用公式(1.2)计算得到像素点(x,y)的自相关矩阵M；
高斯平滑模块，对矩阵M中的元素进行高斯平滑，得到新的矩阵M＇，其中高斯滤波函数为：
角点量计算模块，利用矩阵M＇计算每一帧图像g(x,y)中所有像素的角点量Cim；
角点筛选模块，设定一个阈值Th，判断Cim是否大于Th，如果是则将该角点放入集合T；
Hessian矩阵计算模块，计算集合T中各点的一阶导数和二阶导数，从而计算出每个点对应的Hessian矩阵H的秩和条件数Cond(H)；
其中：Ixx、Iyx、Ixy和Iyy为集合T中各点在x,y方向上的二阶导数，λmax和λmin分布是矩阵H的较大特征值和较小特征值；
权重计算模块，根据条件数Cond(H)设定一个阈值a，将大于等于该阈值a的点保留并放入点集J(x,y)中，将小于阈值a的点踢除，将点集J(x,y)中点的条件数进行归一化处理，计算出其倒数作为该点的权重；
光流矢量求解模块，根据最小二乘法求解出点集J(x,y)中每个点的光流矢量集合V(u,v)；
运动目标区域确定模块，根据距离准则和角度准则将光流矢量集合V(u,v)进行聚类，得到目标区域序列，从中选择平均光流最大的区域作为运动目标区域。
其中，所述距离准则的函数为：
所述角度准则的函数为：
其中，D为两个矢量间隔的距离，Θ为矢量间的夹角，(u1,v1)和(u2,v2)为任意两个光流矢量。
作为一种可能的实现方式，所述行为轨迹计算模块包括：
重心坐标计算模块，用外接矩形对运动目标进行标定，并计算出运动目标的重心坐标；
运动速度和方向计算模块，对每一帧图像都计算运动目标的重心坐标，计算前后两帧运动目标的重心坐标(x1,y1)和(x2,y2)，用下列公式计算得到运动目标的运动速度和运动方向：
其中，t表示运动目标的运动时间，v表示运动速度，α表示运动方向角。
作为一种可能的实现方式，所述规则匹配模块包括：
第一判断规则设定模块，设定运动目标是否爬楼行窃的第一判断规则：目标运动速度小于1.9m/s；
第二判断规则设定模块，设定运动目标是否爬楼行窃的第二判断规则：目标向上运动；
判断模块，将运动目标行为轨迹的运动速度和运动方向分别与两条判断规则进行匹配，如果符合上述两个规则，则可以判断此目标具有爬楼盗窃行为的重大嫌疑，并进行报警。
本实施例主要用于自动检测视频监控中爬楼翻窗的运动目标，首先用Harris算法提取图像中的角点，再采用LK(Lucas-Kanade)光流法计算角点的光流矢量，然后采用距离准则和角度准则对光流矢量聚类，得到运动目标的分类，并用矩形框对运动目标进行标定和跟踪，计算出运动目标的重心坐标，并根据此坐标计算出运动目标的速度和方向，最后对运动目标与爬楼盗窃行为规则进行匹配，若符合爬楼盗窃行为，则发出警报。本发明将光流法用于夜晚爬楼翻窗盗窃行为的检测中，能够快速的检测出视频中具有爬楼翻窗行为的运动目标，并能够及时发出警报，对于及早发现安全隐患具有较大的实用价值，为保护居民的财产和人身安全、维护社会治安、打击和防止犯罪提供了科学依据。
以上所述只是本发明的优选实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也被视作为本发明的保护范围。
Claims (9)
1.一种基于光流法目标跟踪的爬楼翻窗盗窃行为检测方法，其特征在于，包括：
采用光流法对监控视频中的运动目标进行检测跟踪；
计算出运动目标的行为轨迹；
将运动目标的行为轨迹与爬楼盗窃行为规则进行匹配。
2.根据权利要求1所述的基于光流法目标跟踪的爬楼翻窗盗窃行为检测方法，其特征在于，采用光流法对监控视频中的运动目标进行检测跟踪的过程包括：
选择包含建筑物的实时监控视频；
对监控视频文件的每一帧图像I(x,y)利用公式(1.1)进行灰度化得到图像g(x,y)：
Gray＝0.1140×B+0.5870×G+0.2989×R (1.1)
其中，B、G、R分别为图像中每一个像素点的三种颜色分量；
分别计算图像g(x,y)中所有像素在x,y方向上的一阶导数Ix和Iy，并利用公式(1.2)计算得到像素点(x,y)的自相关矩阵M；
对矩阵M中的元素进行高斯平滑，得到新的矩阵M＇，其中高斯滤波函数为：
利用矩阵M＇计算每一帧图像g(x,y)中所有像素的角点量Cim；
设定一个阈值Th，判断Cim是否大于Th，如果是则将该角点放入集合T；
计算集合T中各点的一阶导数和二阶导数，从而计算出每个点对应的Hessian矩阵H的秩和条件数Cond(H)；
其中：Ixx、Iyx、Ixy和Iyy为集合T中各点在x,y方向上的二阶导数，λmax和λmin分布是矩阵H的较大特征值和较小特征值；
根据条件数Cond(H)设定一个阈值a，将大于等于该阈值a的点保留并放入点集J(x,y)中，将小于阈值a的点踢除，将点集J(x,y)中点的条件数进行归一化处理，计算出其倒数作为该点的权重；
根据最小二乘法求解出点集J(x,y)中每个点的光流矢量集合V(u,v)；
根据距离准则和角度准则将光流矢量集合V(u,v)进行聚类，得到目标区域序列，从中选择平均光流最大的区域作为运动目标区域。
3.根据权利要求2所述的基于光流法目标跟踪的爬楼翻窗盗窃行为检测方法，其特征在于：所述距离准则的函数为：
所述角度准则的函数为：
其中，D为两个矢量间隔的距离，θ为矢量间的夹角，(u1,v1)和(u2,v2)为任意两个光流矢量。
4.根据权利要求1所述的基于光流法目标跟踪的爬楼翻窗盗窃行为检测方法，其特征在于，计算出运动目标的行为轨迹的过程包括：
用外接矩形对运动目标进行标定，并计算出运动目标的重心坐标；
对每一帧图像都计算运动目标的重心坐标，计算前后两帧运动目标的重心坐标(x1,y1)和(x2,y2)，用下列公式计算得到运动目标的运动速度和运动方向：
其中，t表示运动目标的运动时间，v表示运动速度，α表示运动方向角。
5.根据权利要求1-4任意一项所述的基于光流法目标跟踪的爬楼翻窗盗窃行为检测方法，其特征在于：将运动目标的行为轨迹与爬楼盗窃行为规则进行匹配的过程包括：
设定运动目标是否爬楼行窃的第一判断规则：目标运动速度小于1.9m/s；
设定运动目标是否爬楼行窃的第二判断规则：目标向上运动；
将运动目标行为轨迹的运动速度和运动方向分别与两条判断规则进行匹配，如果符合上述两个规则，则可以判断此目标具有爬楼盗窃行为的重大嫌疑，并进行报警。
6.一种基于光流法目标跟踪的爬楼翻窗盗窃行为检测系统，其特征在于，包括：
运动目标检测跟踪模块，采用光流法对监控视频中的运动目标进行检测跟踪；
行为轨迹计算模块，计算出运动目标的行为轨迹；
规则匹配模块，将运动目标的行为轨迹与爬楼盗窃行为规则进行匹配。
7.根据权利要求6所述的基于光流法目标跟踪的爬楼翻窗盗窃行为检测系统，其特征在于，所述运动目标检测跟踪模块包括：
监控视频选择模块，选择包含建筑物的实时监控视频；
灰度处理模块，对监控视频文件的每一帧图像I(x,y)利用公式(1.1)进行灰度化得到图像g(x,y)：
Gray＝0.1140×B+0.5870×G+0.2989×R (1.1)
其中，B、G、R分别为图像中每一个像素点的三种颜色分量；
像素点矩阵计算模块，分别计算图像g(x,y)中所有像素在x,y方向上的一阶导数Ix和Iy，并利用公式(1.2)计算得到像素点(x,y)的自相关矩阵M；
高斯平滑模块，对矩阵M中的元素进行高斯平滑，得到新的矩阵M＇，其中高斯滤波函数为：
角点量计算模块，利用矩阵M＇计算每一帧图像g(x,y)中所有像素的角点量Cim；
角点筛选模块，设定一个阈值Th，判断Cim是否大于Th，如果是则将该角点放入集合T；
Hessian矩阵计算模块，计算集合T中各点的一阶导数和二阶导数，从而计算出每个点对应的Hessian矩阵H的秩和条件数Cond(H)；
其中：Ixx、Iyx、Ixy和Iyy为集合T中各点在x,y方向上的二阶导数，λmax和λmin分布是矩阵H的较大特征值和较小特征值；
权重计算模块，根据条件数Cond(H)设定一个阈值a，将大于等于该阈值a的点保留并放入点集J(x,y)中，将小于阈值a的点踢除，将点集J(x,y)中点的条件数进行归一化处理，计算出其倒数作为该点的权重；
光流矢量求解模块，根据最小二乘法求解出点集J(x,y)中每个点的光流矢量集合V(u,v)；
运动目标区域确定模块，根据距离准则和角度准则将光流矢量集合V(u,v)进行聚类，得到目标区域序列，从中选择平均光流最大的区域作为运动目标区域。
8.根据权利要求6所述的基于光流法目标跟踪的爬楼翻窗盗窃行为检测系统，其特征在于，所述行为轨迹计算模块包括：
重心坐标计算模块，用外接矩形对运动目标进行标定，并计算出运动目标的重心坐标；
运动速度和方向计算模块，对每一帧图像都计算运动目标的重心坐标，计算前后两帧运动目标的重心坐标(x1,y1)和(x2,y2)，用下列公式计算得到运动目标的运动速度和运动方向：
其中，t表示运动目标的运动时间，v表示运动速度，α表示运动方向角。
9.根据权利要求6-8任意一项所述的基于光流法目标跟踪的爬楼翻窗盗窃行为检测系统，其特征在于：所述规则匹配模块包括：
第一判断规则设定模块，设定运动目标是否爬楼行窃的第一判断规则：目标运动速度小于1.9m/s；
第二判断规则设定模块，设定运动目标是否爬楼行窃的第二判断规则：目标向上运动；
判断模块，将运动目标行为轨迹的运动速度和运动方向分别与两条判断规则进行匹配，如果符合上述两个规则，则可以判断此目标具有爬楼盗窃行为的重大嫌疑，并进行报警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811404351.3A CN109754411A (zh) | 2018-11-22 | 2018-11-22 | 基于光流法目标跟踪的爬楼翻窗盗窃行为检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811404351.3A CN109754411A (zh) | 2018-11-22 | 2018-11-22 | 基于光流法目标跟踪的爬楼翻窗盗窃行为检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109754411A true CN109754411A (zh) | 2019-05-14 |
Family
ID=66402544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811404351.3A Pending CN109754411A (zh) | 2018-11-22 | 2018-11-22 | 基于光流法目标跟踪的爬楼翻窗盗窃行为检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109754411A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111382708A (zh) * | 2020-03-11 | 2020-07-07 | 广东工业大学 | 一种爬楼翻窗盗窃行为实时检测方法和装置 |
| CN111382784A (zh) * | 2020-03-04 | 2020-07-07 | 厦门脉视数字技术有限公司 | 一种运动目标跟踪方法 |
| CN111768586A (zh) * | 2020-07-21 | 2020-10-13 | 佛山市海协科技有限公司 | 一种小区无线视频监控系统 |
| US11990010B2 (en) | 2021-07-22 | 2024-05-21 | Boe Technology Group Co., Ltd. | Methods and apparatuses for early warning of climbing behaviors, electronic devices and storage media |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140085501A1 (en) * | 2010-02-26 | 2014-03-27 | Bao Tran | Video processing systems and methods |
| CN104966045A (zh) * | 2015-04-02 | 2015-10-07 | 北京天睿空间科技有限公司 | 一种基于视频的飞机进出泊位自动检测方法 |
| CN106204640A (zh) * | 2016-06-29 | 2016-12-07 | 长沙慧联智能科技有限公司 | 一种运动目标检测系统及方法 |
| CN108629935A (zh) * | 2018-05-17 | 2018-10-09 | 山东深图智能科技有限公司 | 一种基于视频监控检测爬楼翻窗盗窃行为的方法及系统 |
-
2018
- 2018-11-22 CN CN201811404351.3A patent/CN109754411A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140085501A1 (en) * | 2010-02-26 | 2014-03-27 | Bao Tran | Video processing systems and methods |
| CN104966045A (zh) * | 2015-04-02 | 2015-10-07 | 北京天睿空间科技有限公司 | 一种基于视频的飞机进出泊位自动检测方法 |
| CN106204640A (zh) * | 2016-06-29 | 2016-12-07 | 长沙慧联智能科技有限公司 | 一种运动目标检测系统及方法 |
| CN108629935A (zh) * | 2018-05-17 | 2018-10-09 | 山东深图智能科技有限公司 | 一种基于视频监控检测爬楼翻窗盗窃行为的方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 崔利云: "基于光流法的运动目标跟踪算研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111382784A (zh) * | 2020-03-04 | 2020-07-07 | 厦门脉视数字技术有限公司 | 一种运动目标跟踪方法 |
| CN111382784B (zh) * | 2020-03-04 | 2021-11-26 | 厦门星纵智能科技有限公司 | 一种运动目标跟踪方法 |
| CN111382708A (zh) * | 2020-03-11 | 2020-07-07 | 广东工业大学 | 一种爬楼翻窗盗窃行为实时检测方法和装置 |
| CN111768586A (zh) * | 2020-07-21 | 2020-10-13 | 佛山市海协科技有限公司 | 一种小区无线视频监控系统 |
| US11990010B2 (en) | 2021-07-22 | 2024-05-21 | Boe Technology Group Co., Ltd. | Methods and apparatuses for early warning of climbing behaviors, electronic devices and storage media |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109754411A (zh) | 基于光流法目标跟踪的爬楼翻窗盗窃行为检测方法及系统 | |
| Lopez-Fuentes et al. | Review on computer vision techniques in emergency situations | |
| Di Lascio et al. | Improving fire detection reliability by a combination of videoanalytics | |
| CN103824070B (zh) | 一种基于计算机视觉的快速行人检测方法 | |
| CN106127148B (zh) | 一种基于机器视觉的手扶电梯乘客异常行为检测方法 | |
| CN105354563B (zh) | 结合深度和彩色图像的遮挡人脸检测预警装置及实现方法 | |
| CN105894702A (zh) | 一种基于多摄像机数据融合的入侵检测报警系统及其检测方法 | |
| CN101188745B (zh) | 游泳池智能溺水视频监控系统及方法 | |
| CN108256459A (zh) | 基于多摄像机融合的安检门人脸识别和人脸自动建库算法 | |
| CN106128053A (zh) | 一种智慧金睛识别人员逗留徘徊报警方法和装置 | |
| US20200394384A1 (en) | Real-time Aerial Suspicious Analysis (ASANA) System and Method for Identification of Suspicious individuals in public areas | |
| CN106951838B (zh) | 一种基于图像水纹的落水报警系统及其方法 | |
| CN107777498B (zh) | 一种电梯轿厢内暴力行为检测方法 | |
| CN102214359B (zh) | 基于层级式特征匹配的目标跟踪装置 | |
| CN106210634A (zh) | 一种智慧金睛识别人员倒地报警方法和装置 | |
| Shoaib et al. | View-invariant fall detection for elderly in real home environment | |
| CN109830078B (zh) | 适用于狭小空间的智能行为分析方法及智能行为分析设备 | |
| Salehi et al. | An automatic video-based drowning detection system for swimming pools using active contours | |
| CN106127814A (zh) | 一种智慧金睛识别人员聚集打斗报警方法和装置 | |
| CN107301375A (zh) | 一种基于稠密光流的视频图像烟雾检测方法 | |
| Behera et al. | Multi-camera based surveillance system | |
| CN113963301A (zh) | 一种时空特征融合的视频火灾烟雾探测方法及系统 | |
| Alqaysi et al. | Detection of abnormal behavior in dynamic crowded gatherings | |
| CN103400148B (zh) | 基于视频分析的银行自助服务区域尾随行为检测方法 | |
| KR20200060868A (ko) | 객체 탐지 및 자동 추적이 가능한 다시점 영상 감시 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190514 |
|
| RJ01 | Rejection of invention patent application after publication |