CN112926538B - 一种基于监控视频的高空抛物识别方法 - Google Patents
一种基于监控视频的高空抛物识别方法 Download PDFInfo
- Publication number
- CN112926538B CN112926538B CN202110375729.7A CN202110375729A CN112926538B CN 112926538 B CN112926538 B CN 112926538B CN 202110375729 A CN202110375729 A CN 202110375729A CN 112926538 B CN112926538 B CN 112926538B
- Authority
- CN
- China
- Prior art keywords
- frame
- pixels
- time period
- pixel
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于监控视频的高空抛物识别方法，通过对视频各帧进行分区域模板匹配、累加及旋转等运算，寻找视频中的高空抛物现象，并给出发生高空抛物的时间段。本发明利用下坠物体的运动特点进行识别，不需要建立目标模型，不采用传统的跟踪方法，具有计算量小、识别速度快的优点，可应用于楼宇等建筑物的高空抛物实时识别之中，并同时给出高空抛物的发生时间，为搜证提供有力辅助。
Description
技术领域
本发明属于图像识别技术领域，具体涉及一种基于监控视频的高空抛物识别方法。
背景技术
现代城市大厦等高层建筑林立，个别人漠视安全随手抛物，给人民群众的生命安全带来极大的威胁。
目前最广泛的高空抛物搜证方式是安装视频监控系统，然而这些监控系统大多只能在案发之后提供视频证据，缺少现场警示功能；现有技术中的部分监控系统引入学习算法，可进行抛物识别，例如中国专利202011230338.8公开了一种基于深度学习的高空抛物检测方法，包括：将待识别图像输入到预先训练好的深度神经网络模型中进行前向运算，获取高空抛物体的位置，所述深度神经网络模型包括主干网络和预测网络，根据高空抛物体位置轨迹，判断是否存在高空抛物行为；上述现有技术采用高效的主干网络，运行速度更快，可以准确定位高空抛物体的位置；然而其计算量巨大，需要配备服务器作计算支持，导致成本高昂而不利于推广。
现有技术中还提出了图像检测方法以进行高空抛物识别，例如中国专利202010274236.X公开了一种基于图像检测的高空抛物识别方法，包括以下步骤：S1，设置监控区域，提取视频帧信息；S2，提取基于MOG2的运动物体候选框；S3，匹配前后帧运动物体候选框，判断是否为同一物体，若是，则进入S4；S4，分析物体的运动轨迹，判断是否为抛物。
目前的高空抛物识别方法均基于目标检测和跟踪的方法，需要建立目标模型。由于下坠物体类型多样，目标模型缺少足够的样本支持，难以准确进行下坠物体检测；另一方面，下坠物体尺寸小下坠速度快，并且会发生旋转、形变和尺度变化，容易造成跟踪失败而无法进行高空抛物判断。
基于此，本申请提出一种新的基于监控视频的高空抛物识别方法。
发明内容
针对现有技术的缺陷，本发明提供了一种基于监控视频的高空抛物识别方法，其不需要建立目标模型，不采用传统的跟踪方法，具有计算量小、识别速度快的优点。
为了实现上述目的，本发明提供了一种基于监控视频的高空抛物识别方法，寻找视频中的高空抛物现象并给出发生高空抛物的时间段，其特征是包括以下步骤：
步骤1：提取监控视频中各帧的原始图像；
步骤2：通过各帧的原始图像计算各帧的前背景分割图；
步骤3：给定一个时间段ΔT，如果在该时间段内所有帧的前背景分割图中相同位置的像素都是背景像素，则该位置的像素为背景像素，否则为前景像素，如此处理所有位置的像素得该时间段的累加图；
步骤4：以角度ω为间隔，在给定角度范围内连续旋转该时间段的累加图，得到多张该时间段的旋转图；
步骤5：如果某张该时间段的旋转图中某列的前景像素数量超过给定阈值，则判断该时间段内有高空抛物；
步骤6：修改给定的时间段ΔT，重复步骤3至步骤5。
进一步的，步骤2计算某帧的前背景分割图的方法为：
步骤2-1：取某帧的原始图像并将其划分为若干子图
其中e和g分别是子图的行序号和列序号；
步骤2-2：在给定平移距离范围内将
分别向各方向平移一定距离，然后
与该帧的相邻帧的原始图像在该位置上的子图进行模板匹配运算，取所得匹配值最高的该帧的相邻帧的原始图像的子图为Be,g；
步骤2-3：分别将
与Be,g的各个相同位置的像素相减，根据所得差值按给定阈值进行前景背景二值化分类，得该帧的分类子图
把所有
按e行序号和g列序号合并，得该帧的分类图；
步骤2-4：如果某像素在该帧的分类图中是前景像素，并且下一帧的分类图中该像素的下方的给定区域内有前景像素，则该像素为前景像素，否则为背景像素，如此处理各像素得该帧的前背景分割图。
本发明具备以下有益效果：
本发明是利用下坠物体向下运动且近似直线运动的运动特性进行识别判断的，能够快速判断所可能出现的抛物现象，具有计算量小、识别速度快的优点，尤其是在抛物现象刚出现即可得出判断结果，为附近人群的躲避争取到一定的时间，本发明能同时给出高空抛物的发生时间段，为搜证提供有力辅助。
下面结合附图对本发明作进一步的详细说明。
附图说明
图1是本发明实施例1中第280、305、330、355帧的原始图像；
图2是本发明实施例1中第280、305、330、355帧的分类图；
图3是本发明实施例1中第280、305、330、355帧的前背景分割图；
图4是本发明实施例1中第1至60帧时间段和第296至355帧时间段的累加图；
图5是本发明实施例1中第296至355帧时间段的各张旋转图的列前景像素数量；
图6是本发明实施例1的流程示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不限于下面公开的具体实施例的限制。
实施例1
一种基于监控视频的高空抛物识别方法，如图6所示，包括以下步骤：
S1：提取监控视频中各帧的原始图像，如图1所示，其中圆框内为下坠物体，方框内为走动的人物。
S2：设
是第k帧的原始图像，其中
是Fk的第i行第j列像素，设帧的原始图像有I行J列，1≤i≤I，1≤j≤J。
在本实施例中，各帧的原始图像有I＝1900行J＝1050列，各帧的原始图像划分为E×G＝76×42个子图，各子图有
和
列。
S3：给定平移距离范围为S＝2，将子图
在上下方向平移s1个像素，左右方向平移距离s2个像素，-S≤s1,s2≤S，然后
与第k帧的相邻帧k-1帧的原始图像Fk-1的该位置上的子图进行模板匹配运算，取所得匹配值最高的s1为
s2为
所得匹配值最高的Fk-1的子图为：
S4：分别将
与
的各个相同位置的像素相减并根据所得差值按给定阈值50进行前景背景二值化分类(1表示前景像素，0表示背景像素)，得第k帧的分类子图：
若
则
否则
把所有
按e行序号和g列序号合并，得第k帧的分类图
如图2所示，经过划分子图并进行给定平移距离范围内的模板匹配，对于运动速度较慢的非下坠物体被大部分消除了，而运动速度较快的下坠物体则由于离开了给定平移距离范围而没有被消除。
S5：如果在第k帧的分类图Dk中像素
是前景像素，并且第k+1帧的分类图Dk+1中(i,j)的下方的给定区域(第i+1到i+Mi行，第j-NLj到j+NRj列)内有前景像素，则该像素为前景像素，否则为背景像素：
若
则
否则
如此处理各像素得第k帧的前背景分割图
对于下坠物体，若其出现在第k帧的位置(i,j)处，则其也会出现在第k+1帧(i,j)的下方的给定区域内，据此可清除掉干扰，因此前背景分割图的干扰比分类图少，如图3所示。
根据下坠物体的运动规律，下坠物体在垂直方向作加速运动，受风阻影响，其加速度小于重力加速度，因此有：
Mi＝(t·GA)/(FR·MPR)，
其中GA是重力加速度(取9.8米每平方秒)，FR是视频帧率(本实施例为30帧每秒)，MPR是米像素比(单位：米每像素，即视频中1像素对应的长度，由于视频是向上拍摄的，米像素比从上往下减少，本实施例近似线性化为：MPR＝-0.000036i+0.06)，在本实施例中的下坠物体即使从建筑物顶层开始落下也仅需2秒时间即到达视频最下方，因此t取最大值2秒。
根据下坠物体的运动规律，下坠物体在水平方向作匀速运动，因此有：
NLj＝NRj＝v/(FR·MPR)，
若下坠物体是非人为造成的，则其水平方向初速度应为零，否则其水平方向初速度与抛物者有关。一般而言，此速度不大于30米每秒，因此v取最大值30米每秒。
S6：给定一个时间段
即第T·FR+1到
帧，如果在该时间段内所有帧的前背景分割图中相同位置的像素都是背景像素，则该位置的像素为背景像素，否则为前景像素：
若
则
否则
如此处理所有位置的像素得该时间段的累加图
下坠物体在视频内会持续出现一段时间，在本实施例中的下坠物体即使从建筑物顶层开始落下也仅需2秒时间即到达视频最下方，为了让下坠物体出现的整个过程均包含入给定的时间段内，
取最大值2秒，同时本实施例的视频帧率为30帧每秒，因此给定的时间段内有60帧。如图4所示，第1至60帧时间段内没有下坠物体，而第296至355帧时间段内有下坠物体，该下坠物体的运动轨迹被完全记录在累加图中。
S7：以角度ω＝5°为间隔，在给定角度范围[-35,35]度内逆时针方向连续旋转该时间段的累加图，得到多张该时间段的旋转图。
S8：如果某张该时间段的旋转图的某列的前景像素数量超过给定阈值15000，则判断该时间段内有高空抛物。
下坠物体存在运动轨迹近似垂直且近似直线的运动规律，因此在一个较为窄小的给定角度范围(例如[-35,35]度)内旋转并统计列的前景像素数量，可以确定是否存在下坠物体的运动轨迹，从而得出该时间段内是否有高空抛物的判断结果。如图4、5所示，将第296至355帧时间段的累加图逆时针方向旋转-15度的时候，下坠物体的运动轨迹是垂直的，相应的旋转-15度的旋转图的其中一列的前景像素数量接近30000，比其他的要明显大得多，可判断第296至355帧时间段内有高空抛物。
S9：修改给定的时间段，重复S6至S8，以检测其它时间段内是否有高空抛物。
虽然本发明以较佳实施例揭露如上，但并非用以限定本发明实施的范围。任何本领域的普通技术人员，在不脱离本发明的发明范围内，当可作些许的改进，即凡是依照本发明所做的同等改进，应为本发明的范围所涵盖。
Claims (1)
1.一种基于监控视频的高空抛物识别方法，寻找视频中的高空抛物现象并给出发生高空抛物的时间段，高空抛物识别方法包括以下步骤：
步骤1：提取监控视频中各帧的原始图像；
步骤2：通过各帧的原始图像计算各帧的前背景分割图；
其中步骤2中计算各帧的前背景分割图的方法为：
步骤2-1：取某帧的原始图像并将其划分为若干子图
其中e和g分别是子图的行序号和列序号；
步骤2-2：在给定平移距离范围内将第k帧的子图
分别向各方向平移一定距离，然后
与第k帧的相邻帧k-1帧的原始图像的子图
进行模板匹配运算，取所得匹配值最高的该帧的相邻帧的原始图像的子图为Be,g；
步骤2-3：分别将
与Be,g的各个相同位置的像素相减并根据所得差值按给定阈值进行前景背景二值化分类，得该帧的分类子图
把所有
按e行序号和g列序号合并，得该帧的分类图；
步骤2-4：如果某像素在该帧的分类图中是前景像素，并且下一帧的分类图中该像素的下方的给定区域内有前景像素，则该像素为前景像素，否则为背景像素，如此处理各像素得该帧的前背景分割图；
步骤3：给定一个时间段ΔT，如果在该时间段内所有帧的前背景分割图中相同位置的像素都是背景像素，则该位置的像素为背景像素，否则为前景像素，如此处理所有位置的像素得该时间段的累加图；
步骤4：以角度ω为间隔，在给定角度范围内连续旋转该时间段的累加图，得到多张该时间段的旋转图；
步骤5：如果某张该时间段的旋转图的某列的前景像素数量超过给定阈值，则判断该时间段内有高空抛物；
步骤6：修改给定的时间段ΔT，重复步骤3至步骤5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110375729.7A CN112926538B (zh) | 2021-04-08 | 2021-04-08 | 一种基于监控视频的高空抛物识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110375729.7A CN112926538B (zh) | 2021-04-08 | 2021-04-08 | 一种基于监控视频的高空抛物识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112926538A CN112926538A (zh) | 2021-06-08 |
| CN112926538B true CN112926538B (zh) | 2022-06-24 |
Family
ID=76173745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110375729.7A Active CN112926538B (zh) | 2021-04-08 | 2021-04-08 | 一种基于监控视频的高空抛物识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112926538B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114332154B (zh) * | 2022-03-04 | 2022-06-14 | 英特灵达信息技术(深圳)有限公司 | 一种高空抛物检测方法及系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7280673B2 (en) * | 2003-10-10 | 2007-10-09 | Intellivid Corporation | System and method for searching for changes in surveillance video |
| CN108364291A (zh) * | 2018-03-13 | 2018-08-03 | 钟国韵 | 基于计算机视觉技术的原坯布快速检测方法 |
| CN109872341B (zh) * | 2019-01-14 | 2020-11-24 | 中建三局智能技术有限公司 | 一种基于计算机视觉的高空抛物检测方法与系统 |
| CN111079663B (zh) * | 2019-12-19 | 2022-01-11 | 深圳云天励飞技术股份有限公司 | 高空抛物的监测方法、装置、电子设备及存储介质 |
| CN111553256A (zh) * | 2020-04-26 | 2020-08-18 | 上海天诚比集科技有限公司 | 基于物体轨迹识别的高空抛物预警识别方法 |
| CN111553274A (zh) * | 2020-04-28 | 2020-08-18 | 青岛聚好联科技有限公司 | 一种基于轨迹分析的高空抛物检测方法及装置 |
| CN112418069B (zh) * | 2020-11-19 | 2021-05-11 | 中科智云科技有限公司 | 一种高空抛物检测方法、装置、计算机设备及存储介质 |
-
2021
- 2021-04-08 CN CN202110375729.7A patent/CN112926538B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112926538A (zh) | 2021-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112257557B (zh) | 一种基于机器视觉的高空抛物检测识别方法及系统 | |
| Basharat et al. | Learning object motion patterns for anomaly detection and improved object detection | |
| US10607098B2 (en) | System of a video frame detector for video content identification and method thereof | |
| Jiansheng | Vision-based real-time traffic accident detection | |
| US10679067B2 (en) | Method for detecting violent incident in video based on hypergraph transition | |
| CN111695514B (zh) | 一种基于深度学习的雾天下车辆检测方法 | |
| CN103886325B (zh) | 一种分块的循环矩阵视频跟踪方法 | |
| CN110569843B (zh) | 一种矿井目标智能检测与识别方法 | |
| CN110490043A (zh) | 一种基于区域划分和特征提取的森林烟火检测方法 | |
| Lin et al. | Social mil: Interaction-aware for crowd anomaly detection | |
| CN103971386A (zh) | 一种动态背景场景下的前景检测方法 | |
| CN111401311A (zh) | 一种基于图像检测的高空抛物识别方法 | |
| CN113362374A (zh) | 一种基于目标跟踪网络的高空抛物检测方法及系统 | |
| CN112926538B (zh) | 一种基于监控视频的高空抛物识别方法 | |
| CN111291684A (zh) | 一种自然场景下的船牌检测方法 | |
| CN108830161B (zh) | 基于视频流数据的烟雾识别方法 | |
| CN111696135A (zh) | 基于交并比的违禁停车检测方法 | |
| Ying-hong et al. | An improved Gaussian mixture background model with real-time adjustment of learning rate | |
| Li et al. | Moving target detection and tracking algorithm based on context information | |
| Yang et al. | A method of pedestrians counting based on deep learning | |
| CN114332444A (zh) | 一种基于增量漂移聚类的复杂星空背景目标识别方法 | |
| CN111275733A (zh) | 基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法 | |
| Luo et al. | A slight smoke perceptual network | |
| CN114943873A (zh) | 一种工地人员异常行为分类方法及装置 | |
| Saif et al. | Adaptive long term motion pattern analysis for moving object detection using UAV aerial images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220526 Address after: 510225 room 114, 27 Dongsha street, Zhifang Road, Haizhu District, Guangzhou City, Guangdong Province Applicant after: Guangzhou Lvjian Intelligent Technology Co.,Ltd. Applicant after: Guangzhou Mingyi Intelligent Technology Co., Ltd Address before: 510225 room 114, 27 Dongsha street, Zhifang Road, Haizhu District, Guangzhou City, Guangdong Province Applicant before: Guangzhou Lvjian Intelligent Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |