CN111488799B - 一种基于图像识别的坠落物识别方法及系统 - Google Patents

一种基于图像识别的坠落物识别方法及系统 Download PDF

Info

Publication number
CN111488799B
CN111488799B CN202010173888.4A CN202010173888A CN111488799B CN 111488799 B CN111488799 B CN 111488799B CN 202010173888 A CN202010173888 A CN 202010173888A CN 111488799 B CN111488799 B CN 111488799B
Authority
CN
China
Prior art keywords
judging
falling
frame
falling object
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202010173888.4A
Other languages
English (en)
Other versions
CN111488799A (zh
Inventor
华绘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Xiaomi Information Technology Co ltd
Original Assignee
Anhui Xiaomi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Xiaomi Information Technology Co ltd filed Critical Anhui Xiaomi Information Technology Co ltd
Priority to CN202010173888.4A priority Critical patent/CN111488799B/zh
Publication of CN111488799A publication Critical patent/CN111488799A/zh
Application granted granted Critical
Publication of CN111488799B publication Critical patent/CN111488799B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像识别的坠落物识别方法及系统，属于图像识别领域。针对现有技术中存在的坠物识别准确率和召回率不高的问题，本发明对监控区域进行拍摄，将视频发送至服务器端，服务器端对视频进行物体识别、分组识别、疑似坠落物识别以及坠落物识别，对视频中的物体进行多次判定，如果最终结果判定为坠落物，就统计坠落物个数，并将识别结果发送至客户端，本发明通过将OpenCv中的运动物体检测、密度聚类、线性回归拟合、曲线拟合等多种识别判定方法相结合，可以提高坠物识别的识别率和召回率，同时可以对多个坠落物进行识别。

Description

一种基于图像识别的坠落物识别方法及系统
技术领域
本发明涉及图像识别领域，更具体地说，涉及一种基于图像识别的坠落物识别方法及系统。
背景技术
随着时代的发展，城市高楼林立，居民的住宅越来越舒适也越来越高，与此同时的安全隐患也随之浮出。近年来国内小区高空坠物事件频发，给人民群众的生命财产安全造成了极大的伤害，虽然物业也命令禁止住户高空抛物，故意高空抛物也属于违法行为，但是高空坠物致人伤亡的案例不断见诸报端，一方面是公众的法律意识淡薄导致高空抛物的发生，另一方面意外坠物如墙体脱落等事件的发生很难避免。因此，如何对高空坠物进行预警成为了急需解决的问题，同时由于坠物的时间是瞬时发生的，因此预警系统需要对坠物进行实时识别和提醒。
中国专利申请，申请号CN201511003797.1，公开日2016年3月30日，公开了应用物联网传感器预警高层坠物的安防装置，归属于电子学领域，包括物联网位移监测模块、位移数值是否超过设定值的判断模块、移动互联通讯模块、物联网远红外监测模块、建筑物下是否有人员的判断模块、云计算平台信号处理模块。该装置的主要功能在于在大风天或由于年久失修，高层建筑层上的高空广告牌，会产生高空坠落的危险，在悬挂于高空的广告牌的悬挂部位安装物联网位移传感器，提前测量出高空坠物的危险，通过物联网向云计算终端发出警报并发出地理位置坐标，控制中心将此信息发送给建筑物下面的提示装置，及时进行疏散人群的预防，在建筑物的下方产生声光报警。其不足之处在于，该发明通过设置位移传感器检测高空的坠物，无法对高空物体的种类进行识别判断，容易造成错误预警，识别准确率和召回率不高，长久会造成使用人群对装置的信任度降低。
发明内容
1.要解决的技术问题
针对现有技术中存在的坠物识别准确率和召回率不高的问题，本发明提供了一种基于图像识别的坠落物识别方法及系统，它可以提高坠物识别的识别率和召回率，同时可以对多个坠落物进行识别。
2.技术方案
本发明的目的通过以下技术方案实现。
一种基于图像识别的坠落物识别方法，包括以下步骤：
步骤1、对监控区域进行拍摄，将视频发送至服务器端进行处理；
步骤2、服务器端对视频进行物体识别，判断识别结果是否符合规定，若符合，则进入步骤3，否则返回步骤1；
步骤3、对识别出的物体进行分组识别，得到若干个分组；
步骤4、对每个分组进行疑似坠落物识别，判断识别结果是否符合规定，若符合，则判定物体为疑似坠落物，进入步骤5，否则判定物体不是坠落物；
步骤5、对疑似坠落物进行坠落物识别，判断物体运动是否符合自由落体的轨迹，如果符合，则判定物体为坠落物，否则判定物体不是坠落物；
步骤6、统计坠落物个数，将识别结果发送至客户端。
进一步的，步骤2中服务器端对视频进行物体识别，判断结果是否符合规定，包括以下步骤：
将视频拆分为若干帧图片；
对每一帧图片进行图像识别，得到图片中的物体边框，计算物体的边框面积；
判断物体的边框面积是否符合边框面积阈值，若符合，则保留该边框，否则删除该边框，通过边框面积的判断，去除掉过大或过小的边框，从而排除干扰因素；
判断边框数量是否符合边框数量阈值，若符合，则判定符合规定，否则判定不符合规定，通过边框数量的判断，决定是否进行下一步计算，当边框数量不足时，说明当排除掉干扰因素后图像中的边框数量不足以构成一个物体。
更进一步的，步骤3中对识别出的物体进行分组识别包括以下步骤：
计算识别出的物体的重心，得到若干个散点像素坐标；
将若干个散点像素横坐标与其边框面积组合成数组，并数组进行标准化，使散点数据统一化；
对标准化后的数组进行密度聚类处理，得到若干个分组和离群点，排除离群点；
判断分组中的散点数量是否符合规定的阈值，若符合，则保留该分组，若不符合，则删除该分组。
更进一步的，步骤4中对每个物体的分组进行疑似坠落物识别，判断识别结果是否符合规定，包括以下步骤：
对每个分组中的散点像素横坐标与纵坐标进行线性拟合，得到线性方程；
判断线性方程的斜率是否在规定的阈值范围内，若在范围内，则判定符合规定，否则判定不符合规定。
更进一步的，步骤5中对疑似坠落物的进行坠落物识别，判断物体运动是否符合自由落体的轨迹，包括以下步骤：
对疑似坠落物在图像中的像素纵坐标进行变换处理，得到变换后的纵坐标，使数据可以被拟合成二次方程；
将纵坐标与其发生时间组合成数组，对数组进行数据拟合，得到二次方程；
判断二次方程的二次方系数是否在规定的阈值范围内，若符合，则判定符合自由落体轨迹，否则判定不符合自由落体轨迹。
一种基于图像识别的坠落物识别系统，用于执行上述基于图像识别的坠落物识别方法，包括：
拍摄单元，用于对监控区域进行拍摄，将视频发送至服务器端；
服务器端，用于接收服务器端发送的视频，对视频进行识别处理后，统计坠落物个数，将识别结果发送至客户端；
客户端，用于接收服务器端发送的识别结果；
服务器端包括：
物体识别单元，用于对视频进行物体识别，判断识别结果是否符合规定，若符合，则进入分组识别单元，否则返回拍摄单元；
分组识别单元，用于对识别出的物体进行分组识别，得到若干个分组，进入疑似坠落物识别单元；
疑似坠落物识别单元，用于对每个分组进行疑似坠落物识别，判断识别结果是否符合规定，若符合，则判定物体为疑似坠落物，进入坠落物识别单元，否则判定物体不是坠落物；
坠落物识别单元，用于对疑似坠落物进行坠落物识别，判断物体运动是否符合自由落体的轨迹，如果符合，则判定物体为坠落物，否则判定物体不是坠落物。
进一步的，物体识别单元包括：
视频拆分模块，用于将视频拆分为若干帧图片；
图像识别模块，用于对每一帧图片进行图像识别，得到图片中的物体边框，计算物体的边框面积；
第一判断模块，用于判断物体的边框面积是否符合边框面积阈值，若符合，则保留该边框，否则删除该边框；
第二判断模块，用于判断边框数量是否符合边框数量阈值，若符合，则判定符合规定，否则判定不符合规定。
更进一步的，分组识别单元包括：
重心识别模块，用于计算识别出的物体的重心，得到若干个散点像素坐标；
数组标准化模块，用于将若干个散点像素横坐标与其边框面积组合成数组，并数组进行标准化；
密度聚类模块，用于对标准化后的数组进行密度聚类处理，得到若干个分组和离群点，排除离群点；
第三判断模块，用于判断分组中的散点数量是否符合规定的阈值，若符合，则保留该分组，若不符合，则删除该分组。
更进一步的，疑似坠落物识别单元包括：
线性拟合模块，用于对每个分组中的散点像素横坐标与纵坐标进行线性拟合，得到线性方程；
第四判断模块，用于判断线性方程的斜率是否在规定的阈值范围内，若在范围内，则判定符合规定，否则判定不符合规定。
更进一步的，坠落物识别单元包括：
坐标变换模块，用于对疑似坠落物在图像中的像素纵坐标进行变换处理，得到变换后的纵坐标；
曲线拟合模块，用于将纵坐标与其发生时间组合成数组，对数组进行数据拟合，得到二次方程；
第五判断模块，用于判断二次方程的二次方系数是否在规定的阈值范围内，若符合，则判定符合自由落体轨迹，否则判定不符合自由落体轨迹。
3.有益效果
相比于现有技术，本发明的优点在于：
(1)运算速度快，物体坠物时间都是瞬时发生，如果算法识别过程慢，不能对视频流进行实时分析，就会导致不能实时监控，或者算法反馈的时间过长，不能做到及时提醒，本发明基于OpenCv中运动物体检测和利用数据挖掘方法对连续一定量的图片处理从而进行识别，运算速度快，可以做到对监控的视频进行实时的分析，并且可以保留监控视频，方便进行追踪溯源；
(2)可以对坠落物的运动轨迹进行识别，利用坠落物是垂直降落并且坠落物的大小不变的特征，利用密度聚类方法，将同一疑似坠落物产生的数据聚集到一起，通过线性回归的方法，对物体的运动轨迹进行线性拟合和曲线拟合，识别物体的运动轨迹，从而判断是否为坠落物，提高了识别算法的准确率，并且通过密度聚类生成的分组识别出坠落物的个数；
(3)坠落物识别的准确率和召回率高，如果准确率低，造成一些误报，长久会造成使用人群对模型的信任降低，召回率低，如果一些坠物场景不能发现，布置该算法也没有太大意义，本发明结合OpenCv的物体边框判定，识别可能由于其他物体的移动而产生噪声点，比如人体活动、空中飞物活动等，提高了识别模型的召回率；利用了密度聚类，可以把噪声点排除，提高模型的召回率，利用线性回归方法识别出坠落物的运动轨迹，利用返回的参数进行判断，提高了模型的准确率。
附图说明
图1为本发明的坠落物识别方法整体流程图；
图2为本发明的物体识别流程图；
图3为本发明的分组识别流程图；
图4为本发明的疑似坠落物识别流程图；
图5为本发明的坠落物识别流程图；
图6为本发明实施例中识别得到的物体散点坐标示意图；
图7为本发明实施例中物体标准化后的散点坐标示意图；
图8为本发明实施例中物体密度聚类示意图；
图9为本发明实施例中物体变换后散点坐标示意图；
图10为本发明实施例中另一物体变换后散点坐标示意图；
图11为本发明的坠落物识别系统结构示意图。
具体实施方式
下面结合说明书附图和具体的实施例，对本发明作详细描述。
如图1所示，一种基于图像识别的坠落物识别方法，包括以下步骤：
步骤1、通过拍摄设备对监控区域进行拍摄，将视频发送至服务器端进行处理，这里的拍摄设备可以是监控摄像头，摄像头根据现场状况进行摄像头的安装与调试，在调试期间根据摄像头安装的位置固定其变倍倍数和仰角角度，本实施例的摄像头距离监控处20米，变倍倍数设置为2倍，仰角角度为40度。
步骤2、服务器端对视频进行物体识别，物体识别所识别出的物体为移动的物体，判断识别结果是否符合规定，若符合，则进入步骤3，否则返回步骤1。本实施例摄像头拍摄视频的帧率为25fps，服务器端首先选择1秒钟的视频进行处理，即选取连续25张图片，如图2所示，首先按照事先规定的识别区域的坐标点对图片进行裁剪，保留需要的子区域图片，对每一帧图片进行图像识别，得到每一帧图片中移动物体边框，计算出每个边框面积，OpenCv中提供了多种背景减除的算法，本实施例选取的是基于高斯混合模型(GMM)进行运动物体识别，输出的是识别出来每一帧图片中运动物体的轮廓值及其面积值，识别到的物体边框可以是零个、一个或多个，识别方法可以参考https://www.jianshu.com/p/13b5f1e60e51。
设定边框面积阈值，判断物体得边框面积是否符合边框面积阈值，若符合，则进入下一步边框面积判断，否则删除不在边框面积阈值范围内的边框，本实施例将边框阈值范围设定为1000到10000，由于摄像头前有微小物体经过、摄像头晃动、算法的误差等因素会使得移动物体识别算法生成无效框，因此通过边框面积的判断，去除掉过大或过小的边框，从而排除干扰因素，解决了因外界干扰因素导致识别准确率下降的问题。
在所有图片中的物体边框面积判断完成后，判断删除后的边框数量是否符合边框数量阈值，若符合，则判定符合规定，进入步骤3，否则判定不符合规定，返回步骤1，通过边框数量的判断，决定是否进行下一步计算，当边框数量不足时，说明当排除掉干扰因素后图像中的边框数量不足以构成一个物体的坠落运动轨迹，无需进行坠物提醒，跳过下面的步骤，从而减少了算法的运算量，提高了算法的运算速度。
步骤3、对识别出的物体进行分组识别，得到若干个分组，如图3所示，首先对每一帧图片进行处理，计算识别出的运动物体边框轮廓的重心坐标，得到如图6所示的若干个散点，这里可以使用OpenCv中的cv2.moments计算轮廓的中心矩，根据中心矩中的参数计算轮廓的重心坐标，将得到的重心坐标数据x和y、时间点time，及其边框面积area组合，其中x为横轴坐标，y为纵轴坐标，x、y、area的单位为像素点，time的单位为毫秒，时间点是按照所有散点中最小的时间点为基础，与其他散点时间点相减得到，这里的最小时间点指图片中第一次出现散点的时间点，识别出的数据如表1所示：
表1
x y time area
162 623 278 8745
163 424 0 2657
163 416 258 2646
165 256 503 2767
164 54 758 2807
235 226 23 895
306 532 5 904
308 514 249 896
305 357 512 876
306 98 756 945
367 134 654 12675
再对若干张连续图片得到的组合散点进行数据处理，将x轴的值和面积值area组成二维数组，得到的数据如表2所示：
表2
Index x area
1 162 8745
2 163 2657
3 163 2646
4 165 2767
5 164 2807
6 235 895
7 306 904
8 308 896
9 305 876
10 306 945
11 367 12675
对二维数组进行标准化，这里使用Z-score方法，如果数据不进行标准化处理，密度聚类的效果就会受到一组数据中不同变量及其单位的影响，因此通过标准化方法将数据 转化为无单位的Z-Score分值，使得数据标准统一化，提高了数据可比性，使密度聚类的稳 定性更强，数据标准化得到如图7所示的散点图，标准化数据结果如表3所示：
表3
index x_z area_z
1 -1.03501 1.473677
2 -1.02181 -0.18826
3 -1.02181 -0.19126
4 -0.99539 -0.15823
5 -1.0086 -0.14731
6 -0.07084 -0.66926
7 0.866914 -0.66681
8 0.893329 -0.66899
9 0.853706 -0.67445
10 0.866914 -0.65561
11 1.672591 2.546511
对标准化后的数据进行密度聚类(DBSCAN)，设置距离参数值为0.2，聚类结果如图8所示，其中离散点标记为-1，聚类成的簇标记为1和2，将图片内容转成数据，如表4所示：
表4
Figure BDA0002410145570000071
Figure BDA0002410145570000081
对聚类得到的簇，要求簇中数据的个数要大于一定值，这里设置最小簇中散点数量>＝3，获取符合条件的簇中的散点在坐标轴的位置，如表5所示：
表5
x y Cluster
163 424 1
163 416 1
165 256 1
164 54 1
306 532 2
308 514 2
305 357 2
306 98 2
步骤4、对密度聚类产生的每个簇进行坠落物识别，判断识别结果是否符合规定，若符合，则判定物体为疑似坠落物，进入步骤5，否则判定物体不是坠落物。
如图4所示，首先对每个簇中的散点横坐标与纵坐标进行线性拟合，这里使用Python进行线性拟合，以横坐标x为因变量，纵坐标y为自变量进行建模得到，这里对两个簇中的散点分别拟合线性方程：
(1)x1＝-0.003270497137625606*y1+164.69026793
(2)x2＝0.0024437554096233965*y2+305.33298078
其中未知量x1、y1代表第一个簇的线性方程的横坐标、纵坐标，未知量x2、y2代表第二个簇的线性方程的横坐标、纵坐标。
判断每个簇中的点拟合出的线性方程的斜率即纵坐标系数是否在阈值范围内，若在设定的范围内，则判定为疑似坠落物，否则判定该物体不是坠落物，同时统计满足条件的簇的个数，满足条件的簇的个数为坠落物体的个数，针对不同像素的图片，斜率阈值也会对应发生变化，这里的斜率阈值设置为(-0.01，0.01)，由于两个方程的斜率都在阈值范围内，即判断有两个物体坠落轨迹，进入步骤5。
步骤5、对疑似坠落物进行坠落物识别，判断物体运动是否符合自由落体的轨迹，如果符合，则判定物体为坠落物，如果不符合，则判定物体不是坠落物。
如图5所示，首先对疑似坠落物的下落时间与下落距离进行拟合，得到二次方程，判断二次方程是否符合自由落体的轨迹，如果符合，则判定物体为坠落物，如果不符合，则判定物体不是坠落物。
首先对疑似坠落物的纵坐标y值进行变换处理，取其y值的变换值Y，与其发生时间time组成二维数组，对数组进行拟合，得到二次方程，对y轴的值进行变换时，首先将每个簇中每个y轴值与最大的y轴值相减，并将相减值乘以100，得到处理后的变换值Y，由于所有散点的time单位为毫秒，time数值较大与y值不匹配，拟合出的方程可能不准确，甚至无法拟合出二次方程，因此将y的值扩大100，使数组可以拟合出二次方程，将Y和时间点time进行二次方程式的拟合，如表6所示：
表6
y Y time Cluster
424 0 0 1
416 800 258 1
256 16800 503 1
54 37000 758 1
532 0 5 2
514 1800 249 2
357 17500 512 2
98 43400 756 2
对如图9和图10所示的两个簇的散点分别进行二次方程的拟合，Y为因变量，time为自变量，得到的公式分别为：
(1)Y1＝0.07608t1 2-7.314t1-578
(2)Y2＝0.09711t2 2-15.82t2-72.47
其中未知量t1、Y1代表第一个簇的二次方程的横坐标、纵坐标，未知量t2、Y2代表第二个簇的二次方程的横坐标、纵坐标。
对疑似坠落物进行判断，判断二次方程的二次方系数是否在规定的阈值范围内，若其值大于设定的阈值，则判定符合自由落体轨迹，说明物体是坠落物，否则判定不符合自由落体轨迹，物体不是坠落物，本实施例将阈值设定为0.05，如果二次方系数大于阈值，则判定运动轨迹符合自由落体运动。由于步骤4中识别出的疑似坠落物只是存在垂直向下移动的趋势，但是无法进一步排除外界的干扰，如在实际生活中，悬在大楼外墙的施工人员在上下移动时，也有可能被算法错误识别为坠落物，因此步骤5对疑似坠落物进行了进一步判断，通过疑似坠落物的下落时间与下落距离进行拟合，得到二次方函数，判断是否符合自由落体的轨迹，从而排除其他因素的干扰，提高了本方法的识别准确率和召回率。
步骤6、统计满足条件的簇的个数，满足条件的簇的个数为坠落物个数，将识别结果即坠落物个数发送至客户端，本实施例两个簇的二次方系数都符合阈值，因此都为自由下落的物体，并且判定自由下落的物体个数为2。
一种基于图像识别的坠落物识别系统，用于执行上述基于图像识别的坠落物识别方法，如图11所示，包括拍摄单元、服务器端以及客户端。
拍摄单元用于对监控区域进行拍摄，并将视频发送至服务器端，拍摄单元可以是带摄像录制功能的监控设备。
服务器端用于接收服务器端发送的视频，对视频进行识别处理后，统计坠落物个数，将识别结果发送至客户端，服务器端可以是带有运算处理功能的计算机系统。
服务器端包括：物体识别单元用于对视频进行物体识别，判断识别结果是否符合规定，若符合，则进入分组识别单元，否则返回拍摄单元；分组识别单元，用于对识别出的物体进行分组识别，得到若干个分组，进入疑似坠落物识别单元；疑似坠落物识别单元，用于对每个分组进行疑似坠落物识别，判断识别结果是否符合规定，若符合，则判定物体为疑似坠落物，进入坠落物识别单元，否则判定物体不是坠落物；坠落物识别单元，用于对疑似坠落物进行坠落物识别，判断物体运动是否符合自由落体的轨迹，如果符合，则判定物体为坠落物，如果不符合，则判定物体不是坠落物。
物体识别单元包括：视频拆分模块，用于将视频拆分为若干帧图片；图像识别模块，用于对每一帧图片进行图像识别，得到图片中的物体边框，计算物体的边框面积；第一判断模块，用于判断物体的边框面积是否符合边框面积阈值，若符合，则保留该边框，否则删除该边框；第二判断模块，用于判断边框数量是否符合边框数量阈值，若符合，则判定符合规定，否则判定不符合规定。
分组识别单元包括：重心识别模块，用于计算识别出的物体的重心，得到若干个散点坐标及其边框面积；数组标准化模块，用于将若干个散点横坐标与其边框面积组合成数组，并数组进行标准化；密度聚类模块，用于对标准化后的数组进行密度聚类处理，得到若干个分组和离群点，并排除离群点，排除离群点；第三判断模块，用于判断分组中的散点数量是否符合规定的阈值，若符合，则保留该分组，若不符合，则删除该分组。
疑似坠落物识别单元包括：线性拟合模块，用于对每个分组中的散点横坐标与纵坐标进行线性拟合，得到线性方程；第四判断模块，用于判断线性方程的斜率是否在规定的阈值范围内，若在范围内，则判定符合规定，否则判定不符合规定。
坠落物识别单元包括：坐标变换模块，用于对疑似坠落物的纵坐标进行变换处理，得到变换后的纵坐标；曲线拟合模块，用于将纵坐标于其发生时间组合成数组，对数组进行数据拟合，得到二次方程；第五判断模块，用于判断二次方程的二次方系数是否在规定的阈值范围内，若符合，则判定符合自由落体轨迹，否则判定不符合自由落体轨迹。
客户端，用于接收服务器端发送的识别结果，客户端为显示装置和坠物提醒装置，显示装置可以供管理人员监管查证识别结果，坠物提醒装置可以安装在建筑物周围，当接收到有坠物的识别结果时，对周围的行人进行警报提醒。
以上示意性地对本发明创造及其实施方式进行了描述，该描述没有限制性，在不背离本发明的精神或者基本特征的情况下，能够以其他的具体形式实现本发明。附图中所示的也只是本发明创造的实施方式之一，实际的结构并不局限于此，权利要求中的任何附图标记不应限制所涉及的权利要求。所以，如果本领域的普通技术人员受其启示，在不脱离本创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本专利的保护范围。此外，“包括”一词不排除其他元件或步骤，在元件前的“一个”一词不排除包括“多个”该元件。产品权利要求中陈述的多个元件也可以由一个元件通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (8)

1.一种基于图像识别的坠落物识别方法，其特征在于，包括以下步骤：
步骤1、对监控区域进行拍摄，将视频发送至服务器端进行处理；
步骤2、服务器端对视频进行物体识别，判断识别结果是否符合规定，若符合，则进入步骤3，否则返回步骤1；
步骤3、对识别出的物体进行分组识别，得到若干个分组；具体包括以下步骤：
计算识别出的物体的重心，得到若干个散点像素坐标；
将若干个散点像素横坐标与其边框面积组合成数组，并对数组进行标准化；
对标准化后的数组进行密度聚类处理，得到若干个分组和离群点，排除离群点；
判断分组中的散点数量是否符合规定的阈值，若符合，则保留该分组，若不符合，则删除该分组；
步骤4、对每个分组进行疑似坠落物识别，判断识别结果是否符合规定，若符合，则判定物体为疑似坠落物，进入步骤5，否则判定物体不是坠落物；
步骤5、对疑似坠落物进行坠落物识别，判断物体运动是否符合自由落体的轨迹，如果符合，则判定物体为坠落物，否则判定物体不是坠落物；
步骤6、统计坠落物个数，将识别结果发送至客户端。
2.根据权利要求1所述的一种基于图像识别的坠落物识别方法，其特征在于，步骤2中服务器端对视频进行物体识别，判断结果是否符合规定，包括以下步骤：
将视频拆分为若干帧图片；
对每一帧图片进行图像识别，得到图片中的物体边框，计算物体的边框面积；
判断物体的边框面积是否符合边框面积阈值，若符合，则保留该边框，否则删除该边框；
判断边框数量是否符合边框数量阈值，若符合，则判定符合规定，否则判定不符合规定。
3.根据权利要求1或2所述的一种基于图像识别的坠落物识别方法，其特征在于，步骤4中对每个物体的分组进行疑似坠落物识别，判断识别结果是否符合规定，包括以下步骤：
对每个分组中的散点像素横坐标与纵坐标进行线性拟合，得到线性方程；
判断线性方程的斜率是否在规定的阈值范围内，若在范围内，则判定符合规定，否则判定不符合规定。
4.根据权利要求3所述的一种基于图像识别的坠落物识别方法，其特征在于，步骤5中对疑似坠落物的进行坠落物识别，判断物体运动是否符合自由落体的轨迹，包括以下步骤：
对疑似坠落物在图像中的像素纵坐标进行变换处理，得到变换后的纵坐标；
将纵坐标与其发生时间组合成数组，对数组进行数据拟合，得到二次方程；
判断二次方程的二次方系数是否在规定的阈值范围内，若符合，则判定符合自由落体轨迹，否则判定不符合自由落体轨迹。
5.一种基于图像识别的坠落物识别系统，其特征在于，用于执行权利要求1-4中任意一项所述的方法，包括：
拍摄单元，用于对监控区域进行拍摄，将视频发送至服务器端；
服务器端，用于接收拍摄单元发送的视频，对视频进行识别处理后，统计坠落物个数，将识别结果发送至客户端；
客户端，用于接收服务器端发送的识别结果；
所述服务器端包括：
物体识别单元，用于对视频进行物体识别，判断识别结果是否符合规定，若符合，则进入分组识别单元，否则返回拍摄单元；
分组识别单元，用于对识别出的物体进行分组识别，得到若干个分组，进入疑似坠落物识别单元；所述分组识别单元包括：
重心识别模块，用于计算识别出的物体的重心，得到若干个散点坐标；
数组标准化模块，用于将若干个散点像素横坐标与其边框面积组合成数组，并数组进行标准化；
密度聚类模块，用于对标准化后的数组进行密度聚类处理，得到若干个分组和离群点，排除离群点；
第三判断模块，用于判断分组中的散点数量是否符合规定的阈值，若符合，则保留该分组，若不符合，则删除该分组；
疑似坠落物识别单元，用于对每个分组进行疑似坠落物识别，判断识别结果是否符合规定，若符合，则判定物体为疑似坠落物，进入坠落物识别单元，否则判定物体不是坠落物；
坠落物识别单元，用于对疑似坠落物进行坠落物识别，判断物体运动是否符合自由落体的轨迹，如果符合，则判定物体为坠落物，否则判定物体不是坠落物。
6.根据权利要求5所述的一种基于图像识别的坠落物识别系统，其特征在于，所述物体识别单元包括：
视频拆分模块，用于将视频拆分为若干帧图片；
图像识别模块，用于对每一帧图片进行图像识别，得到图片中的物体边框，计算物体的边框面积；
第一判断模块，用于判断物体的边框面积是否符合边框面积阈值，若符合，则保留该边框，否则删除该边框；
第二判断模块，用于判断边框数量是否符合边框数量阈值，若符合，则判定符合规定，否则判定不符合规定。
7.根据权利要求5或6所述的一种基于图像识别的坠落物识别系统，其特征在于，所述疑似坠落物识别单元包括：
线性拟合模块，用于对每个分组中的散点像素横坐标与纵坐标进行线性拟合，得到线性方程；
第四判断模块，用于判断线性方程的斜率是否在规定的阈值范围内，若在范围内，则判定符合规定，否则判定不符合规定。
8.根据权利要求7所述的一种基于图像识别的坠落物识别系统，其特征在于，所述坠落物识别单元包括：
坐标变换模块，用于对疑似坠落物在图像中的像素纵坐标进行变换处理，得到变换后的纵坐标；
曲线拟合模块，用于将纵坐标与其发生时间组合成数组，对数组进行数据拟合，得到二次方程；
第五判断模块，用于判断二次方程的二次方系数是否在规定的阈值范围内，若符合，则判定符合自由落体轨迹，否则判定不符合自由落体轨迹。
CN202010173888.4A 2020-03-13 2020-03-13 一种基于图像识别的坠落物识别方法及系统 Expired - Fee Related CN111488799B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010173888.4A CN111488799B (zh) 2020-03-13 2020-03-13 一种基于图像识别的坠落物识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010173888.4A CN111488799B (zh) 2020-03-13 2020-03-13 一种基于图像识别的坠落物识别方法及系统

Publications (2)

Publication Number Publication Date
CN111488799A CN111488799A (zh) 2020-08-04
CN111488799B true CN111488799B (zh) 2020-12-15

Family

ID=71797625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010173888.4A Expired - Fee Related CN111488799B (zh) 2020-03-13 2020-03-13 一种基于图像识别的坠落物识别方法及系统

Country Status (1)

Country Link
CN (1) CN111488799B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673333A (zh) * 2020-08-10 2021-11-19 广东电网有限责任公司 电力现场作业中的跌落检测算法
CN112016414A (zh) * 2020-08-14 2020-12-01 熵康(深圳)科技有限公司 一种检测高空抛物事件的方法、装置及楼面智能监控系统
CN112270253A (zh) * 2020-10-26 2021-01-26 深圳英飞拓科技股份有限公司 一种高空抛物的检测方法及装置
CN112347915B (zh) * 2020-11-05 2024-03-12 重庆览辉信息技术有限公司 一种高空抛掷物判别系统
CN112365524B (zh) * 2020-11-10 2024-03-29 宁波博登智能科技有限公司 一种基于时序图像的高空抛物实时报警系统
CN112884801A (zh) * 2021-02-02 2021-06-01 普联技术有限公司 高空抛物检测方法、装置、设备和存储介质
CN113178050B (zh) * 2021-04-30 2022-12-27 重庆天智慧启科技有限公司 一种智慧社区管理系统
CN113409360A (zh) * 2021-06-29 2021-09-17 深圳市商汤科技有限公司 高空抛物检测方法和装置、设备及计算机存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739691B (zh) * 2009-12-04 2011-12-14 北京智安邦科技有限公司 视频虚警目标检测方法及装置
CN103502986B (zh) * 2011-03-07 2015-04-29 科宝2股份有限公司 用于从事件或地理位置处的图像提供者进行分析数据采集的系统及方法
CN102842036B (zh) * 2011-11-30 2015-07-15 三峡大学 面向船闸视频监控的智能多目标检测方法
CN104601939B (zh) * 2013-10-31 2018-02-06 周振东 一种监测高空抛物以及消除其危害的方法和系统
CN105163067B (zh) * 2015-08-12 2018-12-14 武汉大学 一种基于数字图像处理技术的高空抛物取证系统
US10206630B2 (en) * 2015-08-28 2019-02-19 Foresite Healthcare, Llc Systems for automatic assessment of fall risk
CN109309811B (zh) * 2018-08-31 2021-02-19 中建三局智能技术有限公司 一种基于计算机视觉的高空抛物检测系统与方法
CN110568433A (zh) * 2019-09-09 2019-12-13 郑州天迈科技股份有限公司 基于毫米波雷达的高空抛物检测方法
CN110427927A (zh) * 2019-09-29 2019-11-08 恒大智慧科技有限公司 高空坠物的拦截方法、拦截控制系统以及存储介质
CN110796087A (zh) * 2019-10-30 2020-02-14 江西赣鄱云新型智慧城市技术研究有限公司 一种高空抛物训练样本快速生成方法与系统

Also Published As

Publication number Publication date
CN111488799A (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN111488799B (zh) 一种基于图像识别的坠落物识别方法及系统
CN111079663B (zh) 高空抛物的监测方法、装置、电子设备及存储介质
CN108319926A (zh) 一种工地现场的安全帽佩戴检测系统及检测方法
CN108389359B (zh) 一种基于深度学习的城市火灾报警方法
CN107437318B (zh) 一种可见光智能识别算法
CN111523397B (zh) 一种智慧灯杆视觉识别装置、方法及其系统和电子设备
US20230005176A1 (en) Throwing position acquisition method and apparatus, computer device and storage medium
CN106210634A (zh) 一种智慧金睛识别人员倒地报警方法和装置
CN112623919B (zh) 一种基于计算机视觉的自动扶梯智能监控管理系统
CN115326661B (zh) 一种基于大气环境的监测方法、系统和可读存储介质
CN110008804B (zh) 基于深度学习的电梯监控关键帧获取及检测方法
CN112257549B (zh) 一种基于计算机视觉的楼面危险检测预警方法及系统
CN112184773A (zh) 一种基于深度学习的安全帽佩戴检测方法及系统
CN111461078A (zh) 一种基于计算机视觉技术的防钓监控方法
CN112270253A (zh) 一种高空抛物的检测方法及装置
CN110766894A (zh) 社区围墙翻越预警方法、系统、服务器及计算机存储介质
CN110868568A (zh) 空管外台站的视频监控方法及装置
CN115346163A (zh) 仓库安全监控方法、装置、系统、设备和计算机存储介质
CN113052125B (zh) 一种施工现场违章图像识别告警方法
CN115937746A (zh) 一种烟火事件监测方法、装置及存储介质
CN114677640A (zh) 基于机器视觉的智慧工地安全监测系统及方法
CN114170295A (zh) 一种基于混合视觉的高空抛物检测方法及装置
CN112668389A (zh) 高空抛物目标检测方法、设备、系统及存储介质
CN107590936A (zh) 一种基于视频监控的仓库报警系统
CN114821805B (zh) 一种危险行为预警方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: Room 504, 5 / F, building A3, phase I project of Zhongan chuanggu Science Park, Hefei hi tech Zone, Anhui 230001

Patentee after: Anhui Xiaomi Information Technology Co.,Ltd.

Address before: 230001 room 611-612, block B, Wanda future tower, Baohe District, Hefei City, Anhui Province

Patentee before: Anhui Xiaomi Information Technology Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201215