CN116416124A - 一种基于背景差分的安全场景预警方法 - Google Patents
一种基于背景差分的安全场景预警方法 Download PDFInfo
- Publication number
- CN116416124A CN116416124A CN202310465984.XA CN202310465984A CN116416124A CN 116416124 A CN116416124 A CN 116416124A CN 202310465984 A CN202310465984 A CN 202310465984A CN 116416124 A CN116416124 A CN 116416124A
- Authority
- CN
- China
- Prior art keywords
- frame
- background
- area
- objects
- workbench
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000003068 static effect Effects 0.000 claims abstract description 18
- 238000005286 illumination Methods 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 17
- 238000009499 grossing Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 claims description 5
- 230000004888 barrier function Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 230000004069 differentiation Effects 0.000 claims 1
- 230000009191 jumping Effects 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 8
- 230000006399 behavior Effects 0.000 abstract description 4
- 239000000284 extract Substances 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于背景差分的安全场景预警方法，属于目标识别领域。本发明使用背景差分方法，选定背景帧作为参考，提取出图像中的物体，并通过几何空间关系计算判断物体是否为障碍物、越界或超量。本发明采用静止的摄像头和光照条件，并基于空间几何计算方法区分静止和移动的物体，用于在工作场景中的危险行为预警，为操作人员提供实时精准辅助，有效提高生产安全系数。本发明适用于三种场景：检测通道中是否存在较大尺寸的静止障碍物；检测工具台上的工具是否距离工具台边缘过近或越界(防止跌落)；检测工具台上的零部件是否属于且仅属于一个完整的产品。
Description
技术领域
本发明属于目标识别领域，具体涉及一种基于背景差分的安全场景预警方法。
背景技术
采用背景差分技术(opencv中的absdiff函数)实现物体检测：
在本发明场景中，提前假定摄像头的曝光和场景中的光照条件不变，并选取代表背景的图像作为用于参照的标准帧，背景中不包含需要检测的工具、障碍物等物品。当摄像头捕捉到新的视频帧的时候，用新帧减去标准参考帧，并且计算两者差的绝对值，得到视频帧中每个像素的RGB值偏移量，如果帧的任何一个区域与参考图像之间有很大的差距，就认为给定的区域内出现了新的物体。
从原理来看基本背景差分技术存在以下三大问题：
(1)摄像头的运动、环境光的变化、相机参数的设置变化(如：曝光、对比度等)都会导致整个场景的像素和参考图像之间的偏移量有很大的差距，因此就会将光影的变化误检测为物体，因此，保持环境的基本参数不变是能获得良好实验结果的重要前提。
(2)考虑这样一个场景，假设参考图像是一条道路，一个运动的人走过来将一个障碍物放置于道路正中，则一开始会检测出人和障碍物两个运动物体，后期障碍物保持静止，人若持续保持运动状态，则在各帧中的位置持续发生变化，可以将人和其他静止物品区分开来。
(3)absdiff的缺点在于无法区分运动物体和运动物体的影子，但是其他技术如BackgroundSubtractorMOG，一种以混合高斯模型为基础的前景/背景分割算法，可以检测阴影。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是如何提供一种基于背景差分的安全场景预警方法，以解决现有技术中基本背景差分技术存在的问题。
(二)技术方案
为了解决上述技术问题，本发明提出一种基于背景差分的安全场景预警方法，该方法包括如下步骤：
S11、开启摄像头捕捉帧；
S12、选取与后续实验场景光照比较相近、且只保留背景、没有其他物件、行人的帧作为标准参考帧；
S13、将参考帧的画面高斯模糊并转化成灰度图，再作为参考图像；
S14、对于参考帧之后的每一帧均进行高斯模糊和转化成灰度图处理；
S15、使用差分函数，分别计算处理后的各帧与参考帧之间的绝对值差；
S16、对差值图像通过色彩阈值进行二值化处理；
S17、对二值化处理后的图像计算连通域，通过面积阈值筛除掉面积较大的阴影和面积过小的噪声，并对连通域进行标记；
S18、提取出连通域的轮廓边框；
S19、统计连通域的面积，用于后续使用阈值过滤。
(三)有益效果
本发明提出一种基于背景差分的安全场景预警方法，本发明与现有技术相比的优点在于：
该方法具有轻量化的特征，实时性好；
具有较高安全要求的生产业务场景一般能实现较为稳定的光照和静止摄像头采集条件，该方法在此类环境下能够较好地捕获物体；
背景差分法可针对不同类型的环境进行调参，达到较为精准的检测效果；
同时，该方法实现了对静止物体和动态物体的有效区分，可基于不同的业务场景设定相应的阈值，用于在各类工作场景中的危险行为预警，为操作人员提供实时精准辅助，有效提高生产安全系数。
附图说明
图1为本发明实现的零部件越界检测效果；
图2为本发明实现的障碍物检测效果；
图3为本发明实现的零部件超量检测效果。
具体实施方式
为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
本发明的目的在于提供一种背景差分的安全生产场景预警方法，包括以下三种场景：检测通道中是否存在较大尺寸的静止障碍物；检测工具台上的工具是否距离工具台边缘过近或越界(防止跌落)；检测工具台上的零部件是否属于且仅属于一个完整的产品。使用背景差分方法，选定背景帧作为参考，提取出图像中的物体，并通过几何空间关系计算判断物体是否为障碍物、越界或超量。背景差分法具有轻量化的特征，适用于静止的摄像头，且实时性好，在完整的背景图像时，能够较好的捕获物体。但是该方法鲁棒性较差，动态场景的变化对结果有很大的影响，比如：光照的变化，采集位置的移动等。本发明采用静止的摄像头和光照条件，并基于空间几何计算方法区分静止和移动的物体，用于在工作场景中的危险行为预警，为操作人员提供实时精准辅助，有效提高生产安全系数。
本发明提供如下方法：使用背景差分方法，提取出图像中的目标物，并使用空间几何计算方法，判断物体是否为静止障碍物、是否越界或超量。
一、本发明中实现基本背景差分器的思路及步骤：
S11、开启摄像头捕捉帧；为更好地实现检测功能，提升检测效果，使用顶视视角向下拍摄视频；
S12、因为摄像头开启会先适应环境的光照，会有一小段时间用于调整自动曝光，因此需要选取与后续主要实验场景中光照比较相近、且只保留背景、没有其他物件、行人的帧作为标准参考帧。在本发明中选取视频的第1帧，能取得较优质的实验效果；
S13、将参考帧的画面高斯模糊并转化成灰度图，再作为参考图像；其中，高斯模糊通过使用高斯分布的钟形曲线作为卷积核的权重分配表，实现了相对于均值模糊、中值模糊更好的降采样表现。这是因为中心点附近像素对中心点像素的关联性随距离而下降，这与高斯分布的特点是高度一致的，所以使用高斯分布为卷积核分配权重，能够得到更好的效果；
高斯模糊是一种图像模糊滤波器，它用正态分布计算图像中每个像素的变换。N维空间正态分布方程为
在二维空间定义为：
其中，σ为标准差，u和v是图中的二维坐标。
S14、对于参考帧之后的每一帧均进行高斯模糊和转化成灰度图处理；
S15、使用差分函数，分别计算处理后的各帧与参考帧之间的绝对值差；
S16、对差值图像通过色彩阈值进行二值化处理；
S17、对二值化处理后的图像计算连通域，通过面积阈值筛除掉面积较大的阴影和面积过小的噪声，并对连通域进行标记；
S18、提取出连通域的轮廓边框；
S19、统计连通域的面积，用于后续使用阈值过滤。
二、数据预处理
1、按帧读取视频中的图像，若帧数过高，则进行抽帧处理；
2、对读入的图像进行高斯模糊，用于均匀平滑图像中每个像素的颜色，从而减少噪音并减少对比度，使图像更加柔和、清晰。它可以用来创建阴影、模糊背景、调整色调、减少细节；在本发明中，主要用于减少光照变化对背景差分的影响；
3、将高斯模糊后的图像转化为灰度图像，再进行差分计算。
三、数据后处理
1、对差值图像通过色彩阈值进行二值化处理；
2、对二值化处理后的图像计算连通域，统计每个连通域的面积，通过面积阈值筛除掉面积较大的阴影和面积过小的噪声；
3、对每个连通域使用随机生成的RGB值进行标记；
4、提取出连通域的轮廓边框；
5、统计连通域的面积，用于后续使用阈值过滤。
实施例1：
(一)零部件越界检测
场景定义：在工作台上有众多工具、零件，当工具和零件过于接近工作台边缘时，为防止工具跌落，则报警。
解决思路：
S201、按帧读入待检测视频；
S202、从上述读入的视频中，选取工作台整洁无杂物的帧作为参考背景帧，在本发明中，根据实际情况，选取第一帧作为背景帧；
S203、对背景帧使用高斯模糊函数进行平滑去噪处理作为差分背景；
S204、对视频后续帧使用高斯模糊函数进行平滑去噪处理作为检测帧；
S205、使用背景差分函数，将平滑处理后的各检测帧与差分背景相比较，检测出图像中的RGB值偏移量；
S206、将差分结果转化为灰度图；
S207、将处理后的灰度图选取合适的阈值进行二值化处理；
S208、为了去掉面积较小的噪声和面积较大的人手与阴影，设置面积阈值对检测出的物体进行过滤；
S209、获取检测出的物体的轮廓；
S210、手动标注出工作台的四角在图像中的坐标，为了保持该坐标在各帧中始终不变，需要拍摄的过程中摄像头、工作台都保持静止；
S211、用坐标表示出工作台的四边；
S212、计算零部件物体轮廓边缘和工作台边缘的空间几何关系，如果相交，则判断越界；
(二)障碍物检测
场景定义：道路中央存在静止不动的障碍物，则报警。在本发明中的解决方法为：
解决思路：
S301、按帧读入待检测视频；
S302、从上述读入的视频中，选取通道中整洁无杂物的帧作为参考背景帧，在本发明中，根据实际情况，选取第一帧作为背景帧；
S303、对背景帧使用高斯模糊函数进行平滑去噪处理作为差分背景；
S304、对视频后续帧使用高斯模糊函数进行平滑去噪处理作为检测帧；
S305、使用背景差分函数，将平滑处理后的各检测帧与差分背景相比较，检测出图像中的RGB值偏移量；
S306、将差分结果转化为灰度图；
S307、将处理后的灰度图选取合适的阈值进行二值化处理；
S308、为了去掉面积较小的噪声和面积较大的阴影，设置面积阈值对检测出的物体进行过滤；
S309、获取检测出的物体的轮廓；
S310、通过判断算法区分静止的障碍物和移动的人，使用以下判断算法：
对各帧循环进行判断；对于当前第i帧：
10.1、设置visited数组，数组长度与上一帧(第i-1)帧中物体数量相等，数组中每个数初始值置为0；
10.2、设置last_sequence_list数组，长度与第i-1帧中物体数量相等，数组中每个值last_sequence_list[j]大小为在第i-1帧当中每个物体Oj累计计数的数量；其中，累计计数的数量n表示该物体已经连续在n帧中被检测到；
10.3、设置sequence_list数组，长度与第i帧中物体数量相等，数组中每个值sequence_list[m]大小为在第i帧当中每个物体Om累计计数的数量，初始值置为0；
10.4、设置数组last_initial_position，数组长度与第i-1帧中物体数量相等，用于记录第i-1帧中每个检测到的物体的初始位置；
10.5、设置数组initial_position，数组长度与第i帧中物体数量相等，用于记录第i帧中每个检测到的物体的初始位置；
10.6、在第i帧中，对于每一个障碍物Om，其面积为aream，则执行以下子循环：初始化j＝0，遍历第i-1帧中的每个物体Oj，若visited[j]＝＝0，表示Oj尚未被访问，则执行以下子循环：
(1)获取Oj面积areaj，计算Om与Oj相交的面积areamj，若areamj/aream>90％且areamj/areaj>90％，则近似认为Om与Oj重叠，即Om与Oj为同一个物体；
(2)将visited[j]置为1，表示该物体已被访问到；
(3)sequence_list[m]＝last_sequence_list[j]+1，即该物体累计检测到的帧数加一；
(4)若sequence_list[m]＝＝1，即物体Om第一次被检测到，记录其轮廓作为其初始位置Om，并将Om记录入initial_position[m]；若sequence_list[m]>1，则将last_initial_position[j]记录入initial_position[m]，即将上一帧中该物体的初始位置作为当前帧物体的初始位置；
(5)累计sequence_list[m]＝＝30时，即同一个障碍物在30帧中连续出现，则用(1)中的方法计算Om与initial_position[m]是否重叠，即物体是否与初始位置重叠，若是，则认为物体在连续30帧中静止，区分于工作人员等运动中的，判断为障碍物。
(6)跳出子循环。
10.7、完成一次判断后，置last_initial_position＝initial_position，last_sequence_list＝sequence_list，进行下一次循环；
(三)零部件超量检测
场景定义：单次只能装配一个产品，若零部件超量，则报警。由于在实际业务中，难以给出确切的所有产品零部件的涵盖范围，无法采用目标检测的方式实现，因此采用阈值进行筛选，若使用差分方法检测出的零部件总面积或总数量超过一定阈值，则报警；
解决思路：
S401、按帧读入待检测视频；
S402、从上述读入的视频中，选取工作台整洁无杂物的帧作为参考背景帧，在本发明中，根据实际情况，选取第一帧作为背景帧；
S403、对背景帧使用高斯模糊函数进行平滑去噪处理作为差分背景；
S404、对视频后续帧使用高斯模糊函数进行平滑去噪处理作为检测帧；
S405、使用背景差分函数，将平滑处理后的各检测帧与差分背景相比较，检测出图像中的RGB值偏移量；
S406、将差分结果转化为灰度图；
S407、将处理后的灰度图选取合适的阈值进行二值化处理；
S408、为了去掉面积较小的噪声和面积较大的人手与阴影，设置面积阈值对检测出的物体进行过滤；
S409、获取检测出的物体的轮廓；
S410、用坐标表示出工作台的四边；
S411、判断零部件物体轮廓和工作台边缘的空间几何关系，筛选出包含在工作台内的物体；
S412、结合S409和S411的计算结果，统计包含在工作台内部的物体总面积和物体总数量；若总数超过一定阈值，则报警。
本发明为一种实现基于背景差分的安全生产场景预警方法。
识别系统分为零部件越界检测模块、障碍物检测模块、零部件超量检测模块。
实施例2:
(一)零部件越界检测模块
场景定义：在工作台上有众多工具、零件，当工具和零件过于接近工作台边缘时，为防止工具跌落，则报警。
解决思路：
1、按帧读入待检测视频；
2、从上述读入的视频中，选取工作台整洁无杂物的帧作为参考背景图片，在本发明中，根据实际情况，选取第一帧作为背景帧；
3、对背景帧使用高斯模糊函数进行平滑去噪处理作为差分背景；
4、对视频后续帧使用高斯模糊函数进行平滑去噪处理作为检测帧；
5、使用背景差分函数，将平滑处理后的各检测帧与差分背景相比较，检测出图像中的RGB值偏移量；
6、将差分结果转化为灰度图；
7、将处理后的灰度图选取合适的阈值进行二值化处理；
8、为了去掉面积较小的噪声和面积较大的人手与阴影，设置面积阈值对检测出的物体进行过滤；
9、获取检测出的物体的轮廓；
10、标注出工作台的四角在图像中的坐标，为了保持该坐标在各帧中始终不变，需要拍摄的过程中摄像头、工作台都保持静止；
11、用坐标表示出工作台的四边；
12、计算零部件物体边缘和工作台边缘的空间几何关系，如果相交，则判断越界；
实施例3:
(二)障碍物检测模块
场景定义：道路中央存在静止不动的障碍物，则报警。在本发明中的解决方法为：
解决思路：
1、按帧读入待检测视频；
2、从上述读入的视频中，选取通道中整洁无杂物的帧作为参考背景图片，在本发明中，根据实际情况，选取第一帧作为背景帧；
3、对背景帧使用高斯模糊函数进行平滑去噪处理作为差分背景；
4、对视频后续帧使用高斯模糊函数进行平滑去噪处理作为检测帧；
5、使用背景差分函数，将平滑处理后的各检测帧与差分背景相比较，检测出图像中的RGB值偏移量；
6、将差分结果转化为灰度图；
7、将处理后的灰度图选取合适的阈值进行二值化处理；
8、为了去掉面积较小的噪声和面积较大的阴影，设置面积阈值对检测出的物体进行过滤；
9、获取检测出的物体的轮廓；
10、为了区分静止的障碍物和移动的人，使用以下算法：
对各帧循环进行判断；对于当前第i帧：
10.1、设置visited数组，数组长度与上一帧(第i-1)帧中物体数量相等，数组中每个数初始值置为0；
10.2、设置last_sequence_list数组，长度与第i-1帧中物体数量相等，数组中每个值last_sequence_list[j]大小为在第i-1帧当中每个物体Oj累计计数的数量；其中，累计计数的数量n表示该物体已经连续在n帧中被检测到；
10.3、设置sequence_list数组，长度与第i帧中物体数量相等，数组中每个值sequence_list[m]大小为在第i帧当中每个物体Om累计计数的数量，初始值置为0；
10.4、设置数组last_initial_position，数组长度与第i-1帧中物体数量相等，用于记录第i-1帧中每个检测到的物体的初始位置；
10.5、设置数组initial_position，数组长度与第i帧中物体数量相等，用于记录第i帧中每个检测到的物体的初始位置；
10.6、在第i帧中，对于每一个障碍物Om，其面积为aream，则执行以下子循环：初始化j＝0，遍历第i-1帧中的每个物体Oj，若visited[j]＝＝0，表示Oj尚未被访问，则执行以下操作：
(1)获取Oj面积areaj，计算Om与Oj相交的面积areamj，若areamj/aream>90％且areamj/areaj>90％，则近似认为Om与Oj重叠，即Om与Oj为同一个物体；
(2)将visited[j]置为1，表示该物体已被访问到；
(3)sequence_list[m]＝last_sequence_list[j]+1，即该物体累计检测到的帧数加一；
(4)若sequence_list[m]＝＝1，即物体Om第一次被检测到，记录其轮廓作为其初始位置Om，并将Om记录入initial_position[m]；若sequence_list[m]>1，则将last_initial_position[j]记录入initial_position[m]，即将上一帧中该物体的初始位置作为当前帧物体的初始位置；
(5)累计sequence_list[m]＝＝30时，即同一个障碍物在30帧中连续出现，则用(1)中的方法计算Oj与initial_position[m]是否重叠，即物体是否与初始位置重叠，若是，则认为物体在连续30帧中静止，区分于工作人员等运动中的，判断为障碍物。
(6)跳出子循环。
10.7、完成一次判断后，置last_initial_position＝initial_position，last_sequence_list＝sequence_list，进行下一次循环；
实施例4：
(三)零部件超量检测模块
场景定义：单次只能装配一个产品，若零部件超量，则报警。由于在实际业务中，难以给出确切的所有产品零部件的涵盖范围，无法采用目标检测的方式实现，因此采用阈值进行筛选，若使用差分方法检测出的零部件总面积或总数量超过一定阈值，则报警；
解决思路：
1、按帧读入待检测视频；
2、从上述读入的视频中，选取工作台整洁无杂物的帧作为参考背景图片，在本发明中，根据实际情况，选取第一帧作为背景帧；
3、对背景帧使用高斯模糊函数进行平滑去噪处理作为差分背景；
4、对视频后续帧使用高斯模糊函数进行平滑去噪处理作为检测帧；
5、使用背景差分函数，将平滑处理后的各检测帧与差分背景相比较，检测出图像中的RGB值偏移量；
6、将差分结果转化为灰度图；
7、将处理后的灰度图选取合适的阈值进行二值化处理；
8、为了去掉面积较小的噪声和面积较大的人手与阴影，设置面积阈值对检测出的物体进行过滤；
9、获取检测出的物体的轮廓；
10、用坐标表示出工作台的四边；
11、判断零部件物体轮廓和工作台边缘的空间几何关系，筛选出包含在工作台内的物体；
12、结合9和11的计算结果，统计包含在工作台内部的物体总面积和物体总数量；若总数超过一定阈值，则报警。
本发明与现有技术相比的优点在于：
该方法具有轻量化的特征，实时性好；
具有较高安全要求的生产业务场景一般能实现较为稳定的光照和静止摄像头采集条件，该方法在此类环境下能够较好地捕获物体；
背景差分法可针对不同类型的环境进行调参，达到较为精准的检测效果；
同时，该方法实现了对静止物体和动态物体的有效区分，可基于不同的业务场景设定相应的阈值，用于在各类工作场景中的危险行为预警，为操作人员提供实时精准辅助，有效提高生产安全系数。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种基于背景差分的安全场景预警方法，其特征在于，该方法包括如下步骤：
S11、开启摄像头捕捉帧；
S12、选取与后续实验场景光照比较相近、且只保留背景、没有其他物件、行人的帧作为标准参考帧；
S13、将参考帧的画面高斯模糊并转化成灰度图，再作为参考图像；
S14、对于参考帧之后的每一帧均进行高斯模糊和转化成灰度图处理；
S15、使用差分函数，分别计算处理后的各帧与参考帧之间的绝对值差；
S16、对差值图像通过色彩阈值进行二值化处理；
S17、对二值化处理后的图像计算连通域，通过面积阈值筛除掉面积较大的阴影和面积过小的噪声，并对连通域进行标记；
S18、提取出连通域的轮廓边框；
S19、统计连通域的面积，用于后续使用阈值过滤。
2.如权利要求1所述的基于背景差分的安全场景预警方法，其特征在于，所述S11中，使用顶视视角向下拍摄视频。
3.如权利要求1所述的基于背景差分的安全场景预警方法，其特征在于，所述S12中，选取视频的第1帧作为参考帧。
4.如权利要求1所述的基于背景差分的安全场景预警方法，其特征在于，所述S14中，按帧读取视频中的图像，若帧数过高，则进行抽帧处理。
5.如权利要求1所述的基于背景差分的安全场景预警方法，其特征在于，所述S17中，对二值化处理后的图像计算连通域，统计每个连通域的面积，通过面积阈值筛除掉面积较大的阴影和面积过小的噪声；并对每个连通域使用随机生成的RGB值进行标记。
6.如权利要求1所述的基于背景差分的安全场景预警方法，其特征在于，该方法应用于检测工具台上的工具是否距离工具台边缘过近或越界、检测通道中是否存在较大尺寸的静止障碍物、检测工具台上的零部件是否属于且仅属于一个完整的产品。
7.一种基于背景差分的安全场景预警方法，其特征在于，该方法用于零部件越界检测；
场景定义：在工作台上有众多工具、零件，当工具和零件过于接近工作台边缘时，为防止工具跌落，则报警；
该方法包括如下步骤：
S201、按帧读入待检测视频；
S202、从上述读入的视频中，选取工作台整洁无杂物的帧作为参考背景帧；
S203、对背景帧使用高斯模糊函数进行平滑去噪处理作为差分背景；
S204、对视频后续帧使用高斯模糊函数进行平滑去噪处理作为检测帧；
S205、使用背景差分函数，将平滑处理后的各检测帧与差分背景相比较，检测出图像中的RGB值偏移量；
S206、将差分结果转化为灰度图；
S207、将处理后的灰度图选取合适的阈值进行二值化处理；
S208、设置面积阈值对检测出的物体进行过滤，去掉面积较小的噪声和面积较大的人手与阴影；
S209、获取检测出的物体的轮廓；
S210、手动标注出工作台的四角在图像中的坐标，拍摄的过程中摄像头、工作台都保持静止；
S211、用坐标表示出工作台的四边；
S212、计算零部件物体轮廓边缘和工作台边缘的空间几何关系，如果相交，则判断越界。
8.一种基于背景差分的安全场景预警方法，其特征在于，该方法用于障碍物检测；
场景定义：道路中央存在静止不动的障碍物，则报警；
该方法包括如下步骤：
S301、按帧读入待检测视频；
S302、从上述读入的视频中，选取通道中整洁无杂物的帧作为参考背景帧；
S303、对背景帧使用高斯模糊函数进行平滑去噪处理作为差分背景；
S304、对视频后续帧使用高斯模糊函数进行平滑去噪处理作为检测帧；
S305、使用背景差分函数，将平滑处理后的各检测帧与差分背景相比较，检测出图像中的RGB值偏移量；
S306、将差分结果转化为灰度图；
S307、将处理后的灰度图选取合适的阈值进行二值化处理；
S308、设置面积阈值对检测出的物体进行过滤，去掉面积较小的噪声和面积较大的阴影；
S309、获取检测出的物体的轮廓；
S310、通过判断算法区分静止的障碍物和移动的人。
9.如权利要求8所述的基于背景差分的安全场景预警方法，其特征在于，所述S310中的判断算法包括：
对各帧循环进行判断；对于当前第i帧：
10.1、设置visited数组，数组长度与第i-1帧中物体数量相等，数组中每个数初始值置为0；
10.2、设置last_sequence_list数组，长度与第i-1帧中物体数量相等，数组中每个值last_sequence_list[j]大小为在第i-1帧当中每个物体Oj累计计数的数量；其中，累计计数的数量n表示该物体已经连续在n帧中被检测到；
10.3、设置sequence_list数组，长度与第i帧中物体数量相等，数组中每个值sequence_list[m]大小为在第i帧当中每个物体Om累计计数的数量，初始值置为0；
10.4、设置数组last_initial_position，数组长度与第i-1帧中物体数量相等，用于记录第i-1帧中每个检测到的物体的初始位置；
10.5、设置数组initial_position，数组长度与第i帧中物体数量相等，用于记录第i帧中每个检测到的物体的初始位置；
10.6、在第i帧中，对于每一个障碍物Om，其面积为aream，则执行以下子循环：初始化j＝0，遍历第i-1帧中的每个物体Oj，若visited[j]＝＝0，表示Oj尚未被访问，则执行以下子循环：
(1)获取Oj面积areaj，计算Om与Oj相交的面积areamj，若areamj/aream>90％且areamj/areaj>90％，则近似认为Om与Oj重叠，即Om与Oj为同一个物体；
(2)将visited[j]置为1，表示该物体已被访问到；
(3)sequence_list[m]＝last_sequence_list[j]+1，即该物体累计检测到的帧数加一；
(4)若sequence_list[m]＝＝1，即物体Om第一次被检测到，记录其轮廓作为其初始位置Om，并将Om记录入initial_position[m]；若sequence_list[m]>1，则将last_initial_position[j]记录入initial_position[m]，即将上一帧中该物体的初始位置作为当前帧物体的初始位置；
(5)累计sequence_list[m]＝＝30时，即同一个障碍物在30帧中连续出现，则用(1)中的方法计算Om与initial_position[m]是否重叠，即物体是否与初始位置重叠，若是，则认为物体在连续30帧中静止，区分于工作人员等运动中的，判断为障碍物；
(6)跳出子循环；
10.7、完成一次判断后，置last_initial_position＝initial_position，last_sequence_list＝sequence_list，进行下一次循环。
10.一种基于背景差分的安全场景预警方法，其特征在于，该方法用于零部件超量检测；
场景定义：单次只能装配一个产品，若零部件超量，则报警；
该方法包括如下步骤：
S401、按帧读入待检测视频；
S402、从上述读入的视频中，选取工作台整洁无杂物的帧作为参考背景帧；
S403、对背景帧使用高斯模糊函数进行平滑去噪处理作为差分背景；
S404、对视频后续帧使用高斯模糊函数进行平滑去噪处理作为检测帧；
S405、使用背景差分函数，将平滑处理后的各检测帧与差分背景相比较，检测出图像中的RGB值偏移量；
S406、将差分结果转化为灰度图；
S407、将处理后的灰度图选取合适的阈值进行二值化处理；
S408、设置面积阈值对检测出的物体进行过滤，去掉面积较小的噪声和面积较大的人手与阴影；
S409、获取检测出的物体的轮廓；
S410、用坐标表示出工作台的四边；
S411、判断零部件物体轮廓和工作台边缘的空间几何关系，筛选出包含在工作台内的物体；
S412、结合S409和S411的计算结果，统计包含在工作台内部的物体总面积和物体总数量；若总数超过一定阈值，则报警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310465984.XA CN116416124A (zh) | 2023-04-27 | 2023-04-27 | 一种基于背景差分的安全场景预警方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310465984.XA CN116416124A (zh) | 2023-04-27 | 2023-04-27 | 一种基于背景差分的安全场景预警方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116416124A true CN116416124A (zh) | 2023-07-11 |
Family
ID=87056196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310465984.XA Pending CN116416124A (zh) | 2023-04-27 | 2023-04-27 | 一种基于背景差分的安全场景预警方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116416124A (zh) |
-
2023
- 2023-04-27 CN CN202310465984.XA patent/CN116416124A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107527009B (zh) | 一种基于yolo目标检测的遗留物检测方法 | |
| CN111723644A (zh) | 一种监控视频遮挡检测方法及系统 | |
| JP3123587B2 (ja) | 背景差分による動物体領域抽出方法 | |
| CN112016414A (zh) | 一种检测高空抛物事件的方法、装置及楼面智能监控系统 | |
| CN107784669A (zh) | 一种光斑提取及其质心确定的方法 | |
| CN108256521B (zh) | 用于车身颜色识别的有效区域定位方法 | |
| CN111368771A (zh) | 一种基于图像处理的隧道火灾预警方法、装置、计算机设备以及计算机可读存储介质 | |
| CN103093198B (zh) | 一种人群密度监测方法及装置 | |
| JP2008523454A (ja) | 背景領域および前景領域をモデリングする方法 | |
| CN111062293B (zh) | 一种基于深度学习的无人机森林火焰识别方法 | |
| CN109918971B (zh) | 监控视频中人数检测方法及装置 | |
| US10497107B1 (en) | Method, computer program product and computer readable medium for generating a mask for a camera stream | |
| CN106991418B (zh) | 飞虫检测方法、装置及终端 | |
| CN109711256B (zh) | 一种低空复杂背景无人机目标检测方法 | |
| CN107563985A (zh) | 一种红外图像空中运动目标的检测方法 | |
| CN110378934B (zh) | 主体检测方法、装置、电子设备和计算机可读存储介质 | |
| Miller et al. | Person tracking in UAV video | |
| CN112364884A (zh) | 一种移动物体侦测的方法 | |
| CN116030430A (zh) | 铁轨识别方法、装置、设备及存储介质 | |
| CN116416124A (zh) | 一种基于背景差分的安全场景预警方法 | |
| CN111027560B (zh) | 文本检测方法以及相关装置 | |
| CN109859200B (zh) | 一种基于背景分析的低空慢速无人机快速检测方法 | |
| Tupper et al. | Pedestrian proximity detection using RGB-D data | |
| Chaiyawatana et al. | Robust object detection on video surveillance | |
| CN106250859B (zh) | 基于特征矢量运动杂乱度的视频火焰检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |