CN109583414B - 基于视频检测的室内占道检测方法、设备、介质及处理器 - Google Patents

基于视频检测的室内占道检测方法、设备、介质及处理器 Download PDF

Info

Publication number
CN109583414B
CN109583414B CN201811503554.8A CN201811503554A CN109583414B CN 109583414 B CN109583414 B CN 109583414B CN 201811503554 A CN201811503554 A CN 201811503554A CN 109583414 B CN109583414 B CN 109583414B
Authority
CN
China
Prior art keywords
image
area
detection
target area
sliding window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811503554.8A
Other languages
English (en)
Other versions
CN109583414A (zh
Inventor
彭力
张超溢
李稳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN201811503554.8A priority Critical patent/CN109583414B/zh
Publication of CN109583414A publication Critical patent/CN109583414A/zh
Application granted granted Critical
Publication of CN109583414B publication Critical patent/CN109583414B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Abstract

本发明公开了一种基于视频检测的室内占道检测方法。本发明一种基于视频检测的室内占道检测方法，包括：目标区域掩模制作，目标区域与背景分割，混合高斯背景建模，滑动窗口检测融合，形态学处理，室内占道检测。目标区域掩模制作用于得到待检测区域的二值图像；目标区域与背景分割用于待检测区域与背景进行分割；混合高斯背景建模用于提取待检测区域的二值图像；滑动窗口检测融合用于提取潜在占道物体的粗轮廓；形态学处理用于去除噪声，得到更加完整的占道物体的轮廓；室内占道检测用于检测目标区域是否有占道物体。

Description

基于视频检测的室内占道检测方法、设备、介质及处理器
技术领域
本发明涉及室内占道领域，具体涉及一种基于视频检测的室内占道检测方法。
背景技术
目前的针对室内占道检测主要有2种方案：
1.通过专业督查人员去实地巡逻监察有无占道现象，这无疑增加了人力成本，同时也不能实时地发现占道现象并快速加以制止。
2.通过工作人员在监控室盯着现场的监控摄像头传输来的画面进行监察，这虽然可以检测出监控区域是否发生占道现象，但是让督查人员一直观看监控视频会极大地增加工作人员的负担。另外，当视频数量很多时，工作人员也无法做到对每一个视频进行监察，这也会造成漏检现象。
传统技术存在以下技术问题：
现有的方案都属于人工检测，无疑增加了人力成本，耗费大量人力资源，不能对占道现象进行实时发现，快速处理。而目前，使用视频检测技术进行室内占道现象检测还处于空白阶段。
发明内容
本发明要解决的技术问题是提供一种基于视频检测的室内占道检测方法，提出一种视频检测的室内占道检测方法，利用检测算法自动识别出室内的占道现象，旨在减少人力资源消耗，减轻督查人员工作负担；同时所提出的方法还可以立刻存储包含占道现象的图片，供督查人员作为证据使用。
为了解决上述技术问题，本发明提供了一种基于视频检测的室内占道检测方法，包括：
目标区域掩模制作；
目标区域与背景分割；
混合高斯背景建模提取目标二值图像；
滑动窗口检测融合；
形态学处理；
室内占道检测。
在其中一个实施例中，“目标区域掩模制作；”具体包括：由摄像头捕捉监控区域的全景视频图像，在全景视频图像上按顺时针选取四个点，四个点所围成闭合的四边形区域即为室内通道区域，也就是目标区域；将该闭合四边形区域内的像素值设为255(表现为白色)，其余位置的像素值设为0(表现为黑色)，这样就得到了目标区域的掩膜图像M。
在其中一个实施例中，“目标区域与背景分割；”具体包括：读入检测视频得到全景图像，将全景视频图像进行灰度化处理，得到灰度图像I。图像I融合步骤一中得到的掩膜图像M，可得目标区域灰度图像F；
F＝M&I (1)
其中，&是图像对应的像素点位置的像素值进行“逻辑与”操作：
Figure BDA0001898843650000021
在其中一个实施例中，“混合高斯背景建模提取目标二值图像；”具体包括：建立高斯混合模型，并设定高斯混合模型的背景不更新；其中，采用目标区域的第一帧灰度图F1作为固定的背景，得到背景B；再将检测视频每一帧经过步骤二得到的分割后的目标区域的灰度图F输入高斯混合模型进行高斯混合差分运算，由设定的阈值Bth进行二值化处理，提取目标前景二值图像R。
Figure BDA0001898843650000031
在其中一个实施例中，“形态学处理；”具体包括：
假设滑窗时间为T，那么滑窗内一共有T*fps张图像，记为N；
N＝T*fps (4)
fps表示视频帧率；
采用滑动窗口对步骤三得到的二值前景图R在滑动窗口内进行逐个相与操作，获得占道物体的粗轮廊，也就是获得前景融合后的图像，记为G；
G＝R1&R2&...&RN (5)
对滑动窗口中当前待检测的二值图像与N张图像做逻辑与运算，即为当前时刻的二值图像与滑窗内保存的前T时刻的所有二值图像做逻辑与运算，就可将目标区域中短时出现的物体过滤出去，留存的都是从始至终一直保留在前景中的物品；而滑动窗口大小T参数由判断标准决定，即过道内物体存在多长时间后，认为该物体是占道物品。
在其中一个实施例中，“形态学处理；”具体包括：对步骤四得到的检测融合后的图像G先做形态学处理中的膨胀运算，使得可能的占道物体的轮廓更加完善，图像更加饱满方便后面连通区域的搜索；再做腐蚀运算以去除噪声点；最终得到的图像记为P。
在其中一个实施例中，“室内占道检测”具体包括：对第五步获得的去噪后的二值前景图P搜索其连通区域，每个连通区域内像素值为255的像素点组成的面积即为潜在占道物体的面积S；引入约束条件，设定一个面积阈值Sth；当S>Sth时，才将其判断为占道物体，从而排除面积较小的连通区域；当判断检测图像中存在占道物体后，立刻对其进行标注并保存图片。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一项所述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一项所述方法的步骤。
一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行任一项所述的方法。
本发明的有益效果：
利用数字图像处理的技术由计算机自动检测并识别出室内的占道现象，与现有的依靠人力去检测的手段相比，极大的节省了人力资源，减轻督查人员的工作负担。同时所提出的方法也带有存储包含占道现象的图片的功能，可以供督查人员作为证据使用。
附图说明
图1(a)是本发明基于视频检测的室内占道检测方法中的监控摄像头拍下的原始图像的示意图。
图1(b)是本发明基于视频检测的室内占道检测方法中的目标区域的掩模。
图2是本发明基于视频检测的室内占道检测方法第二步的目标区域与背景分割为所得结果的示意图。
图3(a)是本发明基于视频检测的室内占道检测方法中的经过步骤二得到的过道与背景分离的过道图像。
图3(b)是本发明基于视频检测的室内占道检测方法中的第一帧作为固定背景的图像。
图3(c)是本发明基于视频检测的室内占道检测方法中第三步合高斯背景建模提取目标二值图像的所得结果。
图4是本发明基于视频检测的室内占道检测方法中第四步滑动窗口检测融合的所得结果。
图5是本发明基于视频检测的室内占道检测方法中第五步形态学处理的所得结果。
图6是本发明基于视频检测的室内占道检测方法中第六步室内占道检测的所得结果。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
一种基于视频检测的室内占道检测方法，包括如下步骤：
步骤一、目标区域掩模制作
由摄像头捕捉监控区域的全景视频图像，在全景视频图像上按顺时针选取四个点，四个点所围成闭合的四边形区域即为室内通道区域，也就是目标区域。将该闭合四边形区域内的像素值设为255(表现为白色)，其余位置的像素值设为0(表现为黑色)，这样就得到了目标区域的掩膜图像M。
步骤二、目标区域与背景分割
读入检测视频得到全景图像，将全景视频图像进行灰度化处理，得到灰度图像I。图像I融合步骤一中得到的掩膜图像M，可得目标区域灰度图像F。
F＝M&I (1)
其中，&是图像对应的像素点位置的像素值进行“逻辑与”操作：
Figure BDA0001898843650000061
这样做就可以实现过道区域和背景区域的分割，具体表现为过道区域是原 RGB图像的灰度图，而其他无关区域都变为黑色。这样检测算法只需要对过道区域进行有无占道现象检测即可而无需对全图进行检测，缩小检测区域从而提高了检测速度。
步骤三、混合高斯背景建模提取目标二值图像
建立高斯混合模型，并设定高斯混合模型的背景不更新。其中，采用目标区域的第一帧灰度图F1作为固定的背景，得到背景B；再将检测视频每一帧经过步骤二得到的分割后的目标区域的灰度图F输入高斯混合模型进行高斯混合差分运算，由设定的阈值Bth进行二值化处理，提取目标前景二值图像R。
Figure BDA0001898843650000062
步骤四、滑动窗口检测融合
假设滑窗时间为T，那么滑窗内一共有T*fps张图像，记为N。
N＝T*fps (4)
fps表示视频帧率。
采用滑动窗口对步骤三得到的二值前景图R在滑动窗口内进行逐个相与操作，获得占道物体的粗轮廊，也就是获得前景融合后的图像，记为G。
G＝R1&R2&...&RN (5)
对滑动窗口中当前待检测的二值图像与N张图像做逻辑与运算，即为当前时刻的二值图像与滑窗内保存的前T时刻的所有二值图像做逻辑与运算，就可将目标区域中短时出现的物体过滤出去，留存的都是从始至终一直保留在前景中的物品。而滑动窗口大小T参数由判断标准决定，即过道内物体存在多长时间后，认为该物体是占道物品。
步骤五、形态学处理
对步骤四得到的检测融合后的图像G先做形态学处理中的膨胀运算，使得可能的占道物体的轮廓更加完善，图像更加饱满方便后面连通区域的搜索。再做腐蚀运算以去除噪声点。最终得到的图像记为P。
步骤六、室内占道检测
对第五步获得的去噪后的二值前景图P搜索其连通区域，每个连通区域内像素值为255的像素点组成的面积即为潜在占道物体的面积S。由于背景中的小阴影、占道物品的小阴影以及人移动中的小阴影，有小概率出现面积较小的连通区域。为了解决这个问题可以引入约束条件，设定一个面积阈值Sth，。当S>Sth时，才将其判断为占道物体，从而排除面积较小的连通区域。当判断检测图像中存在占道物体后，立刻对其进行标注并保存图片。
本案例对一家超市进行室内过道占用检测，利用本发明所提算法对超市内监控摄像头拍摄的监控视频进行室内过道占用检测。具体的实施步骤按照第五项所述，下面将显示每一步的效果。
第一步、目标区域掩模制作
由获得视频的第一帧选取目标区域，也就是待检测的过道区域。由交互式的方式，通过鼠标按顺时针方向在第一帧图像上选取4个点，这4个点形成一个闭合的四边形。四边形内部像素置为255(表现为白色)，外部像素置为0(表现为黑色)。图1a是监控摄像头拍下的原始图像，图1b是目标区域的掩模。
第二步、目标区域与背景分割
图2即为所得结果。由步骤一得到的目标区域的掩模与视频帧全景图像的灰度图做逻辑与运算，这样就实现了背景与过道区域的分离。
第三步、混合高斯背景建模提取目标二值图像
图3c即为所得结果。它是由经过步骤二得到的过道与背景分离的过道图像 (图3a)与第一帧作为固定背景的图像(图3b)进行差分运算得到的。
第四步、滑动窗口检测融合
如图4即为所得结果。将步骤三得到的二值图像在时间为T的滑窗内与前 T时刻的二值图像做逻辑与运算，即可将过道中短时出现的物体过滤出去，得到时间T内一直存在的占道物体粗轮廓。
第五步、形态学处理
图5即为所得结果。对步骤4得到的图像做形态学处理，包括膨胀与腐蚀操作，使得占道物体的轮廓更加完善。对比图4可以明显看出图5中物体轮廓更加完整。
第六步、室内占道检测
图6即为最后的检测结果。可以看出该算法准确的检测出了室内通道的占道物体。同时存储该张图片作为有力证据供工作人员使用。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (4)

1.一种基于视频检测的室内占道检测方法，其特征在于，包括：
步骤一、目标区域掩模制作
由摄像头捕捉监控区域的全景视频图像，在全景视频图像上按顺时针选取四个点，四个点所围成闭合的四边形区域即为室内通道区域，也就是目标区域将该闭合四边形区域内的像素值设为255，其余位置的像素值设为0，这样就得到了目标区域的掩膜图像M；
步骤二、目标区域与背景分割
读入检测视频得到全景图像，将全景视频图像进行灰度化处理，得到灰度图像I，图像I融合步骤一中得到的掩膜图像M，可得目标区域灰度图像F
F＝M&I (1)
其中，&是图像对应的像素点位置的像素值进行“逻辑与”操作：
Figure FDA0002765347110000011
这样做就可以实现过道区域和背景区域的分割，具体表现为过道区域是原RGB图像的灰度图，而其他无关区域都变为黑色这样检测算法只需要对过道区域进行有无占道现象检测即可而无需对全图进行检测，缩小检测区域从而提高了检测速度；
步骤三、混合高斯背景建模提取目标二值图像
建立高斯混合模型，并设定高斯混合模型的背景不更新；其中，采用目标区域的第一帧灰度图F1作为固定的背景，得到背景B；再将检测视频每一帧经过步骤二得到的分割后的目标区域的灰度图F输入高斯混合模型进行高斯混合差分运算，由设定的阈值Bth进行二值化处理，提取目标前景二值图像R
Figure FDA0002765347110000021
步骤四、滑动窗口检测融合
假设滑窗时间为T，那么滑窗内一共有T*fps张图像，记为N
N＝T*fps (4)
fps表示视频帧率
采用滑动窗口对步骤三得到的二值前景图R在滑动窗口内进行逐个相与操作，获得占道物体的粗轮廊，也就是获得前景融合后的图像，记为G1
G1＝R1&R2&...&RN (5)
对滑动窗口中当前待检测的二值图像与N张图像做逻辑与运算，即为当前时刻的二值图像Rt与滑窗内保存的前T时刻的所有二值图像做逻辑与运算
G＝G1&Rt (6)
就可将目标区域中短时出现的物体过滤出去，留存的都是从始至终一直保留在前景中的物品而滑动窗口大小T参数由判断标准决定，即过道内物体存在多长时间后，认为该物体是占道物品；
步骤五、形态学处理
对步骤四得到的检测融合后的图像G先做形态学处理中的膨胀运算，使得可能的占道物体的轮廓更加完善，图像更加饱满方便后面连通区域的搜索再做腐蚀运算以去除噪声点最终得到的图像记为P；
步骤六、室内占道检测
对步骤五获得的去噪后的二值前景图P搜索其连通区域，每个连通区域内像素值为255的像素点组成的面积即为潜在占道物体的面积S；由于背景中的小阴影、占道物品的小阴影以及人移动中的小阴影，有小概率出现面积较小的连通区域；为了解决这个问题可以引入约束条件，设定一个面积阈值Sth，当S>Sth时，才将其判断为占道物体，从而排除面积较小的连通区域；当判断检测图像中存在占道物体后，立刻对其进行标注并保存图片。
2.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1所述方法的步骤。
3.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1所述方法的步骤。
4.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1所述的方法。
CN201811503554.8A 2018-12-10 2018-12-10 基于视频检测的室内占道检测方法、设备、介质及处理器 Active CN109583414B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811503554.8A CN109583414B (zh) 2018-12-10 2018-12-10 基于视频检测的室内占道检测方法、设备、介质及处理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811503554.8A CN109583414B (zh) 2018-12-10 2018-12-10 基于视频检测的室内占道检测方法、设备、介质及处理器

Publications (2)

Publication Number Publication Date
CN109583414A CN109583414A (zh) 2019-04-05
CN109583414B true CN109583414B (zh) 2020-12-22

Family

ID=65928592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811503554.8A Active CN109583414B (zh) 2018-12-10 2018-12-10 基于视频检测的室内占道检测方法、设备、介质及处理器

Country Status (1)

Country Link
CN (1) CN109583414B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111319B (zh) * 2019-05-05 2021-04-20 哈尔滨理工大学 一种基于视频图像的猪舍地面洁净度评价方法
CN110298837B (zh) * 2019-07-08 2023-03-24 上海天诚比集科技有限公司 基于帧间差分法的消防占道异常物体检测方法
CN114530043A (zh) * 2022-03-03 2022-05-24 上海闪马智能科技有限公司 一种事件检测方法、装置、存储介质及电子装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100065677A (ko) * 2008-12-08 2010-06-17 한국전자통신연구원 고해상도 영상에서의 효과적인 움직이는 다중 물체 검출 방법 및 시스템
CN102509075B (zh) * 2011-10-19 2013-07-24 北京国铁华晨通信信息技术有限公司 一种遗留物检测方法及装置
CN104156942B (zh) * 2014-07-02 2017-02-15 华南理工大学 一种用于复杂环境遗留物的检测方法
CN105404847B (zh) * 2014-09-16 2019-01-29 北京计算机技术及应用研究所 一种遗留物实时检测方法
CN108229256B (zh) * 2016-12-21 2021-03-02 杭州海康威视数字技术股份有限公司 一种道路施工检测方法及装置

Also Published As

Publication number Publication date
CN109583414A (zh) 2019-04-05

Similar Documents

Publication Publication Date Title
CN108446617B (zh) 抗侧脸干扰的人脸快速检测方法
US9619696B2 (en) Duplicate reduction for face detection
WO2022027931A1 (zh) 基于视频图像的运动车辆前景检测方法
Cavallaro et al. Shadow-aware object-based video processing
CN109101944B (zh) 一种识别向河道内抛投垃圾的实时视频监控方法
CN109583414B (zh) 基于视频检测的室内占道检测方法、设备、介质及处理器
CN104978567B (zh) 基于场景分类的车辆检测方法
CN106991370B (zh) 基于颜色和深度的行人检索方法
CN111401311A (zh) 一种基于图像检测的高空抛物识别方法
JP2007510993A (ja) 画像中のオブジェクト検出
CN110781853B (zh) 人群异常检测方法以及相关装置
Huerta et al. Chromatic shadow detection and tracking for moving foreground segmentation
CN107909599A (zh) 一种目标检测与跟踪系统
CN110096945B (zh) 基于机器学习的室内监控视频关键帧实时提取方法
Zhu et al. Automatic object detection and segmentation from underwater images via saliency-based region merging
CN112287823A (zh) 一种基于视频监控的面部口罩识别方法
CN106934819A (zh) 一种提高图像中运动物体检测精度的方法
CN111583357A (zh) 一种基于matlab系统的物体运动图像捕捉合成方法
Wu et al. Video surveillance object recognition based on shape and color features
Zhang et al. An optical flow based moving objects detection algorithm for the UAV
Hu et al. Video object segmentation in rainy situations based on difference scheme with object structure and color analysis
Jin et al. Fusing Canny operator with vibe algorithm for target detection
Zheng et al. An automatic moving object detection algorithm for video surveillance applications
CN107403192B (zh) 一种基于多分类器的快速目标检测方法及系统
Sridevi et al. Automatic generation of traffic signal based on traffic volume

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant