CN114663479A - 一种基于计算机视觉的智能监控预警方法及系统 - Google Patents

一种基于计算机视觉的智能监控预警方法及系统 Download PDF

Info

Publication number
CN114663479A
CN114663479A CN202210385147.1A CN202210385147A CN114663479A CN 114663479 A CN114663479 A CN 114663479A CN 202210385147 A CN202210385147 A CN 202210385147A CN 114663479 A CN114663479 A CN 114663479A
Authority
CN
China
Prior art keywords
target
pedestrian
judging whether
judging
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210385147.1A
Other languages
English (en)
Inventor
张俊
朱鸿泰
程虎
章琦
吕璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 58 Research Institute
Original Assignee
CETC 58 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 58 Research Institute filed Critical CETC 58 Research Institute
Priority to CN202210385147.1A priority Critical patent/CN114663479A/zh
Publication of CN114663479A publication Critical patent/CN114663479A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开一种基于计算机视觉的智能监控预警方法及系统，属于人工智能技术和智能安防领域，通过上位机在监控图像中人工选取禁入区域ROI_Debar；对监控图像进行行人检测与跟踪；通过检测出的行人位置与运动方向信息，判断是否发生入侵行为；根据检测出的行人位置信息判断是否发生越界行为；根据检测出的行人位置与数量信息判断是否发生聚集行为。本发明利用智能检测算法，对监控图像进行分析处理，将以往需要的人工工作代替为无人化智能检测，减少安保人员的工作负荷，提升监测频率；此外，智能检测算法可作为独立模块，在不改动园区监控已有的信息线前提下可大幅度的提高园区监控系统的状态信息收集能力。

Description

一种基于计算机视觉的智能监控预警方法及系统
技术领域
本发明涉及人工智能技术和智能安防技术领域，特别涉及一种基于计算机视觉的智能监控预警方法及系统。
背景技术
现在为管理大型园区内要紧部门(如保密区域)的人员禁入，通过需要人工值守或巡查的工作，增加了人力劳动，和安保人员的工作负荷。传统的监控系统只能通过安保人员在监控室时刻盯着监控来查看是否有人员闯入或越界，并且传统的行人检测算法误检较高，不能有效的对监控画面进行内容分析。
发明内容
本发明的目的在于提供一种基于计算机视觉的智能监控预警方法及系统，以解决目前需要人工值守巡查保密区域，增加了人力资源浪费、且无法实时监测的问题。
为解决上述技术问题，本发明提供了一种基于计算机视觉的智能监控预警方法，包括：
通过上位机在监控图像中人工选取禁入区域ROI_Debar；
对监控图像进行行人检测与跟踪；
通过检测出的行人位置与运动方向信息，判断是否发生入侵行为；
根据检测出的行人位置信息判断是否发生越界行为；
根据检测出的行人位置与数量信息判断是否发生聚集行为。
可选的，对监控图像进行行人检测与跟踪包括以下子步骤：
通过深度学习检测算法YOLO_V3_tiny检测当前帧图像中的行人目标，使用每个检测目标的中心点位置与宽高初始化跟踪器；
通过卡尔曼滤波预测每一个目标在下一帧的位置和宽高，同时使用检测算法YOLO_V3_tiny检测下一帧图像中的目标，计算每一个经过卡尔曼预测后目标与检测算法YOLO_V3_tiny检测目标的交并比，然后通过匈牙利算法进行目标之间的关联；
对关联上的目标通过检测算法YOLO_V3_tiny检测的结果对卡尔曼的预测值进行修正，将目标每一帧的位置信息记录到跟踪器中，至此一个多目标跟踪流程结束。
可选的，通过检测出的行人位置与运动方向信息，判断是否发生入侵行为包括：
新建两幅与原始图像一样尺寸、像素值全为零的灰度图像；
将其中一幅灰度图像中的禁入区域ROI_Debar的像素设置为255，作为模板图像；
根据检测出来的行人所在区域，将另一幅灰度图像中相同区域像素值设置为255，作为判定图像；
通过对两幅灰度图像进行与操作，判定检测目标是否与禁入区域ROI_Debar发生交集；
判断每一个目标与禁入区域ROI_Debar是否有交集，如果没有交集则不进行入侵判断，否则进行入侵判断；
当目标与禁入区域ROI_Debar有交集时，通过跟踪第一次出现的位置判断目标是在禁入区域ROI_Debar的内部还是外部，如果第一次出现在内部，那就判定为没有入侵，否则判定为入侵。
可选的，根据检测出的行人位置信息判断是否发生越界行为包括：
通过检测算法YOLO_V3_tiny检测每一帧的行人目标，计算每一个行人所在的矩形框与界限矩形框之间的交并比，如果交并比大于k，则判定为越界行为，k为行人是否越界的阈值。
可选的，根据检测出的行人位置与数量信息判断是否发生聚集行为S5包括：
通过检测算法YOLO_V3_tiny检测每一帧的行人目标，通过横、纵坐标判断目标的中心点是否在禁入区域ROI_Debar内部，如果在内部，则内部行人数量加一，计在禁入区域ROI_Debar内部的行人总数为P1，当P1>P2时判定为聚集，其中P2为行人是否聚集的阈值。
本发明还提供了一种基于计算机视觉的智能监控预警系统，包括：
图像采集及预处理模块，用于采集监控区域图像并进行预处理操作；
入侵判别模块，通过深度学习检测算法YOLO_V3_tiny进行行人检测，将检测结果作为多目标跟踪器的初始值，通过是否与禁入区域ROI_Debar有交集和行人目标的初始位置判断是否入侵，同时根据目标的运动轨迹也能分析目标的运动趋势；
越界判别模块，通过计算每一个目标所在的矩形框与界限矩形框之间的交并比，如果交并比大于k则判定为越界行为；
聚集判别模块，计算在禁入区域ROI_Debar内部目标的个数P1，当P1>P2时判定为聚集行为，其中P2为行人是否聚集的阈值；
报警及显示模块，将原始图像数据与算法判定的结果通过网络传输给上位机进行显示和报警。
可选的，所述入侵判别模块在跟踪过程中用卡尔曼滤波对跟踪目标的运动趋势进行预测，使用匈牙利算法进行目标之间的关联，根据关联上的目标的检测坐标修正卡尔曼的预测坐标值，同时记录目标的运动轨迹。
在本发明提供的基于计算机视觉的智能监控预警方法及系统中，通过上位机在监控图像中人工选取禁入区域ROI_Debar；对监控图像进行行人检测与跟踪；通过检测出的行人位置与运动方向信息，判断是否发生入侵行为；根据检测出的行人位置信息判断是否发生越界行为；根据检测出的行人位置与数量信息判断是否发生聚集行为。
本发明具有以下有益效果：
(1)相较于传统只是监控存储的方案，本发明对监控视频流数据实时检测处理，可以实时对监控区域的人员行为情况进行检测和警报，减少现场工人的工作量；
(2)相比于传统的将深度学习算法部署到PC端，本发明将算法部署到边缘计算设备，不用对原来的监控系统做太大改动，同时边缘计算有超低延时，能提高监控系统收集分析数据的处理能力。
附图说明
图1是本发明提供的基于计算机视觉的智能监控预警方法流程示意图；
图2是本发明提供的异常行为检测算法流程图；
图3是本发明提供的多目标跟踪算法流程图。
具体实施方式
以下结合附图和具体实施例对本发明提出的一种基于计算机视觉的智能监控预警方法及系统作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
本发明提供了一种基于计算机视觉的智能监控预警方法及系统，通过使用多目标跟踪算法并结合深度学习技术对监控区域的行人进行检测与异常行为报警。
一种基于计算机视觉的智能监控预警方法的流程如图1所示，包括：
步骤S11、通过上位机在监控图像中人工选取禁入区域ROI_Debar；
步骤S12、对监控图像进行行人检测与跟踪；
步骤S13、通过检测出的行人位置与运动方向信息，判断是否发生入侵行为；
步骤S14、根据检测出的行人位置信息判断是否发生越界行为；
步骤S15、根据检测出的行人位置与数量信息判断是否发生聚集行为。
一种基于计算机视觉的智能监控预警系统包括图像采集及预处理模块、入侵判别模块、越界判别模块、聚集判别模块和报警及显示模块。
所述图像采集及预处理模块采集监控区域图像并进行预处理操作；所述入侵判别模块通过深度学习检测算法YOLO_V3_tiny进行行人检测，将检测结果作为多目标跟踪器的初始值，在跟踪过程中用卡尔曼滤波对跟踪目标的运动趋势进行预测，使用匈牙利算法进行目标之间的关联，根据关联上的目标的检测坐标修正卡尔曼的预测坐标值，同时记录目标的运动轨迹；通过是否与禁入区域ROI_Debar有交集和行人目标的初始位置判断是否入侵，同时根据目标的运动轨迹也能分析目标的运动趋势；所述越界判别模块通过计算每一个目标所在的矩形框与界限矩形框之间的交并比，如果交并比大于k则判定为越界行为；所述聚集判别模块计算在禁入区域ROI_Debar内部目标的个数P1，当P1>P2时判定为聚集行为；所述报警及显示模块将原始图像数据与算法判定的结果通过网络传输给上位机进行显示和报警。
具体步骤参阅图2和图3所示：
步骤1：前端高清对采集的图像进行滤波去噪；
步骤2：通过上位机选取禁入区域ROI_Debar例如多边形[[236，128]，[324，94]，[414，128]，[414，195]，[324，231]，[236，195]]；
步骤3：对接下来每一帧图像使用检测算法YOLO_V3_tiny检测原始图像中的行人目标，直到检测到行人再进行多目标跟踪流程，否则只是显示原始的图像数据；
步骤4：检测到行人时，将每个行人目标的中心点坐标和宽高初始化多目标跟踪器进行视场范围内行人目标的跟踪；
步骤5：新建两幅与原始图像一样尺寸像素值全为零的灰度图像，将其中一幅灰度图像中的多边形区域[[236，128]，[324，94]，[414，128]，[414，195]，[324，231]，[236，195]]像素值赋值为255作为模板图像；
根据检测算法YOLO_V3_tiny输出的行人坐标将另一幅灰度图像中对应区域像素值赋值为255，对两幅图像做与操作，判断目标是否与禁入区域ROI_Debar有交集，如果有交集则查看有交集目标初始位置是否在多边形内部，如果在内部则不是入侵，在外部则判定为入侵；
步骤6：计算包围每个运动目标的外接矩形与界限矩形框(多边形的外接矩形)的交并比，如果交并比大于0.2则判定为越界；
步骤7：根据多边形的横纵坐标范围，判断行人目标是否在禁入多边形区域的内部，计在内部行人数量为P1，当P1>P2时则判定为聚集行为，其中P2为行人是否聚集的阈值，可以选值为5。
步骤8：将以上三种异常行为检测结果通过网络传输到上位机进行显示，当返回结果满足报警条件时及时发出警报。
本发明利用智能检测算法，对监控图像进行分析处理，将以往需要的人工工作代替为无人化智能检测，减少安保人员的工作负荷，提升监测频率；此外，智能检测算法可作为独立模块，在不改动园区监控已有的信息线前提下可大幅度的提高园区监控系统的状态信息收集能力。
上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (7)

1.一种基于计算机视觉的智能监控预警方法，其特征在于，包括：
通过上位机在监控图像中人工选取禁入区域ROI_Debar；
对监控图像进行行人检测与跟踪；
通过检测出的行人位置与运动方向信息，判断是否发生入侵行为；
根据检测出的行人位置信息判断是否发生越界行为；
根据检测出的行人位置与数量信息判断是否发生聚集行为。
2.如权利要求1所述的基于计算机视觉的智能监控预警方法，其特征在于，对监控图像进行行人检测与跟踪包括以下子步骤：
通过深度学习检测算法YOLO_V3_tiny检测当前帧图像中的行人目标，使用每个检测目标的中心点位置与宽高初始化跟踪器；
通过卡尔曼滤波预测每一个目标在下一帧的位置和宽高，同时使用检测算法YOLO_V3_tiny检测下一帧图像中的目标，计算每一个经过卡尔曼预测后目标与检测算法YOLO_V3_tiny检测目标的交并比，然后通过匈牙利算法进行目标之间的关联；
对关联上的目标通过检测算法YOLO_V3_tiny检测的结果对卡尔曼的预测值进行修正，将目标每一帧的位置信息记录到跟踪器中，至此一个多目标跟踪流程结束。
3.如权利要求2所述的基于计算机视觉的智能监控预警方法，其特征在于，通过检测出的行人位置与运动方向信息，判断是否发生入侵行为包括：
新建两幅与原始图像一样尺寸、像素值全为零的灰度图像；
将其中一幅灰度图像中的禁入区域ROI_Debar的像素设置为255，作为模板图像；
根据检测出来的行人所在区域，将另一幅灰度图像中相同区域像素值设置为255，作为判定图像；
通过对两幅灰度图像进行与操作，判定检测目标是否与禁入区域ROI_Debar发生交集；
判断每一个目标与禁入区域ROI_Debar是否有交集，如果没有交集则不进行入侵判断，否则进行入侵判断；
当目标与禁入区域ROI_Debar有交集时，通过跟踪第一次出现的位置判断目标是在禁入区域ROI_Debar的内部还是外部，如果第一次出现在内部，那就判定为没有入侵，否则判定为入侵。
4.如权利要求3所述的基于计算机视觉的智能监控预警方法，其特征在于，根据检测出的行人位置信息判断是否发生越界行为包括：
通过检测算法YOLO_V3_tiny检测每一帧的行人目标，计算每一个行人所在的矩形框与界限矩形框之间的交并比，如果交并比大于k，则判定为越界行为，k为行人是否越界的阈值。
5.如权利要求4所述的基于计算机视觉的智能监控预警方法，其特征在于，根据检测出的行人位置与数量信息判断是否发生聚集行为S5包括：
通过检测算法YOLO_V3_tiny检测每一帧的行人目标，通过横、纵坐标判断目标的中心点是否在禁入区域ROI_Debar内部，如果在内部，则内部行人数量加一，计在禁入区域ROI_Debar内部的行人总数为P1，当P1>P2时判定为聚集，其中P2为行人是否聚集的阈值。
6.一种基于计算机视觉的智能监控预警系统，其特征在于，包括：
图像采集及预处理模块，用于采集监控区域图像并进行预处理操作；
入侵判别模块，通过深度学习检测算法YOLO_V3_tiny进行行人检测，将检测结果作为多目标跟踪器的初始值，通过是否与禁入区域ROI_Debar有交集和行人目标的初始位置判断是否入侵，同时根据目标的运动轨迹也能分析目标的运动趋势；
越界判别模块，通过计算每一个目标所在的矩形框与界限矩形框之间的交并比，如果交并比大于k则判定为越界行为；
聚集判别模块，计算在禁入区域ROI_Debar内部目标的个数P1，当P1>P2时判定为聚集行为，其中P2为行人是否聚集的阈值；
报警及显示模块，将原始图像数据与算法判定的结果通过网络传输给上位机进行显示和报警。
7.如权利要求6所述的基于计算机视觉的智能监控预警系统，其特征在于，所述入侵判别模块在跟踪过程中用卡尔曼滤波对跟踪目标的运动趋势进行预测，使用匈牙利算法进行目标之间的关联，根据关联上的目标的检测坐标修正卡尔曼的预测坐标值，同时记录目标的运动轨迹。
CN202210385147.1A 2022-04-13 2022-04-13 一种基于计算机视觉的智能监控预警方法及系统 Pending CN114663479A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210385147.1A CN114663479A (zh) 2022-04-13 2022-04-13 一种基于计算机视觉的智能监控预警方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210385147.1A CN114663479A (zh) 2022-04-13 2022-04-13 一种基于计算机视觉的智能监控预警方法及系统

Publications (1)

Publication Number Publication Date
CN114663479A true CN114663479A (zh) 2022-06-24

Family

ID=82036195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210385147.1A Pending CN114663479A (zh) 2022-04-13 2022-04-13 一种基于计算机视觉的智能监控预警方法及系统

Country Status (1)

Country Link
CN (1) CN114663479A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758259A (zh) * 2023-04-26 2023-09-15 中国公路工程咨询集团有限公司 一种公路资产信息识别方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758259A (zh) * 2023-04-26 2023-09-15 中国公路工程咨询集团有限公司 一种公路资产信息识别方法及系统

Similar Documents

Publication Publication Date Title
CN107527009B (zh) 一种基于yolo目标检测的遗留物检测方法
CN110428522B (zh) 一种智慧新城的智能安防系统
Park et al. Continuous localization of construction workers via integration of detection and tracking
CN105744232B (zh) 一种基于行为分析技术的输电线路视频防外破的方法
US5757287A (en) Object recognition system and abnormality detection system using image processing
CN101777114B (zh) 视频监控智能分析系统和方法及头肩检测跟踪系统和方法
US20060170769A1 (en) Human and object recognition in digital video
KR101735365B1 (ko) 학습 기반의 영상 내 관심 물체 검지 및 환경 변화에 강인한 물체 추적 방법
CN104966304B (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN105184258A (zh) 目标跟踪方法及系统、人员行为分析方法及系统
CN103246896B (zh) 一种鲁棒性车辆实时检测与跟踪方法
CN113671480A (zh) 雷达与视频融合交通目标跟踪方法、系统、设备、终端
CN101799968B (zh) 基于视频图像智能分析的油井入侵检测方法及装置
CN111310645A (zh) 货物堆积量的溢仓预警方法、装置、设备及存储介质
KR20190046351A (ko) 침입 탐지방법 및 그 장치
CN110852179B (zh) 基于视频监控平台的可疑人员入侵的检测方法
CN116385948B (zh) 一种预警铁路边坡异常的系统和方法
CN104866842A (zh) 一种人体目标入侵检测方法
CN111696135A (zh) 基于交并比的违禁停车检测方法
CN113435278A (zh) 一种基于yolo的行吊安全检测方法及系统
CN114663479A (zh) 一种基于计算机视觉的智能监控预警方法及系统
JP7125843B2 (ja) 障害検知システム
CN105095891A (zh) 一种人脸捕捉的方法，装置及系统
CN101877135B (zh) 一种基于背景重构的运动目标检测方法
Płaczek A real time vehicle detection algorithm for vision-based sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination