CN112434627A - 行人翻越道路护栏的检测方法、装置以及存储介质 - Google Patents

行人翻越道路护栏的检测方法、装置以及存储介质 Download PDF

Info

Publication number
CN112434627A
CN112434627A CN202011379934.2A CN202011379934A CN112434627A CN 112434627 A CN112434627 A CN 112434627A CN 202011379934 A CN202011379934 A CN 202011379934A CN 112434627 A CN112434627 A CN 112434627A
Authority
CN
China
Prior art keywords
target
pedestrian
detection
frame
road guardrail
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011379934.2A
Other languages
English (en)
Other versions
CN112434627B (zh
Inventor
王耀农
王陈业
王亚运
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202011379934.2A priority Critical patent/CN112434627B/zh
Publication of CN112434627A publication Critical patent/CN112434627A/zh
Application granted granted Critical
Publication of CN112434627B publication Critical patent/CN112434627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种行人翻越道路护栏的检测方法、装置以及计算机可读存储介质，该检测方法包括：获取所监控的场景信息，并基于场景信息获取包括道路护栏的检测区域；基于监控视频对检测区域中的行人进行目标检测，获取行人的目标框；基于行人的目标框与检测区域的位置关系构建目标序列，其中，目标序列包括连续多帧的目标监控图像；利用目标序列对行人的行为进行分析；在目标序列中出现翻越道路护栏的目标监控图像帧数累计大于等于第一预设帧数阈值时，输出行人存在翻越道路护栏的检测结果。上述方案，通过对连续多帧图像进行行为分析，能够提高识别的准确率。

Description

行人翻越道路护栏的检测方法、装置以及存储介质
技术领域
本申请涉及视频监控技术领域，特别是涉及一种行人翻越道路护栏的检测方法、装置以及计算机可读存储介质。
背景技术
随着我国经济的快速发展以及人民生活水平的不断提高，道路上私家车的数量呈现出井喷式的增长。汽车数量快速增长的背后，道路交通安全问题也变得日益突出，每年的因交通事故伤亡的人数触目惊心。而造成交通事故多发的原因之一就是行人不走人行横道，随意翻越道路中间护栏。这种无视道路法规道德行为严重影响了交通系统的高效运行以及人民的生命安全，造成严重的经济财产损失。因此，如何在监控场景中准确的识别出翻越道路护栏的违规行为就变得尤为重要。
现有的人员翻越护栏检测方法中，主要分为两类，第一类是对比人员与护栏的位置关系来进行护栏翻越检测。具体来说，首先划定护栏所在的区域，然后对靠近护栏的行人进行检测以及关键点检测，当发现有人员身体的关键点与护栏位置存在交叉，则判定该人员正在翻越护栏。这种判别方法在行人靠近护栏时很容易发生误报。第二类通过运动轨迹来判断行人是否翻越护栏。即，对行人进行检测和跟踪，当发现行人的运动轨迹与护栏存在交叉，则判定该行人翻越了护栏。然而，这种方法只有在行人完成护栏翻越后才能判断行人完成了护栏翻越，无法在行人翻越护栏过程中进行识别，并及时制止翻越护栏的行为。
发明内容
本申请至少提供一种行人翻越道路护栏的检测方法、装置以及计算机可读存储介质。
本申请第一方面提供了一种行人翻越道路护栏的检测方法，所述检测方法包括：
获取所监控的场景信息，并基于所述场景信息获取包括所述道路护栏的检测区域；
基于监控视频对所述检测区域中的行人进行目标检测，获取所述行人的目标框；
基于所述行人的目标框与所述检测区域的位置关系构建目标序列，其中，所述目标序列包括连续多帧的目标监控图像；
利用所述目标序列对所述行人的行为进行分析；
在所述目标序列中出现翻越所述道路护栏的目标监控图像帧数累计大于等于第一预设帧数阈值时，输出所述行人存在翻越所述道路护栏的检测结果。
其中，所述利用所述目标序列对所述行人的行为进行分析的步骤，包括：
将所述目标序列输入预设的CNN-GRU神经网络进行分析；
获取所述神经网络输出的每一帧目标监控图像的分析结果，分析结果包括翻越所述道路护栏和未翻越所述道路护栏；
其中，所述CNN-GRU神经网络包括CNN特征提取网络，GRU时序建模网络以及FC行为识别网络。
其中，所述将所述目标序列输入预设的CNN-GRU神经网络进行分析的步骤，包括：
将所述目标序列中的第一帧目标检测图像输入CNN特征提取网络进行特征提取，得到所述第一帧目标检测图像的特征信息；
将所述第一帧目标检测图像的特征信息输入GRU时序建模网络，输出并保存此处处理的GRU单元状态；
将所述目标序列中的第二帧目标检测图像输入CNN特征提取网络进行特征提取，得到所述第二帧目标检测图像的特征信息；
将所述第二帧目标检测图像的特征信息输入GRU时序建模网络，与所述第一帧目标检测图像的GRU单元状态建立时序关联，输出并保存此处处理的GRU单元状态；
在GRU时序建模网络中存储的目标检测图像帧数达到第二预设帧数阈值时，将所述存储的目标检测图像的GRU单元状态输入FC行为识别网络，进行分析。
其中，所述基于所述场景信息获取包括所述道路护栏的检测区域的步骤，包括：
通过语义分割算法对所述场景中的道路护栏进行识别，得到所述道路护栏的识别框；
将所述道路护栏的识别框扩大为原来的N倍，生成所述检测区域。
其中，所述基于所述行人的目标框与所述检测区域的位置关系构建目标序列的步骤，包括：
计算所述行人的目标框的中心点；
判断所述中心点是否在所述检测区域内；
若是，则对所述行人进行跟踪，采集连续多帧的目标监控图像组成所述目标序列，并给所述行人分配目标序号。
其中，所述采集连续多帧的目标监控图像组成所述目标序列，并给所述行人分配目标序号的步骤，包括：
当所述行人离开所述检测区域时，停止所述目标序列中目标监控图像的采集；
在所述行人重新进入所述检测区域时，给所述行人重新分配另一目标序号。
其中，所述利用所述目标序列对所述行人的行为进行分析的步骤，包括：
提取所述目标序列的目标监控图像中具有相同目标序号的目标框，并缩放到相同的图像尺寸；
将所述具有相同目标序号的目标框扩大为原来的M倍，生成所述目标监控图像的裁剪区域；
由所述裁剪区域的目标监控图像为所述行人构建图像序列；
利用所述图像序列对所述行人的行为进行分析。
本申请第二方面提供了一种行人翻越道路护栏的检测装置，所述检测装置包括：
获取模块，用于获取所监控的场景信息，并基于所述场景信息获取包括所述道路护栏的检测区域；
检测模块，用于基于监控视频对所述检测区域中的行人进行目标检测，获取所述行人的目标框；
构建模块，用于基于所述行人的目标框与所述检测区域的位置关系构建目标序列，其中，所述目标序列包括连续多帧的目标监控图像；
分析模块，利用所述目标序列对所述行人的行为进行分析；
所述检测模块，还用于在所述目标序列中出现翻越所述道路护栏的目标监控图像帧数累计大于等于第一预设帧数阈值时，输出所述行人存在翻越所述道路护栏的检测结果。
本申请第三方面提供了一种行人翻越道路护栏的检测装置，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的行人翻越道路护栏的检测方法。
本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的行人翻越道路护栏的检测方法。
上述方案，检测装置获取所监控的场景信息，并基于场景信息获取包括道路护栏的检测区域；基于监控视频对检测区域中的行人进行目标检测，获取行人的目标框；基于行人的目标框与检测区域的位置关系构建目标序列，其中，目标序列包括连续多帧的目标监控图像；利用目标序列对行人的行为进行分析；在目标序列中出现翻越道路护栏的目标监控图像帧数累计大于等于第一预设帧数阈值时，输出行人存在翻越道路护栏的检测结果。通过对连续多帧图像进行行为分析，能够提高识别的准确率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1是本申请提供的行人翻越道路护栏的检测方法一实施例的流程示意图；
图2是本申请提供的检测区域生成方式的示意图；
图3是图1所示实施例中步骤S14的具体流程示意图；
图4是本申请提供的CNN-GRU神经网络的结构示意图；
图5是本申请提供的行人翻越道路护栏的检测装置一实施例的框架示意图；
图6是本申请提供的行人翻越道路护栏的检测装置另一实施例的框架示意图；
图7是本申请提供的计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
请参阅图1，图1是本申请提供的行人翻越道路护栏的检测方法一实施例的流程示意图。本申请的行人翻越道路护栏的检测方法的执行主体可以是一种检测装置，例如，行人翻越道路护栏的检测方法可以由终端设备或服务器或其它处理设备执行，其中，检测装置可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无线电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该行人翻越道路护栏的检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
具体而言，本公开实施例的行人翻越道路护栏的检测方法可以包括以下步骤：
步骤S11：获取所监控的场景信息，并基于场景信息获取包括道路护栏的检测区域。
其中，由于在交通场所的视频监控过程中，视频监控装置一般处于固定位置，按照固定的视角监控交通场所中的关键位置，实现交通管控。检测装置可以获取视频监控装置采集到的一帧监控图像，然后根据该帧监控图像获取所监控的场景信息。检测装置根据场景信息对所监控的场景进行分析与理解，获取场景中的检测区域。
具体地，对于场景中的检测区域，工作人员可以手动进行选择，也可以使用算法自适应检测分析确定出该区域。例如，请参阅图2，图2是本申请提供的检测区域生成方式的示意图。在自动识别检测区域时，检测装置可以通过语义分割算法对场景中的道路护栏进行识别以及像素级定位。然后，检测装置根据分割结果生成一个能够将道路护栏区域完全框住的最小外接旋转矩阵，即道路护栏的识别框，该识别框代表道路护栏的位置。检测装置进一步将道路护栏的识别框的宽度扩大为原来的N倍，以此作为检测区域，其中，N为大于等于2的自然数。
所有进入该检测区域的行人都需要对其行为进行检测分析，判断是否存在翻越道路护栏的行为。由于道路护栏位置一般都是固定的，所以检测区域的确定可以仅在监控一开始进行即可，后续可以一直沿用这一检测区域。
步骤S12：基于监控视频对检测区域中的行人进行目标检测，获取行人的目标框。
其中，在确定检测区域后，检测装置需要对进入该检测区域的行人进行目标检测。此处检测装置可以只关注行人是否存在翻越道路护栏的行为，所以在使用目标检测模型进行检测后，需要过滤掉机动车和非机动车等非行人目标，并对行人目标进行跟踪。
具体地，检测装置对检测区域内的行人目标进行实时检测，对于非行人目标直接忽略。为了获得更精准的目标检测结果，检测装置可以选用基于深度学习的目标检测算法，如faster rcnn，yolov3等，获取行人的目标框。
步骤S13：基于行人的目标框与检测区域的位置关系构建目标序列，其中，目标序列包括连续多帧的目标监控图像。
其中，检测装置获取行人的目标框后，进一步通过计算得到目标框中心点的坐标。然后，检测装置将目标框中心点的坐标与检测区域的坐标进行比较，判断目标框中心点是否在检测区域内。若否，则不做任何操作。若是，则对该行人目标进行跟踪和行为分析。
具体地，对于检测区域内的行人目标，检测装置使用目标跟踪算法对连续帧目标检测图像中的同一行人进行关联，给每个行人目标分配唯一的目标序号，直至行人目标离开检测区域时，检测装置停止对该行人目标的跟踪。进一步地，在该行人目标走出检测区域，再重新进入检测区域时需要重新分配新的目标序号。
在对行人目标进行跟踪期间，视频监控装置采集连续多帧的目标监控图像，检测装置将连续多帧的目标监控图像组成目标序列，并将行人目标的目标序号作为该目标序列的目标序号。
步骤S14：利用目标序列对行人的行为进行分析。
其中，针对检测区域内的每一个行人目标，检测装置都需要构建目标序列，用来进一步分析对应的行人目标是否具有翻越道路护栏的行为。
具体地，经过上述步骤的检测与跟踪后，每一个进入检测区域的行人目标都拥有唯一的目标序号和在每一帧目标监控图像的目标框。检测装置依次提取每一帧目标监控图像中拥有相同目标序号的目标框，并将这部分目标框缩放到相同的尺寸，为待识别的行人目标构建图像序列。
进一步地，为了保证裁剪图像中行人目标的完整性，以及提供足够的背景信息辅助识别，检测装置可以将目标框的长度和宽度扩大为原来的M倍，以此作为图像的裁剪区域。其中，N为大于等于2的自然数。检测装置根据裁剪区域的目标监控图像构建行人目标的图像序列，图像序列构建的长度L不能太短，为了保证检测的准确性，一般可以设置为20帧左右。
其中，检测装置可以利用上述图像序列对行人目标的行为进行分析，具体的分析过程请参阅图3和图4，图3是图1所示实施例中步骤S14的具体流程示意图，图4是本申请提供的CNN-GRU神经网络的结构示意图。
具体而言，上述实施例中的步骤S14可以包括以下步骤：
步骤S141：将目标序列输入预设的CNN-GRU神经网络进行分析。
其中，行人翻越道路护栏是一种时间上连续的行为，为了同时获取时间和空间上的特征，并输出准确的分类结果，本公开实施例采用CNN-GRU网络结构对行人的行为进行分析。具体地，CNN-GRU网络结构如图4所示。
图4中的CNN-GRU神经网络具体包括CNN特征提取网络，GRU时序建模网络以及FC行为识别网络。
首先，检测装置将图像序列输入CNN特征提取网络。CNN特征提取网络为全卷积神经网络，主要用于对图像序列中的每一帧目标监控图像分别进行特征提取，其中，每一帧目标监控图像共享同一个CNN网络。为了使得CNN网络提取到更加鲁棒的特征，本公开实施例提出了一种具有残差结构的卷积神经网络，该卷积神经网络由两层预处理卷积层，五个残差块以及两层后处理卷积层组成，最终输出每一帧目标监控图像中行人的空间特征。
然后，在CNN网络进行特征提取后，检测装置将每一帧目标监控图像的空间特征形变为向量，变为GRU时序建模网络可接收的数据形式。其中，GRU为LSTM的改进版，相比于LSTM，GRU有着更加简单的结构和更少的参数，训练过程中能够更快速地收敛，而且能和LSTM一样解决长时依赖关系。不同于LSTM的三个门，GRU仅需要一个重置门和一个更新门即可，而且将隐藏层状态和细胞状态进行了合并。在构建的GRU时序建模网络中，每一个GRU单元都会接收一帧CNN网络输出的空间特征作为输入，同时上一个GRU单元的输出，经过内部处理后输出一组细胞状态，以此构建行人特征在时序上的关联。
最后，GRU时序建模网络中每一个GRU单元都会输出一组细胞状态，检测装置将这些细胞状态进行拼接后输入到具有两层全连接的FC行为识别网络中进行最终状态的确定。其中，FC行为识别网络的输出层有两个神经元，分别代表“翻越道路护栏”和“未翻越道路护栏”。如果代表“翻越道路护栏”的神经元激活并且分数高于设定的阈值t，则输出结果为正在翻越道路护栏，否则输出未翻越道路护栏。
进一步地，为了提高算法的运行效率，避免冗余计算。本公开实施例提出一种算法加速的运行方式。具体地，检测装置将整个网络在时间维度上进行分布执行，每次获取到一帧目标监控图像，则使用CNN网络进行特征提取，随后输入到GRU单元与上一帧目标监控图像建立时序关联，并输出该次处理的GRU单元状态，保存用来作为下一帧目标监控图像对应GRU单元的输入，以及FC行为识别网络的输入。在累计帧数达到预设的阈值后便可以执行FC行为识别网络对某一时段的行为进行分类。这样每帧目标监控图像仅需要执行一次CNN网络+GRU单元+FC层即可，将统一处理的时间分散到了每一帧上，从而达到实时检测的效果。
具体地，算法加速应用到CNN-GRU神经网络的具体流程如下：将目标序列中的第一帧目标检测图像输入CNN特征提取网络进行特征提取，得到第一帧目标检测图像的特征信息；将第一帧目标检测图像的特征信息输入GRU时序建模网络，输出并保存此处处理的GRU单元状态；将目标序列中的第二帧目标检测图像输入CNN特征提取网络进行特征提取，得到第二帧目标检测图像的特征信息；将第二帧目标检测图像的特征信息输入GRU时序建模网络，与第一帧目标检测图像对应的GRU单元状态建立时序关联，输出并保存此处处理的GRU单元状态；在GRU时序建模网络中存储的目标检测图像帧数达到第二预设帧数阈值时，将存储的目标检测图像的GRU单元状态输入FC行为识别网络，进行分析。
步骤S142：获取神经网络输出的每一帧目标监控图像的分析结果，分析结果包括翻越道路护栏和未翻越道路护栏。
步骤S15：在目标序列中出现翻越道路护栏的目标监控图像帧数累计大于等于第一预设帧数阈值时，输出行人存在翻越道路护栏的检测结果。
其中，当行人进入检测区域开始，检测装置采用逐帧或者抽帧的方式对每一个选取的帧进行特征提取和时序建模，当目标帧数累计大于等与设定的阈值L时，便可以调用FC行为识别网络开始对行人的行为状态进行识别。具体地，检测装置可以采用时间滑窗的方式对每一帧目标监控图像进行状态识别。当发现判断为正在翻越道路护栏的帧数超过预设的帧数阈值t时，检测装置可以确认正在有人翻越道路护栏。此时，检测装置可以启动报警机制，并对正在翻越道路护栏的人员进行抓拍。
在本公开实施例中，检测装置获取所监控的场景信息，并基于场景信息获取包括道路护栏的检测区域；基于监控视频对检测区域中的行人进行目标检测，获取行人的目标框；基于行人的目标框与检测区域的位置关系构建目标序列，其中，目标序列包括连续多帧的目标监控图像；利用目标序列对行人的行为进行分析；在目标序列中出现翻越道路护栏的目标监控图像帧数累计大于等于第一预设帧数阈值时，输出行人存在翻越道路护栏的检测结果。上述方案，采用深度学习的方式对连续多帧图像序列进行特征提取和时序建模，相比于传统轨迹分析的方法，能够提高识别准确率。该方法每一次识别都融合了连续多帧图像序列的信息，提高了识别稳定性，抑制了误报，同时基于深度学习的识别方法能够应对各种复杂的环境和天气情况。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
请参阅图5，图5是本申请提供的行人翻越道路护栏的检测装置一实施例的框架示意图。行人翻越道路护栏的检测装置50包括：
获取模块51，用于获取所监控的场景信息，并基于场景信息获取包括道路护栏的检测区域。
检测模块52，用于基于监控视频对检测区域中的行人进行目标检测，获取行人的目标框。
构建模块53，用于基于行人的目标框与检测区域的位置关系构建目标序列，其中，目标序列包括连续多帧的目标监控图像。
分析模块54，利用目标序列对行人的行为进行分析。
检测模块52，还用于在目标序列中出现翻越道路护栏的目标监控图像帧数累计大于等于第一预设帧数阈值时，输出行人存在翻越道路护栏的检测结果。
请参阅图6，图6是本申请提供的行人翻越道路护栏的检测装置另一实施例的框架示意图。行人翻越道路护栏的检测装置60包括相互耦接的存储器61和处理器62，处理器62用于执行存储器61中存储的程序指令，以实现上述任一行人翻越道路护栏的检测方法实施例中的步骤。在一个具体的实施场景中，行人翻越道路护栏的检测装置60可以包括但不限于：微型计算机、服务器，此外，行人翻越道路护栏的检测装置60还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器62用于控制其自身以及存储器61以实现上述任一行人翻越道路护栏的检测方法实施例中的步骤。处理器62还可以称为CPU(Central Processing Unit，中央处理单元)。处理器62可能是一种集成电路芯片，具有信号的处理能力。处理器62还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器62可以由集成电路芯片共同实现。
请参阅图7，图7是本申请提供的计算机可读存储介质一实施例的框架示意图。计算机可读存储介质70存储有能够被处理器运行的程序指令701，程序指令701用于实现上述任一行人翻越道路护栏的检测方法实施例中的步骤。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种行人翻越道路护栏的检测方法，其特征在于，所述检测方法包括：
获取所监控的场景信息，并基于所述场景信息获取包括所述道路护栏的检测区域；
基于监控视频对所述检测区域中的行人进行目标检测，获取所述行人的目标框；
基于所述行人的目标框与所述检测区域的位置关系构建目标序列，其中，所述目标序列包括连续多帧的目标监控图像；
利用所述目标序列对所述行人的行为进行分析；
在所述目标序列中出现翻越所述道路护栏的目标监控图像帧数累计大于等于第一预设帧数阈值时，输出所述行人存在翻越所述道路护栏的检测结果。
2.根据权利要求1所述的检测方法，其特征在于，
所述利用所述目标序列对所述行人的行为进行分析的步骤，包括：
将所述目标序列输入预设的CNN-GRU神经网络进行分析；
获取所述神经网络输出的每一帧目标监控图像的分析结果，分析结果包括翻越所述道路护栏和未翻越所述道路护栏；
其中，所述CNN-GRU神经网络包括CNN特征提取网络，GRU时序建模网络以及FC行为识别网络。
3.根据权利要求2所述的检测方法，其特征在于，
所述将所述目标序列输入预设的CNN-GRU神经网络进行分析的步骤，包括：
将所述目标序列中的第一帧目标检测图像输入CNN特征提取网络进行特征提取，得到所述第一帧目标检测图像的特征信息；
将所述第一帧目标检测图像的特征信息输入GRU时序建模网络，输出并保存此处处理的GRU单元状态；
将所述目标序列中的第二帧目标检测图像输入CNN特征提取网络进行特征提取，得到所述第二帧目标检测图像的特征信息；
将所述第二帧目标检测图像的特征信息输入GRU时序建模网络，与所述第一帧目标检测图像的GRU单元状态建立时序关联，输出并保存此处处理的GRU单元状态；
在GRU时序建模网络中存储的目标检测图像帧数达到第二预设帧数阈值时，将所述存储的目标检测图像的GRU单元状态输入FC行为识别网络，进行分析。
4.根据权利要求1所述的检测方法，其特征在于，
所述基于所述场景信息获取包括所述道路护栏的检测区域的步骤，包括：
通过语义分割算法对所述场景中的道路护栏进行识别，得到所述道路护栏的识别框；
将所述道路护栏的识别框扩大为原来的N倍，生成所述检测区域。
5.根据权利要求1所述的检测方法，其特征在于，
所述基于所述行人的目标框与所述检测区域的位置关系构建目标序列的步骤，包括：
计算所述行人的目标框的中心点；
判断所述中心点是否在所述检测区域内；
若是，则对所述行人进行跟踪，采集连续多帧的目标监控图像组成所述目标序列，并给所述行人分配目标序号。
6.根据权利要求5所述的检测方法，其特征在于，
所述采集连续多帧的目标监控图像组成所述目标序列，并给所述行人分配目标序号的步骤，包括：
当所述行人离开所述检测区域时，停止所述目标序列中目标监控图像的采集；
在所述行人重新进入所述检测区域时，给所述行人重新分配另一目标序号。
7.根据权利要求5所述的检测方法，其特征在于，
所述利用所述目标序列对所述行人的行为进行分析的步骤，包括：
提取所述目标序列的目标监控图像中具有相同目标序号的目标框，并缩放到相同的图像尺寸；
将所述具有相同目标序号的目标框扩大为原来的M倍，生成所述目标监控图像的裁剪区域；
由所述裁剪区域的目标监控图像为所述行人构建图像序列；
利用所述图像序列对所述行人的行为进行分析。
8.一种行人翻越道路护栏的检测装置，其特征在于，所述检测装置包括：
获取模块，用于获取所监控的场景信息，并基于所述场景信息获取包括所述道路护栏的检测区域；
检测模块，用于基于监控视频对所述检测区域中的行人进行目标检测，获取所述行人的目标框；
构建模块，用于基于所述行人的目标框与所述检测区域的位置关系构建目标序列，其中，所述目标序列包括连续多帧的目标监控图像；
分析模块，利用所述目标序列对所述行人的行为进行分析；
所述检测模块，还用于在所述目标序列中出现翻越所述道路护栏的目标监控图像帧数累计大于等于第一预设帧数阈值时，输出所述行人存在翻越所述道路护栏的检测结果。
9.一种行人翻越道路护栏的检测装置，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至7任一项所述行人翻越道路护栏的检测方法。
10.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至7任一项所述行人翻越道路护栏的检测方法。
CN202011379934.2A 2020-11-30 2020-11-30 行人翻越道路护栏的检测方法、装置以及存储介质 Active CN112434627B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011379934.2A CN112434627B (zh) 2020-11-30 2020-11-30 行人翻越道路护栏的检测方法、装置以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011379934.2A CN112434627B (zh) 2020-11-30 2020-11-30 行人翻越道路护栏的检测方法、装置以及存储介质

Publications (2)

Publication Number Publication Date
CN112434627A true CN112434627A (zh) 2021-03-02
CN112434627B CN112434627B (zh) 2023-04-07

Family

ID=74698782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011379934.2A Active CN112434627B (zh) 2020-11-30 2020-11-30 行人翻越道路护栏的检测方法、装置以及存储介质

Country Status (1)

Country Link
CN (1) CN112434627B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052048A (zh) * 2021-03-18 2021-06-29 北京百度网讯科技有限公司 交通事件检测方法、装置、路侧设备以及云控平台
CN113095183A (zh) * 2021-03-31 2021-07-09 西北工业大学 一种基于深度神经网络的微表情检测方法
CN113177439A (zh) * 2021-04-08 2021-07-27 中通服咨询设计研究院有限公司 一种行人翻越马路护栏检测方法
CN113392820A (zh) * 2021-08-17 2021-09-14 南昌虚拟现实研究院股份有限公司 动态手势识别方法、装置、电子设备及可读存储介质
CN114187666A (zh) * 2021-12-23 2022-03-15 中海油信息科技有限公司 边走路边看手机的识别方法及其系统
CN115019261A (zh) * 2022-08-10 2022-09-06 山东美特钢材有限公司 一种基于神经网络的行人翻越交通护栏的检测识别方法
CN115822368A (zh) * 2022-10-08 2023-03-21 山东天厚石油科技有限责任公司 一种用于采油井场的智能锌钢护栏
CN116091983A (zh) * 2023-04-10 2023-05-09 四川弘和通讯集团有限公司 一种行为检测方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110135153A1 (en) * 2009-12-04 2011-06-09 Shingo Tsurumi Image processing device, image processing method and program
CN104866827A (zh) * 2015-05-19 2015-08-26 天津大学 基于视频监控平台的人员翻越行为的检测方法
CN110688896A (zh) * 2019-08-23 2020-01-14 北京正安维视科技股份有限公司 一种行人徘徊检测方法
CN111325937A (zh) * 2020-03-07 2020-06-23 北京迈格威科技有限公司 翻越行为检测方法、装置和电子系统
CN111461075A (zh) * 2020-05-09 2020-07-28 于珂 结合深度神经网络与区块链的护栏翻越检测方法
CN111582239A (zh) * 2020-05-28 2020-08-25 中国联合网络通信集团有限公司 一种违章监控方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110135153A1 (en) * 2009-12-04 2011-06-09 Shingo Tsurumi Image processing device, image processing method and program
CN104866827A (zh) * 2015-05-19 2015-08-26 天津大学 基于视频监控平台的人员翻越行为的检测方法
CN110688896A (zh) * 2019-08-23 2020-01-14 北京正安维视科技股份有限公司 一种行人徘徊检测方法
CN111325937A (zh) * 2020-03-07 2020-06-23 北京迈格威科技有限公司 翻越行为检测方法、装置和电子系统
CN111461075A (zh) * 2020-05-09 2020-07-28 于珂 结合深度神经网络与区块链的护栏翻越检测方法
CN111582239A (zh) * 2020-05-28 2020-08-25 中国联合网络通信集团有限公司 一种违章监控方法和装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052048A (zh) * 2021-03-18 2021-06-29 北京百度网讯科技有限公司 交通事件检测方法、装置、路侧设备以及云控平台
CN113052048B (zh) * 2021-03-18 2024-05-10 阿波罗智联(北京)科技有限公司 交通事件检测方法、装置、路侧设备以及云控平台
CN113095183A (zh) * 2021-03-31 2021-07-09 西北工业大学 一种基于深度神经网络的微表情检测方法
CN113177439A (zh) * 2021-04-08 2021-07-27 中通服咨询设计研究院有限公司 一种行人翻越马路护栏检测方法
CN113177439B (zh) * 2021-04-08 2024-01-26 中通服咨询设计研究院有限公司 一种行人翻越马路护栏检测方法
CN113392820A (zh) * 2021-08-17 2021-09-14 南昌虚拟现实研究院股份有限公司 动态手势识别方法、装置、电子设备及可读存储介质
CN113392820B (zh) * 2021-08-17 2021-11-30 南昌虚拟现实研究院股份有限公司 动态手势识别方法、装置、电子设备及可读存储介质
CN114187666A (zh) * 2021-12-23 2022-03-15 中海油信息科技有限公司 边走路边看手机的识别方法及其系统
CN114187666B (zh) * 2021-12-23 2022-09-02 中海油信息科技有限公司 边走路边看手机的识别方法及其系统
CN115019261A (zh) * 2022-08-10 2022-09-06 山东美特钢材有限公司 一种基于神经网络的行人翻越交通护栏的检测识别方法
CN115822368A (zh) * 2022-10-08 2023-03-21 山东天厚石油科技有限责任公司 一种用于采油井场的智能锌钢护栏
CN116091983A (zh) * 2023-04-10 2023-05-09 四川弘和通讯集团有限公司 一种行为检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112434627B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN112434627B (zh) 行人翻越道路护栏的检测方法、装置以及存储介质
CN108062349B (zh) 基于视频结构化数据及深度学习的视频监控方法和系统
CN110807385B (zh) 目标检测方法、装置、电子设备及存储介质
CN108053427B (zh) 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN108009473B (zh) 基于目标行为属性视频结构化处理方法、系统及存储装置
CN110738857B (zh) 一种车辆违章取证方法、装置及设备
Jain et al. Performance analysis of object detection and tracking algorithms for traffic surveillance applications using neural networks
Chang et al. Video analytics in smart transportation for the AIC'18 challenge
CN112163525B (zh) 一种事件类型预测方法、装置、电子设备及存储介质
KR20220078893A (ko) 영상 속 사람의 행동 인식 장치 및 방법
CN112507860A (zh) 一种视频标注方法、装置、设备及存储介质
CN111008574A (zh) 一种基于形体识别技术的重点人员轨迹分析方法
CN110647818A (zh) 一种遮挡目标物体的识别方法及装置
US20230377462A1 (en) Methods for characterizing a low-impact vehicle collision using high-rate acceleration data
CN112733598A (zh) 车辆违法判别方法、装置、计算机设备和存储介质
CN114373189A (zh) 一种行为检测方法、装置、终端设备及存储介质
CN111860383A (zh) 一种群体异常行为识别方法、装置、设备及存储介质
CN112800841A (zh) 一种行人计数方法、装置、系统及计算机可读存储介质
US20230196772A1 (en) Query-oriented event recognition system and method
CN115713726A (zh) 行人翻越交通护栏的检测方法、装置、设备和介质
CN113449624B (zh) 一种基于行人重识别确定车辆行为的方法及装置
CN112633163B (zh) 一种基于机器学习算法实现非法运营车辆检测的检测方法
CN117274849A (zh) 一种行人徘徊事件检测方法、装置、设备及介质
CN114022851A (zh) 目标识别方法、装置、电子设备、计算机可读存储介质
CN114550049A (zh) 行为识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant