CN111274886B - 一种基于深度学习的行人闯红灯违法行为分析方法及系统 - Google Patents

一种基于深度学习的行人闯红灯违法行为分析方法及系统 Download PDF

Info

Publication number
CN111274886B
CN111274886B CN202010032948.0A CN202010032948A CN111274886B CN 111274886 B CN111274886 B CN 111274886B CN 202010032948 A CN202010032948 A CN 202010032948A CN 111274886 B CN111274886 B CN 111274886B
Authority
CN
China
Prior art keywords
face
face detection
red light
pedestrian
detection result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010032948.0A
Other languages
English (en)
Other versions
CN111274886A (zh
Inventor
耗弗非
谢刚
张云飞
李振伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technology And Facilities Support Detachment Of Traffic Police Corps Of Tianjin Public Security Bureau
Tiandy Technologies Co Ltd
Original Assignee
Technology And Facilities Support Detachment Of Traffic Police Corps Of Tianjin Public Security Bureau
Tiandy Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Technology And Facilities Support Detachment Of Traffic Police Corps Of Tianjin Public Security Bureau, Tiandy Technologies Co Ltd filed Critical Technology And Facilities Support Detachment Of Traffic Police Corps Of Tianjin Public Security Bureau
Priority to CN202010032948.0A priority Critical patent/CN111274886B/zh
Publication of CN111274886A publication Critical patent/CN111274886A/zh
Application granted granted Critical
Publication of CN111274886B publication Critical patent/CN111274886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于深度学习的行人闯红灯违法行为分析方法。行人穿越马路过程中，利用设计的人脸检测方法实时检测人脸坐标，目标跟踪模块将提纯后的正确人脸目标转换为跟踪坐标，利用目标匹配，可以实现行人目标实时跟踪，通过前后两帧人脸IOU比对，保证行人人脸可以实时更新，并前后保持一致，当行人轨迹通过抓拍一线、二线、三线时，均为红灯时，可判断行人闯红灯违法行为。本发明自适应能力强，速度快，计算消耗低，便于移植，能够实时地在嵌入式平台中完成各类目标检测及分析任务，具有较高准确性和较强的场景适应性，可较为准确的识别行人闯红灯违法行为。

Description

一种基于深度学习的行人闯红灯违法行为分析方法及系统
技术领域
本发明属于智能视频监控技术领域，尤其是涉及一种基于深度学习的行人闯红灯违法行为分析方法及系统。
背景技术
在智能交通系统中的核心功能是交通事件违法行为准确判断，而行人闯红灯违法行为愈发严重，缺少监管措施，近年来随着计算机多媒体技术和图像处理技术的发展，基于视频的违法行为判断在智能交通中占据的分量也越来越大，社会各界投入的研究力量也越来越多。由于我国对道路监控的日益重视，视频检测技术已经成为智能交通领域最重要的信息采集手段，综合评比，将视频检测技术应用于高速公路和城市道路具有很大的可行性。
发明内容
有鉴于此，本发明旨在提出一种基于深度学习的行人闯红灯违法行为分析方法及系统，利用采集到的交通图像，对其进行分析处理，完成行人违法行为判断，具有较高的准确性。
本发明的发明构思是：对图像帧进行处理，检测当前图像中的人脸坐标和分值，对分值进行有判断，满足阈值要求后，与跟踪器进行逐一IOU匹配，满足匹配要求，更新跟踪器的人脸坐标和分值，不满足匹配要求的，将创建新的跟踪器，当跟踪器在红灯状态下，穿越人行横道，认为是行人闯红灯违法成立，输出违法报警。
为达到上述目的，本发明的技术方案是这样实现的：
第一方面，本发明提供一种基于深度学习的行人闯红灯违法行为分析方法，包括如下步骤：
1)端到端的人脸检测网络的设计：采用稠密连接设计检测网络的主网络，通过融合特征得到最终的面部检测与面部定位结果；
2)轨迹跟踪人脸坐标实时更新：
21)采用人脸检测网络对视频帧进行检测，得到人脸检测结果，将人脸检测结果送入人工神经网络分类器进行二分类，过滤非人脸检测结果得到提纯后的人脸检测结果；
22)将提纯后的人脸检测结果和历史跟踪器的历史跟踪结果逐一匹配：若满足匹配条件后，进行人脸坐标更新，并输出人脸分数阈值；若不满足，则创建新的跟踪器并加入历史跟踪；
3)行人闯红灯违法行为分析：判断跟踪模块中的每一个跟踪器的轨迹周期中是否有红灯亮起，若有则判断为该行人闯红灯违法行为成立，若否，则判断该该行人闯红灯违法行为不成立。
进一步的，在步骤21)中，包括如下步骤：
211)将人脸检测结果中的人脸矩形图像提取出来，归一化处理后构建直方图，再提取梯度直方图特征；
212)将梯度直方图特征送入神经网络分类器后，会自动计算各个类别的置信度，在神经网络分类器输出的2个置信度中选择最大值对应的label作为最终的结果；其中，所述神经网络分类器是根据已知的梯度直方图特征进行构建的；
213)将神经网络分类器得到的人脸目标在进行阈值过滤，低于第一阈值的人脸检测结果认为置信度较低，不使用其结果，大于第一阈值的人脸检测结果为提纯后的人脸检测结果。
进一步的，在步骤2)中将不满足匹配条件的人脸检测结果转换为形变较小的躯干跟踪区域，具体是将人脸坐标为：[x,y,width,height],按照如下公式换算为初始跟踪器坐标：[x-width/2,y+height,width*2,height*2],以该坐标和图像帧送入跟踪模块，创建新的跟踪器。
第二方面，本发明提供一种基于深度学习的行人闯红灯违法行为分析系统，包括：
端到端的人脸检测网络：为采用稠密连接设计检测网络的主网络，通过融合特征得到最终的面部检测与面部定位结果；
轨迹跟踪人脸坐标实时更新模块，用于采用人脸检测网络对视频帧进行检测，得到人脸检测结果，将人脸检测结果送入人工神经网络分类器进行二分类，过滤非人脸检测结果得到提纯后的人脸检测结果；将提纯后的人脸检测结果和历史跟踪器的历史跟踪结果逐一匹配：若满足匹配条件后，进行人脸坐标更新，并输出人脸分数阈值；若不满足，则创建新的跟踪器并加入历史跟踪；
行人闯红灯违法行为分析模块：判断跟踪模块中的每一个跟踪器的轨迹周期中是否有红灯亮起，若有则判断为该行人闯红灯违法行为成立，若否，则判断该该行人闯红灯违法行为不成立。
第三方面，本发明提供一种电子设备，包括存储器和处理器，所述存储器存储有可被所述处理器执行的程序指令，当所述计算机程序被处理器执行时，实现上述的方法。。
第四方面，本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，实现上述的方法。
相对于现有技术，本发明提供的基于深度学习的行人闯红灯违法行为分析的方法及系统，利用采集到的交通图像，对特定区域的的视频图像进行分析处理，完成行人违法行为判断。该方法可准确识别行人闯红灯违法行为，具有较高的准确性。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述一种基于深度学习的行人闯红灯违法行为分析方法的流程图；
图2为本发明实施例本发明实施例的端到端训练的流程示意图；
图3为本发明实施例的稠密连接主网络的结构示意图；
图4为本发明实施例的多尺度特征金字塔分层检测网络结构示意图；
图5为本发明实施例的神经网络分类器模型的训练与识别流程示意图。
具体实施方式
为了使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。且需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本发明的基于深度学习的行人闯红灯违法行为分析的方法的具体流程如图1所示，
本发明核心思想是：对图像帧进行处理，检测当前图像中的人脸坐标和分值，对分值进行有判断，满足阈值要求后，与跟踪器进行逐一IOU匹配，满足匹配要求，更新跟踪器的人脸坐标和分值，不满足匹配要求的，将创建新的跟踪器，当跟踪器在红灯状态下，穿越人行横道，认为是行人闯红灯违法成立，输出违法报警，发明具体技术方案主要分三个方面来实现：
1.人脸定位检测网络设计：
1.1.人脸检测网络架构设计
人脸检测网络的架构设计及端到端的训练与检测。行人检测及其属性分析可以将任务分解为两类，面部检测和面部定位。其中面部检测为二分类问题，即判断给定区域是否包含面部；面部定位为回归问题，即给出当前区域面部的精确位置。
传统的深度学习方法会将多类任务分配到多级检测器中训练，这样不仅耗时，而且易用性差。而本申请将任务进行端到端训练和检测设计，具体的方案流程图如图2示：其中IOU为交并比，若检测框与物体的交集面积除以二者并集面积大于0.6时，可认为检测框中存在面部，否则就认为不包含面部，这里设定的数值较大的原因就在于必须面部信息足够多时才能够进行属性分析，否则会导致结果不准确。
整个训练流程如图2所示，首先传入一张完整的图像，然后对整个图像进行随机裁剪，如果裁剪出的图片IOU大于0.6，那么就是正样本，否则就是负样本；负样本不具备定位和属性，所以仅用于是否为面部的二分类训练。正样本首先进行二分类训练，然后进行回归定位训练，最后将面部图片进行属性分析训练，三者使用同样的输入但是相互独立，并且可以一同输出，从而实现了端到端的训练。
1.2.单级多尺度检测器设计
绝大多数的单级检测器都需要依赖于预训练模型，必须有一个良好地预训练模型才能够较好地训练出检测网络。为了消除这一弊端，采用了稠密连接的思想来设计检测网络的主网络，让网络能够更好地结合浅层与深层特征信息，共同学习，从而达到不使用预训练模型也能够充分学习特征的目的。稠密连接主网络的结构如图3示：其中，稠密连接模块的公式为x_l＝H_l([x_0,x_1,x_2,…,x_(l-1)])，表示将0～(l-1)层的特征图输出做合并。其中H_l包括批归一化、激励层和3x3卷积层等。经过了稠密连接主网络将会进入多尺度特征金字塔分层检测网络，将会对不同尺度的特征金字塔结果继续做稠密连接，并融合共6层特征金字塔给出最终检测结果，可以保证覆盖全图所有尺度并且可以精准定位。多尺度特征金字塔分层检测网络结构如图4示，最终通过融合特征得到最终的面部检测与定位结果。
2.轨迹跟踪人脸坐标的实时更新：
将人脸检测结果送入人工神经网络分类器进行二分类，过滤非人脸检测目标，将获取到的人脸矩形图像提取出来，并且归一化为72x72的图像大小，构建直方图的参数bin为9，block为16，cells为4，在该图像上提取梯度直方图特征。根据已知的梯度直方图特征，构建神经网络分类器。
上个步骤提取人脸梯度直方图特征，送入神经网络分类器进行二分类，目的是过滤非人脸的误检测目标，比如机动车，地面，树叶等。
神经网络分类器是由众多的神经元及可调的连接权值连接而成，具有大规模并行处理、分布式信息存储、良好的自组织自学习能力等特点。
将提取的直方图特征送入神经网络分类器后，会自动计算各个类别的置信度，对置信度进行从大到小的排序，选择置信度最大的类别，即为神经网络分类器的输出结果。其中，神经网络模型系统的训练与识别如图5所示。其中训练预测过程可以分为训练阶段和识别阶段两部分：训练时，使用特征向量训练神经网络分类器。识别时，使用神经网络分类器对候选区域提取的特征向量进行判别。
其中，根据已知的梯度直方图特征，构建神经网络分类器，神经网络分类器加载预训练模型，其中输入层节点个位为576，隐藏层数量为1层，输出层节点个数为2，将提取的梯度直方图特征送入人工神经网络分类器进行分类，在神经网络分类器输出的2个置信度中选择最大值对应的label作为最终的结果，人脸目标对应label＝0，非人脸目标对应label＝1。
将提纯后的人脸检测结果和历史跟踪结果，逐一匹配，满足匹配条件后，进行人脸坐标更新，并输出人脸分数阈值；具体的：
将当前帧检测出的人脸目标进行阈值过滤，低于0.5分值的人脸认为置信度较低，不使用其结果，大于0.5分值的，与历时跟踪器的目标人脸进行IOU匹配，满足IOU大于0.8的情况下，认为该人脸为当前帧匹配人脸，更新历史跟踪器的人脸坐标，并更新历史跟踪器的人脸阈值。
3.轨迹跟踪人脸坐标转换方案设计：
人脸目标满足0.5分的阈值后，未找到IOU大于0.8的历史跟踪器做匹配，认为该人脸为新出目标框，此时人脸坐标为：[x,y,width,height],按照如下公式换算为初始跟踪器坐标：[x-width/2,y+height,width*2,height*2],以该坐标和图像帧送入跟踪模块，创建新的跟踪器。
4.行人闯红灯违法行为分析：
判断跟踪模块中的每一个跟踪器的轨迹周期中是否有红灯亮起，若有则判断为该行人闯红灯违法行为成立，若否，则判断该该行人闯红灯违法行为不成立。
利用本发明的基于深度学习的行人闯红灯违法行为分析方法。在行人穿越马路过程中，利用设计的人脸检测方法实时检测人脸坐标，跟踪模块首先将检测人脸送入人工神经网络进行行二分类，一类为正确人脸，另外一类为地面或者树叶等非人脸目标，进行人脸目标提纯，过滤误检，将提纯后的正确人脸目标转换为跟踪坐标，利用目标匹配，可以实现行人目标实时跟踪，通过前后两帧人脸IOU比对，保证行人人脸可以实时更新，并前后保持一致，当行人轨迹通过抓拍一线、二线、三线时，均为红灯时，可判断行人闯红灯违法行为。
本发明包括人脸检测器的设计、轨迹跟踪人脸坐标实时更新、轨迹跟踪人脸坐标转换。本发明在检测的同时进行目标提纯，提高人脸检出正确率，复杂的道路情况下也可以保证极高的人脸检出正确率，并可以输出人脸置信度，可以最大程度满足择优抓拍的需要。本发明自适应能力强，速度快，计算消耗低，便于移植，能够实时地在嵌入式平台中完成各类目标检测及分析任务，具有较高准确性和较强的场景适应性，可较为准确的识别行人闯红灯违法行为。
本发明另一个实施例提供一种基于深度学习的行人闯红灯违法行为分析系统，包括：
端到端的人脸检测网络：为采用稠密连接设计检测网络的主网络，通过融合特征得到最终的面部检测与面部定位结果；
轨迹跟踪人脸坐标实时更新模块，用于采用人脸检测网络对视频帧进行检测，得到人脸检测结果，将人脸检测结果送入人工神经网络分类器进行二分类，过滤非人脸检测结果得到提纯后的人脸检测结果；将提纯后的人脸检测结果和历史跟踪器的历史跟踪结果逐一匹配：若满足匹配条件后，进行人脸坐标更新，并输出人脸分数阈值；若不满足，则创建新的跟踪器并加入历史跟踪；
行人闯红灯违法行为分析模块：判断跟踪模块中的每一个跟踪器的轨迹周期中是否有红灯亮起，若有则判断为该行人闯红灯违法行为成立，若否，则判断该该行人闯红灯违法行为不成立。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置及设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种基于深度学习的行人闯红灯违法行为分析方法，其特征在于：包括如下步骤：
1)端到端的人脸检测网络的设计：
采用稠密连接设计检测网络的主网络，通过融合特征得到最终的面部检测与面部定位结果；
2)轨迹跟踪人脸坐标实时更新：
21)采用人脸检测网络对视频帧进行检测，得到人脸检测结果，将人脸检测结果送入人工神经网络分类器进行二分类，过滤非人脸检测结果得到提纯后的人脸检测结果；
22)将提纯后的人脸检测结果和历史跟踪器的历史跟踪结果逐一匹配：若满足匹配条件后，进行人脸坐标更新，并输出人脸分数阈值；若不满足，将人脸坐标为：[x,y,width,height],按照如下公式换算为初始跟踪器坐标：[x-width/2,y+height,width*2,height*2],以该坐标和图像帧送入跟踪模块，创建新的跟踪器并加入历史跟踪；
3)行人闯红灯违法行为分析：
判断跟踪模块中的每一个跟踪器的轨迹周期中是否有红灯亮起，若有则判断为该行人闯红灯违法行为成立，若否，则判断该该行人闯红灯违法行为不成立。
2.根据权利要求1所述的一种基于深度学习的行人闯红灯违法行为分析方法，其特征在于：在步骤21)中，包括如下步骤：
211)将人脸检测结果中的人脸矩形图像提取出来，归一化处理后构建直方图，再提取梯度直方图特征；
212)将梯度直方图特征送入神经网络分类器后，会自动计算各个类别的置信度，在神经网络分类器输出的2个置信度中选择最大值对应的label作为最终的结果；其中，所述神经网络分类器是根据已知的梯度直方图特征进行构建的；
213)将神经网络分类器得到的人脸目标在进行阈值过滤，低于第一阈值的人脸检测结果认为置信度较低，不使用其结果，大于第一阈值的人脸检测结果为提纯后的人脸检测结果。
3.一种基于深度学习的行人闯红灯违法行为分析系统，其特征在于：包括：
端到端的人脸检测网络：为采用稠密连接设计检测网络的主网络，通过融合特征得到最终的面部检测与面部定位结果；
轨迹跟踪人脸坐标实时更新模块，用于采用人脸检测网络对视频帧进行检测，得到人脸检测结果，将人脸检测结果送入人工神经网络分类器进行二分类，过滤非人脸检测结果得到提纯后的人脸检测结果；将提纯后的人脸检测结果和历史跟踪器的历史跟踪结果逐一匹配：若满足匹配条件后，进行人脸坐标更新，并输出人脸分数阈值；若不满足，将人脸坐标为：[x,y,width,height],按照如下公式换算为初始跟踪器坐标：[x-width/2,y+height,width*2,height*2],以该坐标和图像帧送入跟踪模块，创建新的跟踪器并加入历史跟踪；
行人闯红灯违法行为分析模块：判断跟踪模块中的每一个跟踪器的轨迹周期中是否有红灯亮起，若有则判断为该行人闯红灯违法行为成立，若否，则判断该该行人闯红灯违法行为不成立。
4.一种电子设备，其特征在于：包括存储器和处理器，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至2任一所述的方法。
5.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于：当所述计算机程序被处理器执行时，实现如权利要求1至2任一所述的方法。
CN202010032948.0A 2020-01-13 2020-01-13 一种基于深度学习的行人闯红灯违法行为分析方法及系统 Active CN111274886B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010032948.0A CN111274886B (zh) 2020-01-13 2020-01-13 一种基于深度学习的行人闯红灯违法行为分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010032948.0A CN111274886B (zh) 2020-01-13 2020-01-13 一种基于深度学习的行人闯红灯违法行为分析方法及系统

Publications (2)

Publication Number Publication Date
CN111274886A CN111274886A (zh) 2020-06-12
CN111274886B true CN111274886B (zh) 2023-09-19

Family

ID=71001869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010032948.0A Active CN111274886B (zh) 2020-01-13 2020-01-13 一种基于深度学习的行人闯红灯违法行为分析方法及系统

Country Status (1)

Country Link
CN (1) CN111274886B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446334A (zh) * 2020-12-02 2021-03-05 福建亿安智能技术有限公司 一种非机动车违法行为识别的方法和系统
CN112686175A (zh) * 2020-12-31 2021-04-20 北京澎思科技有限公司 人脸抓拍方法、系统及计算机可读存储介质
CN112465078B (zh) * 2021-02-03 2021-04-16 成都点泽智能科技有限公司 跨摄像头行人轨迹处理方法、计算机设备及可读存储介质
CN113257008B (zh) * 2021-05-12 2022-06-21 兰州交通大学 基于深度学习的行人流量动态控制系统及方法
CN114495032B (zh) * 2022-04-14 2022-07-19 科大天工智能装备技术（天津）有限公司 一种交通违法行为监测方法、系统及智慧灯杆

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6674877B1 (en) * 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
WO2016018936A1 (en) * 2014-07-28 2016-02-04 Econolite Group, Inc. Self-configuring traffic signal controller
CN105336160A (zh) * 2015-12-02 2016-02-17 深圳市博远交通设施有限公司 一种基于人脸识别的行人闯红灯一体化信号灯装置
CN106228141A (zh) * 2016-07-28 2016-12-14 深圳智路通智能交通科技有限公司 一种警示行人闯红灯的方法
CN106340179A (zh) * 2016-09-30 2017-01-18 南京蓝泰交通设施有限责任公司 一种具有闯红灯取证功能的人行横道信号灯系统及方法
CN106485273A (zh) * 2016-10-09 2017-03-08 湖南穗富眼电子科技有限公司 一种基于hog特征与dnn分类器的人脸检测方法
CN106682620A (zh) * 2016-12-28 2017-05-17 北京旷视科技有限公司 人脸图像采集方法及装置
CN107527012A (zh) * 2017-07-14 2017-12-29 深圳云天励飞技术有限公司 闯红灯监控方法、装置及监控处理设备
CN107748876A (zh) * 2017-11-06 2018-03-02 杭州有盾网络科技有限公司 基于移动端的人脸活体识别方法、装置及移动终端
CN108615010A (zh) * 2018-04-24 2018-10-02 重庆邮电大学 基于平行卷积神经网络特征图融合的人脸表情识别方法
CN108629299A (zh) * 2018-04-24 2018-10-09 武汉幻视智能科技有限公司 一种结合人脸匹配的长时间多目标跟踪方法及系统
WO2018188453A1 (zh) * 2017-04-11 2018-10-18 腾讯科技（深圳）有限公司 人脸区域的确定方法、存储介质、计算机设备
CN108734107A (zh) * 2018-04-24 2018-11-02 武汉幻视智能科技有限公司 一种基于人脸的多目标跟踪方法及系统
CN108764247A (zh) * 2018-04-13 2018-11-06 中国科学院自动化研究所 基于稠密连接的深度学习物体检测方法及装置
CN108875624A (zh) * 2018-06-13 2018-11-23 华南理工大学 基于多尺度的级联稠密连接神经网络的人脸检测方法
CN108877205A (zh) * 2018-07-12 2018-11-23 苏州旭安交通科技有限公司 行人闯红灯检测方法及系统
CN109446964A (zh) * 2018-10-19 2019-03-08 天津天地伟业投资管理有限公司 基于端到端单级多尺度检测器的面部检测分析方法及装置
CN109670449A (zh) * 2018-12-20 2019-04-23 天津天地伟业信息系统集成有限公司 一种基于垂直抓拍方式的车辆违法判断方法
CN110580808A (zh) * 2018-06-08 2019-12-17 杭州海康威视数字技术股份有限公司 一种信息处理方法、装置、电子设备及智能交通系统
WO2020001083A1 (zh) * 2018-06-30 2020-01-02 东南大学 一种基于特征复用的人脸识别方法
WO2020001084A1 (zh) * 2018-06-30 2020-01-02 东南大学 一种在线学习的人脸识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160287989A1 (en) * 2012-08-31 2016-10-06 Blue Goji Llc Natural body interaction for mixed or virtual reality applications
CN103854273B (zh) * 2012-11-28 2017-08-25 天佑科技股份有限公司 一种近正向俯视监控视频行人跟踪计数方法和装置
EP3426521A4 (en) * 2016-03-06 2019-11-20 Foresight Automotive Ltd. VEHICLE ALERT SYSTEM AND METHOD IN PROGRESS

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6674877B1 (en) * 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
WO2016018936A1 (en) * 2014-07-28 2016-02-04 Econolite Group, Inc. Self-configuring traffic signal controller
CN105336160A (zh) * 2015-12-02 2016-02-17 深圳市博远交通设施有限公司 一种基于人脸识别的行人闯红灯一体化信号灯装置
CN106228141A (zh) * 2016-07-28 2016-12-14 深圳智路通智能交通科技有限公司 一种警示行人闯红灯的方法
CN106340179A (zh) * 2016-09-30 2017-01-18 南京蓝泰交通设施有限责任公司 一种具有闯红灯取证功能的人行横道信号灯系统及方法
CN106485273A (zh) * 2016-10-09 2017-03-08 湖南穗富眼电子科技有限公司 一种基于hog特征与dnn分类器的人脸检测方法
CN106682620A (zh) * 2016-12-28 2017-05-17 北京旷视科技有限公司 人脸图像采集方法及装置
WO2018188453A1 (zh) * 2017-04-11 2018-10-18 腾讯科技（深圳）有限公司 人脸区域的确定方法、存储介质、计算机设备
CN107527012A (zh) * 2017-07-14 2017-12-29 深圳云天励飞技术有限公司 闯红灯监控方法、装置及监控处理设备
CN107748876A (zh) * 2017-11-06 2018-03-02 杭州有盾网络科技有限公司 基于移动端的人脸活体识别方法、装置及移动终端
CN108764247A (zh) * 2018-04-13 2018-11-06 中国科学院自动化研究所 基于稠密连接的深度学习物体检测方法及装置
CN108629299A (zh) * 2018-04-24 2018-10-09 武汉幻视智能科技有限公司 一种结合人脸匹配的长时间多目标跟踪方法及系统
CN108734107A (zh) * 2018-04-24 2018-11-02 武汉幻视智能科技有限公司 一种基于人脸的多目标跟踪方法及系统
CN108615010A (zh) * 2018-04-24 2018-10-02 重庆邮电大学 基于平行卷积神经网络特征图融合的人脸表情识别方法
CN110580808A (zh) * 2018-06-08 2019-12-17 杭州海康威视数字技术股份有限公司 一种信息处理方法、装置、电子设备及智能交通系统
CN108875624A (zh) * 2018-06-13 2018-11-23 华南理工大学 基于多尺度的级联稠密连接神经网络的人脸检测方法
WO2020001083A1 (zh) * 2018-06-30 2020-01-02 东南大学 一种基于特征复用的人脸识别方法
WO2020001084A1 (zh) * 2018-06-30 2020-01-02 东南大学 一种在线学习的人脸识别方法
CN108877205A (zh) * 2018-07-12 2018-11-23 苏州旭安交通科技有限公司 行人闯红灯检测方法及系统
CN109446964A (zh) * 2018-10-19 2019-03-08 天津天地伟业投资管理有限公司 基于端到端单级多尺度检测器的面部检测分析方法及装置
CN109670449A (zh) * 2018-12-20 2019-04-23 天津天地伟业信息系统集成有限公司 一种基于垂直抓拍方式的车辆违法判断方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于视频的行人闯红灯检测方法;严官林等;信息技术 *
应用图像技术在闯红灯违法图片处理中的应用;王松;信息与电脑 *

Also Published As

Publication number Publication date
CN111274886A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN111274886B (zh) 一种基于深度学习的行人闯红灯违法行为分析方法及系统
CN111444821B (zh) 一种城市道路标志自动识别方法
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
CN108921083B (zh) 基于深度学习目标检测的非法流动摊贩识别方法
CN109902806A (zh) 基于卷积神经网络的噪声图像目标边界框确定方法
CN108304798A (zh) 基于深度学习及运动一致性的街面秩序事件视频检测方法
CN108875754B (zh) 一种基于多深度特征融合网络的车辆再识别方法
CN104504395A (zh) 基于神经网络实现人车分类的方法和系统
CN113420607A (zh) 无人机多尺度目标检测识别方法
CN104978567A (zh) 基于场景分类的车辆检测方法
Yang et al. Improved lane detection with multilevel features in branch convolutional neural networks
CN105184229A (zh) 一种动态场景下基于在线学习的实时行人检测方法
CN112434723B (zh) 一种基于注意力网络的日/夜间图像分类及物体检测方法
CN114267082B (zh) 基于深度理解的桥侧坠落行为识别方法
CN113963399A (zh) 基于多算法融合应用的人员轨迹检索方法及装置
Wechsler et al. Automatic video-based person authentication using the RBF network
Rajendran et al. Fast and accurate traffic sign recognition for self driving cars using retinanet based detector
CN109993032A (zh) 一种共享单车目标识别方法、装置及相机
Sun et al. Exploiting deeply supervised inception networks for automatically detecting traffic congestion on freeway in China using ultra-low frame rate videos
CN106384089A (zh) 基于终生学习的人体可靠检测方法
CN111339834B (zh) 车辆行驶方向的识别方法、计算机设备及存储介质
Wang et al. Vehicle key information detection algorithm based on improved SSD
CN116310748A (zh) 一种自动驾驶场景恢复及自动驾驶原型测试方法和系统
CN115439933A (zh) 一种基于多重模型识别策略的垃圾分类投放站点检测方法
CN112633163B (zh) 一种基于机器学习算法实现非法运营车辆检测的检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant