CN110490108B - 一种违章状态的标记方法、装置、存储介质及电子装置 - Google Patents

一种违章状态的标记方法、装置、存储介质及电子装置 Download PDF

Info

Publication number
CN110490108B
CN110490108B CN201910731311.8A CN201910731311A CN110490108B CN 110490108 B CN110490108 B CN 110490108B CN 201910731311 A CN201910731311 A CN 201910731311A CN 110490108 B CN110490108 B CN 110490108B
Authority
CN
China
Prior art keywords
target
walking
determining
vehicle
courtesy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910731311.8A
Other languages
English (en)
Other versions
CN110490108A (zh
Inventor
林骏
王亚运
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201910731311.8A priority Critical patent/CN110490108B/zh
Publication of CN110490108A publication Critical patent/CN110490108A/zh
Priority to EP19940751.1A priority patent/EP3983931A4/en
Priority to PCT/CN2019/126617 priority patent/WO2021022759A1/en
Priority to US17/647,976 priority patent/US11790699B2/en
Application granted granted Critical
Publication of CN110490108B publication Critical patent/CN110490108B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/056—Detecting movement of traffic to be counted or controlled with provision for distinguishing direction of travel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本发明提供了一种违章状态的标记方法、装置、存储介质及电子装置,其中，该方法包括：通过对行走目标的行走角度进行修正，确定所述行走目标中包括的待由车辆进行礼让的礼让目标，其中，所述行走目标为在预定区域内行走的目标；确定所述礼让目标的行走方向为靠近路中的行走方向，以及确定通过所述预定区域的目标车辆未对所述礼让目标进行礼让时，将所述目标车辆的状态标记为违章状态。通过本发明，可以解决相关技术中存在的无法对违章行为进行有效标记的问题，达到智能判定车辆是否违章，并对违章车辆进行有效标记的效果。

Description

一种违章状态的标记方法、装置、存储介质及电子装置
技术领域
本发明涉及通信领域，具体而言，涉及一种违章状态的标记方法、装置、存储介质及电子装置。
背景技术
随着社会经济的快速发展，视频监控系统在整个安防行业扮演着重要角色。然而目前，由于机动车与行人抢道，在斑马线区域的不礼让行人行为已经造成了大量的交通事故，因此各地政府交通管理部门已对“不礼让行人”行为制定了违章法规，因此，利用用于检测机动车不礼让行人的检测系统进行执法势在必行。
需要说明的是，由于监控设备安装的位置是多样的，在不同的安装场景下，会存在监控设备所拍摄到的车道和斑马线角度存在变化，从而导致对行走目标(例如，行人、非机动车，下面以行人为例进行说明)的行走方向判定不精准，此外，对于行人徘徊的情况也会存在误抓的问题，由此可知，在相关技术中存在着无法对违章行为进行有效标记的问题。
针对相关技术中存在的无法对违章行为进行有效标记的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种违章状态的标记方法、装置、存储介质及电子装置，以至少解决相关技术中存在的无法对违章行为进行有效标记的问题。
根据本发明的一个实施例，提供了一种违章状态的标记方法，包括：通过对行走目标的行走角度进行修正，确定所述行走目标中包括的待由车辆进行礼让的礼让目标，其中，所述行走目标为在预定区域内行走的目标；确定所述礼让目标的行走方向为靠近路中的行走方向，以及确定通过所述预定区域的目标车辆未对所述礼让目标进行礼让时，将所述目标车辆的状态标记为违章状态。
根据本发明的另一个实施例，提供了一种违章状态的标记装置，包括：确定模块，用于通过对行走目标的行走角度进行修正，确定所述行走目标中包括的待由车辆进行礼让的礼让目标，其中，所述行走目标为在预定区域内行走的目标；标记模块，用于确定所述礼让目标的行走方向为靠近路中的行走方向，以及确定通过所述预定区域的目标车辆未对所述礼让目标进行礼让时，将所述目标车辆的状态标记为违章状态。
根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，利用对行走目标的行走角度进行修正来确定预定区域内的礼让目标，从而保证了礼让目标的行走角度的准确性，此外，在确定礼让目标的行走方向为靠近路中的行走方向后才会对未对礼让目标进行礼让的车辆进行标记，从而避免了礼让目标徘徊情况下的违章误判。因此，可以解决相关技术中存在的无法对违章行为进行有效标记的问题，达到准确判定车辆是否违章，并对违章车辆进行有效标记的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种违章状态的标记方法的移动终端的硬件结构框图；
图2是根据本发明实施例的一种违章状态的标记的方法流程图；
图3是根据本发明优选实施例的车道线水平夹角示例图；
图4是根据本发明实施例的不礼让行人场景配置图；
图5是根据本发明优选实施例的一个机动车斑马线不礼让行人智能抓拍流程图；
图6是根据本发明实施例的不礼让行人抓拍判定流程图；
图7是根据本发明实施例的一种违章状态的标记装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种违章状态的标记方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种违章状态的标记方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种违章状态的标记方法，图2是根据本发明实施例的一种违章状态的标记的方法流程图，如图2所示，该流程包括如下步骤：
步骤S202，通过对行走目标的行走角度进行修正，确定所述行走目标中包括的待由车辆进行礼让的礼让目标，其中，所述行走目标为在预定区域内行走的目标；
步骤S204，确定所述礼让目标的行走方向为靠近路中的行走方向，以及确定通过所述预定区域的目标车辆未对所述礼让目标进行礼让时，将所述目标车辆的状态标记为违章状态。
通过上述步骤，利用对行走目标的行走角度进行修正来确定预定区域内的礼让目标，从而保证了礼让目标的行走角度的准确性，此外，在确定礼让目标的行走方向为靠近路中的行走方向后才会对未对礼让目标进行礼让的车辆进行标记，从而避免了礼让目标徘徊情况下的违章误判。因此，可以解决相关技术中存在的无法对违章行为进行有效标记的问题，达到准确判定车辆是否违章，并对违章车辆进行有效标记的效果。
可选地，上述步骤的执行主体可以为监控设备，但不限于此。
在一个可选的实施例中，通过对行走目标的行走角度进行修正，确定所述行走目标中包括的待由车辆进行礼让的礼让目标包括：
确定监控设备拍摄到的至少两条车道线与水平方向的平均夹角；确定所述监控设备拍摄到的两帧之间所述行走目标中包括的第一行走目标的位移差；在确定所述平均夹角与所述位移差满足如下公式时，确定所述第一行走目标为所述礼让目标：
|λ|≥α-arctan(Δy/Δx)；
其中λ为预先设定的角度阈值，α为所述平均夹角，Δx为所述位移差中包括的水平方向的第一位移差，Δy为所述位移差中包括的竖直方向的第二位移差。
在本实施例中，可以采用LaneNet(车道线检测算法)程序进行车道线检测或手动配置车道线；可以采用yolo3(目标监测网络)模型检测出图像中的行走目标(例如，行人、非机动车)和机动车目标，可以采用kcf(目标跟踪算法)算法进行目标跟踪；对于行人、非机动车等行走目标需要进行方向判定，判定其是否为需礼让的礼让目标，由于场景可能存在角度偏移，可以利用角度修正方法进行判定，具体举例如下：首先，通过计算得出车道线(例如，图3中所示的三条竖直方向上的线条)与水平方向的平均夹角α，其中，α＝(a1+a2+a3)/3，图3是根据本发明可选实施例的车道线水平夹角示例图，具体如图3所示；其次，计算出两帧之间目标的位移差Δx和Δy，Δx和Δy均取正值；最后，通过设置阈值λ，并根据公式：|λ|≥α-arctan(Δy/Δx)来判定目标是否为需礼让目标(即，上述的礼让目标)，其中，在满足上述公式时，确定目标是需礼让目标，在不满足上述公式时，确定目标不是需礼让目标。
在一个可选的实施例中，确定所述礼让目标的行走方向为靠近路中的行走方向包括：确定监控设备先后拍摄到的第一帧图像和第二帧图像，其中，所述第二帧图像为与所述第一帧图像间隔预定时间的图像，且所述第一帧图像和所述第二帧图像中均包括有所述礼让目标的图像；基于第一位置相对于第二位置的方位确定所述礼让目标的行走方向为靠近路中的行走方向，其中，所述第一位置为所述第一帧图像中包括的所述礼让目标的图像的位置，所述第二位置为所述第二帧图像中包括的所述礼让目标的图像的位置。在本实施例中，通过记录礼让目标进入监控设备监控区域第一帧的位置，生成第一帧图像中目标的第一位置，可以初步判定礼让目标是否为往远离人行道方向行走的礼让目标；其次，记录间隔预定时间后该礼让目标的位置，生成第二帧图像中目标的第二位置，与第一帧图像中的第一位置共同确定该礼让目标的移动方向，并根据礼让目标的移动方向对其是否需被礼让的状态进行赋值。
在一个可选的实施例中，在通过对行走目标的行走角度进行修正，确定所述行走目标中包括的待由车辆进行礼让的礼让目标之前，所述方法还包括：在确定所述预定区域中存在所述行走目标之后，控制信号灯执行提示操作。在本实施例中，可以预先根据不同场景配置斑马线两端区域为待行区域，并框出斑马线区域为行走区域，对于进入待行区域的行人、非机动车等行走目标进行标识编号，若待行区中存在行走目标，则可以利用信号灯提示机动车，该信号灯可以发出预定类型的提示灯光，例如，发出红光，发出按照预定频率进行闪烁的灯光，该信号灯还可以是同时具备发声以及发光能力的提示灯，通过灯光与声音来综合提示礼让目标注意车辆。
在一个可选的实施例中，在确定所述礼让目标的行走方向为靠近路中的行走方向之后，且在确定通过所述预定区域的目标车辆未对所述礼让目标进行礼让之前，所述方法还包括：为所述礼让目标和所述目标车辆建立目标绑定关系，并为所述目标绑定关系分配目标标识ID(Identity document，身份标识)；将所述目标车辆的状态标记为违章状态包括：对应所述目标ID将所述目标车辆的状态标记为违章状态。在本实施例中，可以进行礼让目标与车辆的关联绑定，其中，在建立目标绑定关系时，可以将礼让目标与所有目标车辆逐一绑定，该所有目标车辆为礼让目标在待行区时由监控设备所拍摄的所有帧图像中的车，且可以为每个目标绑定关系生成一个ID，同时同步更新该礼让目标和目标车辆的状态属性；图4是根据本发明实施例的不礼让行人场景配置图，如图4所示，若该礼让目标为需礼让状态，根据该礼让目标对应的目标车辆满足前置线、中线、后置线三张抓拍，则记录该车辆为违章状态。
在一个可选的实施例中，在所述目标车辆的状态标记为违章状态之后，所述方法还包括：确定监控设备拍摄到所述目标车辆的车门为打开状态，且在所述车门为打开状态之后的预定时间段后所述礼让目标消失；取消所述目标车辆的所述违章状态。在本实施例中，可以根据目标车辆与礼让目标间的x轴距离判断目标车辆与礼让目标之间相隔几个车道，目标车辆与礼让目标在礼让目标消失时的距离相隔可以包括0个车道，但不限于此，其他能够判定礼让目标进入目标车辆的方式均可。
在一个可选的实施例中，所述方法还包括对所述目标车辆执行以下操作至少之一，并记录操作结果：
车牌识别，车速检测，车窗检测，人脸检测。在本实施例中，通过记录操作结果，可以用于获取和比对后续信息；车牌识别可以是通过上传至车辆数据库，并与车辆数据库中的车牌信息进行比对和识别，车速检测可以是通过前后帧图像的位移距离来计算得出目标车辆的当前车速，如果目标车辆车速超过当前道路规定限速，则将其记录为违章状态，车窗检测可以是从前挡风玻璃进行检测，此时还可以检测是否系安全带等其他违章状态，并且同时对其他违章状态进行标记，人脸检测可以对比人脸数据库以获得违章驾驶者的信息。
为了更好的理解本发明实施例，以下结合具体的实施例对本发明做进一步解释：
在一个可选的实施例中，图5是根据本发明优选实施例的一个机动车斑马线不礼让行人智能抓拍流程图，如图5所示，该流程如下：
第一步：根据不同场景配置斑马线两端区域为行人待行区域，并框出斑马线区域为行人行走区域；
第二步：采用LaneNet进行车道线检测或手动配置车道线；
第三步：采用yolo3模型检测出图像中的行人、非机动车和机动车目标，采用kcf算法进行目标跟踪；
第四步：对于行人、非机动车目标需要进行方向判定，是否为需礼让目标，由于场景可能存在角度偏移，通过设计角度修正方法进行判定，具体如下：首先，通过计算得出车道线与水平方向平均夹角α，例如α＝(a1+a2+a3)/3，如图3所示；其次，计算出两帧之间目标的位移差Δx和Δy；最后，通过设置阈值λ(|λ|≥α-arctan(Δy/Δx))，判定目标是否为需礼让目标；
第五步：进行人车关联绑定该目标和所有机动车，每对生成一个ID，同步更新该目标和对应机动车的状态属性，若该目标为需礼让状态，根据该目标对应的车辆满足前置线、中线、后置线三张抓拍，则记录该车辆为违章状态，如图4所示；
第六步：违章判定，对于进入行人待行区的行人、非机动车目标进行标识编号，若待行区存在行人，则用信号灯给予机动车提示。首先，需记录目标进入该区域第一帧的位置，判定目标是否为往回行走目标；其次，记录目标当前位置，与前一帧目标信息计算目标移动方向，并根据目标移动方向给予是否需礼让状态进行赋值；接着，进行人车关联绑定该目标和所有机动车，每对生成一个ID，同步更新该目标和对应机动车的状态属性，若该目标为需礼让状态，根据该目标对应的车辆满足前置线、中线、后置线三张抓拍，则记录该车辆为违章状态，图6是根据本发明实施例的不礼让行人抓拍判定流程图，如图6所示，具体流程如下：
S1：开始对预定区域进行抓拍判定流程；
S2：通过人车关联，生成一个目标标识ID，同步更新该目标和对应机动车的状态属性；
S3：判定是否构成不礼让抓拍；
S4：记录不礼让行人的违章状态；
S5：结束对预定区域进行抓拍判定流程。
第七步：对于机动车辆我们还进行车牌识别、车速检测、车窗检测以及人脸检测，方便后续信息获取和比对；
第八步：对于无牌车辆，将人脸信息记录对比人脸数据库以获得违章驾驶者信息。
在本实施例中，根据行人或者非机动车与机动车目标间的x轴距离判断人车之间相隔几个车道，若相隔0个车道，则对机动车目标进行车门状态检测，若车门为打开状态，随后几帧行人消失，则取消该车辆报警，即，取消该车辆的违章状态标记。
对于机动车辆还进行车牌识别、车速检测、车窗检测以及人脸检测，方便后续信息获取和比对；特别地，对于无牌车辆，将人脸信息记录对比人脸数据库以获得违章驾驶者信息。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种违章状态的标记装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图7是根据本发明实施例的一种违章状态的标记装置的结构框图，如图7所示，该装置包括：
确定模块72，用于通过对行走目标的行走角度进行修正，确定所述行走目标中包括的待由车辆进行礼让的礼让目标，其中，所述行走目标为在预定区域内行走的目标；
标记模块74，用于确定所述礼让目标的行走方向为靠近路中的行走方向，以及确定通过所述预定区域的目标车辆未对所述礼让目标进行礼让时，将所述目标车辆的状态标记为违章状态。
在一个可选的实施例中，所述确定模块72可以通过如下方式通过对行走目标的行走角度进行修正，确定所述行走目标中包括的待由车辆进行礼让的礼让目标：
确定监控设备拍摄到的至少两条车道线与水平方向的平均夹角；
确定所述监控设备拍摄到的两帧之间所述行走目标中包括的第一行走目标的位移差；
在确定所述平均夹角与所述位移差满足如下公式时，确定所述第一行走目标为所述礼让目标：
|λ|≥α-arctan(Δy/Δx)；
其中λ为预先设定的角度阈值，α为所述平均夹角，Δx为所述位移差中包括的水平方向的第一位移差，Δy为所述位移差中包括的竖直方向的第二位移差。
在一个可选的实施例中，所述标记模块74可以通过如下方式确定所述礼让目标的行走方向为靠近路中的行走方向：
确定监控设备先后拍摄到的第一帧图像和第二帧图像，其中，所述第二帧图像为与所述第一帧图像间隔预定时间的图像，且所述第一帧图像和所述第二帧图像中均包括有所述礼让目标的图像；
基于第一位置相对于第二位置的方位确定所述礼让目标的行走方向为靠近路中的行走方向，其中，所述第一位置为所述第一帧图像中包括的所述礼让目标的图像的位置，所述第二位置为所述第二帧图像中包括的所述礼让目标的图像的位置。
在一个可选的实施例中，所述装置还用于：
在通过对行走目标的行走角度进行修正，确定所述行走目标中包括的待由车辆进行礼让的礼让目标之前，在确定所述预定区域中存在所述行走目标之后，控制信号灯执行提示操作。
在一个可选的实施例中，所述装置还用于：
在确定所述礼让目标的行走方向为靠近路中的行走方向之后，且在确定通过所述预定区域的目标车辆未对所述礼让目标进行礼让之前，为所述礼让目标和所述目标车辆建立目标绑定关系，并为所述目标绑定关系分配目标标识ID；将所述目标车辆的状态标记为违章状态包括：对应所述目标ID将所述目标车辆的状态标记为违章状态。
在一个可选的实施例中，所述装置还用于：
在所述目标车辆的状态标记为违章状态之后，确定监控设备拍摄到所述目标车辆的车门为打开状态，且在所述车门为打开状态之后的预定时间段后所述礼让目标消失；取消所述目标车辆的所述违章状态。
在一个可选的实施例中，所述装置还用于对所述目标车辆执行以下操作至少之一，并记录操作结果：
车牌识别，车速检测，车窗检测，人脸检测。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种违章状态的标记方法，其特征在于，包括：
通过对行走目标的行走角度进行修正，确定所述行走目标中包括的待由车辆进行礼让的礼让目标，其中，所述行走目标为在预定区域内行走的目标；
确定所述礼让目标的行走方向为靠近路中的行走方向，以及确定通过所述预定区域的目标车辆未对所述礼让目标进行礼让时，将所述目标车辆的状态标记为违章状态；
其中，通过对行走目标的行走角度进行修正，确定所述行走目标中包括的待由车辆进行礼让的礼让目标包括：确定监控设备拍摄到的至少两条车道线与水平方向的平均夹角；确定所述监控设备拍摄到的两帧之间所述行走目标中包括的第一行走目标的位移差；在确定所述平均夹角与所述位移差满足如下公式时，确定所述第一行走目标为所述礼让目标：|λ|≥α-arctan(Δy/Δx)；其中，λ为预先设定的角度阈值，α为所述平均夹角，Δx为所述位移差中包括的水平方向的第一位移差，Δy为所述位移差中包括的竖直方向的第二位移差。
2.根据权利要求1所述的方法，其特征在于，确定所述礼让目标的行走方向为靠近路中的行走方向包括：
确定监控设备先后拍摄到的第一帧图像和第二帧图像，其中，所述第二帧图像为与所述第一帧图像间隔预定时间的图像，且所述第一帧图像和所述第二帧图像中均包括有所述礼让目标的图像；
基于第一位置相对于第二位置的方位确定所述礼让目标的行走方向为靠近路中的行走方向，其中，所述第一位置为所述第一帧图像中包括的所述礼让目标的图像的位置，所述第二位置为所述第二帧图像中包括的所述礼让目标的图像的位置。
3.根据权利要求1所述的方法，其特征在于，在通过对行走目标的行走角度进行修正，确定所述行走目标中包括的待由车辆进行礼让的礼让目标之前，所述方法还包括：
在确定所述预定区域中存在所述行走目标之后，控制信号灯执行提示操作。
4.根据权利要求1所述的方法，其特征在于，
在确定所述礼让目标的行走方向为靠近路中的行走方向之后，且在确定通过所述预定区域的目标车辆未对所述礼让目标进行礼让之前，所述方法还包括：为所述礼让目标和所述目标车辆建立目标绑定关系，并为所述目标绑定关系分配目标标识ID；
将所述目标车辆的状态标记为违章状态包括：对应所述目标ID将所述目标车辆的状态标记为违章状态。
5.根据权利要求1所述的方法，其特征在于，在所述目标车辆的状态标记为违章状态之后，所述方法还包括：
确定监控设备拍摄到所述目标车辆的车门为打开状态，且在所述车门为打开状态之后的预定时间段后所述礼让目标消失；
取消所述目标车辆的所述违章状态。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括对所述目标车辆执行以下操作至少之一，并记录操作结果：
车牌识别，车速检测，车窗检测，人脸检测。
7.一种违章状态的标记装置，其特征在于，包括：
确定模块，用于通过对行走目标的行走角度进行修正，确定所述行走目标中包括的待由车辆进行礼让的礼让目标，其中，所述行走目标为在预定区域内行走的目标；
标记模块，用于确定所述礼让目标的行走方向为靠近路中的行走方向，以及确定通过所述预定区域的目标车辆未对所述礼让目标进行礼让时，将所述目标车辆的状态标记为违章状态；
其中，所述确定模块用于通过如下方式实现通过对行走目标的行走角度进行修正，确定所述行走目标中包括的待由车辆进行礼让的礼让目标：确定监控设备拍摄到的至少两条车道线与水平方向的平均夹角；确定所述监控设备拍摄到的两帧之间所述行走目标中包括的第一行走目标的位移差；在确定所述平均夹角与所述位移差满足如下公式时，确定所述第一行走目标为所述礼让目标：|λ|≥α-arctan(Δy/Δx)；其中，λ为预先设定的角度阈值，α为所述平均夹角，Δx为所述位移差中包括的水平方向的第一位移差，Δy为所述位移差中包括的竖直方向的第二位移差。
8.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法。
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6任一项中所述的方法。
CN201910731311.8A 2019-08-08 2019-08-08 一种违章状态的标记方法、装置、存储介质及电子装置 Active CN110490108B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910731311.8A CN110490108B (zh) 2019-08-08 2019-08-08 一种违章状态的标记方法、装置、存储介质及电子装置
EP19940751.1A EP3983931A4 (en) 2019-08-08 2019-12-19 SYSTEMS AND PROCEDURES FOR DETECTING TRAFFIC VIOLATIONS
PCT/CN2019/126617 WO2021022759A1 (en) 2019-08-08 2019-12-19 Systems and methods for traffic violation detection
US17/647,976 US11790699B2 (en) 2019-08-08 2022-01-13 Systems and methods for traffic violation detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910731311.8A CN110490108B (zh) 2019-08-08 2019-08-08 一种违章状态的标记方法、装置、存储介质及电子装置

Publications (2)

Publication Number Publication Date
CN110490108A CN110490108A (zh) 2019-11-22
CN110490108B true CN110490108B (zh) 2022-02-08

Family

ID=68550342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910731311.8A Active CN110490108B (zh) 2019-08-08 2019-08-08 一种违章状态的标记方法、装置、存储介质及电子装置

Country Status (4)

Country Link
US (1) US11790699B2 (zh)
EP (1) EP3983931A4 (zh)
CN (1) CN110490108B (zh)
WO (1) WO2021022759A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490108B (zh) 2019-08-08 2022-02-08 浙江大华技术股份有限公司 一种违章状态的标记方法、装置、存储介质及电子装置
US11610320B2 (en) * 2020-02-19 2023-03-21 Object Video Labs, LLC Remote camera-assisted robot guidance
CN111275008B (zh) * 2020-02-24 2024-01-16 浙江大华技术股份有限公司 目标车辆异常的检测方法及装置、存储介质、电子装置
US20220114888A1 (en) * 2020-10-14 2022-04-14 Deka Products Limited Partnership System and Method for Intersection Navigation
JP2022134409A (ja) * 2021-03-03 2022-09-15 トヨタ自動車株式会社 地図データ利用システム、地図データ利用方法及びプログラム
CN113420714B (zh) * 2021-07-12 2023-08-22 浙江大华技术股份有限公司 一种采集图像上报方法、装置及电子设备
CN114724363A (zh) * 2022-03-29 2022-07-08 北京万集科技股份有限公司 车辆管控方法、装置、设备、存储介质和程序产品
CN115116219B (zh) * 2022-06-07 2024-04-05 启迪设计集团股份有限公司 一种非机动车待行区设置需求的判定方法
CN114758511B (zh) * 2022-06-14 2022-11-25 深圳市城市交通规划设计研究中心股份有限公司 一种跑车超速检测系统、方法、电子设备及存储介质
CN115346373A (zh) * 2022-08-16 2022-11-15 白犀牛智达(北京)科技有限公司 一种红绿灯识别方法和装置
CN115240435A (zh) * 2022-09-21 2022-10-25 广州市德赛西威智慧交通技术有限公司 一种基于ai技术的车辆违章行驶检测方法、装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005283531A (ja) * 2004-03-31 2005-10-13 Equos Research Co Ltd 車載装置及びデータ作成装置
CN103183027A (zh) * 2011-12-28 2013-07-03 华为技术有限公司 车辆防撞方法和装置
CN103198659A (zh) * 2013-04-08 2013-07-10 长安大学 车辆通过人行横道时与行人抢道的抓拍装置及其抓拍方法
CN105448094A (zh) * 2015-12-31 2016-03-30 重庆云途交通科技有限公司 一种基于车路协同技术的逆行警告与风险规避方法
CN107161147A (zh) * 2017-05-04 2017-09-15 广州汽车集团股份有限公司 一种车辆防碰撞巡航控制系统及其控制方法
CN107248291A (zh) * 2017-07-14 2017-10-13 深圳云天励飞技术有限公司 机动车抢道判定方法、装置、监控处理设备及监控系统
US10217354B1 (en) * 2017-10-02 2019-02-26 Bertram V Burke Move over slow drivers cell phone technology
CN109741608A (zh) * 2019-01-29 2019-05-10 浙江浩腾电子科技股份有限公司 基于深度学习的机动车右转礼让行人分析抓拍系统及方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7671725B2 (en) * 2006-03-24 2010-03-02 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program
US8825350B1 (en) * 2011-11-22 2014-09-02 Kurt B. Robinson Systems and methods involving features of adaptive and/or autonomous traffic control
WO2014172708A1 (en) * 2013-04-19 2014-10-23 Polaris Sensor Technologies, Inc. Pedestrian right of way monitoring and reporting system and method
US9275286B2 (en) * 2014-05-15 2016-03-01 Xerox Corporation Short-time stopping detection from red light camera videos
CN104361747B (zh) * 2014-11-11 2017-02-15 杭州新迪数字工程系统有限公司 机动车斑马线未礼让行人自动抓拍的识别方法
US9672734B1 (en) * 2016-04-08 2017-06-06 Sivalogeswaran Ratnasingam Traffic aware lane determination for human driver and autonomous vehicle driving system
WO2018235154A1 (ja) * 2017-06-20 2018-12-27 株式会社日立製作所 走行制御システム
CN109035795A (zh) 2018-08-16 2018-12-18 武汉元鼎创天信息科技有限公司 一种礼让行人检测系统
US10475338B1 (en) * 2018-09-27 2019-11-12 Melodie Noel Monitoring and reporting traffic information
CN110490108B (zh) * 2019-08-08 2022-02-08 浙江大华技术股份有限公司 一种违章状态的标记方法、装置、存储介质及电子装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005283531A (ja) * 2004-03-31 2005-10-13 Equos Research Co Ltd 車載装置及びデータ作成装置
CN103183027A (zh) * 2011-12-28 2013-07-03 华为技术有限公司 车辆防撞方法和装置
CN103198659A (zh) * 2013-04-08 2013-07-10 长安大学 车辆通过人行横道时与行人抢道的抓拍装置及其抓拍方法
CN105448094A (zh) * 2015-12-31 2016-03-30 重庆云途交通科技有限公司 一种基于车路协同技术的逆行警告与风险规避方法
CN107161147A (zh) * 2017-05-04 2017-09-15 广州汽车集团股份有限公司 一种车辆防碰撞巡航控制系统及其控制方法
CN107248291A (zh) * 2017-07-14 2017-10-13 深圳云天励飞技术有限公司 机动车抢道判定方法、装置、监控处理设备及监控系统
US10217354B1 (en) * 2017-10-02 2019-02-26 Bertram V Burke Move over slow drivers cell phone technology
CN109741608A (zh) * 2019-01-29 2019-05-10 浙江浩腾电子科技股份有限公司 基于深度学习的机动车右转礼让行人分析抓拍系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
复杂场景中车辆违章检测及跟踪算法的研究与实现;程晓东;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20150515(第05期);I138-1060 *

Also Published As

Publication number Publication date
WO2021022759A1 (en) 2021-02-11
EP3983931A1 (en) 2022-04-20
US11790699B2 (en) 2023-10-17
CN110490108A (zh) 2019-11-22
EP3983931A4 (en) 2022-08-03
US20220139217A1 (en) 2022-05-05

Similar Documents

Publication Publication Date Title
CN110490108B (zh) 一种违章状态的标记方法、装置、存储介质及电子装置
CN107967806B (zh) 车辆套牌检测方法、装置、可读存储介质及电子设备
JP7371157B2 (ja) 車両監視方法、装置、電子機器、記憶媒体、コンピュータプログラム、クラウド制御プラットフォームおよび車路連携システム
US9336450B2 (en) Methods and systems for selecting target vehicles for occupancy detection
CN106355874B (zh) 一种违章车辆的监控和报警方法、装置及系统
CN109615864A (zh) 基于视频结构化的车辆拥堵分析方法、系统、终端及存储介质
CN109598940B (zh) 路口信号灯配时方法及装置
CN108491782A (zh) 一种基于行车图像采集的车辆识别方法
KR101951534B1 (ko) 교통 cctv 단속 시스템을 위한 통합 단속 방법 및 장치
CN111126323A (zh) 服务于交通违规检测的卡口元素识别与分析方法、系统
CN108932851A (zh) 一种记录机动车违法停车行为的方法及装置
CN110379172A (zh) 交通规则的生成方法及装置、存储介质、电子装置
CN112651398A (zh) 车辆的抓拍控制方法、装置及计算机可读存储介质
CN112447060A (zh) 识别车道的方法、装置及计算设备
CN112509353B (zh) 一种机器人的过路方法、装置、机器人和存储介质
CN113706908A (zh) 一种应急通道疏导方法、装置及设备
CN112863195A (zh) 车辆状态的确定方法及装置
US20180262678A1 (en) Vehicle camera system
CN113129581A (zh) 车辆信息的传输系统及方法、存储介质、电子装置
CN111768630A (zh) 一种违章废图检测方法、装置及电子设备
Choi et al. State Machine and Downhill Simplex Approach for Vision‐Based Nighttime Vehicle Detection
CN114022851A (zh) 目标识别方法、装置、电子设备、计算机可读存储介质
CN114299472A (zh) 异常行为的确定方法和装置、存储介质及电子装置
CN111526475A (zh) 目标车辆的追踪方法、装置、电子设备和存储介质
CN112528923A (zh) 视频分析方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant