CN112270258A - 一种非机动车的违规信息获取方法及装置 - Google Patents

一种非机动车的违规信息获取方法及装置 Download PDF

Info

Publication number
CN112270258A
CN112270258A CN202011166104.1A CN202011166104A CN112270258A CN 112270258 A CN112270258 A CN 112270258A CN 202011166104 A CN202011166104 A CN 202011166104A CN 112270258 A CN112270258 A CN 112270258A
Authority
CN
China
Prior art keywords
video frame
motor vehicle
illegal
global
detail
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011166104.1A
Other languages
English (en)
Other versions
CN112270258B (zh
Inventor
王维治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Infineon Information Co ltd
Original Assignee
Shenzhen Infinova Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Infinova Ltd filed Critical Shenzhen Infinova Ltd
Priority to CN202011166104.1A priority Critical patent/CN112270258B/zh
Priority claimed from CN202011166104.1A external-priority patent/CN112270258B/zh
Publication of CN112270258A publication Critical patent/CN112270258A/zh
Application granted granted Critical
Publication of CN112270258B publication Critical patent/CN112270258B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请提供一种非机动车的违规信息获取方法及装置，涉及智能安防监控技术领域，能够有效提高对非机动车的违规信息的获取准确率。该方法包括：获取全局视频帧以及细节视频帧；其中，全局视频帧与细节视频帧之间存在重叠的非机动车采集区域；当确定第一视频帧中存在违规非机动车时，根据全局视频帧与细节视频帧之间关于重叠的非机动车采集区域的标定关系，确定违规非机动车在第二视频帧中的位置信息；第一视频帧包括全局视频帧或者细节视频帧，第二视频帧包括全局视频帧或者细节视频帧，第一视频帧与第二视频帧不同；根据位置信息，将全局视频帧中违规非机动车与细节视频帧中违规非机动车进行关联，得到违规非机动车的违规信息。

Description

一种非机动车的违规信息获取方法及装置
技术领域
本申请涉及智能安防监控技术领域，尤其涉及一种非机动车的违规信息获取方法及装置。
背景技术
随着非机动车的日渐增多，非机动车的违规行为也越来越多。在现有技术中，第一摄像机可以在监控区域中获取全局视频帧，并通过全局视频帧获取到违规车辆的违规行为之后，控制第二摄像机追踪违规车辆，得到违规车辆的违规信息。第一摄像机控制第二摄像机进行追踪的过程中，可能会根据检测到的违规车辆的车辆特征(例如车辆颜色、车辆型号等)进行追踪，这样，若该监控区域中同时存在相同车辆特征的多个车辆，则可能会存在车辆追踪错误的问题，从而导致违规信息的准确性较差。
发明内容
本申请实施例提供了一种非机动车的违规信息获取方法及装置，能够提高非机动车的违规信息的获取准确率。
第一方面，本申请提供一种非机动车的违规信息获取方法，包括：获取全局视频帧以及细节视频帧；其中，所述全局视频帧与所述细节视频帧之间存在重叠的非机动车采集区域；当确定第一视频帧中存在违规非机动车时，根据所述全局视频帧与所述细节视频帧之间关于所述重叠的非机动车采集区域的标定关系，确定所述违规非机动车在第二视频帧中的位置信息；所述第一视频帧包括所述全局视频帧或者所述细节视频帧，所述第二视频帧包括所述全局视频帧或者所述细节视频帧，第一视频帧与所述第二视频帧不同；根据所述位置信息，将所述全局视频帧中违规非机动车与所述细节视频帧中违规非机动车进行关联，得到所述违规非机动车的违规信息。
可选地，所述方法应用于摄像机，所述摄像机包括第一摄像头以及第二摄像头，所述第一摄像头的视场角大于所述第二摄像头的视场角；
所述获取全局视频帧以及细节视频帧，包括：通过所述第一摄像头采集所述全局视频帧，以及通过所述第二摄像头采集所述细节视频帧。
可选地，所述第一视频帧包括所述全局视频帧，所述第二视频帧包括所述细节视频帧，所述确定第一视频帧中存在违规非机动车，包括：对所述全局视频帧标注停止行驶线以及右拐驶入线；若采集所述全局视频帧时，第一信号灯的状态为绿灯状态，所述全局视频帧中的第一非机动车越过所述停止行驶线，根据第一全局视频帧序列未检测到所述第一非机动车越过所述右拐驶入线，且根据所述第一全局视频帧序列检测到所述第一非机动车存在位置信息未发生变化，则确定所述第一非机动车存在越线停车违规行为，且所述第一非机动车为所述违规非机动车；其中，所述第一全局视频帧序列包括所述全局视频帧之后预设时间段内的多帧全局视频帧；
所述根据所述位置信息，将所述全局视频帧中违规非机动车与所述细节视频帧中违规非机动车进行关联，得到所述违规非机动车的违规信息，包括：根据所述位置信息，从所述细节视频帧中获取所述违规非机动车对应的身份信息；将所述全局视频帧中的违规非机动车与所述身份信息进行关联，得到所述违规非机动车的违规信息。
可选地，所述第一视频帧包括所述细节视频帧，所述第二视频帧包括所述全局视频帧，所述确定第一视频帧中存在违规非机动车，包括：对所述细节视频帧标注闯红灯区域；若采集所述细节视频帧时，第二信号灯的状态为红灯状态，且在所述闯红灯区域检测到第二非机动车，则确定所述第二非机动车存在闯红灯违规行为，且所述第二非机动车为所述违规非机动车；
所述根据所述位置信息，将所述全局视频帧中违规非机动车与所述细节视频帧中违规非机动车进行关联，得到所述违规非机动车的违规信息，包括：从所述细节视频帧中获取所述违规非机动车对应的身份信息；根据所述位置信息，获取所述全局视频帧中的违规非机动车，并将所述全局视频帧中的违规非机动车与所述身份信息进行关联，得到所述违规非机动车的违规信息。
可选地，所述第一视频帧包括所述全局视频帧，所述第二视频帧包括所述细节视频帧，所述确定第一视频帧中存在违规非机动车，包括：对所述全局视频帧标注多条逆行临界线以及关于所述多条逆行临界线的越线方向；若所述全局视频帧中的第三非机动车朝着所述越线方向，越过所述多条逆行临界线中的最后一条逆行临界线，则确定所述第三非机动车存在逆行违规行为，且所述第三非机动车为所述违规非机动车；
所述根据所述位置信息，将所述全局视频帧中违规非机动车与所述细节视频帧中违规非机动车进行关联，得到所述违规非机动车的违规信息，包括：根据所述位置信息，从所述细节视频帧中获取所述违规非机动车对应的身份信息；将所述全局视频帧中的违规非机动车与所述身份信息进行关联，得到所述违规非机动车的违规信息。
可选地，所述第一视频帧包括所述细节视频帧，所述第二视频帧包括所述全局视频帧，所述确定第一视频帧中存在违规非机动车，包括：针对所述细节视频帧中的第四非机动车进行人脸检测；若所述第四非机动车上检测到成年人脸的数量大于等于2，则确定所述第四非机动车存在超载违规行为，且所述第四非机动车为所述违规非机动车；
所述根据所述位置信息，将所述全局视频帧中违规非机动车与所述细节视频帧中违规非机动车进行关联，得到所述违规非机动车的违规信息，包括：从所述细节视频帧中获取所述违规非机动车对应的身份信息；根据所述位置信息，获取所述全局视频帧中的违规非机动车，并将所述全局视频帧中的违规非机动车与所述身份信息进行关联，得到所述违规非机动车的违规信息。
可选地，所述违规信息还包括以下至少一种：所述细节视频帧中的违规非机动车对应的非机动车图像、所述违规非机动车上承载用户的人脸图像、所述违规非机动车在所述全局视频帧中的位置标定信息、以及所述违规非机动车的违规类型。
采用本申请实施例所述的非机动车的违规信息获取方法，通过结合全局视频帧与细节视频帧对非机动车的违规行为进行检测的过程中，考虑到两种视频帧中存在重叠的非机动车采集区域，故本申请通过对两种视频帧中重叠的非机动车采集区域进行预先标定。这样，可以通过标定关系获取到两种视频帧中的同一违规非机动车，避免了现有技术中通过车辆特征进行追踪导致的车辆追踪错误的问题。
第二方面，本申请提供一种非机动车的违规信息获取装置，包括：
获取模块，用于获取全局视频帧以及细节视频帧；其中，所述全局视频帧与所述细节视频帧之间存在重叠的非机动车采集区域；
确定模块，用于当确定第一视频帧中存在违规非机动车时，根据所述全局视频帧与所述细节视频帧之间关于所述重叠的非机动车采集区域的标定关系，确定所述违规非机动车在第二视频帧中的位置信息；所述第一视频帧包括所述全局视频帧或者所述细节视频帧，所述第二视频帧包括所述全局视频帧或者所述细节视频帧，第一视频帧与所述第二视频帧不同；
关联模块，用于根据所述位置信息，将所述全局视频帧中违规非机动车与所述细节视频帧中违规非机动车进行关联，得到所述违规非机动车的违规信息。
第三方面，本申请提供一种非机动车的违规信息获取设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面或第一方面的任意可选方式所述的方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面的任意可选方式所述的方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在非机动车的违规信息获取设备上运行时，使得非机动车的违规信息获取设备执行第一方面或第一方面的任意可选方式所述方法的步骤。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种非机动车的违规信息获取方法的流程示意图；
图2是本申请实施例提供的视场角之间的对比示意图；
图3是本申请实施例提供的一种非机动车越线停车的示意图；
图4是本申请实施例提供的一种非机动车闯红灯的示意图；
图5是本申请实施例提供的一种非机动车逆行的示意图；
图6是本申请实施例提供的一种非机动车的违规信息获取装置的结构示意图；
图7是本申请实施例提供的一种非机动车的违规信息获取设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
还应当理解，在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
下面通过具体实施例，对本申请提供的非机动车的违规信息获取方法进行示例性的说明。
请参见图1，图1是本申请提供的一种非机动车的违规信息获取方法的示意流程图。本实施例中非机动车的违规信息获取方法的执行主体可以为非机动车的违规信息获取设备，该设备为具备摄像头的智能设备，该摄像头可以设置于该设备的外表面上，也可以与该设备独立设置，摄像头可以与该设备中的处理器进行通信。当然，执行主体还可以为具备数据处理能力的摄像机等等。为了便于理解，下面实施例是以执行主体包括摄像机为例进行说明的。
如图1所示，该非机动车的违规信息获取方法可以包括：
S101，获取全局视频帧以及细节视频帧；其中，所述全局视频帧与所述细节视频帧之间存在重叠的非机动车采集区域。
在本申请实施例中，摄像机可以为双目摄像机，也就是说，摄像机包括第一摄像头以及第二摄像头，并且第一摄像头的视场角大于第二摄像头的视场角。其中，第一摄像头使用短焦全局通道，第二摄像头使用长焦细节通道，故第一摄像头可以监控全局的交通状况，第二摄像头可以监控交通状况的细节部分。这样，通过双目摄像机实现了全局视频帧以及细节视频帧之间的时间同步性较好，即在同一采集时刻可以采集到全局视频帧以及细节视频帧，避免现有技术中通过两个摄像机采集对应的图像导致的时间同步性较差的问题。
可以理解的是，摄像机可以部署在非机动车事故频发路段的周围位置，或者，非机动车车道的周围位置，等等。
还应理解，考虑到逆行、闯红灯以及越线停车等涉及的场景较大，故第一摄像头的视场角调整地比较大，导致第一摄像头采集的全局视频帧中无法识别到违规非机动车的身份信息(如车牌号，和/或，非机动车承载用户的人脸图像)，这样需要进一步地通过第二摄像头采集细节视频帧对违规非机动车进行身份识别。
由于本申请需要针对同一时刻的全局视频帧以及细节视频帧，获取违规非机动车的违规信息，故本申请中的全局视频帧和细节视频帧分别标记有采集时刻(即通常所说的时间戳)。这样，在本步骤中，摄像机可以获取同一采集时刻的全局视频帧以及细节视频帧。
综上，获取全局视频帧以及细节视频帧，可以包括：通过第一摄像头采集全局视频帧，以及通过第二摄像头采集细节视频帧。
还应理解，考虑到本申请需要针对全局视频帧与细节视频帧进行违规非机动车的关联，故第一摄像头与第二摄像头存在重叠的非机动车采集区域。
可选地，第一摄像头与第二摄像头之间重叠的非机动车采集区域可以理解为：若第一摄像头覆盖的采集区域，与第二摄像头覆盖的采集区域，存在同一地理空间区域，则可以将该地理空间区域作为该重叠的非机动车采集区域。
示例性的，图2示出了一种不同视场角的比较示意图。图2中的摄像机安装在非机动车车道附近的某个固定位置处。如图2所示，第一摄像头的视场角为β1，第二摄像头的视场角为β2。故第一摄像头覆盖的采集区域包括视场角β1构成的区域，第二摄像头覆盖的采集区域包括视场角β2构成的区域，且第一摄像头与第二摄像头之间重叠的非机动车采集区域包括视场角β2构成的区域。上述示例只是示例性说明，本申请对此不作特殊限制。
S102，当确定第一视频帧中存在违规非机动车时，根据所述全局视频帧与所述细节视频帧之间关于所述重叠的非机动车采集区域的标定关系，确定所述违规非机动车在第二视频帧中的位置信息；所述第一视频帧包括所述全局视频帧或者所述细节视频帧，所述第二视频帧包括所述全局视频帧或者所述细节视频帧，所述第一视频帧与所述第二视频帧不同。
可以理解的是，全局视频帧与细节视频帧之间关于重叠的非机动车采集区域的标定关系可以理解为：在细节视频帧覆盖的全部采集区域属于全局视频帧覆盖的采集区域的情况下，第一摄像头与第二摄像头之间重叠的非机动车采集区域可以包括：第二摄像头覆盖的全部采集区域。这样，在全局视频帧中标注重叠的非机动车采集区域，并且构建全局视频帧中非机动车采集区域与细节视频帧之间像素的坐标转换关系。例如，全局视频帧中非机动车采集区域中的某个像素，与细节视频帧中的若干个像素，表示同一地理空间位置，故可以将该全局视频帧中非机动车采集区域中的某个像素，与细节视频帧中的若干个像素构建坐标转换关系。
还应理解，在细节视频帧覆盖的部分采集区域属于全局视频帧覆盖的采集区域的情况下，第一摄像头与第二摄像头之间重叠的非机动车采集区域可以包括：第二摄像头覆盖的部分采集区域。这样，在全局视频帧中标注重叠的非机动车采集区域，并且构建全局视频帧中非机动车采集区域与细节视频帧中部分采集区域之间像素的坐标转换关系。
在本申请实施例中，主要针对逆行、闯红灯、越线停车以及超载等违规行为进行示例性说明。
(1)针对越线停车场景
在越线停车场景中，斑马线附近的第一信号灯的状态为绿灯状态时，考虑到非机动车越过停止行驶线进行右拐不属于违规行为。本申请可以将该情况考虑在内，提高对越线停车的检测准确率。
图3示出了一种越线停车场景中的全局视频帧的示意图。如图3所示，需要同时对直行的非机动车车道1的行驶状况以及进行右拐后的非机动车车道2的行驶状况进行追踪，以及该场景中涉及的信号灯为斑马线附近的第一信号灯，而并非为路口中信号灯。这样，通过全局视频帧可以检测到非机动车是否存在越线停车。
综上，在越线停车场景中，第一视频帧包括全局视频帧，第二视频帧包括细节视频帧。此时，确定第一视频帧中存在违规非机动车，可以包括：对全局视频帧标注停止行驶线以及右拐驶入线；若采集全局视频帧时，第一信号灯的状态为绿灯状态，全局视频帧中的第一非机动车越过停止行驶线，根据第一全局视频帧序列未检测到第一非机动车越过右拐驶入线，且根据第一全局视频帧序列检测到第一非机动车存在位置信息未发生变化，则确定第一非机动车存在越线停车违规行为，且第一非机动车为所述违规非机动车；其中，第一全局视频帧序列包括全局视频帧之后预设时间段内的多帧全局视频帧。
如图3所示，停止行驶线用L1表示，右拐驶入线用L2表示，且第一信号灯D的状态为绿灯状态(即说明当前不允许直行)。可以理解的是，如图3所示，第一非机动车越过停止行驶线可以理解为：若第一非机动车处于停止行驶线L1的上侧，则确定第一非机动车越过停止行驶线；第一非机动车越过右拐驶入线可以理解为：若第一非机动车处于右拐驶入线L2的右侧，则确定第一非机动车越过右拐驶入线。根据第一全局视频帧序列检测到第一非机动车存在位置信息未发生变化包括：第一全局视频帧序列包括的连续指定帧中第一非机动车的位置信息不变，连续指定帧可以为连续的至少两帧。
如图3所示，在该全局视频帧中，第一非机动车已经越过停止行驶线L1。若在之后的一个预设时间段内采集的第一全局视频帧序列中，均不存在第一非机动车越过右拐驶入线L2，且在第一全局视频帧序列中的第一非机动车存在位置信息未发生变化(即说明第一非机动车存在停车操作)。这样，确定图3中的第一非机动车存在越线停车违规行为，且第一非机动车为违规非机动车。
可选地，第一信号灯的状态可以通过全局视频帧中第一信号灯的颜色特征确定。其中，当第一信号灯的颜色特征为红色时，确定第一信号灯的状态为红灯状态；当第一信号灯的颜色特征为绿色时，确定第一信号灯的状态为绿灯状态。
可选地，本申请考虑到全局视频帧中第一信号灯会由于光线的反射、下雨、或者下雪等多种因素影响，造成无法准确地识别到对应的颜色。基于此，本申请还可以通过信号灯检测器检测第一信号灯的状态，该信号灯检测器可以安装在第一信号灯上，并且信号灯检测器向摄像机同步第一信号灯的状态。这样，摄像机可以将全局视频帧与第一信号灯的状态构建映射关系。上述实施例只是示例性说明，本申请对此不作特殊限制。
(2)针对闯红灯场景
在闯红灯场景中，由于全局视频帧中需要包括路口中的第二信号灯，故全局视频帧覆盖的区域较大，这样，使得全局视频帧中的非机动车较小，故可能导致无法检测到闯红灯行为。在该情况下，本申请需要从细节视频帧中检测违规非机动车的闯红灯行为。
综上，在越线停车场景中，第一视频帧包括细节视频帧，第二视频帧包括全局视频帧。此时，确定第一视频帧中存在违规非机动车，可以包括：对细节视频帧标注闯红灯区域；若采集细节视频帧时，第二信号灯的状态为红灯状态，且在闯红灯区域检测到第二非机动车，则确定第二非机动车存在闯红灯违规行为，且第二非机动车为违规非机动车。
可选地，为了区分闯红灯违规行为与越线停车违规行为，故本申请可以将闯红灯区域设置在距离停止行驶线一定距离处。本申请对闯红灯区域的具体设置位置不作特殊限定。
还应理解，上述所述的第二信号灯为路口中的信号灯。以及，第二信号灯的状态可以通过上述所述的信号灯检测器获取到，具体内容不再赘述。
图4示出了一种闯红灯场景中的细节视频帧的示意图。如图4所示，在细节视频帧中标注有闯红灯区域S，且第二非机动车处于闯红灯区域S内，这样进一步地确定第二信号灯的状态是否为红灯状态，若为红灯状态，则可以确定第二非机动车存在闯红灯违规行为，且第二非机动车为违规非机动车。
(3)针对逆行场景
在逆行场景中，考虑到非机动车为了避让其他非机动车，可能存在倒车行为，这样，会误将倒车行为作为逆行行为。基于该问题，本申请需要检测到非机动车逆行一段距离时，确定该非机动车存在逆行行为。由于该段距离通过第二摄像头可能无法采集完整，故本申请需要从全局视频帧中检测违规非机动车的逆行行为。
综上，在逆行场景中，第一视频帧包括全局视频帧，第二视频帧包括细节视频帧。此时，确定第一视频帧中存在违规非机动车，可以包括：对全局视频帧标注多条逆行临界线以及关于多条逆行临界线的越线方向；若全局视频帧中的第三非机动车朝着越线方向，越过多条逆行临界线中的最后一条逆行临界线，则确定第三非机动车存在逆行违规行为，且第三非机动车为违规非机动车。
可选地，本申请还可以获取第二全局视频帧序列，并根据第二全局视频帧序列检测到第三非机动车朝着越线方向，越过多条逆行临界线中的至少一条逆行临界线，以及全局视频帧中的第三非机动车朝着越线方向，越过多条逆行临界线中的最后一条逆行临界线时，确定第三非机动车存在逆行违规行为，且第三非机动车为违规非机动车。其中，第二全局视频帧序列为全局视频帧之前预设时间段内的多帧全局视频帧。例如，第二全局视频帧序列可以为全局视频帧之前2秒内采集的多帧全局视频帧。
可以理解的是，上述最后一条逆行临界线与至少一条逆行临界线可以构成多条逆行临界线。其中，至少一条逆行临界线可以为多条逆行临界线中除最后一条逆行临界线外的逆行临界线；又或者，至少一条逆行临界线可以为多条逆行临界线中任一条逆行临界线，之后的逆行临界线。
还应理解，在全局视频帧中的第三非机动车朝着越线方向，越过多条逆行临界线中的最后一条逆行临界线可以包括：获取全局视频帧的上一全局视频帧，且在上一全局视频帧中获取第三非机动车的上一位置信息；这样，获取全局视频帧中第三非机动车的当前位置信息；若上一位置信息位于最后一条逆行临界线的一侧，或者位于最后一条逆行临界线之上，当前位置信息位于最后一条逆行临界线的另一侧，则可以确定第三非机动车越过最后一条逆行临界线。
应理解，摄像机可以通过对第三非机动车的追踪，获取上一全局视频帧中的第三非机动车；又或者，摄像机可以根据全局视频帧对应的细节视频帧，获取第三非机动车的身份信息，并根据第三非机动车的身份信息，获取上一全局视频帧中的第三非机动车。上述示例只是示例性说明，本申请对此不作特殊限制。
进一步地，可选地，以越线方向为X数轴正方向，以最后一条逆行临界线为Y数轴，获取当前位置信息与Y数轴之间的第一距离，以及获取上一位置信息与Y数轴之间的第二距离。若第一距离与第二距离之间的差值为正数，则可以确定第三非机动车朝着越线方向，越过最后一条逆行临界线；若第一距离与第二距离之间的差值为负数，则可以确定第三非机动车背离越线方向，越过最后一条逆行临界线。又或者，若第一距离大于第二距离，则可以确定第三非机动车朝着越线方向，越过最后一条逆行临界线；若第一距离小于第二距离，则可以确定第三非机动车背离越线方向，越过最后一条逆行临界线。
可选地，若全局视频帧可以识别到第三非机动车的车头部分或者车尾部分。则在全局视频帧中第三机动车的车头部分的朝向为越线方向，或，车尾部分的朝向为背离越线方向的情况下，确定第三非机动车朝着越线方向，越过最后一条逆行临界线。
如图5所示，以多条逆行临界线包括逆行临界线N1，逆行临界线N2以及逆行临界线N3为例进行说明。其中，逆行临界线N3为最后一条逆行临界线，虚线框中的第三非机动车用于表示上一全局视频帧中的第三非机动车，实线框中的第三非机动车用于表示当前的全局视频帧中的第三非机动车。由图5可见，第三非机动车朝着越线方向越过逆行临界线N3。故可以确定该第三非机动车存在逆行违规行为。
在可选实施例中，摄像机需要检测到第三非机动车朝着越线方向，越过逆行临界线N1、逆行临界线N2以及逆行临界线N3时，确定该第三非机动车存在逆行违规行为。
(4)针对超载场景
在超载场景中，考虑到非机动车可以搭载未成年人。而现有技术中仅通过检测非机动车上的人数确定是否超载，这样造成检测的准确率较差。
本申请检测非机动车上的人脸属于细节特征，故在超载场景中，第一视频帧包括细节视频帧，第二视频帧包括全局视频帧。此时，确定第一视频帧中存在违规非机动车，可以包括：针对细节视频帧中的第四非机动车上进行人脸检测；若第四非机动车上检测到成年人脸的数量大于等于2，则确定第四非机动车存在超载违规行为，且第四非机动车为违规非机动车。
可以理解的是，在非机动车的相关规定中，非机动车可以搭载未成年人，故针对非机动车上承载有一名成年人以及一名未成年人的情况，不作为违规行为。基于此，本申请实施例中需要检测人数的同时，还需要检测人脸类型，即判断人脸属于成年人脸或者非成年人脸。
进一步地，可以通过预先训练得到的人脸识别模型检测输入人脸的人脸类型。其中，需要预先采集成年人脸图像样本以及非成年人脸图像样本，并通过成年人脸图像样本以及非成年人脸图像样本进行模型训练得到人脸识别模型。示例性的，人脸识别模型可以为卷积神经网络(convolutional neural network，CNN)模型、支持向量机(supportvector machine，SVM)模型、或者通过深度学习算法得到的模型等等。
在本申请的一些实施例中，还考虑到非机动车存在加装伞具、以及承载人员未佩戴头盔等违规行为，针对该违规行为，第一视频帧包括细节视频帧，第二视频帧包括全局视频帧。这样，确定第一视频帧中存在违规非机动车，可以包括：摄像机可以根据细节视频帧对非机动车进行属性提取，得到非机动车的属性信息。其中，属性信息可以包括：非机动车上的承载人员是否佩戴头盔，以及，非机动车上是否加装伞具等。由此可见，摄像机可以根据非机动车的属性信息确定非机动车存在加装伞具、以及承载人员未佩戴头盔等违规行为。
在本申请的另一些实施例中，摄像机还可以根据细节视频帧对非机动车进行类别识别，得到非机动车的类型。其中，非机动车的类型可以包括自行车和非自行车。由于本申请不针对自行车进行违规行为检测，故摄像机在检测到非机动车为非自行车的情况下，执行S102。
可以理解的是，上述所述的属性提取以及类别识别均可以通过属性识别模型得到。进一步地，本申请可以采集非机动车图像样本，其中，该非机动车图像样本中可以包括：非机动车上承载人员佩戴头盔的图像样本，非机动车上承载人员未佩戴头盔的图像样本，非机动车上加装有伞具的图像样本，非机动车上未加装伞具的图像样本，自行车的图像样本，以及非自行车的图像样本等等。这样，通过非机动车图像样本对预设的深度学习网络进行模型训练以及模型调优，得到属性识别模型。
可选地，训练得到的属性识别模型可能无法适应属性提取以及类别识别，因此本申请还可以根据非机动车上承载人员佩戴头盔的图像样本，以及非机动车上承载人员未佩戴头盔的图像样本，训练一个用于识别非机动车上承载人员是否佩戴头盔的属性识别模型；根据非机动车上加装有伞具的图像样本，以及非机动车上未加装伞具的图像样本，训练一个用于识别非机动车是否加装伞具的属性识别模型；根据自行车的图像样本，以及非自行车的图像样本，训练一个用于识别非机动车是否为自行车的属性识别模型。这样，一定程度上提高了检测的准确率。
综上所述，本申请考虑到全局视频帧覆盖的采集区域较大，且全局视频帧中的违规非机动车较小；而细节视频帧覆盖的采集区域较小，且细节视频帧中的违规非机动车较大。这样，本申请可以结合全局视频帧与细节视频帧对非机动车的违规行为进行检测。
S103，根据所述位置信息，将所述全局视频帧中违规非机动车与所述细节视频帧中违规非机动车进行关联，得到所述违规非机动车的违规信息。
在本申请的一些实施例中，违规信息还可以包括以下至少一种：细节视频帧中的违规非机动车对应的非机动车图像、违规非机动车上承载用户的人脸图像、违规非机动车在全局视频帧中的位置标定信息、以及违规非机动车的违规类型。
下面针对S102中的各个场景分别进行说明：
(1)针对越线停车场景
本申请实施例可以根据位置信息，从细节视频帧中获取违规非机动车对应的身份信息；将全局视频帧中的违规非机动车与身份信息进行关联，得到违规非机动车的违规信息。
其中，身份信息可以包括车牌标识，和/或，违规非机动车上承载用户的人脸图像。
可以理解的是，本申请可以根据位置信息，在细节视频帧中查找到违规非机动车；接着对违规非机动车上的承载用户进行人脸特征提取，若人脸特征提取成功，则可以获取该承载用户的人脸图像；若人脸特征提取失败，则可以对违规非机动车上的车牌进行识别，得到车牌标识。
可选地，本申请为了保证信息完整性较好，故在人脸特征提取成功的情况下，也可以进一步地对违规非机动车上的车牌进行识别，得到车牌标识。
在本申请的一些实施例中，本申请可以在全局视频帧中违规非机动车的预设位置范围内展示身份标识；或者，可以将全局视频帧中违规非机动车圈中，并且在全局视频帧周围的预设位置处展示身份标识。上述示例只是举例说明，本申请对此不作限定。
(2)针对闯红灯场景
本申请实施例可以从细节视频帧中获取违规非机动车对应的身份信息；以及根据位置信息，获取全局视频帧中的违规非机动车，并将全局视频帧中的违规非机动车与身份信息进行关联，得到违规非机动车的违规信息。
身份信息以及关联过程的具体内容可以参考越线停车场景中的内容，此处不再赘述。
(3)针对逆行场景
本申请实施例可以根据位置信息，从细节视频帧中获取违规非机动车对应的身份信息；以及，将全局视频帧中的违规非机动车与身份信息进行关联，得到违规非机动车的违规信息。
身份信息以及关联过程的具体内容可以参考越线停车场景中的内容，此处不再赘述。
(4)针对超载场景
本申请实施例可以从细节视频帧中获取违规非机动车对应的身份信息；以及，根据位置信息，获取全局视频帧中的违规非机动车，并将所述全局视频帧中的违规非机动车与身份信息进行关联，得到违规非机动车的违规信息。
身份信息以及关联过程的具体内容可以参考越线停车场景中的内容，此处不再赘述。
针对非机动车存在加装伞具、以及非机动车上承载人员未佩戴头盔等违规行为，在本申请的一些实施例中，本申请可以从细节视频帧中获取违规非机动车对应的身份信息；以及将身份信息与细节视频帧中违规非机动车进行关联。
可选地，本申请还可以从细节视频帧中获取违规非机动车对应的身份信息；以及根据位置信息，获取全局视频帧中的违规非机动车，并将全局视频帧中的违规非机动车与身份信息进行关联，得到违规非机动车的违规信息。
在本申请的一些可选实施例中，摄像机可以向处理平台发送违规非机动车的违规信息，用于处理平台中的工作人员基于违规信息，对违规人员进行身份识别以及违规业务处理。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
采用本申请实施例中所述的方法，本申请在结合全局视频帧与细节视频帧对非机动车的违规行为进行检测的过程中，考虑到两种视频帧中存在重叠的非机动车采集区域，故本申请通过对两种视频帧中重叠的非机动车采集区域进行预先标定。这样，可以通过标定关系获取到两种视频帧中的同一违规非机动车，避免了现有技术中通过车辆特征进行追踪导致的车辆追踪错误的问题。
基于上述实施例所提供的非机动车的违规信息获取方法，本发明实施例进一步给出实现上述方法实施例的装置实施例。
请参见图6，图6是本申请实施例提供的非机动车的违规信息获取装置的示意图。包括的各模块用于执行图1对应的实施例中的各步骤。具体请参阅图1对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。参见图6，非机动车的违规信息获取装置6包括：
获取模块61，用于获取全局视频帧以及细节视频帧；其中，所述全局视频帧与所述细节视频帧之间存在重叠的非机动车采集区域；
确定模块62，用于当确定第一视频帧中存在违规非机动车时，根据所述全局视频帧与所述细节视频帧之间关于所述重叠的非机动车采集区域的标定关系，确定所述违规非机动车在第二视频帧中的位置信息；所述第一视频帧包括所述全局视频帧或者所述细节视频帧，所述第二视频帧包括所述全局视频帧或者所述细节视频帧，第一视频帧与所述第二视频帧不同；
关联模块63，用于根据所述位置信息，将所述全局视频帧中违规非机动车与所述细节视频帧中违规非机动车进行关联，得到所述违规非机动车的违规信息。
可选地，所述方法应用于摄像机，所述摄像机包括第一摄像头以及第二摄像头，所述第一摄像头的视场角大于所述第二摄像头的视场角；
所述获取全局视频帧以及细节视频帧，包括：
通过所述第一摄像头采集所述全局视频帧，以及通过所述第二摄像头采集所述细节视频帧。
可选地，所述第一视频帧包括所述全局视频帧，所述第二视频帧包括所述细节视频帧，
确定模块62，进一步用于对所述全局视频帧标注停止行驶线以及右拐驶入线；若采集所述全局视频帧时，第一信号灯的状态为绿灯状态，所述全局视频帧中的第一非机动车越过所述停止行驶线，根据第一全局视频帧序列未检测到所述第一非机动车越过所述右拐驶入线，且根据所述第一全局视频帧序列检测到所述第一非机动车存在位置信息未发生变化，则确定所述第一非机动车存在越线停车违规行为，且所述第一非机动车为所述违规非机动车；其中，所述第一全局视频帧序列包括所述全局视频帧之后预设时间段内的多帧全局视频帧；
关联模块63，进一步用于根据所述位置信息，从所述细节视频帧中获取所述违规非机动车对应的身份信息；将所述全局视频帧中的违规非机动车与所述身份信息进行关联，得到所述违规非机动车的违规信息。
可选地，所述第一视频帧包括所述细节视频帧，所述第二视频帧包括所述全局视频帧，确定模块62，进一步用于对所述细节视频帧标注闯红灯区域；若采集所述细节视频帧时，第二信号灯的状态为红灯状态，且在所述闯红灯区域检测到第二非机动车，则确定所述第二非机动车存在闯红灯违规行为，且所述第二非机动车为所述违规非机动车；
关联模块63，进一步用于从所述细节视频帧中获取所述违规非机动车对应的身份信息；根据所述位置信息，获取所述全局视频帧中的违规非机动车，并将所述全局视频帧中的违规非机动车与所述身份信息进行关联，得到所述违规非机动车的违规信息。
可选地，所述第一视频帧包括所述全局视频帧，所述第二视频帧包括所述细节视频帧，确定模块62，进一步用于对所述全局视频帧标注多条逆行临界线以及关于所述多条逆行临界线的越线方向；若所述全局视频帧中的第三非机动车朝着所述越线方向，越过所述多条逆行临界线中的最后一条逆行临界线，则确定所述第三非机动车存在逆行违规行为，且所述第三非机动车为所述违规非机动车；
关联模块63，进一步用于根据所述位置信息，从所述细节视频帧中获取所述违规非机动车对应的身份信息；将所述全局视频帧中的违规非机动车与所述身份信息进行关联，得到所述违规非机动车的违规信息。
可选地，所述第一视频帧包括所述细节视频帧，所述第二视频帧包括所述全局视频帧，确定模块62，进一步用于针对所述细节视频帧中的第四非机动车进行人脸检测；若所述第四非机动车上检测到成年人脸的数量大于等于2，则确定所述第四非机动车存在超载违规行为，且所述第四非机动车为所述违规非机动车；
关联模块63，进一步用于从所述细节视频帧中获取所述违规非机动车对应的身份信息；根据所述位置信息，获取所述全局视频帧中的违规非机动车，并将所述全局视频帧中的违规非机动车与所述身份信息进行关联，得到所述违规非机动车的违规信息。
可选地，所述违规信息还包括以下至少一种：所述细节视频帧中的违规非机动车对应的非机动车图像、所述违规非机动车上承载用户的人脸图像、所述违规非机动车在所述全局视频帧中的位置标定信息、以及所述违规非机动车的违规类型。
需要说明的是，上述模块之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
图7是本申请实施例提供的非机动车的违规信息获取设备的示意图。如图7所示，该实施例的非机动车的违规信息获取设备7包括：处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机程序72，例如非机动车的违规信息获取程序。处理器70执行所述计算机程序72时实现上述各个非机动车的违规信息获取方法实施例中的步骤，例如图1所示的S101-S103。或者，所述处理器70执行所述计算机程序72时实现上述各装置实施例中各模块/单元的功能，例如图6所示获取模块61和确定模块62以及关联模块63的功能。
示例性的，所述计算机程序72可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器71中，并由处理器70执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序72在所述非机动车的违规信息获取设备7中的执行过程。例如，所述计算机程序72可以被分割成获取模块、检测模块，各模块具体功能请参阅图1对应地实施例中地相关描述，此处不赘述。
所述非机动车的违规信息获取设备可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是非机动车的违规信息获取设备7的示例，并不构成对非机动车的违规信息获取设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述非机动车的违规信息获取设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器71可以是所述非机动车的违规信息获取设备7的内部存储单元，例如非机动车的违规信息获取设备7的硬盘或内存。所述存储器71也可以是所述非机动车的违规信息获取设备7的外部存储设备，例如所述非机动车的违规信息获取设备7上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器71还可以既包括所述非机动车的违规信息获取设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机程序以及所述非机动车的违规信息获取设备所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述非机动车的违规信息获取方法。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在非机动车的违规信息获取设备上运行时，使得非机动车的违规信息获取设备执行时实现可实现上述非机动车的违规信息获取方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种非机动车的违规信息获取方法，其特征在于，所述方法包括：
获取全局视频帧以及细节视频帧；其中，所述全局视频帧与所述细节视频帧之间存在重叠的非机动车采集区域；
当确定第一视频帧中存在违规非机动车时，根据所述全局视频帧与所述细节视频帧之间关于所述重叠的非机动车采集区域的标定关系，确定所述违规非机动车在第二视频帧中的位置信息；所述第一视频帧包括所述全局视频帧或者所述细节视频帧，所述第二视频帧包括所述全局视频帧或者所述细节视频帧，所述第一视频帧与所述第二视频帧不同；
根据所述位置信息，将所述全局视频帧中违规非机动车与所述细节视频帧中违规非机动车进行关联，得到所述违规非机动车的违规信息。
2.根据权利要求1所述的方法，其特征在于，所述方法应用于摄像机，所述摄像机包括第一摄像头以及第二摄像头，所述第一摄像头的视场角大于所述第二摄像头的视场角；
所述获取全局视频帧以及细节视频帧，包括：
通过所述第一摄像头采集所述全局视频帧，以及通过所述第二摄像头采集所述细节视频帧。
3.根据权利要求1或2所述的方法，其特征在于，所述第一视频帧包括所述全局视频帧，所述第二视频帧包括所述细节视频帧，
所述确定第一视频帧中存在违规非机动车，包括：
对所述全局视频帧标注停止行驶线以及右拐驶入线；
若采集所述全局视频帧时，第一信号灯的状态为绿灯状态，所述全局视频帧中的第一非机动车越过所述停止行驶线，根据第一全局视频帧序列未检测到所述第一非机动车越过所述右拐驶入线，且根据所述第一全局视频帧序列检测到所述第一非机动车存在位置信息未发生变化，则确定所述第一非机动车存在越线停车违规行为，且所述第一非机动车为所述违规非机动车；其中，所述第一全局视频帧序列包括所述全局视频帧之后预设时间段内的多帧全局视频帧；
所述根据所述位置信息，将所述全局视频帧中违规非机动车与所述细节视频帧中违规非机动车进行关联，得到所述违规非机动车的违规信息，包括：
根据所述位置信息，从所述细节视频帧中获取所述违规非机动车对应的身份信息；
将所述全局视频帧中的违规非机动车与所述身份信息进行关联，得到所述违规非机动车的违规信息。
4.根据权利要求1或2所述的方法，其特征在于，所述第一视频帧包括所述细节视频帧，所述第二视频帧包括所述全局视频帧，
所述确定第一视频帧中存在违规非机动车，包括：
对所述细节视频帧标注闯红灯区域；
若采集所述细节视频帧时，第二信号灯的状态为红灯状态，且在所述闯红灯区域检测到第二非机动车，则确定所述第二非机动车存在闯红灯违规行为，且所述第二非机动车为所述违规非机动车；
所述根据所述位置信息，将所述全局视频帧中违规非机动车与所述细节视频帧中违规非机动车进行关联，得到所述违规非机动车的违规信息，包括：
从所述细节视频帧中获取所述违规非机动车对应的身份信息；
根据所述位置信息，获取所述全局视频帧中的违规非机动车，并将所述全局视频帧中的违规非机动车与所述身份信息进行关联，得到所述违规非机动车的违规信息。
5.根据权利要求1或2所述的方法，其特征在于，所述第一视频帧包括所述全局视频帧，所述第二视频帧包括所述细节视频帧，
所述确定第一视频帧中存在违规非机动车，包括：
对所述全局视频帧标注多条逆行临界线以及关于所述多条逆行临界线的越线方向；
若所述全局视频帧中的第三非机动车朝着所述越线方向，越过所述多条逆行临界线中的最后一条逆行临界线，则确定所述第三非机动车存在逆行违规行为，且所述第三非机动车为所述违规非机动车；
所述根据所述位置信息，将所述全局视频帧中违规非机动车与所述细节视频帧中违规非机动车进行关联，得到所述违规非机动车的违规信息，包括：
根据所述位置信息，从所述细节视频帧中获取所述违规非机动车对应的身份信息；
将所述全局视频帧中的违规非机动车与所述身份信息进行关联，得到所述违规非机动车的违规信息。
6.根据权利要求1或2所述的方法，其特征在于，所述第一视频帧包括所述细节视频帧，所述第二视频帧包括所述全局视频帧，
所述确定第一视频帧中存在违规非机动车，包括：
针对所述细节视频帧中的第四非机动车进行人脸检测；
若所述第四非机动车上检测到成年人脸的数量大于等于2，则确定所述第四非机动车存在超载违规行为，且所述第四非机动车为所述违规非机动车；
所述根据所述位置信息，将所述全局视频帧中违规非机动车与所述细节视频帧中违规非机动车进行关联，得到所述违规非机动车的违规信息，包括：
从所述细节视频帧中获取所述违规非机动车对应的身份信息；
根据所述位置信息，获取所述全局视频帧中的违规非机动车，并将所述全局视频帧中的违规非机动车与所述身份信息进行关联，得到所述违规非机动车的违规信息。
7.根据权利要求1或2所述的方法，其特征在于，所述违规信息还包括以下至少一种：所述细节视频帧中的违规非机动车对应的非机动车图像、所述违规非机动车上承载用户的人脸图像、所述违规非机动车在所述全局视频帧中的位置标定信息、以及所述违规非机动车的违规类型。
8.一种非机动车的违规信息获取装置，其特征在于，包括：
获取模块，用于获取全局视频帧以及细节视频帧；其中，所述全局视频帧与所述细节视频帧之间存在重叠的非机动车采集区域；
确定模块，用于当确定第一视频帧中存在违规非机动车时，根据所述全局视频帧与所述细节视频帧之间关于所述重叠的非机动车采集区域的标定关系，确定所述违规非机动车在第二视频帧中的位置信息；所述第一视频帧包括所述全局视频帧或者所述细节视频帧，所述第二视频帧包括所述全局视频帧或者所述细节视频帧，所述第一视频帧与所述第二视频帧不同；
关联模块，用于根据所述位置信息，将所述全局视频帧中违规非机动车与所述细节视频帧中违规非机动车进行关联，得到所述违规非机动车的违规信息。
9.一种非机动车的违规信息获取设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN202011166104.1A 2020-10-27 一种非机动车的违规信息获取方法及装置 Active CN112270258B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011166104.1A CN112270258B (zh) 2020-10-27 一种非机动车的违规信息获取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011166104.1A CN112270258B (zh) 2020-10-27 一种非机动车的违规信息获取方法及装置

Publications (2)

Publication Number Publication Date
CN112270258A true CN112270258A (zh) 2021-01-26
CN112270258B CN112270258B (zh) 2024-09-06

Family

ID=

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113602401A (zh) * 2021-08-12 2021-11-05 上海钧正网络科技有限公司 一种危险驾驶监测方法、装置、设备和存储介质
CN115294774A (zh) * 2022-06-20 2022-11-04 桂林电子科技大学 基于深度学习的非机动车道路违停检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130266190A1 (en) * 2012-04-06 2013-10-10 Xerox Corporation System and method for street-parking-vehicle identification through license plate capturing
US20140267733A1 (en) * 2013-03-12 2014-09-18 Xerox Corporation Single camera video-based speed enforcement system with a secondary auxiliary rgb traffic camera
WO2020000251A1 (zh) * 2018-06-27 2020-01-02 潍坊学院 基于摄像机协同接力的路口违章视频识别方法
CN110782677A (zh) * 2019-11-25 2020-02-11 湖南车路协同智能科技有限公司 一种违规车辆抓拍警示方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130266190A1 (en) * 2012-04-06 2013-10-10 Xerox Corporation System and method for street-parking-vehicle identification through license plate capturing
US20140267733A1 (en) * 2013-03-12 2014-09-18 Xerox Corporation Single camera video-based speed enforcement system with a secondary auxiliary rgb traffic camera
WO2020000251A1 (zh) * 2018-06-27 2020-01-02 潍坊学院 基于摄像机协同接力的路口违章视频识别方法
CN110782677A (zh) * 2019-11-25 2020-02-11 湖南车路协同智能科技有限公司 一种违规车辆抓拍警示方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113602401A (zh) * 2021-08-12 2021-11-05 上海钧正网络科技有限公司 一种危险驾驶监测方法、装置、设备和存储介质
CN115294774A (zh) * 2022-06-20 2022-11-04 桂林电子科技大学 基于深度学习的非机动车道路违停检测方法及装置
CN115294774B (zh) * 2022-06-20 2023-12-29 桂林电子科技大学 基于深度学习的非机动车道路违停检测方法及装置

Similar Documents

Publication Publication Date Title
US10296794B2 (en) On-demand artificial intelligence and roadway stewardship system
AU2019235551B2 (en) On-demand artificial intelligence and roadway stewardship system
CN105702048B (zh) 基于行车记录仪的高速公路前车违法占道识别系统及方法
CN104537841B (zh) 无牌车辆违章检测方法及其检测系统
CN109345829B (zh) 无人车的监控方法、装置、设备及存储介质
WO2019223655A1 (zh) 非机动车载人的检测
CN110738150B (zh) 相机联动抓拍方法、装置以及计算机存储介质
CN102289934B (zh) 视频自动监控车辆违法越线行驶系统及方法
CN103824452A (zh) 一种轻量级的基于全景视觉的违章停车检测装置
KR101001302B1 (ko) 코너정보를 이용한 끼어들기 위반차량 검지시스템 및 그 방법
CN113055823B (zh) 一种基于路侧停车管理共享单车的方法及装置
CN111583660B (zh) 车辆转向行为检测方法、装置、设备及存储介质
CN113033275B (zh) 基于深度学习的车辆变道不打转向灯分析系统
US20200250970A1 (en) Information processing apparatus, information processing method and program
CN114141022A (zh) 应急车道占用行为检测方法、装置、电子设备及存储介质
CN111753593A (zh) 车载环视系统骑行车实时检测方法、系统及装置
CN114693722B (zh) 一种车辆行驶行为检测方法、检测装置及检测设备
KR101859329B1 (ko) 주정차 단속 시스템
CN110782485A (zh) 一种车辆变道检测方法及装置
Chen et al. Video-based on-road driving safety system with lane detection and vehicle detection
CN112270258A (zh) 一种非机动车的违规信息获取方法及装置
CN112270258B (zh) 一种非机动车的违规信息获取方法及装置
CN112686136B (zh) 一种对象检测方法、装置及系统
Nalavde et al. Driver assistant services using ubiquitous smartphone
CN114494938A (zh) 一种非机动车行为识别方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221228

Address after: 518000 Yingfei Haocheng Science Park, Guansheng 5th Road, Luhu Community, Guanhu Street, Longhua District, Shenzhen, Guangdong 1515

Applicant after: Shenzhen Infineon Information Co.,Ltd.

Address before: 3 / F, building H-3, East Industrial Zone, Huaqiaocheng, Nanshan District, Shenzhen, Guangdong 518000

Applicant before: SHENZHEN INFINOVA Ltd.

TA01 Transfer of patent application right
GR01 Patent grant