CN111260932A - 车辆违法行为的确定方法、装置、计算机设备和存储介质 - Google Patents

车辆违法行为的确定方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111260932A
CN111260932A CN202010060979.7A CN202010060979A CN111260932A CN 111260932 A CN111260932 A CN 111260932A CN 202010060979 A CN202010060979 A CN 202010060979A CN 111260932 A CN111260932 A CN 111260932A
Authority
CN
China
Prior art keywords
target
vehicle
image
determining
target vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010060979.7A
Other languages
English (en)
Inventor
周康明
王赛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN202010060979.7A priority Critical patent/CN111260932A/zh
Publication of CN111260932A publication Critical patent/CN111260932A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及一种车辆违法行为的确定方法、装置、计算机设备和存储介质。所述方法包括：获取当前道路的多个目标监控图像，每个所述目标监控图像中包括目标车辆，所述多个目标监控图像之间的拍摄间隔小于第一预设时长；根据各所述目标监控图像中所述目标车辆的姿态，确定所述目标车辆的行车状态；根据所述当前道路对应的行车交通规则和所述行车状态，确定所述目标车辆是否存在违法行为。采用本方法能够节省人力时间，提高复核效率。

Description

车辆违法行为的确定方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像识别技术领域，特别是涉及一种车辆违法行为的确定方法、装置、计算机设备和存储介质。
背景技术
随着社会的发展，机动车辆越来越多。为了规范机动车辆的行车，通常会在道路中设置摄像头，由摄像头监控机动车辆的行车过程，进而根据监控图像来判断机动车辆是否存在违法行为。
目前，对于存在违法嫌疑的目标车辆，采用人工复核的方式来确定监控图像中的目标车辆是否真正违法。例如，由执法人员根据监控图像确定目标车辆是否真正在禁止掉头的路口掉头。
但是，人工复核比较耗费人力，并且需要复核的数据量较大，也影响复核效率。
发明内容
基于此，有必要针对上述技术问题，提供一种能够在复核过程中节省人力时间，提高复核效率的车辆违法行为的确定方法、装置、计算机设备和存储介质。
一种车辆违法行为的确定方法，该方法包括：
获取当前道路的多个目标监控图像，每个目标监控图像中包括目标车辆，多个目标监控图像之间的拍摄间隔小于第一预设时长；
根据各目标监控图像中目标车辆的姿态，确定目标车辆的行车状态；
根据当前道路对应的行车交通规则和行车状态，确定目标车辆是否存在违法行为。
在其中一个实施例中，在上述根据各目标监控图像中目标车辆的姿态，确定目标车辆的行车状态之前，该方法还包括：
将各目标监控图像中目标车辆的图像输入到预先训练的分类模型中，得到各目标监控图像中目标车辆的姿态；目标车辆的姿态包括车头朝向路口和车尾朝向路口中的一种。
在其中一个实施例中，上述根据各目标监控图像中目标车辆的姿态，确定目标车辆的行车状态，包括：
若多个目标监控图像中同时存在车头朝向路口和车尾朝向路口两种姿态，则确定行车状态为掉头；
若多个目标监控图像中单独存在车头朝向路口的姿态或者单独存在车尾朝向路口的姿态，则确定行车状态为未掉头。
在其中一个实施例中，上述根据当前道路对应的行车交通规则和行车状态，确定目标车辆是否存在违法行为，包括：
从目标监控图像中识别出当前道路的交通标志；
若交通标志为禁止掉头标志，且行车状态为掉头，则确定目标车辆存在违法行为。
在其中一个实施例中，该方法还包括：
若交通标志不为禁止掉头标志，或行车状态为未掉头，则确定目标车辆未违法。
在其中一个实施例中，上述获取当前道路的多个目标监控图像，包括：
获取当前道路的多个监控图像，多个监控图像之间的拍摄间隔小于第二预设时长；
对每个监控图像进行车辆识别处理，得到每个监控图像的车辆图像；
根据车辆图像，将多个监控图像中包括目标车辆的监控图像作为目标监控图像。
在其中一个实施例中，上述根据车辆图像，将多个监控图像中包括目标车辆的监控图像作为目标监控图像，包括：
对车辆图像进行检测，得到车辆图像中的车牌图像；
对各车牌图像进行识别，得到各车牌图像对应的候选车牌号码；
分别将各候选车牌号码与预设车牌号码进行比对，若候选车牌号码与预设车牌号码匹配，则将候选车牌号码对应的监控图像确定为目标监控图像。
在其中一个实施例中，该方法还包括：
若监控图像中的候选车牌号码均与预设车牌号码不匹配，则将监控图像中的各车辆图像与目标车辆的图像进行比较；
若存在与目标车辆的图像匹配的车辆图像，则将监控图像确定为目标监控图像。
一种车辆违法行为的确定装置，所述装置包括：
目标监控图像获取模块，用于获取当前道路的多个目标监控图像，每个目标监控图像中包括目标车辆，多个目标监控图像之间的拍摄间隔小于第一预设时长；
行车状态确定模块，用于根据各目标监控图像中目标车辆的姿态，确定目标车辆的行车状态；
第一违法行为确定模块，用于根据当前道路对应的行车交通规则和行车状态，确定目标车辆是否存在违法行为。
在其中一个实施例中，该装置还包括：
车辆姿态获得模块，用于将各目标监控图像中目标车辆的图像输入到预先训练的分类模型中，得到各目标监控图像中目标车辆的姿态；目标车辆的姿态包括车头朝向路口和车尾朝向路口中的一种。
在其中一个实施例中，上述行车状态确定模块，具体用于若多个目标监控图像中同时存在车头朝向路口和车尾朝向路口两种姿态，则确定行车状态为掉头；若多个目标监控图像中单独存在车头朝向路口的姿态或者单独存在车尾朝向路口的姿态，则确定行车状态为未掉头。
在其中一个实施例中，上述第一违法行为确定模块，具体用于从目标监控图像中识别出当前道路的交通标志；若交通标志为禁止掉头标志，且行车状态为掉头，则确定目标车辆存在违法行为。
在其中一个实施例中，该装置还包括：
第二违法行为确定模块，用于若交通标志不为禁止掉头标志，或行车状态为未掉头，则确定目标车辆未违法。
在其中一个实施例中，上述目标监控图像获取模块，具体用于获取当前道路的多个监控图像，多个监控图像之间的拍摄间隔小于第二预设时长；对每个监控图像进行车辆识别处理，得到每个监控图像的车辆图像；根据车辆图像，将多个监控图像中包括目标车辆的监控图像作为目标监控图像。
在其中一个实施例中，上述目标监控图像获取模块，具体用于对车辆图像进行检测，得到车辆图像中的车牌图像；对各车牌图像进行识别，得到各车牌图像对应的候选车牌号码；分别将各候选车牌号码与预设车牌号码进行比对，若候选车牌号码与预设车牌号码匹配，则将候选车牌号码对应的监控图像确定为目标监控图像。
在其中一个实施例中，上述目标监控图像获取模块，还用于若监控图像中的候选车牌号码均与预设车牌号码不匹配，则将监控图像中的各车辆图像与目标车辆的图像进行比较；若存在与目标车辆的图像匹配的车辆图像，则将监控图像确定为目标监控图像。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取当前道路的多个目标监控图像，每个目标监控图像中包括目标车辆，多个目标监控图像之间的拍摄间隔小于第一预设时长；
根据各目标监控图像中目标车辆的姿态，确定目标车辆的行车状态；
根据当前道路对应的行车交通规则和行车状态，确定目标车辆是否存在违法行为。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取当前道路的多个目标监控图像，每个目标监控图像中包括目标车辆，多个目标监控图像之间的拍摄间隔小于第一预设时长；
根据各目标监控图像中目标车辆的姿态，确定目标车辆的行车状态；
根据当前道路对应的行车交通规则和行车状态，确定目标车辆是否存在违法行为。
上述车辆违法行为的确定方法、装置、计算机设备和存储介质，获取当前道路的多个目标监控图像，根据各目标监控图像中目标车辆的姿态，确定目标车辆的行车状态；根据当前道路对应的行车交通规则和行车状态，确定目标车辆是否存在违法行为。通过本申请实施例，可以在目标车辆存在违法嫌疑时实现自动复核，因此可以节省复核的人力和时间，并且提高复核效率。
附图说明
图1为一个实施例中车辆违法行为的确定方法的应用环境图；
图2为一个实施例中车辆违法行为的确定方法的流程示意图；
图3为一个实施例中确定目标车辆的行车状态步骤的流程示意图；
图4为另一个实施例中车辆违法行为的确定方法的流程示意图；
图5为一个实施例中车辆违法行为的确定装置的结构框图之一；
图6为一个实施例中车辆违法行为的确定装置的结构框图之二；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
目前，对于存在违法嫌疑的目标车辆，通常会由执法人员根据监控图像判断嫌疑车辆是否真正存在违法行为。例如，由执法人员根据监控图像确定嫌疑车辆是否真正在禁止掉头的路口掉头。但是，由于需要人工复核的嫌疑车辆数量众多，因此不仅耗时耗力，而且复核效率很低。
本申请实施例中，获取目标监控图像，根据目标监控图像确定存在嫌疑的目标车辆的行车状态，进而根据目标车辆的行车状态和当前道路对应的行车交通规则确定目标车辆是否存在违法行为。这样，可以自动进行复核，不仅省时省力，而且提高了复核效率。
本申请实施例提供的车辆违法行为的确定方法，可以应用于如图1所示的应用环境中。该应用环境可以包括服务器101和终端102，服务器101和终端102通过网络进行通信，采用终端获取监控图像和目标车辆，采用服务器101从监控图像中选取出目标监控图像，并根据目标监控图像确定目标车辆是否存在违法行为。上述服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。上述终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。
在一个实施例中，如图2所示，提供了一种车辆违法行为的确定方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
步骤201，获取当前道路的多个目标监控图像，每个目标监控图像中包括目标车辆，多个目标监控图像之间的拍摄间隔小于第一预设时长。
本申请实施例中，针对当前道路中目标车辆是否存在违法行为进行复核，首先通过当前道路中设置的监控摄像头获取监控图像，然后从多个监控图像中选取出目标监控图像。其中，目标监控图像为包含目标车辆的监控图像。并且，多个目标监控图像之间的拍摄间隔小于第一预设时长，以便后续根据多个目标监控图像确定目标车辆的行车状态。
例如，针对道路1中目标车辆A是否存在违法行为进行复核，获取到了10张监控图像，从10张监控图像中选取出6张目标监控图像。这6张目标监控图像中均含有目标车辆A，且6张目标监控图像之间的拍摄间隔小于10s。本申请实施例对选取方式和第一预设时长不作详细限定，可以根据实际情况进行设置。
在实际应用中，目标监控图像的数量至少为3张，以便根据目标监控图像确定目标车辆的行车状态；如果目标监控图像的数量小于3张，则直接确定目标车辆不存违法行为。
步骤202，根据各目标监控图像中目标车辆的姿态，确定目标车辆的行车状态。
本申请实施例中，先确定各目标监控图像中目标车辆的姿态，再根据多张目标监控图中目标车辆的姿态确定目标车辆的行车状态。具体地，先确定目标监控图像中，目标车辆是车头朝向路口，车身朝向路口，还是车尾朝向路口；进而根据目标车辆朝向路口的部位确定目标车辆的行车状态。
例如，可以根据目标车辆的多个姿态确定目标车辆是否掉头；也可以根据目标车辆的多个姿态确定目标车辆是否左转；还可以根据目标车辆的多个姿态确定目标车辆是否右转。本申请实施例对行车状态不作详细限定，可以根据实际情况进行设置。
步骤203，根据当前道路对应的行车交通规则和行车状态，确定目标车辆是否存在违法行为。
本申请实施例中，获取当前道路对应的行车交通规则，根据获取到的行车交通规则和行车状态，确定目标车辆是否存在违法行为。具体地，获取到当前道路对应的行车交通规则为禁止掉头，如果目标车辆的行车状态是掉头，则确定目标车辆存在违法行为；如果目标车辆的行车状态不是掉头，则确定目标车辆不存在违法行为。同样地，获取到当前道路对应的行车交通规则为禁止左转，如果目标车辆的行车状态是左转，则确定目标车辆存在违法行为；如果目标车辆的行车状态不是左转，则确定目标车辆不存在违法行为。本申请实施例对当前道路对应的交通规则不作详细限定，可以根据实际情况进行设置。
上述车辆违法行为的确定方法中，先获取当前道路的多个目标监控图像，然后根据各目标监控图像中目标车辆的姿态，确定目标车辆的行车状态；最后根据当前道路对应的行车交通规则和行车状态，确定目标车辆是否存在违法行为。通过本申请实施例，可以在目标车辆存在违法嫌疑时实现自动复核，因此可以节省复核的人力和时间，并且提高复核效率。
在一个实施例中，如图3所示，上述确定目标车辆的姿态，并根据各目标监控图像中目标车辆的姿态确定目标车辆的行车状态的步骤，具体可以包括如下：
步骤301，将各目标监控图像中目标车辆的图像输入到预先训练的分类模型中，得到各目标监控图像中目标车辆的姿态；目标车辆的姿态包括车头朝向路口和车尾朝向路口中的一种。
本申请实施例中，根据目标监控图像确定目标车辆的姿态，可以先从目标监控图像中截取出目标车辆的图像；再将目标车辆的图像输入到预先训练的分类模型中，然后分类模型输出目标车辆的姿态的分类结果。
例如，分类模型输出车头朝向路口或者车尾朝向路口的分类结果。本申请实施例对分类模型不作详细限定，可以根据实际情况进行选取。
步骤302，若多个目标监控图像中同时存在车头朝向路口和车尾朝向路口两种姿态，则确定行车状态为掉头。
本申请实施例中，根据上述分类结果中目标车辆的姿态，确定目标车辆的行车状态是否为掉头。具体地，在多个目标监控图像中，如果目标车辆同时存在车头朝向路口和车尾朝向路口两种姿态，则确定目标车辆的行车状态为掉头。
例如，目标监控图像共三张，第一张目标监控图像中目标车辆的姿态为车头朝向路口，第三张目标监控图像中目标车辆的姿态为车尾朝向路口，则可以确定目标车辆的行车状态为掉头。或者，第一张目标监控图像中目标车辆的姿态为车头朝向路口，第二张目标监控图像中目标车辆的姿态为车尾朝向路口，则可以确定目标车辆的行车状态为掉头。
步骤303，若多个目标监控图像中单独存在车头朝向路口的姿态或者单独存在车尾朝向路口的姿态，则确定行车状态为未掉头。
本申请实施例中，根据上述分类结果中目标车辆的姿态，确定目标车辆的行车状态是否为掉头。具体地，在多个目标监控图像中，如果目标车辆只存在车头朝向路口的姿态或者只存在车尾朝向路口的姿态，则确定目标车辆的行车状态为未掉头。
例如，目标监控图像共三张，第一张目标监控图像中目标车辆的姿态为车头朝向路口，第二张目标监控图像和三张目标监控图像中目标车辆的姿态均不是车尾朝向路口，则可以确定目标车辆的行车状态为未掉头。或者，第一张目标监控图像中目标车辆的姿态为车头朝向路口，第二张目标监控图像和第三张目标监控图像中目标车辆的姿态均不是车尾朝向路口，则可以确定目标车辆的行车状态为未掉头。
上述确定目标车辆的行车状态的步骤中，先将目标车辆的图像输入到分类模型中，得到目标车辆的姿态；在根据多张目标监控图像中目标车辆的姿态确定目标车辆的行车状态。通过本申请实施例，可以自动根据目标监控图像确定目标车辆的行车状态，无需人工审核，因此可以节省人力时间，并且提高复核效率。
在另外一个实施例中，如图4所示，车辆违法行为的确定方法在上述实施例的基础上，还可以包括如下步骤：
步骤401，获取当前道路的多个监控图像，多个监控图像之间的拍摄间隔小于第二预设时长；对每个监控图像进行车辆识别处理，得到每个监控图像的车辆图像；根据车辆图像，将多个监控图像中包括目标车辆的监控图像作为目标监控图像。
本申请实施例中，通过当前道路设置的摄像头获取多个监控图像，摄像头在抓拍时，多个监控图像之间的拍摄间隔小于第二预设时长。例如，多个监控图像之间的拍摄间隔小于3s。本申请实施例对第二预设时长不作详细限定，可以根据实际情况进行设置。
在获取到多个监控图像后，将监控图像输入到预先训练的检测模型中，检测模型输出每个监控图像中的车辆图像。然后，再对车辆图像进行识别，从而找出包括目标车辆的目标监控图像。
例如，将监控图像1输入到检测模型中，检测模型输出车辆图像1和车辆图像2；将监控图像2输入到检测模型中，检测模型输出车辆图像3和车辆图像4。之后，分别对车辆图像1、车辆图像2、车辆图像3和车辆图像4进行识别。其中，只有车辆图像1中包括目标车辆A，则监控图像1为目标监控图像，监控图像2不是目标监控图像。以此类推，从多个监控图像中找出多张目标监控图像。
在其中一个实施例中，从多个监控图像中确定包括目标车辆的目标监控图像，具体可以包括如下步骤：对车辆图像进行检测，得到车辆图像中的车牌图像；对各车牌图像进行识别，得到各车牌图像对应的候选车牌号码；分别将各候选车牌号码与预设车牌号码进行比对，若候选车牌号码与预设车牌号码匹配，则将候选车牌号码对应的监控图像确定为目标监控图像。
具体地，将车辆图像输入到预先训练的检测模型中，检测模型输出车辆图像中的车牌图像。随后，将车牌图像输出到预先训练的识别模型中，识别模型输出各车牌图像对应的候选车牌号码。接着，将各候选车牌号码与预设车牌号码进行比对，确定各候选车牌号码与预设车牌号码是否匹配。例如，计算各候选车牌号码与预设车牌号码之间的相似度；如果相似度大于第一预设阈值，则确定候选车牌号码与预设车牌号码匹配。然后，将与预设车牌号码匹配的候选车牌号码对应的监控图像，确定为目标监控图像。其中，预设车牌号码为目标车辆的车牌号码。
在其中一个实施例中，若监控图像中的候选车牌号码均与预设车牌号码不匹配，则将监控图像中的各车辆图像与目标车辆的图像进行比较；若存在与目标车辆的图像匹配的车辆图像，则将监控图像确定为目标监控图像。
本申请实施例中，如果一个监控图像中的候选车牌号码均与预设车牌号码不匹配，需要根据监控图像中的车辆图像再次确定监控图像中是否存在目标车辆。具体地，将监控图像中的各车辆图像与其他监控图像中已确定的目标车辆的图像进行比较。
例如，先对各车辆图像和目标车辆的图像进行特征提取；然后计算各车辆的特征与目标车辆的特征之间的相似度；如果相似度大于第二预设阈值，则确定车辆图像与目标车辆的图像匹配。本申请实施例对第二预设阈值不作详细限定，可以根据实际情况进行设置。如果监控图像中，存在与目标车辆的图像匹配的车辆图像，则将监控图像确定为目标监控图像。
步骤402，将各目标监控图像中目标车辆的图像输入到预先训练的分类模型中，得到各目标监控图像中目标车辆的姿态；目标车辆的姿态包括车头朝向路口和车尾朝向路口中的一种。
步骤403，若多个目标监控图像中同时存在车头朝向路口和车尾朝向路口两种姿态，则确定行车状态为掉头。
步骤404，若多个目标监控图像中单独存在车头朝向路口的姿态或者单独存在车尾朝向路口的姿态，则确定行车状态为未掉头。
步骤405，从目标监控图像中识别出当前道路的交通标志；若交通标志为禁止掉头标志，且行车状态为掉头，则确定目标车辆存在违法行为。
步骤406，若交通标志不为禁止掉头标志，或行车状态为未掉头，则确定目标车辆未违法。
本申请实施例中，获取当前道路对应的行车交通规则，可以是预先设置的，也可以通过目标监控图像获得。具体地，从目标监控图像中识别出当前道路的交通标志，确定目标车辆的行车状态是否与交通标志相符；如果目标车辆的行车状态不符合当前道路的交通标志，则确定目标车辆存在违法行为；如果目标车辆的行车状态符合当前道路的交通标志，则确定目标车辆不存在违法行为。
例如，从目标监控图像中识别出当前道路的交通标志为禁止掉头，如果目标车辆的行车状态为掉头，则确定目标车辆存在违法行为。如果当前道路的交通标志不是禁止掉头标志，或者目标车辆的行车状态不是掉头，则确定目标车辆不存在违法行为。
上述车辆违法行为的确定方法中，先获取当前道路的多个监控图像，然后从多个监控图像中确定目标监控图像；接着，根据目标监控图像确定目标车辆的行车状态；最后，根据当前道路的交通标志和目标车辆的行车状态确定目标车辆是否存在违法行为。通过本申请实施例，可以在目标车辆存在违法嫌疑时实现自动复核，因此可以节省复核的人力和时间，并且提高复核效率。
应该理解的是，虽然图2-图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种车辆违法行为的确定装置，包括目标监控图像获取模块501、行车状态确定模块502和第一违法行为确定模块503：
目标监控图像获取模块501，用于获取当前道路的多个目标监控图像，每个目标监控图像中包括目标车辆，多个目标监控图像之间的拍摄间隔小于第一预设时长；
行车状态确定模块502，用于根据各目标监控图像中目标车辆的姿态，确定目标车辆的行车状态；
第一违法行为确定模块503，用于根据当前道路对应的行车交通规则和行车状态，确定目标车辆是否存在违法行为。
在其中一个实施例中，该装置还包括车辆姿态获得模块504，如图6所示：
车辆姿态获得模块504，用于将各目标监控图像中目标车辆的图像输入到预先训练的分类模型中，得到各目标监控图像中目标车辆的姿态；目标车辆的姿态包括车头朝向路口和车尾朝向路口中的一种。
在其中一个实施例中，上述行车状态确定模块502，具体用于若多个目标监控图像中同时存在车头朝向路口和车尾朝向路口两种姿态，则确定行车状态为掉头；若多个目标监控图像中单独存在车头朝向路口的姿态或者单独存在车尾朝向路口的姿态，则确定行车状态为未掉头。
在其中一个实施例中，上述第一违法行为确定模块503，具体用于从目标监控图像中识别出当前道路的交通标志；若交通标志为禁止掉头标志，且行车状态为掉头，则确定目标车辆存在违法行为。
在其中一个实施例中，该装置还包括第二违法行为确定模块505，如图6所示：
第二违法行为确定模块505，用于若交通标志不为禁止掉头标志，或行车状态为未掉头，则确定目标车辆未违法。
在其中一个实施例中，上述目标监控图像获取模块501，具体用于获取当前道路的多个监控图像，多个监控图像之间的拍摄间隔小于第二预设时长；对每个监控图像进行车辆识别处理，得到每个监控图像的车辆图像；根据车辆图像，将多个监控图像中包括目标车辆的监控图像作为目标监控图像。
在其中一个实施例中，上述目标监控图像获取模块501，具体用于对车辆图像进行检测，得到车辆图像中的车牌图像；对各车牌图像进行识别，得到各车牌图像对应的候选车牌号码；分别将各候选车牌号码与预设车牌号码进行比对，若候选车牌号码与预设车牌号码匹配，则将候选车牌号码对应的监控图像确定为目标监控图像。
在其中一个实施例中，上述目标监控图像获取模块501，还用于若监控图像中的候选车牌号码均与预设车牌号码不匹配，则将监控图像中的各车辆图像与目标车辆的图像进行比较；若存在与目标车辆的图像匹配的车辆图像，则将监控图像确定为目标监控图像。
关于车辆违法行为的确定装置的具体限定可以参见上文中对于车辆违法行为的确定方法的限定，在此不再赘述。上述车辆违法行为的确定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储监控数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车辆违法行为的确定方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取当前道路的多个目标监控图像，每个目标监控图像中包括目标车辆，多个目标监控图像之间的拍摄间隔小于第一预设时长；
根据各目标监控图像中目标车辆的姿态，确定目标车辆的行车状态；
根据当前道路对应的行车交通规则和行车状态，确定目标车辆是否存在违法行为。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将各目标监控图像中目标车辆的图像输入到预先训练的分类模型中，得到各目标监控图像中目标车辆的姿态；目标车辆的姿态包括车头朝向路口和车尾朝向路口中的一种。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若多个目标监控图像中同时存在车头朝向路口和车尾朝向路口两种姿态，则确定行车状态为掉头；
若多个目标监控图像中单独存在车头朝向路口的姿态或者单独存在车尾朝向路口的姿态，则确定行车状态为未掉头。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
从目标监控图像中识别出当前道路的交通标志；
若交通标志为禁止掉头标志，且行车状态为掉头，则确定目标车辆存在违法行为。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若交通标志不为禁止掉头标志，或行车状态为未掉头，则确定目标车辆未违法。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取当前道路的多个监控图像，多个监控图像之间的拍摄间隔小于第二预设时长；
对每个监控图像进行车辆识别处理，得到每个监控图像的车辆图像；
根据车辆图像，将多个监控图像中包括目标车辆的监控图像作为目标监控图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对车辆图像进行检测，得到车辆图像中的车牌图像；
对各车牌图像进行识别，得到各车牌图像对应的候选车牌号码；
分别将各候选车牌号码与预设车牌号码进行比对，若候选车牌号码与预设车牌号码匹配，则将候选车牌号码对应的监控图像确定为目标监控图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若监控图像中的候选车牌号码均与预设车牌号码不匹配，则将监控图像中的各车辆图像与目标车辆的图像进行比较；
若存在与目标车辆的图像匹配的车辆图像，则将监控图像确定为目标监控图像。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取当前道路的多个目标监控图像，每个目标监控图像中包括目标车辆，多个目标监控图像之间的拍摄间隔小于第一预设时长；
根据各目标监控图像中目标车辆的姿态，确定目标车辆的行车状态；
根据当前道路对应的行车交通规则和行车状态，确定目标车辆是否存在违法行为。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将各目标监控图像中目标车辆的图像输入到预先训练的分类模型中，得到各目标监控图像中目标车辆的姿态；目标车辆的姿态包括车头朝向路口和车尾朝向路口中的一种。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若多个目标监控图像中同时存在车头朝向路口和车尾朝向路口两种姿态，则确定行车状态为掉头；
若多个目标监控图像中单独存在车头朝向路口的姿态或者单独存在车尾朝向路口的姿态，则确定行车状态为未掉头。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
从目标监控图像中识别出当前道路的交通标志；
若交通标志为禁止掉头标志，且行车状态为掉头，则确定目标车辆存在违法行为。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若交通标志不为禁止掉头标志，或行车状态为未掉头，则确定目标车辆未违法。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取当前道路的多个监控图像，多个监控图像之间的拍摄间隔小于第二预设时长；
对每个监控图像进行车辆识别处理，得到每个监控图像的车辆图像；
根据车辆图像，将多个监控图像中包括目标车辆的监控图像作为目标监控图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对车辆图像进行检测，得到车辆图像中的车牌图像；
对各车牌图像进行识别，得到各车牌图像对应的候选车牌号码；
分别将各候选车牌号码与预设车牌号码进行比对，若候选车牌号码与预设车牌号码匹配，则将候选车牌号码对应的监控图像确定为目标监控图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若监控图像中的候选车牌号码均与预设车牌号码不匹配，则将监控图像中的各车辆图像与目标车辆的图像进行比较；
若存在与目标车辆的图像匹配的车辆图像，则将监控图像确定为目标监控图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种车辆违法行为的确定方法，其特征在于，所述方法包括：
获取当前道路的多个目标监控图像，每个所述目标监控图像中包括目标车辆，所述多个目标监控图像之间的拍摄间隔小于第一预设时长；
根据各所述目标监控图像中所述目标车辆的姿态，确定所述目标车辆的行车状态；
根据所述当前道路对应的行车交通规则和所述行车状态，确定所述目标车辆是否存在违法行为。
2.根据权利要求1所述的方法，其特征在于，在所述根据各所述目标监控图像中所述目标车辆的姿态，确定所述目标车辆的行车状态之前，所述方法还包括：
将各所述目标监控图像中所述目标车辆的图像输入到预先训练的分类模型中，得到各所述目标监控图像中所述目标车辆的姿态；所述目标车辆的姿态包括车头朝向路口和车尾朝向路口中的一种。
3.根据权利要求2所述的方法，其特征在于，所述根据各所述目标监控图像中所述目标车辆的姿态，确定所述目标车辆的行车状态，包括：
若多个所述目标监控图像中同时存在所述车头朝向路口和所述车尾朝向路口两种姿态，则确定所述行车状态为掉头；
若多个所述目标监控图像中单独存在所述车头朝向路口的姿态或者单独存在所述车尾朝向路口的姿态，则确定所述行车状态为未掉头。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述根据所述当前道路对应的行车交通规则和所述行车状态，确定所述目标车辆是否存在违法行为，包括：
从所述目标监控图像中识别出所述当前道路的交通标志；
若所述交通标志为禁止掉头标志，且所述行车状态为掉头，则确定所述目标车辆存在违法行为。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
若所述交通标志不为禁止掉头标志，或所述行车状态为未掉头，则确定所述目标车辆未违法。
6.根据权利要求1所述的方法，其特征在于，所述获取当前道路的多个目标监控图像，包括：
获取当前道路的多个监控图像，所述多个监控图像之间的拍摄间隔小于第二预设时长；
对每个所述监控图像进行车辆识别处理，得到每个所述监控图像的车辆图像；
根据所述车辆图像，将所述多个监控图像中包括目标车辆的监控图像作为所述目标监控图像。
7.根据权利要求6所述的方法，其特征在于，所述根据所述车辆图像，将所述多个监控图像中包括目标车辆的监控图像作为所述目标监控图像，包括：
对所述车辆图像进行检测，得到所述车辆图像中的车牌图像；
对各所述车牌图像进行识别，得到各所述车牌图像对应的候选车牌号码；
分别将各所述候选车牌号码与预设车牌号码进行比对，若所述候选车牌号码与所述预设车牌号码匹配，则将所述候选车牌号码对应的监控图像确定为所述目标监控图像。
8.根据权利要求6所述的方法，其特征在于，所述方法还包括：
若所述监控图像中的候选车牌号码均与所述预设车牌号码不匹配，则将所述监控图像中的各车辆图像与所述目标车辆的图像进行比较；
若存在与所述目标车辆的图像匹配的车辆图像，则将所述监控图像确定为所述目标监控图像。
9.一种车辆违法行为的确定装置，其特征在于，所述装置包括：
目标监控图像获取模块，用于获取当前道路的多个目标监控图像，每个所述目标监控图像中包括目标车辆，所述多个目标监控图像之间的拍摄间隔小于第一预设时长；
行车状态确定模块，用于根据各所述目标监控图像中所述目标车辆的姿态，确定所述目标车辆的行车状态；
第一违法行为确定模块，用于根据所述当前道路对应的行车交通规则和所述行车状态，确定所述目标车辆是否存在违法行为。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN202010060979.7A 2020-01-19 2020-01-19 车辆违法行为的确定方法、装置、计算机设备和存储介质 Pending CN111260932A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010060979.7A CN111260932A (zh) 2020-01-19 2020-01-19 车辆违法行为的确定方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010060979.7A CN111260932A (zh) 2020-01-19 2020-01-19 车辆违法行为的确定方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN111260932A true CN111260932A (zh) 2020-06-09

Family

ID=70952335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010060979.7A Pending CN111260932A (zh) 2020-01-19 2020-01-19 车辆违法行为的确定方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111260932A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528747A (zh) * 2020-11-13 2021-03-19 浙江大华技术股份有限公司 机动车掉头行为识别方法、系统、电子装置和存储介质
CN114897685A (zh) * 2022-04-25 2022-08-12 深圳信路通智能技术有限公司 车辆图片融合方法、装置、计算机设备和存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298844A (zh) * 2011-08-15 2011-12-28 无锡中星微电子有限公司 自动违章车辆检测系统和方法
CN102622884A (zh) * 2012-03-22 2012-08-01 杭州电子科技大学 一种基于跟踪的车辆违章掉头行为检测方法
CN106205135A (zh) * 2015-04-30 2016-12-07 北京文安智能技术股份有限公司 一种违章掉头车辆行为的检测方法、装置及系统和一种球机
CN107038868A (zh) * 2017-05-08 2017-08-11 钟辉 一种机动车交通掉头的违章判别系统
CN107305627A (zh) * 2016-04-22 2017-10-31 杭州海康威视数字技术股份有限公司 一种车辆视频监控方法、服务器及系统
US20170336218A1 (en) * 2014-12-10 2017-11-23 Here Global B.V. Apparatus and associated method for providing u-turn guidance
JP2018081420A (ja) * 2016-11-15 2018-05-24 パナソニックＩｐマネジメント株式会社 逆走判定方法およびそれを利用した逆走判定装置、プログラム
KR101889085B1 (ko) * 2017-12-07 2018-08-16 렉스젠(주) 차량 궤적을 이용한 통행 정보 생성 장치 및 그 방법
CN108986472A (zh) * 2017-05-31 2018-12-11 杭州海康威视数字技术股份有限公司 一种掉头车辆监控方法及装置
CN109035790A (zh) * 2018-07-27 2018-12-18 苏州科达科技股份有限公司 车辆交通违法的证据获取方法及系统
CN109241897A (zh) * 2018-08-29 2019-01-18 深圳华远云联数据科技有限公司 监控图像的处理方法、装置、网关设备及存储介质
CN109598943A (zh) * 2018-12-30 2019-04-09 北京旷视科技有限公司 车辆违章的监控方法、装置及系统
CN110533925A (zh) * 2019-09-04 2019-12-03 上海眼控科技股份有限公司 车辆违法视频的处理方法、装置、计算机设备及存储介质
CN110689726A (zh) * 2019-10-08 2020-01-14 上海眼控科技股份有限公司 交通违法处罚证据链补全方法及设备
CN110706261A (zh) * 2019-10-22 2020-01-17 上海眼控科技股份有限公司 车辆违章检测方法、装置、计算机设备和存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298844A (zh) * 2011-08-15 2011-12-28 无锡中星微电子有限公司 自动违章车辆检测系统和方法
CN102622884A (zh) * 2012-03-22 2012-08-01 杭州电子科技大学 一种基于跟踪的车辆违章掉头行为检测方法
US20170336218A1 (en) * 2014-12-10 2017-11-23 Here Global B.V. Apparatus and associated method for providing u-turn guidance
CN106205135A (zh) * 2015-04-30 2016-12-07 北京文安智能技术股份有限公司 一种违章掉头车辆行为的检测方法、装置及系统和一种球机
CN107305627A (zh) * 2016-04-22 2017-10-31 杭州海康威视数字技术股份有限公司 一种车辆视频监控方法、服务器及系统
JP2018081420A (ja) * 2016-11-15 2018-05-24 パナソニックＩｐマネジメント株式会社 逆走判定方法およびそれを利用した逆走判定装置、プログラム
CN107038868A (zh) * 2017-05-08 2017-08-11 钟辉 一种机动车交通掉头的违章判别系统
CN108986472A (zh) * 2017-05-31 2018-12-11 杭州海康威视数字技术股份有限公司 一种掉头车辆监控方法及装置
KR101889085B1 (ko) * 2017-12-07 2018-08-16 렉스젠(주) 차량 궤적을 이용한 통행 정보 생성 장치 및 그 방법
CN109035790A (zh) * 2018-07-27 2018-12-18 苏州科达科技股份有限公司 车辆交通违法的证据获取方法及系统
CN109241897A (zh) * 2018-08-29 2019-01-18 深圳华远云联数据科技有限公司 监控图像的处理方法、装置、网关设备及存储介质
CN109598943A (zh) * 2018-12-30 2019-04-09 北京旷视科技有限公司 车辆违章的监控方法、装置及系统
CN110533925A (zh) * 2019-09-04 2019-12-03 上海眼控科技股份有限公司 车辆违法视频的处理方法、装置、计算机设备及存储介质
CN110689726A (zh) * 2019-10-08 2020-01-14 上海眼控科技股份有限公司 交通违法处罚证据链补全方法及设备
CN110706261A (zh) * 2019-10-22 2020-01-17 上海眼控科技股份有限公司 车辆违章检测方法、装置、计算机设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528747A (zh) * 2020-11-13 2021-03-19 浙江大华技术股份有限公司 机动车掉头行为识别方法、系统、电子装置和存储介质
CN114897685A (zh) * 2022-04-25 2022-08-12 深圳信路通智能技术有限公司 车辆图片融合方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN111950329A (zh) 目标检测及模型训练方法、装置、计算机设备和存储介质
CN110706261A (zh) 车辆违章检测方法、装置、计算机设备和存储介质
CN108229308A (zh) 目标对象识别方法、装置、存储介质和电子设备
CN110245714B (zh) 图像识别方法、装置及电子设备
CN110826484A (zh) 车辆重识别的方法、装置、计算机设备及模型训练方法
CN111539317A (zh) 车辆违规行驶检测方法、装置、计算机设备和存储介质
CN111667001A (zh) 目标重识别方法、装置、计算机设备和存储介质
CN113139403A (zh) 违规行为识别方法、装置、计算机设备和存储介质
CN111260932A (zh) 车辆违法行为的确定方法、装置、计算机设备和存储介质
CN112580457A (zh) 车辆视频的处理方法、装置、计算机设备和存储介质
CN112712703A (zh) 车辆视频的处理方法、装置、计算机设备和存储介质
CN111091041A (zh) 一种车辆违法判别方法、装置、计算机设备和存储介质
CN113472803A (zh) 漏洞攻击状态检测方法、装置、计算机设备和存储介质
CN110659373A (zh) 图像检索的方法、设备、计算机设备和存储介质
CN110188591A (zh) 套牌车辆的识别方法、装置、计算机设备和存储介质
CN111652137A (zh) 违法车辆检测方法、装置、计算机设备和存储介质
CN112528099A (zh) 一种基于大数据的人员同行分析方法、系统、设备及介质
CN111368728A (zh) 安全监测方法、装置、计算机设备和存储介质
CN116383814A (zh) 一种神经网络模型后门检测方法和系统
CN113780363B (zh) 一种对抗样本防御方法、系统、计算机及介质
CN113673399A (zh) 区域监测的方法、装置、电子设备及可读存储介质
CN113610153B (zh) 人体红外图像识别方法、装置、计算机设备及存储介质
CN111274931A (zh) 超车行为的审核方法、装置、计算机设备和存储介质
CN111179343B (zh) 目标检测方法、装置、计算机设备和存储介质
CN111143424A (zh) 特征场景数据挖掘方法、装置和终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20221111