CN111680629A - 车辆违规载客检测方法、装置、计算机设备和存储介质 - Google Patents

车辆违规载客检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111680629A
CN111680629A CN202010518355.5A CN202010518355A CN111680629A CN 111680629 A CN111680629 A CN 111680629A CN 202010518355 A CN202010518355 A CN 202010518355A CN 111680629 A CN111680629 A CN 111680629A
Authority
CN
China
Prior art keywords
vehicle
target vehicle
window
person
license plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010518355.5A
Other languages
English (en)
Inventor
周康明
邹芳喻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN202010518355.5A priority Critical patent/CN111680629A/zh
Publication of CN111680629A publication Critical patent/CN111680629A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种车辆违规载客检测方法、装置、计算机设备和存储介质。所述方法包括：获取待测图像；检测所述待测图像中的目标车辆；检测所述目标车辆所在区域的人物和车窗的相对位置关系；根据所述相对位置关系确定所述目标车辆是否存在违规载客。采用本方法能够实现车辆违规载客检测的自动化，提高车辆违规载客的筛查检测效率。

Description

车辆违规载客检测方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种车辆违规载客检测方法、装置、计算机设备和存储介质。
背景技术
随着图像识别技术的不断发展，人们可通过计算机设备自动地对车辆进行检测和分类，实现车辆交通的智能监察。
货运车辆载客行驶不仅对驾乘人员有很高的事故风险，对于参与道路交通中的其他车辆与行人同样造成了很大的安全隐患。因此，在现有的交通管制条例中，货运车辆载客行驶属于违法行为。
在进行交通违法监察的传统技术中，对于相机抓拍的货运车辆“违法载客”的图片需要进行二次人工筛选，这种违法审核方式需要耗费大量的人力和时间，大大降低了货运车辆“违法载客”的筛查效率。
发明内容
基于此，有必要针对上述技术问题，提供一种车辆违规载客检测方法、装置、计算机设备和存储介质。
一方面，提供一种车辆违规载客检测方法，所述方法包括：
获取待测图像；
检测所述待测图像中的目标车辆；
检测所述目标车辆所在区域的人物和车窗的相对位置关系；
根据所述相对位置关系确定所述目标车辆是否存在违规载客。
其中一个实施例中，所述根据所述相对位置关系确定所述目标车辆是否违规载客，包括：
根据所述相对位置关系确定所述目标车辆所在区域的人物与车窗是否重合，得到重合结果；
根据所述重合结果确定所述目标车辆是否违规载客；
其中，若所述重合结果为所述目标车辆所在区域的人物与车窗重合，则确定所述目标车辆存在违规载客；若所述重合结果为所述目标车辆所在区域的人物与车窗不重合，则确定所述目标车辆不存在违规载客。
其中一个实施例中，所述根据所述相对位置关系确定所述目标车辆所在区域的人物与车窗是否重合，得到重合结果，包括：
获取所述目标车辆所在区域的人物和车窗的重合率；
判断所述重合率是否大于预设重合率阈值，得到所述重合结果；
若是，则所述重合结果为所述目标车辆所在区域的人物与车窗重合；
若否，则所述重合结果为所述目标车辆所在区域的人物与车窗不重合。
其中一个实施例中，在所述检测所述目标车辆所在区域的人物和车窗的相对位置关系之前，包括：
采用预先训练的特定车辆检测模型对所述待测图像中的所述目标车辆进行特定车辆检测，得到特定车辆置信度；
判断所述特定车辆置信度是否大于预设特定车辆置信度阈值；
若是，则确定所述目标车辆为特定车辆。
其中一个实施例中，所述检测所述目标车辆所在区域的人物和车窗的相对位置关系，包括：
采用预先训练的人物检测模型对所述待测图像中的所述目标车辆进行人物检测，得到人物区域；
采用预先训练的车窗检测模型对所述待测图像中的所述目标车辆进行车窗检测，得到车窗区域；
获取所述人物区域与所述车窗区域的重合关系，确定所述目标车辆所在区域的人物和车窗的相对位置关系。
其中一个实施例中，所述检测所述待测图像中的目标车辆，包括：
采用预先训练的车辆检测模型对所述待测图像进行车辆检测，得到所述待测图像中的备选车辆；
获取每一所述备选车辆的备选车牌号码；
若所述备选车辆的备选车牌号码中存在与预设的目标车牌号码匹配的所述备选车牌号码，将与所述目标车牌号码匹配的所述备选车牌号码对应的所述备选车辆，作为所述目标车辆。
其中一个实施例中，所述获取每一所述备选车辆的备选车牌号码，包括：
采用预先训练的车牌检测模型对所述待测图像中的所述备选车辆进行车牌检测，得到每一所述备选车辆中的备选车牌区域；
采用预先训练的字符检测模型对每一所述备选车牌区域进行号码检测，得到每一所述备选车牌区域中的所述备选车牌号码。
另一方面，提供一种车辆违规载客检测装置，所述装置包括：
图像获取模块，用于获取待测图像；
目标检测模块，用于检测所述待测图像中的目标车辆；
位置检测模块，用于检测所述目标车辆所在区域的人物和车窗的相对位置关系；
载客判断模块，用于根据所述相对位置关系确定所述目标车辆是否存在违规载客。
另一方面，提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待测图像；
检测所述待测图像中的目标车辆；
检测所述目标车辆所在区域的人物和车窗的相对位置关系；
根据所述相对位置关系确定所述目标车辆是否存在违规载客。
另一方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待测图像；
检测所述待测图像中的目标车辆；
检测所述目标车辆所在区域的人物和车窗的相对位置关系；
根据所述相对位置关系确定所述目标车辆是否存在违规载客。
上述车辆违规载客检测方法、装置、计算机设备和存储介质，能够获取待测图像；检测所述待测图像中的目标车辆；检测所述目标车辆所在区域的人物和车窗的相对位置关系；根据所述相对位置关系确定所述目标车辆是否存在违规载客。通过检测目标车辆上人物和车辆的相对位置关系确定目标车辆是否存在违规载客，以人物和车窗作为违规载客的判断依据，便于计算机设备的识别和获取，使得整个车辆违规载客检测方法得以程序化，实现车辆违规载客检测的自动化，提高了车辆违规载客的筛查检测效率。
附图说明
图1为一个实施例中车辆违规载客检测方法的应用环境图；
图2为一个实施例中车辆违规载客检测方法的流程示意图；
图3为一个实施例中确定目标车辆是否存在违规载客的流程示意图；
图4为一个实施例中确定目标车辆所在区域的人物与车窗是否重合的流程示意图；
图5为一个实施例中检测目标车辆是否为特征车辆的流程示意图；
图6为一个实施例中检测目标车辆所在区域的人物和车窗的相对位置关系的流程示意图；
图7为一个实施例中检测目标车辆的流程示意图；
图8为一个实施例中检测备选车牌号码的流程示意图；
图9为一个实施例中车辆违规载客检测装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本实施例以该方法应用于计算机设备进行举例说明，可以理解的是，该方法也可以应用于计算机设备，还可以应用于包括终端和服务器的系统，如图1所示，并通过终端和服务器的交互实现。
在一个实施例中，如图2所示，提供了一种车辆违规载客检测方法，本实施例中以应用于计算机设备为例，该方法包括以下步骤：
S201、获取待测图像。
其中，所述待测图像可以为道路上所布设的道路抓拍机所抓拍的图像，或者，道路上所布设的监控摄像头所采集的视频中的视频帧。
具体地，计算机设备可以接收由道路抓拍机抓拍得到的图像或监控摄像头采集的视频中的视频帧，也可直接从交管部门道路监察管理数据库中获取道路抓拍机抓拍得到的图像或监控摄像头采集的视频中的视频帧，作为所述待测图像。
S202、检测所述待测图像中的目标车辆。
具体地，计算机设备可根据预设的目标车牌号码获取所述待测图像中的目标车辆。所述预设的目标车牌号码为计算机设备接收到的需要进行监察的车辆的车牌号码。道路监察系统会获取管辖区域内存在违规行驶的所有车辆的车牌号码，并将该车牌号码作为所述目标车牌号码发送至计算机设备，以便计算机设备根据接收到的所述目标车牌号码确定目标车辆，进行进一步的违规检测。
S203、检测所述目标车辆所在区域的人物和车窗的相对位置关系。
具体地，计算机设备可基于图像特征在所述目标车辆所在区域中检测是否存在人物和车窗，进一步根据检测得到的人物和车窗确定两者的相对位置关系。例如，根据人体不同部位的轮廓特征判断是否存在人物，根据车窗的颜色和形状特征判断是否存在车窗。在所述目标车辆所在区域存在人物且存在车窗时，计算机设备则进一步获取人物在所述目标车辆内的人物区域，以及所述车窗在所述目标车辆内的车窗区域，可根据所述人物区域和所述车窗区域的坐标位置确定所述目标车辆所在区域的人物和车窗的相对位置关系。例如，所述相对位置关系可以通过所述人物区域和所述车窗区域的中心点坐标的中心点距离与预设距离的大小关系表征。
S204、根据所述相对位置关系确定所述目标车辆是否存在违规载客。
具体地，计算机设备根据得到的所述目标车辆区域内的人物和车窗的相对位置关系确定所述目标车辆是否存在违规载客，可采用所述人物区域中心点与所述车窗区域中心点的中心点距离确定所述相对位置关系。若所述中心点距离小于预设距离，计算机设备则确定所述目标车辆存在违规载客；若所述中心点距离大于等于预设距离，计算机设备则确定所述目标车辆不存在违规载客。
另外，在上述S203中，若所述目标车辆所在区域不存在人物或者不存在车窗，计算机设备则直接确定所述目标车辆没有违规载客，并返回执行S201，重新获取待测图像。
本实施例中，计算机设备通过检测目标车辆上人物和车辆的相对位置关系确定目标车辆是否存在违规载客，以人物和车窗作为违规载客的判断依据，便于计算机设备的识别和获取，使得整个车辆违规载客检测方法得以程序化，实现车辆违规载客检测的自动化，提高了车辆违规载客的筛查检测效率。
在一个实施例中，如图3所示，上述S204具体包括：
S301、根据所述相对位置关系确定所述目标车辆所在区域的人物与车窗是否重合，得到重合结果。
其中，所述相对位置关系用于表征所述目标车辆区域内人物与车窗的重合关系。
具体地，计算机设备可根据所述目标车辆所在区域内人物的坐标点以及车辆的坐标点确定人物与车窗是否重合，得到所述重合结果。例如，由所述人物的坐标点构成人物区域，由所述车辆的区域构成车辆区域，若所述车窗区域完全包括所述人物区域即所述人物区域内所有坐标点全部位于所述车窗区域内，计算机设备则确定重合结果为人物与车窗重合；若所述车窗区域不完全包括所述人物区域即所述人物区域内所有坐标点不全部位于所述车窗区域内，计算机设备则确定重合结果为人物与车窗不重合。
S302、根据所述重合结果确定所述目标车辆是否违规载客。
具体地，计算机设备根据得到的所述目标车辆所在区域的人物与车窗的重合结果确定所述目标车辆是否违规载客，若所述重合结果为所述目标车辆所在区域的人物与车窗重合，则确定所述目标车辆存在违规载客；若所述重合结果为所述目标车辆所在区域的人物与车窗不重合，则确定所述目标车辆不存在违规载客。
本实施例中，计算机设备根据目标车辆所在区域的人物与车辆的相对位置关系确定人物与车窗是否重合，将人物与车窗的位置关系转换为图像重合关系，进一步采用图像坐标点的所属关系判断重合，并基于重合结果确定是否存在违规载客，便于计算机设备进行程序化的判定，实现了通过计算机设备根据人物区域和车窗区域自动化判断目标车辆是否存在违规载客，提高了车辆违规载客的检测效率。
在一个实施例中，如图4所示，上述S301具体包括：
S401、获取所述目标车辆所在区域的人物和车窗的重合率。
其中，所述重合率用于表征人物与车窗的重合程度。所述重合率可以是人物与车窗重合区域的重合面积与人物所在区域的面积的比值。
S402、判断所述重合率是否大于预设重合率阈值，得到所述重合结果。
若是，则所述重合结果为所述目标车辆所在区域的人物与车窗重合；
若否，则所述重合结果为所述目标车辆所在区域的人物与车窗不重合。
具体地，计算机设备获取所述目标车辆所在区域的人物与车窗的重合区域的面积，作为所述重合面积，将所述重合面积比上人物所在区域的面积，得到所述重合率。计算机设备判断所述重合率是否大于所述预设重合率阈值，若所述重合率大于所述预设重合率阈值，得到的所述重合结果即为所述目标车辆所在区域的人物与车窗重合；若所述重合率小于等于所述预设重合率阈值，得到的所述重合结果即为所述目标车辆所在区域的人物与车窗不重合。
本实施例中，计算机设备获取所述目标车辆所在区域的人物和车窗之间的重合率，判断所述重合率是否大于预设重合率阈值，确定目标车辆所在区域的人物和车窗是否重合，以得到重合结果，进而根据重合结果确定目标车辆是否存在违规载客。所述重合率可根据人物与车窗的重合面积比上人物所在区域的面积得到，将图像之间(人物与车窗)的关系转换数学关系，通过简便的面积比值计算即可确定待测图像中目标车辆所在区域的人物与车窗的是否重合，进而判定得到目标车辆是否存在违规载客，简化了人物与车窗的图像关系的计算，提高了检测效率。
在一个实施例中，如图5所示，在上述S203之前，包括：
S501、采用预先训练的特定车辆检测模型对所述待测图像中的所述目标车辆进行特定车辆检测，得到特定车辆置信度。
其中，所述特定车辆检测模型为用于识别图像中的特定车辆类型的检测模型。
本实施例中，所述特定车辆为货车，所述特定车辆检测模型即为货车检测模型，所述特定车辆类型则可以包括以大小区分的大型货车、小型货车，以车型区别的平板货车、厢式货车、半挂货车等。所述特定车辆检测即为货车检测，所述特定车辆置信度即为货车置信度。所述货车置信度即为车辆类型为货车的概率。
具体地，计算机设备预先将大量包括不同类型货车的图像作为货车样本，将每一所述货车样本中货车进行对应货车类型的标注，如将货车样本中的平板货车标注为平板货车，厢式货车标注为厢式货车，得到标注人物样本。通过所述标注货车样本训练得到所述货车检测模型。计算机设备再将获取到的所述目标车辆的图像输入所述货车检测模型，进行图像中货车的检测，得到所述货车置信度。具体可采用选择内核网络(Selective KernelNetworks，SKNet)模型进行图像中货车的检测。
S502、判断所述特定车辆置信度是否大于预设特定车辆置信度阈值。
若是，则确定所述目标车辆为特定车辆，并进一步执行S203。
具体地，计算机设备获取所述货车检测模型输出的货车置信度，将所述货车置信度与预设货车置信度阈值比较，判断所述货车置信度是否大于所述预设货车置信度阈值。若是，计算机设备则确定所述目标车辆为所述特定车辆，并继续执行S203；若否，计算机设备则确定所述目标车辆不是所述特定车辆，并返回执行S201，重新获取待测图像，继续进行车辆违规载客检测。
本实施例中，计算机设备采用预先训练的特定车辆检测模型，对所述待测图像中目标车辆的图像进行是否为特定车辆的检测，实现对特定车辆的检测识别。特定车辆检测模型是基于深度学习的检测模型，是根据包括不同类型特定车辆的图像训练得到的网络模型，可准确地判断目标车辆中是否为特定车辆，后续检测提供准确地特定对象，实现后续对特定车辆类型的针对性检测，提高了车辆违规检测的精准性。
在一个实施例中，如图6所示，上述S203具体包括：
S601、采用预先训练的人物检测模型对所述待测图像中的所述目标车辆进行人物检测，得到人物区域。
其中，所述人物检测模型为用于识别图像中人物类型的检测模型。所述人物类型可以包括以年龄区分的大人和小孩，还可以包括以性别区分的男性和女性，还可以包括以姿态区分的站立的人，坐着的人，半蹲的人，躺着的人等。
具体地，计算机设备预先将大量包括不同人物类型的图像作为人物样本，对每一所述人物样本中的人物进行人物类型标注，如将人物样本中的坐着的人标注为坐着的人，躺着的人标注为躺着的人，得到标注人物样本。通过所述标注人物样本训练得到所述人物检测模型。计算机设备再将获取到的所述待测图像中所述目标车辆的图像输入所述人物检测模型，进行图像中人物的检测，得到所述人物区域。具体可以采用YOLO_V3目标检测算法进行图像中人物的检测。
S602、采用预先训练的车窗检测模型对所述待测图像中的所述目标车辆进行车窗检测，得到车窗区域。
其中，所述车窗检测模型为用于识别图像中车窗类型的检测模型。所述车窗类型可以包括以车窗轮廓形状区别的车窗，如矩形车窗，圆角四边形车窗，梯形车窗，圆角梯形车窗等，还可以包括以车窗玻璃升降状态区别的车窗，如车窗玻璃全升/降的车窗，车窗玻璃半升的车窗等。
具体地，计算机设备预先将大量包括不同类型车窗的图像作为车窗样本，对每一所述车窗样本中的车窗进行车窗类型标注，如将车窗样本中的矩形的车窗标注为矩形的车窗，车窗玻璃半升的车窗标注为车窗玻璃半升的车窗，得到标注车窗样本。通过所述标注车窗样本训练得到所述车窗检测模型。计算机设备再将获取到的所述待测图像中所述特定车辆的图像输入所述车窗检测模型，进行图像中车窗的检测，得到所述车窗区域。具体可以采用YOLO_V3目标检测算法进行图像中车窗的检测。
S603、获取所述人物区域与所述车窗区域的重合关系，确定所述目标车辆所在区域的人物和车窗的相对位置关系。
具体地，计算机设备获取所述人物区域与所述车窗区域面积的重合关系，确定所述目标车辆所在区域的人物和车窗的相对位置关系。
本实施例中，计算机设备采用预先训练的人物检测模型和车窗检测模型对所述待测图像中目标车辆的图像进行是否存在人物和车窗的检测，实现对人物和车窗的检测识别，在根据到的人物区域与车窗区域的重合关系确定人物和车窗的相对位置关系。人物检测模型/车窗检测模型是基于深度学习的检测模型，是根据包括不同人物类型的人物图像/不同类型车窗的车窗图像训练得到的网络模型，可准确地判断目标车辆中是否存在人物/车窗，简化了特征车辆中人物/车窗的检测过程，实现了人物/车窗的自动检测识别，提高了人物/车窗识别检测的简便性和高效性。
在一个实施例中，如图7所示，上述S202具体包括：
S701、采用预先训练的车辆检测模型对所述待测图像进行车辆检测，得到所述待测图像中的备选车辆。
其中，所述车辆检测模型为用于识别图像中的车辆类型的检测模型。所述车辆类型可以包括以是否为机动车区分的机动车和非机动车，还可以包括以车型区分的客车、货车、小汽车、摩托车、自行车等。
具体地，计算机设备预先将大量包括不同车辆类型的图像作为车辆样本，将每一所述车辆样本中车辆的车辆类型进行标注，如将车辆样本中的客车标注为客车，货车标注为货车，摩托车标注为摩托车，得到标注车辆样本。通过所述标注车辆样本训练得到所述车辆检测模型。计算机设备再将获取到的所述待测图像输入所述车辆检测模型，进行图像中车辆类型的检测，得到所述待测图像中的备选车辆。具体可采用MatrixNet目标检测方法进行图像中车辆类型的检测。
S702、获取每一所述备选车辆的备选车牌号码。
具体地，计算机设备可根据车牌的图像特征，如颜色、形状以及字符纹理，在已得到的所述备选车辆的图像区域中获取车牌区域。例如，获取所述待测图像中所述备选车辆的图像区域中具有数字和文字纹理的蓝色四边形区域、黄色四边形区域、绿色四边形区域、黑色四边形区域以及白色四边形区域，作为所述车牌区域。计算机设备进一步对每一所述车牌区域进行图像处理，例如，去噪、灰度调整、图像二值化，得到每一所述车牌区域内的字符图像，将每一所述字符图像中的字符作为所述备选车牌号码。
S703、若所述备选车辆的备选车牌号码中存在与预设的目标车牌号码匹配的所述备选车牌号码，将与所述目标车牌号码匹配的所述备选车牌号码对应的所述备选车辆，作为所述目标车辆。
具体地，计算机设备可通过上述方法得到多个所述备选车牌号码，计算机设备将得到的每一所述备选车辆的所述备选车牌号码与所述目标车牌号码进行匹配，具体可将每一所述备选车牌号码的每一位字符与所述目标车牌号码中对应位置的字符进行匹配。若得到的多个所述备选车牌号码中存在所述备选车牌号码的每一位字符与所述目标车牌号码中对应位置的字符均相同，即所述备选车牌号码与所述目标车牌号码匹配，计算机设备则确定所述待测图像中存在所述目标车辆，并将与所述目标车牌号码匹配的所述备选车牌号码对应的所述备选车辆，作为所述目标车辆。若得到的多个所述备选车牌号码中不存在所述备选车牌号码的每一位字符与所述目标车牌号码中对应位置的字符均相同，即所述备选车牌号码与所述目标车牌号码不匹配，计算机设备则确定所述待测图像中不存在所述目标车辆，并返回执行S201，重新获取待测图像，继续进行车辆违规载客检测。
另外，计算机设备也可以通过判断每一所述备选号码与所述目标车牌号码的字符匹配比例是否大于预设匹配比例阈值，判断所述备选车牌号码与所述目标车牌号码是否匹配。若是，则计算机设备确定该备选车牌号码与所述目标车牌号码匹配；若否，则计算机设备确定该备选车牌号码与所述目标车牌号码不匹配。所述字符匹配比例为所述备选车牌号码中的字符与所述目标车牌号码中对应位置的字符相同的个数比车牌字符总数。例如，所述预设匹配比例阈值为80％，车牌号码的字符总数为7位，若所述备选车牌号码的字符中有6位与所述目标车牌号码中对应位置的字符相同，则对应该备选车牌号码的字符匹配比例为85.7％，所述字符匹配比例85.7％大于所述预设匹配比例阈值为80％，计算机设备则确定该备选车牌号码与所述目标车牌号码匹配。若所述备选车牌号码的字符中有4位与所述目标车牌号码中对应位置的字符相同，则对应该备选车牌号码的字符匹配比例为51.7％(字符相同个数/字符总数)，所述字符匹配比例51.7％小于所述预设匹配比例阈值为80％，计算机设备则确定该备选车牌号码与所述目标车牌号码不匹配。
本实施例中，计算机设备采用预先训练的车辆检测模型对所述待测图像进行车辆检测，得到所述待测图像中的备选车辆，实现了对所述待测图像中所有车辆的识别获取，车辆检测模型是基于深度学习根据包括不同车辆类型的车辆图像训练得到的网络模型，可准确地识别待测图像中的所有车辆，提高了整个车辆违规载客检测的准确性。计算机设备进一步将备选车牌号码与目标车牌号码匹配确定目标车辆的过程，提高了确定目标车辆的准确性，为后续检测提供准确的检测对象，进一步提高了整个车辆违规载客检测的准确性。
在一个实施例中，如图8所示，上述S702具体包括：
S801、采用预先训练的车牌检测模型对所述待测图像中的所述备选车辆进行车牌检测，得到每一所述备选车辆中的备选车牌区域。
其中，所述车牌检测模型为用于识别图像中的车牌的检测模型。
具体地，计算机设备预先将大量包括不同颜色车牌的图像作为车牌样本，将每一所述车牌样本中车牌进行车牌标注，得到标注车牌样本，通过所述标注车牌样本训练得到所述车牌检测模型。计算机设备再将获取到的所述待测图像中所述备选车辆的图像输入所述车牌检测模型，识别得到所述备选车辆的图像中车牌，具体可以ShuffleNet_V2作为基础网络，采用单发多框检测算法(Single Shot MultiBox Detector，SSD)检测得到所述待测图像中所述备选车辆的车牌，再获取所述车牌在所述待测图像中的位置，作为所述备选车牌区域。
S802、采用预先训练的字符检测模型对每一所述备选车牌区域进行号码检测，得到每一所述备选车牌区域中的所述备选车牌号码。
其中，所述字符检测模型为用于识别图像中的字符的检测模型。所述字符包括中文、字母以及阿拉伯数字。
具体地，计算机设备预先将大量包括不同字符的图像作为字符样本，将每一所述字符样本中字符进行对应字符的标注，如将字符“沪”标记为“沪”，将字符“A”标记为“A”，将字符“6”标记为“6”，得到标注字符样本。通过所述标注字符样本训练得到所述字符检测模型。计算机设备再将获取到的所述备选车牌区域的图像输入所述字符检测模型，进行图像中字符的检测，得到所述待测图像中所述备选车牌区域中的字符。具体可采用长短期记忆网络(Long Short-Term Memory，LSTM)检测得到所述待测图像中每一所述备选车牌区域的所述备选车牌号码。
本实施例中，计算机设备采用预先训练的车牌检测模型对所述待测图像中的备选车辆区域的图像进行车牌检测，得到车牌区域，实现对备选车辆区域内车牌区域的检测识别。车牌检测模型是基于深度学习的检测模型，是根据包括不同车牌类型的车牌图像训练得到的网络模型，可准确地识别待测图像中备选车辆区域内的车牌，为后续进行车牌内字符的识别提取提供了准确的识别对象，提高了字符识别提取的准确性；计算机设备采用预先训练的字符检测模型对所述待测图像中备选车辆区域内车牌区域的图像进行字符检测，实现对车牌区域内字符的检测识别。车牌检测模型是基于深度学习的检测模型，是根据包括不同字符的字符图像训练得到的网络模型，可准确地识别并待测图像中车牌区域内的字符，为后续进行与目标车牌号码的匹配提供了准确的匹配对象，提高了号码匹配的准确性。从而分别从提高字符识别提取准确性和号码匹配准确性两方面进一步地提高整体车辆违规载客的检测效率。
应该理解的是，虽然图2-8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-8中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供了一种车辆违规载客检测装置，包括：图像获取模块901、目标检测模块902、位置检测模块903以及载客判断模块904，其中：
所述图像获取模块901用于获取待测图像；
所述目标检测模块902用于检测所述待测图像中的目标车辆；
所述位置检测模块903用于检测所述目标车辆所在区域的人物和车窗的相对位置关系；
所述载客判断模块904用于根据所述相对位置关系确定所述目标车辆是否存在违规载客。
在其中一个实施例中，所述载客判断模块904具体用于：
根据所述相对位置关系确定所述目标车辆所在区域的人物与车窗是否重合，得到重合结果；
根据所述重合结果确定所述目标车辆是否违规载客；
其中，若所述重合结果为所述目标车辆所在区域的人物与车窗重合，则确定所述目标车辆存在违规载客；若所述重合结果为所述目标车辆所在区域的人物与车窗不重合，则确定所述目标车辆不存在违规载客。
在其中一个实施例中，所述载客判断模块904具体用于：
获取所述目标车辆所在区域的人物和车窗的重合率；
判断所述重合率是否大于预设重合率阈值，得到所述重合结果；
若是，则所述重合结果为所述目标车辆所在区域的人物与车窗重合；
若否，则所述重合结果为所述目标车辆所在区域的人物与车窗不重合。
在其中一个实施例中，所述车辆违规载客检测装置还包括：特定车辆检测模块。所述特征车辆检测模块具体用于：
采用预先训练的特定车辆检测模型对所述待测图像中的所述目标车辆进行特定车辆检测，得到特定车辆置信度；
判断所述特定车辆置信度是否大于预设特定车辆置信度阈值；
若是，则确定所述目标车辆为特定车辆。
在其中一个实施例中，所述位置检测模块903具体用于：
采用预先训练的人物检测模型对所述待测图像中的所述目标车辆进行人物检测，得到人物区域；
采用预先训练的车窗检测模型对所述待测图像中的所述目标车辆进行车窗检测，得到车窗区域；
获取所述人物区域与所述车窗区域的重合关系，确定所述目标车辆所在区域的人物和车窗的相对位置关系。
在其中一个实施例中，所述目标检测模块902具体用于：
采用预先训练的车辆检测模型对所述待测图像进行车辆检测，得到所述待测图像中的备选车辆；
获取每一所述备选车辆的备选车牌号码；
若所述备选车辆的备选车牌号码中存在与预设的目标车牌号码匹配的所述备选车牌号码，将与所述目标车牌号码匹配的所述备选车牌号码对应的所述备选车辆，作为所述目标车辆。
在其中一个实施例中，所述目标检测模块902具体用于：
采用预先训练的车牌检测模型对所述待测图像中的所述备选车辆进行车牌检测，得到每一所述备选车辆中的备选车牌区域；
采用预先训练的字符检测模型对每一所述备选车牌区域进行号码检测，得到每一所述备选车牌区域中的所述备选车牌号码。
关于车辆违规载客检测装置的具体限定可以参见上文中对于车辆违规载客检测方法的限定，在此不再赘述。上述车辆违规载客检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种车辆违规载客检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待测图像；
检测所述待测图像中的目标车辆；
检测所述目标车辆所在区域的人物和车窗的相对位置关系；
根据所述相对位置关系确定所述目标车辆是否存在违规载客。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据所述相对位置关系确定所述目标车辆所在区域的人物与车窗是否重合，得到重合结果；
根据所述重合结果确定所述目标车辆是否违规载客；
其中，若所述重合结果为所述目标车辆所在区域的人物与车窗重合，则确定所述目标车辆存在违规载客；若所述重合结果为所述目标车辆所在区域的人物与车窗不重合，则确定所述目标车辆不存在违规载客。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取所述目标车辆所在区域的人物和车窗的重合率；
判断所述重合率是否大于预设重合率阈值，得到所述重合结果；
若是，则所述重合结果为所述目标车辆所在区域的人物与车窗重合；
若否，则所述重合结果为所述目标车辆所在区域的人物与车窗不重合。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
采用预先训练的特定车辆检测模型对所述待测图像中的所述目标车辆进行特定车辆检测，得到特定车辆置信度；
判断所述特定车辆置信度是否大于预设特定车辆置信度阈值；
若是，则确定所述目标车辆为特定车辆。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
采用预先训练的人物检测模型对所述待测图像中的所述目标车辆进行人物检测，得到人物区域；
采用预先训练的车窗检测模型对所述待测图像中的所述目标车辆进行车窗检测，得到车窗区域；
获取所述人物区域与所述车窗区域的重合关系，确定所述目标车辆所在区域的人物和车窗的相对位置关系。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
采用预先训练的车辆检测模型对所述待测图像进行车辆检测，得到所述待测图像中的备选车辆；
获取每一所述备选车辆的备选车牌号码；
若所述备选车辆的备选车牌号码中存在与预设的目标车牌号码匹配的所述备选车牌号码，将与所述目标车牌号码匹配的所述备选车牌号码对应的所述备选车辆，作为所述目标车辆。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
采用预先训练的车牌检测模型对所述待测图像中的所述备选车辆进行车牌检测，得到每一所述备选车辆中的备选车牌区域；
采用预先训练的字符检测模型对每一所述备选车牌区域进行号码检测，得到每一所述备选车牌区域中的所述备选车牌号码。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待测图像；
检测所述待测图像中的目标车辆；
检测所述目标车辆所在区域的人物和车窗的相对位置关系；
根据所述相对位置关系确定所述目标车辆是否存在违规载客。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据所述相对位置关系确定所述目标车辆所在区域的人物与车窗是否重合，得到重合结果；
根据所述重合结果确定所述目标车辆是否违规载客；
其中，若所述重合结果为所述目标车辆所在区域的人物与车窗重合，则确定所述目标车辆存在违规载客；若所述重合结果为所述目标车辆所在区域的人物与车窗不重合，则确定所述目标车辆不存在违规载客。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取所述目标车辆所在区域的人物和车窗的重合率；
判断所述重合率是否大于预设重合率阈值，得到所述重合结果；
若是，则所述重合结果为所述目标车辆所在区域的人物与车窗重合；
若否，则所述重合结果为所述目标车辆所在区域的人物与车窗不重合。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
采用预先训练的特定车辆检测模型对所述待测图像中的所述目标车辆进行特定车辆检测，得到特定车辆置信度；
判断所述特定车辆置信度是否大于预设特定车辆置信度阈值；
若是，则确定所述目标车辆为特定车辆。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
采用预先训练的人物检测模型对所述待测图像中的所述目标车辆进行人物检测，得到人物区域；
采用预先训练的车窗检测模型对所述待测图像中的所述目标车辆进行车窗检测，得到车窗区域；
获取所述人物区域与所述车窗区域的重合关系，确定所述目标车辆所在区域的人物和车窗的相对位置关系。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
采用预先训练的车辆检测模型对所述待测图像进行车辆检测，得到所述待测图像中的备选车辆；
获取每一所述备选车辆的备选车牌号码；
若所述备选车辆的备选车牌号码中存在与预设的目标车牌号码匹配的所述备选车牌号码，将与所述目标车牌号码匹配的所述备选车牌号码对应的所述备选车辆，作为所述目标车辆。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
采用预先训练的车牌检测模型对所述待测图像中的所述备选车辆进行车牌检测，得到每一所述备选车辆中的备选车牌区域；
采用预先训练的字符检测模型对每一所述备选车牌区域进行号码检测，得到每一所述备选车牌区域中的所述备选车牌号码。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种车辆违规载客检测方法，其特征在于，所述方法包括：
获取待测图像；
检测所述待测图像中的目标车辆；
检测所述目标车辆所在区域的人物和车窗的相对位置关系；
根据所述相对位置关系确定所述目标车辆是否存在违规载客。
2.根据权利要求1所述的方法，其特征在于，所述根据所述相对位置关系确定所述目标车辆是否违规载客，包括：
根据所述相对位置关系确定所述目标车辆所在区域的人物与车窗是否重合，得到重合结果；
根据所述重合结果确定所述目标车辆是否违规载客；
其中，若所述重合结果为所述目标车辆所在区域的人物与车窗重合，则确定所述目标车辆存在违规载客；若所述重合结果为所述目标车辆所在区域的人物与车窗不重合，则确定所述目标车辆不存在违规载客。
3.根据权利要求2所述的方法，其特征在于，所述根据所述相对位置关系确定所述目标车辆所在区域的人物与车窗是否重合，得到重合结果，包括：
获取所述目标车辆所在区域的人物和车窗的重合率；
判断所述重合率是否大于预设重合率阈值，得到所述重合结果；
若是，则所述重合结果为所述目标车辆所在区域的人物与车窗重合；
若否，则所述重合结果为所述目标车辆所在区域的人物与车窗不重合。
4.根据权利要求1所述的方法，其特征在于，在所述检测所述目标车辆所在区域的人物和车窗的相对位置关系之前，包括：
采用预先训练的特定车辆检测模型对所述待测图像中的所述目标车辆进行特定车辆检测，得到特定车辆置信度；
判断所述特定车辆置信度是否大于预设特定车辆置信度阈值；
若是，则确定所述目标车辆为特定车辆。
5.根据权利要求1所述的方法，其特征在于，所述检测所述目标车辆所在区域的人物和车窗的相对位置关系，包括：
采用预先训练的人物检测模型对所述待测图像中的所述目标车辆进行人物检测，得到人物区域；
采用预先训练的车窗检测模型对所述待测图像中的所述目标车辆进行车窗检测，得到车窗区域；
获取所述人物区域与所述车窗区域的重合关系，确定所述目标车辆所在区域的人物和车窗的相对位置关系。
6.根据权利要求1所述的方法，其特征在于，所述检测所述待测图像中的目标车辆，包括：
采用预先训练的车辆检测模型对所述待测图像进行车辆检测，得到所述待测图像中的备选车辆；
获取每一所述备选车辆的备选车牌号码；
若所述备选车辆的备选车牌号码中存在与预设的目标车牌号码匹配的所述备选车牌号码，将与所述目标车牌号码匹配的所述备选车牌号码对应的所述备选车辆，作为所述目标车辆。
7.根据权利要求6所述的方法，其特征在于，所述获取每一所述备选车辆的备选车牌号码，包括：
采用预先训练的车牌检测模型对所述待测图像中的所述备选车辆进行车牌检测，得到每一所述备选车辆中的备选车牌区域；
采用预先训练的字符检测模型对每一所述备选车牌区域进行号码检测，得到每一所述备选车牌区域中的所述备选车牌号码。
8.一种车辆违规载客检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取待测图像；
目标检测模块，用于检测所述待测图像中的目标车辆；
位置检测模块，用于检测所述目标车辆所在区域的人物和车窗的相对位置关系；
载客判断模块，用于根据所述相对位置关系确定所述目标车辆是否存在违规载客。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010518355.5A 2020-06-09 2020-06-09 车辆违规载客检测方法、装置、计算机设备和存储介质 Withdrawn CN111680629A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010518355.5A CN111680629A (zh) 2020-06-09 2020-06-09 车辆违规载客检测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010518355.5A CN111680629A (zh) 2020-06-09 2020-06-09 车辆违规载客检测方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN111680629A true CN111680629A (zh) 2020-09-18

Family

ID=72455047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010518355.5A Withdrawn CN111680629A (zh) 2020-06-09 2020-06-09 车辆违规载客检测方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111680629A (zh)

Similar Documents

Publication Publication Date Title
CA2858919C (en) License plate recognition
CN109711264B (zh) 一种公交车道占道检测方法及装置
CN111402329A (zh) 车辆压线检测方法、装置、计算机设备和存储介质
WO2018028230A1 (zh) 一种基于深度学习的车牌字符分割方法、装置及存储介质
CN104966049B (zh) 基于图像的货车检测方法
CN111507989A (zh) 语义分割模型的训练生成方法、车辆外观检测方法、装置
WO2019223655A1 (zh) 非机动车载人的检测
CN106815574B (zh) 建立检测模型、检测接打手机行为的方法和装置
CN113688805B (zh) 一种基于无人机的无牌渣土车识别方法及系统
CN103440503A (zh) 一种车辆车身颜色检测识别方法
US11482012B2 (en) Method for driving assistance and mobile device using the method
CN106682600A (zh) 一种目标检测方法及终端
CN111476245A (zh) 车辆左转违规检测方法、装置、计算机设备和存储介质
CN111950499A (zh) 一种检测车载人员统计信息的方法
CN111709341B (zh) 客梯车作业状态的检测方法与系统
CN114708547A (zh) 车辆重识别方法、装置、计算机设备、存储介质
CN112580457A (zh) 车辆视频的处理方法、装置、计算机设备和存储介质
CN111325256A (zh) 车辆外观检测方法、装置、计算机设备和存储介质
CN110188591A (zh) 套牌车辆的识别方法、装置、计算机设备和存储介质
CN112115939A (zh) 车辆车牌的识别方法、装置
CN112115800A (zh) 一种基于深度学习目标检测的车辆组合识别系统及方法
CN111310650A (zh) 车辆乘坐对象的分类方法、装置、计算机设备和存储介质
CN111259971A (zh) 车辆信息检测方法、装置、计算机设备及可读存储介质
CN113408364B (zh) 一种临时车牌识别方法、系统、装置及存储介质
CN111680629A (zh) 车辆违规载客检测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200918