CN110751633A - 基于深度学习的多轴大车制动检测方法、装置、系统 - Google Patents

基于深度学习的多轴大车制动检测方法、装置、系统 Download PDF

Info

Publication number
CN110751633A
CN110751633A CN201910964516.0A CN201910964516A CN110751633A CN 110751633 A CN110751633 A CN 110751633A CN 201910964516 A CN201910964516 A CN 201910964516A CN 110751633 A CN110751633 A CN 110751633A
Authority
CN
China
Prior art keywords
detection
station
tire
axis cart
coordinate point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910964516.0A
Other languages
English (en)
Inventor
周康明
王林武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN201910964516.0A priority Critical patent/CN110751633A/zh
Publication of CN110751633A publication Critical patent/CN110751633A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00Testing of vehicles
    • G01M17/007Wheeled or endless-tracked vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供的一种基于深度学习的多轴大车制动检测方法、装置、系统,通过获取包含至少一辆多轴大车的工位图像;基于目标检测模型检测得到对应各所述多轴大车的所有车胎的位置区域;基于语义分割模型对所述工位图像进行分割以得到对应各所述多轴大车的多个具有不同工位标签的像素区域;将各车胎对应的所述位置区域映射到所述像素区域以得到对应各所述工位标签的坐标点集;根据各所述车胎的所述坐标点集与对应的检测台的所述坐标点集的距离,以判断制动状态。本申请能实现目标车辆定位、车牌识别、车辆方向识别及工位信息识别,同时实现审核过程的全程自动检测,既节约了人力,提高了人员检测的准确率,又保证了检测工作的公开、公正。

Description

基于深度学习的多轴大车制动检测方法、装置、系统
技术领域
本发明涉及的人工智能目标检测技术领域,特别是涉及一种基于深度学习的多轴大车制动检测方法、装置、系统。
背景技术
随着交通运输业的发展,道路运输对车辆性能的要求日益提高,传统的单轴驱动车辆无法满足动力性需求,所以多轴驱动车辆的数量日益增多。多轴驱动车辆的制动性能好坏对道路交通安全影响极大,因此多轴驱动车辆制动性能的检测对保障道路交通安全极为重要。
车检站广泛采用单轴滚筒反力式制动检测台,但其一次只能检测一轴,无法胜任对多轴驱动车辆的制动性能检测,而能够同时检测前后轴的平板式制动试验台又受到结构限制,无法检测三轴及以上的大车车辆,例如,具有双后轴的悬挂车辆,则无法通过平板式制动试验台同时检测两个并列相邻的后轴的制动性能。
目前常规的做法有:道路试验检测多轴大车制动性能;改进平板式制动检验台;改进滚筒反力式制动检验台。这些方法都需要对原有的检测设备进行改装,增加了检测成本。
因此,如何准确、快速地对多轴大车进行制动检测,同时避免修改现有的检测设备,增加检测成本,是急需解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点,本申请的目的在于提供一种基于深度学习的多轴大车制动检测方法、装置、系统,以解决现有技术中的问题。
为实现上述目的及其他相关目的,本申请提供一种基于深度学习的多轴大车制动检测方法,所述方法包括:获取包含至少一辆多轴大车的工位图像;基于目标检测模型检测得到对应各所述多轴大车的所有车胎的位置区域;基于语义分割模型对所述工位图像进行分割以得到对应各所述多轴大车的多个具有不同工位标签的像素区域;将各车胎对应的所述位置区域映射到所述像素区域以得到对应各所述工位标签的坐标点集;根据各所述车胎的所述坐标点集与对应的检测台的所述坐标点集的距离,以判断制动状态。
于本申请的一实施例中,所述工位标签包括:检测台、及车胎;所述多轴大车的至少两个所述车胎分别置于所述检测台上进行检测;其中,所述检测台包括:滚筒式检测台和/或平板式检测台。
于本申请的一实施例中,在获取多轴大车制动的工位图像后还包括以下方法:基于目标检测模型检测所述工位图像中是否存在所述多轴大车;若存在,则进行下一步骤;若不存在,则输出检测失败结果;基于目标检测模型检测所述工位图像中所述多轴大车的车牌号是否存在;若存在,则进行下一步骤;若不存在,则输出检测失败结果;基于分类模型判断所述多轴大车的车牌号是否与预先获取车辆信息中的车牌号一致;若一致,则判断各所述车胎的前后位置;若不一致,则输出检测失败结果。
于本申请的一实施例中,所述基于目标检测模型检测得到对应各所述多轴大车的所有车胎的位置区域,包括:基于分类模型判断各所述多轴大车的车头车尾方向;基于目标检测模型检测所述工位图像中各所述多轴大车的各个所述车胎的坐标位置;根据各所述多轴大车的车头车尾方向及各所述车胎的坐标位置,判断各所述车胎的前后位置。
于本申请的一实施例中,所述将各车胎对应的所述位置区域映射到所述像素区域以得到对应各所述工位标签的坐标点集,包括:将各所述位置区域对应的检测输入图像进行缩放;按比例映射到标记有对应所述工位标签的各所述像素区域上以得到对应所述工位标签的坐标点集。
于本申请的一实施例中,所述根据各所述车胎的所述坐标点集与对应的检测台的所述坐标点集的距离,以判断制动状态,包括:计算各所述车胎的所述坐标点集与相对应的所述检测台的所述坐标点的位移距离;判断所述位移距离是否小于预设阈值;若是,则输出满足制动要求的结果;若否,则输出未满足制动要求的结果。
为实现上述目的及其他相关目的,本申请提供一种电子装置,所述装置包括:获取模块,用于获取包含至少一辆多轴大车的工位图像;处理模块,用于基于目标检测模型检测得到对应各所述多轴大车的所有车胎的位置区域;基于语义分割模型对所述工位图像进行分割以得到对应各所述多轴大车的多个具有不同工位标签的像素区域;将各车胎对应的所述位置区域映射到所述像素区域以得到对应各所述工位标签的坐标点集;根据各所述车胎的所述坐标点集与对应的检测台的所述坐标点集的距离,以判断制动状态。
为实现上述目的及其他相关目的,本申请提供一种计算机系统,所述设备包括:存储器、及处理器;所述存储器用于存储计算机指令;所述处理器运行计算机指令实现如上所述的方法。
为实现上述目的及其他相关目的,本申请提供一种计算机可读存储介质,存储有计算机指令,所述计算机指令被运行时执行如上所述的方法。
综上所述,本申请的一种基于深度学习的多轴大车制动检测方法、装置、系统,通过获取包含至少一辆多轴大车的工位图像;基于目标检测模型检测得到对应各所述多轴大车的所有车胎的位置区域;基于语义分割模型对所述工位图像进行分割以得到对应各所述多轴大车的多个具有不同工位标签的像素区域;将各车胎对应的所述位置区域映射到所述像素区域以得到对应各所述工位标签的坐标点集;根据各所述车胎的所述坐标点集与对应的检测台的所述坐标点集的距离,以判断制动状态。
具有以下有益效果:
本申请应用于机动车车辆年检中多轴大车制动检测,利用深度学习目标检测、目标分类和语义分割模型,实现目标车辆定位、车牌识别、车辆方向识别及工位信息识别,同时实现审核过程的全程自动检测,既节约了人力,提高了人员检测的准确率,又保证了检测工作的公开、公正。
附图说明
图1显示为本申请于一实施例中的基于深度学习的多轴大车制动检测方法的流程示意图。
图2显示为本申请于一实施例中的工位图像的场景示意图。
图3显示为本申请于一实施例中的获取多轴大车制动的工位图像后的方法的流程示意图。
图4显示为本申请于一实施例中的基于深度学习的多轴大车制动检测方法中步骤S2的流程示意图。
图5显示为本申请于一实施例中的基于深度学习的多轴大车制动检测方法中步骤S4的流程示意图。
图6显示为本申请于一实施例中的基于深度学习的多轴大车制动检测方法中步骤S4的流程示意图。
图7显示为本申请于一实施例中的电子装置的模块示意图。
图8显示为本申请于一实施例中的计算机系统的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本申请的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
下面以附图为参考,针对本申请的实施例进行详细说明,以便本申请所属技术领域的技术人员能够容易地实施。本申请可以以多种不同形态体现,并不限定于此处说明的实施例。
为了明确说明本申请,省略与说明无关的部件,对于通篇说明书中相同或类似的构成要素,赋予了相同的参照符号。
在通篇说明书中,当说某部件与另一部件“连接”时,这不仅包括“直接连接”的情形,也包括在其中间把其它元件置于其间而“间接连接”的情形。另外,当说某种部件“包括”某种构成要素时,只要没有特别相反的记载,则并非将其它构成要素排除在外,而是意味着可以还包括其它构成要素。
当说某部件在另一部件“之上”时,这可以是直接在另一部件之上,但也可以在其之间伴随着其它部件。当对照地说某部件“直接”在另一部件“之上”时,其之间不伴随其它部件。
虽然在一些实例中术语第一、第二等在本文中用来描述各种元件,但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如,第一接口及第二接口等描述。再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
此处使用的专业术语只用于言及特定实施例,并非意在限定本申请。此处使用的单数形态,只要语句未明确表示出与之相反的意义,那么还包括复数形态。在说明书中使用的“包括”的意义是把特定特性、区域、整数、步骤、作业、要素及/或成份具体化,并非排除其它特性、区域、整数、步骤、作业、要素及/或成份的存在或附加。
表示“下”、“上”等相对空间的术语可以为了更容易地说明在附图中图示的一部件相对于另一部件的关系而使用。这种术语是指,不仅是在附图中所指的意义,还包括使用中的装置的其它意义或作业。例如,如果翻转附图中的装置,曾说明为在其它部件“下”的某部件则说明为在其它部件“上”。因此,所谓“下”的示例性术语,全部包括上与下方。装置可以旋转90°或其它角度,代表相对空间的术语也据此来解释。
如图1所示,展示为本申请一实施例中的基于深度学习的多轴大车制动检测方法的流程示意图。如图所示,所述方法包括:
步骤S1:获取包含至少一辆多轴大车的工位图像。
所述工位图像可参考图2所示,在所述工位图像中主要包含至少一辆多轴大车。所述多轴大车主要指双轴以上或4轮以上的卡车、运输车、半挂车等。
在一或多个可实现的实施例中,所述工位图像主要于车间站进行采集,因此,所述工位图像中也可能同时出现两辆甚至两辆以上的车辆在同时进行制动检测。而本申请能够对一辆、或者两辆及以上数量的大车同是进行本申请所述的制动检测。
于本实施例中,所述工位图像对应所述多轴大车在制动检测过程的图像,即包括制动检测前和制动检测后。
需说明的是,本申请是在现有多轴大车的制动检测方式基础上,通过工位图像的分析,准确、快速地对多轴大车进行制动检测,同时避免修改现有的检测设备,增加检测成本。
举例来说,本申请所述的工位图像可以是从服务器上获取的多轴大车在车检站进行制动检测时的多视角、全过程、多光线下的图像。
于本申请一实施例中,在获取多轴大车制动的工位图像后还包括以下方法,具体在步骤S1与步骤S2之间,参见如图3所示,所述方法包括:
S101:基于目标检测模型检测所述工位图像中是否存在所述多轴大车;若存在,则进行下一步骤;若不存在,则输出检测失败结果;
S102:基于目标检测模型检测所述工位图像中所述多轴大车的车牌号是否存在;若存在,则进行下一步骤;若不存在,则输出检测失败结果;
S103:基于分类模型判断所述多轴大车的车牌号是否与预先获取车辆信息中的车牌号一致;若一致,则判断各所述车胎的前后位置;若不一致,则输出检测失败结果;
于本实施例中,S101~S103的目的在于对所述工位图像进行初步判断:首先,初步判断工位图像中是否拍到多轴大车,若没拍到则直接跳出检测失败;若拍到,然后继续判断是否拍到车牌号,以确认待检测车辆信息与图像中车辆是否匹配;然后再检测车牌号与预先获取车辆信息中的车牌号是否一致,若不一致则直接跳出检测失败,以便于后续检测工位时更加准确和便于校正。
举例来说,步骤S101~S103可以设置为简单逻辑流程,如通过输出0或1来表示检测加过。具体如下:
1)采用基于目标检测模型检测制动工位图像中的大车,并判断是否获取机动车区域图像,若未能获取,记录此条标志为0,流程结束;若能够获取机动车区域图像,进入下一流程;
2)采用基于目标检测模型判断车牌是否存在,若不存在,记录此条标志为0,流程结束;若存在,进入下一个流程;
3)对检测到的车牌区域图片,采用基于深度学习的分类模型判断车牌号是否与目标一致,若不一致则记录此条标志为0;流程结束;若车牌判断一致,进入下一流程;
步骤S2:基于目标检测模型检测得到对应各所述多轴大车的所有车胎的位置区域。
在通过如图3的方法处理后,本申请再基于目标检测模型检测得到对应各所述多轴大车的所有车胎的位置区域。如图4所示,所述方法具体包括:
S201:基于分类模型判断各所述多轴大车的车头车尾方向;
S202:基于目标检测模型检测所述工位图像中各所述多轴大车的各个所述车胎的坐标位置;
S203:根据各所述多轴大车的车头车尾方向及各所述车胎的坐标位置,判断各所述车胎的前后位置.
于本实施例中,在车辆信息检测匹配后,接着判断车辆方向,在大车区域图像采用基于深度学习的分类模型判断机动车方向,在检测出车辆方向后进一步检测车胎的位置,如前轮或前轴的位置,以便于后续检测工位时更加准确和便于校正。
例如,通过基于目标检测模型检测得到所述多轴大车对应的车胎或轮轴位置,或者检测台位置。
于本实施例中,所述目标检测模型的构建方法包括:
A、获取不同光照、不同拍摄角度下的所述多轴大车的工位图像;
B、采用矩形框标记待检测目标位置,并进行相应标记;
C、通过带有标记的所述工位图像训练目标检测深度神经网络模型,以得到所述目标检测模型。
于本实施例中,本申请采用现有基于深度学习常见的目标检测模型进行检测。如所述检测模型可以包括:Fast R-CNN、Faster R-CNN和FPN等基于候选区域的目标检测器,或者还可以包括YOLO、SSD和RetinaNet等在内的单次检测器。其中,如Fast R-CNN目标检测器,其使用特征提取器(CNN)先提取整个图像的特征之后,并使用ROI池化将其转化为固定大小的特征图块,将特征图作为输入层进行卷积,包含特征提取器、分类器和边界框回归器在内的整个网络能通过多任务损失函数进行端到端的训练,这种多任务损失即结合了分类损失和定位损失的方法,大大提升了模型准确度。
步骤S3:基于语义分割模型对所述工位图像进行分割以得到多个像素区域;
于本实施例中,所述语义分割模型的构建方法包括:
A、获取不同光照、不同拍摄角度下的所述多轴大车的工位图像;
B、对各工位对应区域的像素分别标记相应工位标签;
C、通过带有所述工位标签的所述工位图像训练工位分割深度神经网路模型,以得到所述语义分割模型。
于本实施例中,本申请采用现有基于深度学习常见的语义分割模型进行分割。图像语义分割就是机器自动从图像中分割出对象区域,并识别其中的内容。语义分割方法在处理图像时,具体到像素级别,也就是说,该方法会将图像中每个像素分配到某个对象类别。
在深度学习应用到计算机视觉领域之前,一般使用纹理基元森林(TextonForest)或是随机森林(Random Forest)方法来构建用于语义分割的分类器。卷积神经网络(CNN)不仅能很好地实现图像分类,而且在分割问题中也取得了很大的进展。最初,图像块分类是常用的深度学习方法,即利用每个像素周围的图像块分别将各像素分成对应的类别。其中,使用图像块的主要原因是分类网络通常具有全连接层,其输入需为固定大小的图像块。完全卷积网络(Fully Convolutional Networks)的提出,其推广了原有的CNN结构,在不带有全连接层的情况下能进行密集预测。这种结构的提出使得分割图谱可以生成任意大小的图像,且与图像块分类方法相比,也提高了处理速度。在后来,几乎所有关于语义分割的最新研究都采用了这种结构。
除了全连接层结构,在分割问题中很难使用CNN网络的另一个问题是存在池化层。池化层不仅能增大上层卷积核的感受野,而且能聚合背景同时丢弃部分位置信息。然而,语义分割方法需对类别图谱进行精确调整,因此需保留池化层中所舍弃的位置信息。研究者提出了两个不同形式的结构来解决这个问题。第一种方法是编码器-解码器(encoder-decoder)结构。其中,编码器使用池化层逐渐缩减输入数据的空间维度,而解码器通过反卷积层等网络层逐步恢复目标的细节和相应的空间维度。从编码器到解码器之间,通常存在直接的信息连接,来帮助解码器更好地恢复目标细节。在这种方法中,一种典型结构为U-Net网络。第二种方法使用了称作空洞卷积的结构,且去除了池化层结构。条件随机场(Conditional Random Field,CRF)方法通常在后期处理中用于改进分割效果。CRF方法是一种基于底层图像像素强度进行“平滑”分割的图模型,在运行时会将像素强度相似的点标记为同一类别。
在本实施中,因为现有制动检测中因为分割算法将多个相邻车胎分割为一个整体区域,不能区分不同车胎位置,也就是说语义分割只能判断类别,无法区分个体,因此,还需将目标检测的成像映射到语义分割上呈现中,以确定各工位单位的区域及坐标点。
步骤S4:将各车胎对应的所述位置区域映射到所述像素区域以得到对应各所述工位标签的坐标点集;根据各所述车胎的所述坐标点集与对应的检测台的所述坐标点集的距离,以判断制动状态。
于本申请一实施例中,所述步骤S4中所述将各车胎对应的所述位置区域映射到所述像素区域以得到对应各所述工位标签的坐标点集,具体还包括如图5中所述步骤,所述方法包括:
S411:将各所述位置区域对应的检测输入图像进行缩放;
S412:按比例映射到标记有对应所述工位标签的各所述像素区域上以得到对应所述工位标签的坐标点集。
于本申请一实施例中,所述工位标签包括:检测台及车胎;所述多轴大车的至少两个所述车胎分别置于所述检测台上进行检测;其中,所述检测台包括:滚筒式检测台和/或平板式检测台。
具体的,所述工位标签的坐标点集包括所述车胎的坐标点集,以及所述检测台的坐标点集。
于本实施例中,分割算法对同类别相邻目标的输出是一个整体区域,不能实现对每个目标的单独分割,而目标检测算法能够实现对每个目标的定位,将检测框位置按一定比例映射到分割输出图上,能获得每个目标的位置框及分割信息,因此弥补了分割算法不能对同类别多个相邻目标的单独分割的缺点,实际上是结合检测和分割实现了实例分割。
本专利主要是针对多轴大车制动判断的场景提出一种新的方法,结合基于深度学习的分类、检测和分割模型实现,对这些模型本身没有结构上改进。于本申请一实施例中,所述步骤S4中根据各所述车胎的所述坐标点集与对应的检测台的所述坐标点集的距离,以判断制动状态的方法参见图6所示,具体包括:
S421:计算各所述车胎的所述坐标点集与相对应的所述检测台的所述坐标点的位移距离;
S422:判断所述位移距离是否小于预设阈值;若是,则输出满足制动要求的结果;若否,则输出未满足制动要求的结果。
其中,所述工位标签的坐标点集包括所述车胎的坐标点集,以及所述检测台的坐标点集。具体来说,根据车辆制动(刹车)后,车胎与检测台之间发生的位移变化情况进行判断是否制动要求结果,而位移变化情况是通过所述车胎的坐标点集与所述检测台的坐标点集来进行判断的。
需说明的是,可以通过针对车辆不同的车胎分别进行制动检测的工位图像,分别进行制动状态的判断。或者,还可以通过针对车辆不同的车胎分别进行制动检测的工位图像,然后通过图像融合以对车辆多车胎同时进行制动状态的判断。
还需说明的是,本申请所述的基于深度学习的多轴大车制动检测方法主要用于对车辆多轴同时进行制动检测,其检测结果较为简单,仅判断是否满足制动要求。而如制动距离,制动时间等具体制动性能参数,则不是本申请所述方法所覆盖范畴,其可通过车间站的滚筒式或平板式制动性能检测设备检测获得。
举例来说,进一步,所述的基于深度学习网络的大车检测模型获取步骤如下:
1)获取不同光照、不同拍摄角度下的大车或机动车图像;
2)采用矩形框标记车辆所在位置,并标记为大车;
3)使用上述大车制动图像训练目标检测深度神经网络模型,获得大车检测模型。
进一步,所述的基于深度学习网络的车牌检测模型获取步骤如下:
4)获取不同光照、不同拍摄角度下的车牌图像;
5)采用矩形框标记车牌所在位置,并标记为车牌;
6)使用上述车牌图像训练目标检测深度神经网络模型,获得车牌检测模型。
进一步,所述的基于深度学习网络的车牌识别模型获取步骤如下:
7)获取不同光照、不同拍摄角度下的不同车牌图像;
8)标记车牌中车牌号;
9)使用车牌图像训练字符分类深度神经网络模型,获得车牌识别模型。
进一步,所述的基于深度学习网络的车辆方向分类模型获取步骤如下:
10)获取不同光照、不同拍摄角度下以及不同方向(车头超前和车头朝后)的车辆图像;
11)使用不同方向车辆数据训练车辆方向分类深度神经网络模型,获得车辆方向分类模型。
进一步,所述的基于深度学习网络的车轮检测模型获取步骤如下:
12)获取不同场景的大车图像,其中包含清晰的车轮区域;
13)采用矩形框标记车轮区域图像所在位置,并标记为大车车轮;
14)使用上述的大车数据训练目标检测深度神经网络模型,获得车轮检测模型。
进一步,所述的基于深度学习网络的工位信息分割模型获取步骤如下:
15)获取不同场景的大车制动图像;
16)对滚筒、车轮等工位类别对应区域的像素分别标记相应标签;
17)使用上述的制动标注数据训练工位分割深度神经网路模型。
综上所述,本申请主要应用于机动车车辆年检中多轴大车制动检测,利用目标检测、目标分类和语义分割模型,实现目标车辆定位、车牌识别、车辆方向识别及工位信息识别,同时实现审核过程的全程自动检测,既节约了人力,提高了人员检测的准确率,又保证了检测工作的公开、公正。
如图7所示,展示为本申请于一实施例中的电子装置的模块示意图。如图所示,所述装置700包括:
获取模块701,用于获取多轴大车制动的工位图像;
处理模块702,用于基于深度学习的目标检测模型检测得到对应各工位的工位区域;基于深度学习的语义分割模型对所述工位图像进行分割以得到多个像素区域;将各所述工位区域映射到对应所述工位标签的所述像素区域以得到对应各所述工位的坐标点集,以判断制动状态。
需要说明的是,上述装置各模块/单元之间的信息交互、执行过程等内容,由于与本申请所述方法实施例基于同一构思,其带来的技术效果与本申请方法实施例相同,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
还需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些单元可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,处理模块602可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上处理模块702的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(digital signal processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(Central Processing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
如图8所示,展示为本申请于一实施例中的计算机系统的结构示意图。如图所示,所述计算机系统800包括:存储器801、及处理器802;所述存储器801用于存储计算机指令;所述处理器802运行计算机指令实现如图1所述的方法。
在一些实施例中,所述计算机系统800中的所述存储器801的数量均可以是一或多个,所述处理器802的数量均可以是一或多个,而图8中均以一个为例。
于本申请一实施例中,所述计算机系统800中的处理器802会按照如图1所述的步骤,将一个或多个以应用程序的进程对应的指令加载到存储器801中,并由处理器802来运行存储在存储器802中的应用程序,从而实现如图1所述的方法。
所述存储器801可以包括随机存取存储器(RandomAccessMemory,简称RAM),也可以包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。所述存储器501存储有操作系统和操作指令、可执行模块或者数据结构,或者它们的子集,或者它们的扩展集,其中,操作指令可包括各种操作指令,用于实现各种操作。操作系统可包括各种系统程序,用于实现各种基础业务以及处理基于硬件的任务。
所述处理器802可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在一些具体的应用中,所述计算机系统800的各个组件通过总线系统耦合在一起,其中总线系统除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清除说明起见,在图8中将各种总线都成为总线系统。
于本申请的一实施例中,本申请提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如图1所述的方法。
所述计算机可读存储介质,本领域普通技术人员可以理解:实现上述系统及各单元功能的实施例可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时,执行包括上述系统及各单元功能的实施例;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述,本申请提供的一种基于深度学习的多轴大车制动检测方法、装置、系统,通过获取包含至少一辆多轴大车的工位图像;基于目标检测模型检测得到对应各所述多轴大车的所有车胎的位置区域;基于深度学习的语义分割模型对所述工位图像进行分割以得到对应各所述多轴大车的多个具有不同工位标签的像素区域;将各车胎对应的所述位置区域映射到所述像素区域以得到对应各所述工位标签的坐标点集;根据各所述车胎的所述坐标点集与对应的检测台的所述坐标点集的距离,以判断制动状态。
本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中包含通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本申请的权利要求所涵盖。

Claims (9)

1.一种基于深度学习的多轴大车制动检测方法,其特征在于,所述方法包括:
获取包含至少一辆多轴大车的工位图像;
基于目标检测模型检测得到对应各所述多轴大车的所有车胎的位置区域;
基于语义分割模型对所述工位图像进行分割以得到对应各所述多轴大车的多个具有不同工位标签的像素区域;
将各车胎对应的所述位置区域映射到所述像素区域以得到对应各所述工位标签的坐标点集;根据各所述车胎的所述坐标点集与对应的检测台的所述坐标点集的距离,以判断制动状态。
2.根据权利要求1所述的基于深度学习的多轴大车制动检测方法,其特征在于,所述工位标签包括:检测台、及车胎;所述多轴大车的至少两个所述车胎分别置于所述检测台上进行检测;其中,所述检测台包括:滚筒式检测台和/或平板式检测台。
3.根据权利要求1所述的基于深度学习的多轴大车制动检测方法,其特征在于,在获取多轴大车制动的工位图像后还包括以下方法:
基于目标检测模型检测所述工位图像中是否存在所述多轴大车;若存在,则进行下一步骤;若不存在,则输出检测失败结果;
基于目标检测模型检测所述工位图像中所述多轴大车的车牌号是否存在;若存在,则进行下一步骤;若不存在,则输出检测失败结果;
基于分类模型判断所述多轴大车的车牌号是否与预先获取车辆信息中的车牌号一致;
若一致,则判断各所述车胎的前后位置;若不一致,则输出检测失败结果。
4.根据权利要求1所述的基于深度学习的多轴大车制动检测方法,其特征在于,所述基于目标检测模型检测得到对应各所述多轴大车的所有车胎的位置区域,包括:
基于分类模型判断各所述多轴大车的车头车尾方向;
基于目标检测模型检测所述工位图像中各所述多轴大车的各个所述车胎的坐标位置;
根据各所述多轴大车的车头车尾方向及各所述车胎的坐标位置,判断各所述车胎的前后位置。
5.根据权利要求2所述的基于深度学习的多轴大车制动检测方法,其特征在于,所述将各车胎对应的所述位置区域映射到所述像素区域以得到对应各所述工位标签的坐标点集,包括:
将各所述位置区域对应的检测输入图像进行缩放;
按比例映射到标记有对应所述工位标签的各所述像素区域上以得到对应所述工位标签的坐标点集。
6.根据权利要求2所述的基于深度学习的多轴大车制动检测方法,其特征在于,所述根据各所述车胎的所述坐标点集与对应的检测台的所述坐标点集的距离,以判断制动状态,包括:
计算各所述车胎的所述坐标点集与相对应的所述检测台的所述坐标点的位移距离;
判断所述位移距离是否小于预设阈值;若是,则输出满足制动要求的结果;若否,则输出未满足制动要求的结果。
7.一种电子装置,其特征在于,所述装置包括:
获取模块,用于获取包含至少一辆多轴大车的工位图像;
处理模块,用于基于目标检测模型检测得到对应各所述多轴大车的所有车胎的位置区域;基于语义分割模型对所述工位图像进行分割以得到对应各所述多轴大车的多个具有不同工位标签的像素区域;将各车胎对应的所述位置区域映射到所述像素区域以得到对应各所述工位标签的坐标点集;根据各所述车胎的所述坐标点集与对应的检测台的所述坐标点集的距离,以判断制动状态。
8.一种计算机系统,其特征在于,所述设备包括:存储器、及处理器;所述存储器用于存储计算机指令;所述处理器运行计算机指令实现如权利要求1至6中任意一项所述的方法。
9.一种计算机可读存储介质,其特征在于,存储有计算机指令,所述计算机指令被运行时执行如权利要求1至6中任一项所述的方法。
CN201910964516.0A 2019-10-11 2019-10-11 基于深度学习的多轴大车制动检测方法、装置、系统 Pending CN110751633A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910964516.0A CN110751633A (zh) 2019-10-11 2019-10-11 基于深度学习的多轴大车制动检测方法、装置、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910964516.0A CN110751633A (zh) 2019-10-11 2019-10-11 基于深度学习的多轴大车制动检测方法、装置、系统

Publications (1)

Publication Number Publication Date
CN110751633A true CN110751633A (zh) 2020-02-04

Family

ID=69278005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910964516.0A Pending CN110751633A (zh) 2019-10-11 2019-10-11 基于深度学习的多轴大车制动检测方法、装置、系统

Country Status (1)

Country Link
CN (1) CN110751633A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507284A (zh) * 2020-04-21 2020-08-07 上海眼控科技股份有限公司 应用于车辆检测站的审核方法、审核系统和存储介质
CN111553282A (zh) * 2020-04-29 2020-08-18 北京百度网讯科技有限公司 用于检测车辆的方法和装置
CN112985830A (zh) * 2021-02-05 2021-06-18 深圳大雷汽车检测股份有限公司 一种abs结果自动判定算法
CN113255683A (zh) * 2021-06-25 2021-08-13 广东兴睿科技有限公司 一种基于神经网络的图像分割方法、系统及存储介质
CN113807231A (zh) * 2021-09-14 2021-12-17 西安电子科技大学 基于unet下采样卷积神经网络的x光违禁物检测方法

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6069966A (en) * 1996-07-04 2000-05-30 Snap-On Equipment Limited Apparatus and method for tire condition assessment
CN101246090A (zh) * 2008-02-01 2008-08-20 大连交通大学 闸调器疲劳试验的图像监测方法及其装置
CN101883690A (zh) * 2007-11-30 2010-11-10 沃尔沃拉斯特瓦格纳公司 识别车轮模块位置的方法
CN102611875A (zh) * 2011-12-22 2012-07-25 中国北车集团大连机车研究所有限公司 机车微机显示屏机车运行参数提取装置
CN202886110U (zh) * 2012-11-01 2013-04-17 中国煤炭科工集团太原研究院 防爆胶轮车台架测试系统
CN105510052A (zh) * 2016-01-18 2016-04-20 吉林大学 基于立体视觉的汽车制动时序检测装置及方法
CN105512424A (zh) * 2015-12-22 2016-04-20 湖南大学 基于脉冲试验获取工程机械轮胎垂向特性参数的方法
US20160379487A1 (en) * 2015-06-23 2016-12-29 Hunter Engineering Company Methods for identifying a vehicle from captured image data
CN106918459A (zh) * 2016-06-26 2017-07-04 黑龙江工程学院 货车超载判定方法
WO2018041835A1 (fr) * 2016-08-31 2018-03-08 Norauto France Système de lecture de capteurs de surveillance de véhicules automobiles
CN107966232A (zh) * 2017-11-24 2018-04-27 中国特种设备检测研究院 基于机器视觉的起重装备制动器性能监测方法与系统
CN108574811A (zh) * 2017-03-14 2018-09-25 丰田自动车株式会社 图像记录系统、图像记录方法和图像记录程序
EP3388262A1 (en) * 2017-04-10 2018-10-17 NEXION S.p.A. Method and apparatus for checking vehicle wheel tyres
WO2019012730A1 (en) * 2017-07-14 2019-01-17 Kabushiki Kaisha Toshiba DIAGNOSTIC DEVICE FOR ANOMALY, METHOD FOR DIAGNOSING ANOMALY, AND COMPUTER PROGRAM
CN109325385A (zh) * 2017-07-31 2019-02-12 株式会社理光 目标检测和区域分割方法、装置和计算机可读存储介质
CN109398342A (zh) * 2018-09-21 2019-03-01 北京车和家信息技术有限公司 车辆制动性能检测装置、车辆及车辆的控制方法
CN109506628A (zh) * 2018-11-29 2019-03-22 东北大学 一种基于深度学习的卡车环境下目标物测距方法
CN109649091A (zh) * 2018-12-28 2019-04-19 泉州装备制造研究所 基于计算机视觉的汽车轮胎监测系统
CN109784326A (zh) * 2018-11-27 2019-05-21 上海眼控科技股份有限公司 一种基于深度学习的车辆底盘检测方法
CN109919067A (zh) * 2019-02-27 2019-06-21 智慧海派科技有限公司 一种影像辨识方法及安全的自动驾驶方法
CN109927714A (zh) * 2017-11-16 2019-06-25 爱信精机株式会社 车辆控制装置以及停车场
CN110232379A (zh) * 2019-06-03 2019-09-13 上海眼控科技股份有限公司 一种车辆姿态检测方法及系统

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6069966A (en) * 1996-07-04 2000-05-30 Snap-On Equipment Limited Apparatus and method for tire condition assessment
CN101883690A (zh) * 2007-11-30 2010-11-10 沃尔沃拉斯特瓦格纳公司 识别车轮模块位置的方法
CN101246090A (zh) * 2008-02-01 2008-08-20 大连交通大学 闸调器疲劳试验的图像监测方法及其装置
CN102611875A (zh) * 2011-12-22 2012-07-25 中国北车集团大连机车研究所有限公司 机车微机显示屏机车运行参数提取装置
CN202886110U (zh) * 2012-11-01 2013-04-17 中国煤炭科工集团太原研究院 防爆胶轮车台架测试系统
US20160379487A1 (en) * 2015-06-23 2016-12-29 Hunter Engineering Company Methods for identifying a vehicle from captured image data
CN105512424A (zh) * 2015-12-22 2016-04-20 湖南大学 基于脉冲试验获取工程机械轮胎垂向特性参数的方法
CN105510052A (zh) * 2016-01-18 2016-04-20 吉林大学 基于立体视觉的汽车制动时序检测装置及方法
CN106918459A (zh) * 2016-06-26 2017-07-04 黑龙江工程学院 货车超载判定方法
WO2018041835A1 (fr) * 2016-08-31 2018-03-08 Norauto France Système de lecture de capteurs de surveillance de véhicules automobiles
CN108574811A (zh) * 2017-03-14 2018-09-25 丰田自动车株式会社 图像记录系统、图像记录方法和图像记录程序
EP3388262A1 (en) * 2017-04-10 2018-10-17 NEXION S.p.A. Method and apparatus for checking vehicle wheel tyres
WO2019012730A1 (en) * 2017-07-14 2019-01-17 Kabushiki Kaisha Toshiba DIAGNOSTIC DEVICE FOR ANOMALY, METHOD FOR DIAGNOSING ANOMALY, AND COMPUTER PROGRAM
CN109325385A (zh) * 2017-07-31 2019-02-12 株式会社理光 目标检测和区域分割方法、装置和计算机可读存储介质
CN109927714A (zh) * 2017-11-16 2019-06-25 爱信精机株式会社 车辆控制装置以及停车场
CN107966232A (zh) * 2017-11-24 2018-04-27 中国特种设备检测研究院 基于机器视觉的起重装备制动器性能监测方法与系统
CN109398342A (zh) * 2018-09-21 2019-03-01 北京车和家信息技术有限公司 车辆制动性能检测装置、车辆及车辆的控制方法
CN109784326A (zh) * 2018-11-27 2019-05-21 上海眼控科技股份有限公司 一种基于深度学习的车辆底盘检测方法
CN109506628A (zh) * 2018-11-29 2019-03-22 东北大学 一种基于深度学习的卡车环境下目标物测距方法
CN109649091A (zh) * 2018-12-28 2019-04-19 泉州装备制造研究所 基于计算机视觉的汽车轮胎监测系统
CN109919067A (zh) * 2019-02-27 2019-06-21 智慧海派科技有限公司 一种影像辨识方法及安全的自动驾驶方法
CN110232379A (zh) * 2019-06-03 2019-09-13 上海眼控科技股份有限公司 一种车辆姿态检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
付昌星: "汽车制动性能检测系统中神经网络的应用分析", 《汽车与驾驶维修:维修版》 *
岳洪伟: "基于双目立体视觉的汽车制动性能检测系统研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507284A (zh) * 2020-04-21 2020-08-07 上海眼控科技股份有限公司 应用于车辆检测站的审核方法、审核系统和存储介质
CN111553282A (zh) * 2020-04-29 2020-08-18 北京百度网讯科技有限公司 用于检测车辆的方法和装置
CN111553282B (zh) * 2020-04-29 2024-03-29 北京百度网讯科技有限公司 用于检测车辆的方法和装置
CN112985830A (zh) * 2021-02-05 2021-06-18 深圳大雷汽车检测股份有限公司 一种abs结果自动判定算法
CN112985830B (zh) * 2021-02-05 2023-06-23 深圳大雷汽车检测股份有限公司 一种abs结果自动判定算法
CN113255683A (zh) * 2021-06-25 2021-08-13 广东兴睿科技有限公司 一种基于神经网络的图像分割方法、系统及存储介质
CN113807231A (zh) * 2021-09-14 2021-12-17 西安电子科技大学 基于unet下采样卷积神经网络的x光违禁物检测方法
CN113807231B (zh) * 2021-09-14 2024-02-13 西安电子科技大学 基于unet下采样卷积神经网络的x光违禁物检测方法

Similar Documents

Publication Publication Date Title
CN110751633A (zh) 基于深度学习的多轴大车制动检测方法、装置、系统
CN108171112B (zh) 基于卷积神经网络的车辆识别与跟踪方法
CN109816024B (zh) 一种基于多尺度特征融合与dcnn的实时车标检测方法
KR102073162B1 (ko) 딥러닝 기반의 소형 물체 검출 기법
CN111178236A (zh) 一种基于深度学习的车位检测方法
Zheng et al. HLU 2-Net: a residual U-structure embedded U-Net with hybrid loss for tire defect inspection
CN108830131B (zh) 基于深度学习的交通目标检测与测距方法
CN114118124B (zh) 图像检测方法和装置
CN111401162A (zh) 渣土车违法审核方法、电子装置、计算机设备和存储介质
Wang et al. Detection and classification of moving vehicle from video using multiple spatio-temporal features
CN111409070B (zh) 检测方法及装置、智能机器人及存储介质
US20210117700A1 (en) Lane line attribute detection
Gluhaković et al. Vehicle detection in the autonomous vehicle environment for potential collision warning
CN113920101A (zh) 目标检测方法、装置、设备及存储介质
CN111709341B (zh) 客梯车作业状态的检测方法与系统
CN107274673B (zh) 基于修正局部方差的车辆排队长度测量方法及测量系统
CN110738668B (zh) 一种智能控制远光灯的方法、系统及交通工具
CN112733818A (zh) 基于注意力机制的车灯状态识别方法、装置、终端和介质
CN114820679A (zh) 图像标注方法、装置、电子设备和存储介质
CN112784675B (zh) 目标检测方法及装置、存储介质、终端
US11200438B2 (en) Sequential training method for heterogeneous convolutional neural network
CN116052120A (zh) 基于图像增强和多传感器融合的挖掘机夜间物体检测方法
CN114973205A (zh) 一种红绿灯跟踪方法、装置、及无人驾驶汽车
CN115100632A (zh) 膨胀点云识别方法、装置、计算机设备和存储介质
CN113642382A (zh) 一种基于多标签目标检测的重车识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20230317