CN107067734B - 一种城市信号控制交叉口车辆滞留违章检测方法 - Google Patents

一种城市信号控制交叉口车辆滞留违章检测方法 Download PDF

Info

Publication number
CN107067734B
CN107067734B CN201710231683.5A CN201710231683A CN107067734B CN 107067734 B CN107067734 B CN 107067734B CN 201710231683 A CN201710231683 A CN 201710231683A CN 107067734 B CN107067734 B CN 107067734B
Authority
CN
China
Prior art keywords
detection area
intersection
vehicle
detection
vmf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710231683.5A
Other languages
English (en)
Other versions
CN107067734A (zh
Inventor
朱文兴
李明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201710231683.5A priority Critical patent/CN107067734B/zh
Publication of CN107067734A publication Critical patent/CN107067734A/zh
Application granted granted Critical
Publication of CN107067734B publication Critical patent/CN107067734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种城市信号控制交叉口车辆滞留违章检测方法,首先,获取被监测路口的卡口视频,然后,对卡口视频中靠近出口处的检测区域图像进行HSV颜色空间转换,建立亮度统计直方图,由亮度直方图得到检测区域中亮度值最集中的像素数占检测区域所有像素数的比例vmf,然后,根据检测区域中每帧vmf值的大小和各帧vmf之间的关系,判断路口出口处的拥堵情况,最后,在拥堵情况下,给出提示信号,并对继续进入路口且滞留的车辆进行违章抓拍。本发明有助于管理交叉口的车辆拥堵情况。

Description

一种城市信号控制交叉口车辆滞留违章检测方法
技术领域
本发明涉及智能交通系统领域,具体涉及一种城市信号控制交叉口车辆滞留违章检测方法。
背景技术
车辆路口滞留违章检测是一个较新的研究课题,近年来,随着社会经济的持续发展,私家车拥有量迅速增长,给居民出行带来方便的同时,随之而来的交通拥堵问题也日益凸显,尤其在大型城市,早晚高峰车流量大,道路拥堵,若司机不遵守交通规则,则很容易导致交通更加拥堵,进而形成片区大面积的交通瘫痪,其中车辆路口滞留违章行为就是加剧交通拥堵的一大原因。
路口滞留违章也称为“闯绿灯违章”是指在交叉口发生拥堵的情况下,无论信号灯是否为绿灯,车辆都不应驶入路口,根据《道路交通安全法实施条例》第五十三条规定:机动车遇有前方交叉路口交通阻塞时,应当依次停在路口以外等候,不得进入路口。如果车辆进入路口后,在下一个红绿灯周期之内无法离开路口,对路口其他方向的车辆产生阻碍,影响了整个路口的通行秩序,就属于"路口滞留违章"行为。
目前,随着人工智能与计算机视觉技术的不断成熟,视频检测技术已经开始广泛应用于城市交通系统中,但由于户外条件比较复杂,各时间段光照强度不同,交通拥堵发生时,路面车密度大,覆盖率高,车辆行驶缓慢等因素的影响,使得路口滞留违章行为难以自动检测,单一的依靠人工监管的方法,不仅 增加了人力成本,加剧了繁忙的交通勤务管理与执行警力不足的矛盾,而且还会给现场执法的警务人员带来安全隐患,因此,如何简单高效的利用路口监控自动检测车辆路口滞留违章行为成为亟需解决的技术问题。
发明内容
本发明为了解决上述问题,提出了一种城市信号控制交叉口车辆滞留违章检测方法,本发明基于视频图像处理技术,实时获取路口交通状态,在路口产生溢流情况下,阻止车辆继续驶入路口,并对继续驶入路口区域且滞留的车辆实施抓拍取证,有助于管理车辆滞留、拥堵情况。
为了实现上述目的,本发明采用的技术方案是:
一种城市信号控制交叉口车辆滞留违章检测方法,首先,获取被监测路口的卡口视频,然后,对卡口视频中靠近出口处的检测区域图像进行HSV颜色空间转换,建立亮度统计直方图,由亮度直方图得到检测区域中亮度值最集中的像素数占检测区域所有像素数的比例vmf,然后,根据检测区域中每帧vmf值的大小和各帧vmf之间的关系,判断路口出口处的拥堵情况,最后,在拥堵情况下,给出提示信号,并对继续进入路口且滞留的车辆进行违章抓拍。
进一步的,被监测路口上设置有两个检测区域,其中第一检测区域设置在路口的靠近出口处,第二检测区域设置在路口的靠近进口处,分别检测路口出口处是否已发生拥堵,以及检测是否有车进入路口且滞留在路口所设的检测区域中。
进一步的,所设检测区域为矩形,长度为所在车道宽度的80-95%,宽度为普通小轿车车身长度的1/3~1/2。
进一步的,比例vmf的计算方法为将第一检测区域图像在HSV模式下亮度最集中分布的像素个数与检测区域内所有像素个数的比值。
进一步的,对图像的亮度进行直方图统计时,对亮度值的变化范围归一化为0-250,直方图bin的数量设为m,即连续的n个亮度值为一组bin,m*n=250,获取亮度统计直方图中高度最高的bin所包含的像素个数即为检测区域图像在HSV模式下亮度最集中分布的像素个数。
进一步的,判断的具体过程为:
设置阈值rath,建立判定模型判定检测区域内是否有车,判定模型如下:
Figure BDA0001266785680000031
其中,Y=0表示检测区域内无车,Y=1表示检测区域内有车占据,rath为将检测区域内划分为有车占据和无车的阈值。
进一步的,计算前后帧图像的vmf值的变化,若该变化值小于预定阈值,认为检测区域的图像没有变化。
进一步的,当检测区域的图像没有变化且检测区域内有车,则认为则检测区域内车辆的运动状态为停止,当停止状态延续时间超过设定时间阈值时,则判定检测区域内的车辆发生拥堵,无法行驶。
进一步的,当判定为第一检测区域车辆拥堵时,进行提示,禁止驶入,同时启动对于第二检测区域的图像检测,将提示时间后进入路口且滞留在路口内的车辆视为发生违章行为,启动抓拍系统。
进一步的,当第一检测区域中停止状态延续时间小于设定时间阈值后,且之后有连续若干帧图像判定为第一检测区域无车,即可判定路口内的车辆已经 排空,此时发出停止提示的信号,路口恢复正常通行。
与现有技术相比,本发明的有益效果为:
1本发明运用数字图像处理等技术通过对城市信号控制交叉口卡口摄像机拍摄到的视频图像进行处理和分析实现了对路口拥堵的检测和路口滞留违章行为的自动检测,可有效避免在路口溢流情况下,车辆继续驶入下游路段,导致拥堵加剧的现象。
2本发明提出了运用两个检测区域来判定车辆路口滞留违章行为,解决了仅对单一区域进行检测的不准确性,同时增加了对路口排空的检测,有效的解决电子显示屏刚熄灭又亮起的现象,从而防止了路口拥堵还未完全消散的情况下允许车辆进入路口。
3本发明充分利用了HSV颜色空间亮度(value)的特性,通过将检测区域图像转化到HSV颜色空间中利用亮度直方图的信息来检测车辆的存在和运动状况,能够在高密度前景覆盖和运动目标缓慢运动的条件下实现对运动目标的检测,克服了以往的运动目标检测依靠背景减除法来获取前景信息,而在高密度前景覆盖的情况下背景模型无法准确建立与更新的缺陷,以及依靠帧差法进行运动目标检测在运动目标缓慢运动或停止情况下无法准确获取的缺陷,提高了检测的准确度,降低了算法的计算量和算法复杂度,为今后城市中拥堵道路上的车辆视频检测供了新方法。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。
图1是本发明的路口抓拍系统俯视图;
图2是本发明的路口抓拍系统侧视图;
图3是本发明的流程示意图。
具体实施方式:
下面结合附图与实施例对本发明作进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本申请的一种典型的实施方式中,如图1所示,一种城市信号控制交叉口车辆滞留违章自动检测的方法,首先,获取被监测路口的卡口视频,并在视频图像中设置两个检测区域如图2所示:检测区域1和检测区域2,然后对该卡口视频中的两个检测区域图像进行HSV颜色空间转换,建立亮度统计直方图,由亮度直方图得到检测区域中亮度值最集中的像素数占检测区域所有像素数的比例vmf,根据检测区域中每帧vmf值的大小和各帧vmf之间的关系,由各判定模型的计算结果来判断检测区域内是否有车,路口内是否发生了交通拥堵,是否发生了闯绿灯违章行为,以及拥堵是否已经消散,从而给出禁止和恢复进入路口的提示信号并对发生路口滞留违章行为的车辆实施抓拍取证。
具体步骤为:
步骤(1):
获取被检测路口的卡口视频,对卡口视频图像设置两个检测区域:检测区域1和检测区域2,如图1所示。其中检测区域1设在路口靠近出口处,用来检测路口出口处是否已发生拥堵。检测区域2设置在路口靠近入口处,用来检测是否有车进入路口且滞留在路口所设检测区域中,并结合检测区域1的检测结果来判定是否发生了路口滞留违章行为。
所设检测区域为矩形,长度约为所在车道宽度的90%,宽度约为普通小轿车车身长度的1/3~1/2。
步骤(2):
对检测区域内的图像进行HSV颜色空间的转换,建立亮度统计直方图,根据直方图的统计结果获取vmf,vmf为检测区域内亮度分布最集中的样本数量占所有统计样本数的比值,公式如下:
Figure BDA0001266785680000061
其中,Vall为检测区域内所有像素个,Vmax为检测区域图像在HSV模式下亮度最集中分布的像素个数,具体获取方法为:首先对检测区域内的图像进行颜色空间转换,将原本的RGB模式下的彩色图像转化为HSV模式(即色调(hue)、饱和度(saturation)、亮度(value))。然后对图像的亮度(value)进行直方图统计,为了有更好的区分度,此处对亮度值的变化范围归一化为0-250,bin的数量设为25,(bin为直方图中一重要概念,可翻译为“直条”或者“组距”)即连续的10个亮度值为一组bin,获取亮度统计直方图中高度最高的bin所包含的像素个数即为Vmax
步骤(3):
根据步骤(2)中得到的vmf值判断检测区域内是否有车:首先设置阈值rath,建立判定模型判定检测区域内是否有车,判定模型如下:
Figure BDA0001266785680000071
其中,Y=0表示检测区域内无车,Y=1表示检测区域内有车占据,rath为一个常数值,一般可取经验值0.7,也可由实验得出。
步骤(4):
判断路口出口处是否已发生了拥堵:首先设置阈值trith,当前后帧vmf值的变化小于trith时,可近似认这两帧之间的vmf没有发生变化即检测区域内的图像没有发生变化,在有车情况下即Y=1时,若前后帧图像没有发生变化,则检测区域内车辆的运动状态为停止。令V表示前后帧图像是否发生了变化,为提高算法的稳定性,此处除对图像进行必要的滤波外,采用如下技术方案:取当前帧上一帧和上上帧连续三帧图像作为判定标准:
Figure BDA0001266785680000072
其中vmf1,vmf2,vmf3分别为当前帧,上一帧和上上帧图像的vmf值,V=1表示前后帧图像没有发生变化,V=0表示前后帧图像发生了变化,trith为一个常数值,其值的大小决定判定的灵敏度,较大的trith值可容许两帧之间有相对较大范围内的变化,一般可取经验值trith=0.008,或由实验得出参考值,可跟距具体实际道路要求情况做出相应调整。
在Y=1且V=1时,初步判定此时检测区域前方已发生了拥堵,检测区域内的车已停止不动。令Z表示车辆已连续停驶的时长,由于摄像机每秒拍摄的帧数固定,故此处用连续帧数来表示车辆停驶时长:
Figure BDA0001266785680000081
设置时间域值T,在检测区域1中,当Z1>T1时,可进一步判定检测区域前方即路口出口处已发生拥堵,检测区域内的车辆已无法行驶。
步骤(5):
车辆路口滞留违章行为的检测与抓拍:当Z1>T1判定路口发生拥堵后,向路口电子显示屏发出亮起“路口拥堵,禁止驶入”的提示信号,同时启动检测区域2对Z2的计算,在Z1保持Z1>T1的条件下,若Z2达到Z2=T2,即可认为在显示屏禁止进入路口的提示亮起后,仍有车进入路口且滞留在路口内,发生了路口滞留违章行为,此时启动抓拍系统。
步骤(6):
路口是否已排空的检测:当检测区域1中Z1恢复到Z1<T1时,且之后有连续T3帧Y1=0,即检测区域1中的车辆已恢复行驶,且之后有T3帧时长内无车辆进入检测区域,即可判定路口内的车辆已经排空,此时向电子显示屏发出停止提示的信号,并停止检测区域2的工作,路口恢复正常通行。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上, 本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.一种城市信号控制交叉口车辆滞留违章检测方法,其特征是:首先,获取被监测路口的卡口视频,然后,对卡口视频中靠近出口处的检测区域图像进行HSV颜色空间转换,建立亮度统计直方图,由亮度直方图得到检测区域中亮度值最集中的像素数占检测区域所有像素数的比例vmf,然后,根据检测区域中每帧vmf值的大小和各帧vmf之间的关系,判断路口出口处的拥堵情况,最后,在拥堵情况下,给出提示信号,并对继续进入路口且滞留的车辆进行违章抓拍;
所述检测区域具体为:被监测路口上设置有两个检测区域,其中第一检测区域设置在路口的靠近出口处,第二检测区域设置在路口的靠近进口处,分别检测路口出口处是否已发生拥堵,以及检测是否有车进入路口且滞留在路口所设的检测区域中;
判断的具体过程为:设置阈值rath,建立判定模型判定检测区域内是否有车,判定模型如下:
Figure FDA0002375460380000011
其中,Y=0表示检测区域内无车,Y=1表示检测区域内有车占据,rath为将检测区域内划分为有车占据和无车的阈值;
计算前后帧图像的vmf值的变化,若该变化值小于预定阈值,认为检测区域的图像没有变化,取当前帧上一帧和上上帧连续三帧图像作为判定标准:
Figure FDA0002375460380000012
其中vmf1,vmf2,vmf3分别为当前帧,上一帧和上上帧图像的vmf值,V=1表示前后帧图像没有发生变化,V=0表示前后帧图像发生了变化,trith为一个常数值。
2.如权利要求1所述的一种城市信号控制交叉口车辆滞留违章检测方法,其特征是:所设检测区域为矩形,长度为所在车道宽度的80-95%,宽度为普通小轿车车身长度的1/3~1/2。
3.如权利要求1所述的一种城市信号控制交叉口车辆滞留违章检测方法,其特征是:比例vmf的计算方法为将第一检测区域图像在HSV模式下亮度最集中分布的像素个数与检测区域内所有像素个数的比值。
4.如权利要求1所述的一种城市信号控制交叉口车辆滞留违章检测方法,其特征是:对图像的亮度进行直方图统计时,对亮度值的变化范围归一化为0-250,直方图bin的数量设为m,即连续的n个亮度值为一组bin,m*n=250,获取亮度统计直方图中高度最高的bin所包含的像素个数即为检测区域图像在HSV模式下亮度最集中分布的像素个数。
5.如权利要求1所述的一种城市信号控制交叉口车辆滞留违章检测方法,其特征是:当检测区域的图像没有变化且检测区域内有车,则认为则检测区域内车辆的运动状态为停止,当停止状态延续时间超过设定时间阈值时,则判定检测区域内的车辆发生拥堵,无法行驶。
6.如权利要求1所述的一种城市信号控制交叉口车辆滞留违章检测方法,其特征是:当判定为第一检测区域车辆拥堵时,进行提示,禁止驶入,同时启动对于第二检测区域的图像检测,将提示时间后进入路口且滞留在路口内的车辆视为发生违章行为,启动抓拍系统。
7.如权利要求1所述的一种城市信号控制交叉口车辆滞留违章检测方法,其特征是:当第一检测区域中停止状态延续时间小于设定时间阈值后,且之后有连续若干帧图像判定为第一检测区域无车,即可判定路口内的车辆已经排空,此时发出停止提示的信号,路口恢复正常通行。
CN201710231683.5A 2017-04-11 2017-04-11 一种城市信号控制交叉口车辆滞留违章检测方法 Active CN107067734B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710231683.5A CN107067734B (zh) 2017-04-11 2017-04-11 一种城市信号控制交叉口车辆滞留违章检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710231683.5A CN107067734B (zh) 2017-04-11 2017-04-11 一种城市信号控制交叉口车辆滞留违章检测方法

Publications (2)

Publication Number Publication Date
CN107067734A CN107067734A (zh) 2017-08-18
CN107067734B true CN107067734B (zh) 2020-07-28

Family

ID=59601800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710231683.5A Active CN107067734B (zh) 2017-04-11 2017-04-11 一种城市信号控制交叉口车辆滞留违章检测方法

Country Status (1)

Country Link
CN (1) CN107067734B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108538055A (zh) * 2018-06-08 2018-09-14 山东大学 一种交叉路口预防车辆滞留的控制方法及系统
CN108847039A (zh) * 2018-07-06 2018-11-20 郑州云海信息技术有限公司 一种红绿灯自适应控制方法与系统
CN112633039A (zh) * 2019-09-24 2021-04-09 成都通甲优博科技有限责任公司 一种拥堵区域过滤的方法和系统
CN113053104A (zh) * 2021-02-24 2021-06-29 上海眼控科技股份有限公司 目标状态确定方法、装置、计算机设备和存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3064759B2 (ja) * 1993-09-28 2000-07-12 株式会社日立製作所 車両の周囲を監視する装置、車両の運転支援システムおよび運転支援装置
CN102521983B (zh) * 2011-12-23 2013-10-16 北京易华录信息技术股份有限公司 一种基于高清视频技术的车辆违章检测系统及方法
CN102768801B (zh) * 2012-07-12 2014-08-06 复旦大学 基于视频的机动车绿灯跟进违章行为的检测方法
CN103258429B (zh) * 2013-04-26 2015-06-03 青岛海信网络科技股份有限公司 路口拥堵时机动车强行驶入的视频检测方法
CN103345618A (zh) * 2013-06-21 2013-10-09 银江股份有限公司 一种基于视频技术的交通违章检测方法
CN103488987B (zh) * 2013-10-15 2017-04-19 浙江宇视科技有限公司 一种基于视频检测交通信号灯的方法及装置
CN103927875B (zh) * 2014-04-29 2016-01-20 山东大学 基于视频的交通溢流状态识别方法

Also Published As

Publication number Publication date
CN107067734A (zh) 2017-08-18

Similar Documents

Publication Publication Date Title
CN107067734B (zh) 一种城市信号控制交叉口车辆滞留违章检测方法
CN102768801B (zh) 基于视频的机动车绿灯跟进违章行为的检测方法
CN103366571B (zh) 智能的夜晚交通事件检测方法
CN101833863B (zh) 车流速度检测方法及装置、交通信号灯控制方法及系统
CN102385803B (zh) 基于视频监控的全天候市区车辆跟踪与计数方法
CN101739827B (zh) 一种车辆检测跟踪方法和装置
CN102005120A (zh) 基于视频图像分析的交通路口监控技术和系统
US20160034778A1 (en) Method for detecting traffic violation
CN112258668A (zh) 基于高位摄像头对路边车辆停车行为的检测方法
CN114141021B (zh) 一种智慧城市交通信号灯控制系统及其控制方法
CN106327863A (zh) 一种车辆拥堵检测预警方法、装置及系统
KR101117071B1 (ko) 상황적응적 점등식 에너지절약형 횡단보도 안전조명장치
CN112382102A (zh) 城市交通信号灯的智能控制系统
CN105654734A (zh) 车辆违章行为的数据处理方法及装置
CN104282158A (zh) 一种交通信号灯智能控制方法和系统
CN114781479A (zh) 交通事件检测方法及装置
CN111649918A (zh) 用于实时监测开启远光灯并持续跟踪车辆的方法
CN107169422A (zh) 基于前照灯光线方向的远光灯开闭状态的判别方法
Nagaraj et al. Traffic jam detection using image processing
CN107507431A (zh) 一种基于实时路况信息的交通信号控制方法
CN208781404U (zh) 一种交通信号灯控制系统
CN111754790B (zh) 一种基于雷达的匝道入口交通控制系统及方法
CN111161539B (zh) 专用车道通行控制系统及方法
KR20100108887A (ko) 객체인식 카메라를 이용한 지능형 교통신호 제어장치 및 방법
CN104237808A (zh) 一种基于图像异常的电子警察系统补光灯故障检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant