CN110580437B - 道路交通标志识别装置 - Google Patents

道路交通标志识别装置 Download PDF

Info

Publication number
CN110580437B
CN110580437B CN201910490580.XA CN201910490580A CN110580437B CN 110580437 B CN110580437 B CN 110580437B CN 201910490580 A CN201910490580 A CN 201910490580A CN 110580437 B CN110580437 B CN 110580437B
Authority
CN
China
Prior art keywords
traffic sign
map information
road traffic
road
reliability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910490580.XA
Other languages
English (en)
Other versions
CN110580437A (zh
Inventor
长嶋太良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzuki Motor Corp
Original Assignee
Suzuki Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzuki Motor Corp filed Critical Suzuki Motor Corp
Publication of CN110580437A publication Critical patent/CN110580437A/zh
Application granted granted Critical
Publication of CN110580437B publication Critical patent/CN110580437B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle

Abstract

本发明提供一种道路交通标志识别装置,即使在从拍摄车辆前方得到的图像中无法识别道路交通标志的情况下也能抑制无法判断与当前位置对应的道路交通标志。包括:摄像部,其拍摄车辆的前方;通知部,其将各种信息通知给驾驶者;地图信息管理部,其管理静态地图信息和借助通信部从服务器装置、路侧通信装置等取得的动态信息;及控制部,在从由摄像部拍摄到的图像中识别出标志时,若识别出的标志与存储于地图信息管理部的地图信息的标志一致,则将存储于地图信息管理部的地图信息的可靠性设定为“高”,在到下一次判断可靠性为止的期间,保持可靠性,在可靠性为“高”的情况下,将存储于地图信息管理部的地图信息的标志判断为与当前位置对应的标志。

Description

道路交通标志识别装置
技术领域
本发明涉及一种道路交通标志识别装置。
背景技术
在专利文献1中公开了一种道路交通标志判断技术,在该道路交通标志判断技术中,基于由照相机识别出的道路交通标志和从地图数据取得的道路交通标志是否一致这样的信息、在上次的道路路段中从地图数据取得的道路交通标志和在当前的道路路段中从地图数据取得的道路交通标志是否一致这样的信息,来判断是否将从地图数据取得的道路交通标志作为当前最终的道路交通标志。
现有技术文献
专利文献
专利文献1:日本特许第6170416号公报
发明内容
发明要解决的问题
专利文献1中记载的技术的目的在于,解决在未通过照相机识别出道路交通标志的期间无法判断出道路交通标志这样的问题,从自地图数据取得的道路交通标志不存在错误的概率是否较高这样的观点出发,来决定是否将其作为当前最终的道路交通标志。
该专利文献1中记载的技术原则上是在能够通过照相机取得设置的道路交通标志并能够通过照相机针对每段道路路段识别出道路交通标志这样的前提下实现的技术。
研究了作为例外的在上次的道路路段中照相机无法取得道路交通标志的情况。对于这样的情况,记载了如下这样的情况:在满足在上上次的道路路段中从照相机和地图数据取得的道路交通标志一致且在上上次的道路路段和上次的道路路段中从地图数据取得的道路交通标志没有发生变化这样的条件的情况下,将从地图数据取得的道路交通标志判断为当前最终的道路交通标志。
但是,实际上,因照相机的图像检测精度、道路交通标志自身的污浊等,使照相机无法取得道路交通标志,可能在连续的多个道路路段中照相机都无法取得道路交通标志。在这样的情况下,专利文献1中记载的道路交通标志判断技术会出现以下那样的问题。
存在这样的情况:在上次的道路路段和上上次的道路路段中照相机都无法取得道路交通标志,而且,在从上上次的道路路段向上次的道路路段变化时、从上次的道路路段向当前的道路路段变化时,从地图数据取得的道路交通标志信息也发生变化。
在这样的情况下,对于专利文献1中记载的技术而言,由于在上次的道路路段中照相机无法取得道路交通标志,而且随着道路路段的变化,从地图数据取得的道路交通标志信息也发生变化,因此在至少到下一次照相机取得道路交通标志为止的期间,无法判断出最终的道路交通标志。
即,对于专利文献1中记载的技术而言,在照相机长时间无法取得道路交通标志那样的状况下,即使从地图数据取得的道路交通标志信息正确,也无法判断出最终的道路交通标志。
因此,本发明的目的在于提供一种道路交通标志识别装置,该道路交通标志识别装置即使在自拍摄车辆前方得到的图像中无法识别出道路交通标志的情况下,也能够抑制无法判断出与当前位置相对应的道路交通标志。
用于解决问题的方案
为了解决上述问题,本发明包括:摄像部,其拍摄车辆的前方的图像;识别处理部,其根据所述图像识别道路交通标志;标志信息存储部,其存储与位置信息相关的道路交通标志的信息;道路交通标志判断部,其至少基于由所述识别处理部识别出的道路交通标志和存储于所述标志信息存储部的道路交通标志中的任一者来判断与当前位置相对应的道路交通标志;以及可靠性判断部,其判断存储于所述标志信息存储部的信息的可靠性,所述可靠性判断部至少在从所述图像中识别出道路交通标志时判断所述可靠性,在从所述图像中识别出的道路交通标志与存储于所述标志信息存储部的道路交通标志一致的情况下,该可靠性判断部使所述可靠性上升,在到下一次判断出所述可靠性为止的期间,该可靠性判断部保持所述可靠性,在由所述可靠性判断部判断出的所述可靠性为规定值以上的情况下,所述道路交通标志判断部将存储于所述标志信息存储部的道路交通标志判断为与当前位置相对应的道路交通标志。
发明的效果
如此,采用本发明,即使在自拍摄车辆前方得到的图像中无法识别出道路交通标志的情况下,也能够抑制无法判断出与当前位置相对应的道路交通标志。
附图说明
图1是本发明的第1实施例的道路交通标志识别装置的框图。
图2是表示本发明的第1实施例的道路交通标志识别装置的可靠性判断处理的步骤的流程图。
图3是表示本发明的第1实施例的道路交通标志识别装置的道路交通标志通知处理的步骤的流程图。
图4是表示本发明的第1实施例的道路交通标志识别装置的可靠性判断处理和道路交通标志通知处理中的道路交通标志的显示变化的第1例的图。
图5是表示本发明的第1实施例的道路交通标志识别装置的可靠性判断处理和道路交通标志通知处理中的道路交通标志的显示变化的第2例的图。
图6是表示本发明的第1实施例的道路交通标志识别装置的可靠性判断处理和道路交通标志通知处理中的道路交通标志的显示变化的第3例的图。
图7是表示本发明的第1实施例的道路交通标志识别装置的可靠性判断处理和道路交通标志通知处理中的道路交通标志的显示变化的第4例的图。
图8是本发明的第2实施例的道路交通标志识别装置的框图。
图9是表示根据本发明的第2实施例的道路交通标志识别装置的与地图信息的警告标志相对应的传感器信息的推断方法的图。
图10是表示本发明的第2实施例的道路交通标志识别装置的可靠性判断处理的步骤的流程图。
附图标记说明
1、车辆;2、摄像部;3、通知部;5、地图信息管理部;6、控制部;53、GNSS接收装置;54、标志信息存储部;64、识别处理部;65、输出处理部;66、可靠性判断部;67、道路交通标志判断部
具体实施方式
本发明的一实施方式的道路交通标志识别装置构成为包括:摄像部,其拍摄车辆的前方的图像;识别处理部,其根据图像识别道路交通标志;标志信息存储部,其存储与位置信息相关的道路交通标志的信息;道路交通标志判断部,其至少基于由识别处理部识别出的道路交通标志和存储于标志信息存储部的道路交通标志中的任一者来判断与当前位置相对应的道路交通标志;以及可靠性判断部,其判断存储于标志信息存储部的信息的可靠性,该可靠性判断部至少在从图像中识别出道路交通标志时判断可靠性,在从图像中识别出的道路交通标志与存储于标志信息存储部的道路交通标志一致的情况下,该可靠性判断部使可靠性上升,在到下一次判断出可靠性为止的期间,该可靠性判断部保持可靠性,在由可靠性判断部判断出的可靠性为规定值以上的情况下,道路交通标志判断部将存储于标志信息存储部的道路交通标志判断为与当前位置相对应的道路交通标志。
由此,本发明的一实施方式的道路交通标志识别装置即使在从拍摄车辆前方得到的图像中无法识别出道路交通标志的情况下,也能够抑制无法判断出与当前位置相对应的道路交通标志。
【实施例】
以下,参照附图详细地说明本发明的实施例的道路交通标志识别装置。
(第1实施例)
在图1中,搭载有本发明的第1实施例的道路交通标志识别装置的车辆1构成为包括摄像部2、通知部3、通信部4、地图信息管理部5以及控制部6。
摄像部2例如由照相机等构成,用于拍摄车辆1的前方。摄像部2将拍摄到的图像向控制部6输出。
通知部3例如由监视装置、扬声器、灯、仪表、蜂鸣器等构成,通过视觉、听觉等将各种信息通知给驾驶者。
通信部4与车辆外部的服务器装置、设置于道路附近的路侧通信装置等通信,来发送和接收信息。
地图信息管理部5由包括CPU(Central Processing Unit:中央处理器)、RAM(Random Access Memory:随机存取存储器)、ROM(Read Only Memory:只读存储器)、闪速存储器、硬盘装置、输入端口以及输出端口的计算机单元构成。
在地图信息管理部5的ROM中存储有各种控制常数、各种映射等并且存储有用于使该计算机单元作为地图信息管理部5发挥功能的程序。即,通过CPU执行存储于ROM的程序,该计算机单元作为地图信息管理部5发挥功能。
在地图信息管理部5的输入端口连接有GNSS(Global Navigation SatelliteSystem:全球卫星导航系统)接收装置53、包含未图示的加速度传感器的各种传感器类构件。
GNSS接收装置53通过未图示的GNSS天线接收来自GNSS卫星的电波,并从接收到的电波所包含的信息中取得当前位置的纬度、经度等。加速度传感器检测车辆1的加速度。
地图信息管理部5和控制部6通过依据CAN(Controller Area Network:控制器区域网络)等标准的车内LAN(Local Area Network:局域网)互相进行控制信号等信号的发送和接收。
地图信息管理部5作为静态信息存储部51发挥功能,该静态信息存储部51用于管理存储于例如硬盘装置的包含道路交通标志的信息、信号灯的信息、道路的车道的信息等的静态地图信息。
静态信息存储部51作为标志信息存储部54发挥功能,该标志信息存储部54例如针对每段道路路段来存储在道路路段中设置的道路交通标志的信息。
静态信息存储部51作为道路信息存储部55发挥功能,该道路信息存储部55例如针对每段道路路段来存储道路路段的道路类别的信息、道路属性的信息等。
道路类别例如包含一般道路、汽车专用道路、高速道路、单向通行区间等信息。
道路属性例如包含行驶车道的曲率、路面的坡度、车道的数量、道路宽度等信息。
道路路段例如表示交叉路口、道路的连接点等节点的两个节点之间的道路区间。
地图信息管理部5作为动态信息取得部52发挥功能,该动态信息取得部52通过通信部4自服务器装置、路侧通信装置等取得道路交通信息、道路限制信息、道路施工信息、拥堵信息、事故信息、ITS(Intelligent Transport Systems:智能交通系统)信息、天气信息等动态信息。
地图信息管理部5能够通过上述GNSS接收装置53、加速度传感器等来检测本车辆的当前位置。
地图信息管理部5从当前位置中取得当前位置的道路路段,并取得与道路路段相关联地存储的道路交通标志的信息、信号灯的信息、道路类别的信息、道路属性的信息等地图信息。
地图信息管理部5取得当前位置周边的拥堵信息、事故信息等交通信息、天气信息等。
地图信息管理部5将取得的地图信息、交通信息、天气信息等发送给控制部6。地图信息管理部5例如将在道路路段变化时以及自服务器装置、路侧通信装置等取得了信息时等取得的地图信息、交通信息、天气信息等发送给控制部6。
控制部6由包括CPU、RAM、ROM、闪速存储器、输入端口以及输出端口的计算机单元构成。
在控制部6的ROM中存储有各种控制常数、各种映射等并且存储有用于使该计算机单元作为控制部6发挥功能的程序。即,通过CPU执行存储于ROM的程序,该计算机单元作为控制部6发挥功能。
在控制部6的输入端口连接有包含摄像部2的各种传感器类构件。在控制部6的输出端口连接有包含通知部3的各种控制对象类构件。
控制部6作为读取摄像部2拍摄到的图像数据的图像读取部61发挥功能。控制部6作为对图像读取部61读取到的图像数据进行预定的图像处理的图像处理部62发挥功能。
控制部6作为检测处理部63发挥功能,该检测处理部63在利用图像处理部62图像处理后的图像数据进行规定的识别处理的情况下,对要识别的对象物进行设定等。
控制部6作为识别处理部64发挥功能,该识别处理部64根据检测处理部63的设定,从图像处理部62图像处理后的图像数据中识别道路交通标志、文字、招牌、人、汽车、汽车用信号灯、行人用信号灯、收费站的出入口、道路的车道等。
控制部6作为输出处理部65发挥功能,该输出处理部65利用通知部3将与当前位置相对应的道路交通标志、道路类别、道路属性等通知给驾驶者。
控制部6作为对存储于地图信息管理部5的地图信息的可靠性进行判断的可靠性判断部66发挥功能。
控制部6作为道路交通标志判断部67发挥功能,该道路交通标志判断部67基于由识别处理部64识别出的道路交通标志和存储于地图信息管理部5的地图信息的道路交通标志来判断与当前位置相对应的道路交通标志。
在由识别处理部64识别出道路交通标志的情况下,控制部6判断存储于地图信息管理部5的地图信息的可靠性。
在存储于地图信息管理部5的地图信息的可靠性为初始值,即没有保持有可靠性的状态下,控制部6将可靠性设为“高”。
在由识别处理部64识别出的道路交通标志与存储于地图信息管理部5的地图信息的道路交通标志一致的情况下,控制部6将存储于地图信息管理部5的地图信息的可靠性设定为“高”。
在由识别处理部64识别出的道路交通标志与存储于地图信息管理部5的地图信息的道路交通标志不一致的情况下,控制部6将存储于地图信息管理部5的地图信息的可靠性设定为“低”。
直至接下来对存储于地图信息管理部5的地图信息的可靠性进行判断为止,控制部6保持存储于地图信息管理部5的地图信息的可靠性。
在存储于地图信息管理部5的地图信息的道路交通标志发生了变化的情况下,控制部6将存储于地图信息管理部5的地图信息的可靠性设定为“高”。在此,道路交通标志的变化例如包含限速标志和车辆禁止驶入标志这样的道路交通标志种类单位变化、在限速标志中限制速度发生变化这样的道路交通标志的内容变化等。
在存储于地图信息管理部5的地图信息的可靠性为“高”的情况下,控制部6将存储于地图信息管理部5的地图信息的道路交通标志作为与当前位置相对应的道路交通标志。
参照图2来说明基于如上那样构成的本实施例的道路交通标志识别装置的可靠性判断处理。另外,以下要说明的可靠性判断处理在控制部6开始处理时开始进行,并以预先设定的时间间隔来执行。
在步骤S1中,控制部6判断是否通过识别处理部64的图像识别处理识别出道路交通标志。在判断为通过图像识别处理识别出道路交通标志的情况下,在步骤S2中,控制部6判断通过图像识别处理识别出的道路交通标志与存储于地图信息管理部5的地图信息的道路交通标志是否不一致。
在判断为通过图像识别处理识别出的道路交通标志与存储于地图信息管理部5的地图信息的道路交通标志不一致的情况下,在步骤S3中,控制部6将存储于地图信息管理部5的地图信息的可靠性设定为“低”,结束处理。
在步骤S1中判断为未通过图像识别处理识别出道路交通标志的情况下,在步骤S4中,控制部6判断存储于地图信息管理部5的地图信息的道路交通标志是否发生了变化或者道路路段是否发生了变化。在判断为存储于地图信息管理部5的地图信息的道路交通标志未变化且道路路段未变化的情况下,在步骤S6中,控制部6判断存储于地图信息管理部5的地图信息的可靠性是否为初始状态。
在判断为存储于地图信息管理部5的地图信息的可靠性不是初始状态的情况下,在步骤S7中,控制部6保持存储于地图信息管理部5的地图信息的可靠性,结束处理。
在步骤S2中判断为通过图像识别处理识别出的道路交通标志与存储于地图信息管理部5的地图信息的道路交通标志一致的情况下、或者在步骤S4中判断为存储于地图信息管理部5的地图信息的道路交通标志发生了变化或者道路路段发生了变化的情况下、或者在步骤S6中判断为存储于地图信息管理部5的地图信息的可靠性是初始状态的情况下,在步骤S5中,控制部6将存储于地图信息管理部5的地图信息的可靠性设定为“高”,并结束处理。
参照图3来说明基于本实施例的道路交通标志识别装置的道路交通标志通知处理。另外,以下要说明的道路交通标志通知处理在控制部6开始处理时开始进行,并以预先设定的时间间隔来执行。
在步骤S11中,控制部6判断存储于地图信息管理部5的地图信息的可靠性是否为“高”。在判断为存储于地图信息管理部5的地图信息的可靠性为“高”的情况下,在步骤S12中,控制部6将存储于地图信息管理部5的地图信息的道路交通标志作为当前的道路交通标志。
在步骤S13中,控制部6利用通知部3显示当前的道路交通标志,并结束处理。
在步骤S11中判断为存储于地图信息管理部5的地图信息的可靠性并非为“高”的情况下,在步骤S14中,控制部6将通过识别处理部64的图像识别处理识别出的道路交通标志作为当前的道路交通标志。
在步骤S15中,控制部6判断从显示通过图像识别处理识别出的道路交通标志起是否经过了规定时间。在判断为从显示通过图像识别处理识别出的道路交通标志起经过了规定时间的情况下,在步骤S16中,控制部6使通知部3的道路交通标志的显示为非显示,并结束处理。
在步骤S15中判断为从显示通过图像识别处理识别出的道路交通标志起未经过规定时间的情况下,在步骤S13中,控制部6利用通知部3显示当前的道路交通标志,并结束处理。
参照图4~图7来说明这样的可靠性判断处理和道路交通标志通知处理的动作。
如图4所示,在时刻T1,在存储于地图信息管理部5的地图信息中没有道路交通标志的信息,因此判断为与通过图像识别处理识别出的道路交通标志不一致,可靠性为“低”,显示通过图像识别处理识别出的道路交通标志。另外,通过图像识别处理识别出的道路交通标志的显示在经过规定时间时成为不显示。
在时刻T2,由于通过图像识别处理识别出的道路交通标志与存储于地图信息管理部5的地图信息的道路交通标志一致,因此保持可靠性保持为“高”的状态而显示存储于地图信息管理部5的地图信息的道路交通标志。
在时刻T3,道路路段从L+1变为L+2,存储于地图信息管理部5的地图信息的道路交通标志发生变化,与上次通过图像识别处理识别出的道路交通标志不一致。在此,与上次通过图像识别处理识别出的道路交通标志不一致,但未通过图像识别处理识别出道路交通标志,而道路路段发生变化,因此可靠性成为“高”,显示存储于地图信息管理部5的地图信息的道路交通标志。
在时刻T4,在通过图像识别处理识别出道路交通标志时,与存储于地图信息管理部5的地图信息的道路交通标志一致,因此可靠性为“高”,显示存储于地图信息管理部5的地图信息的道路交通标志。
如此,即使在未通过图像识别处理识别出道路交通标志的情况下,也能够根据道路路段的变化将可靠性设定为“高”,并且能够显示存储于地图信息管理部5的地图信息的道路交通标志。
如图5所示,在时刻T5,作为初始值,将存储于地图信息管理部5的地图信息的可靠性设定为“高”,并显示存储于地图信息管理部5的地图信息的道路交通标志。
在时刻T6,通过图像识别处理识别出道路交通标志,但与存储于地图信息管理部5的地图信息的道路交通标志不一致,因此对地图信息的可靠性设定为“低”,显示通过图像识别处理识别出的道路交通标志。
在时刻T7,道路路段从L变为L+1,存储于地图信息管理部5的地图信息的道路交通标志未发生变化,但将地图信息的可靠性设定为“高”,并显示存储于地图信息管理部5的地图信息的道路交通标志。
在时刻T8,通过图像识别处理识别出道路交通标志,与存储于地图信息管理部5的地图信息的道路交通标志不一致,因此将地图信息的可靠性设定为“低”,并显示通过图像识别处理识别出的道路交通标志。另外,通过图像识别处理识别出的道路交通标志的显示在经过规定时间时成为不显示。
在时刻T9,道路路段从L+1变为L+2,存储于地图信息管理部5的地图信息的道路交通标志未发生变化,将地图信息的可靠性设定为“高”,并显示存储于地图信息管理部5的地图信息的道路交通标志。
在时刻T10,通过图像识别处理识别出道路交通标志,与存储于地图信息管理部5的地图信息的道路交通标志一致,因此将地图信息的可靠性设定为“高”,并显示存储于地图信息管理部5的地图信息的道路交通标志。
如此,能够根据道路路段的变化将存储于地图信息管理部5的地图信息的可靠性设定为“高”,显示存储于地图信息管理部5的地图信息的道路交通标志,并且在通过图像识别处理识别出道路交通标志的情况下,能够使其内容优先显示。
如图6所示,在时刻T11,通过图像识别处理识别出的道路交通标志与存储于地图信息管理部5的地图信息的道路交通标志一致,因此可靠性为“高”,并显示存储于地图信息管理部5的地图信息的道路交通标志。
在时刻T12,在道路路段从L变为L+1时,将存储于地图信息管理部5的地图信息的可靠性设定为“高”,存储于地图信息管理部5的地图信息的道路交通标志与上次通过图像识别处理识别出的道路交通标志不一致,但显示存储于地图信息管理部5的地图信息的道路交通标志。
在时刻T13,在道路路段从L+1变为L+2时,将存储于地图信息管理部5的地图信息的可靠性设定为“高”,并显示存储于地图信息管理部5的地图信息的道路交通标志。
如此,即使未通过图像识别处理识别出道路交通标志,也能够根据存储于地图信息管理部5的地图信息来显示道路交通标志。
如图7所示,在时刻T14,通过图像识别处理识别出道路交通标志,但与存储于地图信息管理部5的地图信息的道路交通标志不一致,因此将地图信息的可靠性设定为“低”,显示通过图像识别处理识别出的道路交通标志。
在时刻T15,在道路路段从L变为L+1时,将存储于地图信息管理部5的地图信息的可靠性设定为“高”,存储于地图信息管理部5的地图信息的道路交通标志与上次通过图像识别处理识别出的道路交通标志不一致,但显示存储于地图信息管理部5的地图信息的道路交通标志。
如此,即使未通过图像识别处理识别出道路交通标志,也能够根据存储于地图信息管理部5的地图信息来显示道路交通标志。
(第2实施例)
接着,对本发明的第2实施例进行说明。在此,本实施例构成为与上述第1实施例大致同样,因此对同样的结构标注同一附图标记,对特征部分进行说明。
在图8中,在本发明的第2实施例的道路交通标志识别装置的控制部6的输入端口连接有转向角传感器101、车速传感器102、角速度传感器103、方向指示灯传感器104。
转向角传感器101用于检测由驾驶者操作的未图示的方向盘的转向角。车速传感器102用于检测车辆1的速度。
角速度传感器103用于检测车辆1的角速度。控制部6能够根据角速度传感器103的检测结果检测车辆1的横摆方向的运动、侧倾方向上的运动、间距方向上的运动。
方向指示灯传感器104用于检测驾驶者的方向指示灯(方向指示器)操作。在根据方向指示灯传感器104的检测结果,得出方向指示灯的操作位置为“右指示位置”或“左指示位置”的情况下,控制部6将方向指示灯信息设为“打开”。在根据方向指示灯传感器104的检测结果,得出方向指示灯的操作位置为“非动作位置”的情况下,控制部6将方向指示灯信息设为“关闭”。
控制部6作为道路信息推断部68发挥功能,该道路信息推断部68基于识别处理部64的识别结果、由车辆状态检测部69检测出的车辆1的状态来推断当前行驶中的道路的道路类别、道路属性。
控制部6作为车辆状态检测部69发挥功能,该车辆状态检测部69基于转向角传感器101、车速传感器102、角速度传感器103、方向指示灯传感器104等各种传感器类构件的检测结果来检测车辆1的状态。
控制部6在从地图信息管理部5接收到地图信息、交通信息、天气信息等信息的情况下判断存储于地图信息管理部5的地图信息的可靠性。
在存储于地图信息管理部5的地图信息的可靠性为初始值即没有保持有可靠性的状态下,控制部6将可靠性设为“高”。
在道路信息推断部68基于识别处理部64的识别结果推断出的道路类别、道路属性与存储于地图信息管理部5的道路类别、道路属性一致的情况下,控制部6将存储于地图信息管理部5的地图信息的可靠性设定为“高”。
在道路信息推断部68基于根据各种传感器类构件的检测结果检测出的车辆1的状态推断出的道路类别、道路属性与存储于地图信息管理部5的道路类别、道路属性一致的情况下,控制部6将存储于地图信息管理部5的地图信息的可靠性设定为“高”。
在道路信息推断部68基于识别处理部64的识别结果推断出的道路类别、道路属性与存储于地图信息管理部5的道路类别、道路属性不一致的情况下,控制部6将存储于地图信息管理部5的地图信息的可靠性设定为“低”。
在道路信息推断部68基于根据各种传感器类构件的检测结果检测出的车辆1的状态推断出的道路类别、道路属性与存储于地图信息管理部5的道路类别、道路属性不一致的情况下,控制部6将存储于地图信息管理部5的地图信息的可靠性设定为“低”。
直至下一次对存储于地图信息管理部5的地图信息的可靠性进行判断为止,控制部6保持存储于地图信息管理部5的地图信息的可靠性。
在存储于地图信息管理部5的地图信息的可靠性为“高”的情况下,控制部6将存储于地图信息管理部5的道路交通标志、道路类别、道路属性作为与当前位置相对应的道路交通标志、道路类别、道路属性。
如图9所示的表那样,控制部6对存储于地图信息管理部5的地图信息所包含的道路类别、道路属性的信息与基于图像识别处理的识别结果、根据各种传感器类构件的检测结果检测出的车辆1的状态推断出的道路类别、道路属性是否一致进行判断。
在图9中,如第1项那样,在存储于地图信息管理部5的地图信息的行驶车道的曲率为规定值以上的情况下,如果通过图像识别处理识别出存在弯曲的道路交通标志,则控制部6判断为存储于地图信息管理部5的地图信息的道路属性与基于识别出的道路交通标志推断出的道路属性一致。控制部6例如根据横向G、车速来计算出推断曲率R',基于规定的阈值a<b、c,如果a<R'<b、横摆率>c且方向指示灯信息为“关闭”,则控制部6判断为存储于地图信息管理部5的地图信息的道路属性与基于车辆1的状态推断出的道路属性一致。
如第2项那样,在存储于地图信息管理部5的地图信息的行驶车道的信息中具有存在转弯的信息的情况下,如果通过图像识别处理识别出存在转弯的道路交通标志,则控制部6判断为存储于地图信息管理部5的地图信息的道路属性与基于识别出的道路交通标志推断出的道路属性一致。控制部6例如根据横向G、车速计算出推断曲率R',基于规定的阈值a'<b'、c',如果a'<R'<b'、横摆率>c'且方向指示灯信息为“关闭”,则控制部6判断为存储于地图信息管理部5的地图信息的道路属性与基于车辆1的状态推断出的道路属性一致。
其中,本项中的规定的阈值a'、b'、c'与第1项中的a、b、c分别设定为独立的值,但它们既可以是相同的值,也可以是不同的值。例如,能够认为,在如第1项那样的弯道中存在锐角的弯、钝角的弯,并与第2项的转弯道路相比,曲率值的幅度较大,因此也可以是,以设定为a<a'、b'<b而使判断为转弯道路的曲率阈值的幅度较窄的方式进行设定。另外,在要更高精度地判别第1项的弯路与第2项的转弯道路之间的差异的情况下,只要设为对横摆率的微分值和阈值进行比较的结构即可。具有转弯道路的横摆率的斜率大于弯路的横摆率的斜率的倾向,因此也可以是这样的结构:在横摆率的微分值超过阈值时判断为弯路,在超过比该阈值更大的阈值时判断为转弯道路。另外,也可以具有这样的结构:设置通过图像识别处理算出前方路面的曲率的功能,将无法算出曲率的情况判断为转弯道路。通过具有这样的结构,能够进行同弯路与转弯道路之间的差异相对应的判断,能够更高精度地区别弯路和转弯道路。
如第3项那样,在存储于地图信息管理部5的地图信息中存在有车辆1的行进方向前方的车道数量比当前的车道数量少这样的信息的情况下,如果通过图像识别处理识别出车道数量减少的道路交通标志,则控制部6判断为存储于地图信息管理部5的地图信息的道路属性与基于识别出的道路交通标志推断出的道路属性一致。例如,如果根据图像识别处理的识别结果识别出白线数减少,则控制部6判断为存储于地图信息管理部5的地图信息的道路属性与基于图像识别处理的识别结果推断出的道路属性一致。
并且,例如如果根据图像识别处理的识别结果识别出如图9所示那样的道路上的表示车道减少的箭头,则控制部6判断为存储于地图信息管理部5的地图信息的道路属性与基于图像识别处理的识别结果推断出的道路属性一致。
如第4项那样,在存储于地图信息管理部5的地图信息中具有存在坡度的信息的情况下,如果通过图像识别处理识别出存在陡坡的道路交通标志,则控制部6判断为存储于地图信息管理部5的地图信息的道路属性与基于识别出的道路交通标志推断出的道路属性一致。也可以是,在自存储于地图信息管理部5的地图信息得到坡度的百分比的信息的情况下,在其与通过图像识别处理识别出的道路交通标志坡度的百分比一致时,控制部6判断为存储于地图信息管理部5的地图信息的道路属性与基于识别出的道路交通标志推断出的道路属性一致。控制部6例如根据角速度传感器103的检测结果和车辆1的加减速度计算出道路的推断坡度α,并基于规定的阈值a,如果a<α,则控制部6判断为存储于地图信息管理部5的地图信息的道路属性与基于车辆1的状态推断出的道路属性一致。其中,α为绝对值,上坡和下坡均能够同样地进行判断。
如第5项那样,在存储于地图信息管理部5的地图信息中存在学校区域的信息的情况下,如果通过图像识别处理识别出存在学校、幼儿园、托儿所等的道路交通标志,则控制部6判断为存储于地图信息管理部5的地图信息的道路属性与基于识别出的道路交通标志推断出的道路属性一致。例如如果根据图像识别处理的识别结果识别出路面上的表示学校区域的白线和绿色的图案的情况、路面上的图9所示那样的“学校区域”的文字,则控制部6判断为存储于地图信息管理部5的地图信息的道路属性与基于图像识别处理的识别结果推断出的道路属性一致。
如第6项那样,在存储于地图信息管理部5的地图信息中存在正进行道路施工的信息的情况下,如果通过图像识别处理识别出正进行道路施工的道路交通标志,则控制部6判断为存储于地图信息管理部5的地图信息的道路属性与基于识别出的道路交通标志推断出的道路属性一致。例如如果根据图像识别处理的识别结果识别出如图9所示那样的在施工区间位置设置的招牌、带箭头的招牌以一定间隔排列有多个的情况,则控制部6判断为存储于地图信息管理部5的地图信息的道路属性与基于图像识别处理的识别结果推断出的道路属性一致。
如第7项那样,在存储于地图信息管理部5的地图信息中存在信号灯的信息的情况下,如果通过图像识别处理识别出存在信号灯的道路交通标志,则控制部6判断为存储于地图信息管理部5的地图信息的道路属性与基于识别出的道路交通标志推断出的道路属性一致。例如如果根据图像识别处理的识别结果识别出如图9所示那样的包含预告信号的信号灯,则控制部6判断为存储于地图信息管理部5的地图信息的道路属性与基于图像识别处理的识别结果推断出的道路属性一致。另外,在地图信息管理部5能够从路侧通信装置等取得信号灯的当前的亮灯颜色的情况下,也可以对亮灯颜色进行一致的判断。
如第8项那样,在存储于地图信息管理部5的地图信息中存在车辆1的行进方向前方的道路宽度比当前的道路宽度窄这样的信息的情况下,如果通过图像识别处理识别出宽度减小的道路交通标志,则控制部6判断为存储于地图信息管理部5的地图信息的道路属性与基于识别出的道路交通标志推断出的道路属性一致。例如,若根据图9所示那样的图像,通过图像识别处理,基于白线或道路端缘测量车道宽度且测量出车道宽度减小了超过规定的阈值的量,则控制部6判断为存储于地图信息管理部5的地图信息的道路属性与基于图像识别处理的识别结果推断出的道路属性一致。
如第9项那样,在存储于地图信息管理部5的地图信息中存在当前行驶的道路或行进方向前方的道路为高速道路这样的信息的情况下,如果通过图像识别处理识别出汽车专用道路的道路交通标志,则控制部6判断为存储于地图信息管理部5的地图信息的道路类别与基于识别出的道路交通标志推断出的道路类别一致。并且,对于本项的信息不仅能够适用于高速道路,还能够同样适用于高速汽车国道、汽车专用道路。
如此,由于基于通过图像识别处理识别出的道路交通标志来推断道路属性、道路类别,基于推断出的道路属性、道路类别来判断地图信息的可靠性,因此能够高精度地判断地图信息的可靠性,并能够高精度地活用地图信息。
由于基于由图像识别处理的识别结果得到的路面的白线、路面的图案、招牌等来推断道路类别、道路属性,并基于推断出的道路类别、道路属性来判断地图信息的可靠性,因此,即使无法识别出道路交通标志,也能够高精度地判断地图信息的可靠性,能够高精度地活用地图信息。
由于根据由各种传感器的检测结果检测出的车辆1的状态来推断道路类别、道路属性,基于推断出的道路类别、道路属性来判断地图信息的可靠性,因此,即使无法识别出道路交通标志,也能够高精度地判断地图信息的可靠性,能够高精度地活用地图信息。
参照图10来说明如上那样构成的第2实施例的道路交通标志识别装置的可靠性判断处理。另外,在从地图信息管理部5接收到地图信息、交通信息、天气信息等信息时开始进行以下说明的可靠性判断处理。
在步骤S21中,控制部6从接收到的信息中取得道路交通标志、道路类别、道路属性等道路信息。
在步骤S22中,控制部6根据图像识别处理的识别结果来判断是否存在警告标志。在判断为存在警告标志的情况下,在步骤S23中,控制部6对基于图像识别处理的识别结果得到的警告标志推断出的道路类别或道路属性是否与道路信息的道路类别或道路属性一致进行判断。
在判断为基于图像识别处理的识别结果得到的警告标志推断出的道路类别或道路属性与道路信息的道路类别或道路属性一致的情况下,在步骤S24中,控制部6将存储于地图信息管理部5的地图信息的可靠性设定为“高”。
在步骤S23中判断为基于图像识别处理的识别结果得到的警告标志推断出的道路类别或道路属性与道路信息的道路类别或道路属性不一致的情况下,在步骤S25中,控制部6将存储于地图信息管理部5的地图信息的可靠性设定为“低”。
在步骤S22中判断为没有警告标志的情况下,在步骤S26中,控制部6根据各种传感器类构件的检测结果来推断道路类别或道路属性。
在步骤S27中,控制部6对推断出的道路类别或道路属性是否与道路信息的道路类别或道路属性一致进行判断。在判断为推断出的道路类别或道路属性与道路信息的道路类别或道路属性一致的情况下,在步骤S28中,控制部6将存储于地图信息管理部5的地图信息的可靠性设定为“高”。
在步骤S27中判断为推断出的道路类别或道路属性与道路信息的道路类别或道路属性不一致的情况下,在步骤S29中,控制部6将存储于地图信息管理部5的地图信息的可靠性设定为“低”。
在步骤S30中,控制部6根据地图信息的可靠性,如果地图信息的可靠性为“高”,则利用通知部3来输出从地图信息管理部5接收到的地图信息的信息,并结束处理。
在第1实施例中,根据地图信息所包含的道路交通标志信息与通过图像识别处理识别出的道路交通标志是否一致而相应地判断地图信息的可靠性,在第2实施例中,根据地图信息所包含的道路类别、道路属性的信息与推断出的道路类别、道路属性是否一致而相应地判断地图信息的可靠性,但这两种方式也可以不相互独立。即,也可以是,像第1实施例那样,根据识别出的道路交通标志和与道路路段相关联地存储的地图信息的道路交通标志来判断地图信息的可靠性,并在该结构中附加如第2实施例那样根据推断出的道路类别、道路属性和地图信息所包含的道路类别、道路属性的信息而相应地进一步更新地图信息的可靠性的结构。
采用这样的结构,即使在无法从拍摄到的图像中识别出道路交通标志的情况下,也能够判断出与当前位置相对应的道路交通标志,并且根据地图信息所包含的道路交通标志以外的信息而相应地更新地图信息的可靠性,因此能够提高地图信息的可靠性的精度。
在第1实施例和第2实施例中,示出了使可靠性为“高”和“低”这两个值的情况,但也可以是,将可靠性设为多个等级,根据可靠性的判断,来使可靠性上下移动规定的等级,根据可靠性的等级而相应地改变处理。
在第1实施例和第2实施例中,基于地图信息的可靠性并利用通知部3进行了通知,但也可以是,向车辆1的各控制部发送地图信息的可靠性,各控制部基于可靠性来利用地图信息。
在第1实施例和第2实施例中,说明了控制部6基于各种传感器信息来进行各种判断、计算的例子,但并不局限于此,也可以是,利用车外装置基于自通信部4发送的各种传感器的检测信息来进行各种判断、计算,由通信部4接收其判断结果、计算结果,利用该接收到的判断结果、计算结果来进行各种控制。
以上公开了本发明的实施例,但本领域技术人员应当明确的是,能够在不脱离本发明的范围的前提下实施变更。并且所有这样的修改及均等物都包含于权利要求中。

Claims (2)

1.一种道路交通标志识别装置,
该道路交通标志识别装置包括:
摄像部,其拍摄车辆的前方的图像;
识别处理部,其根据所述图像识别道路交通标志;
标志信息存储部,其存储与位置信息相关的道路交通标志的信息;
道路交通标志判断部,其至少基于由所述识别处理部识别出的道路交通标志和存储于所述标志信息存储部的道路交通标志中的任一者来判断与当前位置相对应的道路交通标志;以及
可靠性判断部,其判断存储于所述标志信息存储部的信息的可靠性,
该道路交通标志识别装置的特征在于,
所述可靠性判断部至少在从所述图像中识别出道路交通标志时判断所述可靠性,在从所述图像中识别出的道路交通标志与存储于所述标志信息存储部的道路交通标志一致的情况下,该可靠性判断部使所述可靠性上升,在到下一次判断出所述可靠性为止的期间,该可靠性判断部保持所述可靠性,
在由所述可靠性判断部判断出的所述可靠性为规定值以上的情况下,所述道路交通标志判断部将存储于所述标志信息存储部的道路交通标志判断为与当前位置相对应的道路交通标志,
在存储于所述标志信息存储部的道路交通标志发生变化或者所述车辆行驶的道路路段发生变化时,所述可靠性判断部使所述可靠性上升。
2.根据权利要求1所述的道路交通标志识别装置,其特征在于,
当所述可靠性判断部没有保持所述可靠性的状态的情况下,所述可靠性判断部判断所述可靠性为所述规定值以上。
CN201910490580.XA 2018-06-08 2019-06-06 道路交通标志识别装置 Active CN110580437B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-110073 2018-06-08
JP2018110073A JP7151187B2 (ja) 2018-06-08 2018-06-08 道路標識認識装置

Publications (2)

Publication Number Publication Date
CN110580437A CN110580437A (zh) 2019-12-17
CN110580437B true CN110580437B (zh) 2023-08-08

Family

ID=68652008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910490580.XA Active CN110580437B (zh) 2018-06-08 2019-06-06 道路交通标志识别装置

Country Status (4)

Country Link
JP (1) JP7151187B2 (zh)
CN (1) CN110580437B (zh)
DE (1) DE102019208192A1 (zh)
FR (1) FR3082340B1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7111118B2 (ja) * 2020-01-29 2022-08-02 トヨタ自動車株式会社 地図生成用データ収集装置及び地図生成用データ収集方法
CN111275000B (zh) * 2020-02-18 2023-05-02 广州敏视数码科技有限公司 基于历史定位数据的交通标志牌检测方法
CN111312420A (zh) * 2020-03-02 2020-06-19 上海交通大学 故障诊断方法及装置
CN112750312A (zh) * 2020-12-28 2021-05-04 上海眼控科技股份有限公司 信息检测方法、装置、设备及存储介质
CN113395331B (zh) * 2021-05-25 2022-03-15 郑州信大捷安信息技术股份有限公司 一种基于车联网的安全交通标志勘误方法及系统
JP7378533B1 (ja) 2022-05-18 2023-11-13 三菱電機株式会社 自車走行道路種別判定システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6801638B1 (en) * 1998-11-14 2004-10-05 Daimlerchrysler Ag Device and method for recognizing traffic signs
CN201269758Y (zh) * 2008-09-22 2009-07-08 交通部公路科学研究所 一种交通标志车载全自动检测记录系统
CN102568236A (zh) * 2010-12-08 2012-07-11 罗伯特·博世有限公司 识别交通标志并将其与交通标志信息比较的方法和装置
CN102663887A (zh) * 2012-04-13 2012-09-12 浙江工业大学 基于物联网技术的道路交通信息云计算和云服务实现系统及方法
JP2016173338A (ja) * 2015-03-18 2016-09-29 本田技研工業株式会社 道路標識判断装置
CN105989725A (zh) * 2015-03-17 2016-10-05 本田技研工业株式会社 道路标志判断装置
DE102016208025A1 (de) * 2016-05-10 2017-11-16 Continental Automotive Gmbh Verfahren zur Erfassung von Verkehrszeichen

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6170416B2 (ja) 2013-11-21 2017-07-26 本田技研工業株式会社 道路標識判断装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6801638B1 (en) * 1998-11-14 2004-10-05 Daimlerchrysler Ag Device and method for recognizing traffic signs
CN201269758Y (zh) * 2008-09-22 2009-07-08 交通部公路科学研究所 一种交通标志车载全自动检测记录系统
CN102568236A (zh) * 2010-12-08 2012-07-11 罗伯特·博世有限公司 识别交通标志并将其与交通标志信息比较的方法和装置
CN102663887A (zh) * 2012-04-13 2012-09-12 浙江工业大学 基于物联网技术的道路交通信息云计算和云服务实现系统及方法
CN105989725A (zh) * 2015-03-17 2016-10-05 本田技研工业株式会社 道路标志判断装置
JP2016173338A (ja) * 2015-03-18 2016-09-29 本田技研工業株式会社 道路標識判断装置
DE102016208025A1 (de) * 2016-05-10 2017-11-16 Continental Automotive Gmbh Verfahren zur Erfassung von Verkehrszeichen

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
道路交通标志检测与识别技术研究;彭岳军;《中国优秀硕士学位论文全文数据库 (信息科技辑)》(第01期);I138-2208 *

Also Published As

Publication number Publication date
DE102019208192A1 (de) 2019-12-12
CN110580437A (zh) 2019-12-17
JP7151187B2 (ja) 2022-10-12
FR3082340A1 (fr) 2019-12-13
JP2019212188A (ja) 2019-12-12
FR3082340B1 (fr) 2021-10-08

Similar Documents

Publication Publication Date Title
CN110580437B (zh) 道路交通标志识别装置
US9536156B2 (en) Arrangement and method for recognizing road signs
JP7059817B2 (ja) 運転支援装置
US10145692B2 (en) Vehicle position determination apparatus and vehicle position determination method
US9070293B2 (en) Device and method for traffic sign recognition
US8473201B2 (en) Current position determining device and current position determining method for correcting estimated position based on detected lane change at road branch
US8618923B2 (en) Speed alarm system
US20200017049A1 (en) Accident determination device
JPWO2019216386A1 (ja) 車両制御装置および車両
JP2007241468A (ja) 車線変更検出装置
JP7464454B2 (ja) 車両制御装置及び車両制御方法
CN114348015A (zh) 车辆控制装置和车辆控制方法
CN110580441A (zh) 驾驶辅助装置
KR102158169B1 (ko) 차선 인식장치
US20220036730A1 (en) Dangerous driving detection device, dangerous driving detection system, dangerous driving detection method, and storage medium
CN110576866B (zh) 车辆用驾驶辅助装置
JP2018136878A (ja) 危険回避支援装置、危険回避支援システム、及び危険回避支援方法
CN110580439B (zh) 驾驶辅助装置
WO2019139084A1 (ja) 通知装置及び車載機
JP7163627B2 (ja) 運転支援装置
JP5104276B2 (ja) 車両用案内装置、車両用案内方法および車両用案内プログラム
CN110576867B (zh) 车辆用驾驶辅助装置
US11959770B2 (en) Method and device for determining the reliability of a low-definition map

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant