CN115523939B - 一种基于认知地图的驾驶信息可视化系统 - Google Patents
一种基于认知地图的驾驶信息可视化系统 Download PDFInfo
- Publication number
- CN115523939B CN115523939B CN202211152094.5A CN202211152094A CN115523939B CN 115523939 B CN115523939 B CN 115523939B CN 202211152094 A CN202211152094 A CN 202211152094A CN 115523939 B CN115523939 B CN 115523939B
- Authority
- CN
- China
- Prior art keywords
- information
- layer
- vehicle
- data
- traffic information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Abstract
本发明适用于辅助驾驶技术领域,提供了一种基于认知地图的驾驶信息可视化系统,通过车联网收集驾驶员视距外的道路交通信息,并将影像视频传输至处理模块,由处理模块利用图像识别技术从视频中提取人、车、路、环境等交通信息源,对所提取的交通信息进行简化分类,保留交通场景的核心内容,对物理环境层信息进行分析测算,通过车联网分别获取事件层,使用神经网络根据各层信息将各交通信息源抽象为概念图文,并简化和形象化其中文字表达,将各交通信息源的概念图文组合,生成可视化认知地图,将认知地图输出至车载显示模块上,辅助驾驶员完成驾驶任务,进一步减少驾驶员的驾驶负荷,适用于不同驾龄的驾驶员使用。
Description
技术领域
本发明属于辅助驾驶技术领域,尤其涉及一种基于认知地图的驾驶信息可视化系统。
背景技术
未来车联网技术的广泛应用将颠覆目前现有交通模式:道路中的车辆将是城市智能系统中的一部分。车联网使无人驾驶汽车不再是单独的移动个体,通过车辆与车辆以及车辆与基础设施之间通信,形成强大信息网络。车联网不仅仅局限于无人驾驶汽车,还可以为有人驾驶车辆提供更全面的交通信息,让路面上行驶的汽车、交通环境、车辆信息等相互网络互通。而且,车联网针对有人驾驶车辆还会提供智能服务,包括安全行驶预警、换道预警等。
智能网联环境下驾驶人行车信息包含人、车、路和环境系统各信息,但从驾驶人信息感知和处理特点角度可划分为视距内信息和视距外信息,即“看的见的信息”和“看不见的信息”,其中“看的见信息”即为能直接观察到的视觉信息,而“看不见的信息”包含被遮挡的信息、远距离信息和听觉信息等。在智能网联环境下,车辆里的各类设备可以采集视距外信息并提供给驾驶人,但是需要将“看不见的信息”转化为“看的见的信息”或直接明了的语音信息呈现给驾驶人。
随着信息技术的发展,汽车设计智能化程度提高,其车内不断集成的功能和日益复杂信息使驾驶员用户的工作负荷加剧。语音交互虽然开辟了多一维度的操作手段,能够并行操作任务且符合法律法规。但是面对信息复杂车载系统功能,以及具有连续性操作任务,单纯使用语音交互反而会增加人的负担,并且高度集成的功能和复杂信息会使得驾驶员的工作负荷加剧。
发明内容
本发明提供一种基于认知地图的驾驶信息可视化系统,旨在解决上述背景中提到语音交互面反而会增加人的负担,高度集成的功能和复杂信息会使得驾驶员的工作负荷加剧的问题。
本发明是这样实现的,一种基于认知地图的驾驶信息可视化系统,包括:
数据收集模块,其包括传输单元和视距收集单元;
所述传输单元包括车联网,用以收集视距外的道路交通信息以及信息信号的传输,所述视距收集单元包括车载雷达、车载摄像头,收集车辆视距内的道路信息,并通过所述传输单元进行数据的传输;
处理模块,其包括数据接收单元、数据分析单元、物理分析单元和神经网络单元;
所述数据接收单元用以接收数据,所述数据分析单元利用图像识别技术从视频中提取人、车、路、环境交通信息源,对所提取的交通信息进行简化分类,保留交通场景的核心内容,其中包括物理环境层、事件层、时间层和距离层;
所述物理分析单元用以对物理环境层信息进行分析测算,其中包括车道数量、车道宽度、车道曲率及道路标志标线;
所述神经网络单元,使用神经网络根据各层信息将各交通信息源抽象为概念图文,并简化和形象化其中文字表达;
数据生成模块,用以将各交通信息源的概念图文组合,生成可视化认知地图;
显示模块,包括显示屏、AR投影,所述显示模块接收所述数据生成模块生成的数据,并投放至所述显示屏、AR投影上。
优选的,所述数据收集模块通过所述传输单元收集视距外的道路交通信息,并通过所述视距收集单元包括车载雷达、车载摄像头,收集车辆视距内的道路信息,并通过所述传输单元进行数据的传输,将影像视频传输至所述处理模块。
优选的,所述传输单元收集视距外的道路交通信息包括人、车、路、环境交通信息源;
所述数据接收单元接收数据,对所提取的交通信息进行简化分类,保留交通场景的核心内容。
优选的,所述核心内容为物理环境层、事件层、时间层和距离层;
优选的,所述物理分析单元对所述物理环境层信息进行分析测算,所述物理环境层包括车道数量、车道宽度、车道曲率及道路标志标线。
优选的,通过车联网分别获取所述事件层即道路上其他车辆的数量、位置与速度信息;
所述距离层即本车与道路上其它车辆间的距离;
所述时间层及本车以当前速度抵达特定点所需时间。
优选的,所述神经网络将所述物理环境层、事件层、时间层和距离层的交通信息源抽象为概念图文,并简化和形象化其中文字表达。
优选的,所述数据生成模块,将各交通信息源的概念图文组合,生成可视化认知地图。
优选的,显示模块,接收可视化所述认知地图,并将所述认知地图输出至显示屏、AR投影上,辅助驾驶员完成驾驶任务。
与现有技术相比,本发明的有益效果是:本发明的一种基于认知地图的驾驶信息可视化系统;
1、通过车联网收集驾驶员视距外的道路交通信息,并将影像视频传输至处理模块,由处理模块利用图像识别技术从视频中提取人、车、路、环境等交通信息源,对所提取的交通信息进行简化分类,数据分类更简化,提取目标要素更准确;
2、保留交通场景的核心内容,对物理环境层信息进行分析测算,通过车联网分别获取事件层,使用神经网络根据各层信息将各交通信息源抽象为概念图文,并简化和形象化其中文字表达,将各交通信息源的概念图文组合,生成可视化认知地图,图形化信息的高效准确,可高效的准确地向驾驶员传达视距外信息;
3、相对于语音提示,认知地图对驾驶员产生的负荷相对较低,驾驶员接受信息的效率更高,保证驾驶任务的完成。
附图说明
图1为根据本申请一种实施例的流程图
图2为根据本申请一种实施例的原理图
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。
通常在此处附图中描述和显示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。
基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
请参阅图2,本发明提供一种技术方案:一种基于认知地图的驾驶信息可视化系统,数据收集模块,其包括传输单元和视距收集单元,传输单元包括车联网,用以收集视距外的道路交通信息以及信息信号的传输,视距收集单元包括车载雷达、车载摄像头,收集车辆视距内的道路信息,并通过传输单元进行数据的传输。
其中,车联网即车辆上的车载设备通过无线通信技术,对信息网络平台中的所有车辆动态信息进行有效利用,在车辆运行中提供不同的功能服务,利用车辆网获取视距外的道路交通信息,可通过网络获取规划道路中堵车,红绿灯的等信息,同时视距收集单元通过车载雷达、车载摄像头进行数据的捕捉,即行人、路况、车况、道路环境等具有风险的路况信息,并通过传输单元进行数据的传输,信息及时性更高。
处理模块,其包括数据接收单元、数据分析单元、物理分析单元和神经网络单元,数据接收单元用以接收数据,数据分析单元利用图像识别技术从视频中提取人、车、路、环境交通信息源,对所提取的交通信息进行简化分类,保留交通场景的核心内容,其中包括物理环境层、事件层、时间层和距离层,物理分析单元用以对物理环境层信息进行分析测算,其中包括车道数量、车道宽度、车道曲率及道路标志标线,神经网络单元,使用神经网络根据各层信息将各交通信息源抽象为概念图文,并简化和形象化其中文字表达。
其中,物理环境层包括车道数量、车道宽度、车道曲率及道路标志标线,通过车联网分别获取事件层即道路上其他车辆的数量、位置与速度信息,距离层即本车与道路上其它车辆间的距离,时间层及本车以当前速度抵达特定点所需时间,利用神经网络预先建立模型,根据各层信息将各交通信息源抽象为概念图文效率更高。
数据生成模块,用以将各交通信息源的概念图文组合,生成可视化认知地图。
此外,概念图文组合,生成可视化认知地图,数据分析更清晰,对重点事件进行标注,如前方车辆的行驶路线,红绿灯的剩余时间,便于进行驾驶操作的判断。
显示模块,包括显示屏、AR投影,显示模块接收数据生成模块生成的数据,并投放至显示屏、AR投影上。
另外,利用显示屏、AR投影进行显示,可将数据投放至挡风玻璃上,辅助驾驶员安全高效驾驶车辆,减少高度集成的功能和复杂信息会对驾驶员的工作的影响。
请参阅图1,数据收集模块通过传输单元收集视距外的道路交通信息,并通过视距收集单元包括车载雷达、车载摄像头,收集车辆视距内的道路信息,通过传输单元进行数据的传输,将影像视频传输至处理模块,传输单元收集视距外的道路交通信息包括人、车、路、环境交通信息源。
在一些实施方式中视距收集单元可利用车载传感器、车载环境感知设备、车载工控机等装置,车载工控机通过CAN线实现通讯,车载环境感知设备更GPS及惯性导航装置,预先进行路线的规划,提前由网络上预知道路信息。
数据接收单元接收数据,对所提取的交通信息进行简化分类,保留交通场景的核心内容,核心内容为物理环境层、事件层、时间层和距离层,物理分析单元对物理环境层信息进行分析测算,物理环境层包括车道数量、车道宽度、车道曲率及道路标志标线,通过车联网分别获取事件层即道路上其他车辆的数量、位置与速度信息,距离层即本车与道路上其它车辆间的距离,时间层及本车以当前速度抵达特定点所需时间,神经网络将物理环境层、事件层、时间层和距离层的交通信息源抽象为概念图文,并简化和形象化其中文字表达。
其中,处理模块即可使用工程机负责,基于路网数据库与高精地图的车辆局部路径定位算法、基于摄像头的车辆偏离预警算法、基于摄像头与激光雷达数据融合的障碍物识别与跟踪算法以及基于多传感器信息特征级融合的实时驾驶地图生成算法,进一步对车道数量、车道宽度、车道曲率、道路标志标线、其他车辆的数量、位置与速度信息,距离层即车与道路上其它车辆间的距离,时间层及本车以当前速度抵达特定点所需时间,由神经网络进行整合带入预先模型中分析得出概念图文,并简化和形象化其中文字表达。
数据生成模块,将各交通信息源的概念图文组合,生成可视化认知地图,显示模块,接收可视化认知地图,并将认知地图输出至显示屏、AR投影上,辅助驾驶员完成驾驶任务。
其中,利用显示屏、AR投影进行显示,可将数据投放至挡风玻璃上,辅助驾驶员安全高效驾驶车辆,安全性更高。
本发明的工作原理及使用流程:数据收集模块通过传输单元收集视距外的道路交通信息,并通过视距收集单元包括车载雷达、车载摄像头,收集车辆视距内的道路信息,通过传输单元进行数据的传输,将影像视频传输至处理模块,传输单元收集视距外的道路交通信息包括人、车、路、环境交通信息源,数据接收单元接收数据,对所提取的交通信息进行简化分类,保留交通场景的核心内容,核心内容为物理环境层、事件层、时间层和距离层,物理分析单元对物理环境层信息进行分析测算,减少冗杂信息,神经网络将物理环境层、事件层、时间层和距离层的交通信息源抽象为概念图文,并简化和形象化其中文字表达,利用显示屏、AR投影进行显示,减少高度集成的功能和复杂信息会对驾驶员的工作的影响,辅助驾驶员安全高效驾驶。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于认知地图的驾驶信息可视化系统,其特征在于:包括:
数据收集模块,其包括传输单元和视距收集单元;
所述传输单元包括车联网,用以收集视距外的道路交通信息以及信息信号的传输,所述视距收集单元包括车载雷达、车载摄像头,收集车辆视距内的道路信息,并通过所述传输单元进行数据的传输;
处理模块,其包括数据接收单元、数据分析单元、物理分析单元和神经网络单元;
所述数据接收单元用以接收数据,所述数据分析单元利用图像识别技术从视频中提取人、车、路、环境交通信息源,对所提取的交通信息进行简化分类,保留交通场景的核心内容,其中包括物理环境层、事件层、时间层和距离层;
所述物理分析单元用以对物理环境层信息进行分析测算,其中包括车道数量、车道宽度、车道曲率及道路标志标线;
所述神经网络单元,使用神经网络根据各层信息将各交通信息源抽象为概念图文,并简化和形象化其中文字表达;
数据生成模块,用以将各交通信息源的概念图文组合,生成可视化认知地图;
显示模块,包括显示屏、AR投影,所述显示模块接收所述数据生成模块生成的数据,并投放至所述显示屏、AR投影上;所述数据收集模块通过所述传输单元收集视距外的道路交通信息,并通过所述视距收集单元包括车载雷达、车载摄像头,收集车辆视距内的道路信息,并通过所述传输单元进行数据的传输,将影像视频传输至所述处理模块;所述传输单元收集视距外的道路交通信息包括人、车、路、环境交通信息源;所述数据接收单元接收数据,对所提取的交通信息进行简化分类,保留交通场景的核心内容;所述物理分析单元对所述物理环境层信息进行分析测算,所述物理环境层包括车道数量、车道宽度、车道曲率及道路标志标线;通过车联网分别获取所述事件层即道路上其他车辆的数量、位置与速度信息;
所述距离层即本车与道路上其它车辆间的距离;
所述时间层及本车以当前速度抵达特定点所需时间。
2.如权利要求1所述的一种基于认知地图的驾驶信息可视化系统,其特征在于:所述神经网络将所述物理环境层、事件层、时间层和距离层的交通信息源抽象为概念图文,并简化和形象化其中文字表达。
3.如权利要求2所述的一种基于认知地图的驾驶信息可视化系统,其特征在于:所述数据生成模块,将各交通信息源的概念图文组合,生成可视化认知地图。
4.如权利要求3所述的一种基于认知地图的驾驶信息可视化系统,其特征在于:显示模块,接收可视化所述认知地图,并将所述认知地图输出至显示屏、AR投影上,辅助驾驶员完成驾驶任务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211152094.5A CN115523939B (zh) | 2022-09-21 | 2022-09-21 | 一种基于认知地图的驾驶信息可视化系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211152094.5A CN115523939B (zh) | 2022-09-21 | 2022-09-21 | 一种基于认知地图的驾驶信息可视化系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115523939A CN115523939A (zh) | 2022-12-27 |
CN115523939B true CN115523939B (zh) | 2023-10-20 |
Family
ID=84698891
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211152094.5A Active CN115523939B (zh) | 2022-09-21 | 2022-09-21 | 一种基于认知地图的驾驶信息可视化系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115523939B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108062864A (zh) * | 2016-11-09 | 2018-05-22 | 奥迪股份公司 | 一种用于车辆的交通场景可视化系统和方法及车辆 |
CN110986978A (zh) * | 2019-11-27 | 2020-04-10 | 常州新途软件有限公司 | 一种实景辅助导航系统及其导航方法 |
CN111055786A (zh) * | 2018-10-16 | 2020-04-24 | 合肥工业大学智能制造技术研究院 | 一种电动汽车智能车载终端及电动汽车 |
CN111291275A (zh) * | 2018-12-10 | 2020-06-16 | 上海博泰悦臻电子设备制造有限公司 | 车辆、车机设备及其基于实况的出游方案推荐方法 |
WO2022012094A1 (zh) * | 2020-07-16 | 2022-01-20 | 华人运通(上海)自动驾驶科技有限公司 | 驾驶场景重构方法、装置、系统、车辆、设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10380886B2 (en) * | 2017-05-17 | 2019-08-13 | Cavh Llc | Connected automated vehicle highway systems and methods |
-
2022
- 2022-09-21 CN CN202211152094.5A patent/CN115523939B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108062864A (zh) * | 2016-11-09 | 2018-05-22 | 奥迪股份公司 | 一种用于车辆的交通场景可视化系统和方法及车辆 |
CN111055786A (zh) * | 2018-10-16 | 2020-04-24 | 合肥工业大学智能制造技术研究院 | 一种电动汽车智能车载终端及电动汽车 |
CN111291275A (zh) * | 2018-12-10 | 2020-06-16 | 上海博泰悦臻电子设备制造有限公司 | 车辆、车机设备及其基于实况的出游方案推荐方法 |
CN110986978A (zh) * | 2019-11-27 | 2020-04-10 | 常州新途软件有限公司 | 一种实景辅助导航系统及其导航方法 |
WO2022012094A1 (zh) * | 2020-07-16 | 2022-01-20 | 华人运通(上海)自动驾驶科技有限公司 | 驾驶场景重构方法、装置、系统、车辆、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
汽车安全辅助驾驶支持系统信息感知技术综述;王贵槐;万剑;;交通与计算机(第03期);50-54 * |
Also Published As
Publication number | Publication date |
---|---|
CN115523939A (zh) | 2022-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10867510B2 (en) | Real-time traffic monitoring with connected cars | |
EP2525335B1 (en) | User interface method for terminal for vehicle and apparatus thereof | |
Gomes et al. | Making vehicles transparent through V2V video streaming | |
US6919866B2 (en) | Vehicular navigation system | |
CN105629515B (zh) | 导航眼镜、导航方法和导航系统 | |
JP4752836B2 (ja) | 道路環境情報通知装置及び道路環境情報通知プログラム | |
CN107298021A (zh) | 信息提示控制装置、自动驾驶车及其驾驶辅助系统 | |
JP2016218732A (ja) | 自動車周辺情報表示システム | |
CN104508719A (zh) | 驾驶辅助系统以及驾驶辅助方法 | |
CN113870553B (zh) | 一种面向混合交通流的路网运行状态检测系统及方法 | |
JP4093026B2 (ja) | 道路環境情報通知装置、車載報知装置、情報センタ内装置、及び道路環境情報通知プログラム | |
CN109733283A (zh) | 基于ar的被遮挡障碍物识别预警系统及识别预警方法 | |
KR20180090610A (ko) | 차선 정보를 출력하는 방법 및 장치. | |
US10996070B2 (en) | Route guidance apparatus and method | |
CN111354222A (zh) | 一种辅助驾驶方法和系统 | |
US11774259B2 (en) | Mapping off-road entries for autonomous vehicles | |
Archana et al. | Mission on! Innovations in bike systems to provide a safe ride based on IOT | |
CN115523939B (zh) | 一种基于认知地图的驾驶信息可视化系统 | |
CN113183758A (zh) | 一种基于增强现实的辅助驾驶方法及系统 | |
EP4290185A1 (en) | Mixed reality-based display device and route guide system | |
CN115782868A (zh) | 一种标识车辆前方障碍物的方法及系统 | |
KR20220109522A (ko) | 자율주행 차량의 광고 시스템 | |
Carmona et al. | Analysis of Aggressive Driver Behaviour using Data Fusion. | |
CN113492864A (zh) | 驾驶辅助装置以及数据收集系统 | |
Smadi et al. | Artificial intelligent technology for safe driver assistance system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |