CN108694408A - 一种基于深度稀疏滤波卷积神经网络的驾驶行为识别方法 - Google Patents
一种基于深度稀疏滤波卷积神经网络的驾驶行为识别方法 Download PDFInfo
- Publication number
- CN108694408A CN108694408A CN201710232371.6A CN201710232371A CN108694408A CN 108694408 A CN108694408 A CN 108694408A CN 201710232371 A CN201710232371 A CN 201710232371A CN 108694408 A CN108694408 A CN 108694408A
- Authority
- CN
- China
- Prior art keywords
- depth
- neural networks
- sample
- convolutional neural
- driving behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于深度稀疏滤波卷积神经网络的驾驶行为识别方法。解决了传统深度学习方法中需要大量的超参数调谐进行特征匹配或特征设计任务的问题。包括以下步骤:用手机内置的加速度传感器采集车辆行驶中的原始三轴加速度数据信号,提取时域和频域的特征值,作为模型的预处理训练样本;将训练样本通过稀疏滤波直接优化样本特征映射的稀疏性,获取更好的特征表达——权值矩阵作为卷积神经网络的输入,可有效识别点火、熄火、匀速行驶、急变速、急转弯、静止等驾驶行为。本发明解决了现有技术设计复杂、普适性和抗噪性差,分类精度低的问题。
Description
技术领域
本发明提出了一种基于车载终端的汽车驾驶行为分析方法,该方法涉及到人机交互、智能驾驶和增强用户体验等领域。
背景技术
随着社会经济和道路交通的快速发展,驾车行驶的安全问题已成为社会关注的焦点。不良驾驶行为是导致交通事故的一个主要原因,随意变道、超速行驶、紧急制动等驾驶行为是交通事故的重要诱因。实时监测驾驶者行为,能够及时警示不良驾驶行为并遏制交通事故的发生,对构建健康安全的交通环境有重要意义。
目前利用移动终端进行驾驶行为识别已有较多的研究,大多采用定制感知平台接入汽车控制系统,无论是通过聚类算法还是通过模糊算法等数据挖掘算法,对于异常驾驶行为的识别有一定效果,但相对我国道路运输实际情况,以及对于部分需要重点监控的异常驾驶行为,无法发挥较好的识别功能,且算法较为复杂,系统实现成本较高,必将影响实际应用的实时性。
本专利通过利用智能终端设备的内置传感器采集不同驾驶行为的实时数据,构建一种优化特征分布的无监督特征学习算法模型——稀疏滤波-卷积神经网络模型,从而对多种用户的驾驶行为进行分类识别。该系统和以前的车辆驾驶行为检测系统相比不添加任何额外的硬件设备,仅使用智能手机终端设备上的内置传感器作为硬件探测设备,对传感器数据进行综合分析,构建深度神经网络增加对驾驶行为识别的精准度,提高了系统的可用性和灵活性。
发明内容
本发明的目的在于针对上述已有技术的不足,提出了一种基于深度稀疏滤波卷积神经网络的驾驶行为识别方法,优于传统神经网络模型,具有更高的识别率和鲁棒性,对辅助驾驶系统的效能评价有重要意义。
本发明是一种基于深度稀疏滤波卷积神经网络的驾驶行为识别方法,其特征在于,包括如下步骤:
(1)利用智能手机内置的加速度传感器和陀螺仪,采集驾驶者驾驶过程中的原始加速度信号和角度变化信息;并将这些数据投影至与手机方向无关的统一的大地坐标系中,获得样本矩阵为;
(2)通过深度稀疏滤波训练坐标转换后的加速度数据,采用逐层贪婪算法计算最终输出的权值矩阵作为神经网络的输入;
(3)对稀疏滤波后的学习特征采用软绝对值函数进行特征激活;每种驾驶行为随机选取30%的样本作为训练样本,其余为测试样本;
(4)构造卷积神经网络,包括两个卷积层、两个池化层和全链接层;层与层之间局部连接构成多层深度网络。信息在网络的不同层上传递,并且在每个架构层,利用可训练过滤器和局部邻域聚集操作,产生易于观察的数据分布特征;
(5)训练识别后得到测试样本的驾驶行为标签。对于最终层输出的损失估计,使用卷积神经网络架构中的交叉熵损耗,避免学习减速。
本发明的技术思路是:考虑手机内置传感器对方位的自适应性可提高驾驶行为的辨识效能,提出使用智能手机内置传感器采集的实时数据,通过稀疏滤波直接优化样本特征映射的稀疏性,从而改进卷积神经网络的首层输入;在使用深度稀疏滤波-神经网络的组合模型后,以更好的特征表达来识别行为,提高驾驶行为的识别效率。
本发明具有如下优点:
1.本发明由于采用了深度学习的方法,利用深度稀疏滤波网络来自主地学习驾驶行为数据的特征,因而避免了传统方法中人工学习特征的繁琐,并且深度稀疏滤波网络可以学习到更好的特征表达来进行分类识别。
2.本发明方法由于在稀疏滤波的基础上拓展得到深度稀疏滤波网络,该方法只需调整一个超参数(特征学习数量),对特征分布的种群稀疏性、存在稀疏性以及高分散性同时进行优化;因而有效弥补了传统深度学习网络参数复杂,需要大量的超参数调谐的缺陷。
附图说明
图1是本发明的稀疏滤波-卷积神经网络模型实现图;
图2是本发明的深度稀疏滤波结构图;
图3是本发明的卷积神经网络结构图。
参照图1,本发明的实现步骤如下。
步骤1:采集驾驶行为的原始数据。
1a) 利用智能手机内置的加速度传感器和陀螺仪,采集驾驶者驾驶过程中的原始加速度信号和角度变化信息;
1b) 将这些数据投影至与手机方向无关的统一的大地坐标系中;
借鉴刚体坐标系与参考坐标系之间互相转换方法,可以计算出大地坐标系下的X、Y、Z三轴加速度数据,尽量减少手机放置方位对分类器的影响。
其中R表示描述刚体取向的旋转矩阵,即从手机坐标系到参考坐标系的映射方法。R由三个基本旋转矩阵复合而成,变量a、p、r分别表示azimuth, pitch和roll。
步骤2:通过深度稀疏滤波训练坐标转换后的加速度数据,采用逐层贪婪算法计算最终输出的权值矩阵作为神经网络的输入。
2a) 因需对k类驾驶行为进行识别,若每种行为样本表示为xij,则所有样本构成训练集为:
, 其中,即样本总数。
2b) 假设M类特征用于描述待识别行为,先获取样本线性特征 即第i个样本的第j个特征值,w为特征提取函数。则构造的特征矩阵为:
2c) 再对特征矩阵进行行、列归一化,使其落于二范数的单位球体面上。
特征矩阵行归一化:
特征矩阵列归一化:
2d) 设定特征学习数目M以及目标函数为:
使用L-BFGS(有限内存拟牛顿法)来求解,直至收敛。
2e) 使用两层组成的稀疏滤波器实现深度稀疏滤波,层1为大小16*16的数据块进行训练,首先对自然数据进行归一化,获得特征数据的绝对值,作为后续层的输入;第二层再次归一化得到稀疏特性。由两层深度稀疏过滤计算得到优化后的特征,通过逐层贪婪算法计算最终输出。
步骤3:对稀疏滤波后的学习特征采用软绝对值函数进行特征激活;每种驾驶行为随机选取30%的样本作为训练样本,其余为测试样本。
特征激活函数采用软绝对值函数: 。
步骤4:构造卷积神经网络,包括两个卷积层、两个池化层和全链接层;层与层之间局部连接构成多层深度网络。将表达矩阵作为卷积神经网络首层的输入,进行非线性分类来识别驾驶行为。信息在网络的不同层上传递,并且在每个架构层,利用可训练过滤器和局部邻域聚集操作,产生易于观察的数据分布特征。
其中卷积层采用如下ReLu函数作为激活函数,
,
式中表示点(x,y)处通过卷积核计算得到的神经元激活度,n是该层中的核总数,其余为超参数。
步骤5:训练识别后得到测试样本的驾驶行为标签。对于最终层输出的损失估计,使用卷积神经网络架构中的交叉熵损耗,避免学习减速:
,
其中和分别是第j个输入和输出,K是输出神经元数量,是第i类的目标标签。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
本发明的效果可以通过以下仿真实验进一步说明。
1.实验条件
以内置ARM处理器的智能手机作为嵌入式系统硬件平台,搭载带宽为8Hz~1000Hz,灵敏度为32LBS/g~256LBS/g的三轴加速度传感器,角速度量程为-1000/s~+1000/s的陀螺仪,操作系统为Android5.0。
在该平台上搭建轻量级行为数据采集器,能满足日常驾驶行为数据采集需求。实验采集了5名用户的驾驶行为数据,分别为点火、熄火、匀速行驶、静止和减速行驶等五种行驾驶为。采样频率为100Hz,采集到包含不同行为的数据样本共4960份;对每种驾驶行为数据按照7:3进行划分,生成实验的训练集和测试集。
2.实验内容与结果
实验一:验证该发明中特征数和数据分块大小对识别效率的影响。
从数据集中抽取大小为w*w的数据块,进行ZAC白化。学习的特征数为K(即单层网络中隐含层的个数)。训练完成后,进行卷积提取,并进行四个象限划分采取平均聚合以减少特征维数。表1为w=8、12、16以及特征数K=200、400、800情况下分类识别的正确率。
表1、稀疏滤波下驾驶行为的特征性能(%)
实验结果表明,数据分块数越小,特征数越大,驾驶行为的识别效果会更佳。
实验二:与传统卷积神经网络对比,验证稀疏滤波卷积神经网络结构在识别效率上的改进。
借鉴上组实验结论,选取数据分块大小为8,特征数为800,进行对比实验。
表2、CNN与SF-CNN识别效能对比(%)
在该组实验中,稀疏滤波-卷积神经网络结构在大容量的数据实验条件下,对于车辆在行驶过程中的驾驶行为识别上,具有较高的识别能力,改善了传统算法在此条件下容易过度拟合以及泛化能力较差等问题。同时,在数据分块的复杂性问题较之传统算法,仍表现出较快的收敛速率。结果分析表明,由稀疏滤波-卷积神经网络构成的联合模型,在车辆行驶过程中,对驾驶行为的识别速度和识别效果更佳。
Claims (5)
1.本发明是一种基于深度稀疏滤波卷积神经网络的驾驶行为识别方法,其特征在于,包括如下步骤:
(1)利用智能手机内置的加速度传感器和陀螺仪,采集驾驶者驾驶过程中的原始加速度信号和角度变化信息;并将这些数据投影至与手机方向无关的统一的大地坐标系中,获得样本矩阵为;
(2)通过深度稀疏滤波训练坐标转换后的加速度数据,采用逐层贪婪算法计算最终输出的权值矩阵作为神经网络的输入;
(3)对稀疏滤波后的学习特征采用软绝对值函数进行特征激活;每种驾驶行为随机选取30%的样本作为训练样本,其余为测试样本;
(4)构造卷积神经网络,包括两个卷积层、两个池化层和全链接层;层与层之间局部连接构成多层深度网络;将表达矩阵作为卷积神经网络首层的输入,进行非线性分类来识别驾驶行为;信息在网络的不同层上传递,并且在每个架构层,利用可训练过滤器和局部邻域聚集操作,产生易于观察的数据分布特征;
(5)训练识别后得到测试样本的驾驶行为标签;对于最终层输出的损失估计,使用卷积神经网络架构中的交叉熵损耗,避免学习减速。
2.根据权利要求1所述的基于深度稀疏滤波卷积神经网络的驾驶行为识别方法,其特征在于,步骤(1)所述的将原始采集数据投影至统一的大地坐标系中,借鉴刚体坐标系与参考坐标系之间的转换方法,可以计算出大地坐标系下的X、Y、Z三轴加速度数据,尽量减少手机放置方位对分类器的影响。
3.根据权利要求1所述的基于深度稀疏滤波卷积神经网络的驾驶行为识别方法,其特征在于,步骤(2)所述的稀疏滤波是一种优化特征分布的无监督特征学习算法,通过直接优化样本X的特征映射的稀疏性来获得好的特征表达;
因需对k类驾驶行为进行识别,若每种行为样本表示为xij,则所有样本构成训练集为:
其中,即样本总数;
假设M类特征用于描述待识别行为,先获取样本线性特征即第i个样本的第j个特征值,w为特征提取函数;
则构造的特征矩阵为:
再对特征矩阵进行行、列归一化,使其落于二范数的单位球体面上;
特征矩阵行归一化:
特征矩阵列归一化:
设定特征学习数目M以及目标函数如下,使用L-BFGS(有限内存拟牛顿法)来求解,直至收敛。
4.根据权利要求1所述的基于深度稀疏滤波卷积神经网络的驾驶行为识别方法,其特征在于,步骤(2) 中为了实现深度稀疏滤波,使用了由两层组成的稀疏滤波器,层1为大小16*16的数据块进行训练,首先对自然数据进行归一化,获得特征数据的绝对值,作为后续层的输入;第二层再次归一化得到稀疏特性;由两层深度稀疏过滤计算得到优化后的特征,通过逐层贪婪算法计算最终输出。
5.根据权利要求1所述的基于深度稀疏滤波卷积神经网络的驾驶行为识别方法,其特征在于,步骤(3) 中的特征激活函数采用软绝对值函数:
。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710232371.6A CN108694408B (zh) | 2017-04-11 | 2017-04-11 | 一种基于深度稀疏滤波卷积神经网络的驾驶行为识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710232371.6A CN108694408B (zh) | 2017-04-11 | 2017-04-11 | 一种基于深度稀疏滤波卷积神经网络的驾驶行为识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108694408A true CN108694408A (zh) | 2018-10-23 |
CN108694408B CN108694408B (zh) | 2023-05-09 |
Family
ID=63843493
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710232371.6A Active CN108694408B (zh) | 2017-04-11 | 2017-04-11 | 一种基于深度稀疏滤波卷积神经网络的驾驶行为识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108694408B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109543627A (zh) * | 2018-11-27 | 2019-03-29 | 西安电子科技大学 | 一种判断驾驶行为类别的方法、装置、及计算机设备 |
CN109615075A (zh) * | 2018-12-14 | 2019-04-12 | 大连海事大学 | 一种基于多层聚类模型的居民日常行为识别方法 |
CN109740651A (zh) * | 2018-12-24 | 2019-05-10 | 南京师范大学 | 基于1-范数数据处理变换和卷积神经网络的肢体识别方法 |
CN109783805A (zh) * | 2018-12-17 | 2019-05-21 | 北京邮电大学 | 一种网络社区用户识别方法及装置 |
CN109948654A (zh) * | 2019-02-15 | 2019-06-28 | 山东师范大学 | 基于用户行为数据的汽车运行状态识别方法、系统及设备 |
CN112199982A (zh) * | 2020-07-03 | 2021-01-08 | 桂林理工大学 | 一种基于深度学习的智能家居系统 |
CN112732797A (zh) * | 2021-01-26 | 2021-04-30 | 武汉理工大学 | 燃料电池汽车驾驶行为分析方法、装置和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105205449A (zh) * | 2015-08-24 | 2015-12-30 | 西安电子科技大学 | 基于深度学习的手语识别方法 |
CN106067042A (zh) * | 2016-06-13 | 2016-11-02 | 西安电子科技大学 | 基于半监督深度稀疏滤波网络的极化sar分类方法 |
US20160328643A1 (en) * | 2015-05-07 | 2016-11-10 | Siemens Aktiengesellschaft | Method and System for Approximating Deep Neural Networks for Anatomical Object Detection |
CN106503673A (zh) * | 2016-11-03 | 2017-03-15 | 北京文安智能技术股份有限公司 | 一种交通驾驶行为的识别方法、装置及一种视频采集装置 |
CN106503654A (zh) * | 2016-10-24 | 2017-03-15 | 中国地质大学(武汉) | 一种基于深度稀疏自编码网络的人脸情感识别方法 |
-
2017
- 2017-04-11 CN CN201710232371.6A patent/CN108694408B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160328643A1 (en) * | 2015-05-07 | 2016-11-10 | Siemens Aktiengesellschaft | Method and System for Approximating Deep Neural Networks for Anatomical Object Detection |
CN105205449A (zh) * | 2015-08-24 | 2015-12-30 | 西安电子科技大学 | 基于深度学习的手语识别方法 |
CN106067042A (zh) * | 2016-06-13 | 2016-11-02 | 西安电子科技大学 | 基于半监督深度稀疏滤波网络的极化sar分类方法 |
CN106503654A (zh) * | 2016-10-24 | 2017-03-15 | 中国地质大学(武汉) | 一种基于深度稀疏自编码网络的人脸情感识别方法 |
CN106503673A (zh) * | 2016-11-03 | 2017-03-15 | 北京文安智能技术股份有限公司 | 一种交通驾驶行为的识别方法、装置及一种视频采集装置 |
Non-Patent Citations (3)
Title |
---|
王忠民等: "基于滑动窗特征融合的深信度网络驾驶行为识别", 《计算机应用研究》 * |
胡正平等: "卷积神经网络分类模型在模式识别中的新进展", 《燕山大学学报》 * |
邱立达等: "基于稀疏滤波的无线传感器网络数据融合", 《电子测量与仪器学报》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109543627A (zh) * | 2018-11-27 | 2019-03-29 | 西安电子科技大学 | 一种判断驾驶行为类别的方法、装置、及计算机设备 |
CN109543627B (zh) * | 2018-11-27 | 2023-08-01 | 西安电子科技大学 | 一种判断驾驶行为类别的方法、装置、及计算机设备 |
CN109615075A (zh) * | 2018-12-14 | 2019-04-12 | 大连海事大学 | 一种基于多层聚类模型的居民日常行为识别方法 |
CN109615075B (zh) * | 2018-12-14 | 2022-08-19 | 大连海事大学 | 一种基于多层聚类模型的居民日常行为识别方法 |
CN109783805A (zh) * | 2018-12-17 | 2019-05-21 | 北京邮电大学 | 一种网络社区用户识别方法及装置 |
CN109740651A (zh) * | 2018-12-24 | 2019-05-10 | 南京师范大学 | 基于1-范数数据处理变换和卷积神经网络的肢体识别方法 |
CN109948654A (zh) * | 2019-02-15 | 2019-06-28 | 山东师范大学 | 基于用户行为数据的汽车运行状态识别方法、系统及设备 |
CN109948654B (zh) * | 2019-02-15 | 2020-09-15 | 山东师范大学 | 基于用户行为数据的汽车运行状态识别方法、系统及设备 |
CN112199982A (zh) * | 2020-07-03 | 2021-01-08 | 桂林理工大学 | 一种基于深度学习的智能家居系统 |
CN112199982B (zh) * | 2020-07-03 | 2022-06-17 | 桂林理工大学 | 一种基于深度学习的智能家居系统 |
CN112732797A (zh) * | 2021-01-26 | 2021-04-30 | 武汉理工大学 | 燃料电池汽车驾驶行为分析方法、装置和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108694408B (zh) | 2023-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108694408A (zh) | 一种基于深度稀疏滤波卷积神经网络的驾驶行为识别方法 | |
CN108875674B (zh) | 一种基于多列融合卷积神经网络的驾驶员行为识别方法 | |
CN109978893B (zh) | 图像语义分割网络的训练方法、装置、设备及存储介质 | |
CN107886073B (zh) | 一种基于卷积神经网络的细粒度车辆多属性识别方法 | |
CN103955702B (zh) | 基于深度rbf网络的sar图像地物分类方法 | |
CN112949633B (zh) | 一种基于改进YOLOv3的红外目标检测方法 | |
CN110533070A (zh) | 一种小样本下基于迁移原形网络的机械故障智能诊断方法 | |
CN110309861A (zh) | 一种基于生成对抗网络的多模态人类活动识别方法 | |
CN110097109A (zh) | 一种基于深度学习的道路环境障碍物检测系统及方法 | |
CN107492251A (zh) | 一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法 | |
CN108416250A (zh) | 人数统计方法及装置 | |
CN107832835A (zh) | 一种卷积神经网络的轻量化方法及装置 | |
CN108764085A (zh) | 基于生成对抗网络的人群计数方法 | |
CN110689043A (zh) | 一种基于多重注意力机制的车辆细粒度识别方法及装置 | |
CN111428558A (zh) | 一种基于改进YOLOv3方法的车辆检测方法 | |
CN114494158A (zh) | 一种图像处理方法、一种车道线检测方法及相关设备 | |
US11223782B2 (en) | Video processing using a spectral decomposition layer | |
CN110334572A (zh) | 一种多角度下车型精细识别方法 | |
CN110147707A (zh) | 一种高精度车辆识别方法及系统 | |
CN110263836B (zh) | 一种基于多特征卷积神经网络的不良驾驶状态识别方法 | |
CN109063643A (zh) | 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法 | |
CN110378397A (zh) | 一种驾驶风格识别方法及装置 | |
Cai et al. | A driving fingerprint map method of driving characteristic representation for driver identification | |
CN114677754A (zh) | 行为识别方法、装置、电子设备及计算机可读存储介质 | |
CN105160285A (zh) | 基于立体视觉的自动人体跌倒识别方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |