CN112698578A - 一种自动驾驶模型的训练方法及相关设备 - Google Patents
一种自动驾驶模型的训练方法及相关设备 Download PDFInfo
- Publication number
- CN112698578A CN112698578A CN201911006299.0A CN201911006299A CN112698578A CN 112698578 A CN112698578 A CN 112698578A CN 201911006299 A CN201911006299 A CN 201911006299A CN 112698578 A CN112698578 A CN 112698578A
- Authority
- CN
- China
- Prior art keywords
- driving
- training
- model
- driving model
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 203
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000004088 simulation Methods 0.000 claims abstract description 99
- 230000003068 static effect Effects 0.000 claims abstract description 26
- 230000007613 environmental effect Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B17/00—Systems involving the use of models or simulators of said systems
- G05B17/02—Systems involving the use of models or simulators of said systems electric
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Feedback Control In General (AREA)
Abstract
本发明提供一种自动驾驶模型的训练方法及相关设备，方法包括：获取行驶数据样本集，其中，所述行驶数据样本集包括车辆在真实驾驶环境中的行驶数据样本；构建所述行驶数据样本集中的行驶数据样本的静态场景；加载所述行驶数据样本集的静态场景，生成仿真场景；基于所述行驶数据样本集以及所述仿真场景，训练预设的初始驾驶模型，得到自动驾驶模型。这样，可以在真实的仿真场景中训练自动驾驶模型，从而提升自动驾驶模型的准确度。
Description
技术领域
本发明涉及汽车技术领域，尤其涉及一种自动驾驶模型的训练方法及相关设备。
背景技术
自动驾驶技术依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，让车辆可以在没有任何人类主动的操作下，实现自动驾驶。其中，车辆执行自动驾驶任务是通过预设的自动驾驶模型实现的，即信息采集设备实时采集当前的场景信息，利用自动驾驶模型对场景信息进行处理，以向驾驶设备输出响应的驾驶指令。
目前，自动驾驶模型主要是基于人工规则的决策算法得到。但是，在通过这种决策算法获取自动驾驶模型中，需要对驾驶场景进行人工分类处理，例如，驾驶场景包括左变道、右变道、超车、车道保持、加速以及减速等驾驶场景，而人工分类是基于操作人员的经验和主观决策完成，导致分类过程中可能存在出错，从而导致自动驾驶模型的预测准确性降低。
可见，目前的自动驾驶模型存在预测准确性低的问题。
发明内容
本发明提供一种自动驾驶模型的训练方法及电子设备，以解决目前的自动驾驶模型存在预测准确性低的问题。
为解决上述技术问题，本发明是这样实现的：
第一方面，本发明提供了一种自动驾驶模型的训练方法，包括：
获取行驶数据样本集，其中，所述行驶数据样本集包括车辆在真实驾驶环境中的行驶数据样本；
构建所述行驶数据样本集中的行驶数据样本的静态场景；
加载所述行驶数据样本集中所有的行驶数据样本的静态场景，生成仿真场景；
基于所述行驶数据样本集以及所述仿真场景，训练预设的初始驾驶模型，得到自动驾驶模型。
可选的，所述基于所述行驶数据样本集以及所述仿真场景，训练预设的初始驾驶模型，得到自动驾驶模型，包括：
基于第一训练集对所述初始驾驶模型进行第一次训练，得到第一驾驶模型，其中，所述第一训练集包括所述行驶数据样本集中的部分或者全部样本；
基于所述仿真场景以及所述行驶数据样本集，对所述第一驾驶模型进行N次训练，得到满足预设条件的自动驾驶模型；
其中，第i次训练的训练集包括正样本和负样本，所述正样本为所述行驶数据样本；所述负样本为：将上一次训练得到的驾驶模型在所述仿真场景中进行仿真所得到的样本；所述N为正整数，所述i为小于或者等于所述N的正整数。
可选的，所述基于所述仿真场景以及所述行驶数据样本集，对所述初始驾驶模型进行N次训练，得到满足预设条件的自动驾驶模型，包括：
S1、在所述仿真场景中对第j-1个驾驶模型进行仿真，得到第j-1个驾驶模型的至少一个负样本，其中，所述j为小于或者等于所述N的正整数，且当所述j为1时，所述第j-1个驾驶模型为所述第一驾驶模型；
S2、基于第j个训练集对所述第j-1个驾驶模型进行训练，得到第j个驾驶模型；
S3、若所述第j个驾驶模型满足所述预设条件，则确定所述第j个驾驶模型为所述自动驾驶模型；若所述第j个驾驶模型不满足所述预设条件，则调整所述j为j+1，并重新执行所述S1和所述S2。
可选的，所述预设条件包括：所述j为预设值，或者，所述第j个驾驶模型在所述仿真场景中的驾驶准确度大于或者等于预设准确度。
可选的，所述第i次训练的训练集的正样本中的部分样本为：对所述行驶数据样本进行数据随机扰动得到的数据样本。
可选的，所述行驶数据样本包括环境数据和控制数据；
所述基于所述行驶数据样本集以及所述仿真场景，训练预设的初始驾驶模型，得到自动驾驶模型之前，还包括：
对所述行驶数据样本集中的目标行驶数据样本的环境数据进行提取，得到所述目标行驶数据的环境模型；
将所述目标行驶数据的控制数据，作为所述目标行驶数据的环境模型的标签；
所述基于所述行驶数据样本集以及所述仿真场景，训练预设的初始驾驶模型，得到自动驾驶模型，包括：
基于所述仿真场景以及所述行驶数据样本集的环境模型、标签，训练预设的初始驾驶模型，得到自动驾驶模型。
可选的，所述训练预设的初始驾驶模型，得到自动驾驶模型，包括：
采用批量随机梯度下降的方式对所述初始驾驶模型进行训练，得到自动驾驶模型。
第二方面，本发明实施例还提供一种电子设备，包括：
样本获取模块，用于获取行驶数据样本集，其中，所述行驶数据样本集包括车辆在真实驾驶环境中的行驶数据样本；
场景构建模块，用于构建所述行驶数据样本集中的行驶数据样本的静态场景；
场景加载模块，用于加载所述行驶数据样本集中所有的行驶数据样本的静态场景，生成仿真场景；
模型训练模块，用于基于所述行驶数据样本集以及所述仿真场景，训练预设的初始驾驶模型，得到自动驾驶模型。
可选的，所述模型训练模块，包括：
第一训练单元，用于基于第一训练集对所述初始驾驶模型进行第一次训练，得到第一驾驶模型，其中，所述第一训练集包括所述行驶数据样本集中的部分或者全部样本；
第二训练单元，用于基于所述仿真场景以及所述行驶数据样本集，对所述第一驾驶模型进行N次训练，得到满足预设条件的自动驾驶模型；
其中，第i次训练的训练集包括正样本和负样本，所述正样本为所述行驶数据样本；所述负样本为：将上一次训练得到的驾驶模型在所述仿真场景中进行仿真所得到的样本；所述N为正整数，所述i为小于或者等于所述N的正整数。
可选的，所述第二训练单元，具体用于：
S1、在所述仿真场景中对第j-1个驾驶模型进行仿真，得到第j-1个驾驶模型的至少一个负样本，其中，所述j为小于或者等于所述N的正整数，且当所述j为1时，所述第j-1个驾驶模型为所述第一驾驶模型；
S2、基于第j个训练集对所述第j-1个驾驶模型进行训练，得到第j个驾驶模型；
S3、若所述第j个驾驶模型满足所述预设条件，则确定所述第j个驾驶模型为所述自动驾驶模型；若所述第j个驾驶模型不满足所述预设条件，则调整所述j为j+1，并重新执行所述S1和所述S2。
可选的，所述预设条件包括：所述j为预设值，或者，所述第j个驾驶模型在所述仿真场景中的驾驶准确度大于或者等于预设准确度。
可选的，所述第i次训练的训练集的正样本中的部分样本为：对所述行驶数据样本进行数据随机扰动得到的数据样本。
可选的，所述行驶数据样本包括环境数据和控制数据；
所述电子设备，还包括：
环境模型提取模块，用于对所述行驶数据样本集中的目标行驶数据样本的环境数据进行提取，得到所述目标行驶数据的环境模型；
标签确定模块，用于将所述目标行驶数据的控制数据，作为所述目标行驶数据的环境模型的标签；
所述模型训练模块，具体用于：
基于所述仿真场景以及所述行驶数据样本集的环境模型、标签，训练预设的初始驾驶模型，得到自动驾驶模型。
可选的，所述模型训练模块，具体用于：
采用批量随机梯度下降的方式对所述初始驾驶模型进行训练，得到自动驾驶模型。
第三方面，本发明实施例还提供了一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述自动驾驶模型的训练方法的步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述自动驾驶模型的训练方法的步骤。
本发明实施例中，通过获取行驶数据样本集，其中，所述行驶数据样本集包括车辆在真实驾驶环境中的行驶数据样本；构建所述行驶数据样本集中的行驶数据样本的静态场景；加载所述行驶数据样本集中所有的行驶数据样本的静态场景，生成仿真场景；基于所述行驶数据样本集以及所述仿真场景，训练预设的初始驾驶模型，得到自动驾驶模型。这样，可以在真实的仿真场景中训练自动驾驶模型，从而提升自动驾驶模型的准确度。
附图说明
图1是本发明实施例提供的自动驾驶模型的训练方法的流程示意图；
图2是本发明实施例提供的电子设备的结构示意图之一；
图3是本发明实施例提供的模型训练模块的结构示意图；
图4是本发明实施例提供的电子设备的结构示意图之二；
图5是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
第一实施例
请参见图1，图1是本实施例提供的自动驾驶模型的训练方法的流程示意图，如图1所示，方法包括如下步骤：
步骤101、获取行驶数据样本集，其中，所述行驶数据样本集包括车辆在真实驾驶环境中的行驶数据样本。
本实施例中，上述获取行驶数据样本集，可以是：车辆在真实驾驶环境中行驶时，设置于车辆上的数据采集装置采集行驶过程中的行驶数据，将每一时间点采集的行驶数据作为行驶数据样本，并将采集的行驶数据样本发送至用于自动驾驶模型的训练的电子设备生成行驶数据样本集。
其中，上述行驶数据样本可以包括任何能够影响自动驾驶模型的准确度的行使数据，具体地，上述行驶数据样本可以包括环境数据和控制数据，环境数据为与车辆行驶环境相关的数据，例如，环境数据可以包括：由车辆上的各种传感器见采集的视觉传感器数据、雷达数据(如激光雷达数据和/或毫米波雷达数据等)以及定位数据如是全球定位系统(Global Positioning System，GPS)数据，等等；上述控制数据可以是控制车辆行驶状态的数据，例如，控制数据包括方向盘转角、油门数据和刹车数据，等等。
需要说明的是，上述行驶数据样本集可以包括一辆车辆在行驶过程中采集的数据样本，也可以是包括多辆车辆在行驶过程中采集的样本数据；另外，为保证自动驾驶模型的训练准确度，上述行驶数据样本集通常包括海量的行驶数据样本，例如，通常由上万条、上十万条甚至于百万条行驶数据样本组成，在此并不进行限定。
步骤102、构建所述行驶数据样本集中的行驶数据样本的静态场景。
本实施例中，在上述电子设备获取到上述行驶数据样本集之后，电子设备可以针对上述行驶数据样本集，构建每一条行驶数据样本的静态场景。
其中，上述构建每条行驶数据样本的静态场景，可以是通过任何静态场景构建方法实现，例如，对每一条行驶数据样本，利用高准确度地图或者对控制数据进行感知，通过定位以及见图，创建行驶数据样本的静态场景。
步骤103、加载所述行驶数据样本集中所有的行驶数据样本的静态场景，生成仿真场景。
本实施例中，在上述电子设备构建每一条行驶数据样本的静态场景之后，电子设备可以将行驶数据样本集中所有的行驶数据样本的静态场景加载至电子设备运行的仿真平台上，在仿真平台上生成仿真场景，由于仿真场景是基于真实的行驶数据生成，从而可以提升仿真场景的真实性。
步骤104、基于所述行驶数据样本集以及所述仿真场景，训练预设的初始驾驶模型，得到自动驾驶模型。
本实施例中，在上述电子设备获得上述行驶数据样本集，且基于该行驶数据样本集生成上述仿真场景之后，电子设备可以基于上述行驶数据样本集和上述仿真场景，训练预设的初始驾驶模型，得到自动驾驶模型。
需要说明的是，上述初始驾驶模型为深度神经网络模型，例如，初始驾驶模型可以为卷积神经网络的深度学习模型(即VGG模型)、AlexNet模型、LeNet模型、ResNet模型以及DenseNet模型等中的任一项。
另外，上述初始驾驶模型预先部署于上述仿真平台，即：在上述步骤104之前，还包括：对深度神经网络进行随机初始化参数；将初始化参数的深度神经网络封装成初始驾驶模型，并将初始驾驶模型部署于仿真平台上。
这里，上述基于行驶数据样本集以及仿真场景，训练预设的初始驾驶模型，可以是在先通过行驶数据样本集对初始驾驶模型进行第一次训练，得到第一驾驶模型，再将第一驾驶模型再仿真场景中进行仿真测试，并采集仿真测试过程中的行驶数据样本，然后通过上述行驶数据样本集和仿真测试过程中采集的行驶数据样本中的部分或者全部样本，对第一驾驶模型再进行至少一次训练。
例如：可以在对第一驾驶模型在仿真场景中进行仿真测试的过程中，采集正样本，该正样本为行驶数据符合行驶要求的行驶数据样本，并从上述行驶数据样本集中取出部分样本和采集的正样本组成新的训练样本集，通过性的训练样本集对第一驾驶模型进行训练，并将训练得到的驾驶模型作为上述自动驾驶模型，等等。
在一些实施方式中，上述步骤104，可以包括：
基于第一训练集对所述初始驾驶模型进行第一次训练，得到第一驾驶模型，其中，所述第一训练集包括所述行驶数据样本集中的部分或者全部样本；
基于所述仿真场景以及所述行驶数据样本集，对所述第一驾驶模型进行N次训练，得到满足预设条件的自动驾驶模型；
其中，第i次训练的训练集包括正样本和负样本，所述正样本为所述行驶数据样本；所述负样本为：将上一次训练得到的驾驶模型在所述仿真场景中进行仿真所得到的样本；所述N为正整数，所述i为小于或者等于所述N的正整数。
这里，电子设备对初始驾驶模型进行N次训练，且在训练过程中，将上一次训练得到的驾驶模型在仿真场景中进行仿真采集到的负样本加入新的训练样本集，并通过新的训练样本集对上一次训练得到的驾驶模型进行训练，以得到自动驾驶模型，从而使训练过程中的行驶数据样本更符合实际场景，提升训练过程的鲁棒性，进而提升自动驾驶模型的准确度。
其中，上述负样本可以是在对上一次训练得到的驾驶模型进行训练过程中，车辆在仿真场景行驶过程时行驶数据不符合要求的样本，例如，将车辆行驶偏离车道时采集的行驶数据作为负样本，或者，将车辆行驶中误刹车时采集的行驶数据作为负样本，等等。
需要说明的是，上述对所述第一驾驶模型进行N次训练，可以是对第一驾驶模型仅进行一次训练，且将该一次训练得到的驾驶模型作为上述自动驾驶模型；或者，也可以是对第一驾驶模型进行多次训练，并将多次训练得到的驾驶模型中满足预设条件的驾驶模型作为上述自动驾驶模型，例如，可以是选取不同的正样本和负样本分别对第一驾驶模型进行训练，并将训练得到的多个驾驶模型中的准确度最高的驾驶模型，确定为上述自动驾驶模型，等等。
在一些实施方式中，上述基于所述仿真场景以及所述行驶数据样本集，对所述初始驾驶模型进行N次训练，得到满足预设条件的自动驾驶模型，包括：
S1、在所述仿真场景中对第j-1个驾驶模型进行仿真，得到第j-1个驾驶模型的负样本，其中，所述j为小于或者等于所述N的正整数，且当所述j为1时，所述第j-1个驾驶模型为所述第一驾驶模型；
S2、基于第j个训练集对所述第j-1个驾驶模型进行训练，得到第j个驾驶模型；
S3、若所述第j个驾驶模型满足所述预设条件，则确定所述第j个驾驶模型为所述自动驾驶模型；若所述第j个驾驶模型不满足所述预设条件，则调整所述j为j+1，并重新执行所述S1和所述S2。
这里，电子设备可以根据预设条件，控制对第一驾驶模型进行N次训练的过程，从而可以训练得到符合实际需求的自动驾驶模型。
本实施方式中，上述预设条件可以是任何用于指示电子设备停止进行驾驶模型训练的条件，具体地，上述预设条件包括：所述j为预设值，或者，所述第j个驾驶模型在所述仿真场景中的驾驶准确度大于或者等于预设准确度。
示例性地，采集第一驾驶模型在仿真场景中仿真的负样本，并从上述行驶数据样本集中选取部分正样本和负样本组成第1个训练集(例如，可以是该训练集中正样本和负样本的比例为1:1、2:1或者3:1，等等)，并通过第1个训练集对第一驾驶模型进行训练，得到第1个驾驶模型，判断第1个驾驶模型在仿真场景中仿真的驾驶准确度是否大于或者等于预设准确度，若第1个驾驶模型在仿真场景中仿真的驾驶准确度大于或者预设准确度，则将第1个驾驶模型作为上述自动驾驶模型，反之，则采集第1个驾驶模型在仿真场景中仿真的负样本，并从上述行驶数据样本集中选取部分正样本和采集的负样本组成第2个训练集，并通过第2训练集对第2个驾驶模型进行训练，得到第2个驾驶模型，判断第2个驾驶模型在仿真场景中仿真的驾驶准确度是否大于或者等于预设准确度，若第2个驾驶模型在仿真场景中仿真的驾驶准确度大于或者预设准确度，则将第2个驾驶模型作为上述自动驾驶模型，反之，则继续执行下一次训练，直至得到在仿真场景中仿真的驾驶准确度大于或者预设准确度的驾驶模型。
需要说明的是，上述对初始驾驶模型或者由初始驾驶模型训练得到的其他驾驶模型进行训练，训练过程可以是：将对应的训练集中的样本的环境数据输入至模型的输入端，模型的输出端得到预测结果，将预测结果与真实结果相比较会得到一个误差，这个误差会在模型中的每一层传递(反向传播)，每一层的表示都会根据这个误差来调整模型的网络参数，直到模型收敛或达到预期的效果才结束，完成一次训练，并得到训练后的驾驶模型。
其中，在上述训练过程中，电子设备根据误差调整模型的网络参数，可以是通过梯度下降的方式调整模型的网络参数，例如，可以是通过指梯度下降法(gradient descentmothod)或者随机梯度下降的方式调整模型的网络参数，等等。
在一些实施方式中，上述训练预设的初始驾驶模型，得到自动驾驶模型，包括：采用批量随机梯度下降的方式对所述初始驾驶模型进行训练，得到自动驾驶模型，从而提升训练速度。
另外，在一些实施方式中，所述行驶数据样本包括环境数据和控制数据；
所述基于所述行驶数据样本集以及所述仿真场景，训练预设的初始驾驶模型，得到自动驾驶模型之前，还包括：
对所述行驶数据样本集中的目标行驶数据样本的环境数据进行提取，得到所述目标行驶数据的环境模型；
将所述目标行驶数据的控制数据，作为所述目标行驶数据的环境模型的标签；
所述基于所述行驶数据样本集以及所述仿真场景，训练预设的初始驾驶模型，得到自动驾驶模型，包括：
基于所述仿真场景以及所述行驶数据样本集的环境模型、标签，训练预设的初始驾驶模型，得到自动驾驶模型。
这里，电子设备可以提取每一条行驶数据样本的环境模型和标签，并通过行驶数据样本的环境模型和标签对模型进行训练，避免模型训练过程中数据输入出错，进一步提升模型训练的效率和准确度。
其中，上述基于所述仿真场景以及所述行驶数据样本集的环境模型、标签，训练所述初始驾驶模型，即在模型训练过程中，将每一正样本或者负样本的环境模型输入至待训练的模型的输入端，而将对应的标签与输出端输出的预测结果进行比较。
另外，上述对所述行驶数据样本集中的目标行驶数据样本的环境数据进行提取，得到所述目标行驶数据的环境模型，可以是利用深度学习感知算法，例如，可以是通过图像目标分类、目标检测、目标语义分割、点云识别和点云跟踪等算法中的任一项，从环境数据中提取环境模型。
本实施例中，上述每次模型训练过程中训练集中的样本，可以是全部采用真实驾驶场景中采集的行驶数据样本和/或仿真过程中采集的行驶数据样本，当然，上述训练集的样本中的部分样本也可以是采用对采集的行驶数据样本进行数据修改的样本。
在一些实施方式中，所述第i次训练的训练集的正样本中的部分样本为：对所述行驶数据样本进行数据随机扰动得到的数据样本，从而可以防止训练过程出现过拟合，进一步提升自动驾驶模型的准确度。
其中，上述对行驶数据样本进行数据随机扰动，可以是对行驶数据进行白噪声或者高斯噪声等处理。
另外，上述第i次训练的训练集的正样本中的部分样本，可以是预设比例的正样本，例如，可以是十分之一的样本，等等。
当然，上述在训练过程中，也可以是仅对行驶数据样本集样本中的部分样本进行随机扰动，例如，在训练过程中，可以是间隔预设时长对行驶数据样本集样本中的一定比例的样本进行随机扰动，并在生成训练集时，将随机扰动后的行驶数据样本中的部分或者全部样本加入至行的训练集中。
本发明实施例中，通过获取行驶数据样本集，其中，所述行驶数据样本集包括车辆在真实驾驶环境中的行驶数据样本；构建所述行驶数据样本集中的行驶数据样本的静态场景；加载所述行驶数据样本集中所有的行驶数据样本的静态场景，生成仿真场景；基于所述行驶数据样本集以及所述仿真场景，训练预设的初始驾驶模型，得到自动驾驶模型。这样，可以在真实的仿真场景中训练自动驾驶模型，从而提升自动驾驶模型的准确度。
第二实施例
请参见图2，图2是本实施例提供的一种电子设备的结构示意图，如图2所示，电子设备200包括：
样本获取模块201，用于获取行驶数据样本集，其中，所述行驶数据样本集包括车辆在真实驾驶环境中的行驶数据样本；
场景构建模块202，用于构建所述行驶数据样本集中的行驶数据样本的静态场景；
场景加载模块203，用于加载所述行驶数据样本集中所有的行驶数据样本的静态场景，生成仿真场景；
模型训练模块204，用于基于所述行驶数据样本集以及所述仿真场景，训练预设的初始驾驶模型，得到自动驾驶模型。
可选的，如图3所示，所述模型训练模块204，包括：
第一训练单元2041，用于基于第一训练集对所述初始驾驶模型进行第一次训练，得到第一驾驶模型，其中，所述第一训练集包括所述行驶数据样本集中的部分或者全部样本；
第二训练单元2042，用于基于所述仿真场景以及所述行驶数据样本集，对所述第一驾驶模型进行N次训练，得到满足预设条件的自动驾驶模型；
其中，第i次训练的训练集包括正样本和负样本，所述正样本为所述行驶数据样本；所述负样本为：将上一次训练得到的驾驶模型在所述仿真场景中进行仿真所得到的样本；所述N为正整数，所述i为小于或者等于所述N的正整数。
可选的，所述第二训练单元，具体用于：
S1、在所述仿真场景中对第j-1个驾驶模型进行仿真，得到第j-1个驾驶模型的至少一个负样本，其中，所述j为小于或者等于所述N的正整数，且当所述j为1时，所述第j-1个驾驶模型为所述第一驾驶模型；
S2、基于第j个训练集对所述第j-1个驾驶模型进行训练，得到第j个驾驶模型；
S3、若所述第j个驾驶模型满足所述预设条件，则确定所述第j个驾驶模型为所述自动驾驶模型；若所述第j个驾驶模型不满足所述预设条件，则调整所述j为j+1，并重新执行所述S1和所述S2。
可选的，所述预设条件包括：所述j为预设值，或者，所述第j个驾驶模型在所述仿真场景中的驾驶准确度大于或者等于预设准确度。
可选的，所述第i次训练的训练集的正样本中的部分样本为：对所述行驶数据样本进行数据随机扰动得到的数据样本。
可选的，所述行驶数据样本包括环境数据和控制数据；
所述电子设备，如图4所示，电子设备200还包括：
环境模型提取模块205，用于对所述行驶数据样本集中的目标行驶数据样本的环境数据进行提取，得到所述目标行驶数据的环境模型；
标签确定模块206，用于将所述目标行驶数据的控制数据，作为所述目标行驶数据的环境模型的标签；
所述模型训练模块204，具体用于：
基于所述仿真场景以及所述行驶数据样本集的环境模型、标签，训练预设的初始驾驶模型，得到自动驾驶模型。
可选的，所述模型训练模块204，具体用于：
采用批量随机梯度下降的方式对所述初始驾驶模型进行训练，得到自动驾驶模型。
本发明实施例提供的电子设备200能够实现图1的方法实施例中电子设备实现的各个过程，且达到相同的有益效果，为避免重复，这里不再赘述。
第三实施例
请参见图5，电子设备500包括存储器501、处理器502及存储在存储器501上并可在处理器502上运行的计算机程序；处理器502执行所述程序时实现：
获取行驶数据样本集，其中，所述行驶数据样本集包括车辆在真实驾驶环境中的行驶数据样本；
构建所述行驶数据样本集中的行驶数据样本的静态场景；
加载所述行驶数据样本集中所有的行驶数据样本的静态场景，生成仿真场景；
基于所述行驶数据样本集以及所述仿真场景，训练预设的初始驾驶模型，得到自动驾驶模型。
在图5中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器502代表的一个或多个处理器和存储器501代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器502负责管理总线架构和通常的处理，存储器501可以存储处理器502在执行操作时所使用的数据。
可选的，处理器502还执行所述基于所述行驶数据样本集以及所述仿真场景，训练预设的初始驾驶模型，得到自动驾驶模型，包括：
基于第一训练集对所述初始驾驶模型进行第一次训练，得到第一驾驶模型，其中，所述第一训练集包括所述行驶数据样本集中的部分或者全部样本；
基于所述仿真场景以及所述行驶数据样本集，对所述第一驾驶模型进行N次训练，得到满足预设条件的自动驾驶模型；
其中，第i次训练的训练集包括正样本和负样本，所述正样本为所述行驶数据样本；所述负样本为：将上一次训练得到的驾驶模型在所述仿真场景中进行仿真所得到的样本；所述N为正整数，所述i为小于或者等于所述N的正整数。
可选的，处理器502还执行所述基于所述仿真场景以及所述行驶数据样本集，对所述初始驾驶模型进行N次训练，得到满足预设条件的自动驾驶模型，包括：
S1、在所述仿真场景中对第j-1个驾驶模型进行仿真，得到第j-1个驾驶模型的至少一个负样本，其中，所述j为小于或者等于所述N的正整数，且当所述j为1时，所述第j-1个驾驶模型为所述第一驾驶模型；
S2、基于第j个训练集对所述第j-1个驾驶模型进行训练，得到第j个驾驶模型；
S3、若所述第j个驾驶模型满足所述预设条件，则确定所述第j个驾驶模型为所述自动驾驶模型；若所述第j个驾驶模型不满足所述预设条件，则调整所述j为j+1，并重新执行所述S1和所述S2。
可选的，所述预设条件包括：所述j为预设值，或者，所述第j个驾驶模型在所述仿真场景中的驾驶准确度大于或者等于预设准确度。
可选的，所述第i次训练的训练集的正样本中的部分样本为：对所述行驶数据样本进行数据随机扰动得到的数据样本。
可选的，所述行驶数据样本包括环境数据和控制数据；
处理器502还执行所述基于所述行驶数据样本集以及所述仿真场景，训练预设的初始驾驶模型，得到自动驾驶模型之前，还包括：
对所述行驶数据样本集中的目标行驶数据样本的环境数据进行提取，得到所述目标行驶数据的环境模型；
将所述目标行驶数据的控制数据，作为所述目标行驶数据的环境模型的标签；
处理器502还执行所述基于所述行驶数据样本集以及所述仿真场景，训练预设的初始驾驶模型，得到自动驾驶模型，包括：
基于所述仿真场景以及所述行驶数据样本集的环境模型、标签，训练预设的初始驾驶模型，得到自动驾驶模型。
可选的，处理器502还执行所述训练预设的初始驾驶模型，得到自动驾驶模型，包括：
采用批量随机梯度下降的方式对所述初始驾驶模型进行训练，得到自动驾驶模型。
另外，电子设备500还包括一些未示出的功能模块，在此不再赘述。
本发明实施例提供的电子设备500能够实现图1的方法实施例中电子设备实现的各个过程，且达到相同的有益效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述自动驾驶模型的训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random AccessMemory，简称RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台电子设备执行本发明各个实施例所述的方法。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (16)
1.一种自动驾驶模型的训练方法，其特征在于，包括：
获取行驶数据样本集，其中，所述行驶数据样本集包括车辆在真实驾驶环境中的行驶数据样本；
构建所述行驶数据样本集中的行驶数据样本的静态场景；
加载所述行驶数据样本集中所有的行驶数据样本的静态场景，生成仿真场景；
基于所述行驶数据样本集以及所述仿真场景，训练预设的初始驾驶模型，得到自动驾驶模型。
2.根据权利要求1所述的方法，其特征在于，所述基于所述行驶数据样本集以及所述仿真场景，训练预设的初始驾驶模型，得到自动驾驶模型，包括：
基于第一训练集对所述初始驾驶模型进行第一次训练，得到第一驾驶模型，其中，所述第一训练集包括所述行驶数据样本集中的部分或者全部样本；
基于所述仿真场景以及所述行驶数据样本集，对所述第一驾驶模型进行N次训练，得到满足预设条件的自动驾驶模型；
其中，第i次训练的训练集包括正样本和负样本，所述正样本为所述行驶数据样本；所述负样本为：将上一次训练得到的驾驶模型在所述仿真场景中进行仿真所得到的样本；所述N为正整数，所述i为小于或者等于所述N的正整数。
3.根据权利要求2所述的方法，其特征在于，所述基于所述仿真场景以及所述行驶数据样本集，对所述初始驾驶模型进行N次训练，得到满足预设条件的自动驾驶模型，包括：
S1、在所述仿真场景中对第j-1个驾驶模型进行仿真，得到第j-1个驾驶模型的至少一个负样本，其中，所述j为小于或者等于所述N的正整数，且当所述j为1时，所述第j-1个驾驶模型为所述第一驾驶模型；
S2、基于第j个训练集对所述第j-1个驾驶模型进行训练，得到第j个驾驶模型；
S3、若所述第j个驾驶模型满足所述预设条件，则确定所述第j个驾驶模型为所述自动驾驶模型；若所述第j个驾驶模型不满足所述预设条件，则调整所述j为j+1，并重新执行所述S1和所述S2。
4.根据权利要求3所述的方法，其特征在于，所述预设条件包括：所述j为预设值，或者，所述第j个驾驶模型在所述仿真场景中的驾驶准确度大于或者等于预设准确度。
5.根据权利要求2所述的方法，其特征在于，所述第i次训练的训练集的正样本中的部分样本为：对所述行驶数据样本进行数据随机扰动得到的数据样本。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述行驶数据样本包括环境数据和控制数据；
所述基于所述行驶数据样本集以及所述仿真场景，训练预设的初始驾驶模型，得到自动驾驶模型之前，还包括：
对所述行驶数据样本集中的目标行驶数据样本的环境数据进行提取，得到所述目标行驶数据的环境模型；
将所述目标行驶数据的控制数据，作为所述目标行驶数据的环境模型的标签；
所述基于所述行驶数据样本集以及所述仿真场景，训练预设的初始驾驶模型，得到自动驾驶模型，包括：
基于所述仿真场景以及所述行驶数据样本集的环境模型、标签，训练预设的初始驾驶模型，得到自动驾驶模型。
7.根据权利要求1至5中任一项所述的方法，其特征在于，所述训练预设的初始驾驶模型，得到自动驾驶模型，包括：
采用批量随机梯度下降的方式对所述初始驾驶模型进行训练，得到自动驾驶模型。
8.一种电子设备，其特征在于，包括：
样本获取模块，用于获取行驶数据样本集，其中，所述行驶数据样本集包括车辆在真实驾驶环境中的行驶数据样本；
场景构建模块，用于构建所述行驶数据样本集中的行驶数据样本的静态场景；
场景加载模块，用于加载所述行驶数据样本集中所有的行驶数据样本的静态场景，生成仿真场景；
模型训练模块，用于基于所述行驶数据样本集以及所述仿真场景，训练预设的初始驾驶模型，得到自动驾驶模型。
9.根据权利要求8所述的电子设备，其特征在于，所述模型训练模块，包括：
第一训练单元，用于基于第一训练集对所述初始驾驶模型进行第一次训练，得到第一驾驶模型，其中，所述第一训练集包括所述行驶数据样本集中的部分或者全部样本；
第二训练单元，用于基于所述仿真场景以及所述行驶数据样本集，对所述第一驾驶模型进行N次训练，得到满足预设条件的自动驾驶模型；
其中，第i次训练的训练集包括正样本和负样本，所述正样本为所述行驶数据样本；所述负样本为：将上一次训练得到的驾驶模型在所述仿真场景中进行仿真所得到的样本；所述N为正整数，所述i为小于或者等于所述N的正整数。
10.根据权利要求9所述的电子设备，其特征在于，所述第二训练单元，具体用于：
S1、在所述仿真场景中对第j-1个驾驶模型进行仿真，得到第j-1个驾驶模型的至少一个负样本，其中，所述j为小于或者等于所述N的正整数，且当所述j为1时，所述第j-1个驾驶模型为所述第一驾驶模型；
S2、基于第j个训练集对所述第j-1个驾驶模型进行训练，得到第j个驾驶模型；
S3、若所述第j个驾驶模型满足所述预设条件，则确定所述第j个驾驶模型为所述自动驾驶模型；若所述第j个驾驶模型不满足所述预设条件，则调整所述j为j+1，并重新执行所述S1和所述S2。
11.根据权利要求10所述的电子设备，其特征在于，所述预设条件包括：所述j为预设值，或者，所述第j个驾驶模型在所述仿真场景中的驾驶准确度大于或者等于预设准确度。
12.根据权利要求9所述的电子设备，其特征在于，所述第i次训练的训练集的正样本中的部分样本为：对所述行驶数据样本进行数据随机扰动得到的数据样本。
13.根据权利要求8至12中任一项所述的电子设备，其特征在于，所述行驶数据样本包括环境数据和控制数据；
所述电子设备，还包括：
环境模型提取模块，用于对所述行驶数据样本集中的目标行驶数据样本的环境数据进行提取，得到所述目标行驶数据的环境模型；
标签确定模块，用于将所述目标行驶数据的控制数据，作为所述目标行驶数据的环境模型的标签；
所述模型训练模块，具体用于：
基于所述仿真场景以及所述行驶数据样本集的环境模型、标签，训练预设的初始驾驶模型，得到自动驾驶模型。
14.根据权利要求8至12中任一项所述的电子设备，其特征在于，所述模型训练模块，具体用于：
采用批量随机梯度下降的方式对所述初始驾驶模型进行训练，得到自动驾驶模型。
15.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的自动驾驶模型的训练方法的步骤。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的自动驾驶模型的训练方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911006299.0A CN112698578B (zh) | 2019-10-22 | 2019-10-22 | 一种自动驾驶模型的训练方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911006299.0A CN112698578B (zh) | 2019-10-22 | 2019-10-22 | 一种自动驾驶模型的训练方法及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112698578A true CN112698578A (zh) | 2021-04-23 |
| CN112698578B CN112698578B (zh) | 2023-11-14 |
Family
ID=75504583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911006299.0A Active CN112698578B (zh) | 2019-10-22 | 2019-10-22 | 一种自动驾驶模型的训练方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112698578B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022227468A1 (zh) * | 2021-04-26 | 2022-11-03 | 上海联适导航技术股份有限公司 | 一种农机自动驾驶的方法、系统、设备及可读存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105892471A (zh) * | 2016-07-01 | 2016-08-24 | 北京智行者科技有限公司 | 汽车自动驾驶方法和装置 |
| CN106844949A (zh) * | 2017-01-18 | 2017-06-13 | 清华大学 | 一种用于实现机车节能操纵的双向lstm模型的训练方法 |
| CN108333959A (zh) * | 2018-03-09 | 2018-07-27 | 清华大学 | 一种基于卷积神经网络模型的机车节能操纵方法 |
| CN108734303A (zh) * | 2018-05-29 | 2018-11-02 | 深圳市易成自动驾驶技术有限公司 | 车辆驾驶数据预测方法、设备及计算机可读存储介质 |
| CN109358614A (zh) * | 2018-08-30 | 2019-02-19 | 深圳市易成自动驾驶技术有限公司 | 自动驾驶方法、系统、装置及可读存储介质 |
| US20190113917A1 (en) * | 2017-10-16 | 2019-04-18 | Toyota Research Institute, Inc. | System and method for leveraging end-to-end driving models for improving driving task modules |
| CN109657355A (zh) * | 2018-12-20 | 2019-04-19 | 安徽江淮汽车集团股份有限公司 | 一种车辆道路虚拟场景的仿真方法及系统 |
| CN109709956A (zh) * | 2018-12-26 | 2019-05-03 | 同济大学 | 一种自动驾驶车辆速度控制多目标优化的跟驰算法 |
| CN109747659A (zh) * | 2018-11-26 | 2019-05-14 | 北京汽车集团有限公司 | 车辆驾驶的控制方法和装置 |
| CN109801534A (zh) * | 2019-02-19 | 2019-05-24 | 上海思致汽车工程技术有限公司 | 基于自动驾驶模拟器的驾驶行为硬件在环仿真测试系统 |
| CN109902430A (zh) * | 2019-03-13 | 2019-06-18 | 上海车右智能科技有限公司 | 交通场景生成方法、装置、系统、计算机设备和存储介质 |
-
2019
- 2019-10-22 CN CN201911006299.0A patent/CN112698578B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105892471A (zh) * | 2016-07-01 | 2016-08-24 | 北京智行者科技有限公司 | 汽车自动驾驶方法和装置 |
| CN106844949A (zh) * | 2017-01-18 | 2017-06-13 | 清华大学 | 一种用于实现机车节能操纵的双向lstm模型的训练方法 |
| US20190113917A1 (en) * | 2017-10-16 | 2019-04-18 | Toyota Research Institute, Inc. | System and method for leveraging end-to-end driving models for improving driving task modules |
| CN108333959A (zh) * | 2018-03-09 | 2018-07-27 | 清华大学 | 一种基于卷积神经网络模型的机车节能操纵方法 |
| CN108734303A (zh) * | 2018-05-29 | 2018-11-02 | 深圳市易成自动驾驶技术有限公司 | 车辆驾驶数据预测方法、设备及计算机可读存储介质 |
| CN109358614A (zh) * | 2018-08-30 | 2019-02-19 | 深圳市易成自动驾驶技术有限公司 | 自动驾驶方法、系统、装置及可读存储介质 |
| CN109747659A (zh) * | 2018-11-26 | 2019-05-14 | 北京汽车集团有限公司 | 车辆驾驶的控制方法和装置 |
| CN109657355A (zh) * | 2018-12-20 | 2019-04-19 | 安徽江淮汽车集团股份有限公司 | 一种车辆道路虚拟场景的仿真方法及系统 |
| CN109709956A (zh) * | 2018-12-26 | 2019-05-03 | 同济大学 | 一种自动驾驶车辆速度控制多目标优化的跟驰算法 |
| CN109801534A (zh) * | 2019-02-19 | 2019-05-24 | 上海思致汽车工程技术有限公司 | 基于自动驾驶模拟器的驾驶行为硬件在环仿真测试系统 |
| CN109902430A (zh) * | 2019-03-13 | 2019-06-18 | 上海车右智能科技有限公司 | 交通场景生成方法、装置、系统、计算机设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 张磊 等: "基于神经网络方法的集成式驾驶员跟车模型", 《清华大学学报(自然科学版)》 * |
| 张磊 等: "基于神经网络方法的集成式驾驶员跟车模型", 《清华大学学报(自然科学版)》, no. 11, 30 November 2008 (2008-11-30), pages 1985 - 1988 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022227468A1 (zh) * | 2021-04-26 | 2022-11-03 | 上海联适导航技术股份有限公司 | 一种农机自动驾驶的方法、系统、设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112698578B (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112703459B (zh) | 对抗场景的迭代生成 | |
| CN111506980B (zh) | 对虚拟驾驶环境生成交通场景的方法及装置 | |
| CN108921200B (zh) | 用于对驾驶场景数据进行分类的方法、装置、设备和介质 | |
| CN110197027B (zh) | 一种自动驾驶测试方法、装置、智能设备和服务器 | |
| US11645518B2 (en) | Multi-agent simulations | |
| CN109299732B (zh) | 无人驾驶行为决策及模型训练的方法、装置及电子设备 | |
| CN111832652B (zh) | 决策模型的训练方法及装置 | |
| CN110245406B (zh) | 行驶仿真方法、装置及存储介质 | |
| EP3875905A1 (en) | Method, apparatus, device and medium for detecting environmental change | |
| US20220204020A1 (en) | Toward simulation of driver behavior in driving automation | |
| CN112579464A (zh) | 自动驾驶算法的校验方法、装置、设备以及存储介质 | |
| EP3940487A1 (en) | Estimation of probability of collision with increasing severity level for autonomous vehicles | |
| WO2022039675A1 (en) | Method and apparatus for forecasting weather, electronic device and storage medium thereof | |
| CN115546576A (zh) | 建立预测模型的方法及装置 | |
| CN112784867A (zh) | 利用合成图像训练深度神经网络 | |
| Koenig et al. | Bridging the gap between open loop tests and statistical validation for highly automated driving | |
| CN114595738A (zh) | 为识别模型生成训练数据的方法和生成识别模型的方法 | |
| CN112698578B (zh) | 一种自动驾驶模型的训练方法及相关设备 | |
| CN109427343B (zh) | 导盲语音处理方法、装置及系统 | |
| CN113723603A (zh) | 一种更新参数的方法、装置及存储介质 | |
| CN114692295A (zh) | 车辆性能边界的确定方法、装置、终端设备及存储介质 | |
| CN112966565A (zh) | 一种物体检测方法、装置、终端设备及存储介质 | |
| US20220318450A1 (en) | Lidar Atmospheric Effects in Simulation | |
| US20230128941A1 (en) | Method for controlling an agent | |
| US20220317301A1 (en) | Modeling foliage in a synthetic environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |