CN114842440A - 自动驾驶环境感知方法、装置、车辆及可读存储介质 - Google Patents
自动驾驶环境感知方法、装置、车辆及可读存储介质 Download PDFInfo
- Publication number
- CN114842440A CN114842440A CN202210759880.5A CN202210759880A CN114842440A CN 114842440 A CN114842440 A CN 114842440A CN 202210759880 A CN202210759880 A CN 202210759880A CN 114842440 A CN114842440 A CN 114842440A
- Authority
- CN
- China
- Prior art keywords
- weight
- vehicle
- task
- network structure
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000008447 perception Effects 0.000 claims abstract description 83
- 230000007613 environmental effect Effects 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims description 33
- 230000015654 memory Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000010267 cellular communication Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000446 fuel Substances 0.000 description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- ATUOYWHBWRKTHZ-UHFFFAOYSA-N Propane Chemical compound CCC ATUOYWHBWRKTHZ-UHFFFAOYSA-N 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- SAZUGELZHZOXHB-UHFFFAOYSA-N acecarbromal Chemical compound CCC(Br)(CC)C(=O)NC(=O)NC(C)=O SAZUGELZHZOXHB-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 239000001294 propane Substances 0.000 description 1
- 230000000979 retarding effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开涉及一种自动驾驶环境感知方法、装置、车辆及可读存储介质，该方法包括：能够从初始车端感知多任务网络结构中获取待训练任务，初始车端感知多任务网络结构包括多个任务，对待训练任务进行训练得到权重文件，将权重文件添加至历史权重池中，以更新历史权重池，从更新后的历史权重池中加载历史权重文件以更新初始车端感知多任务网络结构的权重，得到车端感知多任务网络结构，通过车端感知多任务网络结构识别车辆周围的环境因素；能够尽可能的利用历史权重文件中的信息得到车端感知多任务网络结构，提高车端感知多任务网络结构的收敛速度和泛化性，使得车端感知多任务网络结构的识别结果更加准确。
Description
技术领域
本公开涉及自动驾驶技术领域，尤其涉及一种自动驾驶环境感知方法、装置、车辆及可读存储介质。
背景技术
相关技术中，精确感知车辆周围环境中的环境因素是自动驾驶中非常重要的一环，每一种环境因素（交通灯、行人、车辆等）往往都需要独立一个感知模型，因此车端上的感知任务量一般比较大，在一个多任务网络结构中，每一个任务往往由于其数据的更新，模型超参数的改变（不影响网络结构）累积出了许多历史模型权重。一般情况下，各个感知任务会丢弃这些历史权重文件，而采用当前最新训练的任务模型的权重，这样就不能很好的利用历史权重文件的信息。
发明内容
为克服相关技术中存在的问题，本公开提供一种自动驾驶环境感知方法、装置、车辆及可读存储介质。
根据本公开实施例的第一方面，提供一种自动驾驶环境感知方法，包括从初始车端感知多任务网络结构中获取待训练任务；所述初始车端感知多任务网络结构包括多个任务，一个任务关联一个任务模块；对所述待训练任务进行训练得到权重文件；将所述权重文件添加至历史权重池中，以更新所述历史权重池；从更新后的历史权重池中加载历史权重文件以更新所述初始车端感知多任务网络结构的权重，得到车端感知多任务网络结构；通过所述车端感知多任务网络结构识别车辆周围的环境因素。
可选的，所述待训练任务包括新增数据；所述对所述待训练任务进行训练得到权重文件的步骤包括：在保持所述初始车端感知多任务网络结构中所述多个任务共享的网络模块的权重不变的情况下，调整与所述待训练任务关联的任务模块的权重，得到所述权重文件。
可选的，所述权重文件中各个参数的权重计算方式包括：根据所述初始车端感知多任务网络结构中所述权重文件的重要度、所述权重文件的参数的均值和方差计算所述权重文件中各个参数的权重。
可选的，所述权重文件中各个参数的权重计算方式包括：
其中，
为所述权重文件中参数i的权重，k为所述历史权重池中权重文件的个数，
为所述历史权重池中第j个权重文件的重要度；
为所述历史权重池中第j个权重文件中参数i的权重；
为所述权重文件中第i个参数的均值；
为所述权重文件中第i个参数的方差。
可选的，所述待训练任务为新增任务；所述对所述待训练任务进行训练得到权重文件的步骤包括：从所述历史权重池中加载历史权重文件；在所述初始车端感知多任务网络结构下对所述待训练任务进行训练，得到第一权重文件；根据所述第一权重文件与所述历史权重池中历史权重文件计算得到第二权重文件；在保持所述初始车端感知多任务网络结构中所述多个任务共享的网络模块的参数不变的情况下，调整第二权重文件，得到所述权重文件。
根据本公开实施例的第二方面，提供一种自动驾驶环境感知装置，包括：获取模块，被配置为从初始车端感知多任务网络结构中获取待训练任务；所述初始车端感知多任务网络结构包括多个任务，一个任务关联一个任务模块；训练模块，被配置为对所述待训练任务进行训练得到权重文件；处理模块，被配置为将所述权重文件添加至历史权重池中，以更新所述历史权重池；加载模块，被配置为从更新后的历史权重池中加载历史权重文件以更新所述初始车端感知多任务网络结构的权重，得到车端感知多任务网络结构；识别模块，被配置为通过所述车端感知多任务网络结构识别车辆周围的环境因素。
可选的，所述训练模块，还被配置为在保持所述初始车端感知多任务网络结构中所述多个任务共享的网络模块的参数不变的情况下，调整与所述待训练任务关联的任务模块的权重，得到所述权重文件。
根据本公开实施例的第三方面，提供一种车辆，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述可执行指令实现前述的自动驾驶环境感知方法的步骤。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现本公开第一方面所提供的自动驾驶环境感知方法的步骤。
根据本公开实施例的第五方面，提供一种芯片，包括处理器和接口；所述处理器用于读取指令以执行前述的自动驾驶环境感知方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：能够从初始车端感知多任务网络结构中获取待训练任务，初始车端感知多任务网络结构包括多个任务，一个任务关联一个任务模块，对待训练任务进行训练得到权重文件，将权重文件添加至历史权重池中，以更新历史权重池，从更新后的历史权重池中加载历史权重文件以更新初始车端感知多任务网络结构的权重，得到车端感知多任务网络结构，通过车端感知多任务网络结构识别车辆周围的环境因素；能够将每个任务的历史权重文件添加至历史权重池中，不断更新历史权重池，从更新后的历史权重池中加载历史权重文件以更新初始车端感知多任务网络结构的权重，得到车端感知多任务网络结构，能够尽可能的利用历史权重文件中的信息得到车端感知多任务网络结构，提高车端感知多任务网络结构的收敛速度和泛化性，使得车端感知多任务网络结构的识别结果更加准确。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本公开示例性实施例示出的一种自动驾驶环境感知方法的流程图。
图2是本公开示例性实施例示出的一种初始车端感知多任务网络结构的示意图。
图3是本公开示例性实施例示出的一种自动驾驶环境感知装置框图。
图4是本公开示例性实施例示出的一种车辆的功能框图示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
为避免上述问题，本公开提供一种自动驾驶环境感知方法，该自动驾驶环境感知方法应用于一终端中，如自动驾驶车辆，该自动驾驶环境感知方法包括：从初始车端感知多任务网络结构中获取待训练任务，其中初始车端感知多任务网络结构包括多个任务，每个任务关联一个任务（Head）模块，每一个任务用于感知一种环境因素，如交通灯、行人、车辆等环境因素，待训练任务为本次新增的待训练的任务，或者称为本次新增的待训练的模型；在获取待训练任务后，对待训练任务进行训练得到权重文件，其中，权重文件中包括待训练任务的模型权重；然后将权重文件添加至历史权重池中，以更新历史权重池；从更新后的历史权重池中加载历史权重文件以更新初始车端感知多任务网络结构的权重，得到车端感知多任务网络结构；最后通过车端感知多任务网络结构识别车辆周围的环境因素。能够将每个任务的历史权重文件添加至历史权重池中，不断更新历史权重池，从更新后的历史权重池中加载历史权重文件以更新初始车端感知多任务网络结构的权重，能够尽可能的利用历史权重文件中的信息得到车端感知多任务网络结构，提高车端感知多任务网络结构的收敛速度和泛化性，使得车端感知多任务网络结构的识别结果更加准确。
请参阅图1，图1是根据一示例性实施例示出的一种自动驾驶环境感知方法的流程图，如图1所示，该自动驾驶环境感知方法包括以下步骤：
在步骤S11中，从初始车端感知多任务网络结构中获取待训练任务。
初始车端感知多任务网络结构包括多个任务，每个任务关联一个任务模块；其中，任务也可以理解为模型，每个模型用于感知一种环境因素，如车辆周围环境中的交通灯、行人、车辆等环境因素，那么对应的模型可以是交通灯检测模型、行人检测模型、车辆检测模型，任务模块用于保存关联的任务的网络权重，任务模块的本质为模型的运算层，如池化层、全连接层及卷积层等，如任务模块1可以是池化层和全连接层的叠加，用于特征分类，任务模块2可以是卷积层，用于分割或者检测；任务模块n还可以是其他的运算层，根据任务的具体性质而定，本公开对此不做限制。
需要说明的是，初始车端感知多任务网络结构包括主干网、过渡层、权重加载模块及多个任务模块。请参阅图2，图2是根据一示例性实施例示出的一种初始车端感知多任务网络结构的示意图。其中，主干网用于提取输入数据的通用特征，然后将该通用特征传递给过渡层或者任务模块；过渡层可以是特征金字塔 (Feature Pyramid Networks，FPN)层，或者也可以是一个1*1的卷积层，本公开对此不做限制，过渡层用于将通用特征转化为多个不同尺寸大小的特征，以有效解决实际应用中目标多尺度的问题；权重加载模块用于从历史权重池中加载历史权重文件以更新初始车端感知多任务网络结构的权重；任务模块用于特征分类、分割或者检测。其中，主干网和过渡层为多个任务共享的网络模块。在一种实施方式中，初始车端感知多任务网络结构可以是(Hard Parameter Sharing，HPS) 多任务网络结构。
待训练任务为本次新增的待训练的任务，本次新增的任务可以是训练某个任务新增数据，也可以是训练新增任务。
在步骤S12中，对待训练任务进行训练得到权重文件。
对前述步骤获取得到的待训练任务进行训练，以寻找待训练任务的最佳权重。以待训练任务为神经网络为例进行说明，神经网络中，卷积层所有的卷积核的元素值、全连接层中所有内积运算的系数均为权重，训练方法可以是反向传播（Backpropagation）算法，反向传播算法是一种从后往前调整的权重的算法，从神经网络的最后一层开始，逐层调整神经网络的权重，使得神经网络在实体识别时能做出更好的预测，具体的调整算法可以是梯度计算的链式法则（Chain rule）或随机梯度下降（Stochastic gradient descent）等，本公开对此不作限制。在训练过程中，保持初始车端感知多任务网络结构中多个任务共享的网络模块的权重不变的情况下，微调与待训练任务关联的Head模块的权重，得到待训练任务的最佳权重。最后将训练得到的最佳权重集合在一个文件中，作为权重文件。
在一种实施方式中，权重文件中各个参数的权重计算方式包括：根据初始车端感知多任务网络结构中权重文件的重要度、权重文件的参数的均值和方差计算权重文件中各个参数的权重。示例性的，权重文件中各个参数的权重计算方式包括：
其中，
为权重文件中参数i的权重，k为历史权重池中权重文件的个数，
为历史权重池中第j个权重文件的重要度；
为历史权重池中第j个权重文件中参数i的权重；
为权重文件中第i个参数的均值；
为权重文件中第i个参数的方差。在一种实施方式中，
可以依据当前权重文件在评测集上的效果来设置，效果越好，权重越高，反之效果越差，权重越小，默认值为1。
需要说明的是，对待训练任务进行训练得到权重文件有两种情况，一是当待训练任务为新增数据的情况，此时权重加载模块可以按照上述的训练过程及权重计算方式得到权重文件。二是当待训练任务为新增任务的情况，此时先从历史权重池中加载历史权重文件，在车端感知多任务网络结构下对待训练任务独立进行训练，得到第一权重文件，训练方式可以是前述的链式法则或随机梯度下降算法等；根据第一权重文件与历史权重池中历史权重文件计算得到第二权重文件，示例性的可以通过上述的权重文件中各个参数的权重计算方式计算得到第二权重文件，然后在保持车端感知多任务网络结构中多个任务共享的网络模块的参数不变的情况下，调整第二权重文件，得到权重文件。
在步骤S13中，将权重文件添加至历史权重池中，以更新历史权重池。
对前述步骤获取得到的权重文件添加至历史权重池中，以更新历史权重池。需要说明的是，历史权重池中包括每个任务的历史权重文件。
在步骤S14中，从更新后的历史权重池中加载历史权重文件以更新初始车端感知多任务网络结构的权重，得到车端感知多任务网络结构。
示例性的，通过权重加载模块从更新后的历史权重池中加载历史权重文件以更新初始车端感知多任务网络结构的权重，得到车端感知多任务网络结构。如图2所示的k个历史权重文件，可以加载历史权重文件1，也可以加载历史权重文件2，或者可以加载历史权重文件k，可以针对实际情况实施不同策略的权重加载，以便保证当后续有新任务需要训练时，可以稳定历史任务的训练结果，或者新增数据需要训练时，加速任务微调的过程。
在步骤S15中，通过车端感知多任务网络结构识别车辆周围的环境因素。
示例性的，可以通过车端感知多任务网络结构中的各个任务识别车辆周围环境的环境因素，如前述的交通灯、行人、车辆等环境因素。
本公开提供的自动驾驶环境感知方法，通过利用车端感知多任务网络结构训练过程中的历史权重文件，可以针对实际情况实施不同策略的权重加载，以便保证当后续有新任务需要训练时，可以稳定历史任务的训练结果，或者新增数据需要训练时，加速任务微调的过程；当历史权重文件累积数量达到一定程度时，通过上述的自动驾驶环境感知方法可以不断归一化权重中每个参数的分布，以促使车端感知多任务网络结构达到稳定状态。
综上所述，本公开提供的自动驾驶环境感知方法，包括能够从初始车端感知多任务网络结构中获取待训练任务，初始车端感知多任务网络结构包括多个任务，一个任务关联一个任务模块，对待训练任务进行训练得到权重文件，将权重文件添加至历史权重池中，以更新历史权重池，从更新后的历史权重池中加载历史权重文件以更新初始车端感知多任务网络结构的权重，得到车端感知多任务网络结构，通过车端感知多任务网络结构识别车辆周围的环境因素；能够将每个任务的历史权重文件添加至历史权重池中，不断更新历史权重池，从更新后的历史权重池中加载历史权重文件以更新初始车端感知多任务网络结构的权重，得到车端感知多任务网络结构，能够尽可能的利用历史权重文件中的信息得到车端感知多任务网络结构，提高车端感知多任务网络结构的收敛速度和泛化性，使得车端感知多任务网络结构的识别结果更加准确。
图3是根据一示例性实施例示出的一种自动驾驶环境感知装置框图。参照图3，自动驾驶环境感知装置20包括获取模块201、训练模块202、处理模块203、加载模块204和识别模块205。
该获取模块201，被配置为初始车端感知多任务网络结构中获取待训练任务；所述初始车端感知多任务网络结构包括多个任务，一个任务关联一个任务模块；
该训练模块202，被配置为对所述待训练任务进行训练得到权重文件；
该处理模块203，被配置为将所述权重文件添加至历史权重池中，以更新所述历史权重池；
该加载模块204，被配置为从更新后的历史权重池中加载历史权重文件以更新所述初始车端感知多任务网络结构的权重，得到车端感知多任务网络结构；
该识别模块205，被配置为通过所述车端感知多任务网络结构识别车辆周围的环境因素。
可选的，该训练模块202，还被配置为在保持所述初始车端感知多任务网络结构中所述多个任务共享的网络模块的权重不变的情况下，调整与所述待训练任务关联的任务模块的权重，得到所述权重文件。
可选的，所述权重文件中各个参数的权重计算方式包括：
根据所述初始车端感知多任务网络结构中所述权重文件的重要度、所述权重文件的参数的均值和方差计算所述权重文件中各个参数的权重。
可选的，所述权重文件中各个参数的权重计算方式包括：
其中，
为所述权重文件中参数i的权重，k为所述历史权重池中权重文件的个数， 
为所述历史权重池中第j个权重文件的重要度； 
为所述历史权重池中第j个权重文件中参数i的权重；
为所述权重文件中第i个参数的均值； 
为所述权重文件中第i个参数的方差。
可选的，该训练模块202，还被配置为从所述历史权重池中加载历史权重文件；
在所述初始车端感知多任务网络结构下对所述待训练任务进行训练，得到第一权重文件；
根据所述第一权重文件与所述历史权重池中历史权重文件计算得到第二权重文件；
在保持所述初始车端感知多任务网络结构中所述多个任务共享的网络模块的参数不变的情况下，调整第二权重文件，得到所述权重文件。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的自动驾驶环境感知方法的步骤。
上述装置除了可以是独立的电子设备外，也可是独立电子设备的一部分，例如在一种实施例中，该装置可以是集成电路（Integrated Circuit，IC）或芯片，其中该集成电路可以是一个IC，也可以是多个IC的集合；该芯片可以包括但不限于以下种类：GPU（GraphicsProcessing Unit，图形处理器）、CPU（Central Processing Unit，中央处理器）、FPGA（Field Programmable Gate Array，可编程逻辑阵列）、DSP（Digital Signal Processor，数字信号处理器）、ASIC（Application Specific Integrated Circuit，专用集成电路）、SOC（System on Chip，SoC，片上系统或系统级芯片）等。上述的集成电路或芯片中可以用于执行可执行指令（或代码），以实现上述的自动驾驶环境感知方法。其中该可执行指令可以存储在该集成电路或芯片中，也可以从其他的装置或设备获取，例如该集成电路或芯片中包括第一处理器、第一存储器，以及用于与其他的装置通信的接口。该可执行指令可以存储于该第一存储器中，当该可执行指令被第一处理器执行时实现上述的自动驾驶环境感知方法；或者，该集成电路或芯片可以通过该接口接收可执行指令并传输给该第一处理器执行，以实现上述的自动驾驶环境感知方法。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的自动驾驶环境感知方法的代码部分。
参阅图4，图4是一示例性实施例示出的一种车辆的功能框图示意图。车辆600可以被配置为完全或部分自动驾驶模式。例如，车辆600可以通过感知系统620获取其周围的环境信息，并基于对周边环境信息的分析得到自动驾驶策略以实现完全自动驾驶，或者将分析结果呈现给用户以实现部分自动驾驶。
车辆600可包括各种子系统，例如，信息娱乐系统610、感知系统620、决策控制系统630、驱动系统640以及计算平台650。可选的，车辆600可包括更多或更少的子系统，并且每个子系统都可包括多个部件。另外，车辆600的每个子系统和部件可以通过有线或者无线的方式实现互连。
在一些实施例中，信息娱乐系统610可以包括通信系统611，娱乐系统612以及导航系统613。
通信系统611可以包括无线通信系统，无线通信系统可以直接地或者经由通信网络来与一个或多个设备无线通信。例如，无线通信系统可使用3G蜂窝通信，例如CDMA、EVD0、GSM/GPRS，或者4G蜂窝通信，例如LTE。或者5G蜂窝通信。无线通信系统可利用WiFi与无线局域网（wireless local area network，WLAN）通信。在一些实施例中，无线通信系统可利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议，例如各种车辆通信系统，例如，无线通信系统可包括一个或多个专用短程通信（dedicated short range communications，DSRC）设备，这些设备可包括车辆和/或路边台站之间的公共和/或私有数据通信。
娱乐系统612可以包括显示设备，麦克风和音响，用户可以基于娱乐系统在车内收听广播，播放音乐；或者将手机和车辆联通，在显示设备上实现手机的投屏，显示设备可以为触控式，用户可以通过触摸屏幕进行操作。
在一些情况下，可以通过麦克风获取用户的语音信号，并依据对用户的语音信号的分析实现用户对车辆600的某些控制，例如调节车内温度等。在另一些情况下，可以通过音响向用户播放音乐。
导航系统613可以包括由地图供应商所提供的地图服务，从而为车辆600提供行驶路线的导航，导航系统613可以和车辆的全球定位系统621、惯性测量单元622配合使用。地图供应商所提供的地图服务可以为二维地图，也可以是高精地图。
感知系统620可包括感测关于车辆600周边的环境的信息的若干种传感器。例如，感知系统620可包括全球定位系统621（全球定位系统可以是GPS系统，也可以是北斗系统或者其他定位系统）、惯性测量单元（inertial measurement unit，IMU）622、激光雷达623、毫米波雷达624、超声雷达625以及摄像装置626。感知系统620还可包括被监视车辆600的内部系统的传感器（例如，车内空气质量监测器、燃油量表、机油温度表等）。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其相应特性（位置、形状、方向、速度等）。这种检测和识别是车辆600的安全操作的关键功能。
全球定位系统621用于估计车辆600的地理位置。
惯性测量单元622用于基于惯性加速度来感测车辆600的位姿变化。在一些实施例中，惯性测量单元622可以是加速度计和陀螺仪的组合。
激光雷达623利用激光来感测车辆600所位于的环境中的物体。在一些实施例中，激光雷达623可包括一个或多个激光源、激光扫描器以及一个或多个检测器，以及其他系统组件。
毫米波雷达624利用无线电信号来感测车辆600的周边环境内的物体。在一些实施例中，除了感测物体以外，毫米波雷达624还可用于感测物体的速度和/或前进方向。
超声雷达625可以利用超声波信号来感测车辆600周围的物体。
摄像装置626用于捕捉车辆600的周边环境的图像信息。摄像装置626可以包括单目相机、双目相机、结构光相机以及全景相机等，摄像装置626获取的图像信息可以包括静态图像，也可以包括视频流信息。
决策控制系统630包括基于感知系统620所获取的信息进行分析决策的计算系统631，决策控制系统630还包括对车辆600的动力系统进行控制的整车控制器632，以及用于控制车辆600的转向系统633、油门634和制动系统635。
计算系统631可以操作来处理和分析由感知系统620所获取的各种信息以便识别车辆600周边环境中的目标、物体和/或特征。目标可以包括行人或者动物，物体和/或特征可包括交通信号、道路边界和障碍物。计算系统631可使用物体识别算法、运动中恢复结构（Structure from Motion，SFM）算法、视频跟踪等技术。在一些实施例中，计算系统631可以用于为环境绘制地图、跟踪物体、估计物体的速度等等。计算系统631可以将所获取的各种信息进行分析并得出对车辆的控制策略。
整车控制器632可以用于对车辆的动力电池和引擎641进行协调控制，以提升车辆600的动力性能。
转向系统633可操作来调整车辆600的前进方向。例如在一个实施例中可以为方向盘系统。
油门634用于控制引擎641的操作速度并进而控制车辆600的速度。
制动系统635用于控制车辆600减速。制动系统635可使用摩擦力来减慢车轮644。在一些实施例中，制动系统635可将车轮644的动能转换为电流。制动系统635也可采取其他形式来减慢车轮644转速从而控制车辆600的速度。
驱动系统640可包括为车辆600提供动力运动的组件。在一个实施例中，驱动系统640可包括引擎641、能量源642、传动系统643和车轮644。引擎641可以是内燃机、电动机、空气压缩引擎或其他类型的引擎组合，例如汽油发动机和电动机组成的混动引擎，内燃引擎和空气压缩引擎组成的混动引擎。引擎641将能量源642转换成机械能量。
能量源642的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源642也可以为车辆600的其他系统提供能量。
传动系统643可以将来自引擎641的机械动力传送到车轮644。传动系统643可包括变速箱、差速器和驱动轴。在一个实施例中，传动系统643还可以包括其他器件，比如离合器。其中，驱动轴可包括可耦合到一个或多个车轮644的一个或多个轴。
车辆600的部分或所有功能受计算平台650控制。计算平台650可包括至少一个第二处理器651，第二处理器651可以执行存储在例如第二存储器652这样的非暂态计算机可读介质中的指令653。在一些实施例中，计算平台650还可以是采用分布式方式控制车辆600的个体组件或子系统的多个计算设备。
第二处理器651可以是任何常规的第二处理器，诸如商业可获得的CPU。可替换地，第二处理器651还可以包括诸如图像第二处理器（Graphic Process Unit，GPU），现场可编程门阵列（Field Programmable Gate Array，FPGA）、片上系统（Sysem on Chip，SOC）、专用集成芯片（Application Specific Integrated Circuit，ASIC）或它们的组合。尽管图4功能性地图示了第二处理器、第二存储器、和在相同块中的计算机的其它元件，但是本领域的普通技术人员应该理解该第二处理器、计算机、或第二存储器实际上可以包括可以或者可以不存储在相同的物理外壳内的多个第二处理器、计算机、或第二存储器。例如，第二存储器可以是硬盘驱动器或位于不同于计算机的外壳内的其它存储介质。因此，对第二处理器或计算机的引用将被理解为包括对可以或者可以不并行操作的第二处理器或计算机或第二存储器的集合的引用。不同于使用单一的第二处理器来执行此处所描述的步骤，诸如转向组件和减速组件的一些组件每个都可以具有其自己的第二处理器，第二处理器只执行与特定于组件的功能相关的计算。
在本公开实施方式中，第二处理器651可以执行上述的自动驾驶环境感知方法。
在此处所描述的各个方面中，第二处理器651可以位于远离该车辆并且与该车辆进行无线通信。在其它方面中，此处所描述的过程中的一些在布置于车辆内的第二处理器上执行而其它则由远程第二处理器执行，包括采取执行单一操纵的必要步骤。
在一些实施例中，第二存储器652可包含指令653（例如，程序逻辑），指令653可被第二处理器651执行来执行车辆600的各种功能。第二存储器652也可包含额外的指令，包括向信息娱乐系统610、感知系统620、决策控制系统630、驱动系统640中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。
除了指令653以外，第二存储器652还可存储数据，例如道路地图、路线信息，车辆的位置、方向、速度以及其它这样的车辆数据，以及其他信息。这种信息可在车辆600在自主、半自主和/或手动模式中操作期间被车辆600和计算平台650使用。
计算平台650可基于从各种子系统（例如，驱动系统640、感知系统620和决策控制系统630）接收的输入来控制车辆600的功能。例如，计算平台650可利用来自决策控制系统630的输入以便控制转向系统633来避免由感知系统620检测到的障碍物。在一些实施例中，计算平台650可操作来对车辆600及其子系统的许多方面提供控制。
可选地，上述这些组件中的一个或多个可与车辆600分开安装或关联。例如，第二存储器652可以部分或完全地与车辆600分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。
可选地，上述组件只是一个示例，实际应用中，上述各个模块中的组件有可能根据实际需要增添或者删除，图4不应理解为对本公开实施例的限制。
在道路行进的自动驾驶汽车，如上面的车辆600，可以识别其周围环境内的物体以确定对当前速度的调整。物体可以是其它车辆、交通控制设备、或者其它类型的物体。在一些示例中，可以独立地考虑每个识别的物体，并且基于物体的各自的特性，诸如它的当前速度、加速度、与车辆的间距等，可以用来确定自动驾驶汽车所要调整的速度。
可选地，车辆600或者与车辆600相关联的感知和计算设备（例如计算系统631、计算平台650）可以基于所识别的物体的特性和周围环境的状态（例如，交通、雨、道路上的冰、等等）来预测识别的物体的行为。可选地，每一个所识别的物体都依赖于彼此的行为，因此还可以将所识别的所有物体全部一起考虑来预测单个识别的物体的行为。车辆600能够基于预测的识别的物体的行为来调整它的速度。换句话说，自动驾驶汽车能够基于所预测的物体的行为来确定车辆将需要调整到（例如，加速、减速、或者停止）何种稳定状态。在这个过程中，也可以考虑其它因素来确定车辆600的速度，诸如，车辆600在行驶的道路中的横向位置、道路的曲率、静态和动态物体的接近度等等。
除了提供调整自动驾驶汽车的速度的指令之外，计算设备还可以提供修改车辆600的转向角的指令，以使得自动驾驶汽车遵循给定的轨迹和/或维持与自动驾驶汽车附近的物体（例如，道路上的相邻车道中的车辆）的安全横向和纵向距离。
上述车辆600可以为各种类型的行驶工具，例如，轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、娱乐车、火车等等，本公开实施例不做特别的限定。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种自动驾驶环境感知方法，其特征在于，包括：
从初始车端感知多任务网络结构中获取待训练任务；所述初始车端感知多任务网络结构包括多个任务，一个任务关联一个任务模块；
对所述待训练任务进行训练得到权重文件；
将所述权重文件添加至历史权重池中，以更新所述历史权重池；
从更新后的历史权重池中加载历史权重文件以更新所述初始车端感知多任务网络结构的权重，得到车端感知多任务网络结构；
通过所述车端感知多任务网络结构识别车辆周围的环境因素。
2.根据权利要求1所述方法，其特征在于，所述待训练任务包括新增数据；所述对所述待训练任务进行训练得到权重文件的步骤包括：
在保持所述初始车端感知多任务网络结构中所述多个任务共享的网络模块的权重不变的情况下，调整与所述待训练任务关联的任务模块的权重，得到所述权重文件。
3.根据权利要求2所述方法，其特征在于，所述权重文件中各个参数的权重计算方式包括：
根据所述初始车端感知多任务网络结构中所述权重文件的重要度、所述权重文件的参数的均值和方差计算所述权重文件中各个参数的权重。
4.根据权利要求3所述方法，其特征在于，
所述权重文件中各个参数的权重计算方式包括：
其中，
为所述权重文件中参数i的权重，k为所述历史权重池中权重文件的个数，
为所述历史权重池中第j个权重文件的重要度； 
为所述历史权重池中第j个权重文件中参数i的权重；
为所述权重文件中第i个参数的均值； 
为所述权重文件中第i个参数的方差。
5.根据权利要求1所述方法，其特征在于，所述待训练任务为新增任务；所述对所述待训练任务进行训练得到权重文件的步骤包括：
从所述历史权重池中加载历史权重文件；
在所述初始车端感知多任务网络结构下对所述待训练任务进行训练，得到第一权重文件；
根据所述第一权重文件与所述历史权重池中历史权重文件计算得到第二权重文件；
在保持所述初始车端感知多任务网络结构中所述多个任务共享的网络模块的参数不变的情况下，调整第二权重文件，得到所述权重文件。
6.一种自动驾驶环境感知装置，其特征在于，包括：
获取模块，被配置为从初始车端感知多任务网络结构中获取待训练任务；所述初始车端感知多任务网络结构包括多个任务，一个任务关联一个任务模块；
训练模块，被配置为对所述待训练任务进行训练得到权重文件；
处理模块，被配置为将所述权重文件添加至历史权重池中，以更新所述历史权重池；
加载模块，被配置为从更新后的历史权重池中加载历史权重文件以更新所述初始车端感知多任务网络结构的权重，得到车端感知多任务网络结构；
识别模块，被配置为通过所述车端感知多任务网络结构识别车辆周围的环境因素。
7.根据权利要求6所述装置，其特征在于，所述训练模块，还被配置为在保持所述初始车端感知多任务网络结构中所述多个任务共享的网络模块的参数不变的情况下，调整与所述待训练任务关联的任务模块的权重，得到所述权重文件。
8.一种车辆，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令实现权利要求1~5中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1~5中任一项所述方法的步骤。
10.一种芯片，其特征在于，包括处理器和接口；所述处理器用于读取指令以执行权利要求1~5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210759880.5A CN114842440B (zh) | 2022-06-30 | 2022-06-30 | 自动驾驶环境感知方法、装置、车辆及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210759880.5A CN114842440B (zh) | 2022-06-30 | 2022-06-30 | 自动驾驶环境感知方法、装置、车辆及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114842440A true CN114842440A (zh) | 2022-08-02 |
| CN114842440B CN114842440B (zh) | 2022-09-09 |
Family
ID=82574790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210759880.5A Active CN114842440B (zh) | 2022-06-30 | 2022-06-30 | 自动驾驶环境感知方法、装置、车辆及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114842440B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115984827A (zh) * | 2023-03-06 | 2023-04-18 | 安徽蔚来智驾科技有限公司 | 点云感知方法、计算机设备及计算机可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751260A (zh) * | 2018-07-24 | 2020-02-04 | 北京三星通信技术研究有限公司 | 电子设备、任务处理的方法以及训练神经网络的方法 |
| CN113033436A (zh) * | 2021-03-29 | 2021-06-25 | 京东鲲鹏(江苏)科技有限公司 | 障碍物识别模型训练方法及装置、电子设备、存储介质 |
| CN113286315A (zh) * | 2021-06-11 | 2021-08-20 | 中国联合网络通信集团有限公司 | 负载均衡判断方法、装置、设备及存储介质 |
| WO2021241834A1 (ko) * | 2020-05-29 | 2021-12-02 | 서울대학교산학협력단 | 악천후 자율주행을 위한 교통 흐름 정보 인지 기반 가상 차선 생성 장치 및 방법 |
| CN114153207A (zh) * | 2021-11-29 | 2022-03-08 | 北京三快在线科技有限公司 | 一种无人驾驶设备的控制方法及控制装置 |
-
2022
- 2022-06-30 CN CN202210759880.5A patent/CN114842440B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751260A (zh) * | 2018-07-24 | 2020-02-04 | 北京三星通信技术研究有限公司 | 电子设备、任务处理的方法以及训练神经网络的方法 |
| WO2021241834A1 (ko) * | 2020-05-29 | 2021-12-02 | 서울대학교산학협력단 | 악천후 자율주행을 위한 교통 흐름 정보 인지 기반 가상 차선 생성 장치 및 방법 |
| CN113033436A (zh) * | 2021-03-29 | 2021-06-25 | 京东鲲鹏(江苏)科技有限公司 | 障碍物识别模型训练方法及装置、电子设备、存储介质 |
| CN113286315A (zh) * | 2021-06-11 | 2021-08-20 | 中国联合网络通信集团有限公司 | 负载均衡判断方法、装置、设备及存储介质 |
| CN114153207A (zh) * | 2021-11-29 | 2022-03-08 | 北京三快在线科技有限公司 | 一种无人驾驶设备的控制方法及控制装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115984827A (zh) * | 2023-03-06 | 2023-04-18 | 安徽蔚来智驾科技有限公司 | 点云感知方法、计算机设备及计算机可读存储介质 |
| CN115984827B (zh) * | 2023-03-06 | 2024-02-02 | 安徽蔚来智驾科技有限公司 | 点云感知方法、计算机设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114842440B (zh) | 2022-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022016351A1 (zh) | 一种行驶决策选择方法以及装置 | |
| WO2022205243A1 (zh) | 一种变道区域获取方法以及装置 | |
| CN115123257B (zh) | 路面减速带位置识别方法、装置、车辆、存储介质及芯片 | |
| CN113859265B (zh) | 一种驾驶过程中的提醒方法及设备 | |
| CN115042821B (zh) | 车辆控制方法、装置、车辆及存储介质 | |
| CN115100377A (zh) | 地图构建方法、装置、车辆、可读存储介质及芯片 | |
| CN115035494A (zh) | 图像处理方法、装置、车辆、存储介质及芯片 | |
| CN114842440B (zh) | 自动驾驶环境感知方法、装置、车辆及可读存储介质 | |
| CN115407344B (zh) | 栅格地图创建方法、装置、车辆及可读存储介质 | |
| CN114782638B (zh) | 生成车道线的方法、装置、车辆、存储介质及芯片 | |
| CN115202234B (zh) | 仿真测试方法、装置、存储介质和车辆 | |
| CN115056784B (zh) | 车辆控制方法、装置、车辆、存储介质及芯片 | |
| CN115871523A (zh) | 电池加热方法、装置、车辆、可读存储介质及芯片 | |
| CN115205848A (zh) | 目标检测方法、装置、车辆、存储介质及芯片 | |
| CN115100630A (zh) | 障碍物检测方法、装置、车辆、介质及芯片 | |
| CN115334111A (zh) | 用于车道识别的系统架构、传输方法，车辆，介质及芯片 | |
| CN115042814A (zh) | 交通灯状态识别方法、装置、车辆及存储介质 | |
| CN115221151A (zh) | 车辆数据的传输方法、装置、车辆、存储介质及芯片 | |
| CN115203457A (zh) | 图像检索方法、装置、车辆、存储介质及芯片 | |
| CN115116161A (zh) | 车辆数据采集方法、装置、存储介质以及车辆 | |
| CN115063639B (zh) | 生成模型的方法、图像语义分割方法、装置、车辆及介质 | |
| CN115082886B (zh) | 目标检测的方法、装置、存储介质、芯片及车辆 | |
| CN114822216B (zh) | 生成车位地图的方法、装置、车辆、存储介质及芯片 | |
| CN114877911B (zh) | 路径规划方法、装置、车辆及存储介质 | |
| CN115082772B (zh) | 地点识别方法、装置、车辆、存储介质及芯片 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |