CN111625457A - 基于改进的dqn算法的虚拟自动驾驶测试优化方法 - Google Patents
基于改进的dqn算法的虚拟自动驾驶测试优化方法 Download PDFInfo
- Publication number
- CN111625457A CN111625457A CN202010458203.0A CN202010458203A CN111625457A CN 111625457 A CN111625457 A CN 111625457A CN 202010458203 A CN202010458203 A CN 202010458203A CN 111625457 A CN111625457 A CN 111625457A
- Authority
- CN
- China
- Prior art keywords
- neural network
- activation function
- convolutional neural
- test
- automatic driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 29
- 238000005457 optimization Methods 0.000 title claims abstract description 15
- 230000004913 activation Effects 0.000 claims abstract description 62
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 18
- 210000002569 neuron Anatomy 0.000 claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 238000010586 diagram Methods 0.000 claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 230000003213 activating effect Effects 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 70
- 238000005070 sampling Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 230000002787 reinforcement Effects 0.000 claims description 4
- 229920006395 saturated elastomer Polymers 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000000844 transformation Methods 0.000 claims description 2
- 238000012847 principal component analysis method Methods 0.000 claims 1
- 238000013522 software testing Methods 0.000 abstract description 3
- 238000012795 verification Methods 0.000 description 14
- 230000008901 benefit Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000000513 principal component analysis Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000009533 lab test Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000010998 test method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013142 basic testing Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于改进的DQN算法的虚拟自动驾驶测试优化方法，包括：生成能够激活神经元的测试输入，分析深度神经网络逻辑的不同部分，生成真实驾驶场景的图像数据；对卷积神经网络的激活函数进行改进，构建一种分段的激活函数；采用Gabor滤波器代替卷积神经网络中的可训练的滤波器，将上述生成的真实驾驶场景的图像数据和Gabor滤波器进行卷积，得到多个不同方向的图像特征，将得到的图像特征输入卷积神经网络中，经过计算后，得到一个新的特征图；利用Q‑Learning算法来训练更新卷积神经网络的网络权重，得到训练模型，从而生成各种天气场景下的路况图像数据。本发明的方法在路试的基础上进一步地提高软件测试充分性，达到提高系统可靠性和安全性的目的。
Description
技术领域
本发明涉及一种基于改进的DQN算法的虚拟自动驾驶测试优化方法，属于自动驾驶技术领域。
背景技术
自动驾驶系统是一个复杂的智能化系统，此类系统的测试与传统汽车系统测试不同，其对汽车的车-人，车-路，车-路-人等耦合系统进行检测；检验在交通环境中汽车的感知能力与应对能力，是自动驾驶汽车的测试重点。
由于自动驾驶系统这类复杂软件系统要处理海量输入的时间相关数据，并同时与其它系统进行交互，受到自动驾驶系统自身操控影响，使此类系统的测试与验证面临极大的挑战。在实际路况下的测试是必须要做的基础测试验证工作，但通过其难以做到充分，除路试道路和环境条件受限外，需要耗费大量人力时间成本，而且对于不同路况、天气、相邻静止和运动实体的复杂环境，特别对一些突发状况难以进行人工设置和复制，导致系统测试与验证不可重复，因此虚拟自动驾驶测试也越来越受到人们的关注。目前人们将深度学习系统测试技术引入到了自动驾驶测试技术中，其中代表性的有DeepTest测试工具。但DeepTest测试用例的生成技术大多都是基于基础的图像变换，如线性变换、仿射变换等，不能准确地合成模拟各种天气场景下的路况图像。
有鉴于此，实有必要开发一种能够准确合成模拟各种天气场景下的路况图像的方法。
发明内容
为了克服现有技术中存在的不足，本发明提供一种基于改进的DQN算法的虚拟自动驾驶测试优化方法，通过引入基于分段的激活函数的改进的深度Q网络(DQN)算法，以解决DeepTest生成测试用例时不能准确地合成模拟各种天气场景下的路况图像的问题。本发明的方法在路试的基础上进一步地提高软件测试充分性，从而达到提高系统可靠性和安全性的目的。
为实现上述目的，本发明采用的技术方案如下：
本发明的一种基于改进的DQN算法的虚拟自动驾驶测试优化方法，包括步骤如下：
步骤1：生成能够激活神经元的测试输入，分析深度神经网络(DNN)逻辑的不同部分，生成真实驾驶场景的图像数据；
步骤2：对卷积神经网络(CNN)的激活函数进行改进，构建一种分段的激活函数，采用构建的分段的激活函数来作为卷积神经网络全连接层的激活函数；
步骤3：采用Gabor滤波器代替卷积神经网络中的可训练的滤波器，将上述步骤1中生成的真实驾驶场景的图像数据和Gabor滤波器进行卷积，得到多个不同方向的图像特征，将得到的图像特征输入卷积神经网络中，经过卷积神经网络卷积、抽样计算后，得到一个新的特征图；通过上述步骤2中构建的分段的激活函数对得到的新的特征图进行映射；再利用Q-Learning算法来训练更新卷积神经网络的网络权重，得到训练模型，从而生成各种天气场景下的路况图像数据。
进一步地，所述步骤1具体包括：DeepTest通过在种子图像上应用不同的图像变换(包括线性变换、仿射变换和卷积变换)合成模拟各种场景下的路况图像，从而激活自动驾驶汽车深度神经网络中的不同神经元集。
进一步地，所述步骤2具体包括：基于改进的深度Q网络(DQN)算法对卷积神经网络的激活函数进行改进，构建一种分段的激活函数。
进一步地，所述卷积神经网络中的激活函数包括饱和非线性激活函数和不饱和非线性激活函数；其中，不饱和非线性激活函数包括ReLU函数和Softplus函数。
ReLU函数有两个很大的优点，一是具有很强的稀疏性，可以有效地避免训练模型过拟合。二是随机梯度下降速度快，在反向传播时能快速收敛。但ReLU也有缺点，它的过分稀疏性往往会舍弃掉一些有用的信息。所以，在神经网络中重新设计一个非饱和修正线性激活函数，使其具备ReLU的优点且弥补其缺点，当输入数据大于0时，保证其具有较快梯度下降速度；当输入数据小于0时，保证其具有较好的稀疏性。构建的分段的激活函数记为Correct-ReLU函数，公式如下：
式中，x为神经元的输入，CR(x)为经激活函数非线性映射后神经元的输出。
所述分段的激活函数Correct-ReLU不仅具有较强的稀疏性而且收敛速度更快，但是如果网络层数较多时，将CNN所有层的激活函数都换成Correct-ReLU，可能会导致输入数据过于稀疏，存在有用信息被丢弃的问题。本发明中的基于构建的分段的激活函数的DQN算法模型，卷积层和子采样层依然选择ReLU作为激活函数，全连接层使用Correct-ReLU作为激活函数。
进一步地，所述步骤3具体包括：将真实驾驶场景的图像数据和Gabor滤波器卷积后得到的特征进行特征融合，利用主成分分析法(PCA)进行降维处理，用降维后得到的特征作为CNN的输入；经过CNN中的卷积层、子采样层和全连接层的卷积、抽样计算后，得到一个新的特征图，通过构建的分段的激活函数对输出结果进行映射；再利用强化学习中的Q-Learning算法来训练更新网络权重，得到训练模型，以实现合成各种天气场景下的路况图像数据。
进一步地，针对复杂环境开展自动驾驶系统软件虚拟测试与验证，具体如下：
利用合成的各种天气场景下的路况图像数据进行测试与验证，车载测试系统在线接收当前态势并进行相似度分析，依据对应测试验证结果给出驾驶策略建议或对未曾有的态势更新存储；另一方面，在离线情况下对新的场景通过采用组合交互测试方法开展仿真测试验证，并适时采用有线或无线通讯方式与实验室测试开发系统交换信息。测试开发系统记录车载测试系统的仿真测试结果及测试验证数据库，对测试结果进行分析并将测试与验证结果传输给车载测试系统，以便在自动驾驶过程中提供安全决策信息。
本发明的有益效果：
本发明提出的优化方法，在路试的基础上进一步地提高软件测试充分性，从而达到提高系统可靠性和安全性的目的。首先沿用DeepTest测试的核心思想，自动地为自动驾驶系统合成大量的真实驾驶场景的图像，然后基于改进的深度Q网络(DQN)算法，先对卷积神经网络(CNN)的激活函数进行改进，考虑ReLU这种激活函数的优缺点，设计并且构造一种分段的激活函数，用改进以后的激活函数来作为CNN全连接层的激活函数。其次用Gabor滤波器代替CNN中原有的可训练的滤波器。将利用DeepTest合成大量的真实驾驶场景的图像和Gabor滤波器进行卷积，得到多个不同方向的特征，把得到的图像特征送入CNN中，经过CNN中的卷积层、子采样层和全连接层的卷积、抽样计算后，得到一个新的特征图，通过构建的分段的激活函数对输出结果进行映射。再利用强化学习中的Q-Learning算法来训练更新网络权重，得到训练模型，以实现合成一些很难由人工采集到的各种天气场景下的路况图像。针对复杂环境下开展虚拟自动驾驶软件测试优化方法，给出了车载和实验室仿真测试与验证系统的组成结构和相关实现方法，以克服在实际路况下测试的局限性。
附图说明
图1为本发明中基于改进激活函数的DQN算法模型示意图；
图2为示例中的自动驾驶系统及虚拟测试验证组成结构示意图。
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
本发明的一种基于改进DQN算法的虚拟自动驾驶测试优化方法，示例中，如图1所示，基于分段的激活函数的深度Q网络算法，包括以下步骤：
步骤S101：DeepTest自动驾驶系统合成大量的真实驾驶场景的图像；
深度神经网络的每一层都由一系列称为神经元的独立计算单元组成。不同层的神经元通过边缘相互连接。每个边缘都有相应的权重。每个神经元对其输入应用一个非线性激活函数，并将输出发送给随后的神经元。DeepTest的思想是通过生成最大化激活神经元数量的测试输入，系统地探索DNN逻辑的不同部分。DeepTest通过生成能最大化激活神经元数量的测试输入，分析DNN逻辑的不同部分，自动地为自动驾驶系统合成大量的真实驾驶场景的图像；
步骤S102：构建分段的激活函数；
CNN中的激活函数可以分为饱和非线性激活函数和不饱和非线性激活函数两类，不饱和非线性激活函数中最常用的是ReLU函数和Softplus函数。
ReLU函数有两个很大的优点，一是具有很强的稀疏性，可以有效地避免训练模型过拟合。二是随机梯度下降速度快，在反向传播时能快速收敛。但ReLU也有缺点，它的过分稀疏性往往会舍弃掉一些有用的信息。所以，在神经网络中重新设计一个非饱和修正线性激活函数，使其具备ReLU的优点且弥补其缺点，当输入数据大于0时，保证其具有较快梯度下降速度；当输入数据小于0时，保证其具有较好的稀疏性。构建的分段的激活函数记为Correct-ReLU函数，公式如下：
式中，x为神经元的输入，CR(x)为经激活函数非线性映射后神经元的输出。
所述分段的激活函数Correct-ReLU不仅具有较强的稀疏性而且收敛速度更快，但是如果网络层数较多时，将CNN所有层的激活函数都换成Correct-ReLU，可能会导致输入数据过于稀疏，存在有用信息被丢弃的问题。示例中提出的基于构建的分段的激活函数的DQN算法模型，卷积层和子采样层依然选择ReLU作为激活函数，全连接层使用Correct-ReLU作为激活函数。
步骤S103：用Gabor滤波器代替CNN中原有的可训练的滤波器；
k帧真实驾驶场景的图像和Gabor滤波器做卷积，得到0°、60°、120°和180°方向梯度的四组特征图X1，X2，X3和X4。将得到的四个方向特征图X1，X2，X3和X4进行特征融合。这里采用串行特征融合，将得到的四组特征图X1，X2，X3和X4首尾相连，串成一个高维的矩阵，然后利用主成分分析法(PCA)进行降维，具体地：计算样本数据的协方差矩阵，并通过计算协方差矩阵的特征值，把特征值按照从大到小排序，计算前ε个特征值对应的特征向量，得到训练样本数据的投影矩阵，通过该矩阵把样本数据映射到低维度空间。最后得到特征图X5。
步骤S104：基于分段的激活函数的DQN算法；
1)将特征图X5和若干个可训练学习的滤波器进行卷积，通过ReLU激活函数映射到卷积层C1的特征图X6；
2)将卷积得到的特征图X6采用均值采样的方式进行抽样，通过ReLU激活函数映射得到子采样层S2的特征图X7；
3)将特征图X7以全连接的方式输出，通过构建的Correct-ReLU激活函数映射得到样本的实际输出Q值，然后根据当前模型的最优方案选择一个动作a；
4)将经验数据(s,a,r,s’)放入历史经验队列并随后从历史经验队列中采样出mini-batch大小的经验样本；
5)步骤S105：利用强化学习中的Q-Learning算法来训练更新卷积神经网络的网络权重；
将上述采样出的经验样本转化为网络训练的元组。DQN中用到了两个CNN，其中一个CNN用来逼近动作值函数Q(s，a|θi)，另一个CNN用来计算目标Q值，目标值网络的输出用Q(s′，a|θ′i)表示，目标Q值通常用如下公式来近似表示：
在迭代了N次后，把实际输出Q值的网络传递给目标值网络，通过最小化实际输出Q值和目标Q值之间的均方误差来更新网络权值，网络权值的更新公式为：
从而利用权值更新公式更新权值得到训练模型，以实现合成一些很难由人工采集到的各种天气场景下的路况图像。
示例中，如图2所示，提供的自动驾驶系统及虚拟测试验证组成结构，包括以下步骤：
步骤S201：利用合成的各种天气场景下的路况图像进行测试与验证，车载测试系统在线接收当前态势并进行相似度分析，依据对应测试验证结果给出驾驶策略建议或对未曾有的态势更新存储；在离线情况下对新的场景通过采用组合交互测试方法开展仿真测试验证，并适时采用有线或无线通讯方式与实验室测试开发系统交换信息。
组合交互测试(Combinatorial Interaction Testing)方法是针对软件系统中多个因素(参数)及它们之间相互作用的情况所采取的一种科学有效的测试方法，旨在使用尽可能少的测试用例达到较高的错误检测效果。
对于一个具有k个参数的待测系统，如果每个参数有n个取值，则完全测试需要n的k次方个测试用例，而采用t维组合测试，即其中任意t个参数的所有取值组合至少被一个测试用例覆盖，也称为t维组合覆盖测试，由此生成的测试用例数比枚举的方法大幅度减少，实践证明其所需要的测试用例数是按照k的对数而不是指数增长。
步骤S202：测试开发系统面向仿真测试开发和测试与验证；
测试开发系统记录车载测试系统的仿真测试结果及测试验证数据库，对测试结果进行分析并将测试与验证结果传输给车载测试系统，以便在自动驾驶过程中提供安全决策信息。
尽管以上本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下，在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。
Claims (6)
1.一种基于改进的DQN算法的虚拟自动驾驶测试优化方法，其特征在于，包括步骤如下：
步骤1：生成能够激活神经元的测试输入，分析深度神经网络逻辑的不同部分，生成真实驾驶场景的图像数据；
步骤2：对卷积神经网络的激活函数进行改进，构建一种分段的激活函数，采用构建的分段的激活函数来作为卷积神经网络全连接层的激活函数；
步骤3：采用Gabor滤波器代替卷积神经网络中的可训练的滤波器，将上述步骤1中生成的真实驾驶场景的图像数据和Gabor滤波器进行卷积，得到多个不同方向的图像特征，将得到的图像特征输入卷积神经网络中，经过计算后，得到一个新的特征图；通过上述步骤2中构建的分段的激活函数对得到的新的特征图进行映射；再利用Q-Learning算法来训练更新卷积神经网络的网络权重，得到训练模型，从而生成各种天气场景下的路况图像数据。
2.根据权利要求1所述的基于改进的DQN算法的虚拟自动驾驶测试优化方法，其特征在于，所述步骤1具体包括：DeepTest通过在种子图像上应用不同的图像变换合成模拟各种场景下的路况图像，从而激活自动驾驶汽车深度神经网络中的不同神经元集。
3.根据权利要求1所述的基于改进的DQN算法的虚拟自动驾驶测试优化方法，其特征在于，所述步骤2具体包括：基于改进的深度Q网络算法对卷积神经网络的激活函数进行改进，构建一种分段的激活函数。
4.根据权利要求3所述的基于改进的DQN算法的虚拟自动驾驶测试优化方法，其特征在于，所述卷积神经网络中的激活函数包括饱和非线性激活函数和不饱和非线性激活函数。
5.根据权利要求1所述的基于改进的DQN算法的虚拟自动驾驶测试优化方法，其特征在于，所述步骤2中构建的分段的激活函数记为Correct-ReLU函数，公式如下：
式中，x为神经元的输入，CR(x)为经激活函数非线性映射后神经元的输出。
6.根据权利要求1所述的基于改进的DQN算法的虚拟自动驾驶测试优化方法，其特征在于，所述步骤3具体包括：将真实驾驶场景的图像数据和Gabor滤波器卷积后得到的特征进行特征融合，利用主成分分析法进行降维处理，用降维后得到的特征作为CNN的输入；经过CNN中的卷积层、子采样层和全连接层的卷积、抽样计算后，得到一个新的特征图，通过构建的分段的激活函数对输出结果进行映射；再利用强化学习中的Q-Learning算法来训练更新网络权重，得到训练模型，以实现合成各种天气场景下的路况图像数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010458203.0A CN111625457A (zh) | 2020-05-27 | 2020-05-27 | 基于改进的dqn算法的虚拟自动驾驶测试优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010458203.0A CN111625457A (zh) | 2020-05-27 | 2020-05-27 | 基于改进的dqn算法的虚拟自动驾驶测试优化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111625457A true CN111625457A (zh) | 2020-09-04 |
Family
ID=72269965
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010458203.0A Pending CN111625457A (zh) | 2020-05-27 | 2020-05-27 | 基于改进的dqn算法的虚拟自动驾驶测试优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111625457A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112606832A (zh) * | 2020-12-18 | 2021-04-06 | 芜湖雄狮汽车科技有限公司 | 一种车辆智能辅助视觉系统 |
| CN112997128A (zh) * | 2021-04-19 | 2021-06-18 | 华为技术有限公司 | 一种自动驾驶场景的生成方法、装置及系统 |
| CN113705776A (zh) * | 2021-08-06 | 2021-11-26 | 山东云海国创云计算装备产业创新中心有限公司 | 一种基于asic实现激活函数的方法、系统、设备和存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109284812A (zh) * | 2018-09-19 | 2019-01-29 | 哈尔滨理工大学 | 一种基于改进dqn的视频游戏模拟方法 |
-
2020
- 2020-05-27 CN CN202010458203.0A patent/CN111625457A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109284812A (zh) * | 2018-09-19 | 2019-01-29 | 哈尔滨理工大学 | 一种基于改进dqn的视频游戏模拟方法 |
Non-Patent Citations (1)
| Title |
|---|
| 许江涛: "基于深度强化学习的视频游戏模拟算法研究" * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112606832A (zh) * | 2020-12-18 | 2021-04-06 | 芜湖雄狮汽车科技有限公司 | 一种车辆智能辅助视觉系统 |
| CN112997128A (zh) * | 2021-04-19 | 2021-06-18 | 华为技术有限公司 | 一种自动驾驶场景的生成方法、装置及系统 |
| CN113705776A (zh) * | 2021-08-06 | 2021-11-26 | 山东云海国创云计算装备产业创新中心有限公司 | 一种基于asic实现激活函数的方法、系统、设备和存储介质 |
| CN113705776B (zh) * | 2021-08-06 | 2023-08-08 | 山东云海国创云计算装备产业创新中心有限公司 | 一种基于asic实现激活函数的方法、系统、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5924085A (en) | Stochastic encoder/decoder/predictor | |
| CN111625457A (zh) | 基于改进的dqn算法的虚拟自动驾驶测试优化方法 | |
| CN109829541A (zh) | 基于学习自动机的深度神经网络增量式训练方法及系统 | |
| US11518382B2 (en) | Learning to simulate | |
| CN112990116B (zh) | 基于多注意力机制融合的行为识别装置、方法和存储介质 | |
| CN112819253A (zh) | 一种无人机避障和路径规划装置及方法 | |
| CN109131348A (zh) | 一种基于生成式对抗网络的智能车驾驶决策方法 | |
| CN112489164B (zh) | 基于改进深度可分离卷积神经网络的图像着色方法 | |
| CN112489497B (zh) | 基于深度卷积神经网络的空域运行复杂度评估方法 | |
| CN109726676B (zh) | 自动驾驶系统的规划方法 | |
| KR20200144398A (ko) | 클래스 증가 학습을 수행하는 장치 및 그의 동작 방법 | |
| CN112580694B (zh) | 基于联合注意力机制的小样本图像目标识别方法及系统 | |
| CN110281949B (zh) | 一种自动驾驶统一分层决策方法 | |
| CN115731441A (zh) | 基于数据跨模态迁移学习的目标检测和姿态估计方法 | |
| Kutyniok | The mathematics of artificial intelligence | |
| CN113706544A (zh) | 一种基于完备注意力卷积神经网络的医学图像分割方法 | |
| Wiggers et al. | Predictive sampling with forecasting autoregressive models | |
| CN116353623A (zh) | 一种基于自监督模仿学习的驾驶控制方法 | |
| Du et al. | Efficient network construction through structural plasticity | |
| CN117351542A (zh) | 一种面部表情识别方法及系统 | |
| CN117217280A (zh) | 神经网络模型优化方法、装置及计算设备 | |
| CN110866866A (zh) | 图像仿色处理方法、装置、电子设备及存储介质 | |
| CN112947466B (zh) | 一种面向自动驾驶的平行规划方法、设备及存储介质 | |
| CN115063374A (zh) | 模型训练、人脸图像质量评分方法、电子设备及存储介质 | |
| CN113066094B (zh) | 一种基于生成对抗网络的地理栅格智能化局部脱敏方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200904 |
|
| RJ01 | Rejection of invention patent application after publication |