CN106295637A - 一种基于深度学习与强化学习的车辆识别方法 - Google Patents
一种基于深度学习与强化学习的车辆识别方法 Download PDFInfo
- Publication number
- CN106295637A CN106295637A CN201610609437.4A CN201610609437A CN106295637A CN 106295637 A CN106295637 A CN 106295637A CN 201610609437 A CN201610609437 A CN 201610609437A CN 106295637 A CN106295637 A CN 106295637A
- Authority
- CN
- China
- Prior art keywords
- sample
- degree
- vehicle
- training
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 68
- 238000013135 deep learning Methods 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 5
- 210000002569 neuron Anatomy 0.000 claims description 4
- 238000009795 derivation Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 210000004205 output neuron Anatomy 0.000 claims description 3
- 238000005498 polishing Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000004422 calculation algorithm Methods 0.000 abstract description 4
- 230000007812 deficiency Effects 0.000 abstract description 3
- 230000001737 promoting effect Effects 0.000 abstract description 2
- 238000010276 construction Methods 0.000 abstract 1
- 238000013528 artificial neural network Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 4
- 238000011478 gradient descent method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- SAZUGELZHZOXHB-UHFFFAOYSA-N acecarbromal Chemical compound CCC(Br)(CC)C(=O)NC(=O)NC(C)=O SAZUGELZHZOXHB-UHFFFAOYSA-N 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习与强化学习的车辆识别方法,在利用深度网络的结构特点上,提供一种深度学习与强化学习结合的方法,将强化学习中的Q‑学习算法应用到深度学习网络中,训练过程仍然使用随机梯度下降算法,提高了深度网络对车辆的识别的能力;其次,加入了基于错分样本学习的强化学习技术,克服了深度学习网络在车辆识别领域现有的技术不足,提升车辆识别性能的同时,也提高了网络的训练效率。
Description
技术领域
本发明属于模式识别技术领域,更为具体地讲,涉及一种基于深度学习与强化学习的车辆识别方法。
背景技术
车辆识别是智能交通领域的一个重要课题,设计一个可靠的车辆识别系统主要难点在于车辆间的差异性。深度学习网络由于模拟人的大脑,相比传统的方法对车辆部分遮挡有更强的识别鲁棒性。
在现有技术中,常用的方法是通过深层结构来提取抽象特征,再通过抽象特征对车辆进行识别。然而在深度学习网络的训练过程中,常常有如下的问题:与训练传统的三层神经网络相比,深度学习网络由于计算量大以及需要更新的参数更多,导致时间成本增加。其次,深度学习网络在输出误差变化不大时,训练过程会变慢,需要时间过长。
本发明针对上述问题,引入强化学习的相关技术,克服这些缺点,实现更快速、更高准确率的车辆识别。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于深度学习与强化学习的车辆识别方法,通过加入基于错分样本学习的强化学习技术,提升车辆识别的性能,同时也加快了网络的训练速度
为实现上述发明目的,本发明一种基于深度学习与强化学习的车辆识别方法,其特征在于,包括以下步骤:
(1)、图像预处理
从车辆样本库中提取车辆图像样本,再将提取的车辆图像样本转换为灰度图,并归一化,再对归一化后的每一幅车辆图像样本添加数值标签,即:不含车辆的图像添加数值“0”、含小汽车的图像添加数值“1”、含卡车的图像添加数值“2”、含大巴车的图像添加数值“3”;
(2)、计算第t个车辆图像样本的期望最大回报值
(2.1)、将第t个车辆图像样本按照原始像素值组成的行向量xt,对应的数值标签表述为at,at∈[0,3];
(2.2)、按照Q-学习理论,计算出第t个车辆图像样本的未来回报rt为:
其中,T是车辆图像样本的总量,γt′-t表示第t个样本对t′个样本的奖励折扣系数;
(2.3)、利用最优动作-值函数Q*(x,a)计算出第t个车辆图像样本的期望最大回报值;
Qt *(xt,at)=maxπE[rt|xt=x,at=a,π]
其中,x泛指车辆图像样本,a泛指数值标签,π是车辆图像样本和数值标签的映射函数,通过选择不同的数值标签at∈a来计算奖励的期望,期望值最大时对应的数值标签即为该车辆图像样本的数值标签;
(3)、构建深度学习网络的权值更新方程
(3.1)、计算第t个车辆图像样本的目标输出yt
其中,θt-1表示第t-1个图像样本时的权值参数,γ为折扣系数;
(3.2)、通过最小化损失函数Lt(θt)来更新深度学习网络的权值参数
其中,ρ(x,a)是图像样本x和标签a的概率分布,E[·]为求期望;
(3.3)、损失函数Lt(θt)对权重θt求导,得到深度学习网络的权值更新方程,并更新权值
其中,表示括号内式子对权重θt的求导数;
(4)、训练深度学习网络
(4.1)、将车辆样本库中的车辆图像样本作为训练样本,将训练样本分为N份,且每一个训练样本均处理成行向量xt,并作为深度学习网络的输入,设置四个输出神经元;
(4.2)、根据先验知识确定出训练样本中车辆类别,再以第一份训练样本的行向量xt为输入,输出分别为“1000”,样本中不含车辆;输出为“0100”,样本中为小汽车;输出为“0010”,样本中为卡车;输出为“0001”,样本中为大巴车;通过权值更新方程调节深度学习网络模型中的权值,第一次训练深度学习网络;
(4.3)、找出第一份训练样本中实际输出与先验知识不同的训练样本,设共找出n个不同的训练样本,再将该n个训练样本分别进行逆时针旋转2°以及加入σ=0.2的高斯噪音;
(4.4)、在第二份训练样本中随机抽取出n个训练样本,并用步骤(4.3)中处理后的n个训练样本补齐到第二份训练样本中,再用新得到的第二份训练样本按照步骤(4.2)所述方法进行第二次深度学习网络的训练;
(4.5)、以此类推,直到第N份训练样本完成深度学习网络的训练,得到最终的深度学习网络;
(5)、利用训练好的深度学习网络来识别车辆
将待检测的车辆样本图像处理成行向量xt,再输入到训练完毕的深度学习网络,根据深度学习网络的输出结果识别出图像中的车辆情况。
本发明的发明目的是这样实现的:
本发明一种基于深度学习与强化学习的车辆识别方法,在利用深度网络的结构特点上,提供一种深度学习与强化学习结合的方法,将强化学习中的Q-学习算法应用到深度学习网络中,训练过程仍然使用随机梯度下降算法,提高了深度网络对车辆的识别的能力;其次,加入了基于错分样本学习的强化学习技术,克服了深度学习网络在车辆识别领域现有的技术不足,提升车辆识别性能的同时,也提高了网络的训练效率。
附图说明
图1是本发明基于深度学习与强化学习的车辆识别方法流程图;
图2是图像预处理好的车辆样本;
图3是深度学习网络的结构模型;
图4是对错分样的处理示意图;
图5是本发明方法与传统三层网络识别效果均方误差对比曲线;
图6是利用本发明进行车辆识别实例图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述,以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是,在以下的描述中,当已知功能和设计的详细描述也许会淡化本发明的主要内容时,这些描述在这里将被忽略。
实施例
图1是本发明基于深度学习与强化学习的车辆识别方法流程图。
在本实施例中,如图1所示,本发明一种基于深度学习与强化学习的车辆识别方法,包括以下步骤:
(1)、图像预处理
在本实施例中,车辆样本库中保存的车辆图像样本主要是使用数码相机以及互联网搜集两种方法得来,采集的车辆图像样本包括多种类型车的不同视角图像,其大小缩放为统一大小28×28。
从车辆样本库中提取的车辆图像样本转换为灰度图,并归一化,再对归一化后的每一幅车辆图像样本添加数值标签,即:不含车辆的图像添加数值“0”、含小汽车的图像添加数值“1”、含卡车的图像添加数值“2”、含大巴车的图像添加数值“3”;
如图2所示,按上述方法处理制作好的车辆图像样本,图中左侧三列表示小汽车、卡车、大巴车的图片;右侧三列是不包含车辆的图片;
(2)、计算第t个车辆图像样本的期望最大回报值
(2.1)、将第t个车辆图像样本按照原始像素值组成的行向量xt,对应的数值标签表述为at,at∈[0,3];
(2.2)、按照Q-学习理论,计算出第t个车辆图像样本的未来回报rt为:
其中,T是车辆图像样本的总量,γt′-t表示第t个样本对t′个样本的奖励折扣系数;
(2.3)、利用最优动作-值函数Q*(x,a)计算出第t个车辆图像样本的期望最大回报值;
其中,x泛指车辆图像样本,a泛指数值标签,π是车辆图像样本和数值标签的映射函数;上面的式子为一个条件期望的计算,在某一图像样本x的条件下,通过选择不同的数值标签at∈a来计算奖励的期望,期望值最大时对应的数值标签即为该车辆图像样本的数值标签;
(3)、构建深度学习网络的权值更新方程
(3.1)、计算第t个车辆图像样本的目标输出yt
其中,θt-1表示第t-1个图像样本时的权值参数,γ为折扣系数;
(3.2)、通过最小化损失函数Lt(θt)来更新深度学习网络的权值参数
其中,ρ(x,a)是图像样本x和标签a的概率分布,E[·]为求期望;
(3.3)、损失函数Lt(θt)对权重θt求导,得到深度学习网络的权值更新方程,并更新权值
其中,表示括号内式子对权重θt的求导数;
根据梯度值使用梯度下降法来更新深度学习网络的权值,而梯度下降法是现有方法,使用的深度网络模型的结构如图3所示,包括输入层、卷积层、采样层、全连接层以及输出层,其中输入层的神经元个数为784个,两个卷积层的特征图数分别是6和50,两个全连接层的神经元个数为100和80,最后面是一个有4个神经元的输出层,分别表示非车、小汽车、卡车、大巴车四类。
在本实施例中,以基于奖励的梯度计算来代替传统的基于误差梯度计算,使得深度学习网络拥有了Q-学习的特性,训练效果得到提升。
(4)、训练深度学习网络
(4.1)、将车辆样本库中的车辆图像样本作为训练样本,将训练样本分为N份,且每一个训练样本均处理成行向量xt,并作为深度学习网络的输入,设置四个输出神经元;
(4.2)、根据先验知识确定出训练样本中车辆类别,再以第一份训练样本的行向量xt为输入,输出分别为“1000”,样本中不含车辆;输出为“0100”,样本中为小汽车;输出为“0010”,样本中为卡车;输出为“0001”,样本中为大巴车;通过权值更新方程调节深度学习网络模型中的权值,第一次训练深度学习网络;
(4.3)、找出第一份训练样本中实际输出与先验知识不同的训练样本,标记为错分样本,设共找出n个错分样本,再将该n个错分样本分别进行逆时针旋转2°以及加入σ=0.2的高斯噪音,处理后的结果如图4所示;
(4.4)、在第二份训练样本中随机抽取出n个训练样本,并用步骤(4.3)中处理后的n个错分样本补齐到第二份训练样本中,再用新得到的第二份训练样本按照步骤(4.2)所述方法进行第二次深度学习网络的训练;
(4.5)、以此类推,直到第N份训练样本完成深度学习网络的训练,得到最终的深度学习网络;
在本实施例中,采用基于错分样本的强化学习训练技术后,使得被错误分类的样本重要性得到提升,对训练后期加快网络收敛速度有帮助,减少训练总长,同时也有益于提高网络的识别性能。
(5)、利用训练好的深度学习网络来识别车辆
将待检测的车辆样本图像处理成行向量xt,再输入到训练完毕的深度学习网络,根据深度学习网络的输出结果识别出图像中的车辆情况。
图5是本发明方法与传统三层网络识别效果均方误差对比曲线。
如图5所示,由图中可以看出传统三层神经网络在训练过程中的均方误差始终要高与本发明的深度神经网络,在迭代次数25000到35000区间,本发明的深度神经网络早已稳定在5.7%,而传统三层神经网络一直在小幅度的波动。反映了两个主要点:首先,本发明的车辆识别性能要好于传统三层神经网络,体现在均方误差低上;其次,本发明的深度神经网络在迭代次数为15000左右便达到5.8%,说明网络训练过程中达到预期误差所需的时间将会大大的减小。本发明的深度神经网络最终在车辆识别上的测试错误率为5.4%%,而传统的三层神经网络测试错误率是10.2%,表明本发明的深度神经网络在车辆识别上效果更好,时间效率更高。其中传统三层神经网络是已有理论,不再详述。
图6是利用本发明进行车辆识别实例图。
在本实施例中,如图6所示,按照本发明所述方法,识别道路中的车辆,判断属于小汽车、卡车、大巴车三类中的哪一类,其识别精准度高达98%,进一步提升车辆识别的性能。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
Claims (2)
1.一种基于深度学习与强化学习的车辆识别方法,其特征在于,包括以下步骤:
(1)、图像预处理
从车辆样本库中提取车辆图像样本,再将提取的车辆图像样本转换为灰度图,并归一化,再对归一化后的每一幅车辆图像样本添加数值标签,即:不含车辆的图像添加数值“0”、含小汽车的图像添加数值“1”、含卡车的图像添加数值“2”、含大巴车的图像添加数值“3”;
(2)、计算第t个车辆图像样本的期望最大回报值
(2.1)、将第t个车辆图像样本按照原始像素值组成的行向量xt,对应的数值标签表述为at,at∈[0,3];
(2.2)、按照Q-学习理论,计算出第t个车辆图像样本的未来回报rt为:
其中,T是车辆图像样本的总量,γt′-t表示第t个样本对t′个样本的奖励折扣系数;
(2.3)、利用最优动作-值函数Q*(x,a)计算出第t个车辆图像样本的期望最大回报值;
Qt *(xt,at)=maxπE[rt|xt=x,at=a,π]
其中,x泛指车辆图像样本,a泛指数值标签,π是车辆图像样本和数值标签的映射函数,通过选择不同的数值标签at∈a来计算奖励的期,期望值最大时对应的数值标签即为该车辆图像样本的数值标签;
(3)、构建深度学习网络的权值更新方程
(3.1)、计算第t个车辆图像样本的目标输出y
其中,θt-1表示第t-1个图像样本时的权值参数,γ为折扣系数;
(3.2)、通过最小化损失函数Lt(θt)来更新深度学习网络的权值参数
其中,ρ(x,a)是图像样本x和标签a的概率分布,E[·]为求期望;
(3.3)、损失函数Lt(θt)对权重θt求导,得到深度学习网络的权值更新方程,并更新权值
其中,表示括号内式子对权重θt的求导数;
(4)、训练深度学习网络
(4.1)、将车辆样本库中的车辆图像样本作为训练样本,将训练样本分为N份,且每一个训练样本均处理成行向量xt,并作为深度学习网络的输入,设置四个输出神经元;
(4.2)、根据先验知识确定出训练样本中车辆类别,再以第一份训练样本的行向量xt为输入,输出分别为“1000”,样本中不含车辆;输出为“0100”,样本中为小汽车;输出为“0010”,样本中为卡车;输出为“0001”,样本中为大巴车;通过权值更新方程调节深度学习网络模型中的权值,第一次训练深度学习网络;
(4.3)、找出第一份训练样本中实际输出与先验知识不同的训练样本,设共找出n个不同的训练样本,再将该n个训练样本分别进行逆时针旋转2°以及加入σ=0.2的高斯噪音;
(4.4)、在第二份训练样本中随机抽取出n个训练样本,并用步骤(4.3)中处理后的n个训练样本补齐到第二份训练样本中,再用新得到的第二份训练样本按照步骤(4.2)所述方法进行第二次深度学习网络的训练;
(4.5)、以此类推,直到第N份训练样本完成深度学习网络的训练,得到最终的深度学习网络;
(5)、利用训练好的深度学习网络来识别车辆
将待检测的车辆样本图像处理成行向量xt,再输入到训练完毕的深度学习网络,根据深度学习网络的输出结果识别出图像中的车辆情况。
2.基于深度学习与强化学习的车辆识别方法,其特征在于,所述步骤(4)中,深度网络输出层的神经元个数可以根据识别的车型类别设置更多。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610609437.4A CN106295637B (zh) | 2016-07-29 | 2016-07-29 | 一种基于深度学习与强化学习的车辆识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610609437.4A CN106295637B (zh) | 2016-07-29 | 2016-07-29 | 一种基于深度学习与强化学习的车辆识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106295637A true CN106295637A (zh) | 2017-01-04 |
CN106295637B CN106295637B (zh) | 2019-05-03 |
Family
ID=57663019
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610609437.4A Expired - Fee Related CN106295637B (zh) | 2016-07-29 | 2016-07-29 | 一种基于深度学习与强化学习的车辆识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106295637B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107169567A (zh) * | 2017-03-30 | 2017-09-15 | 深圳先进技术研究院 | 一种用于车辆自动驾驶的决策网络模型的生成方法及装置 |
CN107862333A (zh) * | 2017-11-06 | 2018-03-30 | 哈尔滨工程大学 | 一种在复杂环境下判断物体燃烧区域的方法 |
CN108090443A (zh) * | 2017-12-15 | 2018-05-29 | 华南理工大学 | 基于深度强化学习的场景文本检测方法及系统 |
CN108364269A (zh) * | 2018-03-08 | 2018-08-03 | 深圳市唯特视科技有限公司 | 一种基于强化学习框架的白盒照片后期处理方法 |
CN108764006A (zh) * | 2018-02-05 | 2018-11-06 | 北京航空航天大学 | 一种基于深度强化学习的sar图像目标检测方法 |
CN109389142A (zh) * | 2017-08-08 | 2019-02-26 | 上海为森车载传感技术有限公司 | 分类器训练方法 |
CN109636432A (zh) * | 2018-09-28 | 2019-04-16 | 阿里巴巴集团控股有限公司 | 计算机执行的项目选择方法和装置 |
CN109658688A (zh) * | 2017-10-11 | 2019-04-19 | 深圳市哈工大交通电子技术有限公司 | 基于深度学习的路口交通流的检测方法及装置 |
WO2019140767A1 (zh) * | 2018-01-18 | 2019-07-25 | 苏州大学张家港工业技术研究院 | 安检识别系统及其控制方法 |
CN110348355A (zh) * | 2019-07-02 | 2019-10-18 | 南京信息工程大学 | 基于强化学习的车型识别方法 |
CN110533031A (zh) * | 2019-08-21 | 2019-12-03 | 成都电科慧安科技有限公司 | 一种目标检测识别与定位的方法 |
CN110580290A (zh) * | 2019-09-12 | 2019-12-17 | 北京小米智能科技有限公司 | 用于文本分类的训练集的优化方法及装置 |
CN111985605A (zh) * | 2019-05-21 | 2020-11-24 | 富士通株式会社 | 信息处理装置、控制方法和存储信息处理程序的存储介质 |
CN113781190A (zh) * | 2021-01-13 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 账单数据的处理方法、系统、计算机系统和介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102402712A (zh) * | 2011-08-31 | 2012-04-04 | 山东大学 | 基于神经网络的机器人强化学习初始化方法 |
CN105072671A (zh) * | 2015-06-30 | 2015-11-18 | 国网山东省电力公司潍坊供电公司 | 一种高级量测体系网络中传感器节点的自适应调度方法 |
CN105637540A (zh) * | 2013-10-08 | 2016-06-01 | 谷歌公司 | 用于强化学习的方法和设备 |
CN105654066A (zh) * | 2016-02-02 | 2016-06-08 | 北京格灵深瞳信息技术有限公司 | 一种车辆识别方法及装置 |
CN105678275A (zh) * | 2016-01-15 | 2016-06-15 | 苏州大学 | 车辆识别方法 |
-
2016
- 2016-07-29 CN CN201610609437.4A patent/CN106295637B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102402712A (zh) * | 2011-08-31 | 2012-04-04 | 山东大学 | 基于神经网络的机器人强化学习初始化方法 |
CN105637540A (zh) * | 2013-10-08 | 2016-06-01 | 谷歌公司 | 用于强化学习的方法和设备 |
CN105072671A (zh) * | 2015-06-30 | 2015-11-18 | 国网山东省电力公司潍坊供电公司 | 一种高级量测体系网络中传感器节点的自适应调度方法 |
CN105678275A (zh) * | 2016-01-15 | 2016-06-15 | 苏州大学 | 车辆识别方法 |
CN105654066A (zh) * | 2016-02-02 | 2016-06-08 | 北京格灵深瞳信息技术有限公司 | 一种车辆识别方法及装置 |
Non-Patent Citations (3)
Title |
---|
LI LI,ET AL.: "Traffic signal timing via deep reinforcement learning", 《IEEE/CAA JOURNAL OF AUTOMATICA SINICA》 * |
V. MNIH, ET AL.: "Playing Atari with Deep", 《EPRINT ARXIV》 * |
邱立威: "深度强化学习在视频游戏中的应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107169567B (zh) * | 2017-03-30 | 2020-04-07 | 深圳先进技术研究院 | 一种用于车辆自动驾驶的决策网络模型的生成方法及装置 |
CN107169567A (zh) * | 2017-03-30 | 2017-09-15 | 深圳先进技术研究院 | 一种用于车辆自动驾驶的决策网络模型的生成方法及装置 |
CN109389142A (zh) * | 2017-08-08 | 2019-02-26 | 上海为森车载传感技术有限公司 | 分类器训练方法 |
CN109389136A (zh) * | 2017-08-08 | 2019-02-26 | 上海为森车载传感技术有限公司 | 分类器训练方法 |
CN109658688A (zh) * | 2017-10-11 | 2019-04-19 | 深圳市哈工大交通电子技术有限公司 | 基于深度学习的路口交通流的检测方法及装置 |
CN107862333A (zh) * | 2017-11-06 | 2018-03-30 | 哈尔滨工程大学 | 一种在复杂环境下判断物体燃烧区域的方法 |
CN108090443A (zh) * | 2017-12-15 | 2018-05-29 | 华南理工大学 | 基于深度强化学习的场景文本检测方法及系统 |
CN108090443B (zh) * | 2017-12-15 | 2020-09-22 | 华南理工大学 | 基于深度强化学习的场景文本检测方法及系统 |
WO2019140767A1 (zh) * | 2018-01-18 | 2019-07-25 | 苏州大学张家港工业技术研究院 | 安检识别系统及其控制方法 |
US11574152B2 (en) | 2018-01-18 | 2023-02-07 | Polixir Technology Co., Ltd. | Recognition system for security check and control method thereof |
CN108764006B (zh) * | 2018-02-05 | 2021-11-02 | 北京航空航天大学 | 一种基于深度强化学习的sar图像目标检测方法 |
CN108764006A (zh) * | 2018-02-05 | 2018-11-06 | 北京航空航天大学 | 一种基于深度强化学习的sar图像目标检测方法 |
CN108364269A (zh) * | 2018-03-08 | 2018-08-03 | 深圳市唯特视科技有限公司 | 一种基于强化学习框架的白盒照片后期处理方法 |
CN109636432A (zh) * | 2018-09-28 | 2019-04-16 | 阿里巴巴集团控股有限公司 | 计算机执行的项目选择方法和装置 |
CN109636432B (zh) * | 2018-09-28 | 2023-05-30 | 创新先进技术有限公司 | 计算机执行的项目选择方法和装置 |
CN111985605A (zh) * | 2019-05-21 | 2020-11-24 | 富士通株式会社 | 信息处理装置、控制方法和存储信息处理程序的存储介质 |
CN110348355A (zh) * | 2019-07-02 | 2019-10-18 | 南京信息工程大学 | 基于强化学习的车型识别方法 |
CN110533031A (zh) * | 2019-08-21 | 2019-12-03 | 成都电科慧安科技有限公司 | 一种目标检测识别与定位的方法 |
CN110580290A (zh) * | 2019-09-12 | 2019-12-17 | 北京小米智能科技有限公司 | 用于文本分类的训练集的优化方法及装置 |
US11507882B2 (en) | 2019-09-12 | 2022-11-22 | Beijing Xiaomi Intelligent Technology Co., Ltd. | Method and device for optimizing training set for text classification and storage medium |
CN110580290B (zh) * | 2019-09-12 | 2022-12-13 | 北京小米智能科技有限公司 | 用于文本分类的训练集的优化方法及装置 |
CN113781190A (zh) * | 2021-01-13 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 账单数据的处理方法、系统、计算机系统和介质 |
Also Published As
Publication number | Publication date |
---|---|
CN106295637B (zh) | 2019-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106295637A (zh) | 一种基于深度学习与强化学习的车辆识别方法 | |
CN110135314B (zh) | 一种基于深度轨迹预测的多目标跟踪方法 | |
CN108053419B (zh) | 基于背景抑制和前景抗干扰的多尺度目标跟踪方法 | |
CN104318258B (zh) | 一种基于时域模糊和卡尔曼滤波器的车道线检测方法 | |
CN108647585A (zh) | 一种基于多尺度循环注意力网络的交通标识符检测方法 | |
CN107506761A (zh) | 基于显著性学习卷积神经网络的脑部图像分割方法及系统 | |
CN107154024A (zh) | 基于深度特征核相关滤波器的尺度自适应目标跟踪方法 | |
CN107679462A (zh) | 一种基于小波的深度多特征融合分类方法 | |
CN106250931A (zh) | 一种基于随机卷积神经网络的高分辨率图像场景分类方法 | |
CN107274416A (zh) | 基于光谱梯度与层次结构的高光谱图像显著性目标检测方法 | |
CN113763441B (zh) | 无监督学习的医学图像配准方法及系统 | |
CN102651132A (zh) | 一种基于交叉视觉皮质模型的医学图像配准方法 | |
CN107680109A (zh) | 一种引用逆注意力与像素相似度学习的图像语义分割方法 | |
CN110956119B (zh) | 一种图像中目标检测的方法 | |
CN112529065B (zh) | 一种基于特征对齐和关键点辅助激励的目标检测方法 | |
CN107463881A (zh) | 一种基于深度增强学习的人物图像搜索方法 | |
CN104899892A (zh) | 一种快速的星图图像星点提取方法 | |
CN105374047A (zh) | 基于改进的双边滤波与聚类的sar图像变化检测方法 | |
CN115810149A (zh) | 基于超像素与图卷积的高分辨率遥感图像建筑物提取方法 | |
CN110349176B (zh) | 基于三重卷积网络和感知干扰学习的目标跟踪方法和系统 | |
CN110706253B (zh) | 基于表观特征和深度特征的目标跟踪方法、系统、装置 | |
CN110135435B (zh) | 一种基于广度学习系统的显著性检测方法及装置 | |
CN105631405A (zh) | 基于多级分块的交通视频智能识别背景建模方法 | |
CN103207997B (zh) | 一种基于核密度估计的车牌字符分割方法 | |
CN112489073B (zh) | 基于帧间高级特征差分的零样本视频前景分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190503 |
|
CF01 | Termination of patent right due to non-payment of annual fee |