CN105035085B - 自动跟车方法及装置 - Google Patents
自动跟车方法及装置 Download PDFInfo
- Publication number
- CN105035085B CN105035085B CN201510466748.5A CN201510466748A CN105035085B CN 105035085 B CN105035085 B CN 105035085B CN 201510466748 A CN201510466748 A CN 201510466748A CN 105035085 B CN105035085 B CN 105035085B
- Authority
- CN
- China
- Prior art keywords
- action
- car
- hidden layer
- control parameter
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000009471 action Effects 0.000 claims abstract description 254
- 230000002708 enhancing effect Effects 0.000 claims abstract description 26
- 238000005728 strengthening Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 65
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract 1
- 238000011217 control strategy Methods 0.000 description 19
- 230000003044 adaptive effect Effects 0.000 description 9
- 238000013461 design Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000001965 increasing effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000007935 neutral effect Effects 0.000 description 5
- 241000208340 Araliaceae Species 0.000 description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 235000008434 ginseng Nutrition 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
- B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
- B60W30/165—Automatically following the path of a preceding lead vehicle, e.g. "electronic tow-bar"
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4041—Position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/801—Lateral distance
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
本发明公开了一种自动跟车方法及装置，属于汽车主动安全领域。该方法包括：检测本车的行驶参数，所述行驶参数包括本车与前车的跟车距离、本车与所述前车的行驶方向夹角；根据所述行驶参数通过增强学习法确定第一动作控制参数，所述第一动作控制参数包括油门或刹车的参考力度值、方向盘旋转的参考方向和参考角度值，所述增强学习法表示本车通过学习选择的方式获得用于自动跟车的参考动作；根据所述第一动作控制参数控制本车完成自动跟车动作。本发明解决了车辆在跟车过程中稳定性较差，可靠性较低的问题，实现了提高稳定性和可靠性的效果，用于控制车辆自动跟车。
Description
技术领域
本发明涉及汽车主动安全领域，特别涉及一种自动跟车方法及装置。
背景技术
随着汽车工业的快速发展和人们生活水平的不断提高，汽车已快速进入普通家庭。由于道路上行驶的车辆越来越多，交通拥堵现象日益严重。在长时间拥堵的情况下，车辆行驶非常缓慢，车辆在停和走两个状态之间不断切换，这时就需要驾驶员高度注意本车与前车之间的距离，这样一来，驾驶员容易处于疲劳驾驶状态，易发生交通事故。作为汽车安全辅助系统的关键技术之一，自动跟车方法得到了广泛关注。
相关技术中，自动跟车方法采用摄像头检测车道线，并检测本车与前车的距离、本车与前车的横向偏移量，再根据跟车距离和横向偏移量确定本车与前车的行驶方向夹角，最后通过相应的控制算法控制本车与前车的距离、本车与前车的行驶方向夹角，使本车自动跟随前车行驶。具体过程为：人为设定一个跟车距离和一个跟车夹角，在行驶过程中，当本车与前车的距离小于该跟车距离时，控制本车执行减速动作；当本车与前车的距离大于该跟车距离时，控制本车执行加速动作；当本车与前车的夹角大于该跟车夹角时，根据该跟车夹角对夹角进行调整，控制本车行驶在前车的正后方向。
由于上述自动跟车方法是人为设定的跟车距离和跟车夹角，所以当前车出现加速或减速现象，本车可能根据跟车距离刚执行完减速动作，又得执行加速动作，本车在跟车过程中，易出现颠簸、震荡、急刹、偏离车道等现象，因此，稳定性较差，可靠性较低。
发明内容
为了解决车辆在跟车过程中稳定性较差，可靠性较低的问题，本发明提供了一种自动跟车方法及装置。所述技术方案如下：
第一方面，提供了一种自动跟车方法，所述方法包括：
检测本车的行驶参数，所述行驶参数包括本车与前车的跟车距离、本车与所述前车的行驶方向夹角；
根据所述行驶参数通过增强学习法确定第一动作控制参数，所述第一动作控制参数包括油门或刹车的参考力度值、方向盘旋转的参考方向和参考角度值，所述增强学习法表示本车通过学习选择的方式获得用于自动跟车的参考动作；
根据所述第一动作控制参数控制本车完成自动跟车动作。
可选的，所述根据所述行驶参数通过增强学习法确定第一动作控制参数，包括：
根据所述行驶参数确定本车的第二动作控制参数，所述第二动作控制参数包括油门或刹车的初始力度值、方向盘旋转的初始方向和初始角度值；
对所述第二动作控制参数进行实时评估，确定所述第一动作控制参数。
可选的，所述根据所述行驶参数确定本车的第二动作控制参数，包括：
将向动作网络输入所述行驶参数后，所述动作网络输出的参数确定为本车的第二动作控制参数，所述动作网络为包含隐藏层的多输入多输出非线性神经网络；
所述对所述第二动作控制参数进行实时评估，确定所述第一动作控制参数，包括：
采用评价网络对所述第二动作控制参数进行实时评估，确定所述第一动作控制参数，所述评价网络为包含隐藏层的多输入多输出非线性神经网络。
可选的，所述将向动作网络输入所述行驶参数后，所述动作网络输出的参数确定为本车的第二动作控制参数，包括：
向所述动作网络输入所述行驶参数；
根据所述行驶参数和第一隐藏层输入层权值确定第一隐藏层输入信号；
根据所述第一隐藏层输入信号确定第一隐藏层输出信号；
根据所述第一隐藏层输出信号和第一隐藏层输出层权值确定所述动作网络的输出层的输入信号；
根据所述动作网络的输出层的输入信号确定所述动作网络的输出参数；
将所述动作网络的输出参数确定为所述第二动作控制参数。
可选的，所述采用评价网络对所述第二动作控制参数进行实时评估，确定所述第一动作控制参数，包括：
根据所述行驶参数、第二动作控制参数、第二隐藏层输入层权值确定第二隐藏层输入信号；
根据所述第二隐藏层输入信号确定第二隐藏层输出信号；
根据所述第二隐藏层输出信号和第二隐藏层输出层权值确定第一代价函数，所述第一代价函数表示本车根据所述第二动作控制参数完成自动跟车动作付出的代价；
根据所述第一代价函数和增强信号，调整所述第二隐藏层输入层权值和所述第二隐藏层输出层权值，确定第二代价函数，所述增强信号为本车距离所述前车的可靠程度；
根据所述第二代价函数和效用函数调整所述动作网络的第一隐藏层输入层权值和第一隐藏层输出层权值，所述效用函数表示所述行驶参数与所述第二动作控制参数的关系；
根据调整后的所述动作网络的第一隐藏层输入层权值和第一隐藏层输出层权值将所述动作网络输出的参数确定为所述第一动作控制参数。
第二方面，提供了一种自动跟车装置，所述装置包括：
检测单元，用于检测本车的行驶参数，所述行驶参数包括本车与前车的跟车距离、本车与所述前车的行驶方向夹角；
确定单元，用于根据所述行驶参数通过增强学习法确定第一动作控制参数，所述第一动作控制参数包括油门或刹车的参考力度值、方向盘旋转的参考方向和参考角度值，所述增强学习法表示本车通过学习选择的方式获得用于自动跟车的参考动作；
控制单元，用于根据所述第一动作控制参数控制本车完成自动跟车动作。
可选的，所述确定单元，包括：
第一确定模块，用于根据所述行驶参数确定本车的第二动作控制参数，所述第二动作控制参数包括油门或刹车的初始力度值、方向盘旋转的初始方向和初始角度值；
第二确定模块，用于对所述第二动作控制参数进行实时评估，确定所述第一动作控制参数。
可选的，所述第一确定模块，包括：
第一确定子模块，用于将向动作网络输入所述行驶参数后，所述动作网络输出的参数确定为本车的第二动作控制参数，所述动作网络为包含隐藏层的多输入多输出非线性神经网络；
所述第二确定模块，包括：
第二确定子模块，用于采用评价网络对所述第二动作控制参数进行实时评估，确定所述第一动作控制参数，所述评价网络为包含隐藏层的多输入多输出非线性神经网络。
可选的，所述第一确定子模块，用于：
向所述动作网络输入所述行驶参数；
根据所述行驶参数和第一隐藏层输入层权值确定第一隐藏层输入信号；
根据所述第一隐藏层输入信号确定第一隐藏层输出信号；
根据所述第一隐藏层输出信号和第一隐藏层输出层权值确定所述动作网络的输出层的输入信号；
根据所述动作网络的输出层的输入信号确定所述动作网络的输出参数；
将所述动作网络的输出参数确定为所述第二动作控制参数。
可选的，所述第二确定子模块，用于：
根据所述行驶参数、第二动作控制参数、第二隐藏层输入层权值确定第二隐藏层输入信号；
根据所述第二隐藏层输入信号确定第二隐藏层输出信号；
根据所述第二隐藏层输出信号和第二隐藏层输出层权值确定第一代价函数，所述第一代价函数表示本车根据所述第二动作控制参数完成自动跟车动作付出的代价；
根据所述第一代价函数和增强信号，调整所述第二隐藏层输入层权值和所述第二隐藏层输出层权值，确定第二代价函数，所述增强信号为本车距离所述前车的可靠程度；
根据所述第二代价函数和效用函数调整所述动作网络的第一隐藏层输入层权值和第一隐藏层输出层权值，所述效用函数表示所述行驶参数与所述第二动作控制参数的关系；
根据调整后的所述动作网络的第一隐藏层输入层权值和第一隐藏层输出层权值将所述动作网络输出的参数确定为所述第一动作控制参数。
本发明提供了一种自动跟车方法及装置，能够根据本车的行驶参数通过增强学习法确定第一动作控制参数，进而根据第一动作控制参数控制本车完成自动跟车动作，相较于相关技术，本车在跟车过程中不易出现颠簸、震荡、急刹、偏离车道等现象，提高了自动跟车的稳定性和可靠性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种自动跟车方法的流程图；
图2-1是本发明实施例提供的一种自动跟车方法的流程图；
图2-2是本发明实施例提供的一种车辆行驶的环境示意图；
图2-3是本发明实施例提供的一种自适应跟车控制决策系统的示意图；
图2-4是本发明实施例提供的一种确定第一动作控制参数的流程图；
图2-5是本发明实施例提供的一种动作网络非线性神经网络设计原理图；
图2-6是本发明实施例提供的一种确定为本车的第二动作控制参数的流程图；
图2-7是本发明实施例提供的一种评价网络非线性神经网络设计原理图；
图2-8是本发明实施例提供的一种确定第一动作控制参数的流程图；
图2-9是本发明实施例提供的一种对输出参数进行归一化处理后的效果图；
图2-10是本发明实施例提供的一种自动跟车的自适应评价设计结构示意图；
图3-1是本发明实施例提供的一种自动跟车装置的结构示意图；
图3-2是本发明实施例提供的一种确定单元的结构示意图；
图3-3是本发明实施例提供的一种第一确定模块的结构示意图；
图3-4是本发明实施例提供的一种第二确定模块的结构示意图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例提供了一种自动跟车方法，如图1所示，该方法可以包括：
步骤101、检测本车的行驶参数，该行驶参数包括本车与前车的跟车距离、本车与前车的行驶方向夹角。
步骤102、根据行驶参数通过增强学习法确定第一动作控制参数，该第一动作控制参数包括油门或刹车的参考力度值、方向盘旋转的参考方向和参考角度值，该增强学习法表示本车通过学习选择的方式获得用于自动跟车的参考动作。
步骤103、根据第一动作控制参数控制本车完成自动跟车动作。
综上所述，本发明实施例提供的自动跟车方法，能够根据本车的行驶参数通过增强学习法确定第一动作控制参数，进而根据第一动作控制参数控制本车完成自动跟车动作，相较于相关技术，本车在跟车过程中不易出现颠簸、震荡、急刹、偏离车道等现象，提高了自动跟车的稳定性和可靠性。
可选的，步骤102包括：根据行驶参数确定本车的第二动作控制参数，该第二动作控制参数包括油门或刹车的初始力度值、方向盘旋转的初始方向和初始角度值；对第二动作控制参数进行实时评估，确定第一动作控制参数。
其中，根据行驶参数确定本车的第二动作控制参数，包括：
将向动作网络输入行驶参数后，动作网络输出的参数确定为本车的第二动作控制参数，该动作网络为包含隐藏层的多输入多输出非线性神经网络；
对第二动作控制参数进行实时评估，确定第一动作控制参数，包括：
采用评价网络对第二动作控制参数进行实时评估，确定第一动作控制参数，该评价网络为包含隐藏层的多输入多输出非线性神经网络。
进一步的，将向动作网络输入行驶参数后，动作网络输出的参数确定为本车的第二动作控制参数，包括：
向动作网络输入行驶参数；
根据行驶参数和第一隐藏层输入层权值确定第一隐藏层输入信号；
根据第一隐藏层输入信号确定第一隐藏层输出信号；
根据第一隐藏层输出信号和第一隐藏层输出层权值确定动作网络的输出层的输入信号；
根据动作网络的输出层的输入信号确定动作网络的输出参数；
将动作网络的输出参数确定为第二动作控制参数。
采用评价网络对第二动作控制参数进行实时评估，确定第一动作控制参数，包括：
根据行驶参数、第二动作控制参数、第二隐藏层输入层权值确定第二隐藏层输入信号；
根据第二隐藏层输入信号确定第二隐藏层输出信号；
根据第二隐藏层输出信号和第二隐藏层输出层权值确定第一代价函数，第一代价函数表示本车根据第二动作控制参数完成自动跟车动作付出的代价；
根据第一代价函数和增强信号，调整第二隐藏层输入层权值和第二隐藏层输出层权值，确定第二代价函数，增强信号为本车距离前车的可靠程度；
根据第二代价函数和效用函数调整动作网络的第一隐藏层输入层权值和第一隐藏层输出层权值，该效用函数表示行驶参数与第二动作控制参数的关系；
根据调整后的动作网络的第一隐藏层输入层权值和第一隐藏层输出层权值将动作网络输出的参数确定为第一动作控制参数。
综上所述，本发明实施例提供的自动跟车方法，能够根据本车的行驶参数通过增强学习法确定第一动作控制参数，进而根据第一动作控制参数控制本车完成自动跟车动作，相较于相关技术，本车在跟车过程中不易出现颠簸、震荡、急刹、偏离车道等现象，提高了自动跟车的稳定性和可靠性。
本发明实施例提供了一种自动跟车方法，如图2-1所示，该方法可以包括：
步骤201、检测本车的行驶参数。
该行驶参数包括本车与前车的跟车距离、本车与前车的行驶方向夹角。检测本车与前车的跟车距离和横向距离可以通过摄像机、毫米波雷达、激光雷达等传感器来实现。将检测到的数据通过图像处理技术转换为自适应跟车控制决策系统相应的输入参数。本发明是实施例中的本车可以为智能车。
本车可以为智能车。示例的，图2-2示出了本车行驶的环境示意图，可以将D(t)设置为当前时刻本车与前车的跟车距离，将L(t)设置为本车与前车的横向偏移量，将θ(t)设置为本车与前车的行驶方向夹角。自适应跟车控制决策系统的两个输入参数为x1(t)和x2(t)，其中，x1(t)＝D(t)，x2(t)＝θ(t)，其中，L(t)的正负可以表示本车相对于前车是偏左行驶还是偏右行驶，如当L(t)大于0时，可以表示本车相对于前车是偏左行驶，当L(t)小于0时，可以表示本车相对于前车是偏右行驶。相应的，θ(t)的正负可以表示前车相对于本车的方位，如当θ(t)大于0时，可以表示前车行驶于本车的右前方，当θ(t)小于0时，可以表示前车行驶于本车的左前方。
步骤202、根据行驶参数通过增强学习法确定第一动作控制参数。
该第一动作控制参数包括油门或刹车的参考力度值、方向盘旋转的参考方向和参考角度值，该增强学习法表示本车通过学习选择的方式获得用于自动跟车的参考动作。将行驶参数输入到自适应跟车控制决策系统之后，通过两个神经网络对行驶参数进行处理，这两个神经网络包括动作网络和评价网络，如图2-3所示，图2-3中动作网络用于提供控制策略U(t)，评价网络用于采用输出的代价函数J(t)，对动作网络输出的控制策略进行实时评估。动作网络和评价网络为包含隐藏层的多输入多输出非线性神经网络，两个神经网络均采用非线性多层感知机结构的正向输送网络。图2-3中的X(t)和X(t+1)为系统的输入量，R(t)为增强信号，Uc(t)为效用函数，表示输入量与控制策略U(t)的关系，α为折算因子，用于表示后一状态对前一状态的影响程度，J(t-1)-R(t)表示代价函数与增强信号值的差值。
具体的，步骤202如图2-4所示，包括：
步骤2021、根据行驶参数确定本车的第二动作控制参数。
具体的，步骤2021包括：将向动作网络输入行驶参数后，动作网络输出的参数确定为本车的第二动作控制参数。
图2-5示出了基于多输入的动作网络非线性神经网络设计原理图，如图2-5所示，x1，x2，…xn为动作网络的输入参数即行驶参数，u1，u2，…un为动作网络的输出参数，也就是控制策略U(t)，隐藏层采用先加权再归一化处理的运算方式，归一化处理可以采用sigmoid函数来实现，为第一隐藏层输入层权值，为第一隐藏层输出层权值，v为输出层的输入信号，gi为动作网络第i个隐藏层输出信号即第一隐藏层输出信号，hi为动作网络第i个隐藏层输入信号即第一隐藏层输入信号，Nah为动作网络隐藏层数目。
进一步的，将向动作网络输入行驶参数后，动作网络输出的参数确定为本车的第二动作控制参数，如图2-6所示，包括：
步骤2021a、向动作网络输入行驶参数。
向动作网络输入步骤201中的本车与前车的跟车距离D(t)、本车与前车的行驶方向夹角θ(t)。
步骤2021b、根据行驶参数和第一隐藏层输入层权值确定第一隐藏层输入信号。
确定第一隐藏层输入信号hi(t)的计算公式为：
其中，xj(t)为跟车距离D(t)和行驶方向夹角θ(t)，为第一隐藏层输入层权值。
步骤2021c、根据第一隐藏层输入信号确定第一隐藏层输出信号。
确定第一隐藏层输出信号gi(t)的计算公式为：
其中，hi(t)为第一隐藏层输入信号。
步骤2021d、根据第一隐藏层输出信号和第一隐藏层输出层权值确定动作网络的输出层的输入信号。
确定动作网络的输出层的输入信号v(t)的计算公式为：
其中，为第一隐藏层输出层权值，gi(t)为第一隐藏层输出信号。
步骤2021e、根据动作网络的输出层的输入信号确定动作网络的输出参数。
确定动作网络的输出参数u(t)的计算公式为：
其中，v(t)为动作网络的输出层的输入信号。
步骤2021f、将动作网络的输出参数确定为第二动作控制参数。
将步骤2021e中确定的动作网络的输出参数u(t)确定为第二动作控制参数。
示例的，第二动作控制参数包括油门或刹车的初始力度值、方向盘旋转的初始方向和初始角度值。
步骤2022、对第二动作控制参数进行实时评估，确定第一动作控制参数。
具体的，步骤2022包括：采用评价网络对第二动作控制参数进行实时评估，确定第一动作控制参数。
图2-7示出了基于多输入的评价网络非线性神经网络设计原理图，如图2-7所示，x1，x2，…xn为动作网络的输入参数，u1，u2，…un为动作网络的输出参数，也就是控制策略U(t)，隐藏层采用先加权再归一化处理运算方式，归一化处理可以采用sigmoid函数来实现，为第二隐藏层输入层权值，为第二隐藏层输出层权值，J为评价网络输出的代价函数即第一代价函数，第一代价函数表示本车根据第二动作控制参数完成自动跟车动作付出的代价。qi为评价网络第i个隐藏层输入信号即第二隐藏层输入信号，pi为评价网络第i个隐藏层输出信号即第二隐藏层输出信号，Nch为评价网络隐藏层数目。
具体的，采用评价网络对第二动作控制参数进行实时评估，确定第一动作控制参数如图2-8所示，包括：
步骤2022a、根据行驶参数、第二动作控制参数、第二隐藏层输入层权值确定第二隐藏层输入信号。
确定第二隐藏层输入信号qi(t)的计算公式为：
其中，为第j个输入参数到第i个隐藏层结点的权值，xj(t)为跟车距离D(t)和行驶方向夹角θ(t)，uj-n(t)为第j-n个动作网络的输出参数，J(t)为预设的第一代价函数，为代价函数J(t)的系数。
步骤2022b、根据第二隐藏层输入信号确定第二隐藏层输出信号。
确定第二隐藏层输出信号pi(t)的计算公式为：
其中，qi(t)为第二隐藏层输入信号。
步骤2022c、根据第二隐藏层输出信号和第二隐藏层输出层权值确定第一代价函数。
确定第一代价函数J(t)的计算公式为：
其中，pi(t)为第二隐藏层输出信号，为第二隐藏层输出层权值。
步骤2022d、根据第一代价函数和增强信号，调整第二隐藏层输入层权值和第二隐藏层输出层权值，确定第二代价函数。
增强信号为本车距离前车的可靠程度。由于第二隐藏层输入层权值和第二隐藏层输出层权值是预先随机设置的，如果评价网络直接采用由这些随机设置的权值产生的代价函数来评价动作网络输出的控制策略，无法得到最优的控制策略，因此，可以计算第一代价函数的最小值等于增强信号的最大值时的第二隐藏层输入层权值和第二隐藏层输出层权值进而利用梯度下降法得到用于评价控制策略的第二代价函数。
步骤2022e、根据第二代价函数和效用函数调整动作网络的第一隐藏层输入层权值和第一隐藏层输出层权值。
效用函数Uc(t)表示行驶参数与第二动作控制参数的关系。如果第二代价函数与效用函数的差值最小，则动作网络得到的控制策略最优。得到了用于评价控制策略的第二代价函数之后，可以计算第二代价函数与效用函数Uc(t)的差值最小时的动作网络的第一隐藏层输入层权值和第一隐藏层输出层权值
步骤2022f、根据调整后的动作网络的第一隐藏层输入层权值和第一隐藏层输出层权值将动作网络输出的参数确定为第一动作控制参数。
确定了动作网络的第一隐藏层输入层权值和第一隐藏层输出层权值之后，即可根据动作网络的输入参数确定最优的控制策略，包括油门或刹车的参考力度值、方向盘旋转的参考方向和参考角度值。
步骤203、根据第一动作控制参数控制本车完成自动跟车动作。
根据油门或刹车的参考力度值、方向盘旋转的参考方向和参考角度值，控制本车完成自动跟车动作。
为了便于系统计算，可以将自适应跟车控制决策系统的输出参数采用sigmoid函数进行归一化处理之后表示出来。图2-9示出了输出参数进行归一化处理后的效果图，如图2-9所示，输出参数u(t)可以为油门或刹车的参考力度值u1(t)或方向盘旋转的参考方向和参考角度值u2(t)。其中，u1(t)的正负可以表示油门或刹车控制量，u1(t)值的幅度可以表示踩油门或刹车的力度大小；u2(t)的正负可以表示方向盘旋转的方向，如u2(t)为正时，表示方向盘向左旋转，u2(t)为负时，表示方向盘向右旋转，u2(t)值的大小可以表示方向盘旋转的角度。
本发明实施例中的自动跟车方法采用的自适应跟车控制决策系统通过自适应评价方法实现增强学习过程，自适应跟车控制决策系统由动作网络和评价网络两个神经网络构成，其中，动作网络根据系统的输入参数为系统提供控制策略，评价网络根据增强信号对控制策略进行实时评估，该方法根据环境中反馈的回报即增强信号，对错误的控制策略进行认知和学习，并试着在以后的控制策略中避免该错误再次发生；同时根据环境中反馈的回报，对有效的控制策略给予奖励，这样，在以后制定控制策略的过程中，相同的情况会被优先考虑。因此，车辆在行驶过程中，系统为了获得更多的奖励，将对控制策略进行不断调整，进而使控制策略趋于最优，控制车辆行驶在最优状态。关于增强信号的设定可以有多种方法，本发明实施例对此不作限定。图2-10示出了自动跟车的自适应评价设计结构示意图，关于图2-10的说明可以参考图2-2和图2-3的说明，在此不再赘述。需要说明的是，图2-10中的代理指的是自适应控制算法。评价网络用于进行动作行为评价，动作网络用于制定动作行为决策。动作行为即上述的控制策略。
该自动跟车方法采用了多输入多输出的自适应跟车控制决策系统，解决了智能车在自主跟车过程中的稳定性较差，可靠性较低的问题，保证了智能车在跟车过程中具有更好的自主性、自适应性、稳定性和舒适性。
需要说明的是，本发明实施例提供的自动跟车方法步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本发明的保护范围之内，因此不再赘述。
综上所述，本发明实施例提供的自动跟车方法，能够根据本车的行驶参数通过增强学习法确定第一动作控制参数，进而根据第一动作控制参数控制本车完成自动跟车动作，相较于相关技术，本车在跟车过程中不易出现颠簸、震荡、急刹、偏离车道等现象，提高了自动跟车的稳定性和可靠性。
本发明实施例提供了一种自动跟车装置，如图3-1所示，该装置可以包括：
检测单元301，用于检测本车的行驶参数。该行驶参数包括本车与前车的跟车距离、本车与前车的行驶方向夹角。
确定单元302，用于根据行驶参数通过增强学习法确定第一动作控制参数。第一动作控制参数包括油门或刹车的参考力度值、方向盘旋转的参考方向和参考角度值。增强学习法表示本车通过学习选择的方式获得用于自动跟车的参考动作。
控制单元303，用于根据第一动作控制参数控制本车完成自动跟车动作。
综上所述，本发明实施例提供的自动跟车装置，能够根据本车的行驶参数通过增强学习法确定第一动作控制参数，进而根据第一动作控制参数控制本车完成自动跟车动作，相较于相关技术，本车在跟车过程中不易出现颠簸、震荡、急刹、偏离车道等现象，提高了自动跟车的稳定性和可靠性。
其中，确定单元302如图3-2所示，包括：
第一确定模块3021，用于根据行驶参数确定本车的第二动作控制参数。第二动作控制参数包括油门或刹车的初始力度值、方向盘旋转的初始方向和初始角度值。
第二确定模块3022，用于对第二动作控制参数进行实时评估，确定第一动作控制参数。
第一确定模块3021如图3-3所示，包括：
第一确定子模块3021a，用于将向动作网络输入行驶参数后，动作网络输出的参数确定为本车的第二动作控制参数。动作网络为包含隐藏层的多输入多输出非线性神经网络。
相应的，第二确定模块3022如图3-4所示，包括：
第二确定子模块3022a，用于采用评价网络对第二动作控制参数进行实时评估，确定第一动作控制参数。评价网络为包含隐藏层的多输入多输出非线性神经网络。
具体的，第一确定子模块3021a，用于：
向动作网络输入行驶参数；
根据行驶参数和第一隐藏层输入层权值确定第一隐藏层输入信号；
根据第一隐藏层输入信号确定第一隐藏层输出信号；
根据第一隐藏层输出信号和第一隐藏层输出层权值确定动作网络的输出层的输入信号；
根据动作网络的输出层的输入信号确定动作网络的输出参数；
将动作网络的输出参数确定为第二动作控制参数。
具体的，第二确定子模块3022a，用于：
根据行驶参数、第二动作控制参数、第二隐藏层输入层权值确定第二隐藏层输入信号；
根据第二隐藏层输入信号确定第二隐藏层输出信号；
根据第二隐藏层输出信号和第二隐藏层输出层权值确定第一代价函数，第一代价函数表示本车根据第二动作控制参数完成自动跟车动作付出的代价；
根据第一代价函数和增强信号，调整第二隐藏层输入层权值和第二隐藏层输出层权值，确定第二代价函数，增强信号为本车距离前车的可靠程度；
根据第二代价函数和效用函数调整动作网络的第一隐藏层输入层权值和第一隐藏层输出层权值，效用函数表示行驶参数与第二动作控制参数的关系；
根据调整后的动作网络的第一隐藏层输入层权值和第一隐藏层输出层权值将动作网络输出的参数确定为第一动作控制参数。
综上所述，本发明实施例提供的自动跟车装置，能够根据本车的行驶参数通过增强学习法确定第一动作控制参数，进而根据第一动作控制参数控制本车完成自动跟车动作，相较于相关技术，本车在跟车过程中不易出现颠簸、震荡、急刹、偏离车道等现象，提高了自动跟车的稳定性和可靠性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置、单元和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种自动跟车方法，其特征在于，所述方法包括：
检测本车的行驶参数，所述行驶参数包括本车与前车的跟车距离、本车与所述前车的行驶方向夹角；
根据所述行驶参数通过增强学习法确定第一动作控制参数，所述第一动作控制参数包括油门或刹车的参考力度值、方向盘旋转的参考方向和参考角度值，所述增强学习法表示本车通过学习选择的方式获得用于自动跟车的参考动作；
根据所述第一动作控制参数控制本车完成自动跟车动作；
所述根据所述行驶参数通过增强学习法确定第一动作控制参数，包括：
根据所述行驶参数确定本车的第二动作控制参数，所述第二动作控制参数包括油门或刹车的初始力度值、方向盘旋转的初始方向和初始角度值；
对所述第二动作控制参数进行实时评估，确定所述第一动作控制参数；
其中，所述根据所述行驶参数确定本车的第二动作控制参数，包括：
将向动作网络输入所述行驶参数后，所述动作网络输出的参数确定为本车的第二动作控制参数，所述动作网络为包含隐藏层的多输入多输出非线性神经网络；
所述对所述第二动作控制参数进行实时评估，确定所述第一动作控制参数，包括：
采用评价网络对所述第二动作控制参数进行实时评估，确定所述第一动作控制参数，所述评价网络为包含隐藏层的多输入多输出非线性神经网络。
2.根据权利要求1所述的方法，其特征在于，所述将向动作网络输入所述行驶参数后，所述动作网络输出的参数确定为本车的第二动作控制参数，包括：
向所述动作网络输入所述行驶参数；
根据所述行驶参数和第一隐藏层输入层权值确定第一隐藏层输入信号；
根据所述第一隐藏层输入信号确定第一隐藏层输出信号；
根据所述第一隐藏层输出信号和第一隐藏层输出层权值确定所述动作网络的输出层的输入信号；
根据所述动作网络的输出层的输入信号确定所述动作网络的输出参数；
将所述动作网络的输出参数确定为所述第二动作控制参数。
3.根据权利要求2所述的方法，其特征在于，所述采用评价网络对所述第二动作控制参数进行实时评估，确定所述第一动作控制参数，包括：
根据所述行驶参数、第二动作控制参数、第二隐藏层输入层权值确定第二隐藏层输入信号；
根据所述第二隐藏层输入信号确定第二隐藏层输出信号；
根据所述第二隐藏层输出信号和第二隐藏层输出层权值确定第一代价函数，所述第一代价函数表示本车根据所述第二动作控制参数完成自动跟车动作付出的代价；
根据所述第一代价函数和增强信号，调整所述第二隐藏层输入层权值和所述第二隐藏层输出层权值，确定第二代价函数，所述增强信号为本车距离所述前车的可靠程度；
根据所述第二代价函数和效用函数调整所述动作网络的第一隐藏层输入层权值和第一隐藏层输出层权值，所述效用函数表示所述行驶参数与所述第二动作控制参数的关系；
根据调整后的所述动作网络的第一隐藏层输入层权值和第一隐藏层输出层权值将所述动作网络输出的参数确定为所述第一动作控制参数。
4.一种自动跟车装置，其特征在于，所述装置包括：
检测单元，用于检测本车的行驶参数，所述行驶参数包括本车与前车的跟车距离、本车与所述前车的行驶方向夹角；
确定单元，用于根据所述行驶参数通过增强学习法确定第一动作控制参数，所述第一动作控制参数包括油门或刹车的参考力度值、方向盘旋转的参考方向和参考角度值，所述增强学习法表示本车通过学习选择的方式获得用于自动跟车的参考动作；
控制单元，用于根据所述第一动作控制参数控制本车完成自动跟车动作；
所述确定单元，包括：
第一确定模块，用于根据所述行驶参数确定本车的第二动作控制参数，所述第二动作控制参数包括油门或刹车的初始力度值、方向盘旋转的初始方向和初始角度值；
第二确定模块，用于对所述第二动作控制参数进行实时评估，确定所述第一动作控制参数；
其中，所述第一确定模块，包括：
第一确定子模块，用于将向动作网络输入所述行驶参数后，所述动作网络输出的参数确定为本车的第二动作控制参数，所述动作网络为包含隐藏层的多输入多输出非线性神经网络；
所述第二确定模块，包括：
第二确定子模块，用于采用评价网络对所述第二动作控制参数进行实时评估，确定所述第一动作控制参数，所述评价网络为包含隐藏层的多输入多输出非线性神经网络。
5.根据权利要求4所述的装置，其特征在于，所述第一确定子模块，用于：
向所述动作网络输入所述行驶参数；
根据所述行驶参数和第一隐藏层输入层权值确定第一隐藏层输入信号；
根据所述第一隐藏层输入信号确定第一隐藏层输出信号；
根据所述第一隐藏层输出信号和第一隐藏层输出层权值确定所述动作网络的输出层的输入信号；
根据所述动作网络的输出层的输入信号确定所述动作网络的输出参数；
将所述动作网络的输出参数确定为所述第二动作控制参数。
6.根据权利要求5所述的装置，其特征在于，所述第二确定子模块，用于：
根据所述行驶参数、第二动作控制参数、第二隐藏层输入层权值确定第二隐藏层输入信号；
根据所述第二隐藏层输入信号确定第二隐藏层输出信号；
根据所述第二隐藏层输出信号和第二隐藏层输出层权值确定第一代价函数，所述第一代价函数表示本车根据所述第二动作控制参数完成自动跟车动作付出的代价；
根据所述第一代价函数和增强信号，调整所述第二隐藏层输入层权值和所述第二隐藏层输出层权值，确定第二代价函数，所述增强信号为本车距离所述前车的可靠程度；
根据所述第二代价函数和效用函数调整所述动作网络的第一隐藏层输入层权值和第一隐藏层输出层权值，所述效用函数表示所述行驶参数与所述第二动作控制参数的关系；
根据调整后的所述动作网络的第一隐藏层输入层权值和第一隐藏层输出层权值将所述动作网络输出的参数确定为所述第一动作控制参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510466748.5A CN105035085B (zh) | 2015-07-31 | 2015-07-31 | 自动跟车方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510466748.5A CN105035085B (zh) | 2015-07-31 | 2015-07-31 | 自动跟车方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105035085A CN105035085A (zh) | 2015-11-11 |
| CN105035085B true CN105035085B (zh) | 2017-08-04 |
Family
ID=54442208
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510466748.5A Active CN105035085B (zh) | 2015-07-31 | 2015-07-31 | 自动跟车方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105035085B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105620476B (zh) * | 2016-01-29 | 2018-03-30 | 北京汽车研究总院有限公司 | 用于汽车防碰撞的方法、装置及汽车 |
| CN105835854B (zh) * | 2016-03-17 | 2018-11-16 | 奇瑞汽车股份有限公司 | 一种紧急制动控制系统及其控制方法 |
| DE102018203137A1 (de) * | 2018-03-02 | 2019-09-05 | Robert Bosch Gmbh | Verfahren, Vorrichtung und Computerprogramm zum Betreiben eines zumindest teilautonomen Fahrzeugs |
| JP7158183B2 (ja) * | 2018-06-11 | 2022-10-21 | 本田技研工業株式会社 | 車両制御装置、車両制御方法およびプログラム |
| JP6797254B2 (ja) * | 2018-08-14 | 2020-12-09 | 本田技研工業株式会社 | 相互作用認識意思決定 |
| CN110570648A (zh) * | 2019-10-29 | 2019-12-13 | 北京百度网讯科技有限公司 | 编队行驶的调整方法、装置、设备和计算机可读存储介质 |
| CN111273673A (zh) * | 2020-03-09 | 2020-06-12 | 新石器慧通（北京）科技有限公司 | 一种无人车的自动驾驶跟随方法、系统及无人车 |
| CN113492855B (zh) * | 2021-07-22 | 2023-01-03 | 上汽通用五菱汽车股份有限公司 | 跟车场景下的加速度补偿方法、设备及可读存储介质 |
| KR20240029394A (ko) * | 2022-08-26 | 2024-03-05 | 현대모비스 주식회사 | 군집 주행 제어 장치 및 군집 주행의 제어 방법 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4432286B2 (ja) * | 2001-06-29 | 2010-03-17 | トヨタ自動車株式会社 | 車間距離制御装置 |
| JP4451315B2 (ja) * | 2005-01-06 | 2010-04-14 | 富士重工業株式会社 | 車両の運転支援装置 |
| JP4816248B2 (ja) * | 2006-05-23 | 2011-11-16 | 日産自動車株式会社 | 車両用運転操作補助装置 |
| CN202541524U (zh) * | 2011-12-12 | 2012-11-21 | 王晓原 | 基于驾驶员认知活动综合计算的辅助驾驶控制装置 |
-
2015
- 2015-07-31 CN CN201510466748.5A patent/CN105035085B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN105035085A (zh) | 2015-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105035085B (zh) | 自动跟车方法及装置 | |
| US10921814B2 (en) | Vehicle control system and method, and travel assist server | |
| CN105083278B (zh) | 车辆控制方法及装置 | |
| CN105109482B (zh) | 停车入库方法及装置 | |
| CN105137970B (zh) | 车辆避障方法及装置 | |
| CN105128856B (zh) | 停车入库方法及装置 | |
| CN103324085B (zh) | 基于监督式强化学习的最优控制方法 | |
| CN107331179A (zh) | 一种基于大数据云平台的经济性驾驶辅助系统及实现方法 | |
| CN105059288B (zh) | 一种车道保持控制系统及方法 | |
| CN105059213B (zh) | 一种智能跟车控制系统及方法 | |
| CN109711557A (zh) | 一种行车轨迹预测方法、系统、计算机设备及存储介质 | |
| DE112009002535T5 (de) | Fahrzeug und Verfahren zum Beraten eines Fahrers von selbigem | |
| CN111332283A (zh) | 用于控制机动车的方法和系统 | |
| CN110068302A (zh) | 一种基于深度神经网络的车辆测距方法 | |
| CN106882186A (zh) | 自适应巡航控制方法和系统 | |
| CN109552289A (zh) | 一种汽车自适应辅助制动系统及其控制方法 | |
| CN112026782A (zh) | 一种基于开关式深度学习网络模型的自动驾驶决策方法及系统 | |
| CN110682903B (zh) | 一种基于视觉感知的安全超车预警系统及方法 | |
| Zhao et al. | Supervised adaptive dynamic programming based adaptive cruise control | |
| CN107264528A (zh) | 汽车巡航智能控制方法 | |
| EP4086813A1 (en) | Managing aleatoric and epistemic uncertainty in reinforcement learning, with applications to autonomous vehicle control | |
| EP3640857A1 (en) | Method, vehicle, system, and storage medium for indicating anomalous vehicle scenario using encoder network and discriminator network intermediate layer activation | |
| CN109144107B (zh) | 自动跟车控制方法、装置及汽车 | |
| CN115352443B (zh) | 一种基于旁车切入识别的自适应巡航控制方法及设备 | |
| CN109910865B (zh) | 一种基于物联网的车辆预警刹车方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220214 Address after: 241006 Anshan South Road, Wuhu Economic and Technological Development Zone, Anhui Province Patentee after: Wuhu Sambalion auto technology Co.,Ltd. Address before: 241006 Changchun Road, Wuhu economic and Technological Development Zone, Wuhu, Anhui, 8 Patentee before: CHERY AUTOMOBILE Co.,Ltd. |