CN111976741B - 用于控制自动驾驶车辆的装置和方法 - Google Patents

Abstract

本发明提供了一种用于控制自动驾驶车辆的装置和方法。所述装置包括：用户输入单元，其在自动驾驶期间接收车辆内的驾驶员的标识信息；信息采集单元，其获取车辆的全局路线和周围环境信息；控制器，其基于周围环境信息来确定全局路线上的学习路段，并基于学习路段中的驾驶员的操作信息通过执行重复学习来输出驾驶员的驾驶方式，然后基于输出的驾驶员的驾驶方式执行车辆的自动驾驶。

Description

用于控制自动驾驶车辆的装置和方法

相关申请的交叉引用

本申请要求2019年5月23日提交的韩国专利申请No.10-2019-0060651的权益，该申请的全部内容通过引用结合于此。

技术领域

本发明涉及一种用于控制自动驾驶车辆的装置和方法，更具体地，涉及这样的一种用于控制自动驾驶车辆的装置和方法，其中，通过反映经由驾驶员操作学习到的驾驶方式来执行用户友好的自动驾驶控制。

背景技术

近来，对自动驾驶车辆的兴趣迅速增加。在自动驾驶车辆中，应用了高级驾驶员辅助系统(ADAS)，因此可以使驾驶员从单调的工作(例如在车辆行驶过程中方向盘的操作和踏板操作)中解放出来，并减少驾驶员的错误操作，从而防止发生事故。

现在商业化的自动驾驶车辆通过基于安装在汽车上的传感器检测到的信息计算碰撞时间(TTC)来防止与物体发生碰撞，基于整体驾驶策略执行自动驾驶并调整参数，因此在反映各种驾驶员的驾驶倾向方面有限制，并进一步导致驾驶员感觉到真实驾驶与自动驾驶之间的差异感，从而降低了乘坐舒适性。此外，由于难以考虑到在不可预测的真实道路环境中可能产生的所有变量，因此自动驾驶车辆执行着眼于安全性的被动对应，而不是灵活对应。

发明内容

因此，本发明提供了一种用于控制自动驾驶车辆的装置和方法，所述装置和方法基本上消除了由于现有技术的局限性和缺点引起的一个或更多个问题。本发明的目的是提供一种用于控制自动驾驶车辆的装置和方法，其中，可以通过反映经由驾驶员操作学习到的驾驶方式来执行用户友好的自动驾驶控制。

本发明的其他优点、目的和特点，一部分将在下面的说明书中进行阐述，而一部分将在审查下面的说明书后，对本领域的技术人员将变得显而易见，或者从本发明的实践中习得。本发明的目的和其他优点，可以通过本发明的书面说明和权利要求以及附图中特别指出的结构来实现和获得。

为了实现这些目标和其他优势，并且根据本发明的目的，如在本文中所实施和概括地描述的，用于控制自动驾驶车辆的装置可以包括：用户输入单元，其配置为在自动驾驶期间接收车辆中的驾驶员的标识信息；信息采集单元，其配置为获取车辆的全局路线和周围环境信息；以及控制器，其配置为：基于周围环境信息来确定路线上的学习路段，并且基于学习路段中的驾驶员的操作信息通过执行重复学习来输出驾驶员的驾驶方式。所述控制器可以配置为基于输出的驾驶员驾驶方式来执行车辆的自动驾驶。

所述周围环境信息可以包括由安装于车辆的传感器采集到的道路信息、交通信息或障碍物信息中的至少一种。学习路段可以包括延迟/拥堵情况、加速/减速情况、意外情况、直道路段、弯道路段、下坡路段或电子收费路段中的至少一种。

所述控制器可以配置为：当基于周围环境信息识别出的车辆的当前行驶情况对应于学习路段时，从自动驾驶模式切换到手动驾驶模式并且将车辆控制权转移给驾驶员。驾驶员操作信息可以包括关于安装于车辆的方向盘、加速踏板或制动踏板中的至少一种的操作信息。

所述控制器可以配置为：通过利用比较在车辆中预先设置的自动驾驶控制值和基于驾驶员的操作信息计算出的至少一个用户控制值而获得自动驾驶控制值与至少一个用户控制值之间的误差，并且更新自动驾驶控制值以使误差相对于学习速率的变化率收敛于最小临界值内，从而学习驾驶员的驾驶方式。所述控制器可以配置为通过将补偿权重应用于误差来执行至少一个用户控制值的有效性测试。

基于驾驶员的操作信息，根据碰撞风险或乘坐舒适性指数中的至少一个，可以将补偿权重设置为不同的值。自动驾驶控制值和用户控制值中的每一个可以包括车辆的转向角、加速度、减速度、相对速度、转弯半径、横向加速度或纵向加速度中的至少一种。

所述装置可以进一步包括存储单元，所述存储单元配置为通过构造用于学习路段和驾驶员驾驶方式的索引来根据驾驶员的标识信息生成学习表。所述控制器可以配置为：基于输出的驾驶员的驾驶方式来提取路线上的至少一个边界点，通过多项式回归分析将车辆的当前位置与至少一个边界点经由进行连接来生成行驶路线，并且根据生成的行驶路线执行车辆的自动驾驶。所述至少一个边界点可以包括转向角的变化率超过临界范围的点。

应当理解的是，上述一般描述和以下详细描述都是示例性的和解释性的，目的是提供所要求的本发明的进一步解释。

附图说明

在本发明中包括附图以提供对本发明的进一步理解，并结合于此以构成本申请的一部分；附图示出了本发明的示例性实施方案，并结合说明书以用于解释本发明的原理。附图中：

图1是根据本发明的一个示例性实施方案的用于控制自动驾驶车辆的装置的示意性框图；

图2是示出适用于根据本发明的一个实施方案的控制装置的学习系统的结构的示意图；

图3A和图3B是示出根据本发明的一个示例性实施方案的用于通过控制装置生成行驶路线的方法的示意图；

图4和图5是示出根据本发明的一个示例性实施方案的控制装置在学习驾驶员的驾驶方式之前和之后的驾驶情况的示意图；以及

图6是示出根据本发明的一个示例性实施方案的用于控制自动驾驶车辆的方法的流程图。

具体实施方式

应当理解的是，本文中所使用的术语“车辆”或“车辆的”或其它类似术语通常包括机动车辆，例如包括运动型多用途车辆(SUV)、大客车、大货车、各种商用车辆的乘用车辆，包括各种舟艇、船舶的船只，航空器等，并且包括混合动力车辆、电动车辆、插电式混合动力电动车辆、氢动力车辆以及其它替代性燃料车辆(例如，源于非化石能源的燃料)。正如本文所提到的，混合动力车辆是具有两种或更多种动力源的车辆，例如汽油动力和电力动力两者的车辆。

尽管示例性实施方案描述为使用多个单元执行示例性过程，但是应理解，示例性过程也可以通过一个或更多个模块执行。此外，应当理解的是，术语“控制器/控制单元”指包括存储器和处理器的硬件装置。存储器配置为存储模块，并且处理器具体地配置为执行所述模块来进行下面进一步描述的一个或更多个过程。

此外，本发明的控制逻辑可以实施为非易失性计算机可读介质，所述非易失性计算机可读介质为包括由处理器或控制器/控制单元等执行的可执行的程序指令的计算机可读介质。计算机可读介质的示例包括但不局限于：ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪存驱动器、智能卡以及光学数据存储装置。计算机可读记录介质也可以分布在网络联接的计算机系统中，使得计算机可读介质例如通过远程信息处理服务器或控制器局域网络(CAN)以分布方式储存和执行。

在本文中使用的术语只用于描述具体实施方案，并且不旨在限制本发明。正如本文中所使用的，单数形式“一”、“一个”和“该”旨在同样包括复数形式，除非上下文另有明确指示。还将进一步理解，当在本明书中使用术语“包含”和/或“包括”时，指明存在所述特征、数值、步骤、操作、元件和/或组件，但是不排除存在或添加一种或更多种其它的特征、数值、步骤、操作、元件、组件和/或其群体。正如本文所使用的，术语“和/或”包括一种或更多种相关列举项的任何和所有组合。

除非特别声明或者从上下文显而易见的，本文所使用的术语“约”理解为在本领域的正常公差范围内，例如在平均值的2个标准偏差内。“约”可理解为在指定值的10％、9％、8％、7％、6％、5％、4％、3％、2％、1％、0.5％、0.1％、0.05％或0.01％之内。除非从上下文清楚地看出，否则本文中提供的所有数值都可以通过术语“约”进行修改。

现在将详细参考本发明的示例性实施方案，这些示例性实施方案的示例显示在附图中。然而，本发明的公开内容不限于本文阐述的实施方案，并且可以进行各种修改。在附图中，为了清楚地描述本发明，省略了与本发明无关的元件的描述，并且相同或相似的元件也用相同的附图标记表示，它们即使在不同的附图中描述。

另外，在示例性实施方案的以下描述中，术语“第一”、“第二”等可以用于描述各种元件，但是不限制这些元件。应当理解的是，这些术语仅用于将一个元件与其他元件区分开，并且不限制相应元件的性质、顺序或次序。应当理解的是，考虑示例性实施方案的配置和功能而特别定义的术语仅用于描述实施方案，而不限制示例性实施方案的范围。

在以下示例性实施方案的描述中，除非另有定义，否则包括技术或科学术语在内的所有术语具有与本发明所属领域的技术人员所通常理解含义的相同含义。此外，在以下示例性实施方案的描述中，诸如在词典中定义的术语的通用术语将解释为具有与现有技术中的上下文含义一致的含义，并且除非明确定义，否则不应解释为具有理想的或过度正式的含义。

在下文中，将参考附图描述根据本发明的每个示例性实施方案的用于控制自动驾驶车辆的装置。

图1是根据本发明的一个示例性实施方案的用于控制自动驾驶车辆的装置的示意性框图。如图1中示例性地示出，用于控制自动驾驶车辆的装置100可以包括用户输入单元110、信息采集单元120、控制器130和存储单元140。控制器130可以配置为操作装置100的其他组件。

用户输入单元110可以包括驾驶员信息输入单元111和输入信号选择单元112：驾驶员信息输入单元111配置为在自动驾驶期间接收车辆中的驾驶员的标识信息；输入信号选择单元112配置为接收用于根据驾驶员的驾驶方式的自动驾驶控制的优化请求的用户输入。驾驶员信息输入单元111可以配置为经由车辆网络40从外部装置接收包括至少一个驾驶员的生物信息和/或注册信息的标识信息，并且将标识信息存储在数据库(DB；未示出)中，以生成多个用户的驾驶方式。具体地，生物特征信息可以包括关于用户的虹膜、指纹、面部或声音的识别信息，注册信息可以包括由韩文字符、英文字符、数字和特殊字符的组合形成的驾驶员标识(ID)，或用户的联系信息，但不限于此。

驾驶员信息输入单元111可以配置为确认从外部装置接收的驾驶员的标识信息是否对应于存储在数据库(未示出)中的驾驶员的标识信息，并且执行与控制器130的联系。输入信号选择单元112可以配置为将由驾驶员施加的指定输入信号(例如，开启信号、关闭信号或复位信号中的至少一种)转换为控制指令，并且驾驶员可以接收基于驾驶员的驾驶方式的自动驾驶控制的优化请求，并通过选择设置于输入信号选择单元112的至少一个输入部来在车辆的驾驶模式之间切换。

下面的表1示例性地说明了根据施加到输入信号选择单元112的驾驶员输入信号和切换的驾驶模式而进行处理的控制指令。

表1

参考表1，如果驾驶员将开启信号施加到输入信号选择单元112(例如，接收开启信号作为用户输入)，则车辆的驾驶模式可以从自动驾驶模式切换为手动驾驶模式。具体地，自动驾驶模式指的是在没有驾驶员干预的情况下自动驾驶车辆的状态，而手动驾驶模式指的是在特定行驶情况下车辆的某些操作受到限制的状态。

然后，输入信号选择单元112可以配置为将开启信号转换为学习开始指令，并且将学习开始指令发送到控制器130。作为响应，控制器130可以配置为：在特定行驶情况下将车辆控制权转移给驾驶员，重复学习施加到驱动装置30的驾驶员的操作信息，从而输出驾驶员的驾驶方式。输入信号选择单元112可以配置为将关闭信号或复位信号转换为默认设置指令或初始化指令，并且控制器130可以配置为利用最近学习到的驾驶员的驾驶方式或在上市之前预先设置的自动驾驶车辆的驾驶方式，通过操作驱动装置30来执行自动驾驶车辆的自动驾驶。

用户输入单元110可以布置在车辆内，例如，在仪表板的一个区域、座椅的一个区域、支柱的一个区域、车门的一个区域、中央控制台的一个区域、车内顶板的一个区域、挡风玻璃的一个区域或窗户的一个区域。此外，用户输入单元110的一部分可以实现为突出到外部(或凹陷)的按钮，或者用户输入单元110的一部分或整体可以实现为触摸面板，并且用户输入单元110可以设置有至少一个输入部，以检测多个用户输入。例如，输入部可以包括键盘、触摸板(电阻式/电容式)、薄膜按键开关、物理按钮或旋钮。

信息采集单元120可以包括全局路线采集单元121和环境信息采集单元122。信息采集单元120可以配置为从安装于车辆的各种外围装置10和/或传感器装置20获取路线(例如，全局路线)和周围环境信息。信息采集单元120可以配置为经由车辆网络40执行与外围装置10和传感器装置20的通信，并且车辆网络40可以包括各种车载通信标准，诸如控制器局域网(CAN)、具有灵活数据速率的CAN(CAN-FD)、FlexRay、多媒体定向系统传输网(MOST)、时间触发以太网(TT Ethernet)等。

全局路线采集单元121可以配置为基于输入到外围装置(在下文中，称为导航系统)10的出发点和目的地的信息来采集路线。导航系统10可以配置为将地图信息(其中，道路和车道是可区分的)存储为数据库(DB)，并且地图信息可以包括节点和路段。具体地，节点指的是道路特性改变的点，而路段指的是车道中相互连接一个节点与另一个节点(例如，第一节点和第二节点)的路线。这样的地图信息可以经由无线通信以恒定周期自动更新，或者由用户手动更新。

环境信息采集单元122可以配置为从安装于车辆的传感器装置20采集关于车辆的行驶情况的各种周围环境信息。具体地，传感器装置20可以包括：例如，全球定位系统(GPS)21、摄像机22、雷达装置23、激光雷达装置24、转向角传感器25、速度传感器26以及加速度传感器27；全球定位系统(GPS)21配置为通过从位于地球上方的至少一个GPS卫星接收导航消息来获取车辆的位置信息；摄像机22配置为利用光学系统分析车辆的周围图像信息；雷达装置23配置为利用电磁波分析与物体的距离和对于物体的相对速度；激光雷达装置24配置为利用光观察通过雷达不可见的盲区；转向角传感器25、速度传感器26和加速度传感器27配置为测量车辆的转向角、绝对速度和加速度信息。

环境信息采集单元122可以配置为通过上述传感器装置20中的至少一种的组合来采集包括道路信息、交通信息或障碍物信息中的至少一种的周围环境信息。例如，环境信息采集单元122可以配置为基于存储在导航系统10中的地图信息和利用摄像机21分析的周围图像信息来采集与道路的属性有关的道路信息，诸如道路的曲率、坡度、十字路口、交叉路口、人行横道和收费站。

此外，环境信息采集单元122可以配置为基于GPS 21、雷达装置23、激光雷达装置24、转向角传感器25、速度传感器26或加速度传感器27中的至少一种来采集交通信息，以识别延迟和拥堵的交通情况(例如，车辆周围分布的物体的密度)，和/或采集障碍物信息，以识别意外情况(例如，障碍物安装在(或掉落在)路面上的危险)。尽管在附图中未示出，但是环境信息采集单元122还可以配置为从其他车辆和物体采集周围环境信息，其中，经由车辆到万物(V2X)通信来构建基础设施。

控制器130可以包括：学习路段确定单元131、驾驶方式学习单元132以及驾驶策略建立单元133。当学习路段确定单元131接收到从用户输入单元110施加的学习开始指令时，学习路段确定单元131的操作可以启动。

学习路段确定单元131可以配置为基于由信息采集单元120采集到的各种周围环境信息来确定路线上的学习路段L。例如，学习路段确定单元131可以配置为：通过结合由环境信息采集单元120采集到的道路信息、交通信息或障碍物信息中的至少一种来检测车辆的当前行驶情况，并且确定所识别的行驶情况是否对应于预定学习路段L。

学习路段确定单元131可以配置为仅对与路线中的学习路段L相对应的部分行驶情况执行学习，以减少由于驾驶方式学习单元132重复学习而导致的负担，但是本发明的范围不限于此。下面的表2示例性地表示由学习路段确定单元131预定的学习路段L。

表2

参考表2，学习路段L可以定义为在车辆行驶期间发生的一组情况，并且学习路段L可以包括：例如，延迟/拥堵情况L1、加速/减速情况L2、意外情况L3、直道路段L4、弯道路段L5、下坡路段L6和电子收费路段L7。

当车辆的当前行驶情况对应于学习路段L时，学习路段确定单元131可以配置为从自动驾驶模式切换到手动驾驶模式并且将车辆控制权转移给驾驶员(例如，没有控制器干预)。当驾驶方式学习单元132接收到由学习路段确定单元131生成的车辆控制权转移信号时，驾驶方式学习单元132的操作可以启动。

驾驶方式学习单元132可以配置为基于在学习路段L中做出反应的驾驶员的操作信息通过执行重复学习来输出驾驶员的驾驶方式。驾驶员的操作信息可以指的是获得车辆控制权的驾驶员施加到安装于车辆的驱动装置30的操作信息。具体地，驱动装置30可以包括：方向盘31、加速踏板32和制动踏板33；方向盘31配置为调节车辆的方向；加速踏板32配置为通过调节车辆的节气门的开度来调节车辆的速度；制动踏板33配置为利用摩擦力使车辆减速。

驾驶方式学习单元132可以基于强化学习算法(强化学习算法是机器学习的一种)来操作，并且可以基于利用与行驶情况的交互信息交换来识别周围环境信息以及使动作值函数最大的策略来执行学习，所述动作值函数通过施加到车辆的驾驶员的操作信息(例如，方向盘31、加速踏板32或制动踏板33中的至少一种的操作信息)来获取。

驾驶方式学习单元132可以配置为：通过获取基于设置的规则在车辆中预先设置的第一自动驾驶控制值α与基于驾驶员的操作信息而计算出的至少一个用户控制值β_i之间的误差δ(该误差δ通过比较α与β_i来获取)、并更新第一自动驾驶控制值α使得误差δ相对于学习速率η的变化率Δδ(Δδ＝dδ/dη)收敛于最小临界值来学习驾驶员的驾驶方式，并且输出第二自动驾驶控制值α'作为上述学习的结果。

第一自动驾驶控制值α指的是在车辆上市之前在车辆中预先学习或设置以进行自动驾驶的至少一个参数的控制值。另外，第一自动驾驶控制值α可以由开发者根据基于交通规则和安全驾驶要求而设置的自动驾驶规则预先设置，并且相同的第一自动驾驶控制值α可以应用于所有驾驶员。

用户控制值β_i指的是响应于获得车辆控制权的驾驶员施加于驱动装置30的各种操作信息由传感器装置20感测到的或计算出的至少一个参数的控制值。用户控制值β_i可以根据驾驶员操作驱动装置30的倾向、状态等而改变。

第二自动驾驶控制值α'指的是通过重复学习至少一个用户控制值β_i所收敛(或至少一个用户控制值β_i平滑变化到)的至少一个参数的控制值。另外，第二自动驾驶控制值α'可以设置为在学习完成之后执行车辆的自动驾驶的默认值。具体地，所述至少一个参数可以包括转向角信息、加速度/减速度信息、通过其各种组合计算出的前进方向/侧倾信息、相对速度信息、横向/纵向加速度信息或转弯半径信息中的至少一种。

此外，如以下方程1中所述，可以利用均方误差(mean squared error，MSE)来计算第一自动驾驶控制值α与至少一个用户控制值β_i之间的误差δ方程。然而，这仅是示例性的，本发明的范围不限于此。

方程1

其中，n表示在相应的学习路段中施加到驱动装置30的驾驶员操作的累积频率，α表示第一自动驾驶控制值，β_i表示通过第i(1≤i≤n)次操作获得的用户控制值。

学习速率η可以定义为驾驶员的操作的累积频率对于临界学习频率N的比率，并且表示为临界学习频率N可以指的是最小临界值内的误差变化率Δδ的收敛频率，并且驾驶方式学习单元132可以配置为通过执行重复学习直到学习的频率达到临界学习频率N来输出与驾驶员的意图相似的驾驶方式。具体地，最小临界值可以是0或接近0的值，因此，可以将上述使动作值函数最大的策略总结为使第一自动驾驶控制值α与至少一个用户控制值β_i之间的误差δ的变化率Δδ最小的策略。

此外，驾驶方式学习单元132可以配置为通过将补偿权重w应用于误差δ来执行至少一个用户控制值β_i的有效性测试。具体地，可以基于驾驶员的操作信息，根据碰撞风险w1或乘坐舒适性指数w2中的至少一种，将补偿权重w设置为不同的值。例如，驾驶方式学习单元132可以配置为：当根据驾驶员的操作信息进行驾驶的结果是车辆与周围物体发生碰撞或乘坐舒适性指数w2降低到临界值或更小时，将补偿权重w设置为0，从而将相应的用户控制值视为可忽略值。补偿权重w可以设置为：使得碰撞风险w1与碰撞时间(TTC)成反比，并且乘坐舒适性指数w2与加加速度的大小(加速度的变化率)成反比。

因此，驾驶方式学习单元132可以配置为执行至少一个用户控制值β_i的有效性测试，并且因此可以提高车辆安全性并且减少在车辆操作期间驾驶员和乘客感受到或体验到的差异感。驾驶策略建立单元133可以配置为将驾驶员的驾驶方式或通过驾驶方式学习单元132输出的第二自动驾驶控制值α'发送至驱动装置30，从而执行车辆的自动驾驶。

此外，驾驶策略建立单元133可以配置为：基于输出的驾驶员的驾驶方式来提取路线上的至少一个边界点，通过将车辆的当前位置和至少一个边界点经由多项式回归分析进行连接来生成行驶路线，并且根据生成的行驶路线执行车辆的自动驾驶。具体地，所述至少一个边界点可以包括转向角的变化率超过临界范围的点，稍后将参考图3给出其详细描述。

存储单元140可以配置为生成并存储查找表141和对应于驾驶员标识信息的至少一个学习表142。查找表141可以包括第一自动驾驶控制值α，其由开发人员根据基于交通规则和安全驾驶要求而设置的自动驾驶规则预先设置，并且应用于所有驾驶员。

下面的表3示例性地表示用于生成查找表141的自动驾驶规则。

表3

至少一个学习表142可以通过生成用于学习路段L和驾驶员的驾驶方式或第二自动驾驶控制值α'的索引来生成。具体地，至少一个学习表142中的每一个可以生成为对应于至少一个驾驶员标识信息中的每一个(例如，用户1、用户2、用户3等)，从而能够根据多个用户的驾驶倾向定制的自动驾驶控制，并且可以满足用户的个人乘坐舒适性要求。存储单元140可以实现为闪存、硬盘、安全数字(SD)卡、随机存取存储器(RAM)、只读存储器(ROM)和网络存储装置中的至少一种存储介质。

图2是示出适用于根据本发明的一个实施方案的控制装置的学习系统的结构的示意图。参考图2，根据驾驶员的驾驶方式的学习系统表示代理与环境之间的接口。具体地，代理指的是控制装置100，环境指的是行驶情况。

控制装置100可以基于强化学习算法来操作，并且可以利用Q学习(一种强化学习)来构造最优控制策略。Q学习在适用性和便携性方面非常出色，并且具有很高的计算速度，因此可以有效地学习各种行驶环境中的驾驶员驾驶方式。控制装置100可以配置为通过与行驶情况的交互信息交换来识别当前状态，并且从可选择的动作中选择使奖励r最大的动作。

状态s指的是包括由环境信息采集单元120采集的道路信息、交通信息或障碍物信息中的至少一种的周围环境信息，并且动作a指的是包括方向盘操作信息、加速踏板操作信息或制动踏板操作信息中的至少一种的驾驶员的操作信息。

另外，奖励r指的是通过将当前状态s转换为下一状态s'所获得的动作a的结果，并且可以表示为指示驾驶员的动作a是否正确的标量值。例如，控制装置100可以配置为：通过在根据驾驶员的操作信息的驾驶结果正确时提供奖励并在驾驶结果不正确时提供惩罚来执行学习，从而可以建立符合驾驶员的驾驶方式和意图的最优策略。具体地，在状态转换的重复期间获取的奖励r的动作值函数(Q函数)可以表示为下面的方程2。

方程2

Q^π(s,a)＝E_π[r_t+1+γr_t+2+γ²r_t+3+…]＝E_π[r(s,a)+γQ^π(s',a')]

其中，s'是在当前状态s下采取动作a时出现的下一个状态，a'是在下一个状态s'中可能采取的所有动作，并且γ表示确定未来行驶条件会多大程度影响当前的学习的折扣因子，并设置在0到1(0≤γ≤1)的数值范围内。Q^π(s，a)是动作值函数，并且表示当遵循一系列策略π时获得的累积奖励的期望值。

控制装置100可以配置为执行重复学习，直到动作值函数Q^π(s，a)基于最优策略π^*收敛于最大值为止，并且最优策略π^*可以表示为下面的方程3。

方程3

π^*(s)＝argmaxQ^π(s,a)

其中，使动作值函数使最大的策略总结为使第一自动驾驶控制值α与至少一个用户控制值β_i之间的误差δ的变化率Δδ最小的策略，并且控制装置100可以配置为执行重复学习，直到误差δ对于学习速率η的变化率Δδ收敛于最小临界值之内。

图3A至图3B是示出根据本发明的一个示例性实施方案的用于通过控制装置生成行驶路线的方法的示意图。参考图3A，驾驶策略建立单元133可以配置为将信息采集单元120获取的路线划分为至少一个路线路段P，并且通过将车辆的GPS信息转换为作为XY绝对坐标的横轴墨卡托(Transverse Mercator，TM)坐标计算路线路段P的起点S和终点F的位置坐标数据。具体地，路线路段P的起点S可以对应于车辆的当前位置。

此外，驾驶策略建立单元133可以配置为基于从驾驶方式学习单元132输出的驾驶员的驾驶方式来提取路线路段P的起点S与终点F之间的至少一个边界点N1、N2、N3和N4。具体地，至少一个边界点N1、N2、N3和N4可以包括转向角的变化率超过临界范围的点。

参考图3B，驾驶策略建立单元133配置为利用多项式回归分析来计算路线方程，并且通过将路线路段P的起点S和终点F与至少一个边界点N1、N2、N3和N4进行连接来生成行驶路线DR。具体地，行驶路线DR可以表示为m阶多项式路线方程，即，下面的方程4。

方程4

y＝a₀+a₁x+a₂x²+…+a_mx^m

其中，x和y表示位置坐标数据，而a₀，a₁，a₂，…表示要找到的已知值，即，路线方程的系数。

驾驶策略建立单元133可以配置为基于通过重复学习从驾驶方式学习单元132输出的第二自动驾驶控制值α′的转向角信息、加速度/减速度信息、横向/纵向加速度信息、转弯半径信息等来计算至少一个边界点N₁、N₂、N₃和N₄中的每一个的位置坐标数据，并且计算路线方程的系数a₀，a₁，a₂，…，a_m。

例如，驾驶策略建立单元133可以配置为基于驾驶员的驾驶方式，利用偏转角θ1、转向角θ2、转动半径R和横向/纵向加速度a_x和a_y来计算边界点之间的移动路段(例如，N₁-N₂，N₂-N₃和N₃-N₄)中车辆在纵向和横向上的移动距离，并且基于路线路段P的起点S和终点F的位置坐标数据计算至少一个边界点N₁、N₂、N₃和N₄的位置坐标数据。

此外，驾驶策略建立单元133可以配置为通过将起点S、终点F和至少一个边界点N₁、N₂、N₃和N₄中的每一个的位置坐标数据代入路线方程来计算m阶多项式路线方程的系数a₀，a₁，a₂，…，a_m。具体地，由驾驶策略建立单元133提取的至少一个边界点N₁、N₂、N₃和N₄的数量可以至少为m-1。

驾驶策略建立单元133可以配置为基于计算出的m阶多项式路线方程来生成行驶路线DR，并且基于所生成的行驶路线DR来执行车辆的自动驾驶。具体地，存储单元140可以配置为存储由驾驶策略建立单元133计算出的各个路线路段的行驶路线DR的路线方程。

图4和图5是示出根据本发明的一个示例性实施方案的控制装置在学习驾驶员的驾驶方式之前和之后的驾驶情况的示意图。参考图4，当前行驶情况对应于延迟/拥堵情况L1，在该延迟/拥堵情况L1中，其他车辆，即，在本车A的行驶车道中行驶的车辆B和在与本车A的行驶车道相邻的周围车道中的车辆密集地分布(参考表2)。

具体地，可以假设本车A(例如，本车或主车)的当前速度为50kph，在行驶车道中位于本车A前方的车辆B的当前速度为50kph，在周围车道中从后方接近本车A的车辆C的当前速度为70kph。在通过本发明的控制装置100进行学习之前(在图4的(a)中)，可以以50kph的速度在行驶车道上驾驶本车A，同时根据预先设置的自动驾驶规则(参考表3)，通过计算与另一车辆C(例如，第三车辆)的碰撞时间(TTC)来保持与另一车辆B(例如，第二车辆)的安全距离。这样的驾驶模式有助于提高车辆安全性，但是由于一些驾驶者可能希望调整驾驶模式以适合个人喜好，因此在反映各种驾驶者的驾驶倾向方面具有限制。

另一方面，在通过本发明的控制装置100进行学习后(图4的(b))，根据反映出驾驶员动态倾向的驾驶模式，本车A可以在与在周围车道中接近本车A的另一车辆C不引起碰撞的范围内以100kph的速度加速，并且向右车道执行车道变换。因此，根据一个示例性实施方案的控制装置100可以根据驾驶员的驾驶倾向灵活地应对各种情况，摆脱统一的驾驶模式，从而实现驾驶员定制的驾驶。由此，可以减小驾驶员的实际驾驶与自动驾驶之间的差异感，并且可以提高自动驾驶车辆的乘坐舒适性。

参考图5，当前的行驶情况对应于意外情况L3，在该意外情况L3中，物体从位于本车A的前方的另一车辆B掉落到行驶车道上(参考表2)。具体地，道路是两车道的道路，每个方向具有一个车道，并且假设在与行驶车道相反的方向的另一车道中不存在车辆。

在通过本发明的控制装置100进行学习之前(在图5的(a)中)，在本车A根据预先设置的自动驾驶规则没有跨越中心线的条件下，本车A可以停车，直到掉落的物体C移除(参考表3)。然而，这种被动驾驶模式中断了两车道道路上的交通流，并且引起驾驶员实际驾驶与自动驾驶之间的差异感。

另一方面，在通过本发明的控制装置100进行学习后(图5的(b))，本车A可以确认在反向的车道中是否存在车辆，并且通过跨越中心线对另一车辆B进行超车，以避开掉落的物体C。因此，根据一个示例性实施方案的控制装置100可以灵活地应付突发意外情况，从而在不中断交通流的情况下减小了驾驶员实际驾驶与自动驾驶之间的差异感。

图6是示出根据本发明的一个示例性实施方案的用于控制自动驾驶车辆的方法的流程图。参考图6，用于控制自动驾驶车辆的方法600可以包括：从用户接收指定的信息(步骤S610)、学习驾驶员的驾驶方式(步骤S620)以及执行自动驾驶(步骤S630)。

首先，用户输入单元110可以配置为在车辆操作期间接收车辆中的驾驶员的标识信息，以生成各种用户的驾驶方式(步骤S611)。此后，用户输入单元10可以配置为确定是否接收到基于驾驶员的驾驶方式的自动驾驶控制的优化请求的用户输入(步骤S612)。当没有从用户输入单元10接收到基于驾驶员的驾驶方式的自动驾驶控制的优化请求的用户输入时(步骤S612中的“否”)，控制器130可以配置为利用最近学习的驾驶员驾驶方式和/或在上市之前预先设置的自动驾驶车辆的驾驶方式执行车辆的自动驾驶(步骤S632)。

另一方面，当从用户输入单元10接收到基于驾驶员的驾驶方式的自动驾驶控制的优化请求的用户输入时(步骤S612中的“是”)，信息采集单元120可以配置为从安装于车辆的外围装置10和/或传感器装置20获取路线和周围环境信息(步骤S621)。具体地，周围环境信息可以包括道路信息、交通信息或障碍物信息中的至少一种。

此后，控制器130可以配置为基于由信息采集单元120采集到的各种周围环境信息来确定路线上是否存在学习路段(步骤S622)。例如，学习路段可以包括延迟/拥堵情况、加速/减速情况、意外情况、直道路段、弯道路段、下坡路段以及电子收费路段。

当车辆的当前行驶情况不对应于学习路段时(步骤S622中的“否”)，控制方法S600可以返回至步骤S621。另一方面，当车辆的当前行驶情况对应于学习路段时(步骤S622中为“是”)，控制器130可以配置为从自动驾驶模式切换至手动驾驶模式，并将车辆控制权转移给驾驶员(步骤S623)。此后，控制器130可以配置为获取驾驶员的操作信息，所述驾驶员的操作信息是获得车辆控制权的驾驶员施加于车辆的驱动装置30的(步骤S624)。具体地，驾驶员的操作信息可以包括方向盘、加速踏板或制动踏板中的至少一种的操作信息。

此后，控制器130可以配置为：获取基于设置的规则在车辆中预先设置的第一自动驾驶控制值α与基于驾驶员的操作信息而计算出的至少一个用户控制值β_i之间的误差δ(通过比较α与β_i获取该误差δ)，并且通过更新第一自动驾驶控制值α使得误差δ相对于学习速率η的变化率Δδ(Δδ＝dδ/dη)收敛于最小临界值，从而学习驾驶员的驾驶方式(步骤S625)。具体地，可以将强化学习算法(一种机器学习)用作学习方法的一个示例。

此外，控制器130可以配置为通过将补偿权重w应用于误差δ来执行至少一个用户控制值β_i的有效性测试(步骤S625)。具体地，可以基于驾驶员的操作信息，根据碰撞风险w1或乘坐舒适性指数w2中的至少一种，将补偿权重w设置为不同的值。此后，控制器130可以配置为确定驾驶员的操作的累积频率n是否达到临界学习频率N(步骤S626)。具体地，驾驶员操作的累积频率n指的是在相应的学习路段中施加于驱动装置30的驾驶员操作的频率的累积值，并且临界学习频率N指的是在最小临界值内误差变化率Δδ的收敛频率。

控制器130可以配置为重复执行步骤S621至S625，直到驾驶员的操作的累积频率n达到临界学习频率N为止(在步骤S626中的“是”)。作为步骤S626的确定的结果，当驾驶员的操作的累积频率n达到临界学习频率N时(在步骤S626中的“否”)，控制器130可以配置为输出基于学习到的驾驶员的驾驶方式而更新的自动驾驶控制值α'，存储单元140可以配置为生成与驾驶员标识信息相对应的至少一个学习表(步骤S627)。具体地，可以通过构造用于学习路段L和驾驶员的驾驶方式或更新的自动驾驶控制值α'的索引来生成至少一个学习表142中的每一个以对应于至少一个驾驶员标识信息中的每一个(用户1、用户2、用户3等)。

此后，控制器130可以配置为基于学习到的驾驶员的驾驶方式来提取路线上的至少一个边界点，并且通过多项式回归分析将车辆的当前位置和至少一个边界点进行连接来生成行驶路线(步骤S631)。上面参考图3A和图3B描述了这些步骤，将省略其详细描述。此后，控制器130可以配置为基于生成的行驶路线和学习到的驾驶员的驾驶方式来执行车辆的自动驾驶(步骤S632)。

根据一个示例性实施方案的上述控制方法可以记录为能够在计算机中执行并存储在非易失性计算机可读记录介质中的程序，例如，非易失性计算机可读记录介质可以包括：ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置等。

非易失性计算机可读记录介质可以分布到通过网络连接的计算机系统，本文中，可以以分布式方式存储和执行计算机可读代码。此外，实施方案所属领域的程序员可以容易地推断出用于实现上述方法的功能性程序、代码和代码段。

从以上描述显而易见的是，用于控制自动驾驶车辆的装置和方法可以根据驾驶员的驾驶倾向灵活地应对行驶情况，避免了统一的驾驶方式，从而执行用户友好的自动驾驶控制。因此，可以减小驾驶员的实际驾驶与自动驾驶之间的差异感。此外，可以构造多个用户的学习表，因此，可以利用驾驶员定制的自动驾驶策略，并且可以满足用户的个人乘坐舒适性要求。

尽管已经结合本发明的实施方案解释了本发明，但是应当理解的是，对于本领域技术人员而言，在阅读说明书后，其各种修改将变得显而易见。除非它们彼此不兼容，否则上述实施方案的技术内容可以组合为各种类型，从而可以实现新的实施方案。

对于本领域的技术人员显而易见的是，可以在本发明中做出各种修改和变更，而不偏离本发明的精神或范围。因此，本发明旨在涵盖本发明的修改和变更，只要这些修改和变更在所附权利要求及其等价形式的范围内。

Claims (15)

1.一种用于控制自动驾驶车辆的装置，其包括：

用户输入单元，其配置为在自动驾驶期间接收车辆中的驾驶员的标识信息；

信息采集单元，其配置为获取车辆的全局路线和周围环境信息；以及

控制器，其配置为：基于周围环境信息来确定全局路线上的学习路段，并且基于学习路段中的驾驶员的操作信息通过执行重复学习来输出驾驶员的驾驶方式；

其中，所述控制器配置为基于输出的驾驶员的驾驶方式来执行车辆的自动驾驶，

所述控制器配置为：通过比较在车辆中预先设置的自动驾驶控制值和基于驾驶员的操作信息计算出的至少一个用户控制值而获得自动驾驶控制值与至少一个用户控制值之间的误差，并且更新自动驾驶控制值使得误差相对于学习速率的变化率收敛于最小临界值内，从而学习驾驶员的驾驶方式，

所述控制器配置为：通过将补偿权重w应用于误差来执行至少一个用户控制值的有效性测试，

基于驾驶员的操作信息，根据碰撞风险w1和乘坐舒适性指数w2中的至少一个，将补偿权重w设置为不同的值，

补偿权重w设置为：使得碰撞风险w1与碰撞时间成反比，并且乘坐舒适性指数w2与加加速度的大小成反比，加加速度的大小为加速度的变化率。

2.根据权利要求1所述的用于控制自动驾驶车辆的装置，其中，所述周围环境信息包括从由安装于车辆的传感器采集到的道路信息、交通信息和障碍物信息组成的组中选择的至少一种。

3.根据权利要求1所述的用于控制自动驾驶车辆的装置，其中，所述学习路段包括从由延迟/拥堵情况、加速/减速情况、意外情况、直道路段、弯道路段、下坡路段以及电子收费路段组成的组中选择的至少一种。

4.根据权利要求1所述的用于控制自动驾驶车辆的装置，其中，所述控制器配置为：当基于周围环境信息识别出的车辆的当前行驶情况对应于学习路段时，从自动驾驶模式切换到手动驾驶模式并且将车辆控制权转移给驾驶员。

5.根据权利要求1所述的用于控制自动驾驶车辆的装置，其中，所述驾驶员的操作信息包括从由安装在车辆内的方向盘、加速踏板和制动踏板组成的组中选择的至少一个的操作信息。

6.根据权利要求1所述的用于控制自动驾驶车辆的装置，其中，所述自动驾驶控制值和用户控制值中的每一个包括从由车辆的转向角、加速度、减速度、相对速度、转弯半径、横向加速度和纵向加速度组成的组中选择的至少一个。

7.根据权利要求1所述的用于控制自动驾驶车辆的装置，其进一步包括存储单元，所述存储单元配置为通过生成用于学习路段和驾驶员的驾驶方式的索引、根据驾驶员的标识信息来生成学习表。

8.根据权利要求1所述的用于控制自动驾驶车辆的装置，其中，所述控制器配置为：

根据驾驶员的驾驶方式，提取全局路线上的至少一个边界点；

通过多项式回归分析将车辆的当前位置与至少一个边界点进行连接来生成行驶路线；

根据生成的行驶路线执行车辆的自动驾驶。

9.根据权利要求8所述的用于控制自动驾驶车辆的装置，其中，所述至少一个边界点包括转向角的变化率超过临界范围的点。

10.一种用于控制自动驾驶车辆的方法，其包括：

由控制器在自动驾驶期间接收车辆内驾驶员的标识信息；

由控制器从安装于车辆的传感器获取车辆的全局路线和周围环境信息；

由控制器基于周围环境信息确定全局路线上的学习路段；

由控制器基于学习路段中驾驶员的操作信息通过执行重复学习来输出驾驶员的驾驶方式；

由控制器基于输出的驾驶员的驾驶方式执行车辆的自动驾驶，

其中，输出驾驶员的驾驶方式包括：

由控制器，通过比较在车辆中预先设置的自动驾驶控制值和基于驾驶员的操作信息计算出的至少一个用户控制值而获得自动驾驶控制值与至少一个用户控制值之间的误差；并且

由控制器更新自动驾驶控制值使得误差相对于学习速率的变化率收敛于最小临界值内，从而学习驾驶员的驾驶方式，

学习驾驶员的驾驶方式包括：

由控制器通过将补偿权重w应用于误差来执行至少一个用户控制值的有效性测试，

基于驾驶员的操作信息，根据碰撞风险w1和乘坐舒适性指数w2中的至少一个，将补偿权重w设置为不同的值，

补偿权重w设置为：使得碰撞风险w1与碰撞时间成反比，并且乘坐舒适性指数w2与加加速度的大小成反比，加加速度的大小为加速度的变化率。

11.根据权利要求10所述的用于控制自动驾驶车辆的方法，其中，确定学习路段包括：

当基于周围环境信息识别出的车辆的当前行驶情况对应于学习路段时，由控制器从自动驾驶模式切换到手动驾驶模式并且将车辆控制权转移给驾驶员。

12.根据权利要求10所述的用于控制自动驾驶车辆的方法，其进一步包括：

由控制器通过生成用于学习路段和驾驶员的驾驶方式的索引、根据驾驶员的标识信息来生成学习表。

13.根据权利要求10所述的用于控制自动驾驶车辆的方法，其进一步包括：

由控制器根据驾驶员的驾驶方式提取全局路线上的至少一个边界点；

由控制器通过多项式回归分析将车辆的当前位置与所述至少一个边界点进行连接来生成行驶路线；

其中，在执行车辆的自动驾驶时，基于所生成的行驶路线来进行车辆的自动驾驶。

14.根据权利要求13所述的用于控制自动驾驶车辆的方法，其中，所述至少一个边界点包括转向角的变化率超过临界范围的点。

15.一种非易失性计算机可读记录介质，其上记录有应用程序，所述应用程序在由处理器执行时使处理器执行根据权利要求10所述的用于控制自动驾驶车辆的方法。