CN112519803A - 自动驾驶控制系统及自动驾驶控制装置 - Google Patents

Abstract

本发明涉及一种自动驾驶控制系统，其包括：数据交换单元，配置成获取视频数据流并将视频数据流分发到至少一个计算单元；至少一个计算单元，配置成从视频数据流计算感知结果数据；传感器融合单元，配置成将感知结果数据与传感器数据进行融合以得到融合结果数据；以及规划控制单元，配置成基于融合结果数据生成驾驶控制指令；其中，规划控制单元或传感器融合单元配置成提供数据交换单元的旁路。在任一单元发生异常时，该自动驾驶控制系统可提供相应的旁路来维持自动驾驶功能。

Description

自动驾驶控制系统及自动驾驶控制装置

技术领域

本发明涉及一种自动驾驶控制系统。

背景技术

自动驾驶控制系统需要具备感知、融合、定位、路径规划、决策控制、V2X、高速数据传输等能力，在实际应用中通常需要连接多个摄像装置、毫米波雷达、激光雷达，及惯性测量单元等设备，以实现高级辅助驾驶功能和不同等级的自动驾驶功能。因此，自动驾驶应用和算法软件对控制系统提出了高运算能力、高带宽、实时性和安全性等需求。

在需要同时满足实时性和安全性的前提下，现有的自动驾驶控制系统往往难以兼顾，而在系统出现异常时又难以快速恢复。

发明内容

根据本发明的一个方面，提供一种自动驾驶控制系统，其包括：数据交换单元，配置成获取视频数据流并将视频数据流分发到至少一个计算单元；至少一个计算单元，配置成从视频数据流计算感知结果数据；传感器融合单元，配置成将感知结果数据与来自外部传感器的传感器数据进行融合以得到融合结果数据；以及规划控制单元，配置成基于融合结果数据生成驾驶控制指令；其中，规划控制单元或传感器融合单元配置成提供数据交换单元的旁路。

可选地，传感器融合单元还配置成：在数据交换单元处于非工作状态时计算第二感知数据，并基于第二感知数据与传感器数据生成融合结果数据。

可选地，传感器融合单元还配置成：在规划控制单元处于非工作状态时生成用于驾驶控制的第二控制指令。

可选地，规划控制单元还配置成：在数据交换单元处于非工作状态时计算第三感知数据，以提供给传感器融合单元。

可选地，规划控制单元还配置成：提供传感器融合单元的旁路，以在传感器融合单元处于非工作状态时计算融合结果数据。

可选地，数据交换单元还配置成：在传感器融合单元处于非工作状态时提供融合结果数据。

可选地，数据交换单元还配置成从外部存储装置中获取以下中的至少一项：数据交换单元的配置参数；传感器融合单元的配置参数；以及规划控制单元的配置参数。

根据本发明的另一个方面，提供一种自动驾驶控制装置，其包括如上所述的自动驾驶控制系统。

本发明提供的自动驾驶控制系统可兼顾对驾驶控制指令的实时性与安全性的要求。在数据交换单元出现异常时，可由传感器融合单元或规划控制单元提供的旁路代替数据交换单元工作，进而，车辆的自动驾驶功能不会受到影响，而且用户不会感受到从主回路到旁路的切换。在其他单元发生异常时，该控制系统也可以提供相应的旁路来维持自动驾驶功能。该自动驾驶控制系统可以实现在一块集成电路上，制造成本较低。

附图说明

图1示出根据本发明一些实施例的自动驾驶控制系统的模块图。

图2示出在数据交换单元不工作时自动驾驶控制系统的有效模块图。

具体实施方式

在以下描述中提出具体细节，以便提供对本发明的透彻理解。然而，本领域的技术人员将清楚地知道，即使没有这些具体细节也可实施本发明的实施例。在本发明中，可进行具体的数字引用，例如“第一元件”、“第二装置”等。但是，具体数字引用不应当被理解为必须服从于其字面顺序，而是应被理解为“第一元件”与“第二元件”不同。

本发明所提出的具体细节只是示范性的，具体细节可以变化，但仍然落入本发明的精神和范围之内。术语“耦合”定义为表示直接连接到组件或者经由另一个组件而间接连接到组件。“旁路”是指区别于主回路（主信号通路）的另一信号（包括电信号、数字信号等）通路，在需要切换时，原本经由主回路的信号可以经由旁路在两个单元之间传递并得到处理，而不影响原系统的功能性。因此，旁路一般地包括处理单元和信号通路，其中，处理单元可复用主回路的处理单元，也可采用独立的一个处理单元。

以下通过参照附图来描述适于实现本发明的方法、系统和装置的优选实施例。虽然各实施例是针对元件的单个组合来描述，但是应理解，本发明包括所公开元件的所有可能组合。因此，如果一个实施例包括元件A、B和C，而第二实施例包括元件B和D，则本发明也应被认为包括A、B、C或D的其他剩余组合，即使没有明确公开。

图1示出本发明提供的一种自动驾驶控制系统，其包括数据交换单元200、多个计算单元211、传感器融合单元22和规划控制单元24。该自动驾驶控制系统实现在一块集成电路上，其中各单元之间可经由CAN总线耦合。作为示例，其中数据交换单元200可采用现场可编程门阵列电路（FPGA）来实现，并以实时语言（RTL）级代码来实现。FPGA具有接口灵活、可大规模并行计算的特点，在这样的架构下的数据交换单元200可以满足高带宽下数据传输实时性的需求，也具有数据流配置的灵活性。

具体来说，数据交换单元200可从设置于车辆上的至少一个摄像装置101、102、103获取视频数据流，并将视频数据流分发到相应的计算单元211。各计算单元211可从视频数据流计算感知结果数据，感知结果数据经数据交换单元200被转发至传感器融合单元22。感知结果数据包括对车辆四周的行人、障碍物、路况的感知结果，以用来实时地生成驾驶控制指令。由此，数据交换单元200和计算单元211的运算能力及带宽应满足实时性的要求。其中，计算单元211可采用专用的神经网络加速芯片(NPU)来实现，NPU对基于神经网络的算法进行了专门的优化，以提高算法的执行效率。

在一些改进的实施例中，各摄像装置101、102、103获取的视频数据流被提供至相应的图像信号处理单元206（ISP）进行预处理，经预处理可滤除噪声信号、背景图像信息，并可进一步提取感兴趣区域信息。进而，数据交换单元200及计算单元211的计算负担可被降低，有利于提高控制系统的运算效率与所生成的驾驶控制指令的实时性。

传感器融合单元22可将感知结果数据与其自身从摄像装置中的前视摄像头101、毫米波雷达105、超声波传感器106获得的传感器数据进行融合以得到融合结果数据。作为外部传感器，毫米波雷达105、超声波传感器106可获得高精度的传感器数据，有利于确保自动驾驶的安全性。在一些实施例中，仅在感知结果数据表明车辆附近有行人或障碍物时，才启动毫米波雷达105和超声波传感器106进行进一步感测，以确定一个或多个行人、障碍物的方位、尺寸与距离。由此，与感知结果数据相比，融合结果数据的精度更高。

融合结果数据被传送至规划控制单元24。规划控制单元24可基于融合结果数据生成驾驶控制指令，驾驶控制指令被传送至车辆上的执行器33，从而实现自动驾驶或辅助驾驶。执行器例如包括加速踏板、制动踏板和方向盘。驾驶控制指令包括加速度控制指令、方向盘转角控制指令等。规划控制单元24中可包括比例积分微分(PID)控制器、模型预测(MPC)控制器以及可学习驾驶员的驾驶习惯的机器学习模块等。

在本发明的各实施例中，规划控制单元24或传感器融合单元22配置成提供或实现数据交换单元200的旁路。由此，在数据交换单元200不工作或发生异常时，至少一部分的视频数据流和传感器数据可通过旁路接入传感器融合单元22或规划控制单元24，从而使得自动（辅助）驾驶功能不受到严重影响，这提高了系统的安全性与可靠性。

在一些实施例中，如图2所示，在数据交换单元200处于非工作状态时，经由传感器融合单元22提供的旁路（作为数据交换单元的旁路），传感器融合单元22可从摄像装置中的前视摄像头101获取视频数据，执行备份感知程序以计算第二感知数据，从而可代替数据交换单元200及计算单元211的功能性。传感器融合单元22进一步基于第二感知数据与传感器数据来生成融合结果数据；规划控制单元24的工作不会受到影响。即使第二感知数据在准确度上与数据交换单元200联合计算单元211所产生的感知结果数据相比可能有所降级，数据交换单元200发生异常时系统能够快速恢复，用户甚至察觉不到从数据交换单元200主回路到其旁路的切换，而车辆的自动驾驶功能始终能够正常工作。在图2中不工作的模块以虚线框示出。在另一些实施例中，若一个或多个计算单元211发生异常，可采用与上述数据交换单元200发生异常时大体上相同的处理策略，即，由传感器单元提供的旁路来代替数据交换单元200及计算单元211的功能性，或者，由规划控制单元提供的旁路来代替数据交换单元200及计算单元211的功能性。

根据本发明的一些实施例，传感器融合单元22还能够代替规划控制单元24的工作。具体来说，在规划控制单元24异常或处于非工作状态时，经由传感器融合单元22提供的旁路（作为规划控制单元的旁路），传感器融合单元22可执行备份规划程序以生成第二控制指令。这样，传感器融合单元22执行两种不同的计算，其中，通过主信号通路实现的计算是将感知结果数据与传感器数据融合，而通过旁路实现的计算是执行上述备份规划程序。这两种不同的计算可通过两个独立的处理器实现、或者由同一处理器按时分复用方式实现。所生成的第二控制指令被传送至执行器33以实现自动（或辅助）驾驶。由此，在规划控制单元24发生异常时，经由上述旁路，传感器融合单元22可至少部分地完成规划控制单元的工作，而不会影响到自动驾驶功能。

作为进一步的改进，传感器融合单元22还经由路测单元(RSU)和车载单元(OBU)107获取基于V2X技术的传感器信号，这些传感器信号例如可包含信号灯信息、路况信息、限速信息、其他的道路标志信息等。传感器融合单元22将各种传感器信号与数据交换单元200提供的感知结果数据进行融合以获得融合结果数据，其不仅指示行人或障碍物的方位、尺寸及距离，还可指示当前的道路情况。相应地，规划控制单元24（若其工作正常的话）也可生成更符合当前道路情况的驾驶控制指令，从而提升自动驾驶的安全性。

规划控制单元24与传感器融合单元22均可基于通用的芯片架构来实现。作为示例，规划控制单元24与传感器融合单元22均可采用系统级芯片(System on Chip,简称Soc)的形式，这样，两块系统级芯片与数据交换单元200所采用的FPGA芯片共同集成于一块印刷电路板上，组成可生成驾驶控制指令的自动驾驶控制系统。

在本发明的一些实施例中，由规划控制单元24提供旁路来代替数据交换单元200工作。具体而言，当数据交换单元200处于非工作状态时，不是由传感器融合单元22来替代，而是由规划控制单元24来替代其工作。规划控制单元24通过其提供的旁路（作为数据交换单元的旁路）来获取部分视频数据流、执行备份感知程序，生成第三感知数据并提供给传感器融合单元22。传感器融合单元22收到第三感知数据后，将其与传感器数据融合生成融合结果数据。随后，规划控制单元24的主信号通路再基于融合结果数据生成驾驶控制指令。即，规划控制单元24提供的旁路在计算逻辑上先于传感器融合单元22，而规划控制单元24的主信号通路在计算逻辑上处于传感器融合单元22之后。

作为进一步的改进，规划控制单元24还可从车身模块120获取车身信号，基于车身信号与传感器融合单元22提供的融合结果数据来生成驾驶控制指令。车身信号例如包括轮速信号、方向盘转角信号、电机扭矩信号等。这样，驾驶控制指令更为细化，能够使得自动驾驶控制系统从提供辅助驾驶升级为提供自动驾驶。

根据本发明的一些实施例，规划控制单元24还可代替传感器融合单元22工作。具体来说，规划控制单元24为传感器融合单元22提供一个旁路，当传感器融合单元22处于非工作状态时，该旁路准许原先进入传感器融合单元22的毫米波信号（来自毫米波雷达105）和超声波信号（来自超声波传感器106）进入该旁路，在该旁路中与感知结果数据（来自数据交换单元200）进行融合，并生成融合结果数据。规划控制单元24的主信号通路再基于融合结果数据生成驾驶控制指令。

在本发明的一些实施例中，数据交换单元200可外接一个外部存储装置112，例如，移动硬盘、闪存、各种非暂时性计算机可读存储装置、甚至智能手机等。数据交换单元200可配备USB接口、PCIE接口、Lighting接口等与外部存储装置112进行连接。外部存储装置112上可储存各单元的配置参数，包括数据交换单元200的配置参数、传感器融合单元22的配置参数及规划控制单元24的配置参数，这些配置参数不仅可用于相应单元的计算过程，也可以用于用户的个性化定制。在车辆启动后，数据交换单元200自动地从外部存储装置读取各单元的配置参数，在执行辅助驾驶或自动驾驶时，数据交换单元200将这些配置参数应用到其自身、传感器融合单元22、及规划控制单元24。在车辆驻停后，之前驾驶过程中各单元所采用的各种参数可被保存到外部存储装置112中。用户可携带外部存储装置112用于另一台车辆，这样，用户的个性化参数可在不同的车辆间共享。

在本发明的一些实施例中，数据交换单元200可以在传感器融合单元22处于非工作状态时，执行备份融合程序来输出融合结果数据。由此，数据交换单元200可为传感器融合单元22提供旁路。在需要时，原先进入传感器融合单元22的传感器数据中的至少一部分可被转送至数据交换单元200所提供的旁路，再由一个计算单元211执行备份融合程序来生成融合结果数据。备份融合程序可以是传感器融合单元22所执行的融合程序的一个简化版本，其被配置成适合由数据交换单元200及计算单元211执行。

除了通过在两个单元之间提供主信号通路和旁路之外，为了确保自动驾驶的安全性，还可以进一步提供多个输出通路，这些输出通路均指向车辆的各种执行器。这样，在一个输出通信发生异常时，另一输出通路能够代替其工作。作为示例，规划控制单元24经第一输出通路耦合至车辆的各执行器，而传感器融合单元22经第二输出通路耦合至各执行器，两个输出通路彼此独立。

上述可生成驾驶控制指令的自动驾驶控制系统为数据交换单元200、计算单元211、传感器融合单元22、规划控制单元24分别提供了相应的旁路，这样，自动驾驶控制系统具备冗余备份功能。在其中任一个单元发生异常时，都有相应的补救策略来维持车辆的自动驾驶功能、确保驾驶的安全性。此外，该自动驾驶控制系统可实现在一块集成电路上，可尽量利用市场上可售芯片来制造，使得实施成本较低，便于在行业内推广应用。

本发明另一些实施例提供的自动驾驶控制装置采用了上述自动驾驶控制系统来生成驾驶控制指令。自动驾驶控制装置可设置于单台车辆上，为该车辆提供辅助或自动驾驶功能。自动驾驶控制装置包括一个集成电路，该集成电路包括经由CAN总线彼此耦合的数据交换单元200、多个计算单元211、传感器融合单元22和规划控制单元24。其中，数据交换单元200、计算单元采用FPGA芯片实现，传感器融合单元22和规划控制单元24采用SOC芯片实现。

在一些实施例中，自动驾驶控制装置的至少一部分还可采用通信网络所连接的一组分布式计算装置来实现，或，基于“云”来实现。在这种系统中，多个分布式计算装置共同操作，通过使用共享资源来提供服务。作为示例，在高速公路上通行的多台车辆可连接到公共的服务器，其提供当前道路信息、限速信息等，以便于各车辆基于这些公共信息与各车辆获取的视频数据流、传感器数据等生成相应的驾驶控制指令。这种部分地基于“云”的驾驶控制装置具备开放性、灵活性和可扩展性。

本发明另外提供一种自动驾驶功能的车辆，其采用上述自动驾驶控制装置来帮助驾驶员驾驶车辆或自动驾驶而让驾驶员得到休息。

本领域的技术人员将会理解，结合本文中所公开的方面所描述的各种说明性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了表明硬件和软件间的可互换性，各种说明性部件、块、模块、电路和步骤在上文根据其功能性总体地进行了描述。这样的功能性是实现为硬件还是软件将取决于特定应用以及对总体系统所施加的设计限制。技术人员可以针对具体的特定应用、按照变化的方式来实现所描述的功能性，但是，这样的实现方式决策不应当被理解为引起与本发明范围的背离。

上述说明仅针对于本发明的优选实施例，并不在于限制本发明的保护范围。本领域技术人员可能作出各种变形设计，而不脱离本发明的思想及附随的权利要求。

Claims (16)

1.一种自动驾驶控制系统，包括：

数据交换单元，配置成获取视频数据流并将所述视频数据流分发到至少一个计算单元；

所述至少一个计算单元，配置成从所述视频数据流计算感知结果数据；

传感器融合单元，配置成将所述感知结果数据与来自外部传感器的传感器数据进行融合以得到融合结果数据；以及

规划控制单元，配置成基于所述融合结果数据生成驾驶控制指令；

其中，所述规划控制单元或所述传感器融合单元配置成提供所述数据交换单元的旁路。

2.根据权利要求1所述的控制系统，其特征在于，所述传感器融合单元还配置成：

在所述数据交换单元处于非工作状态时计算第二感知数据，并基于所述第二感知数据与所述传感器数据生成所述融合结果数据。

3.根据权利要求1所述的控制系统，其特征在于，所述传感器融合单元还配置成：

在所述规划控制单元处于非工作状态时生成用于驾驶控制的第二控制指令。

4.根据权利要求1所述的控制系统，其特征在于，所述规划控制单元还配置成：

在所述数据交换单元处于非工作状态时计算第三感知数据，以提供给所述传感器融合单元。

5.根据权利要求1所述的控制系统，其特征在于，所述规划控制单元还配置成：

提供所述传感器融合单元的旁路，以在所述传感器融合单元处于非工作状态时计算所述融合结果数据。

6.根据权利要求1所述的控制系统，其特征在于，所述数据交换单元还配置成：

在所述传感器融合单元处于非工作状态时提供所述融合结果数据。

7.根据权利要求1至6中的任一项所述的控制系统，其特征在于，所述数据交换单元采用现场可编程门阵列电路来实现。

8.根据权利要求1至6中的任一项所述的控制系统，其特征在于，所述规划控制单元和所述传感器融合单元分别采用第一芯片和第二芯片来实现。

9.根据权利要求1所述的控制系统，其特征在于，所述数据交换单元配置成：

从设置于车辆上的至少一个摄像装置获取所述视频数据流。

10.根据权利要求9所述的控制系统，其特征在于，所述数据交换单元还配置成从外部存储装置中获取以下中的至少一项：

所述数据交换单元的配置参数；

所述传感器融合单元的配置参数；以及

所述规划控制单元的配置参数。

11.根据权利要求9所述的控制系统，其特征在于，所述外部传感器包括所述至少一个摄像装置中的前视摄像头。

12.根据权利要求11所述的控制系统，其特征在于，所述外部传感器包括：

毫米波雷达；

超声波传感器；

路测单元；以及

车载单元。

13.根据权利要求9所述的控制系统，其特征在于，所述规划控制单元还配置成获取车身信号，并基于所述车身信号和所述融合结果数据生成所述驾驶控制指令，其中，所述车身信号包括以下中的至少一项：

轮速；

方向盘转角；以及

电机扭矩。

14.根据权利要求9至13中任一项所述的控制系统，其特征在于，所述规划控制单元经第一输出通路耦合至车辆的执行器，所述传感器融合单元经第二输出通路耦合至所述执行器。

15.一种自动驾驶控制装置，包括如权利要求1-14中任一项所述的自动驾驶控制系统。

16.一种车辆，其配置成采用如权利要求15所述的自动驾驶控制装置来自动驾驶或辅助驾驶。

Images