CN115871719A - 一种用于智能驾驶的域控制方法、装置、系统和存储介质 - Google Patents

一种用于智能驾驶的域控制方法、装置、系统和存储介质 Download PDF

Info

Publication number
CN115871719A
CN115871719A CN202310123472.5A CN202310123472A CN115871719A CN 115871719 A CN115871719 A CN 115871719A CN 202310123472 A CN202310123472 A CN 202310123472A CN 115871719 A CN115871719 A CN 115871719A
Authority
CN
China
Prior art keywords
driving
chip
vehicle
information
environment information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310123472.5A
Other languages
English (en)
Inventor
汪晓晖
顾问
周强
郭长江
郭宁宁
何雨阳
孙见
曹葵康
刘军传
徐一华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tztek Technology Co Ltd
Original Assignee
Tztek Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tztek Technology Co Ltd filed Critical Tztek Technology Co Ltd
Priority to CN202310123472.5A priority Critical patent/CN115871719A/zh
Publication of CN115871719A publication Critical patent/CN115871719A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明提供一种用于智能驾驶的域控制方法、装置、系统和存储介质,该方法包括:通过包括摄像头、毫米波雷达、超声波雷达、激光雷达类型的传感器实时采集车辆周围的环境信息;基于目标地图对所述环境信息按不同空间进行分析,得到综合环境信息;通过千兆以太网和高速串行点对点双通道高带宽传输方式传输所述综合环境信息;根据驾驶任务基于所述综合环境信息对驾驶的路径进行规划,获得驾驶规划信息;基于所述驾驶规划信息利用车辆线控系统控制车辆执行驾驶操作。多种类型和数量的传感器数据的融合提升了车辆环境数据的准确性,为最终智能操纵车辆提供了安全保证。

Description

一种用于智能驾驶的域控制方法、装置、系统和存储介质
技术领域
本发明涉及智能驾驶领域,尤其涉及一种用于智能驾驶的域控制方法、装置、系统和存储介质。
背景技术
当前,在智能驾驶领域,L0和L1级别的智能辅助驾驶已经比较普及,如前车跟随、定速巡航、主动刹车等。
但是面对近几年发展非常快的L2到L2+级别的如自动泊车,自动超车,自动驾驶等辅助驾驶功能需求,L0和L1级别的智能辅助驾驶已经无法满足。智驾行业正在从分布式功能控制器向域控制器,再到进一步域融合和中央集中式方向发展,硬件角度的趋势是控制器集成化程度越来越高。而现有的域控制器系统成本较高,集成度与性能难以平衡,同时兼容性较低,无法满足快速发展的汽车控制需求。所以需要提出新的技术方案以满足L2到L2+级别的智能驾驶域控制需求。
发明内容
有鉴于此,本发明的目的在于提供一种用于智能驾驶的域控制方法、装置、系统和存储介质。
为解决上述技术问题,本发明采用以下技术方案:
第一方面,根据本发明实施例的一种用于智能驾驶的域控制方法,所述方法包括:
通过包括摄像头、毫米波雷达、超声波雷达、激光雷达类型的传感器实时采集车辆周围的环境信息;
基于目标地图对所述环境信息按不同空间进行分析,得到综合环境信息;
通过千兆以太网和高速串行点对点双通道高带宽传输方式传输所述综合环境信息;
根据驾驶任务基于所述综合环境信息对驾驶的路径进行规划,获得驾驶规划信息;
基于所述驾驶规划信息利用车辆线控系统控制车辆执行驾驶操作。
进一步的,所述通过包括摄像头、毫米波雷达、超声波雷达、激光雷达类型的传感器实时采集车辆周围的环境信息包括:
通过AI芯片采集至少2路8M前置摄像头、2路8M后置摄像头、4路2M侧视摄像头、第一4路2M环视摄像头的第一环境信息,所述2路8M前置摄像头、2路8M后置摄像头、4路2M侧视摄像头、第一4路2M环视摄像头通过串行/解串器连接到所述AI芯片;
通过以太网交换机采集至少3路激光雷达和1路4D毫米波雷达的第二环境信息;以及,
通过微控制器采集至少12路超声波雷达和5路毫米波雷达的第三环境信息。
进一步的,所述基于目标地图对所述环境信息按不同空间进行分析,得到综合环境信息包括:
通过经过预处理的所述实时采集的车辆周围的环境信息对互联网地图进行更新,得到目标地图;
对所述环境信息按不同空间进行分类,得到分类环境信息;
在所述目标地图上融合所述分类环境信息,获得综合环境信息。
进一步的,所述AI芯片采用贝叶斯架构BPU,所述微控制器包括3对ARM Cortex R5双核锁步CPU和4MB片内SRAM。
进一步的,所述通过千兆以太网和高速串行点对点双通道高带宽传输方式传输所述综合环境信息包括:
AI芯片通过千兆以太网交换机和PCIE接口传输所述综合环境信息。
进一步的,所述根据驾驶任务基于所述综合环境信息对驾驶的路径进行规划,获得驾驶规划信息包括:
基于驾驶目的地确定的驾驶任务;
基于驾驶任务确定初步驾驶路径;
基于所述综合环境信息对所述初步驾驶路径进行规划,获得最终驾驶规划信息。
进一步的,所述基于所述驾驶规划信息利用车辆线控系统控制车辆执行驾驶操作包括:
基于所述驾驶规划控制信息确定相应的目标驾驶操作;
基于所述目标驾驶操作和车辆控制系统的控制操作与驾驶操作的映射关系确定车辆控制系统的目标控制操作;
通过所述目标控制操作控制车辆执行驾驶操作。
第二方面,根据本发明实施例的一种用于智能驾驶的域控制装置,该装置包括:信息采集模块、数据分析模块、数据通信模块、驾驶规划模块和车辆控制模块,其中,
所述信息采集模块,用于通过包括摄像头、毫米波雷达、超声波雷达、激光雷达类型的传感器实时采集车辆周围的环境信息;
所述数据分析模块,用于基于目标地图对所述环境信息按不同空间进行分析,得到综合环境信息;
所述数据通信模块,用于通过千兆以太网和高速串行点对点双通道高带宽传输方式,将所述综合环境信息发送给驾驶规划模块;
所述驾驶规划模块,用于根据驾驶任务基于所述综合环境信息对驾驶的路径进行规划,获得驾驶规划信息;
所述车辆控制模块,用于基于所述驾驶规划信息利用车辆线控系统控制车辆执行驾驶操作。
第三方面,根据本发明实施例的一种用于智能驾驶的域控制方系统,所述系统包括:第一AI芯片、第二AI芯片、以太网交换机、第三AI芯片、微控制器,所述第一AI芯片和所述第二AI芯片通过所述以太网交换机和高速串行点对点双通道高带宽传输方式与所述第三AI芯片通信连接,所述第一AI芯片和所述第二AI芯片通过所述以太网交换机与所述微控制器通信连接,其中,
所述第一AI芯片和所述第二AI芯片通过包括摄像头、毫米波雷达、超声波雷达、激光雷达类型的传感器实时采集车辆周围的环境信息;
所述第二AI芯片基于目标地图对所述环境信息按不同空间进行分析,得到综合环境信息;
所述第三AI芯片根据驾驶任务基于所述综合环境信息对驾驶的路径进行规划,获得驾驶规划信息;
所述微控制器基于所述驾驶规划信息利用车辆线控系统控制车辆执行驾驶操作。
第四方面,根据本发明实施例的一种计算机存储介质,所述计算机存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如前所述的域控制方法。
本申请提出的用于智能驾驶的控制方法、装置、系统和存储介质,通过对各种传感器采集的车辆周围的外部数据进行处理,并与已有地图进行数据融合,并通过千兆以太网和高速串行点对点双通道高带宽传输方式进行数据传输,使得可以快速基于融合数据确定驾驶规划,并最终控制车辆。多种类型和数量的传感器数据的融合提升了车辆环境数据的准确性,为最终智能操纵车辆提供了安全保证。
附图说明
图1为本发明实施例提供的用于智能驾驶的域控制方法的一种流程示意图;
图2为本发明实施例提供的用于智能驾驶的域控制方法中的信息采集方法流程示意图;
图3为本发明实施例提供的用于智能驾驶的域控制方法中的获取综合环境信息的方法的流程示意图;
图4为本发明实施例提供的用于智能驾驶的域控制方法中的获取驾驶规划信息的方法的流程示意图;
图5为本发明实施例提供的用于智能驾驶的域控制方法中的执行驾驶操作的方法的流程示意图;
图6为本发明实施例提供的用于智能驾驶的域控制装置的整体结构示意图;
图7为本发明实施例提供的用于智能驾驶的域控制装置的信息采集模块的结构示意图;
图8为本发明实施例提供的用于智能驾驶的域控制装置的数据分析模块的结构示意图;
图9为本发明实施例提供的用于智能驾驶的域控制装置的数据通信模块的结构示意图;
图10为本发明实施例提供的用于智能驾驶的域控制装置的驾驶规划模块的结构示意图;
图11为本发明实施例提供的用于智能驾驶的域控制装置的车辆控制模块的结构示意图;
图12为本发明实施例提供的用于智能驾驶的域控制系统的结构示意图;
图13为本发明实施例提供的用于智能驾驶的域控制系统的第一AI芯片/第二AI芯片的引脚和连接结构示意图;
图14为本发明实施例提供的用于智能驾驶的域控制系统的第三AI芯片的引脚和连接结构示意图;
图15为本发明实施例提供的用于智能驾驶的域控制系统的微控制器的引脚和连接结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例的附图,对本发明实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于所描述的本发明的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本发明保护的范围。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在对本申请实施例进行说明之前,先对相关技术进行说明:
AI为人工智能(Artificial Intelligence)的英文缩写。AI芯片也被称为AI加速器或计算卡,即专门用于处理人工智能应用中的大量计算任务的模块(其他非计算任务仍由CPU负责)。当前,AI芯片主要分为GPU、FPGA、ASIC。
PCIE属于高速串行点对点双通道高带宽传输,所连接的设备分配独享通道带宽,不共享总线带宽,主要支持主动电源管理,错误报告,端对端的可靠性传输,热插拔以及服务质量(QOS)等功能。
IMU(Inertial Measurement Unit),即惯性测量单元,用于测量物体三轴姿态角(或角速率)以及加速度。
RGMII(Reduced Gigabit Media Independent Interface)是Reduced GMII(吉比特介质独立接口)。RGMII均采用4位数据接口,工作时钟125MHz,并且在上升沿和下降沿同时传输数据,因此传输速率可达1000Mbps。
CANFD是CAN with Flexible Data rate的缩写,为可变数据速率的CAN,也可以简单的认为是传统CAN的升级版。
复位开关是主板上的插接线的插接对象之一,手按下时它发生短路,松开后又恢复开路,瞬间的短路就会让计算机重启。CANFD是CAN with Flexible Data rate的缩写,为可变数据速率的CAN,也可以简单的认为是传统CAN的升级版。
MCU又称单片微型计算机或者单片机,是把中央处理器的频率与规格做适当缩减,并将内存(memory)、计数器(Timer)、USB、A/D转换、UART、PLC、DMA等周边接口,甚至LCD驱动电路都整合在单一芯片上,形成芯片级的计算机。
LIN总线是针对汽车分布式电子系统而定义的一种低成本的串行通讯网络,是对控制器区域网络(CAN)等其它汽车多路网络的一种补充,适用于对网络的带宽、性能或容错功能没有过高要求的应用。LIN总线是基于SCI(UART)数据格式,采用单主控制器/多从设备的模式,是UART中的一种特殊情况。
JTAG接口(Joint Test Action Group,联合测试工作组),是一种国际标准测试协议(IEEE 1149.1兼容),主要用于芯片内部测试。现在多数的高级器件都支持JTAG协议,如DSP、FPGA器件等。标准的JTAG接口是4线:TMS、TCK、TDI、TDO,分别为模式选择、时钟、数据输入和数据输出线。
GPIO(General-purpose input/output),通用型之输入输出的简称,功能类似8051的P0—P3,其接脚可以供使用者由程控自由使用,PIN脚依现实考量可作为通用输入(GPI)或通用输出(GPO)或通用输入与输出(GPIO)。
UART为通用异步收发传输器(Universal Asynchronous Receiver/Transmitter)。
ADC是analog-to-digital converter的缩写,指模拟/数字转换器。DAC是digital-to-analog converter的缩写,指数模转换器。
Flexray通信总线是与汽车制造商和领先供应商共同开发的确定性、容错和高速总线系统。Flexray为线控应用(即线控驱动、线控转向、线控制动等)提供了容错和时间确定性性能要求。
如附图1所示,本发明实施例还提供了一种用于智能驾驶的域控制方法,该方法包括:
S1:通过包括摄像头、毫米波雷达、超声波雷达、激光雷达类型的传感器实时采集车辆周围的环境信息。
其中,车辆周围的环境信息尤指可以保证车辆安全行驶所需要的信息,包括路面信息(坡度、平整度、冰雪地信息等)、前后左右车辆的车速(行驶速度、加速度等)车距信息、道路指示信息(路标、交通灯信息等)。不同类型的传感器采集的信息不同,有车辆近处的视频信息,有目标物的回波信息等,通过不同类型和不同数量的传感器进行数据采集,便于获取更全面的车辆驾驶环境信息。本申请设置传感器进行数据采集的频率为实时,为智能安全驾驶提供了保障。
S2:基于目标地图对环境信息按不同空间进行分析,得到综合环境信息。
S3:通过千兆以太网和高速串行点对点双通道高带宽传输方式传输综合环境信息。
S4:根据驾驶任务基于综合环境信息对驾驶的路径进行规划,获得驾驶规划信息。
S5:基于驾驶规划信息利用车辆线控系统控制车辆执行驾驶操作。
在本发明的一个实施例中,如图2所示,步骤S1具体包括:通过AI芯片采集至少2路8M前置摄像头、2路8M后置摄像头、4路2M侧视摄像头、第一4路2M环视摄像头的第一环境信息,所述2路8M前置摄像头、2路8M后置摄像头、4路2M侧视摄像头、第一4路2M环视摄像头通过串行/解串器连接到所述AI芯片;
在一个具体实施例中,AI芯片可以为两个,可以其中一个芯片为主芯片,另一个芯片为备份芯片,也可以其中一个芯片专用于信息采集,另一个芯片除了用于信息采集还用于数据处理、计算分析等。示例性地,通过第一AI芯片采集至少2路8M前置摄像头、2路8M后置摄像头、4路2M侧视摄像头、第一4路2M环视摄像头的第一AI信息,2路8M前置摄像头、2路8M后置摄像头、4路2M侧视摄像头、第一4路2M环视摄像头通过第一串行/解串器连接到第一AI芯片。通过第二AI芯片采集至少第二4路2M环视摄像头的第二AI信息,第二4路2M环视摄像头通过第二串行/解串器连接到第二AI芯片。
还通过以太网交换机采集至少3路激光雷达和1路4D毫米波雷达的第二环境信息。
还通过微控制器采集至少12路超声波雷达和5路毫米波雷达的第三环境信息。
在一个优选实施例中,第一AI芯片和第二AI芯片采用贝叶斯架构BPU,微控制器包括3对ARM Cortex R5双核锁步CPU和4MB片内SRAM。
本实施例中,第一AI芯片连接12路摄像,第二AI芯片连接4路摄像头,分别获取车辆前后左右的视频信息,并且根据具体监控距离和范围的要求设置了不同镜头的摄像头。第二AI芯片还用于对所有传感器采集的数据进行融合处理,例如,对重复采集的信息去除冗余、将各个方向的视频画面进行无缝拼接等、初步的周围移动物体的运行轨迹的预测计算等。实际应用中,第一AI芯片和第二AI芯片可以为相同的芯片,芯片的具体摄像头的连接和实现的计算处理功能可以根据实际需要进行调整。第一AI芯片和第二AI芯片之间通过PCIE进行通信。第一AI芯片和第二AI芯片采用贝叶斯架构BPU(Brain Processor Unit大脑处理器)的J5系列芯片,可接入超过16路高清视频输入;依托强大异构计算资源,不仅适用于最先进图像感知算法加速,还可支持激光雷达、毫米波雷达等多传感器融合;支持预测规划以及H.265/JPEG实时编解码,能够满足高级别自动驾驶需求。
在本发明的一个实施例中,如图3所示,步骤S2具体包括:
通过经过预处理的实时采集的车辆周围的环境信息对互联网地图进行更新,得到目标地图。其中,经过预处理的实时采集的车辆周围的环境信息指前述经过融合处理的环境信息。互联网地图是指登载在互联网上或者通过互联网发送的基于服务器地理信息数据库形成的具有实时生成、交互控制、数据搜索、属性标注等特性的电子地图。地图获取单元对互联网地图进行更新,是将经过融合处理的环境信息在互联网地图上进行标注,例如,互联网地图的道路上标注公交站台、山路上的落石等信息。
对环境信息按不同空间进行分类,得到分类环境信息。其中,不同空间可以是车辆前后左右的空间,还可以细分到左前方、右前方等空间,从而得到车辆周围不同方位空间的信息,尤其是周围的其他车辆或移动物体的信息,包括其他车辆或移动物体在过去预设时间内的信息的记录,信息可以是相对当前车辆的距离信息。当前车辆指需要实现智能驾驶的车辆。
在目标地图上融合分类环境信息,获得综合环境信息。将分类环境信息融合到目标地图上,具体融合处理可以是计算出当前车辆与其他车辆的历史或预测距离、移动方向、相对速度等,可以是具体数值,也可以是数值区间,并在目标地图上进行适应性标注。其中,适应性标注包括适应地图及地图上物体的比例大小。通过数据分析模块结合隔传感器采集的车辆环境信息的融合处理结果在地图上的标注,获得了融合了地图和车辆环境信息的综合环境信息,将该综合环境信息提供给驾驶规划模块,为智能驾驶控制提供了安全驾驶的信息基础。
在本发明的一个实施例中,步骤S3具体包括:AI芯片通过千兆以太网交换机和PCIE接口传输综合环境信息。示例性地,第一AI芯片和/或第二AI芯片通过千兆以太网交换机传输综合环境信息,第一AI芯片和/或第二AI芯片也可以通过PCIE接口传输综合环境信息。
本申请提供千兆以太网和PCIE通信两种数据传输方式,千兆以太网可以提供可靠传输,且提供千兆带宽,PCIE通信的数据传输时延可以在毫秒数量级,对具有不同数据传输要求的数据采用不同的传输方式。
在本发明的一个实施例中,如图4所示,步骤S4具体包括:
基于驾驶目的地确定的驾驶任务。获取到智能驾驶用户的驾驶目的地后,将当前车辆所在地址安全行驶到目的地的任务,确定为驾驶任务。
基于驾驶任务确定初步驾驶路径。先查找该驾驶任务是否有过历史驾驶经验,若有,则将历史驾驶路径确定为初步驾驶路径,若无,则基于目标地图和驾驶任务确定初步驾驶路径。
基于综合环境信息对初步驾驶路径进行规划,获得最终驾驶规划信息。最终驾驶规划信息包括驾驶路径信息、各路段的驾驶速度、变道时机、开灯鸣笛等信息。例如,通过综合环境信息确定当前车辆的前车行驶速度低于预设阈值,且距离当前车辆的距离也低于预设阈值,且当前车辆的左侧车道距当前车辆前后预设距离内均无车辆,则可以确定最终驾驶规划信息为变到左侧车道。
综合环境信息为基于各传感器实时采集的环境信息进行分析处理获得,从而基于综合环境信息和初步驾驶路径得到的最终驾驶规划信息也具有实时性,可以大大提升驾驶安全性。
在本发明的一个实施例中,如图5所示,步骤S5具体包括:
基于驾驶规划控制信息确定相应的目标驾驶操作。目标驾驶操作包括加速、减速、转动轮胎、开灯、鸣笛等操作。具体的,例如,最终驾驶规划信息为将当前车辆变到左侧车道,则相应目标驾驶操作包括在预设时间段内减速到第一驾驶速度、打开左转向灯、转动轮胎到目标角度、轮胎回正、加速到第二驾驶速度等。
基于目标驾驶操作和车辆控制系统的控制操作与驾驶操作的映射关系确定车辆控制系统的目标控制操作。该映射关系车辆制造时确定的具体驾驶操作所需要用到的车控系统的具体控制操作的对应关系。
通过目标控制操作控制车辆执行驾驶操作。
基于本申请提供的用于智能驾驶的域控制系统,通过以上一系列的分析和控制操作,即可实现安全的智能驾驶目标。
下面,结合具体实例对本申请实施例的用于智能驾驶的域控制装置进行详细说明。
如图6所示,本申请实施的域控制装置包括信息采集模块1001、数据分析模块1002、数据通信模块1003、驾驶规划模块1004和车辆控制模块1005。
具体的,信息采集模块1001,用于通过包括摄像头、毫米波雷达、超声波雷达、激光雷达类型的传感器实时采集车辆周围的环境信息。进一步的,如图7所示,信息采集模块1001包括第一采集单元1001-1、第二采集单元1001-2、第三采集单元1001-3。
第二采集单元1001-2,用于通过以太网交换机采集3路激光雷达和1路4D毫米波雷达的第二环境信息。本申请实施例中提到的交换机均为千兆以太网交换机,优选的为具有11端口的88Q6113以太网交换机,其提供的所有MAC端口都具有千兆及以上带宽,包括2个RGMII或MII/RMII/GMII端口、6个SGMII端口、2个XFI多速率SerDes(1/2.5/5/10Gbps)或SGMII端口、1个PCIe或SerDes端口。
第三采集单元1001-3,用于通过微控制器采集12路超声波雷达和5路毫米波雷达的第三环境信息。
本申请的微控制器包括3对ARM Cortex R5双核锁步CPU和4MB片内静态随机存储存储器SRAM。
本申请的信息采集模块采集到第一环境信息、第二环境信息、第三环境信息后,对第一环境信息、第二环境信息、第三环境信息进行融合处理后通过千兆以太交换机发送到数据分析模块1002。
数据分析模块1002,用于基于目标地图对环境信息按不同空间进行分析,得到综合环境信息。
如图8所示,数据分析模块1002包括:
地图获取单元1002-1,用于通过经过预处理的实时采集的车辆周围的环境信息对互联网地图进行更新,得到目标地图。
信息分类单元1002-2,用于对环境信息按不同空间进行分类,得到分类环境信息。
信息融合单元1002-3,用于在目标地图上融合分类环境信息,获得综合环境信息。
数据通信模块1003,用于通过千兆以太网和高速串行点对点双通道高带宽传输方式,将综合环境信息发送给驾驶规划模块1004。
如图9所示,数据通信模块1003包括:
第一发送单元1003-1,用于从第一AI芯片和/或第二AI芯片通过千兆以太网交换机将综合环境信息发送给驾驶规划模块。
第二发送单元1003-1,用于从第一AI芯片和/或第二AI芯片通过PCIE接口将综合环境信息发送给驾驶规划模块。
驾驶规划模块1004,用于根据驾驶任务基于综合环境信息对驾驶的路径进行规划,获得驾驶规划信息。
如图10所示,驾驶规划模块1004包括:
任务确定单元1004-1,用于基于驾驶目的地确定的驾驶任务。
路况确定单元1004-2,用于基于驾驶任务确定初步驾驶路径。
规划确定单元1004-3,用于基于综合环境信息对初步驾驶路径进行规划,获得最终驾驶规划信息。
车辆控制模块1005,用于基于驾驶规划信息利用车辆线控系统控制车辆执行驾驶操作。
如图11所示,车辆控制模块1005包括:
驾驶操作确定单元1005-1,用于基于驾驶规划控制信息确定相应的目标驾驶操作。
控制操作确定单元1005-2,用于基于目标驾驶操作和车辆控制系统的控制操作与驾驶操作的映射关系确定车辆控制系统的目标控制操作。
执行单元1005-3,用于通过目标控制操作控制车辆执行驾驶操作。具体装置功能模块的执行细节与前述方法相应一致,在此不再赘述。
如附图12所示,本发明实施例还提供了一种用于智能驾驶的域控制系统,该系统包括:第一AI芯片10、第二AI芯片20、以太网交换机30、第三AI芯片40、微控制器50,第一AI芯片10和第二AI芯片20通过以太网交换机30和高速串行点对点双通道高带宽传输方式与第三AI芯片40通信连接,第一AI芯片10和第二AI20芯片通过以太网交换机30与微控制器50通信连接,其中,
第一AI芯片和第二AI芯片通过包括摄像头、毫米波雷达、超声波雷达、激光雷达类型的传感器实时采集车辆周围的环境信息。
第二AI芯片基于目标地图对环境信息按不同空间进行分析,得到综合环境信息。
第三AI芯片根据驾驶任务基于综合环境信息对驾驶的路径进行规划,获得驾驶规划信息。
微控制器基于驾驶规划信息利用车辆线控系统控制车辆执行驾驶操作。
在前述方法说明部分已经提到,在一个具体实施例中,AI芯片可以为两个,可以其中一个芯片为主芯片,另一个芯片为备份芯片,也可以其中一个芯片专用于信息采集,另一个芯片除了用于信息采集还用于数据处理、计算分析等。因此,本系统示例性地,为后一种情况,即通过第二芯片增加了摄像头的接入量,且第二芯片又兼具数据分析作用,并不需要额外增设芯片,控制了域控制方案实现的成本。
图12中的第一AI芯片10和第二AI芯片共同包括了图6中的信息采集模块1001,也即信息采集模块的功能由第一AI芯片和第二AI芯片共同实现。第二AI芯片20包括了数据分析模块1002,以太网交换机30和PCIE通信共同实现了数据通信模块1003,第三AI芯片40包括了驾驶规划模块1004,微控制器50包括了车辆控制模块1005。
示例性地,通过第一AI芯片采集至少2路8M前置摄像头、2路8M后置摄像头、4路2M侧视摄像头、第一4路2M环视摄像头的第一AI信息,2路8M前置摄像头、2路8M后置摄像头、4路2M侧视摄像头、第一4路2M环视摄像头通过第一串行/解串器连接到第一AI芯片。通过第二AI芯片采集至少第二4路2M环视摄像头的第二AI信息,第二4路2M环视摄像头通过第二串行/解串器连接到第二AI芯片。实际应用中,可以将第一AI芯片采集的第一AI信息经过初步处理后或直接通过PCIE发送给第二AI芯片进行分析。下面以具体实施例来介绍下本发明的用于智能驾驶的域控制系统中的具体芯片的结构。
在本说明书的实施例中,第一AI芯片主要用于采集环境信息,第二AI芯片集成了处理器主要用于对采集的环境信息进行分析处理,但同时又兼具部分采集环境信息的功能。由于在实际应用中,考虑接口兼容性和软硬件结合的便利性,会设置第一AI芯片和第二AI芯片为同一种芯片,因此在附图中未示出第一AI芯片和第二AI芯片的区别,特此说明。
如图13所示,本发明实施例提供的用于智能驾驶的域控制系统的第一AI芯片/第二AI芯片的引脚和连接结构示意图。第一AI芯片和第二AI芯片分别对外引出12路相机,4路CANFD,2路RS232,1路调试接口Debug/串行接口RS232、1路车载以太网。其中,对外引出的12路相机分别为4路8M相机和8路2M相机,其中,前视图像为8M,环视和周视图像为4M。相机连接到第一AI芯片和第二AI芯片,为自动驾驶提供图像。
第一AI芯片和第二AI芯片分别对内引出10路通用输入与输出接口GPIO,1路UART、1路通用输入接口GPI、2路串行外围设备接口SPI、2路高速串行点对点双通道高带宽传输PCIE。第一AI芯片和第二AI芯片采用征程J5系列芯片。本发明实施例采用2个征程5系列芯片,处理器算力达到28*2=56KDMKIPS,AI算力达到128*2=256TOPS。该类芯片遵循ISO26262功能安全认证流程开发,并通过ASIL-B认证的车载智能芯片,每帧中可同时对200个视觉目标进行检测,为智能驾驶、智能城市发展提供基础支撑。征程5系列芯片是面向智能驾驶的“征程1.0”处理器,具备强大的计算机视觉处理功能、丰富的图像信号接入功能和神经网络计算引擎,同时支持AI算法、汽车网络安全、摄像头预处理、图形并行处理、高清显示、视频处理、多传感器感知与融合以及高吞吐处理引擎,性能优异。
如图14所示,本发明实施例提供的用于智能驾驶的域控制系统的第三芯片的引脚和连接结构示意图。
第三芯片对外引出4路相机、4路视频输出、1路IMU、4路USB。相机还可接入第三芯片用于泊车场景。
第三芯片对内引出1路RGMII、1路SPI、2路UART、2路GPIO、2路PCIE、1路GPI。
第三芯片优选采用芯驰X9系列芯片,包括X9 HP和X9U芯片,算力达到100KDMIPS,能够满足泊车、座舱等相关算力需求。
此外,第一AI芯片、第二AI芯片以及第三芯片还设置有FLASH/LPDDR4/EMMC存储器,便于向各模块烧录各种功能、算法等。
如图15所示,本发明实施例提供的用于智能驾驶的域控制系统的微控制器的引脚和连接结构示意图。
微控制器对外引出2路LIN、1路USB、1路GPIO、1路JTAG、3路DSI、2路ADC、2路DAC、2路Flexray、12路CANFD。
微控制器对内引出5路SPI、18路GPIO、2路UART、1路RGMII、1路GPI,其中,18路GPIO用于诊断作用,2路GPIO用于通信作用。
此外,微控制器还可接入12路超声波雷达USS、5路毫米波雷达Raddar。
另外,以太网交换机还可接入3路激光雷达Lidar、1路4D毫米波雷达Raddar(图中未示出)。通过将各种类型传感器连接如域控制系统并进行数据融合处理,大大提升了智能驾驶域控制的安全性。
功能安全是汽车研发流程中非常关键的要素之一,随着系统复杂性的提高,来自系统失效和随机硬件失效的风险日益增加。根据汽车功能安全标准ISO26262对处理器单元的诊断覆盖率推荐的安全技术措施,本实施例微控制器402采用Infineon Tricore系列芯片,如芯驰E3、德州仪器TI397系列芯片,具备双核锁步(dual-core lockstep)处理器结构的硬件冗余技术措施以及软硬件自检功能(BIST,build-in self test)、存储器纠错校验技术(ECC,error correcting code),保证处理器的安全特性。
MCU承担的职责全是功能安全等级要求高的重任,可以用它来承担自动驾驶功能激活期间的车辆控制功能,承担自动驾驶系统故障时的降级策略,检测智驾域内系统的运行状态,承担与车内通讯的网关功能等。
本申请的实施例还提供了一种存储介质,所述存储介质可设置于服务器之中以保存用于实现方法实施例中一种数据处理方法相关的至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述域控制方法。
可选地,在本实施例中,上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。本申请提出的用于智能驾驶的控制方法、装置、系统和存储介质,通过对各种传感器采集的车辆周围的外部数据进行处理,并与已有地图进行数据融合,并通过千兆以太网和高速串行点对点双通道高带宽传输方式进行数据传输,使得可以快速基于融合数据确定驾驶规划,并最终控制车辆。多种类型和数量的传感器数据的融合提升了车辆环境数据的准确性,为最终智能操纵车辆提供了安全保证。通过将采集数据与已有地图融合得到迭代的地图,进一步提升了车辆周围信息获取的准确性,从而进一步提升了智能驾驶的安全性。整体结构具有平台化、高性能、高集成度和良好的兼容性,平台化使得开发与集成成本大大降低;高度的集成减少了ECU的数量,同时使得平台的可扩展性也更好,整车的成本也大大降低;丰富的外设硬件接口形式及高性能计算单元使得主机厂在不同的汽车功能域,如动力域,底盘域,车身域,座舱域,自动驾驶域等兼容使用同一套硬件域控制器,主机厂只需要相应的修改或部署软件功能,兼容性良好。
要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种用于智能驾驶的域控制方法,其特征在于,所述方法包括:
通过包括摄像头、毫米波雷达、超声波雷达、激光雷达类型的传感器实时采集车辆周围的环境信息;
基于目标地图对所述环境信息按不同空间进行分析,得到综合环境信息;
通过千兆以太网和高速串行点对点双通道高带宽传输方式传输所述综合环境信息;
根据驾驶任务基于所述综合环境信息对驾驶的路径进行规划,获得驾驶规划信息;
基于所述驾驶规划信息利用车辆线控系统控制车辆执行驾驶操作。
2.如权利要求1所述的用于智能驾驶的域控制方法,其特征在于,所述通过包括摄像头、毫米波雷达、超声波雷达、激光雷达类型的传感器实时采集车辆周围的环境信息包括:
通过AI芯片采集至少2路8M前置摄像头、2路8M后置摄像头、4路2M侧视摄像头、第一4路2M环视摄像头的第一环境信息,所述2路8M前置摄像头、2路8M后置摄像头、4路2M侧视摄像头、第一4路2M环视摄像头通过串行/解串器连接到所述AI芯片;
通过以太网交换机采集至少3路激光雷达和1路4D毫米波雷达的第二环境信息;以及,
通过微控制器采集至少12路超声波雷达和5路毫米波雷达的第三环境信息。
3.如权利要求2所述的用于智能驾驶的域控制方法,其特征在于,所述基于目标地图对所述环境信息按不同空间进行分析,得到综合环境信息包括:
通过经过预处理的所述实时采集的车辆周围的环境信息对互联网地图进行更新,得到目标地图;
对所述环境信息按不同空间进行分类,得到分类环境信息;
在所述目标地图上融合所述分类环境信息,获得综合环境信息。
4.如权利要求2所述的用于智能驾驶的域控制方法,其特征在于,所述AI芯片采用贝叶斯架构BPU,所述微控制器包括3对ARM Cortex R5双核锁步CPU和4MB片内SRAM。
5.如权利要求1所述的用于智能驾驶的域控制方法,其特征在于,所述通过千兆以太网和高速串行点对点双通道高带宽传输方式传输所述综合环境信息包括:
AI芯片通过千兆以太网交换机和PCIE接口传输所述综合环境信息。
6.如权利要求1-5任一项所述的用于智能驾驶的域控制方法,其特征在于,所述根据驾驶任务基于所述综合环境信息对驾驶的路径进行规划,获得驾驶规划信息包括:
基于驾驶目的地确定的驾驶任务;
基于驾驶任务确定初步驾驶路径;
基于所述综合环境信息对所述初步驾驶路径进行规划,获得最终驾驶规划信息。
7.如权利要求1-5任一项所述的用于智能驾驶的域控制方法,其特征在于,所述基于所述驾驶规划信息利用车辆线控系统控制车辆执行驾驶操作包括:
基于所述驾驶规划控制信息确定相应的目标驾驶操作;
基于所述目标驾驶操作和车辆控制系统的控制操作与驾驶操作的映射关系确定车辆控制系统的目标控制操作;
通过所述目标控制操作控制车辆执行驾驶操作。
8.一种用于智能驾驶的域控制装置,其特征在于,所述装置包括:信息采集模块、数据分析模块、数据通信模块、驾驶规划模块和车辆控制模块,其中,
所述信息采集模块,用于通过包括摄像头、毫米波雷达、超声波雷达、激光雷达类型的传感器实时采集车辆周围的环境信息;
所述数据分析模块,用于基于目标地图对所述环境信息按不同空间进行分析,得到综合环境信息;
所述数据通信模块,用于通过千兆以太网和高速串行点对点双通道高带宽传输方式,将所述综合环境信息发送给驾驶规划模块;
所述驾驶规划模块,用于根据驾驶任务基于所述综合环境信息对驾驶的路径进行规划,获得驾驶规划信息;
所述车辆控制模块,用于基于所述驾驶规划信息利用车辆线控系统控制车辆执行驾驶操作。
9.一种用于智能驾驶的域控制系统,其特征在于,所述系统包括:第一AI芯片、第二AI芯片、以太网交换机、第三AI芯片、微控制器,所述第一AI芯片和所述第二AI芯片通过所述以太网交换机和高速串行点对点双通道高带宽传输方式与所述第三AI芯片通信连接,所述第一AI芯片和所述第二AI芯片通过所述以太网交换机与所述微控制器通信连接,其中,
所述第一AI芯片和所述第二AI芯片通过包括摄像头、毫米波雷达、超声波雷达、激光雷达类型的传感器实时采集车辆周围的环境信息;
所述第二AI芯片基于目标地图对所述环境信息按不同空间进行分析,得到综合环境信息;
所述第三AI芯片根据驾驶任务基于所述综合环境信息对驾驶的路径进行规划,获得驾驶规划信息;
所述微控制器基于所述驾驶规划信息利用车辆线控系统控制车辆执行驾驶操作。
10.一种计算机存储介质,其特征在于,所述计算机存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1-7任一项所述的域控制方法。
CN202310123472.5A 2023-02-16 2023-02-16 一种用于智能驾驶的域控制方法、装置、系统和存储介质 Pending CN115871719A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310123472.5A CN115871719A (zh) 2023-02-16 2023-02-16 一种用于智能驾驶的域控制方法、装置、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310123472.5A CN115871719A (zh) 2023-02-16 2023-02-16 一种用于智能驾驶的域控制方法、装置、系统和存储介质

Publications (1)

Publication Number Publication Date
CN115871719A true CN115871719A (zh) 2023-03-31

Family

ID=85761199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310123472.5A Pending CN115871719A (zh) 2023-02-16 2023-02-16 一种用于智能驾驶的域控制方法、装置、系统和存储介质

Country Status (1)

Country Link
CN (1) CN115871719A (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104943684A (zh) * 2014-03-31 2015-09-30 比亚迪股份有限公司 无人驾驶汽车控制系统和具有其的汽车
CN107031600A (zh) * 2016-10-19 2017-08-11 东风汽车公司 基于高速公路的自动驾驶系统
CN107797534A (zh) * 2017-09-30 2018-03-13 安徽江淮汽车集团股份有限公司 一种纯电动自动驾驶系统
CN109284348A (zh) * 2018-10-30 2019-01-29 百度在线网络技术(北京)有限公司 一种电子地图的更新方法、装置、设备和存储介质
CN110260873A (zh) * 2019-06-12 2019-09-20 阿里巴巴集团控股有限公司 一种基于用户习惯的路线推荐方法和系统
CN111025961A (zh) * 2019-11-22 2020-04-17 联创汽车电子有限公司 智能驾驶决策控制器
CN112224202A (zh) * 2020-10-14 2021-01-15 南京航空航天大学 一种紧急工况下的多车协同避撞系统及方法
CN113190568A (zh) * 2021-05-12 2021-07-30 上海快仓自动化科技有限公司 一种地图更新方法、装置及相关组件
CN113535743A (zh) * 2021-06-30 2021-10-22 上海西井信息科技有限公司 无人驾驶地图实时更新方法、装置、电子设备、存储介质
CN113847925A (zh) * 2021-09-15 2021-12-28 北京中交兴路车联网科技有限公司 基于轨迹数据检测车辆偏航的方法、装置、设备及介质
CN113899355A (zh) * 2021-08-25 2022-01-07 上海钧正网络科技有限公司 地图更新方法、装置、云端服务器和共享骑行设备
CN215436307U (zh) * 2021-05-13 2022-01-07 天地(常州)自动化股份有限公司 矿用无轨胶轮车的adas辅助驾驶系统
CN114274960A (zh) * 2021-11-22 2022-04-05 岚图汽车科技有限公司 挪车控制系统、方法、装置、电子设备及存储介质
CN114987543A (zh) * 2022-06-02 2022-09-02 中汽创智科技有限公司 一种车辆驾驶方法、装置、电子设备及存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104943684A (zh) * 2014-03-31 2015-09-30 比亚迪股份有限公司 无人驾驶汽车控制系统和具有其的汽车
CN107031600A (zh) * 2016-10-19 2017-08-11 东风汽车公司 基于高速公路的自动驾驶系统
CN107797534A (zh) * 2017-09-30 2018-03-13 安徽江淮汽车集团股份有限公司 一种纯电动自动驾驶系统
CN109284348A (zh) * 2018-10-30 2019-01-29 百度在线网络技术(北京)有限公司 一种电子地图的更新方法、装置、设备和存储介质
CN110260873A (zh) * 2019-06-12 2019-09-20 阿里巴巴集团控股有限公司 一种基于用户习惯的路线推荐方法和系统
CN111025961A (zh) * 2019-11-22 2020-04-17 联创汽车电子有限公司 智能驾驶决策控制器
CN112224202A (zh) * 2020-10-14 2021-01-15 南京航空航天大学 一种紧急工况下的多车协同避撞系统及方法
CN113190568A (zh) * 2021-05-12 2021-07-30 上海快仓自动化科技有限公司 一种地图更新方法、装置及相关组件
CN215436307U (zh) * 2021-05-13 2022-01-07 天地(常州)自动化股份有限公司 矿用无轨胶轮车的adas辅助驾驶系统
CN113535743A (zh) * 2021-06-30 2021-10-22 上海西井信息科技有限公司 无人驾驶地图实时更新方法、装置、电子设备、存储介质
CN113899355A (zh) * 2021-08-25 2022-01-07 上海钧正网络科技有限公司 地图更新方法、装置、云端服务器和共享骑行设备
CN113847925A (zh) * 2021-09-15 2021-12-28 北京中交兴路车联网科技有限公司 基于轨迹数据检测车辆偏航的方法、装置、设备及介质
CN114274960A (zh) * 2021-11-22 2022-04-05 岚图汽车科技有限公司 挪车控制系统、方法、装置、电子设备及存储介质
CN114987543A (zh) * 2022-06-02 2022-09-02 中汽创智科技有限公司 一种车辆驾驶方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111587407B (zh) 用于安全且可靠的自主车辆的系统和方法
CN109917765B (zh) 一种基于自动驾驶系统的网络架构的集散式域控制器系统
CN111919225B (zh) 使用模拟环境对自主机器进行培训、测试和验证
CN209842367U (zh) 一种基于自动驾驶系统的网络架构的集散式域控制器系统
US11693753B2 (en) Enhanced in-system test coverage based on detecting component degradation
US11375034B2 (en) Transmitting remotely valued data in an autonomous vehicle
Chitnis et al. Enabling functional safety ASIL compliance for autonomous driving software systems
CN209928279U (zh) 智能驾驶系统及智能车辆
Belcarz et al. Developing autonomous vehicle research platform–a case study
CN115871719A (zh) 一种用于智能驾驶的域控制方法、装置、系统和存储介质
CN116403174A (zh) 一种端到端自动驾驶方法、系统、仿真系统及存储介质
US20220340149A1 (en) End-to-end evaluation of perception systems for autonomous systems and applications
Velusamy et al. Automotive sensor infrastructure-challenges and opportunities
CN219554988U (zh) 一种用于以太网的车载域控制系统
US11958500B1 (en) Autonomous vehicle model training and validation using low-discrepancy sequences
US11962664B1 (en) Context-based data valuation and transmission
US20230273873A1 (en) Performing diagnostic operations on a target system
JP7467489B2 (ja) データ処理方法および対応する装置
CN111559327B (zh) 一种数据处理方法及对应的装置
CN220430132U (zh) 车辆碰撞预警系统
CN220447861U (zh) 智能驾驶控制装置及车辆
US20230350744A1 (en) Detecting hardware faults in data processing pipelines
US20240020255A1 (en) Dynamic skew realignment over multiple transmission lanes in integrated computing platforms
CN116156344A (zh) 中央网关和数据传输系统
CN117666521A (zh) 车辆控制器的测试方法、测试设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination