CN108162977A - 驾驶辅助系统及控制方法 - Google Patents

驾驶辅助系统及控制方法 Download PDF

Info

Publication number
CN108162977A
CN108162977A CN201711211051.9A CN201711211051A CN108162977A CN 108162977 A CN108162977 A CN 108162977A CN 201711211051 A CN201711211051 A CN 201711211051A CN 108162977 A CN108162977 A CN 108162977A
Authority
CN
China
Prior art keywords
processing module
data
module
parallel port
sent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711211051.9A
Other languages
English (en)
Inventor
刘均
郑亚伟
杨伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Launch Technology Co Ltd
Original Assignee
Shenzhen Launch Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Launch Technology Co Ltd filed Critical Shenzhen Launch Technology Co Ltd
Priority to CN201711211051.9A priority Critical patent/CN108162977A/zh
Publication of CN108162977A publication Critical patent/CN108162977A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例公开了一种驾驶辅助系统及控制方法,所述方法包括:摄像头接口接收摄像头采集的视频图像;转接电路模块获取所述摄像头接口发送的视频图像,将所述视频图像中的视频数据转化为并口数据;第一处理模块接收所述转接电路模块发送的并口数据,处理所述并口数据得到运算结果;第二处理模块将接收到的所述第一处理模块发送的所述运算结果以及所述外部系统发送的数据进行数据融合得到处理结果。采用本发明,实现多路数据的接入和数据融合,提高车联网终端的可靠性。

Description

驾驶辅助系统及控制方法
技术领域
本发明涉及汽车电子技术领域,主要涉及了一种驾驶辅助系统及控制方法。
背景技术
随着汽车电子技术的发展,常见的辅助驾驶系统(Driver Assistant Systems,DAS),包括车载导航系统、自动巡航控制系统、车道偏离警示系统、防撞警示系统、倒车雷达系统、停车辅助系统等。
现有技术中,有一种基于S32V234芯片和LS2085A芯片的高级驾驶辅助系统(Advanced Driver Assistant Systems,ADAS)。其中,S32V234芯片尚未实现量产,不明确芯片是否稳定;而LS2085A不对中国大陆开放,且功耗太大。此外,该ADAS支持多路数据的接入导致功能受限,例如,不支持现在车厂普遍采用的模拟高清定义(Analog HighDefinition,AHD)或低压差分信号(Low-Voltage Differential Signaling,LVDS)的视频传输方式,不支持360度环视视频数据、双目视觉、疲劳驾驶视频数据的同时接入等等。
发明内容
本发明实施例提供了一种驾驶辅助系统及控制方法,用于解决现有的ADAS中使用的芯片受限且功耗大,且ADAS无法支持多路数据的接入导致功能受限的技术问题。
第一方面,本发明实施例提供了一种驾驶辅助系统,所述系统包括:摄像头接口,与所述摄像头接口连接的转接电路模块、与所述转接电路模块连接的第一处理模块、与所述第一处理模块连接的第二处理模块以及与所述第二处理模块连接的外部系统;
所述摄像头接口,用于接收摄像头采集的视频图像;
所述转接电路模块,用于获取所述摄像头接口发送的视频图像,将所述视频图像中的视频数据转化为并口数据;
所述第一处理模块,用于接收所述转接电路模块发送的并口数据,处理所述并口数据得到运算结果;
所述第二处理模块,用于将接收到的所述第一处理模块发送的所述运算结果以及所述外部系统发送的数据进行数据融合得到处理结果。
结合本发明实施例的第一方面,在本发明实施例的第一方面的第一种可能实现方式中,所述第一处理模块是基于第一现场可编程门阵列FPGA和第一嵌入式RISC处理器ARM的第一片上系统SOC;
所述第一FPGA,用于基于高级驾驶辅助系统ADAS算法处理所述并口数据得到所述运算结果;
所述第一ARM,用于控制所述第一处理模块。
结合本发明实施例的第一方面,在本发明实施例的第一方面的第二种可能实现方式中,所述运算结果包括告警信息,所述外部系统至少包括导航定位模块、探测雷达模块和车联网终端;所述系统还包括:
通过以太网接口、控制器局域网接口或无线通信模块与所述第二处理器模块连接的外部系统,用于实现所述第二处理模块和所述外部模块之间的数据通信;
与所述第一处理模块和所述第二处理模块连接的快速外部设备互联PCIe接口,与所述第一处理模块和交换芯片连接的第一精简吉比特介质独立接口RGMII,与所述第二处理模块和所述交换芯片连接的第二RGMII;
所述PCIe接口、所述第一RGMII、所述第二RGMII和所述交换芯片均用于实现所述第一处理模块、所述第二处理模块以及所述外部系统之间的数据通信。
结合本发明实施例的第一方面,在本发明实施例的第一方面的第三种可能实现方式中,所述第二处理模块是基于第二FPGA和第二ARM的第二片上系统SOC;
所述第二FPGA,用于将所述运算结果和所述外部系统发送的数据进行数据融合得到处理结果;
所述第二ARM,用于控制所述第二处理模块。
结合本发明实施例的第一方面、第一方面的第一种可能实现方式、第一方面的第二种可能实现方式或第一方面的第三种可能实现方式,所述第二处理模块还用于接收所述第一处理模块发送的并口数据,对所述并口数据进行压缩得到压缩数据;
所述系统还包括与所述第二处理模块连接的第二存储器,用于存储所述压缩数据;
所述第二处理模块还用于当接收到解码视频文件指令后,将所述第二存储器中的存储的所述解码视频文件指令对应的指定文件进行解码得到视频文件。
第二方面,本发明实施例提供了一种驾驶辅助系统的控制方法,包括:
摄像头接口接收摄像头采集的视频图像;
转接电路模块获取所述摄像头接口发送的视频图像,将所述视频图像中的视频数据转化为并口数据;
第一处理模块接收所述转接电路模块发送的并口数据,处理所述并口数据得到运算结果;
第二处理模块将接收到的所述第一处理模块发送的所述运算结果以及所述外部系统发送的数据进行数据融合得到处理结果。
结合本发明实施例的第二方面,在本发明实施例的第二方面的第一种可能实现方式中,所述第一处理模块是基于第一FPGA和第一ARM的第一片上系统SOC,所述第一处理模块处理所述并口数据得到运算结果,包括:
所述第一FPGA基于算法处理所述并口数据得到所述运算结果;
所述第一ARM控制所述第一处理模块。
结合本发明实施例的第二方面,在本发明实施例的第二方面的第二种可能实现方式中,所述运算结果包括告警信息,所述外部系统至少包括导航定位模块、探测雷达模块和车联网终端;
所述方法还包括:
通过以太网接口、控制器局域网接口或无线通信模块与所述第二处理器模块连接的外部系统实现所述第二处理模块和所述外部模块之间的数据通信;
通过PCIe接口、第一RGMII、第二RGMII和交换芯片实现第一处理模块和所述第二处理模块之间的数据通信。
结合本发明实施例的第二方面,在本发明实施例的第二方面的第三种可能实现方式中,所述第二处理模块是基于第二FPGA和第二ARM的第二片上系统SOC,所述第二处理模块将接收到的所述第一处理模块发送的所述运算结果以及所述外部系统发送的数据进行数据融合得到处理结果,包括:
所述第二FPGA将所述运算结果和所述外部系统发送的数据进行数据融合得到处理结果;
所述第二ARM控制所述第二处理模块。
结合本发明实施例的第二方面、第二方面的第一种可能实现方式、第二方面的第二种可能实现方式或第二方面的第三种可能实现方式,在本发明实施例的第二方面的第四种可能实现方式中,所述方法还包括:
所述第二处理模块接收所述第一处理模块发送的并口数据,对所述并口数据进行压缩得到压缩数据;
第二存储器存储所述压缩数据;
所述第二处理模块当接收到解码视频文件指令后,将所述第二存储器中的存储的所述解码视频文件指令对应的指定文件进行解码得到视频文件。
第三方面,本发明实施例提供了一种计算机可读存储介质,其中,所述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如本发明实施例第二方面任一方法中所描述的部分或全部步骤。
第四方面,本发明实施例提供了一种计算机程序产品,其中,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序可操作来使计算机执行如本发明实施例第二方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本发明实施例,将具有如下有益效果:
上述的驾驶辅助系统及控制方法,摄像头接口将摄像头采集的视频图像发送给转接电路模块,通过转接电路模块对视频图像进行转换得到适合传输的并口数据,实现多路数据的接入。第一处理模块将并口数据进行数据分析得到运算结果,并将运算结果发送给第二处理模块,第二处理模块根据运算结果和外部系统发送的数据进行数据融合得到针对摄像头采集的视频图像的处理结果,实现多路以太网数据的接入融合处理,丰富了驾驶辅助系统的功能。车联网终端可根据处理结果执行相应动作,提高车联网终端的可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1为本发明实施例提供的一种驾驶辅助系统的结构示意图;
图2为本发明实施例提供的一种驾驶辅助系统的控制方法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
高级驾驶辅助系统(Advanced Driver Assistant Systems,ADAS)是利用安装于车上的各式各样的传感器,在第一时间收集车内外的环境数据,进行静、动态物体的辨识、侦测与追踪等技术上的处理,从而能够让驾驶者在最快的时间察觉可能发生的危险,以引起注意和提高安全性的主动安全技术。与此对应的ADAS算法包括360度环视、盲点检测、行人检测、车道偏离、可行驶区域检测等等。本实施例对于ADAS算法的具体算法不作限定。
为解决现有的ADAS中使用的芯片受限且功耗大,且ADAS无法支持多路数据的接入导致功能受限的技术问题,特提出了一种驾驶辅助系统。本发明实施例对于具体的驾驶辅助系统的类型不作限定,优选的驾驶辅助系统为ADAS。
具体的,如图1所示,一种驾驶辅助系统,包括:摄像头接口101、与摄像头接口101连接的转接电路模块102、与转接电路模块102连接的第一处理模块104、与第一处理模块104连接的第二处理模块106以及与第二处理模块106连接的外部系统108。
在本实施例中,摄像头接口101用于接收摄像头采集的视频图像。本实施例对于具体的摄像头接口101的类型不作限定。
在本实施例中,转接电路模块102用于获取所述摄像头接口101发送的视频图像,将所述视频图像中的视频数据转化为并口数据。
本实施例对于视频数据和并口数据的类型不作限定。视频图像的视频数据采用的视频传输方式可以是现在车厂普遍采用的模拟高清定义(Analog High Definition,AHD)或低压差分信号(Low-Voltage Differential Signaling,LVDS)。其中,并口数据可以是BT656,定义了一个并行的硬件接口用来传送一路4:2:2的ycbcr的数字视频流。
可选的,通过并口连接器103连接转接电路模块102和第一处理模块104,用于将转接电路模块102的并口数据发送给第一处理模块104,并为第一处理模块104提供电源。其中,电源电压为5V。
可选的,所述系统还包括与转接电路模块102和第二处理模块106连接的电源检测控制接口1022,用于短路、开路的检测,并控制电压。
在本实施例中,第一处理模块104用于接收所述转接电路模块102发送的并口数据,处理所述并口数据得到运算结果。
其中,第一处理模块102和第二处理模块106基于车规级的现场可编程门阵列(Field-Programmable Gate Array,FPGA)和嵌入式RISC处理器(Advanced RISCMachines,ARM)的片上系统(System On Chip,SOC)。通过内部的AXI(Advanced extensibleInterface)总线共享内存,其中,鉴于FPGA是硬件电路,采用FPGA实现的算法更加高效,可实现具体算法的硬件加速;ARM负责各应用程序的调用,且ARM耗电少功能强,可增强系统功能,并节省系统功耗。
由于采用的基于FPGA+ARM的SOC芯片均为已经量产的车规级芯片,故不涉及在前装车厂应用的限制,且可消除多芯片的芯片至芯片带宽瓶颈问题;由于不需要芯片间的高速接口也无需多组电源的使用,故降低了浏览器对象模型(Bowser Object Model,BOM)的成本;由于可在较低时钟速率及较高集成度下,通过并行处理的方式从而降低了整体系统功耗。
可选的,所述第一处理模块102是基于第一FPGA和第一ARM的第一SOC;所述第一FPGA,用于基于ADAS算法处理所述并口数据得到所述运算结果;所述第一ARM,用于控制所述第一处理模块。
其中,运算结果是至少包括告警信息,还可包括路况信息、导航信息等等,针对ADAS算法中360度环视、盲点检测、行人检测、车道偏离、可行驶区域检测等涉及的不同算法,可得到对应的运算结果。
8路以上的摄像头采用的均是模拟高清摄像头,该摄像头的模拟信号经过转接电路模块102上的解码芯片将模拟信号(视频图像)转换为BT656接口的数字信号(并口数据),将并口数据发送给第一处理模块104。由于FPGA灵活的可编程特性,第一处理模块104可通过第一FPGA基于ADAS算法作并行处理,使其可灵活的接入8路以上摄像头的并行数据,这就使得360度全景环视、双目视觉、疲劳驾驶视频等数据可以一同接入处理。
可选的,所述系统还包括与第一处理模块104连接的第一存储器1042,用于存储所述第一处理模块104的所述运算结果。第一存储器1042由4个256M*16的双倍速率同步动态随机存储器(Double Data Rate,DDR)颗粒构成了2组分别为1GB的32bit数据总线位宽的内存,其中一组内存挂在ARM上,另一组挂在FPGA上。其中,DDR是一种计算机内存规格,本实施例不限定计算机的内存规格,也就是说第一存储器1042可使用其它计算机内存规格,例如DDR2、DDR3或DDR4。
可选的,第一处理模块104还通过小封装可热插拔(Small Form-factorPluggables,SFP)接口1044,用于第一处理模块104进行光通信,其中SPF接口1044为2路千兆光接口。
在本实施例中,第二处理模块106用于将接收到的所述第一处理模块104发送的所述运算结果以及所述外部系统发送的数据进行数据融合得到处理结果。
通过快速外部设备互联(Peripheral Component Interconnect Express,PCIe)接口105,用于实现所述第一处理模块104和所述第二处理模块106进行数据通信。即将第一处理模块104获取的运算结果发送给第二处理模块106。PCIe接口105用于定义局部总线的标准,采用了目前业内流行的点对点串行连接,与外部设备互联PCI(PeripheralComponent Interconnect,PCI)总线具有良好的继承性,可以保持软件的继承和可靠性,每个传输通道独享带宽,支持双向传输模式和数据分通道模式,不需要向整个总线请求带宽,而且可以把数据传输率提高到一个很高的频率,达到PCI所不能提供的高带宽。
可选的,所述第二处理模块106是基于第二FPGA和第二ARM的第二片上系统SOC;所述第二FPGA,用于将所述运算结果和所述外部系统108发送的数据进行数据融合得到处理结果;所述第二ARM,用于控制所述第二处理模块106。
如上所述的采用第二FPGA实现数据融合的具体算法的硬件加速,ARM用于实现第二处理模块106中应用程序的调用,为实现导航定位模块、探测雷达模块和车联网终端等之间的数据的融合提供整套低成本的硬件解决方案,提高系统功能,并节省系统功耗,。
其中,所述外部系统108至少包括导航定位模块1082、探测雷达模块1084和车联网终端1086。此外,还可包括超声波系统等,这些外部系统的数据均是通过以太网接口1074接入到系统中。例如,1路10M/100M/1000Mbps自适应的以太网接口RJ45,用于接收来自于导航定位模块1082的导航定位信息等等。
导航定位模块1082支持北斗、全球定位系统(Global Positioning System,GPS),用于实现同步与定位等功能。
雷达是用无线电的方法发现目标并测定他们的空间位置。雷达发射电磁波对目标进行照射并接收其回波,由此获得目标至电磁波发射点的距离、距离变化率、方位、高度等信息。而无人驾驶主要是依靠车内的以计算机系统为主的智能驾驶仪来实现无人驾驶。
探测雷达模块1084包括毫米波雷达11842和激光雷达11844,所谓的毫米波雷达,就是指工作频段在毫米波频段的雷达,测距原理跟一般雷达一样,也就是把无线电波(雷达波)发出去,然后接收回波,根据收发之间的时间差测得目标的位置数据。激光雷达主要是通过发射激光束来探测周遭环境,车载激光雷达普遍采用多个激光发射器和接收器,建立三维点云图,从而达到实时环境感知的目的。激光雷达结合探测范围更广,探测精度更高,通过和毫米波雷达结合解决了激光雷达在雨雪雾等极端天气下性能较差、采集的数据量过大和十分昂贵的问题。
可选的,探测雷达模块1084中的毫米波雷达通过控制器局域网总线(ControllerArea Network,CAN)1072与第二处理模块106连接,激光雷达通过以太网接口1074与第二处理模块106连接,所述CAN总线用于将所述探测雷达模块1084中的毫米波雷达11842的雷达数据发送给所述第二处理模块106,并将所述处理结果发送给车联网终端1086的处理器10862。
可选的,所述系统还包括与第二处理模块106连接的无线通信模块1074,用于建立所述第二处理模块106与所述车联网终端1086的网络连接。无线通信模块1074包括WIFI和蓝牙,通过WIFI实现WIFI热点功能,支持5路设备的同时接入,使用4G/5G模块上网;通过蓝牙实现蓝牙设备驱动,基于4G/5G模块实现全网通和网络电话E-CALL功能。本实施例不限定WIFI和蓝牙具体采用的规格,优选的WIFI支持IEEE 802.11b/g/n,蓝牙4.0(Class 1.5和BLE)。
可选的,所述系统还包括与所述无线通信模块1076还用于连接所述车联网终端1086的服务器10864,定时获取所述服务器10864上存储的系统版本或应用版本中的最高版本号,当所述最高版本号高于对应的所述系统版本或所述应用版本的版本号或接收到所述服务器10864发送的更新指令时,向所述车联网终端1086发送更新请求,接收用户针对所述更新请求发送的确认更新指令,通过所述服务器10864下载所述确认更新指令对应的系统或应用。
举例来说,系统上涉及网络电话应用,且该网络电话应用的版本为V1.2.1,假设无线通信模块1076每隔一周获取服务器10864上存储的网络电话应用的最高版本,此时服务器10864上存储的网络电话应用的最高版本为V2.1.0,高于系统上的网络电话应用,则向车联网终端1086发送更新请求,当车联网终端1086的用户确认更新请求后向无线通信模块1076发送确认更新指令,从服务器10864中下载版本号为V2.1.0的网络电话应用。
为了不影响车联网终端1086的正常使用,将在服务器10864下载最高版本的系统或应用放置于第二处理模块106的文件系统中,当重启系统后自动替换原有的系统或应用。
可选的,所述系统还包括交换芯片110,所述交换芯片110通过第一精简吉比特介质独立接口(Reduced Gigabit Media Independent Interface,RGMII)1102连接所述第一处理模块104,通过第二精简吉比特介质独立接口1104连接所述第二处理模块106,用于实现所述第一处理模块104、所述第二处理模块106以及外部系统之间的数据通信。
可选的,所述系统还包括与第二处理模块106连接的第二存储器1068,用于存储所述第二处理模块106的所述运算结果。存储器1072由4个256M*16的双倍速率同步动态随机存储器(Double Data Rate,DDR)颗粒构成了2组分别为2GB的64bit数据总线位宽的内存,其中一组内存挂在ARM上,另一组挂在FPGA上。同第一存储器1042一样,本实施例不限定计算机的内存规格,也就是说第二存储器1068可使用其它计算机内存规格,例如DDR2、DDR3或DDR4。
可选的,所述第二处理模块106还用于接收所述第一处理模块104发送的并口数据,对所述并口数据进行压缩得到压缩数据;所述系统还包括与所述第二处理模块106连接的第二存储器1068,用于存储所述压缩数据;所述第二处理模块106还用于当接收到解码视频文件指令后,将所述第二存储器1068中的存储的所述解码视频文件指令对应的指定文件进行解码得到视频文件。
本发明实施例对于压缩格式不作限定,优选的为H.264压缩格式。也就是说,将并口数据进行H.264压缩,然后又通过H.264进行解码生成原始的YUV视频文件。
综上,第一处理模块104获取视频图像,并将视频图像转化为并口数据,从而支持8路以上的视频图像同时接入。通过并口数据获取视频图像对应的运算结果,第二处理器模块106结合上述运算结果和外部系统(导航定位模块、探测雷达模块和车联网终端)发生的数据进行数据融合得到处理结果,从而根据处理结果进行辅助驾驶,提高了车联网终端的可靠性。且上述每个功能模块相对独立,这就使得单功能模块的故障很难导致整套驾驶辅助系统的工作不正常,提高了驾驶辅助系统的可靠性。
与图1的实施例一致,请参考图2,图2为本发明实施例所提供的一种驾驶辅助系统的控制方法的流程示意图。如图2所示,上述方法应用于如图1所示的驾驶辅助系统,其中:
201:摄像头接口接收摄像头采集的视频图像;
202:转接电路模块获取摄像头接口发送的视频图像,将视频图像中的视频数据转化为并口数据;
203:第一处理模块接收转接电路模块发送的并口数据,处理并口数据得到运算结果;
204:第二处理模块将接收到的第一处理模块发送的运算结果以及外部系统发送的数据进行数据融合得到处理结果。
在其中一个实施例中,所述第一处理模块是基于第一FPGA和第一ARM的第一片上系统SOC,所述第一处理模块处理所述并口数据得到运算结果,包括:
所述第一FPGA基于算法处理所述并口数据得到所述运算结果;
所述第一ARM控制所述第一处理模块。
在其中一个实施例中,所述运算结果包括告警信息,所述外部系统至少包括导航定位模块、探测雷达模块和车联网终端,所述方法还包括:
通过以太网接口、控制器局域网接口或无线通信模块与所述第二处理器模块连接的外部系统实现所述第二处理模块和所述外部模块之间的数据通信;
通过PCIe接口、第一RGMII、第二RGMII和交换芯片实现第一处理模块和所述第二处理模块之间的数据通信。
在其中一个实施例中,所述第二处理模块是基于第二FPGA和第二ARM的第二片上系统SOC,所述第二处理模块将接收到的所述第一处理模块发送的所述运算结果以及所述外部系统发送的数据进行数据融合得到处理结果,包括:
所述第二FPGA将所述运算结果和所述外部系统发送的数据进行数据融合得到处理结果;
所述第二ARM控制所述第二处理模块。
在其中一个实施例中,所述方法还包括:
所述第二处理模块接收所述第一处理模块发送的并口数据,对所述并口数据进行压缩得到压缩数据;
第二存储器存储所述压缩数据;
所述第二处理模块当接收到解码视频文件指令后,将所述第二存储器中的存储的所述解码视频文件指令对应的指定文件进行解码得到视频文件。
本发明实施例提供了一种计算机可读存储介质,其中,所述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如方法实施例中记载的任一方法中所描述的部分或全部步骤。
本发明实施例提供了一种计算机程序产品,其中,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序可操作来使计算机执行如方法实施例中记载的任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本发明实施例,将具有如下有益效果:
上述的驾驶辅助系统及控制方法,摄像头接口将摄像头采集的视频图像发送给转接电路模块,通过转接电路模块对视频图像进行转换得到适合传输的并口数据,实现多路数据的接入。第一处理模块将并口数据进行数据分析得到运算结果,并将运算结果发送给第二处理模块,第二处理模块根据运算结果和外部系统发送的数据进行数据融合得到针对摄像头采集的视频图像的处理结果,实现多路以太网数据的接入融合处理,丰富了驾驶辅助系统的功能。车联网终端可根据处理结果执行相应动作,提高车联网终端的可靠性。
在上述实施例中,可以全部或部分的通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或者数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或半导体介质(例如,固态硬盘Solid State Disk(SSD))等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (10)

1.一种驾驶辅助系统,其特征在于,所述系统包括:摄像头接口,与所述摄像头接口连接的转接电路模块、与所述转接电路模块连接的第一处理模块、与所述第一处理模块连接的第二处理模块以及与所述第二处理模块连接的外部系统;
所述摄像头接口,用于接收摄像头采集的视频图像;
所述转接电路模块,用于获取所述摄像头接口发送的视频图像,将所述视频图像中的视频数据转化为并口数据;
所述第一处理模块,用于接收所述转接电路模块发送的并口数据,处理所述并口数据得到运算结果;
所述第二处理模块,用于将接收到的所述第一处理模块发送的所述运算结果以及所述外部系统发送的数据进行数据融合得到处理结果。
2.根据权利要求1所述的系统,其特征在于,所述第一处理模块是基于第一现场可编程门阵列FPGA和第一嵌入式RISC处理器ARM的第一片上系统SOC;
所述第一FPGA,用于基于高级驾驶辅助系统ADAS算法处理所述并口数据得到所述运算结果;
所述第一ARM,用于控制所述第一处理模块。
3.根据权利要求1所述的系统,其特征在于,所述运算结果包括告警信息,所述外部系统包括导航定位模块、探测雷达模块和车联网终端;
所述系统还包括:
通过以太网接口、控制器局域网接口或无线通信模块与所述第二处理器模块连接的外部系统,用于实现所述第二处理模块和所述外部模块之间的数据通信;
与所述第一处理模块和所述第二处理模块连接的快速外部设备互联PCIe接口,与所述第一处理模块和交换芯片连接的第一精简吉比特介质独立接口RGMII,与所述第二处理模块和所述交换芯片连接的第二RGMII;
所述PCIe接口、所述第一RGMII、所述第二RGMII和所述交换芯片均用于实现所述第一处理模块、所述第二处理模块以及所述外部系统之间的数据通信。
4.根据权利要求1所述的系统,其特征在于,所述第二处理模块是基于第二FPGA和第二ARM的第二片上系统SOC;
所述第二FPGA,用于将所述运算结果和所述外部系统发送的数据进行数据融合得到处理结果;
所述第二ARM,用于控制所述第二处理模块。
5.根据权利要求1-4任一项所述的系统,其特征在于,所述第二处理模块还用于接收所述第一处理模块发送的并口数据,对所述并口数据进行压缩得到压缩数据;
所述系统还包括与所述第二处理模块连接的第二存储器,用于存储所述压缩数据;
所述第二处理模块还用于当接收到解码视频文件指令后,将所述第二存储器中的存储的所述解码视频文件指令对应的指定文件进行解码得到视频文件。
6.一种驾驶辅助系统的控制方法,其特征在于,包括:
摄像头接口接收摄像头采集的视频图像;
转接电路模块获取所述摄像头接口发送的视频图像,将所述视频图像中的视频数据转化为并口数据;
第一处理模块接收所述转接电路模块发送的并口数据,处理所述并口数据得到运算结果;
第二处理模块将接收到的所述第一处理模块发送的所述运算结果以及所述外部系统发送的数据进行数据融合得到处理结果。
7.根据权利要求6所述的方法,其特征在于,所述第一处理模块是基于第一FPGA和第一ARM的第一片上系统SOC,所述第一处理模块处理所述并口数据得到运算结果,包括:
所述第一FPGA基于算法处理所述并口数据得到所述运算结果;
所述第一ARM控制所述第一处理模块。
8.根据权利要求6所述的方法,其特征在于,所述运算结果包括告警信息,所述外部系统至少包括导航定位模块、探测雷达模块和车联网终端,所述方法还包括:
通过以太网接口、控制器局域网接口或无线通信模块与所述第二处理器模块连接的外部系统实现所述第二处理模块和所述外部模块之间的数据通信;
通过PCIe接口、第一RGMII、第二RGMII和交换芯片实现第一处理模块和所述第二处理模块之间的数据通信。
9.根据权利要求6所述的方法,其特征在于,所述第二处理模块是基于第二FPGA和第二ARM的第二片上系统SOC,所述第二处理模块将接收到的所述第一处理模块发送的所述运算结果以及所述外部系统发送的数据进行数据融合得到处理结果,包括:
所述第二FPGA将所述运算结果和所述外部系统发送的数据进行数据融合得到处理结果;
所述第二ARM控制所述第二处理模块。
10.根据权利要求6-9任一项所述的方法,其特征在于,所述方法还包括:
所述第二处理模块接收所述第一处理模块发送的并口数据,对所述并口数据进行压缩得到压缩数据;
第二存储器存储所述压缩数据;
所述第二处理模块当接收到解码视频文件指令后,将所述第二存储器中的存储的所述解码视频文件指令对应的指定文件进行解码得到视频文件。
CN201711211051.9A 2017-11-25 2017-11-25 驾驶辅助系统及控制方法 Pending CN108162977A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711211051.9A CN108162977A (zh) 2017-11-25 2017-11-25 驾驶辅助系统及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711211051.9A CN108162977A (zh) 2017-11-25 2017-11-25 驾驶辅助系统及控制方法

Publications (1)

Publication Number Publication Date
CN108162977A true CN108162977A (zh) 2018-06-15

Family

ID=62524570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711211051.9A Pending CN108162977A (zh) 2017-11-25 2017-11-25 驾驶辅助系统及控制方法

Country Status (1)

Country Link
CN (1) CN108162977A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109032113A (zh) * 2018-08-09 2018-12-18 北京智行者科技有限公司 车辆控制单元
CN109159784A (zh) * 2018-09-30 2019-01-08 知行汽车科技(苏州)有限公司 一种驾驶员疲劳监控系统
CN109814552A (zh) * 2018-12-28 2019-05-28 百度在线网络技术(北京)有限公司 车载控制单元、基于fpga的车辆自动驾驶方法及装置
CN110515040A (zh) * 2019-08-23 2019-11-29 睿清电子技术(南京)有限公司 一种雷达收发模拟集成系统及其应用
CN110780288A (zh) * 2019-09-29 2020-02-11 深圳市元征科技股份有限公司 道路危险提示方法、装置、车载设备和存储介质
CN111119646A (zh) * 2019-12-02 2020-05-08 惠州市德赛西威汽车电子股份有限公司 一种自动驾驶车辆的车门监控系统及方法
WO2020145432A1 (ko) * 2019-01-09 2020-07-16 엘지전자 주식회사 Multi soc 시스템을 통해 차량을 제어하는 방법
WO2021098179A1 (zh) * 2019-11-20 2021-05-27 华为技术有限公司 一种数据管理的方法、装置、设备及智能汽车
CN113790905A (zh) * 2021-10-13 2021-12-14 安徽光阵光电科技有限公司 一种智能汽车adas功能检测装置
WO2024021010A1 (zh) * 2022-07-29 2024-02-01 华为技术有限公司 应用于车辆中的控制系统及车辆

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005240751A (ja) * 2004-02-27 2005-09-08 Nissan Motor Co Ltd 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
CN201369789Y (zh) * 2009-03-13 2009-12-23 重庆市易博数字技术有限公司 基于arm嵌入式处理器的多路视频图像采集装置
CN101739843A (zh) * 2009-12-04 2010-06-16 河海大学常州校区 多视觉信息融合的车辆安全驾驶实时立体感知装置及方法
CN202022205U (zh) * 2011-03-17 2011-11-02 交通运输部公路科学研究所 面向安全辅助驾驶的多源信息融合装置
CN102314693A (zh) * 2011-07-27 2012-01-11 中国科学院长春光学精密机械与物理研究所 双模视频目标识别跟踪系统
CN104002818A (zh) * 2014-05-27 2014-08-27 昆山市智汽电子科技有限公司 一种集互动与自动为一体的车载系统
CN106114502A (zh) * 2016-06-29 2016-11-16 烟台腾联信息科技有限公司 一种智能汽车辅助系统
CN106209546A (zh) * 2016-07-20 2016-12-07 张家港长安大学汽车工程研究院 基于双目相机和面阵相机的自动跟车系统
CN205930709U (zh) * 2016-07-22 2017-02-08 北京兴科迪科技有限公司 一种车道偏离预警系统
CN106547708A (zh) * 2016-11-01 2017-03-29 济南浪潮高新科技投资发展有限公司 一种基于arm的分布式存储模块
CN106657745A (zh) * 2016-12-30 2017-05-10 北京航空航天大学 一种多源gps数据与单目图像的车载采集系统
CN107031600A (zh) * 2016-10-19 2017-08-11 东风汽车公司 基于高速公路的自动驾驶系统
CN107215332A (zh) * 2017-06-14 2017-09-29 深圳市车米云图科技有限公司 一种安全辅助驾驶系统及控制方法
CN107277445A (zh) * 2017-06-29 2017-10-20 深圳市元征科技股份有限公司 一种车载设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005240751A (ja) * 2004-02-27 2005-09-08 Nissan Motor Co Ltd 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
CN201369789Y (zh) * 2009-03-13 2009-12-23 重庆市易博数字技术有限公司 基于arm嵌入式处理器的多路视频图像采集装置
CN101739843A (zh) * 2009-12-04 2010-06-16 河海大学常州校区 多视觉信息融合的车辆安全驾驶实时立体感知装置及方法
CN202022205U (zh) * 2011-03-17 2011-11-02 交通运输部公路科学研究所 面向安全辅助驾驶的多源信息融合装置
CN102314693A (zh) * 2011-07-27 2012-01-11 中国科学院长春光学精密机械与物理研究所 双模视频目标识别跟踪系统
CN104002818A (zh) * 2014-05-27 2014-08-27 昆山市智汽电子科技有限公司 一种集互动与自动为一体的车载系统
CN106114502A (zh) * 2016-06-29 2016-11-16 烟台腾联信息科技有限公司 一种智能汽车辅助系统
CN106209546A (zh) * 2016-07-20 2016-12-07 张家港长安大学汽车工程研究院 基于双目相机和面阵相机的自动跟车系统
CN205930709U (zh) * 2016-07-22 2017-02-08 北京兴科迪科技有限公司 一种车道偏离预警系统
CN107031600A (zh) * 2016-10-19 2017-08-11 东风汽车公司 基于高速公路的自动驾驶系统
CN106547708A (zh) * 2016-11-01 2017-03-29 济南浪潮高新科技投资发展有限公司 一种基于arm的分布式存储模块
CN106657745A (zh) * 2016-12-30 2017-05-10 北京航空航天大学 一种多源gps数据与单目图像的车载采集系统
CN107215332A (zh) * 2017-06-14 2017-09-29 深圳市车米云图科技有限公司 一种安全辅助驾驶系统及控制方法
CN107277445A (zh) * 2017-06-29 2017-10-20 深圳市元征科技股份有限公司 一种车载设备

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109032113A (zh) * 2018-08-09 2018-12-18 北京智行者科技有限公司 车辆控制单元
CN109159784A (zh) * 2018-09-30 2019-01-08 知行汽车科技(苏州)有限公司 一种驾驶员疲劳监控系统
EP3839686A4 (en) * 2018-12-28 2022-05-04 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. VEHICLE MOUNTED CONTROL UNIT AND FPGA BASED METHOD AND APPARATUS FOR AUTOMATICALLY DRIVING A VEHICLE
CN109814552A (zh) * 2018-12-28 2019-05-28 百度在线网络技术(北京)有限公司 车载控制单元、基于fpga的车辆自动驾驶方法及装置
US12022237B2 (en) 2018-12-28 2024-06-25 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Vehicle-mounted control unit, and method and apparatus for FPGA based automatic driving of vehicle
WO2020135730A1 (zh) * 2018-12-28 2020-07-02 百度在线网络技术(北京)有限公司 车载控制单元、基于fpga的车辆自动驾驶方法及装置
CN109814552B (zh) * 2018-12-28 2024-05-24 阿波罗智能技术(北京)有限公司 车载控制单元、基于fpga的车辆自动驾驶方法及装置
WO2020145432A1 (ko) * 2019-01-09 2020-07-16 엘지전자 주식회사 Multi soc 시스템을 통해 차량을 제어하는 방법
US11840219B2 (en) 2019-01-09 2023-12-12 Lg Electronics Inc. Method for controlling vehicle through multi SoC system
CN110515040A (zh) * 2019-08-23 2019-11-29 睿清电子技术(南京)有限公司 一种雷达收发模拟集成系统及其应用
CN110780288A (zh) * 2019-09-29 2020-02-11 深圳市元征科技股份有限公司 道路危险提示方法、装置、车载设备和存储介质
WO2021098179A1 (zh) * 2019-11-20 2021-05-27 华为技术有限公司 一种数据管理的方法、装置、设备及智能汽车
CN111119646A (zh) * 2019-12-02 2020-05-08 惠州市德赛西威汽车电子股份有限公司 一种自动驾驶车辆的车门监控系统及方法
CN113790905B (zh) * 2021-10-13 2023-08-22 安徽光阵光电科技有限公司 一种智能汽车adas功能检测装置
CN113790905A (zh) * 2021-10-13 2021-12-14 安徽光阵光电科技有限公司 一种智能汽车adas功能检测装置
WO2024021010A1 (zh) * 2022-07-29 2024-02-01 华为技术有限公司 应用于车辆中的控制系统及车辆

Similar Documents

Publication Publication Date Title
CN108162977A (zh) 驾驶辅助系统及控制方法
US11197042B2 (en) Distributed 3D video for navigation
CN109817022B (zh) 一种获取目标对象位置的方法、终端、汽车及系统
CN106020757B (zh) 一种屏幕拼接方法及电子设备
CN107798362B (zh) 利用通信标签的局部定位
US9461762B2 (en) Method and system for compensating for a time discrepancy
US20190041867A1 (en) Broadcasting map segments for individualized maps
CN107733945B (zh) 用于机器人操作系统的信息传输方法及装置
JP2017525943A (ja) ファインタイミング測定(ftm)プロトコルのための失敗条件
CN112925297B (zh) 自动驾驶算法验证方法、装置、设备、存储介质及产品
US10237369B2 (en) Opportunistic backhauling of data for fine time measurement (FTM) responder systems
WO2023124354A1 (zh) 一种车辆控制器、车辆和车辆控制方法
CN110809863B (zh) 通信链路系统、数据传输方法、无人飞行器和存储介质
CN105705965A (zh) 在移动站辅助的操作模式下的测量报告定位质量验证
US20240007532A1 (en) Data transmission method, apparatus, and system
CN115743093A (zh) 车辆控制方法、装置、自动泊车辅助控制器、终端及系统
CN115195605A (zh) 基于流媒体后视镜系统的数据处理方法、装置和车辆
WO2022022137A1 (zh) 成像方法、装置、雷达系统、电子设备和存储介质
CN115071734A (zh) 接入控制方法、装置、电子设备和自动驾驶车辆
CN211603888U (zh) 一种车载综合控制系统
CN103528590A (zh) 一种为导航设备提供网络的方法及导航设备
WO2020107493A1 (zh) 内部通信链路系统和无人飞行器
CN105656740A (zh) 一种rs422-can总线转换器
CN105763402A (zh) Rs422-can总线转换器
KR102462709B1 (ko) 개방형 전기자동차의 통신용 공용플랫폼

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180615

RJ01 Rejection of invention patent application after publication