CN116414117A - 传感器接入系统及自动驾驶系统 - Google Patents
传感器接入系统及自动驾驶系统 Download PDFInfo
- Publication number
- CN116414117A CN116414117A CN202111681565.7A CN202111681565A CN116414117A CN 116414117 A CN116414117 A CN 116414117A CN 202111681565 A CN202111681565 A CN 202111681565A CN 116414117 A CN116414117 A CN 116414117A
- Authority
- CN
- China
- Prior art keywords
- data
- low
- sensor
- interface
- speed data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000013078 crystal Substances 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 18
- 239000013307 optical fiber Substances 0.000 claims description 16
- 230000007613 environmental effect Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 abstract description 60
- 238000000034 method Methods 0.000 abstract description 18
- 238000006243 chemical reaction Methods 0.000 description 12
- 230000001360 synchronised effect Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 238000013500 data storage Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000010453 quartz Substances 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- 230000026676 system process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种传感器接入系统及自动驾驶系统,属于自动驾驶技术领域。该系统包括:图像传感器接口;多个低速数据传感器接口;高速数据总线;千兆以太网接口;以及SOC芯片,其包括:FPGA单元,其接收图像数据,并将图像数据转换为PCIe协议格式数据,以及接收低速数据;至少一个实时处理器,其通过高速数据总线从FPGA单元接收低速数据,并对低速数据进行授时;以及至少一个通用处理器,其将经授时的低速数据转换为千兆以太网协议格式数据,并传输至服务器。本申请通过FPGA单元对图像数据进行处理,满足大量相机数据的处理要求,同时通过授时单元对其他自动驾驶数据进行打时间戳授时处理,满足数据同步的要求,提高后续数据处理的精度。
Description
技术领域
本申请涉及自动驾驶技术领域,尤其涉及一种传感器接入系统及自动驾驶系统。
背景技术
在自动驾驶领域,为了自动驾驶系统能够准确的对车辆的控制,保证行驶的安全性需要对大量的自动驾驶数据进行采集和处理。对数据采集的同步性和数据处理的实时性要求较高。为了提高自动驾驶的安全性和对车辆控制的准确性,因此会采用多路相机进行道路图像数据的获取,同时要求对定位数据,惯性测量单元或惯性导航设备获取的数据的实时性处理,同时为了计算准确,同一时刻的数据也需要进行同步处理。面对数据量庞大,数据处理的实时性、同步性的要求,现有的自动驾驶系统已经无法满足相应的要求,出现数据处理量小,无法有效指导自动驾驶的问题。
发明内容
针对现有技术中,自动驾驶数据处理量庞大,有着严格的时间同步要求,导致自动驾驶数据处理效率低、容易出现差错的问题,本申请提出一种传感器接入系统及自动驾驶系统。
在本申请的一个技术方案中,提供一种传感器接入系统,包括:图像传感器接口;多个低速数据传感器接口;高速数据总线;千兆以太网接口;以及SOC芯片,其包括FPGA单元,其通过图像传感器接口接收车辆的多个图像传感器采集的图像数据,并将图像数据转换为PCIe协议格式数据,以传输至服务器,以及通过多个低速数据传感器接口接收车辆的多个低速数据传感器感测到的低速数据;至少一个实时处理器,其通过高速数据总线从FPGA单元接收低速数据,并利用时钟信号对低速数据进行授时;以及至少一个通用处理器,其将经授时的低速数据转换为千兆以太网协议格式数据,以通过千兆以太网接口传输至服务器。
可选的,还包括:iPass接口,通过其将PCIe协议格式数据传输到服务器。
可选的,还包括:光纤接口,其用于与光纤连接,将PCIe协议格式数据导出到外部存储器。
可选的,还包括:温度补偿晶体振荡器,其作为时钟源,产生时钟信号。
可选的,还包括:实时时钟电路,其在温度补偿晶体振荡器不工作时,作为备用时钟源,产生时钟信号。
可选的,还包括:GPS协议接口,实时处理器经由GPS协议接口利用时钟信号对至少一个激光雷达感测到的激光雷达数据进行授时,经授时的激光雷达数据直接传输至服务器。
可选的,低速数据包括车辆的GPS信息和车辆周围的环境信息,其中,多个低速数据传感器接口包括:至少一个GPS传感器接口,其用于传输至少一个GPS传感器感测到的GPS信息;以及雷达接口,其用于传输至少一个毫米波雷达和至少一个超声波雷达感测到的环境信息。
可选的,GPS信息包括低精度GPS信息,至少一个GPS传感器接口包括:低精度GPS传感器接口,其用于传输至少一个低精度GPS传感器感测到的低精度GPS信息。
可选的,GPS信息还包括高精度GPS信息,至少一个GPS传感器接口还包括:高精度GPS传感器接口,其用于传输至少一个惯导传感器感测到的高精度GPS信息。
在本申请的一个技术方案中,提供一种自动驾驶系统,其包括服务器和传感器接入系统,其特征在于,传感器接入系统包括:图像传感器接口;多个低速数据传感器接口;高速数据总线;千兆以太网接口;以及SOC芯片,其包括:FPGA单元,其通过图像传感器接口接收车辆的多个图像传感器采集的图像数据,并将图像数据转换为PCIe协议格式数据,以传输至服务器,以及通过多个低速数据传感器接口接收车辆的多个低速数据传感器感测到的低速数据;至少一个实时处理器,其通过高速数据总线从FPGA单元接收低速数据,并利用时钟信号对低速数据进行授时;以及至少一个通用处理器,其将经授时的低速数据转换为千兆以太网协议格式数据,以通过千兆以太网接口传输至服务器,其中,服务器根据PCIe协议格式数据和千兆以太网协议格式数据,对车辆进行控制。
本申请的有益效果是:本申请通过FPGA单元对图像传感器接口接收的图像数据进行处理,满足大量图像数据的处理要求,同时通过实时处理器对低速数据传感器接口接收的低速数据进行打时间戳授时处理,满足数据同步的要求,提高后续数据处理的精度,提升自动驾驶过程中对数据的处理效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请传感器接入系统的一个实施方式的结构示意图;
图2示出了本申请传感器接入系统的一个实例;
图3示出了本申请自动驾驶系统的一个实施方式。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的产品或设备不必限于清楚地列出的哪些单元,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它单元。
在自动驾驶领域,为了自动驾驶系统能够准确的对车辆的控制,保证行驶的安全性需要对大量的自动驾驶数据进行采集和处理。对数据采集的同步性和数据处理的实时性要求较高。为了提高自动驾驶的安全性和对车辆控制的准确性,因此会采用多路相机进行图像数据的采集,同时要求对定位数据,惯性测量单元或惯性导航设备获取数据的实时性处理。另外,为了计算准确,同一时刻的数据也需要进行同步处理。面对数据量庞大,数据处理的实时性、同步性的要求,现有的自动驾驶系统已经无法满足,以至出现数据处理量小,最终导致无法有效指导自动驾驶的问题。
针对上述问题,本申请提出一种传感器接入系统及自动驾驶系统。该传感器接入系统包括:图像传感器接口;多个低速数据传感器接口;高速数据总线;千兆以太网接口;以及SOC芯片,其包括:FPGA单元,其通过图像传感器接口接收车辆的多个图像传感器采集的图像数据,并将图像数据转换为PCIe协议格式数据,以传输至服务器,以及通过多个低速数据传感器接口接收车辆的多个低速数据传感器感测到的低速数据;至少一个实时处理器,其通过高速数据总线从FPGA单元接收低速数据,并利用时钟信号对低速数据进行授时;以及至少一个通用处理器,其将经授时的低速数据转换为千兆以太网协议格式数据,以通过千兆以太网接口传输至服务器。
本申请的传感器接入系统通过设置图像传感器接口和多个低速数据传感器接口,对不同的传感器获取的数据进行导入,满足大量数据的处理要求。设置高集成度SOC芯片,通过FPGA单元对多路相机获取的图像数据等自动驾驶数据的格式进行转换和输出,满足对大量数据的处理要求。同时实现对图像传感器接口接收的多个图像传感器的同步触发控制。通过至少一个实时处理器,对通过多个低速数据传感器接口接收的低速数据进行打时间戳进行授时,从而保证处理系统对低速数据进行处理时,保证数据计算的准确性和稳定性,更准确地指导车辆的自动行驶。同时,至少一个实时处理器和至少一个通用处理器满足对自动驾驶数据的实时处理的要求
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
图1示出了本申请传感器接入系统的一个实施方式的结构示意图。
在图1所示的实施方式中,本申请的传感器接入系统包括图像传感器接口101,其用于与车辆的多个图像传感器连接,接收采集的图像数据,图像传感器包括相机。多个低速数据传感器接口102,其用于与车辆的多个低速数据传感器连接,接收其采集的低速数据。
可选的,低速数据包括车辆的GPS信息和车辆周围的环境信息,其中,多个低速数据传感器接口包括:至少一个GPS传感器接口,其用于传输至少一个GPS传感器感测到的GPS信息;以及雷达接口,其用于传输至少一个毫米波雷达和至少一个超声波雷达感测到的环境信息。
在该可选实施例中,低速数据传感器口包括至少一个GPS传感器接口,其用来传输GPS传感器感测的GPS信息;低速数据传感器口包括雷达接口,其用来传输至少一个毫米波雷达和至少一个超声波雷达感测到的车辆周围的环境信息,也就是点云信息。其中,低速数据只是相对而言。因为相比较于图像数据而言,图像数据的数据量较大,需要保证高速高效的处理,而针对GPS信息和点云的环境信息而言,其因为数据量较少,并不需要进行高速的数据处理,但其实时性要求较高。
可选的,GPS信息包括低精度GPS信息,至少一个GPS传感器接口包括:低精度GPS传感器接口,其用于传输至少一个低精度GPS传感器感测到的低精度GPS信息。
在该可选实施例中,GPS接口包括低精度GPS传感器接口,其用来与低精度GPS传感器连接,接收对应的低精度GPS信息。其中,低精度GPS传感器包括GPS位置测量单元,IMU惯性测量单元等。
可选的,GPS信息还包括高精度GPS信息,至少一个GPS传感器接口还包括:高精度GPS传感器接口,其用于传输至少一个惯导传感器感测到的高精度GPS信息。
在该可选实施例中,GPS接口包括高精度GPS传感器接口,其用来与高精度GPS传感器连接,接收对应的高精度GPS信息。其中,高精度GPS传感器包括惯性导航系统设备。
在图1所示的实施方式中,本申请的传感器接入系统包括高速数据总线103和千兆以太网接口104。
在该可选实施例中,高速数据总线设置在FPGA单元和实时处理器之间,实现数据的快速传输。千兆以太网接口主要将经过SOC芯片处理后的图像数据和低速数据上传到服务器,通过服务器对图像数据和低速数据进行进一步处理,进而对自动驾驶车辆进行自动驾驶控制。
在图1所示的实施方式中,本申请的传感器接入系统包括SOC芯片105,其包括FPGA单元1051,其通过图像传感器接口接收车辆的多个图像传感器采集的图像数据,并将图像数据转换为PCIe协议格式数据,以传输至服务器,以及通过多个低速数据传感器接口接收车辆的多个低速数据传感器感测到的低速数据。
在该实施方式中,SOC芯片采用高集成度设计,便于部署,处速度快,满足自动驾驶的实时性要求。FPGA(Field Programmable Gate Array)单元1051通过图像传感器接口接收车辆的多个图像传感器采集的图像数据,并完成数据格式的转换,将图像数据转换为具有PCIe协议格式的数据,并以该数据格式将图像数据上传到服务器,进行后续的处理。FPGA单元同时通过多个低速数据传感器接口接收车辆的多个低速数据传感器感测到的低速数据。其中,FPGA单元满足各种图像传感器接口和多个低速数据传感器接口的接入数据的功能,并对图像数据的数据格式进行转换,其具有较高的数据吞吐量,运算快的特点,相比较于其他ARM处理芯片具有更高的数据处理能力,适用于多路相机,例如12路相机等,大量图像数据的应用场景。
在图1所示的实施方式中,本申请的传感器接入系统中SOC芯片还包括至少一个实时处理器1052,其通过高速数据总线从FPGA单元接收低速数据,并利用时钟信号对低速数据进行授时。
在该实施方式中,在自动驾驶过程中,为了保证自动驾驶数据计算的准确性,各种传感器获得的自动驾驶数据需要进行时间统一处理,确定哪些自动驾驶数据是属于同一时刻的数据。实时处理器对各种自动驾驶数据通过打时间戳的方式为各种自动驾驶数据授时,便于后续对自动驾驶数据的准确处理。其中实时处理器通过高速数据总线接收经过FPGA单元的低速数据,并根据时钟信号对低速数据进行授时。
具体的,实时处理器可采用2核的R5处理器。其处理能力强,能够满足对GPS信息数据和环境信息数据的实时性处理要求。
在图1所示的实施方式中,本申请的传感器接入系统中SOC芯片还包括至少一个通用处理器1053,其将经授时的低速数据转换为千兆以太网协议格式数据,以通过千兆以太网接口传输至服务器。
在该实施方式中,通用处理器通过核间通信接收经实时处理器授时的低速数据,并对其进行数据排列、打包,最终转换成千兆以太网协议格式数据,并通过千兆以太网接口传输至服务器。
具体的,数据整理单元采用4核的A53处理器。
可选的,本申请的传感器接入系统还包括:iPass接口,通过其将PCIe协议格式数据传输到服务器。
在该可选实施例中,本申请选用高速数据传输接口,iPass接口进行PCIe协议格式数据的传输。相比较于常用的PCIe接口,iPass接口的强度更高,传输数据的能力更好。对于相机获取的图像数据而言,在图像数据经过FPGA单元进行数据格式的转换得到PCIe协议格式数据后,将直接通过iPass接口进行数据的输出,将数据传输到服务器。其中,iPass接口中采用PCIE的标准通信协议,相比较于一般的PCIE接口,iPass接口的质量更好,强度更大。
可选的,本申请的传感器接入系统还包括:光纤接口,其用于与光纤连接,将PCIe协议格式数据导出到外部存储器。
在该可选实施例中,本申请还设置有光纤接口,其中光纤接口用于对图像数据进行格式转换后的PCIe协议格式数据进行落盘存储,便于其他对图像数据的处理过程。在具体过程中,在需要对相机获取的图像数据进行数据落盘存储时,通过光纤接口实现大量图像数据的快速存储工作。其中,光纤接口的设置保证数据存储的速度,能够有效应对多路相机,大量相机数据的存储需求。
可选的,本申请的传感器接入系统还包括:温度补偿晶体振荡器,其作为时钟源,产生时钟信号。
在该可选实施例中,为了保证实时处理器进行授时的准确度,同时为FPGA单元以及通用处理器提供准确的时间基准,本申请的的传感器接入系统设置温度补偿晶体振荡器,提供准确的时钟信号,其中,温度补偿晶体振荡器TCXO(Temperature Compensate X'tal(crystal)Oscillator)是一种采用温度补偿方式的温度补偿型石英晶体谐振器,具有精度高等特点。
可选的,本申请的传感器接入系统还包括:实时时钟电路,其在温度补偿晶体振荡器不工作时,作为备用时钟源,产生时钟信号。
在该可选实施例中,本申请的系统还设置有实时时钟电路,其在温度补偿晶体振荡器故障不工作时,作为备用的时钟源,为实时处理器等提供时钟信号,进行授时操作。为了避免断电、设备故障等情况,本申请还设置有实时时钟电路RTC(Real_Time Clock),在时间基准单元故障时,可通过实时钟单元RTC为整个传感器接入系统提供时间信号。
可选的,本申请的传感器接入系统还包括:GPS协议接口,实时处理器经由GPS协议接口利用时钟信号对至少一个激光雷达感测到的激光雷达数据进行授时,经授时的激光雷达数据直接传输至服务器。
在该可选实施例中,对于GPS定位数据、毫米波雷达数据以及超声波雷达数据等,为了将其上传到服务器,需要进行数据格式的转换,将其转换为统一的以太网格式的数据后,再将其传输到外部服务器进行数据的处理。其中,对于激光雷达获取的数据,因为其本身的数据格式就满足数据传输的要求,因此不必进行数据格式的转换等过程,仅需要进行授时处理便可。因此,额外设置的GPS协议接口主要对该种数据进行授时处理。其中,GPS协议接口与实时处理器连接,利用温度补偿晶体振荡器提供的时钟信号在激光雷达传感器采集到数据后,通过实时处理器对采集到的数据进行授时,授时处理后,直接将数据传输到服务器,进行后续的处理。
可选的,本申请的传感器接入系统还包括:数据存储接口,其与通用处理器连接,根据数据存储需求对低速数据进行相应地存储;调试接口,其与通用处理器连接,根据系统调试要求,对传感器接入系统进行调试优化。
在该可选实施例中,主要根据数据存储的需求,利用数据存储接口,对自动驾驶数据包括图像数据或低速数据进行落盘存储。也可对数据处理过程中的文本日志等进行存储。调试接口,其主要根据系统的调试要求,对传感器接入系统进行调试优化。
可选的,图像传感器接口其分别与多路相机连接,将相机采集的图像数据通过预设通讯协议传输到FPGA单元,其中,FPGA单元通过第一数据线与图像传感器接口连接,通过第一数据线获取图像数据;FPGA单元通过第二数据线与图像传感器接口连接,通过第二数据线和时间基准对相机进行同步控制。
在该可选实施例中,在实际的自动车辆中,为了获取全方位的信息,会设置多路相机,布置在车辆的四周,用以采集相关的图像数据,例如设置12路相机。其中,多路相机的设置,在进行道路图像的采集时,为了保证自动驾驶运算的准确性,需要保证相机获取的图像数据的同步性。因此,图像传感器接口与FPGA单元之间,既包含进行数据通信的第一数据线,进行图像数据的传输,也包含对相机进行同步控制的第二数据线,实现对多路相机的同步控制,包括相机的同步触发、同步曝光等操作。从而实现获取的图像数据为统一时刻的数据,从而保证后续自动驾驶数据运算的准确性。
具体的,图像传感器接口与可采用标准的MIPI接口、I2C接口,通过与FPGA单元连接的第一数据线进行相机采集的图像数据的传输;通过图像传感器接口中的FSYNC接口与FPGA单元连接的第二数据线,实现对多路相机进行同步控制。其中,图像传感器接口还可包括复位RST接口,其在多路相机出现故障时,控制多路相机进行复位操作。图像传感器接口还可包括标准I/O口,进行其他功能的扩展,实现其他的功能。
需要说明的是,图像传感器接口可根据自动驾驶控制过程中对相机的控制要求或对相机采集的图像数据的处理要求等进行合理的设置,其中具体的相机接口的类型,本申请不进行具体限制。
图2示出了本申请传感器接入系统的一个实例。下面结合图2中的实例,对本申请的传感器接入系统进行进一步说明。
如图2所示,本申请的传感器接入系统用以对各种自动驾驶传感器进行接入,获取对应的自动驾驶数据进行后续处理。其中,传感器可包括图像传感器,例如多路相机,其采集图像数据;多路相机可采用12路相机,其中相机的数量可根据实际的采集需求进行扩展到16路相机,进行图像数据的采集。相机通过相应的转接口板载在本申请的传感器接入系统中,相机与FPGA单元之间通过对应的MIPI/I2C等接口进行图像的传输,通过FSYNC接口进行多路相机的同步控制,通过RST接口实现对多路相机的复位操作,以及还可设置额外的I/O接口,进行其他功能的扩展。低速数据传感器,例如低精度GPS传感器,如GPS/IMU,其采集自动驾驶车辆的位置信息和姿态信息;高精度GPS传感器,如惯性导航系统,其为更加精确的设备,同样获取自动驾驶车辆的位置信息和姿态信息。其中,位置信息相关的传感器通过标准的RS232接口连接到传感器接入系统。其中,接口可设置多个,分别传输位置信息的原始数据和处理后的数据,其中具体的接口数量和接口类型,本申请不进行具体限制。另外,本申请的传感器接入系统还包括雷达接口,可连接点云传感器,包括毫米波雷达和超声波雷达。两者分别获取对应的点云数据后,通过标准的CAN接口连接到传感器接入系统,进行点云数据的传输。其中,上传到传感器接入系统的点云数据可以是原始点云数据,也可以是经过预处理后的点云数据,具体的要求可根据实际的使用场景或者设备的处理要求进行合理设置。
对传感器采集的图像数据和低速数据,经过对应的接口连接到传感器接入系统中的FPGA单元。在FPGA单元中,进行数据格式的转换。其中,SOC芯片中的FPGA单元具有较强的数据处理能力,适合多路相机的设置。同时,FPGA单元对多路相机进行同步控制,控制多路相机的同步触发及同步曝光等操作,以满足自动驾驶处理的数据同步要求。图像数据经过FPGA单元后,直接通过通信输出口中的iPass接口输出,上传到服务器。自动驾驶数据中的低速数据由FPGA单元通过高速数据总线将低速数据传输到实时处理器进行对数据的打时间戳授时操作。实时处理器可选择2核的R5处理器,其中R5处理器的数据处理能力强,能够很好的满足GPS数据和点云数据的实时性处理要求。在经过实时处理器打时间戳的授时操作后,低速数据通过核间通信,传输到通用处理器,进行数据的打包整理操作,其中通用处理器可选择4核的A53处理器。通过通用处理器的数据整理打包后,传输到对应的通信输出口,例如以千兆太网接口,将数据上传到服务器。
本申请的传感器接入系统中还包括数据存储接口,数据存储接口可选择SATA(Serial ATA)接口,连接SSD存储盘进行数据的存储;通信输出口还包括调试接口,其中调试接口可设置为USB3.0接口,通过该接口进行传感器接入系统的调试和优化。
另外,本申请的传感器接入系统还包括GPS协议接口,其主要与激光雷达连接,对激光雷达采集的点云数据进行授时。
本申请的传感器接入系统还包括温度补偿晶体振荡器TCXO和实时时钟电路RTC。用来对SOC芯片中的实时处理器提供授时的时钟信号。同时,在通过千兆以太网接口将数据传输到服务器时,在数据传输的同时,也可将时钟信号通过PTP授时协议传输到服务器,同样为服务器提供时钟信号。
本申请的传感器接入系统,通过FPGA单元对相机数据进行处理,满足大量相机数据的处理要求,同时通过授时单元对其他自动驾驶数据进行打时间戳授时处理,满足数据同步的要求,提高后续数据处理的精度,提升自动驾驶的处理效果。同时,处理芯片的集成性高,便于部署。
图3示出了本申请自动驾驶系统的一个实施方式。
在图3所示的实施方式中,本申请的自动驾驶系统包括服务器和传感器接入系统,其特征在于,传感器接入系统包括:图像传感器接口;多个低速数据传感器接口;高速数据总线;千兆以太网接口;以及SOC芯片,其包括:FPGA单元,其通过图像传感器接口接收车辆的多个图像传感器采集的图像数据,并将图像数据转换为PCIe协议格式数据,以传输至服务器,以及通过多个低速数据传感器接口接收车辆的多个低速数据传感器感测到的低速数据;至少一个实时处理器,其通过高速数据总线从FPGA单元接收低速数据,并利用时钟信号对低速数据进行授时;以及至少一个通用处理器,其将经授时的低速数据转换为千兆以太网协议格式数据,以通过千兆以太网接口传输至服务器,其中,服务器根据PCIe协议格式数据和千兆以太网协议格式数据,对车辆进行控制
可选的,本申请的自动驾驶系统还包括:iPass接口,通过其将PCIe协议格式数据传输到服务器。
在该可选实施例中,本申请选用高速数据传输接口,iPass接口进行PCIe协议格式数据的传输。相比较于常用的PCIe接口,iPass接口的强度更高,传输数据的能力更好。对于相机获取的图像数据而言,在图像数据经过FPGA单元进行数据格式的转换得到PCIe协议格式数据后,将直接通过iPass接口进行数据的输出,将数据传输到服务器。其中,iPass接口中采用PCIE的标准通信协议,相比较于一般的PCIE接口,iPass接口的质量更加,强度更大。
可选的,本申请的自动驾驶系统还包括:光纤接口,其用于与光纤连接,将PCIe协议格式数据导出到外部存储器。
在该可选实施例中,本申请还设置有光纤接口,其中光纤接口用于对图像数据进行格式转换后的PCIe协议格式数据进行落盘存储,便于其他对图像数据的处理过程。在具体过程中,在需要对相机获取的图像数据进行数据落盘存储时,通过光纤接口实现大量图像数据的快速存储工作。其中,光纤接口的设置保证数据存储的速度,能够有效应对多路相机,大量相机数据的存储需求。
可选的,本申请的自动驾驶系统还包括:温度补偿晶体振荡器,其作为时钟源,产生时钟信号。
在该可选实施例中,为了保证实时处理器进行授时的准确度,同时为FPGA单元以及通用处理器提供准确的时间基准,本申请的的传感器接入系统设置温度补偿晶体振荡器,提供准确的时钟信号,其中,温度补偿晶体振荡器TCXO(Temperature Compensate X'tal(crystal)Oscillator)是一种采用温度补偿方式的温度补偿型石英晶体谐振器,具有精度高等特点。
可选的,本申请的自动驾驶系统还包括:实时时钟电路,其在温度补偿晶体振荡器不工作时,作为备用时钟源,产生时钟信号。
在该可选实施例中,本申请的系统还设置有实时时钟电路,其在温度补偿晶体振荡器故障不工作时,作为备用的时钟源,为实时处理器等提供时钟信号,进行授时操作。为了避免断电、设备故障等情况,本申请还设置有实时时钟电路RTC(Real_Time Clock),在时间基准单元故障时,可通过实时钟单元RTC为整个传感器接入系统提供时间信号。
可选的,本申请的自动驾驶系统还包括:GPS协议接口,实时处理器经由GPS协议接口利用时钟信号对至少一个激光雷达感测到的激光雷达数据进行授时,经授时的激光雷达数据直接传输至服务器。
在该可选实施例中,对于GPS定位数据、毫米波雷达数据以及超声波雷达数据等,为了将其上传到外部服务器,需要进行数据格式的转换,将其转换为统一的以太网格式的数据后,再将其传输到外部服务器进行数据的处理。其中,对于激光雷达获取的数据,因为其本身的数据格式就满足数据传输的要求,因此不必进行数据格式的转换等过程,仅需要进行授时处理便可。因此,额外设置的GPS协议接口主要对该种数据进行授时处理。其中,GPS协议接口与实时处理器连接,利用温度补偿晶体振荡器提供的时钟信号在激光雷达传感器采集到数据后,通过实时处理器对采集到的数据进行授时,授时处理后,直接将数据传输到服务器,进行后续的处理。
本申请的自动驾驶系统通过FPGA单元对相机数据进行处理,满足大量相机数据的处理要求,同时通过授时单元对其他自动驾驶数据进行打时间戳授时处理,满足数据同步的要求,提高后续数据处理的精度,提升自动驾驶的处理效果。同时,处理芯片的集成性高,便于部署。
在本申请所提供的实施方式中,应该理解到,所揭露的装置,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上仅为本申请的实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种传感器接入系统,其特征在于,包括:
图像传感器接口;
多个低速数据传感器接口;
高速数据总线;
千兆以太网接口;以及
SOC芯片,其包括:
FPGA单元,其
通过所述图像传感器接口接收车辆的多个图像传感器采集的图像数据,并将所述图像数据转换为PCIe协议格式数据,以传输至服务器,以及
通过所述多个低速数据传感器接口接收所述车辆的多个低速数据传感器感测到的低速数据;
至少一个实时处理器,其FPGA单元通过所述高速数据总线从所述FPGA单元接收所述低速数据,并利用时钟信号对所述低速数据进行授时;以及
至少一个通用处理器,其将经授时的低速数据转换为千兆以太网协议格式数据,以通过所述千兆以太网接口传输至所述服务器。
2.根据权利要求1所述的传感器接入系统,其特征在于,图像传感器接口FPGA单元FPGA单元图像传感器接口FPGA单元图像传感器接口还包括:
FPGA单元iPass接口,通过其FPGA单元将所述PCIe协议格式数据传输到所述服务器。
3.根据权利要求3所述的传感器接入系统,其特征在于,还包括:
光纤接口,其用于与光纤连接,将所述PCIe协议格式数据导出到外部存储器。
4.根据权利要求1所述的传感器接入系统,其特征在于,还包括:
温度补偿晶体振荡器,其作为时钟源,产生所述时钟信号。
5.根据权利要求4所述的传感器接入系统,其特征在于,还包括:
实时时钟电路,其在所述温度补偿晶体振荡器不工作时,作为备用时钟源,产生所述时钟信号。
6.根据权利要求1所述的传感器接入系统,其特征在于,还包括:
GPS协议接口,所述实时处理器经由所述GPS协议接口利用所述时钟信号对至少一个激光雷达感测到的激光雷达数据进行授时,经授时的激光雷达数据直接传输至服务器。
7.根据权利要求1所述的传感器接入系统,其特征在于,所述低速数据包括所述车辆的GPS信息和所述车辆周围的环境信息,其中,所述多个低速数据传感器接口包括:
至少一个GPS传感器接口,其用于传输至少一个GPS传感器感测到的所述GPS信息;以及
雷达接口,其用于传输至少一个毫米波雷达和至少一个超声波雷达感测到的所述环境信息。
8.根据权利要求7所述的传感器接入系统,其特征在于,所述GPS信息包括低精度GPS信息,所述至少一个GPS传感器接口包括:
低精度GPS传感器接口,其用于传输至少一个低精度GPS传感器感测到的所述低精度GPS信息。
9.根据权利要求8所述的传感器接入系统,其特征在于,所述GPS信息还包括高精度GPS信息,所述至少一个GPS传感器接口还包括:
高精度GPS传感器接口,其用于传输至少一个惯导传感器感测到的所述高精度GPS信息。
10.一种自动驾驶系统,其包括服务器和传感器接入系统,其特征在于,所述传感器接入系统包括:
图像传感器接口;
多个低速数据传感器接口;
高速数据总线;
千兆以太网接口;以及
SOC芯片,其包括:
FPGA单元,其
通过所述图像传感器接口接收车辆的多个图像传感器采集的图像数据,并将所述图像数据转换为PCIe协议格式数据,以传输至所述服务器,以及
通过所述多个低速数据传感器接口接收所述车辆的多个低速数据传感器感测到的低速数据;
至少一个实时处理器,其通过所述高速数据总线从所述FPGA单元接收所述低速数据,并利用时钟信号对所述低速数据进行授时;以及
至少一个通用处理器,其将经授时的低速数据转换为千兆以太网协议格式数据,以通过所述千兆以太网接口传输至所述服务器,
其中,所述服务器根据所述PCIe协议格式数据和所述千兆以太网协议格式数据,对所述车辆进行控制。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111681565.7A CN116414117A (zh) | 2021-12-29 | 2021-12-29 | 传感器接入系统及自动驾驶系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111681565.7A CN116414117A (zh) | 2021-12-29 | 2021-12-29 | 传感器接入系统及自动驾驶系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116414117A true CN116414117A (zh) | 2023-07-11 |
Family
ID=87058512
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111681565.7A Pending CN116414117A (zh) | 2021-12-29 | 2021-12-29 | 传感器接入系统及自动驾驶系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116414117A (zh) |
-
2021
- 2021-12-29 CN CN202111681565.7A patent/CN116414117A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111474532B (zh) | 车载移动激光雷达测量系统时间同步方法及装置 | |
CN102519488B (zh) | 多源航空导航信号综合数据采集及处理系统 | |
CN105446917B (zh) | 一种ppk-rtk的数据记录及定位信息获取的装置 | |
CN210781101U (zh) | 数据采集装置及数据采集系统 | |
CN108023658B (zh) | 高精度时钟同步授时方法与装置 | |
CN112584092B (zh) | 数据采集装置及数据采集系统 | |
CN103792841B (zh) | 一种空间相机图像对时信息生成系统 | |
CN103868513B (zh) | 一种分布式pos用数据处理计算机系统 | |
CN107707626B (zh) | 基于fpga的数据采集卡、数据采集系统及数据采集方法 | |
CN103148850B (zh) | 一种高精度的星敏感器 | |
CN107014381B (zh) | Pld、dsp、组合导航系统、数据处理方法和装置 | |
CN114964175B (zh) | 多传感器数据同步采集装置及采集方法 | |
CN108282242A (zh) | 时空同步装置及系统、地图采集车及地图智能生产系统 | |
CN112564883B (zh) | 时间同步设备、方法以及自动驾驶系统 | |
CN111279637B (zh) | 一种信息同步方法、无人机、负载设备、系统及存储介质 | |
CN108282631A (zh) | 一体化的空间相机自动化测试系统 | |
CN217561949U (zh) | 传感器接入系统及自动驾驶系统 | |
CN116414117A (zh) | 传感器接入系统及自动驾驶系统 | |
TW201324169A (zh) | 訊號採集系統及方法 | |
CN112995524A (zh) | 高精采集车及其照片曝光信息生成系统、方法和同步装置 | |
CN109633700B (zh) | 一种多gps接收机授时精度测试方法 | |
EP4344102A1 (en) | Clock synchronization method for control system, and control system | |
CN115326024A (zh) | 基于zynq的海洋立体观测平台多天线pos系统、工作方法 | |
CN112924946A (zh) | 雷达测试中多源数据时延控制及时钟同步采集方法 | |
CN112654082A (zh) | 一种计时装置、基站、定位系统、校准方法和定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |