CN112783149A - 具有分布式传感器架构以及利用计算和数据共享的嵌入式处理的智能车辆 - Google Patents
具有分布式传感器架构以及利用计算和数据共享的嵌入式处理的智能车辆 Download PDFInfo
- Publication number
- CN112783149A CN112783149A CN202011190526.2A CN202011190526A CN112783149A CN 112783149 A CN112783149 A CN 112783149A CN 202011190526 A CN202011190526 A CN 202011190526A CN 112783149 A CN112783149 A CN 112783149A
- Authority
- CN
- China
- Prior art keywords
- data
- requests
- computing
- input stream
- computation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 127
- 238000003860 storage Methods 0.000 claims abstract description 28
- 230000008569 process Effects 0.000 claims description 47
- 230000004044 response Effects 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 18
- 239000000126 substance Substances 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 6
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 22
- 238000004891 communication Methods 0.000 description 20
- 238000001514 detection method Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000005070 sampling Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 238000003708 edge detection Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000007667 floating Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000037424 autonomic function Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000010926 purge Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
- B60W30/143—Speed control
- B60W30/146—Speed limiting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/40—Bus networks
- H04L12/403—Bus networks with centralised control, e.g. polling
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
- G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
- B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
- B60W30/17—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle with provision for special action when the preceding vehicle comes to a halt, e.g. stop and go
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
- G05D1/0291—Fleet control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/02—Details
- H04J3/06—Synchronising arrangements
- H04J3/0635—Clock or time synchronisation in a network
- H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
- H04J3/0644—External master-clock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/02—Details
- H04J3/06—Synchronising arrangements
- H04J3/0635—Clock or time synchronisation in a network
- H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
- H04J3/0658—Clock or time synchronisation among packet nodes
- H04J3/0661—Clock or time synchronisation among packet nodes using timestamps
- H04J3/0664—Clock or time synchronisation among packet nodes using timestamps unidirectional timestamps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/48—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/40—Bus networks
- H04L2012/40208—Bus networks characterized by the use of a particular bus standard
- H04L2012/40215—Controller Area Network CAN
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/40—Bus networks
- H04L2012/40267—Bus for use in transportation systems
- H04L2012/40273—Bus for use in transportation systems the transportation system being a vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Electromagnetism (AREA)
- Optics & Photonics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提出了一种具有用于计算和数据共享的逻辑的嵌入式控制系统、用于制造/使用这种系统的方法以及具有用于提供自动驾驶功能的分布式传感器和嵌入式处理硬件的车辆。一种用于操作与分布式传感器连接的嵌入式控制器的方法包括:经由第一嵌入式控制器从第一传感器接收第一数据流,以及经由存储装置中的共享数据缓冲区存储具有第一时间戳和数据寿命的所述第一数据流。经由第二嵌入式控制器从第二传感器接收第二数据流。基于对应的时间戳和数据寿命计算第二数据流的定时影响。当确定该定时影响没有违反定时约束时,从存储器中清除所述第一数据流,并且将具有第二时间戳和数据的所述第二数据流存储在所述存储装置中。
Description
引言。
技术领域
本公开大体上涉及嵌入式控制系统。更具体地,本公开的方面涉及具有分布式视觉传感器架构和用于提供自动驾驶功能的嵌入式处理硬件的智能机动车辆。
背景技术
目前生产的机动车辆(诸如,现代汽车)最初配备有或改造为包括车载电子装置的网络,这些车载电子装置提供有助于最小化驾驶员工作的自动驾驶能力。例如,在汽车应用中,大多数可识别类型的自动驾驶特征是巡航控制系统。巡航控制允许车辆操作员设置特定的车辆速度,并且使车载计算机系统在驾驶员没有操作油门或刹车踏板的情况下保持该速度。下一代自适应巡航控制(ACC)是自动驾驶特征,这种自动驾驶特征调节车辆速度,同时伴随地管理主车辆与前方/后方车辆之间的前后间距。另一种类型的自动驾驶特征是防撞系统(CAS),防撞系统检测即将发生的碰撞情况,并且向驾驶员提供警告,同时也自主地采取预防措施,例如,通过在没有驾驶员输入的情况下转向或制动。智能停车辅助系统(IPAS)、车道监测和自动转向(“Auto Steer”)系统以及其他高级驾驶辅助系统(ADAS)连同自主驾驶能力在许多现代汽车上也是可用的。
随着车辆处理、通信和感测能力的不断改进,制造商将坚持提供更多的系统自动驾驶能力,希望最终生产出能够在城市和农村场景两者中的不同车辆类型之间操作的完全自主的车辆。原始设备制造商(OEM)正朝着具有更高水平的驾驶自动化的车辆对车辆(V2V)和车辆对基础设施(V2I)“会说话”汽车发展,这些汽车采用自主控制系统以使得车辆路线规划能与转向、车道变换、情景规划等能够一起进行。自动路线生成系统利用车辆跟踪和动态传感器、地图和路况数据以及路径预测算法来提供具有自动车道中心和车道变换预报的路径导出。计算机辅助的路线重新规划技术自动构建可基于实时和虚拟车辆数据更新的替代行进路线。
现在许多汽车都配备有车载导航系统,这些车载导航系统利用与导航软件和地理位置地图服务合作的全球定位系统(GPS)收发器来获得与车辆当前位置相关联的道路地形、交通和限速信息。自主驾驶和高级驾驶员辅助系统往往能够基于车载导航系统所获得的道路信息来适应某些自动驾驶操纵。例如,基于对等网络的ADAS可采用GPS和地图数据结合多跳位置辅助多播V2V和V2I数据交换来促进自动车辆操纵和动力总成控制。在辅助和非辅助车辆操作期间,驻留导航系统可基于估计的最短行进时间或针对给定行程的路线起点和路线目的地之间的估计的最短行进距离来标识推荐的行进路线。该推荐的行进路线然后可作为地图轨迹或逐向驾驶指令显示在地理编码和注释的地图上,该地图具有车载音频系统输出的任选语音命令。
自动化车辆系统和子系统采用各种各样的嵌入式感测装置和电子控制单元(ECU)来生成和处理传感器数据,以调节车载致动器。许多驻留车辆系统彼此独立操作,并且因此不传送或交换数据。例如,自动化车辆检测(VD)、行人检测(PD)和车道检测(LD)子系统常规地采用独立的、专用的ECU,这些ECU在控制器局域网(CAN)上进行异步通信,该CAN具有以不同的速率操作的离散感测装置。尽管使用了单独的ECU和传感器,但是这些自动化子系统往往依赖于许多相同的传感器输入和车辆数据——有时称为“全局变量”——以实现它们相应的功能。独立地操作多个ECU和传感器阵列来产生和处理相同的数据在本质上是低效的,从而导致多余的部件和函数冗余、扩大的计算复杂度和负担以及增加的系统硬件和软件成本。
发明内容
本文提出了具有用于通过计算和数据共享进行优化处理的附带逻辑的嵌入式控制系统、用于制造这种系统的方法和使用这种系统的方法、用于提供这种逻辑的计算机可读介质以及具有分布式传感器架构和用于提供自动驾驶功能的嵌入式处理硬件的机动车辆。例如,提出了通过函数和数据共享进行高性能嵌入式视觉处理的系统、方法和架构。该系统架构包括与多个可独立操作的控制器通信的离散感测装置的分布式阵列,这些控制器被设计成避免重复的数据计算,并且通过共享数据缓冲区和共享计算模块重复通用函数的加载。共享缓冲区在预定义寿命内存储传入传感器数据,并且排除相同数据的冗余计算。同步计算共享是通过合并操作数据和/或对来自不同应用的计算请求进行重新排序实现的。这些协议提高了整体装置利用率和系统性能,尤其是对于多个传感器处理功能共享一组通用硬件装置的架构,诸如图形处理单元(GPU)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)。
本公开的方面涉及用于制造或使用所公开的智能机动车辆和/或嵌入式处理系统中的任一种的控制算法和处理逻辑。在示例中,提出了一种用于操作与分布式传感器阵列可操作地连接的一组联网的嵌入式控制器的方法。这种代表性方法以任何顺序和与上面和下面所公开的选项和功能中的任任一者组合包括:经由第一嵌入式控制器从一组传感器接收第一数据流;经由驻留存储装置中的共享数据缓冲区存储具有相应时间戳和数据寿命的第一数据流;经由第二嵌入式控制器从该组传感器接收第二数据流;基于接收到的第二数据输入流确定所存储的第一数据输入流的定时影响;确定这种定时影响是否违反预定义定时约束;并且响应于定时影响违反了定时约束,从驻留存储装置中清除第一数据流并且将具有相应时间戳和数据寿命的第二数据流存储在存储装置中。响应于定时影响没有违反定时约束,跳过该组传感器的第二传感器数据读数。
本公开的附加方面涉及具有分布式传感器架构和用于提供自动驾驶功能的嵌入式处理硬件的机动车辆。如本文所使用的,术语“车辆”和“机动车辆”可被互换和同义地用来包括任何相关的车辆平台,诸如客运车辆(例如内燃的、混合动力、全电动、燃料电池、完全自主和部分自主的)、商用车辆、工业车辆、履带式车辆、越野和全地形车辆(ATV)、摩托车、农场设备、船只、飞机。在示例中,提出了一种机动车辆,该机动车辆包括具有多个车轮的车身和其他标准原始设备。安装到车身的还有动力总成系统,该动力总成系统具有原动机,诸如牵引马达和/或内燃机,该原动机选择性地连接到动力传输装置,以驱动一个或多个车轮,从而推进车辆。车辆还配备有转向系统和制动系统,该转向系统可操作以转动车轮中的一个或多个,从而控制车辆的前进方向,该制动系统可操作以减小车轮的旋转速度,从而使车辆减慢和/或停止。
继续讨论上面的示例,机动车辆还包括车辆控制器,该车辆控制器可具体实施为驻留或远程电子控制单元或调节一个或多个驻留车辆系统和/或子系统的操作的分布式控制器的网络中的一个或多个控制器。这种车辆控制器被编程以读取经由第一嵌入式控制器从传感器接收到的第一数据输入流,并且经由驻留存储装置中的共享数据缓冲区存储具有第一时间戳和第一数据寿命的第一数据输入流。车辆控制器还读取经由第二嵌入式控制器从传感器接收到的第二数据输入流,并且计算第一数据输入流的定时影响,例如基于第二数据流。当确定定时影响违反了预定义定时约束时,控制器响应地:从驻留存储装置中清除第一数据输入流,并且将具有第二时间戳和第二数据寿命的第二数据输入流存储在驻留存储装置中。车辆控制器然后将一个或多个命令信号传输到车辆的转向系统、制动系统和/或动力总成系统,以基于存储在驻留存储装置中的数据输入流执行一个或多个控制操作。
本公开的附加方面涉及用于实施所公开的方法、算法和/或逻辑的存储器存储的、处理器可执行的指令。通过非限制性示例,非暂时性计算机可读介质存储指令集,以供电子控制器的嵌入式网络的一个或多个处理器中的至少一个执行。联网的控制器经由通信接口与分布式传感器阵列连接。存储器存储的指令使嵌入式电子控制器执行各种步骤,这些步骤可包括:第一嵌入式控制器从一组传感器接收第一数据输入流,以及经由非暂时性存储装置中的共享数据缓冲区存储具有第一时间戳和第一数据寿命的第一数据流。第二嵌入式控制器从该组传感器接收第二数据输入流。当接收到第二数据流时,嵌入式控制器中的一个或联网的主控制器基于第二数据输入流确定第一数据输入流的定时影响。如果定时影响违反了预定义定时约束时,则控制器响应地从驻留存储装置中清除第一数据输入流,并且同时将具有第二时间戳和第二数据寿命的第二数据输入流存储在驻留存储装置中。对于汽车应用,一个或多个车辆控制模块可使用存储器存储的数据来执行一个或多个控制操作,以执行自动化车辆驾驶操纵。
本发明提供了以下技术方案:
1. 一种操作与分布式传感器阵列可操作地连接的一组联网的嵌入式控制器的方法,所述方法包括:
经由所述嵌入式控制器中的第一者从一组传感器接收第一数据输入流;
经由驻留存储装置中的共享数据缓冲区存储具有第一时间戳和第一数据寿命的所述第一数据输入流;
经由所述嵌入式控制器中的第二者从所述一组传感器接收第二数据输入流;
基于接收到的所述第二数据输入流来确定所存储的所述第一数据输入流的定时影响;
确定所述定时影响是否违反了预定义定时约束;以及
响应于所述定时影响违反了所述预定义定时约束,从所述驻留存储装置中清除所述第一数据输入流,并且将具有第二时间戳和第二数据寿命的所述第二数据输入流存储在所述驻留存储装置中。
2. 根据技术方案1所述的方法,其中,确定所述定时影响包括将所述第一数据输入流的第一数据流逝时间t DE1 计算为:
其中,m是整数型常数;P1是所述第一数据输入流的第一调用周期;并且P2是所述第二数据输入流的第二调用周期。
3. 根据技术方案2所述的方法,其中,当所述第一数据寿命大于所述第一数据流逝时间t DE1 时,所述第一数据输入流的所述定时影响违反了所述预定义定时约束。
4. 根据技术方案3所述的方法,所述方法进一步包括:响应于所述定时影响没有违反所述预定义定时约束,清除所述第二数据输入流。
5. 根据技术方案1所述的方法,所述方法进一步包括:
接收多个计算请求,以处理经由所述分布式传感器阵列生成的数据;以及
将接收到的所述计算请求排列在存储在所述驻留存储装置中的计算请求队列内。
6. 根据技术方案5所述的方法,所述方法进一步包括:
确定排列在所述计算请求队列中的所述计算请求中的至少两个是否共享通用计算过程;以及
响应于确定所述计算请求中没有一个共享所述通用计算过程,保持排列在所述计算请求队列中的所述计算请求的当前序列。
7. 根据技术方案6所述的方法,所述方法进一步包括:
响应于所述计算请求中的所述至少两个共享所述通用计算过程,确定所述计算请求中的所述至少两个的数据输出是否共享通用数据结构;以及
响应于所述计算请求中的所述至少两个的所述数据输出不共享所述通用数据结构,将排列在所述计算请求队列中的所述计算请求的当前序列重新排列成重新排列的序列。
8. 根据技术方案7所述的方法,所述方法进一步包括:
响应于所述计算请求中的所述至少两个的所述数据输出共享所述通用数据结构,确定所述嵌入式控制器中的第一者或第二者的硬件能力是否足以完成通用计算过程;以及
响应于所述硬件能力不足以完成所述通用计算过程,将排列在所述计算请求队列中的所述计算请求的所述当前序列重新排列成重新排列的序列。
9. 根据技术方案8所述的方法,所述方法进一步包括:
响应于所述计算请求中的所述至少两个的所述数据输出不共享所述通用数据结构并且所述硬件能力不足以完成所述通用计算过程,确定所述计算请求中的所述至少两个是否满足一组预定义的利用率和定时需求;以及
响应于所述计算请求中的所述至少两个不满足一组预定义的利用率和定时需求,将排列在所述计算请求队列中的所述计算请求的所述重新排列的序列恢复到所述当前序列。
10. 根据技术方案9所述的方法,所述方法进一步包括:响应于所述计算请求中的所述至少两个满足所述一组预定义的利用率和定时需求,将排列在所述计算请求队列中的所述计算请求的所述重新排列的序列存储在所述驻留存储装置中。
11. 根据技术方案8所述的方法,所述方法进一步包括:响应于所述嵌入式控制器中的所述第一者的硬件能力足以完成所述通用计算过程:
将所述计算请求中的所述至少两个组合成单组请求;以及
更新所述计算请求队列,以用所述单组请求代替所述计算请求中的所述至少两个。
12. 根据技术方案9所述的方法,所述方法进一步包括:响应于所述嵌入式控制器中的所述第一者的硬件能力足以完成所述通用计算过程,确定所述计算请求中的所述至少两个是否满足一组预定义的利用率和定时需求,其中,组合所述计算请求中的所述至少两个和更新所述计算请求队列是进一步响应于所述计算请求中的所述至少两个满足所述一组预定义的利用率和定时需求。
13. 根据技术方案12所述的方法,所述方法进一步包括:响应于所述计算请求中的所述至少两个不满足所述一组预定义的利用率和定时需求,将排列在所述计算请求队列中的所述计算请求的所述重新排列的序列恢复到所述当前序列。
14. 根据技术方案1所述的方法,所述方法进一步包括:将命令信号传输到机动车辆的转向控制模块(SCM)、制动系统控制模块(BCM)和/或动力总成控制模块,以基于存储在所述驻留存储装置中的所述第二数据输入流来执行控制操作。
15. 一种非暂时性计算机可读介质,所述非暂时性计算机可读介质具有存储在其上由嵌入式电子控制器网络的一个或多个处理器中的至少一个执行,所述嵌入式电子控制器网络经由通信接口与一组传感器连接,所述指令使所述嵌入式电子控制器网络执行如下步骤,这些步骤包括:
经由所述嵌入式控制器中的第一者从所述一组传感器接收第一数据输入流;
经由驻留存储装置中的共享数据缓冲区存储具有第一时间戳和第一数据寿命的所述第一数据输入流;
经由所述嵌入式控制器中的第二者从所述一组传感器接收具有第二时间戳和第二数据寿命的第二数据输入流;
基于接收到的所述第二数据输入流确定存储的所述第一数据输入流的定时影响;
确定所述第一数据输入流的所述定时影响是否违反预定义定时约束;以及
响应于所述定时影响违反了所述预定义定时约束,从所述驻留存储装置中清除所述第一数据输入流,并且将具有第二时间戳和第二数据寿命的所述第二数据输入流存储在所述驻留存储装置中。
16. 一种机动车辆,所述机动车辆包括:
车身,所述车身具有多个车轮,所述车轮附接到所述车身;
车辆动力总成系统,所述车辆动力总成系统具有原动机,所述原动机附接到所述车身,并且被配置成驱动所述车轮中的一个或多个,从而推进所述车辆;
车辆转向系统,所述车辆转向系统可操作以转动所述车轮中的至少一个,从而管理所述机动车辆的前进方向;
车辆制动系统,所述车辆制动系统可操作以减小所述车轮的旋转速度,从而减慢和/或停止所述机动车辆;以及
车辆控制器,所述车辆控制器附接到所述车身并且被编程以:
读取经由第一嵌入式控制器从联网的传感器接收到的第一数据输入流;
经由驻留存储装置中的共享数据缓冲区存储具有第一时间戳和第一数据寿命的所述第一数据输入流;
读取经由第二嵌入式控制器从所述联网的传感器接收到的第二数据输入流,所述第二数据输入流具有第二时间戳和第二数据寿命;
至少部分地基于所述第二数据输入流计算所述第一数据输入流的定时影响;
确定所述定时影响是否违反预定义定时约束;
响应于所述定时影响违反了下游定时约束:
从所述驻留存储装置中清除所述第一数据输入流,以及
将具有第二时间戳和第二数据寿命的所述第二数据输入流存储在所述驻留存储装置中;以及
将命令信号传输到所述车辆转向系统、车辆制动系统和/或车辆动力总成系统,以基于存储在所述驻留存储装置中的所述第二数据输入流执行控制操作。
17. 根据技术方案16所述的机动车辆,其中,确定所述定时影响包括将所述第一数据输入流的第一数据流逝时间t DE1 计算为:
其中,m是整数型常数;P1是所述第一数据输入流的第一调用周期;并且P2是所述第二数据输入流的第二调用周期。
18. 根据技术方案17所述的机动车辆,其中,当所述第一数据寿命大于所述第一数据流逝时间t DE1 时,所述定时影响违反了所述下游定时约束。
19. 根据技术方案16所述的机动车辆,其中,所述车辆控制器被进一步编程以:
接收多个计算请求,以处理经由所述分布式传感器阵列生成的数据;
将接收到的所述计算请求排列在存储在所述驻留存储装置中的计算请求队列中;
确定排列在所述计算请求队列中的所述计算请求中的至少两个是否共享通用计算过程;以及
响应于所述计算请求中的所述至少两个共享所述通用计算过程,将所述计算请求中的所述至少两个组合成单组请求。
20. 根据技术方案19所述的机动车辆,其中,所述车辆控制器被进一步编程以:
响应于所述计算请求中的所述至少两个共享所述通用计算过程,确定所述计算请求中的所述至少两个的数据输出是否共享通用数据结构;以及
响应于所述计算请求中的所述至少两个的所述数据输出共享所述通用数据结构,确定所述嵌入式控制器中的所述第一者或所述第二者的硬件能力是否足以完成所述通用计算过程,
其中,将所述计算请求中的所述至少两个组合成所述单组请求是进一步响应于所述硬件能力足以完成所述通用计算过程。
上述发明内容并不旨在代表本公开的每个实施例或每个方面。更确切地说,上述发明内容仅提供了本文所提出的一些新颖的概念和特征的例证。当结合附图和所附权利要求时,通过下面对用于实施本公开的说明示例和代表性模式的详细描述,上述特征和优点以及本公开的其他特征和附带优点将变得显而易见。此外,本公开明确包括上面和下面提出的元素和特征的任何和所有组合和子组合。
附图说明
图1是根据本公开的方面的代表性机动车辆的部分示意性的侧视图,该代表性机动车辆具有用于执行传感器数据处理和自动驾驶操作的车载控制器、感测装置和通信装置的嵌入式网络。
图2是根据本公开的方面的代表性嵌入式控制系统的图解图,该代表性嵌入式控制系统具有与用于实施嵌入式传感器数据处理以及函数和数据共享的多个可独立操作的控制器通信的分布式传感器阵列。
图3是图示了根据所公开的概念的方面的嵌入式处理系统的代表性数据共享协议的流程图,该代表性数据共享协议可与由车载或远程控制器、控制逻辑电路系统、可编程电子控制单元或其他集成电路(IC)装置或IC装置的网络执行的存储器存储的指令对应。
图4是图示了根据所公开的概念的方面的嵌入式处理系统的代表性计算共享协议的流程图,该代表性计算共享协议可与由车载或远程控制器、控制逻辑电路系统、可编程电子控制单元或其他集成电路(IC)装置或IC装置的网络执行的存储器存储的指令对应。
本公开可接受各种修改和替代形式,并且一些代表性实施例以示例的方式在附图中示出并且将在本文中进行详细描述。然而,应当理解,本公开的新颖方面并不限于上面列举的附图中所示的特定形式。更确切地说,本公开将覆盖由所附权利要求涵盖的在本公开的范围内的所有修改、等同方式、组合、子组合、排列、分组和替代方案。
具体实施方式
本公开容许呈许多不同形式的实施例。本公开的代表性实施例在附图中示出,并且将在本文中进行详细描述,但要理解这些实施例是作为所公开的原则的例证而不是作为对本公开的广泛方面的限制而提供的。从这个方面来说,例如,在摘要、引言、发明内容和具体实施方式中描述但没有在权利要求中明确陈述的元素和限制不应通过暗示、推论或其他方式被单独地或共同地并入权利要求中。
为了本具体实施方式的目的,除非特别声明:单数形式包括复数形式,并且反之亦然;词语“和”与“或”应既是连接词,也是反意连接词;词语“任何”和“全部”两者都应指“任何和全部”;并且词语“包括(including)”、“包含”、“包括(comprising)”、“具有”等应分别指“包括但不限于”。此外,例如,近似的词语,诸如“大约”、“几乎”、“基本上”、“一般地”、“近似地”等在本文中在“处于、接近或几乎处于”或“在0%到5%的范围内”、或“在可接受的制造公差范围内”、或它们的任何逻辑组合的意义上使用。最后,方向性形容词和副词,诸如前面的、后面的、车载、外置、右舷的、左舷的、竖直的、水平的、向上、向下、前、后、左、右,可以是相对于机动车辆的,诸如,当车辆被可操作地定向在水平驾驶表面上时,机动车辆的前向驾驶方向。
现在参照附图,其中,相同的附图标记遍及几个视图都指相同的特征,在图1中示出了代表性汽车,该汽车大体以10指定,并且在本文中为了讨论的目的而被描绘为轿车风格的客运车辆。封装在汽车10的车身12上(例如,遍及不同的车厢分布)的是用于执行一个或多个自动或自主驾驶操作的电子装置的车载网络。所示的汽车10——在这里也被简称为“机动车辆”或“车辆”——仅仅是示例性应用,利用该示例性应用,可实践本公开的方面和特征。同样,针对下面讨论的特定嵌入式处理架构以及自主驾驶系统和操作的现有概念的实施方式也应被理解为本文所公开的新颖特征的示例性应用。因此,将理解的是,本公开的方面和特征可应用于不同的嵌入式处理架构,用于其他自动驾驶操作并且针对任何逻辑相关类型的机动车辆被实施。此外,只示出了嵌入式处理架构和机动车辆的选择部件,并且在本文中将另外对这些选择部件进行详细描述。然而,本文所讨论的车辆和系统可包括许多附加和替代的特征以及其他可用的外围部件,例如,用于实施本公开的各种方法和功能。
图1的代表性车辆10最初配备有车辆电信和信息(“远程信息处理”)单元14,该车辆电信和信息单元与远程定位的或“非车载”云计算服务系统24进行无线通信(例如,经由蜂窝塔、基站、移动交换中心、卫星服务等)。作为非限制性示例,图1中大体所示的其他车辆硬件部件16中的一些包括电子视频显示装置18、麦克风28、一个或多个音频扬声器30和各种各样的输入控件32(例如,按钮、旋钮、开关、触摸板、键盘、触摸屏等)。通常,这些硬件部件16部分用作使得用户能够与车辆10内和车辆10外部的远程信息处理单元14以及其他系统和系统部件通信的人/机接口(HMI)。麦克风28为车辆乘员提供输入口头命令或其他听觉命令的方式;车辆10可能配备有利用音频过滤、编辑和分析软件模块的嵌入式语音处理单元。相反,扬声器30向车辆乘员提供可听见的输出,并且可能是专用于与远程信息处理单元14一起使用的独立扬声器或可能是音频系统22的部分。音频系统22可操作地连接到网络连接接口34和音频总线20,以接收模拟信息,通过一个或多个扬声器部件将其渲染成声音。
通信地耦合到远程信息处理单元14的是网络连接接口34,该网络连接接口的合适的示例包括双绞线/光纤以太网交换机、内部/外部的并行/串行通信总线、局域网(LAN)接口、控制器局域网(CAN)、媒体导向系统转移(MOST)、局部互连网络(LIN)接口等。其他适当的通信接口可包括符合ISO、SAE和IEEE标准和规范的接口。网络连接接口34使得车辆硬件16能够彼此发送和接收信号以及与在车身12内或“驻留”其中以及在车身12外或“远离”车身的各种系统和子系统发送和接收信号。这允许车辆10执行各种车辆功能,诸如,控制车辆转向、管理车辆的变速器的操作、调节引擎油门和/或马达输出、接合/脱离制动系统以及其他自动驾驶功能。例如,远程信息处理单元14从自主系统控制模块(ACM)52、引擎控制模块(ECM)54、动力总成控制模块(PCM)56、传感器系统接口模块(SSIM)58、制动系统控制模块(BSCM)60和各种各样的其他车辆ECU(诸如,变速器控制模块(TCM)、气候控制模块(CCM))接收数据和/或将数据发送给它们。
继续参照图1,远程信息处理单元14是车载计算装置,该车载计算装置不仅单独地而且通过其与其他联网装置的通信来提供服务的混合。这种远程信息处理单元14通常由一个或多个处理器40组成,每个处理器都可具体实施为离散的微处理器、专用集成电路(ASIC)或专用控制模块。车辆10可经由中央处理单元(CPU)36提供集中的车辆控制,该CPU可操作地耦合到一个或多个电子存储装置38,每个电子存储装置都可采取CD-ROM、磁盘、IC装置、半导体存储器(例如,各种类型的RAM或ROM)以及实时时钟(RTC)42的形式。具有远程的、非车载的联网装置的远距离车辆通信能力可经由蜂窝芯片集/部件、导航和定位芯片集/部件(例如,全球定位系统(GPS)收发器)或无线调制解调器中的一者或多者或全部来提供,它们中的全部都被共同地表示为44。近距离无线连接可经由短距离无线通信装置46(例如,Bluetooth ®单元或近场通信(NFC)收发器)、专用短距离通信(DSRC)部件48和/或双天线50来提供。应当理解,车辆10可在没有上面所列举的部件中的一者或多者的情况下实施,或可包括针对特定最终用途所期望的附加部件和功能。上述各种通信装置都可被配置成交换数据,作为V2V通信系统或车辆对一切(V2X)通信系统(例如,车辆对基础设施(V2I)、车辆对行人(V2P)和/或车辆对装置(V2D))中的周期性广播的一部分。
CPU 36从一个或多个感测装置接收传感器数据,该感测装置使用例如光电检测、雷达、激光、超声波、光学、红外线或其他合适的技术来执行自动驾驶操作,包括短距离通信技术,诸如DSRC或超宽带(UWB)。根据所示的示例,汽车10可配备有一个或多个数字摄像头62、一个或多个距离传感器64、一个或多个车辆速度传感器66、一个或多个车辆动态传感器68和用于处理原始传感器数据的任何必要的过滤、分类、融合和分析硬件和软件。车载传感器的分布式阵列的类型、放置、数量和互操作性可单独或共同地适于给定车辆平台,以实现自主车辆操作的所期望的水平。
数字摄像头62可使用电荷耦合器件(CCD)传感器或其他合适的光学传感器来生成指示车辆10的视野的图像,并且可被配置成用于连续的图像生成,例如每秒生成至少约35幅图像。通过比较,距离传感器64可发射和检测反射的无线电、红外线或基于光的或其他电磁信号(例如,雷达、EM电感、光检测和测距(LIDAR))来检测对象的存在、几何尺寸和/或接近性。车辆速度传感器66可采取各种形式,包括车轮速度传感器,该车轮速度传感器测量车轮速度,这些车轮速度然后被用来确定实时车辆速度。另外,车辆动态传感器68可能具有用于检测纵向和横向加速度、偏航、横滚和/或俯仰率或其他动力学相关参数的单轴或三轴加速计、角速率传感器、倾斜计等的性质。使用来自感测装置62、64、66、68的数据,CPU 36标识周围的驾驶条件,确定路面条件的特性,标识车辆10的可检测范围内的对象,确定目标对象的属性(诸如大小、相对位置、渐近角、相对速度等),并且基于这些所执行的操作来执行自动控制操纵。
这些传感器遍及机动车辆10分布在相对于车辆的前后或左舷侧和右舷侧上的视野在操作上不受阻碍的位置。每个传感器都生成指示目标主体的特性或条件的电信号,通常作为具有对应标准偏差的估计。虽然这些传感器的操作特性通常是互补的,但是一些传感器在估计某些参数时比其他传感器更可靠。大多数传感器都具有不同的操作范围和覆盖区域,并且能够在它们的操作范围内检测不同参数。例如,基于雷达的传感器可估计对象的距离、距离变化率和方位角定位,但是在估计被检测的对象的范围时可能不够稳健。另一方面,带有光学处理的摄像头在估计对象的形状和方位角位置时可能更稳健,但是在估计对象的距离和距离变化率时可能效率较低。基于扫描型LIDAR的传感器在估计距离和方位角位置方面可高效且准确地执行,但可能无法准确地估计距离变化率,并且因此,在新对象获取/识别方面可能不准确。相比之下,超声波传感器能够估计距离,但是通常无法准确地估计距离变化率和方位角位置。进一步地,许多传感器技术的性能可能受到不同环境条件的影响。因此,传感器通常呈现参数方差,这些参数方差的操作重叠为传感器融合提供了机会。
图2中图示了嵌入式控制系统100,该嵌入式控制系统具有分布式传感器阵列,诸如第一光学传感器102和第二光学传感器104,这些光学传感器分别经由控制器局域网(CAN)总线106与离散控制器的网络通信,所述离散控制器诸如是第一电子控制单元108和第二电子控制单元110,这些电子控制单元分别通过数据和计算共享来实现高性能嵌入式处理。第一光学传感器102可具有最大距离为约50 m至75 m的广角前置数字视频摄像头的性质,而第二光学传感器104可具有最大距离为约125 m至150 m的窄角前置数字视频摄像头的性质。嵌入式控制系统100使得能够在离散的嵌入式控制器之间实现数据和计算共享,以最小化或以其他方式消除重复数据的冗余计算和存储。能够很相似地在汽车和非汽车应用中实施,所公开的嵌入式处理技术利用数据和计算共享来消耗减少量的计算能力和内存存储,从而产生更高的嵌入式计算性能。
如下面将进一步详细解释的,系统100配备有共享数据缓冲区112和共享计算模块114,它们提供数据合并和函数统一,以在不同的自动化和自主功能之间共享传感器数据和计算。认识到多个特征可在单个控制器或多个控制器上运行,嵌入式控制系统100分配数据和计算,以利用系统硬件(HW)和软件(SW)的共享。虽然示出了跨单条CAN总线106与两个ECU108、110通信的两个传感器102、104,但是将了解的是,在本公开的范围内,嵌入式控制系统100可包括跨多个通信接口与任何两个或更多个控制装置通信的任何两个或更多个感测装置。此外,图2的系统和特征可并入到图1的车辆10中,并且因此,可采用上面关于所示的部件架构描述的特征、选项和替代方案中的任何一种,并且反之亦然。
继续参照图2,可具体实施为可编程的行人检测(PD)子系统微控制器的第一ECU108以第一采样率R1从第一光学传感器102和第二光学传感器104接收第一数据流DIS1作为输入。ECU 108对数据输入流DIS1进行预处理,作为第一预处理操作FuncPDS的一部分,并且将第一数据输出流DOS1传输到读/写共享数据缓冲区112。相比之下,可具体实施为可编程的车道检测(LD)子系统微控制器的第二ECU 110以第二采样率R2从自第一光学传感器102和第二光学传感器104接收第二数据流DIS2作为输入。ECU 110然后对数据输入流DIS2进行预处理,作为第二预处理操作FuncLDS的一部分,并且将第二数据输出流DOS2传输到共享数据缓冲区112。为了最小化用于存储重复数据的多余内存使用,共享数据缓冲区112只可存储数据输出流DOS1、DOS2中的一者,或选择其片段,当认为有必要时,这些片段可在未来的时间被分析和代替。对于不同的采样率,当确定数据的“新鲜度”满足下游定时约束时,共享数据缓冲区112可自动拒绝或禁用生成数据的系统测量和/或计算。
第一子系统函数控制器116和第二子系统函数控制器118分别从共享数据缓冲区112检索通用数据集DCS(例如输出数据流DOS2),以实施PD子系统和LD子系统的相应特征F11-PDS和F21-LDS。每个子系统函数F11-PDS和F21-LDS都可实施相应的计算集CS1至CS2,这些计算完全或部分依赖于从共享数据缓冲区112提取的通用数据集DCS。每个函数F11-PDS和F21-LDS内的特征都可包含相应的计算序列,其中,现有计算中的一些由多个特征(例如数学库函数、信号处理等)共享。运行计算同步(sync)协议的主控制单元120接收这些计算集CS1至CS2,这些计算集被分类到计算请求队列中,该计算请求队列存储在驻留或远程存储装置(诸如图1的电子存储装置38)的物理缓冲存储器中。共享计算由同步协议管理,该同步协议可允许共享计算模块114以在给定的时间执行单个计算。通过不同的特征(例如RGB转灰度图像预处理、卷积神经网络(CNN)后处理)中的通用计算生成的数据被共享,以减少重复计算的HW和SF成本。第三子系统函数控制器122和第四子系统函数控制器124检索用于相应特征F13-PDS至F23-LDS的通用计算集CCS(例如输出数据流DOS2),并且将命令信号传输到制动系统控制模块(BCM)126和转向控制模块(SCM)128,以执行一个或多个自动控制操作。
计算共享的非限制性示例包括用于使用方向梯度直方图(HOG)进行目标对象的特征识别的边缘检测。边缘检测是用于在数字图像中寻找物体的轮廓或边界的图像处理技术。大多数边缘检测技术都是通过检测亮度的不连续性来工作的,并且在基于计算机的视觉中的图像处理期间用于图像分割和数据提取。HOG是用于通过将图像或图像块转换为特征向量/数组进行对象检测的数据图像处理的特征描述符。HOG技术推导出图像的局部部分中的梯度方向(方向梯度)的分布(直方图),以标识与对象边缘和拐角对应的突然的强度变化的区域。这种方法通常是在均匀间隔的单元格的密集网格上计算的,并且使用重叠的局部对比度标准化来提高准确度。行人检测和车道检测两者的应用都使用HOG边缘检测来标识感兴趣的特征。不是激发多个嵌入式控制器来完成类似的数字图像的HOG计算,而是采用单个控制器来计算行人检测和车道检测的特征。
通过共享数据缓冲区112的数据共享可通过向每个数据流都分配时间戳和“新鲜度”属性(诸如预定义数据寿命)来提供。时间戳可指示获得数据的时间和日期(例如2019-10-23 W 13:20:032 EST),然而新鲜度属性可指示数据有效的持续时间(例如3秒)。对于至少一些实施方式,数据可经由通过多个嵌入式控制器实施的多个计算(Comp_1……Comp_n)和经由以(可组合的)谐波率或(不可组合的)非谐波率运行的多个感测装置生成。可假设事件触发器不足以用于数据共享的目的;在这种情况下,数据共享可由信号频率驱动。例如,用于谐波传感器采样率的数据共享可以所有考虑的数据流都满足P_i = k_i * min(P_ 1,…, P+n)的限制为前提。通过非限制性示例,嵌入式处理系统可接收具有相应采样周期P_1、P_2和P_3的三个数据流,其中,P_1 < P_2 < P_3。当一个周期是另一个周期的整数倍时,这些采样周期的特征可在于“谐波”。例如,P_3是P_1的五倍长,并且P_2是P_1的两倍长,使得:P_1=k_1*min(P_1, P_2, P_3),k_1=1 (P_1=P_1); P_2=k_2*min(P_1, P_2, P_3), k_2=2 (P_2=2×P_1); P_3=k_3*min(P_1, P_2, P_3), k_3=5 (P_3=5×P_1)。在给定的第一时间样本中,例如t=1,如果S1_1=S3_1,但是S2_1≠S1_1,则缓冲区可:(1)随机地存储S1_1或S2_1或S3_1;(2)通过容错存储S1_1;或(3)将相应权重应用于S1_1、S2_1和S3_1,然后存储平均数SAvg=w_1*S1_1+w_2*S2_1 + w_3*S3_1。
所公开的嵌入式处理技术还通过用于非谐波传感器采样率的共享数据缓冲区112来实现数据共享。当一个周期是另一个周期的分数倍时,一组采样周期可被称为“非谐波”。在这种情况下,为每个输入数据流Stm i 都定义数据新鲜度属性,即固定持续时间的数据寿命D_i。为了减少计算工作量和重复存储,对每个数据集都进行评估,以确定用于下一个样本的最大延迟是否早于分配给该数据集的数据寿命D_i:如果是这样,则使用和存储当前数据集;如果不是,则清除或以其他方式“跳过”当前数据集。例如,驻留控制器将每个数据流的数据流逝时间t DEi 计算为:
其中,m是整数型常数;Pi是主题数据流的调用周期;并且Pj是比较数据流的调用周期。调用周期可典型地表示为同一计算的两次连续调用之间的时间延迟。如果针对第一数据流计算的第一数据流逝时间t DE1 小于该数据流的数据寿命D_1,则数据缓冲区响应地跳过当前(第一)数据输入流,并且任选地清除该数据流。
接下来参照图3的流程图,根据本公开的方面,可由全或部分自主的车辆(诸如图1的机动车辆10)实施的嵌入式处理系统(诸如图2的嵌入式控制系统100)的改进的数据共享协议大体被描述为200。同样,图4以300呈现了根据本公开的方面的嵌入式处理系统的改进的计算共享协议。图3和图4中所示和下面进一步详细描述的操作中的一些或全部都可代表与处理器可执行指令对应的算法,这些处理器可执行指令可存储在例如主存储器、辅助存储器或远程存储器中,并且由例如车载或非车载控制器、处理单元、控制逻辑电路或其他模块或装置或模块/装置的网络执行,以执行与所公开的概念相关联的上述或下述功能中的任一者或全部。应当认识到,可改变所示的操作框的执行顺序,可添加附加框,并且可修改、组合或消除所描述的框中的一些。
方法200开始于图3的末端框201,其中,用于可编程控制器或控制模块或同样合适的处理器的处理器可执行指令用于调用用于高性能嵌入式数据处理协议的初始化过程。在主动或自主车辆操作期间,这种例程可实时地、连续地、系统地、偶发地和/或以规律的间隔(例如每隔100毫秒)执行。作为另一种选项,框201可响应于来自车辆乘员的用户提示或来自负责收集、分析、排序、存储和分发车辆命令和数据的后端或中间件计算节点的广播提示信号而初始化。为了实施该协议,车辆控制系统或一个或多个子系统的任何组合可以可操作以接收、处理和同步相关信息和输入,并且执行控制逻辑和算法来调节各种车辆系统(诸如动力总成系统、燃料系统、电池系统、转向系统等),以实现所需的控制目标。
在输入/输出框203处,方法200读取传入数据输入流stm_i以及该流的相关联的时间戳和寿命。在框203处接收“新的”或时间上第二的数据输入流之前,嵌入式控制器中的一个可能已经从分布式传感器阵列中的一个或多个传感器接收到“先前的”或时间上第一的数据输入流stm_j(例如在末端框201处)。经由具有对应的时间戳和数据寿命的驻留存储装置中的共享数据缓冲区暂时存储这种现有的(第一)数据输入流stm_j。嵌入式控制器中的一个可从分布式传感器中的一个或多个接收新的(第二)数据输入流stm_i;嵌入式处理系统然后检查存储的(第一)数据流的可重用性。例如,如果当前时间小于数据流的时间戳和寿命的数学和,则该数据可以被重用;不需要重新收集或重新计算以及存储相同的数据。
图3的方法200从输入/输出框203继续到预定义过程框205,该预定义过程框205提供处理器可执行的指令,以选择经由共享数据缓冲区存储在存储器中的最新数据流stm_j,并且计算传入数据流stm_i的定时影响。如上面所指示的,可为任何接收到的数据流计算数据流逝时间t DEi 。嵌入式处理系统之后确定传入流的定时影响是否违反了下游定时约束。移动到决定框207,例如,方法200确定传入(第二)数据流的数据流逝时间t DE2 是否小于数据寿命D_2。如果为第二数据流计算的数据流逝时间t DE2 小于该数据流的数据寿命D_2,则定时影响违反了下游定时约束(框207=是)并且被跳过。方法200响应地继续到过程框209,清除新的数据流,并且使用存储的数据流以供子系统函数的后续使用,以进行特征相关的计算。一旦这些措施完成,图3的方法200就可从过程框209前进到末端框211并且终止,或可循环回到末端框201并在连续循环中运行。
如果为第二数据流计算的数据流逝时间t DE2 大于数据寿命D_2,则定时影响没有违反下游定时约束(框207=否)。在这种情况下,方法200响应地从决定框207前进到过程框213,从存储器中清除现有的数据流,并且使用新的数据流以供子系统函数的后续使用,以进行特征相关的计算。例如,在过程框213处,使用传入数据流来计算未来的计算,并且在过程框215处,将结果存储在存储器中,作为具有对应的时间戳和寿命的“最新”数据流。图3的方法200然后从过程框215前进到末端框211,并且终止或循环回到末端框201。
图4的计算共享方法300可针对共享通用数据类型的计算实施,但是可能不适合用于将计算与不同的数据类型组合。为了在使用相同类型的数据的实施方式和使用不同类型的数据的实施方式之间进行区分,可实施合并管理器(MM)模块,以确定数据是否可以合并。在至少一些实施方式中,如果数据共享相同的结构和相同的大小/尺寸,则计算可以合并。例如,两个3×3浮点数据矩阵的矩阵乘法可合并,而3×3浮点数据矩阵和2×5浮点数据矩阵的矩阵乘法可能不会合并。同样,浮点乘法和整数乘法不可以合并。
对于共享通用数据类型的计算,MM模块可将两个计算请求组合成一个请求,并且将计算请求发送到一个嵌入式装置,以用于执行,例如当满足预定义约束(例如定时、性能、HW能力等)时。作为示例,在嵌入式系统(例如,操作系统或装置驱动器)内操作的调度模块可从各种嵌入式装置接收几个计算请求,以实施矩阵乘法MMUL操作。每个计算请求都可伴有对应数据的存储位置。调度系统对几个请求进行评估,试图将它们组合成单个计算,以便减少开销(例如针对传输数据和代码)和延迟(例如高并行性)。
与共享通用数据类型的计算相反,计算的结果数据具有不同的大小或结构,并且因此,不同的数据类型可能无法合并。认识到所有数据都具有指定的大小,系统可首先检查以确认实施相关联的计算的嵌入式装置上的可用存储器大于数据,并且因此,数据将“适合”在该装置上。对于具有不同数据类型的计算,MM模块可对一组排队的计算请求进行重新排序,以最小化输入和输出的交换代码,例如,当一组预定义的约束(例如定时、性能、HW能力等)被满足时。多个计算请求可来自单个应用或不同应用;请求可包括两个矩阵乘法请求MMUL1和MMUL2以及一个向量加法请求VADD1。基于默认的先进先出(FIFO)模型,请求最初可按照以下顺序排列:……、MMUL1、VADD1、MMUL2、…… 为了使兼容的计算简单化,MM模块对请求进行重新排序,以将MMUL1和MMUL2对齐,使得MMUL可以一起执行:……、MMUL1、MMUL2、VADD、…… 如果MMUL1和MMUL2两者都使用具有不同数据的相同计算MMUL,则对齐计算允许系统将MMUL代码加载到嵌入式装置(例如CPU、GPU等)一次,背对背运行MMUL1和MMUL2,并且然后将MMUL代码切换到VADD代码,以便运行VADD1。
方法300开始于图4的末端框301处,其中,用于可编程控制器或控制模块或类似合适的处理器的处理器可执行指令用于调用高性能嵌入式数据处理协议的初始化过程。对于图3的方法200与图4的方法300组合的应用,末端框201和301可组合或末端框211和301可组合,作为一些非限制性示例。在这方面,与上述末端框301相关联的特征和选项可单独地或以任何合适的组合并入到末端框301中。
图4的方法300从末端框301前进到输入/输出框303,该输入/输出框303提供存储器存储的处理器可执行指令,以从存储在系统存储装置中的计算请求队列获得多个计算请求r1……rn。在图2的嵌入式控制系统100的操作期间,例如,主控制单元120可从多个嵌入式控制器108、110接收多个计算请求,以处理经由分布式传感器阵列102、104生成的数据。根据任何逻辑上适用的调度协议,主控制单元120将接收到的计算请求系统地排列在计算请求队列中。输入/输出框303可选择性地调用计算请求队列,以便评估同时存储在其中的计算请求。
从输入/输出框303开始,方法300移动到决定框305,以确定计算请求队列内的调度的计算请求中的任一者是否共享通用计算过程,如上所述。如果不是(框305=否),则方法300移动到过程框307,并且响应地保持计算请求队列内的当前计算请求序列。可设置任选的标志来指示目前分类在队列中的计算请求r1……rn不具有重叠计算。一旦这些措施完成,图4的方法300就可从过程框307前进到末端框309并且终止,或可循环回到末端框301并且在连续循环中运行。
当确定计算请求队列内的调度的计算请求中的至少两者共享通用计算过程时(框305=是),方法300继续到决定框311,以确定与请求相关联的共享计算的数据输出是否共享通用数据结构。方法300可通过将计算请求队列中的当前计算请求序列重新排列成重新排序的序列来自动地响应于不共享通用数据结构(框311=否)的重叠计算请求的数据输出,如过程框313中所示。前进到决定框315,确定重叠计算请求是否满足一组预定义的利用率和定时需求。如果是这样(框315=是),则在过程框317中,批准和暂时存储计算请求序列中的重新排列的计算请求序列。如果重叠计算请求不满足利用率和定时需求(框315=否),则在过程框319处,拒绝计算请求队列中的重新排列的计算请求序列,恢复原来/以前的顺序,并且暂时存储恢复的队列。在任何一种情况下,方法300之后都从过程框317和319移动到末端框309。
在确定两个或更多个重叠计算请求的数据输出共享通用数据结构(框311=是)之后,图4的方法300响应地确定是否嵌入式HW能够处理组合的请求,如决定框321处所指示的。例如,主控制单元120可提示一个或两个ECU 108、110每一者确认它们相应的硬件能力都足以完成通用计算过程。这可能涉及对不同的嵌入式装置的各种评估。例如,主控制单元120可检查ECU 108和110中的每一者上的可用存储器的大小,以确认它足以适应数据的大小。对于GPU,系统可首先确认有足够数量的计算核心来实施所请求的操作。对于FPGA,系统可首先检查以确认有足够数量的输入信道来馈送数据和操作。响应于硬件能力不足以完成组合的请求(框321=否),方法300继续到过程框313和它之后的任何对应的操作,如上所述。
如果嵌入式HW能够处理组合的请求(框321=是),则方法300确定组合的请求是否满足其他预编程需求,如决定框323处所指示的。图4的决定框323中所示的“其他需求”可全部或部分符合决定框315中所提出的“其他需求”,尽管是在不同的操作之后执行的。典型的其他需求可覆盖利用率需求和定时需求。可作为除以相关联的时间段的所有请求的计算次数的总和计算的利用率应小于设计时所指定的阈值。定时需求可包括最大延迟,包括由竞争和干扰造成的所有延迟,以完成请求计算;计算的延迟应小于给定值或“最后期限”。还可定义其他需求和约束(例如阈值操作温度、阈值功耗等)。如果其他需求没有得到满足(框321=否),则在过程框319处恢复原来的队列顺序,并且方法之后终止于末端框309或循环回到末端框301。另一方面,如果其他预定义需求得到满足(框321=是),则方法300在框325处响应地将重叠计算请求组合成单个请求,相应地更新请求队列,并且继续执行末端框301抑或309。
在一些实施例中,本公开的方面可通过指令的计算机可执行程序(诸如程序模块,通常被称为由本文所描述的控制器或控制器变型中的任一种执行的软件应用或应用程序)来实施。在非限制性示例中,软件可包括执行特定任务或实施特定数据类型的例程、程序、对象、部件和数据结构。软件可形成接口,以允许计算机根据输入源做出反应。软件还可与其他代码段协作,以响应于接收到的数据结合接收到的数据的源发起各种任务。软件可存储在各种存储介质中的任一种上,诸如,CD-ROM、磁盘、磁泡存储器和半导体存储器(例如,各种类型的RAM或ROM)。
此外,本公开的方面可用各种计算机系统和计算机网络配置来实践,包括多处理器系统、基于微处理器或可编程的消费电子产品、小型计算机、大型计算机等。另外,本公开的方面可在分布式计算环境中实践,其中,任务由通过通信网络链接的驻留和远程处理装置执行。在分布式计算环境中,程序模块可被定位在本地和远程计算机存储介质(包括内存存储装置)中。因此,本公开的方面可结合各种硬件、软件或其组合在计算机系统或其他处理系统中实施。
本文所描述的方法中的任何一种都可包括由:(a)处理器、(b)控制器和/或(c)任何其他合适的处理装置执行的机器可读指令。本文所公开的任何算法、软件、控制逻辑、协议或方法都可具体实施为存储在有形介质(诸如,例如,闪速存储器、CD-ROM、软盘、硬盘驱动器、数字多用盘(DVD)或其他存储装置)上的软件。整个算法、控制逻辑、协议、或方法和/或其部分可替代地由控制器之外的装置执行和/或以可用的方式具体实施在固件或专用硬件(例如,由专用集成电路(ASIC)、可编程逻辑装置(PLD)、现场可编程逻辑装置(FPLD)、离散逻辑等实施)中。进一步地,虽然参照本文所描绘的流程图描述了特定算法,但是也可替代地使用用于实施示例机器可读指令的许多其他方法。
本公开的方面已经参照所示的实施例进行了详细描述;然而,本领域的技术人员将认识到,在不脱离本公开的范围的情况下,可对其做出许多修改。本公开并不限于本文所公开的精确构造和组成;从上述描述中显而易见的任何和所有修改、变更和变化都在如由所附权利要求定义的本公开的范围内。此外,本概念明确地包括上述元素和特征的任何和所有组合和子组合。
Claims (10)
1.一种操作与分布式传感器阵列可操作地连接的一组联网的嵌入式控制器的方法,所述方法包括:
经由所述嵌入式控制器中的第一者从一组传感器接收第一数据输入流;
经由驻留存储装置中的共享数据缓冲区存储具有第一时间戳和第一数据寿命的所述第一数据输入流;
经由所述嵌入式控制器中的第二者从所述一组传感器接收第二数据输入流;
基于接收到的所述第二数据输入流来确定所存储的所述第一数据输入流的定时影响;
确定所述定时影响是否违反了预定义定时约束;以及
响应于所述定时影响违反了所述预定义定时约束,从所述驻留存储装置中清除所述第一数据输入流,并且将具有第二时间戳和第二数据寿命的所述第二数据输入流存储在所述驻留存储装置中。
3.根据权利要求2所述的方法,其中,当所述第一数据寿命大于所述第一数据流逝时间t DE1 时,所述第一数据输入流的所述定时影响违反了所述预定义定时约束。
4.根据权利要求3所述的方法,所述方法进一步包括:响应于所述定时影响没有违反所述预定义定时约束,清除所述第二数据输入流。
5.根据权利要求1所述的方法,所述方法进一步包括:
接收多个计算请求,以处理经由所述分布式传感器阵列生成的数据;以及
将接收到的所述计算请求排列在存储在所述驻留存储装置中的计算请求队列内。
6.根据权利要求5所述的方法,所述方法进一步包括:
确定排列在所述计算请求队列中的所述计算请求中的至少两个是否共享通用计算过程;以及
响应于确定所述计算请求中没有一个共享所述通用计算过程,保持排列在所述计算请求队列中的所述计算请求的当前序列。
7.根据权利要求6所述的方法,所述方法进一步包括:
响应于所述计算请求中的所述至少两个共享所述通用计算过程,确定所述计算请求中的所述至少两个的数据输出是否共享通用数据结构;以及
响应于所述计算请求中的所述至少两个的所述数据输出不共享所述通用数据结构,将排列在所述计算请求队列中的所述计算请求的当前序列重新排列成重新排列的序列。
8.根据权利要求7所述的方法,所述方法进一步包括:
响应于所述计算请求中的所述至少两个的所述数据输出共享所述通用数据结构,确定所述嵌入式控制器中的第一者或第二者的硬件能力是否足以完成通用计算过程;以及
响应于所述硬件能力不足以完成所述通用计算过程,将排列在所述计算请求队列中的所述计算请求的所述当前序列重新排列成重新排列的序列。
9.根据权利要求8所述的方法,所述方法进一步包括:
响应于所述计算请求中的所述至少两个的所述数据输出不共享所述通用数据结构并且所述硬件能力不足以完成所述通用计算过程,确定所述计算请求中的所述至少两个是否满足一组预定义的利用率和定时需求;以及
响应于所述计算请求中的所述至少两个不满足一组预定义的利用率和定时需求,将排列在所述计算请求队列中的所述计算请求的所述重新排列的序列恢复到所述当前序列。
10.根据权利要求9所述的方法,所述方法进一步包括:响应于所述计算请求中的所述至少两个满足所述一组预定义的利用率和定时需求,将排列在所述计算请求队列中的所述计算请求的所述重新排列的序列存储在所述驻留存储装置中。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/671,727 US11975714B2 (en) | 2019-11-01 | 2019-11-01 | Intelligent vehicles with distributed sensor architectures and embedded processing with computation and data sharing |
US16/671727 | 2019-11-01 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112783149A true CN112783149A (zh) | 2021-05-11 |
CN112783149B CN112783149B (zh) | 2023-11-10 |
Family
ID=75485534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011190526.2A Active CN112783149B (zh) | 2019-11-01 | 2020-10-30 | 具有分布式传感器架构以及嵌入式处理的智能车辆 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11975714B2 (zh) |
CN (1) | CN112783149B (zh) |
DE (1) | DE102020125684A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115509726A (zh) * | 2022-11-17 | 2022-12-23 | 南京芯驰半导体科技有限公司 | 一种传感器数据访问系统 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11431566B2 (en) * | 2020-12-21 | 2022-08-30 | Canon Solutions America, Inc. | Devices, systems, and methods for obtaining sensor measurements |
DE102022128525A1 (de) | 2022-10-27 | 2024-05-02 | Cariad Se | Mehrschichtige Hardwarestruktur für ein Kraftfahrzeug, ein Kraftfahrzeug mit einer mehrschichtigen Hardwarestruktur und ein Verfahren zum Verteilen von Prozessen |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5673031A (en) * | 1988-08-04 | 1997-09-30 | Norand Corporation | Redundant radio frequency network having a roaming terminal communication protocol |
GB9827153D0 (en) * | 1998-12-09 | 1999-02-03 | Taxmate Limited | An inter-computer communications apparatus |
US20060089767A1 (en) * | 2004-10-25 | 2006-04-27 | Sowa Michael A | Vehicles fault diagnostic systems and methods |
JP2013063737A (ja) * | 2011-09-20 | 2013-04-11 | Toyota Motor Corp | 車両用ストリームデータ管理システム |
US8755515B1 (en) * | 2008-09-29 | 2014-06-17 | Wai Wu | Parallel signal processing system and method |
CN104717470A (zh) * | 2015-03-19 | 2015-06-17 | 天津大学 | 基于双路摄像头视频拼接的缓存与显示的装置与方法 |
CN105302766A (zh) * | 2014-05-30 | 2016-02-03 | 通用汽车环球科技运作有限责任公司 | 嵌入式控制器可重新配置的处理器间通信的机构和装置 |
US20160381066A1 (en) * | 2015-06-29 | 2016-12-29 | Argus Cyber Security Ltd. | System and method for content based anomaly detection in an in-vehicle communication network |
US20190081960A1 (en) * | 2017-09-11 | 2019-03-14 | GM Global Technology Operations LLC | Systems and methods for in-vehicle network intrusion detection |
US20190286151A1 (en) * | 2018-03-14 | 2019-09-19 | GM Global Technology Operations LLC | Automated driving systems and control logic for cloud-based scenario planning of autonomous vehicles |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8504864B2 (en) * | 2010-12-01 | 2013-08-06 | GM Global Technology Operations LLC | Data sensor coordination using time synchronization in a multi-bus controller area network system |
US9740178B2 (en) | 2013-03-14 | 2017-08-22 | GM Global Technology Operations LLC | Primary controller designation in fault tolerant systems |
US9720742B2 (en) | 2014-05-15 | 2017-08-01 | GM Global Technology Operations LLC | Service and system supporting coherent data access on multicore controller |
US20180295011A1 (en) | 2017-04-05 | 2018-10-11 | GM Global Technology Operations LLC | Architectures and methods for management of in-vehicle networked controllers and devices |
-
2019
- 2019-11-01 US US16/671,727 patent/US11975714B2/en active Active
-
2020
- 2020-10-01 DE DE102020125684.1A patent/DE102020125684A1/de active Pending
- 2020-10-30 CN CN202011190526.2A patent/CN112783149B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5673031A (en) * | 1988-08-04 | 1997-09-30 | Norand Corporation | Redundant radio frequency network having a roaming terminal communication protocol |
GB9827153D0 (en) * | 1998-12-09 | 1999-02-03 | Taxmate Limited | An inter-computer communications apparatus |
US20060089767A1 (en) * | 2004-10-25 | 2006-04-27 | Sowa Michael A | Vehicles fault diagnostic systems and methods |
US8755515B1 (en) * | 2008-09-29 | 2014-06-17 | Wai Wu | Parallel signal processing system and method |
JP2013063737A (ja) * | 2011-09-20 | 2013-04-11 | Toyota Motor Corp | 車両用ストリームデータ管理システム |
CN105302766A (zh) * | 2014-05-30 | 2016-02-03 | 通用汽车环球科技运作有限责任公司 | 嵌入式控制器可重新配置的处理器间通信的机构和装置 |
CN104717470A (zh) * | 2015-03-19 | 2015-06-17 | 天津大学 | 基于双路摄像头视频拼接的缓存与显示的装置与方法 |
US20160381066A1 (en) * | 2015-06-29 | 2016-12-29 | Argus Cyber Security Ltd. | System and method for content based anomaly detection in an in-vehicle communication network |
US20190081960A1 (en) * | 2017-09-11 | 2019-03-14 | GM Global Technology Operations LLC | Systems and methods for in-vehicle network intrusion detection |
US20190286151A1 (en) * | 2018-03-14 | 2019-09-19 | GM Global Technology Operations LLC | Automated driving systems and control logic for cloud-based scenario planning of autonomous vehicles |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115509726A (zh) * | 2022-11-17 | 2022-12-23 | 南京芯驰半导体科技有限公司 | 一种传感器数据访问系统 |
CN115509726B (zh) * | 2022-11-17 | 2023-03-14 | 南京芯驰半导体科技有限公司 | 一种传感器数据访问系统 |
Also Published As
Publication number | Publication date |
---|---|
US20210129842A1 (en) | 2021-05-06 |
US11975714B2 (en) | 2024-05-07 |
DE102020125684A1 (de) | 2021-05-06 |
CN112783149B (zh) | 2023-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111688663B (zh) | 机动交通工具及控制其自动驾驶操作的方法 | |
US11981349B2 (en) | Behavior planning for autonomous vehicles | |
CN110497908B (zh) | 自动驾驶系统和使用传感器融合进行智能车辆控制的控制逻辑 | |
CN110888426B (zh) | 用于多车道分离和路段轨线提取的车辆导航系统、方法和逻辑 | |
CN112783149B (zh) | 具有分布式传感器架构以及嵌入式处理的智能车辆 | |
CN110901648A (zh) | 用于实时生态路线选择和自适应驱动控制的车辆、系统和逻辑 | |
CN111736588B (zh) | 用于过渡表面摩擦条件的具有增强纵向控制的自动驾驶系统和控制逻辑 | |
US20210061278A1 (en) | Connected and automated vehicles, driving systems, and control logic for info-rich eco-autonomous driving | |
WO2017094907A1 (ja) | 走行軌跡生成装置、走行軌跡生成方法 | |
US11891036B2 (en) | Leveraging rear-view sensors for automatic emergency braking in autonomous machine applications | |
US20150019042A1 (en) | Device and Method for Operating a Vehicle | |
JP7170637B2 (ja) | 車両制御システム、車両制御方法、およびプログラム | |
US11840227B2 (en) | Vehicle control device, vehicle control method, and storage medium | |
CN113741440A (zh) | 一种切入车辆的危险目标识别方法、装置、介质及设备 | |
WO2021189009A1 (en) | Future trajectory predictions in multi-actor environments for autonomous machine applications | |
CN111562978B (zh) | 共享设备上多流视觉处理的架构和设备 | |
CN116366685A (zh) | 车辆的通信计算系统确定方法 | |
US11691566B2 (en) | Intelligent vehicle systems and control logic for surround view augmentation with object model recognition | |
US20230080281A1 (en) | Precautionary observation zone for vehicle routing | |
WO2021229671A1 (ja) | 走行支援装置および走行支援方法 | |
US11987266B2 (en) | Distributed processing of vehicle sensor data | |
US20230278562A1 (en) | Method to arbitrate multiple automatic lane change requests in proximity to route splits | |
US12001958B2 (en) | Future trajectory predictions in multi-actor environments for autonomous machine | |
US20240140486A1 (en) | Methods and apparatuses for closed-loop evaluation for autonomous vehicles | |
JP2022096232A (ja) | 車両制御装置、車両制御方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |