CN110779538A - 相对于自主导航而跨本地和基于云的系统来分配处理资源 - Google Patents

相对于自主导航而跨本地和基于云的系统来分配处理资源 Download PDF

Info

Publication number
CN110779538A
CN110779538A CN201910694859.XA CN201910694859A CN110779538A CN 110779538 A CN110779538 A CN 110779538A CN 201910694859 A CN201910694859 A CN 201910694859A CN 110779538 A CN110779538 A CN 110779538A
Authority
CN
China
Prior art keywords
vehicle
cloud
processor
frames
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910694859.XA
Other languages
English (en)
Other versions
CN110779538B (zh
Inventor
A·西华古玛
F·白
P·斯丁科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN110779538A publication Critical patent/CN110779538A/zh
Application granted granted Critical
Publication of CN110779538B publication Critical patent/CN110779538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/056—Detecting movement of traffic to be counted or controlled with provision for distinguishing direction of travel
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/22—Platooning, i.e. convoy of communicating vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/509—Offload
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096805—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route
    • G08G1/096811—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route where the route is computed offboard
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096805—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route
    • G08G1/096827—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route where the route is computed onboard

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本文的实施例包括可以由联接到存储器的处理器执行的方法。处理器对于车辆是本地的，能够操作以确定在行程请求的起点处与车辆相关联的初始位置和方向信息。处理器接收当车辆相对于行程请求沿可导航路线行驶时捕获的一个或多个帧，并估计与一个或多个帧的分析相应的一个或多个计算中的每一个的执行时间。处理器还根据相对应的执行时间将一个或多个计算分流到与车辆的处理器通信的基于云的系统的处理资源。

Description

相对于自主导航而跨本地和基于云的系统来分配处理资源
相关申请的交叉引用
本申请要求2018年7月30日提交的序列号为62/711,932的美国临时专利申请的权益，其全部内容通过引用并入本文。
技术领域
本公开涉及自主导航，并且更具体地涉及相对于自主导航而跨本地和基于云的系统来分配处理资源。
背景技术
自主车辆是指无需人工干预便能够操作和导航的汽车。自主车辆以及一些非自主车辆使用传感器(例如，摄像机、雷达装置、光检测和测距装置)、全球定位系统(GPS)和计算机视觉与自主车辆的计算机控制系统相结合来获得传感输入信息并检测自主车辆周围环境。此外，自主车辆的高级计算机控制系统可以解释传感输入信息以识别适当的导航路径，以及障碍物和相关标志。一些自主车辆实时更新地理地图信息，以保持了解自主车辆的位置，即使情况改变或自主车辆进入未知环境。
为了支持无需人工干预的操作和导航，自主车辆还可以采用即时定位和地图构建(SLAM)或其变型。SLAM使得自主车辆能够在行驶的同时，根据图像创建“地图”，并且实时地对其自身进行定向。在该上下文中，地图可以称为分布在图像内的一组特征。SLAM还使得自主车辆能够使用预先存在的地图结合同时创建的地图来定向自身。在一些情况下，GPS数据可以补充自主车辆的定向确定。
然而，通过SLAM进行图像分析是一项处理器密集型操作，尤其是当自主车辆正在移动时。此外，由于自主车辆的移动和图像分析中的不准确性引入了噪声，因此自主车辆可能难以对其自身进行定向。此外，由于处理器操作的强度，自主车辆可因缺少处理资源而被阻止执行其他必要的任务。因此，期望提供一种系统，该系统能够利用SLAM的优点，同时减少对自主车辆本地的计算机控制系统的需求。
发明内容
根据一个或多个实施例，提供了一种可以由联接到存储器的处理器执行的方法。处理器对于车辆是本地的，能够操作以确定在行程请求的起点处与车辆相关联的初始位置和方向信息。处理器接收当车辆相对于行程请求沿可导航路线行驶时捕获的一个或多个帧，并估计与一个或多个帧的分析相应的一个或多个计算中的每一个的执行时间。处理器还根据相对应的执行时间将一个或多个计算分流(off-load)到与车辆的处理器通信的基于云的系统的处理资源。
根据一个或多个实施例或上述方法实施例，一个或多个计算的分流可以包括检测基于云的系统和车辆处理器之间的连接的带宽。一个或多个计算的分流还可以包括根据带宽将一个或多个计算分流到处理资源。
根据一个或多个实施例或上述方法实施例中的任何一个，对一个或多个帧的分析可以包括基于每帧提取特征集，以确定与车辆相关联的行进位置和方向信息。
根据一个或多个实施例或上述方法实施例中的任一个，分流可以根据一个或多个帧的分析而自适应。
根据一个或多个实施例或上述方法实施例中的任何一个，该方法可以包括接收包括从起点到目的地的可导航路线的行程请求作为输入。
根据上述一个或多个实施例或上述方法实施例中的任一个，该方法可以包括基于对在行程请求的起点捕获的帧的分析来确定与车辆相关联的初始位置和方向信息。
根据一个或多个实施例或上述方法实施例中的任一个，该方法可以包括根据一个或多个帧确定车辆先前已行驶过的可导航路线的至少一部分。
根据一个或多个实施例，提供了一种计算机程序产品，该计算机程序产品包括计算机可读存储介质，该计算机可读存储介质具有随其实现的程序指令。程序指令可以由联接到存储器的处理器执行。处理器对于车辆是本地的。程序指令可以由处理器执行以引起包括在行程请求的起点处确定与车辆相关联的初始位置和方向信息的操作。操作包括接收当车辆相对于行程请求沿可导航路线行驶时捕获的一个或多个帧，并估计与一个或多个帧的分析相应的一个或多个计算中的每一个的执行时间。操作还包括根据相对应的执行时间将一个或多个计算分流到与车辆的处理器通信的基于云的系统的处理资源。
根据一个或多个实施例或上述计算机程序产品实施例，一个或多个计算的分流可以包括检测基于云的系统和车辆的处理器之间的连接的带宽。一个或多个计算的分流还可以包括根据带宽将一个或多个计算分流到处理资源。
根据一个或多个实施例或上述计算机程序产品实施例中的任何一个，对一个或多个帧的分析可以包括基于每帧提取特征集，以确定与车辆相关联的行进位置和方向信息。
根据一个或多个实施例或上述计算机程序产品实施例中的任一个，分流可以根据一个或多个帧的分析而自适应。
根据一个或多个实施例或上述计算机程序产品实施例中的任一个，程序指令可以由处理器执行，以引起包括接收行程请求作为输入的操作，该行程请求包括从起点到目的地的可导航路线。
根据一个或多个实施例或上述计算机程序产品实施例中的任一个，程序指令可以由处理器执行，以引起包括基于对在行程请求的起点捕获的帧的分析来确定与车辆相关联的初始位置和方向信息的操作。
根据一个或多个实施例或上述计算机程序产品实施例中的任一个，程序指令可以由处理器执行，以引起包括根据一个或多个帧确定车辆先前已行驶过的可导航路线的至少一部分的操作。
根据一个或多个实施例，提供了一种系统，该系统包括处理器和在其上存储程序指令的存储器。程序指令可以由处理器执行，以使系统执行在行程请求的起点确定与车辆相关联的初始位置和方向信息。程序指令可以由处理器执行，以使系统执行接收当车辆相对于行程请求沿可导航路线行驶时捕获的一个或多个帧，并估计与一个或多个帧的分析相应的一个或多个计算中的每一个的执行时间。程序指令也可以由处理器执行，以使系统根据相对应的执行时间将一个或多个计算分流到与包括处理器的车辆系统通信的基于云的系统的处理资源。
根据一个或多个实施例或上述系统，一个或多个计算的分流可以包括检测基于云的系统和车辆的处理器之间的连接的带宽。一个或多个计算的分流还可以包括根据带宽将一个或多个计算分流到处理资源。
根据一个或多个实施例或上述系统实施例中的任何一个，对一个或多个帧的分析可以包括基于每帧提取特征集，以确定与车辆相关联的行进位置和方向信息。
根据一个或多个实施例或上述系统实施例中的任一个，分流可以根据一个或多个帧的分析而自适应。
根据一个或多个实施例或上述系统实施例中的任一个，程序指令可以由处理器执行，以使系统执行接收行程请求作为输入，该行程请求包括从起点到目的地的可导航路线。
根据一个或多个实施例或上述系统实施例中的任何一个，程序指令可以由处理器执行，以使系统执行基于对在行程请求的起点捕获的帧的分析来确定与车辆相关联的初始位置和方向信息。
根据一个或多个实施例或上述系统实施例中的任一个，程序指令可以由处理器执行，以引起系统根据一个或多个帧执行确定车辆先前已行驶过的可导航路线的至少一部分。
当结合附图时，根据下面的具体描述，本公开的上述特征和优点以及其他特征和优点是显而易见的。
附图说明
其他特征、优点和细节仅作为示例出现在以下具体实施方式中，该具体实施方式参考附图，在附图中：
图1所示为根据一个或多个实施例的计算环境；
图2所示为根据一个或多个实施例的处理系统的一个示例的框图；
图3描绘了根据一个或多个实施例的用于相对于自主导航跨本地和基于云的系统分配处理资源的方法的流程图；
图4描绘了根据一个或多个实施例的用于实现图3的方法的计算成本的表400；
图5描绘了根据一个或多个实施例的示例性交互；
图6描绘了根据一个或多个实施例的用于相对于自主导航跨本地和基于云的系统分配处理资源的方法的流程图；
图7描绘了根据一个或多个实施例的用于相对于自主导航跨本地和基于云的系统分配处理资源的流程图；以及
图8描绘了根据一个或多个实施例的用于相对于自主导航跨本地和基于云的系统分配处理资源的流程图。
具体实施方式
本公开本质上仅是示例性的，并不意图限制其应用或用途。应理解，在所有附图中，相对应的附图标记表示相似或相对应的部件和特征。如本文所使用的，术语模块指的是处理电路，处理电路可以包括专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或组)和存储器、组合逻辑电路和/或提供所描述功能的其他合适的部件。
本文的实施例涉及提高车辆相对于可导航路线的即时定位和地图构建(SLAM)的精度。例如，当接收到对可导航路线的行程请求时，使用位置(例如，物理起点和/或坐标)和方向(例如，车辆正朝哪个方向行驶)来相对于行程请求定向车辆。然后，随着车辆沿可导航路线行进，车辆的处理系统可保持计算，该计算在车辆的处理系统和基于云的系统之间共享，或者根据计算时间、带宽、本地和远程资源的可用性等完全分流到基于云的系统。例如，SLAM中不具有延迟期限的部件可以分流到基于云的系统，而具有持续计算成本的其他部件则在车辆中运行。因此，可以在车辆和基于云的系统之间划分应用程序。
根据一个或多个实施例，图1示出了计算环境50。如图所示，计算环境50包括一个或多个计算装置，例如，服务器/云54B和/或并入多个自主或非自主车辆55中的每一个的车载计算机系统54N，这些计算装置经由网络150连接。一个或多个计算装置可以使用网络150彼此通信。服务器/云54B是向车辆55的处理系统提供处理资源的基于云的系统的示例，车辆55的处理系统由车载计算机系统54N示出。处理资源可以包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、现场可编程门阵列(FPGA)等。
网络150可以是诸如蜂窝网络、局域网(LAN)、广域网(WAN)(诸如互联网和Wi-Fi)、专用短程通信网络(诸如V2V通信(车辆对车辆)、V2X通信(即车辆对一切)、V2I通信(车辆对基础设施)、和V2P通信(车辆对行人))或其任意组合，并且可以包括有线、无线、光纤或任何其他连接。网络150可以是将分别支持服务器/云54B和/或多个车载计算机系统54N之间的通信的连接和协议的任意组合。服务器/云54B和车载计算机系统54N之间的协调可以使用蜂窝或WIFI通信来实现，以在车辆55和远程资源之间传送图像数据、关键帧、位置数据和行程数据。服务器/云54B和车载计算机系统54N之间的协调使得车载计算机系统54N能够执行具有延时期限的SLAM操作，同时允许服务器/云54B执行不具有延时期限的操作。
多个车辆55中的每一个的车载计算机系统54N可以包括GPS发射器/接收器(未示出)，GPS发射器/接收器可操作用于从多个GPS卫星(未示出)接收位置信号，该GPS卫星分别提供代表移动资源中的每一个的位置的信号。除了GPS发射器/接收器之外，与多个车载计算机系统54N中的一个相关联的每个车辆55可以包括导航处理系统，该导航处理系统可以布置成通过网络150与服务器/云54B通信。因此，与多个车载计算机系统54N中的一个相关联的每个车辆55能够确定位置信息，并将该位置信息发送到服务器/云54B或另一个车载计算机系统54N。
车载计算机系统54N还可以包括一个或多个主动和被动传感器(例如，雷达、激光雷达、摄像机(内部和外部)、天气、纵向加速度、语音识别等)。车载计算机系统54N还可以包括一个或多个麦克风和语音处理应用程序。
发送和接收的附加信号可以包括数据(例如，从与车载计算机系统54N相关联的摄像机获得的图像数据)、通信和/或其他传播信号(例如，与LIDAR和/或雷达相关联的信号)。此外，应注意，发射器和接收器的功能可结合到信号收发器中。
车载计算机系统54N和服务器/云54B都可以包括存储高清晰度特征集数据的存储器部件，并且还可以包括处理高清晰度地图数据的处理部件。例如，每个车辆55都可以将高清晰度特征集数据存储在非易失性存储器中。车载计算机系统54N和服务器/云54B都可以存储与特征集数据和路线信息相关的相同或相似的信息。
服务器/云54B可以用作远程计算资源(例如，服务器和/或云系统，包括边缘云)。服务器/云54B可以实现为服务递送的模型，用于使得能够方便地通过网络按需访问可配置计算资源(例如，网络、网络带宽、服务器、处理、存储器、存储、应用、虚拟机和服务)的共享池，该共享池可以以最少的管理努力或与服务提供商的交互来快速提供和释放。
根据示例性实施例，图2示出了用于实现本文的教导的处理系统200。处理系统200可以形成一个或多个计算装置(诸如服务器/云54B和/或车载计算机系统54N)的至少一部分。处理系统200可以包括一个或多个CPU(处理器)201a、201b、201c等(统称或总体称为处理器201)。处理器201经由系统总线203联接到系统存储器202和各种其他部件。系统存储器202可以包括只读存储器(ROM)204，可以包括随机存取存储器(RAM)205，并且可以包括基本输入/输出系统(BIOS)，该基本输入/输出系统(BIOS)控制处理系统200的某些基本功能。
图2还描绘了联接到系统总线203的网络适配器206和输入/输出(I/O)适配器207。I/O适配器207可以是与大容量存储器208通信的小型计算机系统接口(SCSI)适配器，大容量存储器208可以包括硬盘209和/或其他存储驱动器或任何其他类似部件。用于在处理系统200上执行的操作系统210可以存储在大容量存储器208中。网络适配器206将系统总线203与外部网络211互连，使得处理系统200能够与其他这种系统通信。
显示适配器212可以将屏幕215(例如，显示监视器)连接到系统总线203，并且可以包括图形适配器以提高图形密集型应用程序和视频控制器的性能。在一个实施例中，适配器207、206和212可以连接到一个或多个I/O总线，这些I/O总线经由中间总线桥连接到系统总线203。用于连接外围装置(诸如硬盘控制器、网络适配器和图形适配器)的合适I/O总线通常包括通用协议，诸如外围部件互连(PCI)。附加的I/O装置示为经由用户接口适配器220连接到系统总线203。摄像机222和扬声器223都可以经由用户接口适配器220互连到系统总线203，用户接口适配器220可以包括例如将多个装置适配器集成到单个集成电路中的超级I/O芯片。
处理系统200可以附加地包括图形处理单元230。图形处理单元230是专用电子电路，该专用电子电路设计成操纵和改变存储器，以加速帧缓冲器中图像的创建，这些图像用于输出到显示器和/或用于确定和分析特征集。通常，图形处理单元230在操纵计算机图形和图像处理方面非常有效，并且具有高度并行的结构，该并行结构使得其对于并行处理大数据块的算法比通用处理器更有效。
因此，如图2中所配置的，处理系统200包括处理器201形式的处理能力、包括系统存储器202和大容量存储器208的存储能力、诸如摄像机222的输入装置以及包括扬声器223和显示器215的输出能力。在一个实施例中，系统存储器202和大容量存储器208的一部分共同存储操作系统210，以协调图2中所示的各种部件的功能。
图3描绘了根据一个或多个实施例的用于相对于自主导航跨本地和基于云的系统分配处理资源的方法的流程图300。该方法可以由相对车辆55为本地的处理系统200(例如，车载计算机系统54N)执行。
在框310处，处理系统200接收行程请求作为输入。行程请求可以可选地包括从起点到目的地的可导航路线(例如，起点和目的地之间的明确路线)。行程请求可以由用户提供，并且可以包括关于目的地的信息，使得处理系统200接收行程请求作为行进到目的地的命令。注意，起点和目的地可以是由GPS坐标、地址、地标等中的一者或多者定义的任何单独的物理位置。还应注意，处理系统200可以在不具有可导航路线的情况下操作，因为处理系统200可以完全利用本文描述的特征集，包括利用在起点获取的特征集来开始行程。
在框330处，处理系统200确定与车辆55相关联的初始位置和方向信息。初始位置和方向信息与车辆55的起点直接相关，并且因此与行程请求的起点直接相关。例如，处理系统200可以响应于行程请求，经由摄像机222捕捉车辆55周围环境的图片或视频。处理系统200可以从图片本身或视频中的至少一帧中得出特征集。特征是帧内的可识别元素(例如，形状、正方形、拐角、颜色等)。特征集是帧内的可识别特征的组合。因此，基于对在行程请求的起点处捕获的帧的分析，使用特征集来确定与车辆55相关联的初始位置和方向信息。利用得出的特征集，处理系统200确定车辆55处于新位置或车辆55处于先前位置。为了做出该确定，处理系统200可以将先前捕获的特征集与得出的特征集进行比较。如果先前捕获的特征集中的一个与得出的特征集之间存在任何匹配，则确定车辆55处于先前位置。否则，得出的特征集可以识别新位置。注意，如果确定了新位置，则处理系统200可以放弃任何环路确定。此外，注意，框330的操作可以分流到服务器/云54B。
接下来，车辆55开始根据行程请求(例如，到目的地)行驶。当车辆55行驶时，在框340处，处理系统200接收一个或多个帧(例如，由摄像机222捕获)并分析这些帧。该分析包括基于每帧提取特征集，以确定与车辆55相关联的行进位置和方向信息。根据一个或多个实施例，该分析包括基于特征如何在帧序列中移动和/或特征集如何在帧序列中改变来确定位置、距离和速度信息。该分析可以由GPS数据补充。
为了执行分析，处理系统200可以利用本地处理资源(例如，处理器201和/或车载计算机系统54N)或基于云的系统(例如，服务器/云54B)的处理资源。因此，处理系统200可以估计和/或确定与一个或多个帧的分析相应的一个或多个计算中的每一个的执行时间(如框350所示)，而不是处理系统200继续分析。在这方面，识别计算，并且将处理/计算成本(例如，完成计算所需的处理周期的量)与每个计算相关联。通常，一些计算的执行时间可预测，因此性能较低的处理器可能就足够了(或者它们可以经由服务器/云54B远程执行)。具有较高价的执行时间的计算可以在更高性能的处理器上执行，或者在车载计算机系统54N上运行。例如，具有一次性成本并且无返回数据延迟或期限的计算可以被识别为适合于经由服务器/云54B远程执行。
现在转到图4，根据一个或多个实施例描绘了实现图3的方法的计算成本的表400。表400的第一列401列出了不同类型的计算，并且相对于每种类型的计算成本可以基于多种因素。这些因素包括，但不限于，以百分比表示的中央处理器/计算机使用率或平均活动中央处理器使用率(表400的第二列402)、计算特定部件的数据的复杂性(表400的第三列403)、和/或完成与该部件相关联的任务所需的延时要求/期限(表400的第四列404)。
某些计算可以连续操作，诸如车辆跟踪410和车辆地图构建420(注意，跟踪和地图构建通常在车辆55处执行)。其他计算，诸如环路检测430、环路闭合440、姿态图优化450和全局光束法平差(full bundle adjustment(BA))460，可以运行一次性计算成本来执行重复行程(诸如，环路闭合440包括何时检测到偏离，诸如当少量帧被发送到服务器/云54B并且更新被发送回车辆55时；姿态图优化450包括使用周期性发送到云的关键帧；并且全局光束法平差460发生在行程结束时)。运行一次性成本的计算往往不具有返回数据所需的时间帧。此外，因为运行一次性成本的计算无返回数据的延时期限，所以与这些计算有关的数据处理可以从车辆55远程(例如，经由服务器/云54B)执行。因此，与车载计算机系统54N相关联的处理资源可以减少和/或专用于具有延时期限的部件、计算和任务。
根据一个或多个实施例，处理系统200还可以检测服务器/云54B和车载计算机系统54N之间的连接的可用带宽。即，由于服务器/云54B与车载计算机系统54N之间的带宽可以是有限的或变化的，因此计算的任何传送都可能妨碍位置和方向信息的整体确定。因此，可用带宽(例如，连接的速度和能力)可以用于确定分流哪些计算。例如，远程传送计算并回应接收相应数据所需的时间量，可补充至执行时间。
返回到图3，在框370处，处理系统200可以将一个或多个计算分流到与车载计算机系统54N通信的服务器/云54B的处理资源。进而，处理系统200利用计算成本和/或带宽可用性来防止不正确地分流在必要时间之前不会完成的任务。
根据一个或多个实施例，处理系统200可以是自适应的(例如，自适应分流)。即，处理系统200可以执行自适应分流，其中如果多个共同特征开始跨帧丢失，则处理系统200可以向服务器/云54B请求帮助。注意，来自SLAM的输出可以是位置和方向信息，因此“车辆所在的位置”可以是相对于起点以及车辆55的朝向而言(例如，这些因素中的每一个均可以由三维定义，这等同于六个值)。自适应分流还可以包括处理系统200何时从远程位置接收校正结果，并减少发送到服务器/云54B和从服务器/云54B接收到的信息/计算/处理任务(例如，在这方面，信息可以突发到服务器/云54B上)。
根据一个或多个实施例，处理系统200可以从一个或多个帧中确定至少车辆55先前已经沿其当前路线行驶。更具体地，环路可以是基于当前的帧和/或特征集的包与先前的帧和/或特征集的包(无论是从起点还是中间行驶处开始)进行比较来确定车辆55先前已经沿其当前路线行驶。环路检测有助于纠错。通常，当处理系统200正在执行帧分析时，错误可能出现并累积(诸如，有时这可以被称为偏离或解释为偏离，诸如从正确坐标偏离)。注意，速度、天气和其他因素可能导致环路偏离，诸如与晴天相比，积雪覆盖的地形可能难以识别视频的特征。然而，如果起点与目的地相同，或者如果先前已经行驶了一段路径，则可以解决这些错误。
例如，作为行驶环路，处理系统200可以经由流程图300检测到车辆55可以在车道中启动，前往目的地(例如，办公大楼)，并返回到车道。处理系统200还可以检测到偏离，该偏离表明车辆55在行驶中的任何点都在50米之外。行驶环路可用于跨帧调节特征跟踪。一旦处理系统200跨帧调节了特征跟踪，处理系统200就可以基于这些调节来确定车辆55的更准确的位置。即，处理系统200可以确定车辆55是否在行驶环路上，基于特征提取比较每个帧，并且当特征偏离时，处理系统200可以校正或确定其偏离行驶环路。
现在转向图5，根据一个或多个实施例，示例性交互500可以由车载计算机系统54N和/或服务器/云54B来执行，这两者都可以包括用于相对于其上的自主导航的跨车载计算机系统54N和服务器/云54B分配处理资源的计算机可读指令。当车辆55开始在起点501和目的地502之间行进时，由车载计算机系统54N存储的本地地图(例如，特征集)可能不包含任何特征集数据，因为先前的行程数据已从车辆55分流/传送到远程位置，例如服务器/云54B。车载计算机系统54N可以向服务器/云54B发送(例如，箭头505)与车辆当前位置相关联的当前特征集和/或当前GPS位置，以确定(例如，框510)服务器/云54B是否包含与当前特征集和/或当前GPS位置相关联的任何先前/旧信息(例如，旧特征集)。如果服务器/云54B确实包含先前的信息，则服务器/云54B可以将该信息发送(例如，箭头515)到请求车载计算机系统54N。车载计算机系统54N和服务器/云54B之间用于交换(例如，箭头516)特征集和/或GPS数据的通信可以使用例如蜂窝通信(例如，520)来进行。
此外，当车辆55行驶时，传感器(例如，摄像机222)可以用于获得与道路网络相关的帧(例如，图片或视频数据；注意，丰富的视频有助于SLAM操作)并从接收到的图像数据中提取特征。车载计算机系统54N可以通过运行连续操作的计算(例如，跟踪和地图构建)来分析图像，并且还可以向服务器/云54B发送获得的图像数据以用于进一步分析。发送到云的图像数据可以是所获得的图像数据(即关键帧)的子集。可以以不同的间隔发送关键帧，以便提供与所获得的图像数据相关的内容的完整概要。随后接收到的关键帧可以包含与所获得的图像数据中的特征变化/更新相关的帧。车载计算机系统54N和服务器/云54B之间用于交换关键帧的通信可以使用例如蜂窝通信来进行。向服务器/云54B发送关键帧可以减少传送所获得的图像数据所需的带宽负载，因为发送到服务器/云54B的图像数据是所获得的图像数据的子集。
服务器/云54B可以使用接收到的关键帧来执行环路检测(例如，箭头531)。当车辆55沿路线行驶并进入先前已经进入的区域时，服务器/云54B可以通过将先前行驶的图像与车辆55当前正在接收到的图像进行比较(例如，环路检测)来分析从当前行驶路线接收到的关键帧，并确定接收到的关键帧是否匹配与过去行驶相关联的一个或多个关键帧。然后，服务器/云54B可以对接收到的关键帧运行计算(例如，姿态图优化)，以确定更好的位置信息并将该信息发送给车辆。
车载计算机系统54N可以确定车辆55是否偏离环路(环路闭合)。在确定环路闭合时，车辆55向服务器/云54B发送一个或多个帧。服务器/云54B可以运行环路闭合计算以获得将应用于位置信息的校正，并将该校正发送给车辆55。车辆55可以使用校正的位置信息来校正车辆55在由车载计算机系统54N存储的本地地图(例如，特征集)上的定位(例如，箭头535)。校正的位置确定可以用于优化相关联的车辆55的位置。因此，在服务器/云54B处进行确定允许车辆55的处理资源专用于其他任务。车载计算机系统54N和服务器/云54B之间用于执行环路检测和环路闭合的通信可以使用例如蜂窝通信来进行。
在服务器/云54B确定环路闭合时，服务器/云54B还可以将(例如，线段541)服务器/云54B存储的一个或多个关键帧发送至车辆55。此时处于接收端的车载计算机系统54N可以使用接收到的一个或多个关键帧在车辆55上执行(例如，线段543)增量环路闭合。车载计算机系统54N可以将与从服务器/云54B接收到的一个或多个关键帧相关联的特征与从车载计算机系统54N获得的一个或多个关键帧提取的特征进行比较，以确定与相同位置相关联的关键帧中是否发生了变化。例如，该比较可以确定先前停放在沿可导航路线的位置处的卡车不再停放在该位置。车载计算机系统54N和服务器/云54B之间用于发送和接收关键帧的通信可以使用例如蜂窝通信530来进行。
当到达目的地502，或到达允许车载计算机系统54N和服务器/云54B(例如，WIFI(例如550))之间带宽增加的通信的位置时，车载计算机系统54N可以从车辆55向服务器/云54B发送/分流(例如，线段551)所有行程数据。因此，服务器/云54B可以离线运行更高价的计算(例如，光束法平差)，并且除了与先前路线行程相关的数据之外，还保持与最近经过的路线相关的数据，从而节省车辆55上的存储空间。此外，通过将SLAM部件/操作(例如，GPS定位、环路检测和发送关键帧)从车辆55分流到远程位置进行计算，可以避免车辆55的处理资源进行与SLAM相关的计算密集型过程。
根据另一个实施例，图6描绘了用于相对于自主导航跨本地和基于云的系统分配处理资源的方法的流程图600。流程图600开始于框605处，其中车辆55的车载计算机系统54N可以从用户/驾驶员接收行程请求(例如，从指定位置到目的地的可导航路线)。在框610处，车载计算机系统54N可以确定可导航路线，并且向服务器/云54B发送用于当前或指定位置相关联的特征集数据的请求。在框615处，服务器/云54B还可以计算可导航路线，并将所请求位置的特征集数据发送至请求车载计算机系统54N。在框620处，车载计算机系统54N向服务器/云54B发送一个或多个帧(例如关键帧)。
在框625处，服务器/云54B可以使用接收到的关键帧和存储的关键帧来执行环路检测。在框630处，服务器/云54B可以基于所执行的环路检测向车载计算机系统54N发送校正的位置信息/数据。车载计算机系统54N可以使用校正的位置信息/数据来更准确地反映车辆55在车辆55存储的本地地图上的位置。在框635处，服务器/云54B可以向车载计算机系统54N发送来自与所确定的可导航路线的一些部分相关联的过去行程的帧子集(例如关键帧)。在框640处，服务器/云54B还可以使用接收到的关键帧子集来对确定的可导航路线执行增量环路闭合。
在框645处，服务器/云54B可以向车载计算机系统54N发送来自先前行程的帧子集，该帧子集用于执行环路闭合。在框650处，车载计算机系统54N可以在到达目的地时或在沿可导航路线的提供WIFI连接的位置处发送/分流所有行程数据(即，传感器信息，图像数据和交通数据)。此外，方法的各方面可以在整个行程中重复执行。因此，该方法执行混合SLAM过程，该过程使得服务器/云54B执行SLAM的计算密集型部分(即，环路检测、环路闭合等)。
根据另一个实施例，图7描绘了根据一个或多个实施例的用于相对于自主导航跨本地和基于云的系统分配处理资源的流程图700。流程图700开始于方框720处，其中车载计算机系统54N向服务器/云54B发送GPS坐标。注意，如果失去连接，则车载计算机系统54N停止发送数据。在框730处，如果特征集相对于GPS坐标不可用，则流程图前进到框740。
在框740处，当服务器/云54B未检测到环路并且如果带宽低于阈值(例如，连接速度低于预定值)时，车载计算机系统54N向服务器/云54B发送压缩的关键帧。注意，当服务器/云54B未检测到环路时，带宽阈值可以识别故障场景。注意，如果失去连接，则车载计算机系统54N停止发送数据。
在框750处，当行程继续并且计时器尚未到时时，如果在关键帧中检测到显着变化，则车载计算机系统54N向服务器/云54B发送一个压缩关键帧。
在框730处，如果特征集相对于GPS坐标可用，则流程图前进到框760。在框760处，如果接收到来自服务器/云54B的输出，则车载计算机系统54N用校正更新本地帧，并为新的关键帧插入校正。
根据另一个实施例，图8描绘了根据一个或多个实施例的用于相对于自主导航跨本地和基于云的系统分配处理资源的流程图800。流程图800开始于框820处，其中如果服务器/云54B接收到GPS坐标并且相对应的数据可用，则服务器/云54B向车载计算机系统54N通知肯定的响应(“是”)。否则，服务器/云54B发送否定响应(“否”)。
在框830处，服务器/云54B确定是否接收到关键帧消息，并且该消息不包括合并操作，然后服务器/云54B检测车辆55从先前的行程位于环路中的何处，使用相似性变换找到任何偏离，应用校正以闭合环路，并且向车载计算机系统54N发送校正的输出和变换。在框840处，服务器/云54B合并本地和云数据结构(例如，特征集、帧中的姿态等)并执行全局优化(例如，基本图优化、光束法平差)以校正路线/行驶/先前行程。
所公开的实施例的技术效果和益处包括但不限于，通过将不具有延时期限的一些操作从存储器中的处理和存储分流到远程资源来减少车辆本地的处理资源。例如，本文公开的实施例描述了一种系统，该系统可以利用远程资源来执行SLAM的各方面，从而释放与车辆相关联的本地资源来执行其他任务。此外，通过使全局光束法平差，用与当前行程相关联的新帧替换与先前行程相关联的旧帧，并向车辆发送关键帧以在车辆存储的本地地图中获得更准确的位置表示，来提高车辆定位的SLAM精度。本文公开的实施例也不要求有源传感器之间同步或通信。
除了本文所描述的特征中的一个或多个之外，所描述的方法的一个或多个方面认识到车辆在行程期间利用SLAM。该方法的另一方面是SLAM包括跟踪部件、地图构建部件、环路检测部件、环路闭合部件、姿态图优化部件和光束法平差部件。该方法的另一方面是与环路检测部件、环路闭合部件、姿态图优化部件和光束法平差部件中的至少一个相关联的操作由车辆远程资源完成。该方法的另一方面是认识到环路检测部件、环路闭合部件、姿态图优化部件和光束法平差部件中的至少一个部件中的每一个均不存在延时期限。该方法的另一方面是，与本地地图相关联的校正是基于从车辆响应于行程而生成的帧中提取的特征与发送的一个或多个关键帧的比较。该方法的另一方面包括由处理器从车辆发送一个或多个关键帧，其中该一个或多个关键帧用于确定车辆正沿车辆先前已经行驶的可导航路线的一部分行驶。
该方法还包括由处理器接收与车辆相关联的位置信息。该方法还包括由处理器确定可导航路线。该方法还包括由处理器接收车辆正在沿车辆先前已经行驶的可导航路线的一部分行驶的指示。该方法还包括由处理器接收一个或多个关键帧，其中当车辆沿车辆先前已经行驶的可导航路线的一部分行驶时，该一个或多个关键帧用于与车辆的本地地图相关联的地图校正。该方法还包括当车辆到达目的地时，由处理器发送与行程相关联的数据。
本公开可以是系统、方法和/或计算机可读存储介质。计算机可读存储介质可以包括其上的计算机可读程序指令，用于使处理器执行本公开的各方面。
计算机可读存储介质可以是有形装置，该有形装置可以保留和存储指令以供指令执行装置使用。计算机可读存储介质可以是，例如但不限于，电子存储装置、磁存储装置、光存储装置、电磁存储装置、半导体存储装置或上述装置的任何合适的组合。计算机可读存储介质的更具体示例的非穷举列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)，数字多功能盘(DVD)、记忆棒、机械编码装置和以及前述的任何适当组合。本文使用的计算机可读存储介质不应被解释为暂时信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(诸如，通过光缆的光脉冲)、或通过电线传输的电信号。
计算机可读程序指令也可以加载到计算机、其他可编程数据处理设备或其他设备上，以引起在计算机、其他可编程设备或其他设备上执行一系列操作步骤，从而产生计算机实现的过程，使得在计算机、其他可编程设备或其他设备上执行的指令实现流程图和/或框图的一个或多个框中指定的功能/动作。
虽然已经参考示例性实施例描述了上述公开，但是本领域技术人员将理解，在不脱离其范围的情况下，可以进行各种改变，并且可以用等同物来替代其元件。此外，在不脱离本公开的基本范围的情况下，可以进行许多修改以使特定情况或材料适应本公开的教导。因此，意图是本公开不限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。

Claims (7)

1.一种能够由联接到存储器的处理器执行的方法，所述处理器对于车辆是本地的，所述方法包括：
由所述处理器确定在行程请求的起点处与所述车辆相关联的初始位置和方向信息；
由所述处理器接收当所述车辆相对于所述行程请求沿可导航路线行驶时捕获的一个或多个帧；
由所述处理器估计与所述一个或多个帧的分析相应的一个或多个计算中的每一个的执行时间；以及
所述处理器根据相对应的执行时间将所述一个或多个计算分流到与车辆的处理器通信的基于云的系统的处理资源。
2.根据权利要求1所述的方法，其中分流所述一个或多个计算包括：
检测所述基于云的系统与所述车辆的处理器之间的连接的带宽；以及
根据所述带宽将所述一个或多个计算分流到所述处理资源。
3.根据权利要求1所述的方法，其中所述一个或多个帧的分析包括基于每帧提取特征集，以确定与所述车辆相关联的行进位置和方向信息。
4.根据权利要求1所述的方法，其中所述分流根据所述一个或多个帧的分析是自适应的。
5.根据权利要求1所述的方法，所述方法还包括接收行程请求作为输入，所述行程请求包括从所述起点到目的地的可导航路线。
6.根据权利要求1所述的方法，所述方法还包括基于对在所述行程请求的起点捕获的帧的分析来确定与所述车辆相关联的初始位置和方向信息。
7.根据权利要求1所述的方法，所述方法还包括根据所述一个或多个帧，确定先前已经由所述车辆行驶过的所述可导航路线的至少一部分。
CN201910694859.XA 2018-07-30 2019-07-30 相对于自主导航而跨本地和基于云的系统来分配处理资源 Active CN110779538B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862711932P 2018-07-30 2018-07-30
US62/711,932 2018-07-30
US16/518,907 US11551552B2 (en) 2018-07-30 2019-07-22 Distributing processing resources across local and cloud-based systems with respect to autonomous navigation
US16/518,907 2019-07-22

Publications (2)

Publication Number Publication Date
CN110779538A true CN110779538A (zh) 2020-02-11
CN110779538B CN110779538B (zh) 2024-03-08

Family

ID=69178587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910694859.XA Active CN110779538B (zh) 2018-07-30 2019-07-30 相对于自主导航而跨本地和基于云的系统来分配处理资源

Country Status (2)

Country Link
US (1) US11551552B2 (zh)
CN (1) CN110779538B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428608A (zh) * 2020-03-19 2020-07-17 腾讯科技（深圳）有限公司 交通工具定位方法、装置、计算机设备和存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11349903B2 (en) * 2018-10-30 2022-05-31 Toyota Motor North America, Inc. Vehicle data offloading systems and methods
CN113508558B (zh) * 2019-03-06 2023-01-31 三菱电机株式会社 攻击检测装置及计算机可读取的记录介质
US20200409381A1 (en) * 2019-06-26 2020-12-31 Weel Autonomy Inc. Autonomous electronic bicycle navigation
US10754340B1 (en) 2019-06-26 2020-08-25 Weel Autonomy Inc. Virtual gearing in an autonomous electronic bicycle
US11435756B2 (en) * 2019-12-01 2022-09-06 Nvidia Corporation Visual odometry in autonomous machine applications
US11852751B2 (en) * 2020-03-02 2023-12-26 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, apparatus, computing device and computer-readable storage medium for positioning
US11418597B2 (en) * 2020-10-08 2022-08-16 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for value-anticipating task offloading

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8520695B1 (en) * 2012-04-24 2013-08-27 Zetta Research and Development LLC—ForC Series Time-slot-based system and method of inter-vehicle communication
US20130304863A1 (en) * 2012-05-08 2013-11-14 Palisades Technology L.L.C. Cloud computing system, vehicle cloud processing device and methods for use therewith
US20150207859A1 (en) * 2014-01-22 2015-07-23 Ford Global Technologies, Llc Vehicle-specific computation management system for cloud computing
CN104853972A (zh) * 2012-11-16 2015-08-19 英特尔公司 利用板载车辆平台中的图像处理支持扩增车辆的adas特征
US20150338852A1 (en) * 2015-08-12 2015-11-26 Madhusoodhan Ramanujam Sharing Autonomous Vehicles
US20170279947A1 (en) * 2017-06-13 2017-09-28 Mediatek Inc. Hybrid Telematics Enhancements With In-Vehicle Mobile Devices And Smart Sensors

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7739034B2 (en) * 2007-04-17 2010-06-15 Itt Manufacturing Enterprises, Inc. Landmark navigation for vehicles using blinking optical beacons
EP2380065A2 (en) * 2008-12-19 2011-10-26 Xollai, Llc System and method for autonomous vehicle control
US9734583B2 (en) * 2014-06-30 2017-08-15 Collin Walker Systems and methods for controlling vehicle position and orientation
US10788836B2 (en) * 2016-02-29 2020-09-29 AI Incorporated Obstacle recognition method for autonomous robots
US10565464B2 (en) * 2017-12-21 2020-02-18 At&T Intellectual Property I, L.P. Adaptive cloud offloading of mobile augmented reality
DE102019100885A1 (de) * 2018-01-16 2019-07-18 Aisin Seiki Kabushiki Kaisha Eigenpositionsabschätzvorrichtung
US10928207B2 (en) * 2018-03-02 2021-02-23 DeepMap Inc. Camera based localization for autonomous vehicles
JP7326720B2 (ja) * 2018-10-26 2023-08-16 富士通株式会社 移動体位置推定システムおよび移動体位置推定方法
US10956221B2 (en) * 2018-11-26 2021-03-23 International Business Machines Corporation Estimating resource requests for workloads to offload to host systems in a computing environment
KR20200087361A (ko) * 2019-01-03 2020-07-21 삼성전자주식회사 이동 로봇 및 그 구동 방법
US11421999B2 (en) * 2020-07-01 2022-08-23 Global Traffic Technologies, Llc Route selection using correction factors indicating phase interruptible traffic signals
US11603593B2 (en) * 2020-09-04 2023-03-14 General Electric Company Systems and methods for automatic detection of coating defects
US20210271517A1 (en) * 2021-05-19 2021-09-02 Intel Corporation Resource selection based in part on workload

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8520695B1 (en) * 2012-04-24 2013-08-27 Zetta Research and Development LLC—ForC Series Time-slot-based system and method of inter-vehicle communication
US20130304863A1 (en) * 2012-05-08 2013-11-14 Palisades Technology L.L.C. Cloud computing system, vehicle cloud processing device and methods for use therewith
CN104853972A (zh) * 2012-11-16 2015-08-19 英特尔公司 利用板载车辆平台中的图像处理支持扩增车辆的adas特征
US20150207859A1 (en) * 2014-01-22 2015-07-23 Ford Global Technologies, Llc Vehicle-specific computation management system for cloud computing
RU2015101807A (ru) * 2014-01-22 2016-08-10 ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи Система управления и вычислений для транспортного средства
US20150338852A1 (en) * 2015-08-12 2015-11-26 Madhusoodhan Ramanujam Sharing Autonomous Vehicles
US20170279947A1 (en) * 2017-06-13 2017-09-28 Mediatek Inc. Hybrid Telematics Enhancements With In-Vehicle Mobile Devices And Smart Sensors

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428608A (zh) * 2020-03-19 2020-07-17 腾讯科技（深圳）有限公司 交通工具定位方法、装置、计算机设备和存储介质
CN111428608B (zh) * 2020-03-19 2023-05-23 腾讯科技（深圳）有限公司 交通工具定位方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
US11551552B2 (en) 2023-01-10
US20200035099A1 (en) 2020-01-30
CN110779538B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
CN110779538B (zh) 相对于自主导航而跨本地和基于云的系统来分配处理资源
CN110186467B (zh) 基于群感测点云地图的控制自主车辆的方法及计算机实施系统
US10303168B2 (en) On-vehicle control device, host vehicle position and posture specifying device, and on-vehicle display device
US10077054B2 (en) Tracking objects within a dynamic environment for improved localization
WO2018225596A1 (ja) 情報処理装置
EP3644294A1 (en) Vehicle information storage method, vehicle travel control method, and vehicle information storage device
KR102086270B1 (ko) 주행 제어 장치의 제어 방법 및 주행 제어 장치
KR102565482B1 (ko) 차량의 측위 장치 및 그 방법
US11245909B2 (en) Timestamp and metadata processing for video compression in autonomous driving vehicles
US11353870B2 (en) Autonomous driving computing and storage expansion device with flexible host and client configuration
CN111076716B (zh) 用于车辆定位的方法、装置、设备和计算机可读存储介质
US20210011163A1 (en) Point cloud format optimized for lidar data storage based on device property
CN112883058A (zh) 用于车辆定位的标定方法、装置、设备、车辆和介质
US11456890B2 (en) Open and safe monitoring system for autonomous driving platform
US11338823B2 (en) Multiple sensor data storage with compressed video stream in autonomous driving vehicles
CN114694111A (zh) 车辆定位
JP7355930B2 (ja) 自動運転システム内の慣性ナビゲーションシステムの時間決定
US11609342B2 (en) Latency compensation in inertial navigation system
US20240210939A1 (en) Camera image compression for autonomous driving vehicles
US20240208529A1 (en) Sensor data transfer with self adaptive configurations for autonomous driving vehicle
US11659028B2 (en) Data offloading rate determination using mean field games
CN115583243B (zh) 确定车道线信息的方法、车辆控制方法、装置和设备
WO2024021083A1 (en) Sensor data transfer with self adaptive configurations for autonomous driving vehicle
CN113728211B (zh) 自动驾驶系统中惯性导航系统的时间确定
US20240045027A1 (en) Adaptive lidar data processing for driverless vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant