CN112172778A - 车辆姿势确定 - Google Patents

车辆姿势确定 Download PDF

Info

Publication number
CN112172778A
CN112172778A CN202010625177.6A CN202010625177A CN112172778A CN 112172778 A CN112172778 A CN 112172778A CN 202010625177 A CN202010625177 A CN 202010625177A CN 112172778 A CN112172778 A CN 112172778A
Authority
CN
China
Prior art keywords
vehicle
pose
camera
determining
dof
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010625177.6A
Other languages
English (en)
Inventor
约翰·迈克尔·费舍尔
普纳杰·查克拉瓦蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN112172778A publication Critical patent/CN112172778A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/182—Selecting between different operative modes, e.g. comfort and performance modes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/06—Combustion engines, Gas turbines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/08—Electric propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本公开提供了“车辆姿势确定”。一种计算机，包括处理器和存储器，所述存储器包括将由所述处理器执行以进行以下操作的指令：基于图像而确定车辆六自由度(DoF)姿势，其中所述六DoF姿势包括x、y和z位置以及侧倾、俯仰和横摆取向；以及基于相机六DoF姿势而将所述车辆六DoF姿势变换为全局坐标。所述指令可包括将所述用全局坐标表示的六DoF姿势传达给所述车辆的进一步指令。

Description

车辆姿势确定
技术领域
本公开涉及车辆姿势确定领域。
背景技术
车辆可被配备为以自主模式和乘员驾驶模式两者操作。车辆可配备有计算装置、网络、传感器和控制器以获取关于车辆的环境的信息并基于该信息而操作车辆。车辆的安全且舒适的操作可取决于获取关于车辆的环境的准确且及时的信息。车辆传感器可提供关于在车辆的环境中要行驶的路线和要避开的对象的数据。车辆的安全且高效的操作可取决于在车辆正在道路上进行操作时获取关于在车辆的环境中的路线和对象的准确且及时的信息。
发明内容
车辆可被配备为以自主模式和乘员驾驶模式两者操作。半自主或完全自主模式意指其中车辆可由作为具有传感器和控制器的信息系统的一部分的计算装置部分地或完全地驾驶的操作模式。车辆可被占用或未被占用，但是在任何一种情况下，都可在没有乘员辅助的情况下部分地或完全地驾驶车辆。出于本公开的目的，自主模式被定义为其中车辆推进(例如，经由包括内燃发动机和/或电动马达的动力传动系统)、制动和转向中的每一者由一个或多个车辆计算机控制的模式；在半自主模式中，车辆计算机控制车辆推进、制动和转向中的一者或两者。在非自主车辆中，这些都不由计算机控制。
车辆中的计算装置可被编程为获取关于车辆外部环境的数据并使用所述数据来确定车辆路径，在所述车辆路径上以自主或半自主模式操作车辆。通过确定用来引导车辆的动力传动系统、制动部件和转向部件操作车辆以便沿着路径行驶的命令，车辆可基于所述路径而在道路上操作。关于外部环境的数据可包括车辆相对于车辆周围环境的六自由度(DoF)姿势。六DoF姿势被定义为相对于x、y和z正交轴线测量的并且用围绕所述x、y和z轴线的旋转侧倾、俯仰和横摆测量的三维空间中的位置和取向。六DoF姿势对应于相对于x、y和z正交轴线的平移t和旋转R。车辆中的计算装置可使用车辆周围环境中车辆和其他车辆的六DoF姿势来操作车辆。基于车辆的六DoF姿势而操作车辆可包括例如确定相对于道路的车辆路径。在包括另一车辆的六DoF姿势的示例中，可确定避开另一车辆的车辆路径。
本文公开的方法包括：基于图像而确定车辆六DoF姿势，其中车辆六DoF姿势包括x、y和z位置以及侧倾、俯仰和横摆取向；基于相机六DoF姿势而将车辆六DoF姿势变换为全局坐标；以及将用全局坐标表示的车辆六DoF姿势传达给车辆。可通过基于计算机辅助设计(CAD)数据、物理测量结果和机器视觉技术而确定特征和尺寸来确定车辆六DoF姿势。可基于使用机器视觉技术的图像以及使用N点透视算法将车辆特征变换为名义特征来确定六DoF姿势而确定对应车辆特征。机器视觉技术可包括边缘检测以及两个或更多个边缘连接处的位置和角度。N点透视算法可通过将n个车辆特征迭代拟合到三维(3D)车辆模型中来确定相机相对于车辆特征的六DoF姿势，并且然后基于相机的确定的真实世界六DoF姿势而确定车辆的车辆六DoF姿势。
可通过将视频图像输入到经过训练的卷积神经网络来确定车辆六DoF姿势，所述经过训练的卷积神经网络确定视频图像中车辆的旋转和平移。可使用多个图像来训练卷积神经网络，所述多个图像包括车辆在相对于相机和对应的地面实况的多个车辆六DoF姿势下的图像。可通过使用机器视觉技术确定对应的车辆特征以及使用N点透视算法将车辆特征变换为名义特征以确定地面实况来确定对应地面实况。可相对于纬度、经度和海拔坐标轴线来确定全局坐标。可基于投影几何形状和包括相机的六DoF姿势以及相机中包括的透镜的放大率而将车辆六DoF姿势变换为全局坐标。可通过基于车辆六DoF姿势而确定车辆路径来操作车辆。可通过控制车辆动力传动系统、车辆转向和车辆制动器中的一者或多者来沿着车辆路径操作车辆。可确定另一车辆的车辆六DoF姿势。所述方法还包括通过基于另一车辆的六DoF姿势而确定车辆路径来操作所述车辆。
还公开了一种计算机可读介质，所述计算机可读介质存储用于执行上述方法步骤中的一些或全部的程序指令。还公开了一种被编程用于执行上述方法步骤中的一些或全部的计算机，所述计算机包括一种计算机装置，所述计算机装置被编程以基于图像而确定车辆六DoF姿势，其中车辆六DoF姿势包括x、y和z位置以及侧倾、俯仰和横摆取向，基于相机六DoF姿势而将车辆六DoF姿势变换为全局坐标，并将用全局坐标表示的车辆六DoF姿势传达给车辆。可通过基于计算机辅助设计(CAD)数据、物理测量结果和机器视觉技术而确定特征和尺寸来确定车辆六DoF姿势。可基于使用机器视觉技术的图像以及使用N点透视算法将车辆特征变换为名义特征来确定六DoF姿势而确定对应车辆特征。机器视觉技术可包括边缘检测以及两个或更多个边缘连接处的位置和角度。N点透视算法可通过将n个车辆特征迭代拟合到三维(3D)车辆模型中来确定相机相对于车辆特征的六DoF姿势，并且然后基于相机的确定的真实世界六DoF姿势而确定车辆的车辆六DoF姿势。
所述指令可包括用来通过将视频图像输入到经过训练的卷积神经网络来确定车辆六DoF姿势的进一步指令，所述经过训练的卷积神经网络确定视频图像中车辆的旋转和平移。可使用多个图像来训练卷积神经网络，所述多个图像包括车辆在相对于相机和对应的地面实况的多个车辆六DoF姿势下的图像。可通过使用机器视觉技术确定对应的车辆特征以及使用N点透视算法将车辆特征变换为名义特征以确定地面实况来确定对应地面实况。可相对于纬度、经度和海拔坐标轴线来确定全局坐标。可基于投影几何形状和包括相机的六DoF姿势以及相机中包括的透镜的放大率而将车辆六DoF姿势变换为全局坐标。可通过基于车辆六DoF姿势而确定车辆路径来操作车辆。可通过控制车辆动力传动系统、车辆转向和车辆制动器中的一者或多者来沿着车辆路径操作车辆。可确定另一车辆的车辆六DoF姿势。所述方法还包括通过基于另一车辆的六DoF姿势而确定车辆路径来操作所述车辆。
附图说明
图1是示例性交通基础设施系统的框图。
图2是示例性交通场景的图。
图3是示例性基准标记的图。
图4是包括各特征的示例性车辆的图。
图5是示例性车辆和固定摄像机的图。
图6是示例性卷积神经网络的图。
图7是用于确定车辆六自由度(DoF)姿势的示例性过程的流程图。
具体实施方式
图1是交通基础设施系统100的图，所述交通基础设施系统100包括可以自主(“自主”本身在本公开中意指“完全自主”)模式、半自主模式和乘员驾驶(也称为非自主)模式操作的车辆110。一个或多个车辆110计算装置115可从传感器116接收关于车辆110的操作的信息。计算装置115可以自主模式、半自主模式或非自主模式操作车辆110。
计算装置115包括诸如已知的处理器和存储器。此外，存储器包括一种或多种形式的计算机可读介质，并且存储可由处理器执行的用于进行包括如本文所公开的各种操作的指令。例如，计算装置115可包括编程以操作车辆制动器、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆110的加速度)、转向、气候控制、内部灯和/或外部灯等中的一者或多者，以及确定计算装置115(而不是操作人员)是否和何时控制此类操作。
计算装置115可包括不止一个计算装置(例如，包括在车辆110中以用于监测和/或控制各种车辆部件的控制器等(例如，动力传动系统控制器112、制动控制器113、转向控制器114等))，或例如经由如下文进一步描述的车辆通信总线通信地联接到所述不止一个计算装置。计算装置115一般被布置为用于通过车辆通信网络(例如，包括车辆110中的总线，诸如控制器局域网(CAN)等)进行通信；车辆110网络可以另外地或可选地包括诸如已知的有线或无线通信机制，例如以太网或其他通信协议。
计算装置115可经由车辆网络向车辆中的各种装置(例如，控制器、致动器、传感器(包括传感器116)等)传输消息和/或从所述各种装置接收消息。可选地或另外地，在计算装置115实际上包括多个装置的情况下，车辆通信网络可用于在本公开中表示为计算装置115的装置之间的通信。此外，如下文所提及，各种控制器或感测元件(诸如传感器116)可经由车辆通信网络向计算装置115提供数据。
另外，计算装置115可被配置为经由网络130通过车辆对基础设施(V2I)接口111与远程服务器计算机120(例如，云服务器)进行通信，如下所述，所述接口111包括允许计算装置115经由诸如无线互联网(Wi-Fi)或蜂窝网络等网络130与远程服务器计算机120进行通信的硬件、固件和软件。因此，V2I接口111可包括被配置为利用各种有线和/或无线联网技术(例如，蜂窝、
Figure BDA0002566330150000051
和有线和/或无线分组网络)的处理器、存储器、收发器等。计算装置115可被配置为使用例如在附近车辆110间在自组网的基础上形成或通过基于基础设施的网络形成的车辆对车辆(V2V)网络(例如，根据专用短程通信(DSRC)和/或类似的通信)通过V2I接口111与其他车辆110进行通信。计算装置115还包括诸如已知的非易失性存储器。计算装置115可通过将信息存储在非易失性存储器中来记录信息，以用于稍后经由车辆通信网络和通向服务器计算机120或用户移动装置160的车辆对基础设施(V2I)接口111来进行检索和传输。
如已经提及的，用于在没有操作人员干预的情况下操作一个或多个车辆110部件(例如，制动、转向、推进等)的编程通常包括在存储器中所存储的并可由计算装置115的处理器执行的指令中。使用计算装置115中接收的数据(例如，来自传感器116、服务器计算机120等的传感器数据)，计算装置115可在没有驾驶员的情况下作出各种确定和/或控制各种车辆110部件和/或操作以操作车辆110。例如，计算装置115可包括编程以调节车辆110操作行为(即，车辆110操作的物理表现)，诸如速度、加速度、减速度、转向等，以及策略性行为(即，通常以预期实现路线的安全且有效的行驶的方式进行的操作行为控制)，诸如车辆之间的距离和/或车辆之间的时间量、车道改变、车辆之间的最小间隙、左转跨过路径最小值、在特定位置处的到达时间和为了通过十字路口的十字路口(无信号灯)最小到达时间。
控制器(如该术语在本文中所使用)包括通常被编程为控制特定车辆子系统的计算装置。示例包括动力传动系统控制器112、制动控制器113和转向控制器114。控制器可为诸如已知的电子控制单元(ECU)，可能包括如本文所描述的额外编程。控制器可通信地连接到计算装置115并从该计算装置115接收指令以根据指令来致动子系统。例如，制动控制器113可从计算装置115接收指令以操作车辆110的制动器。
用于车辆110的一个或多个控制器112、113、114可包括已知的电子控制单元(ECU)等，作为非限制性示例，包括一个或多个动力传动系统控制器112、一个或多个制动控制器113和一个或多个转向控制器114。控制器112、113、114中的每一个可包括相应的处理器和存储器以及一个或多个致动器。控制器112、113、114可被编程并连接到车辆110通信总线(诸如控制器局域网(CAN)总线或局域互连网(LIN)总线)，以从计算机115接收指令并基于指令而控制致动器。
传感器116可包括已知的多种装置，以经由车辆通信总线提供数据。例如，固定到车辆110的前保险杠(未示出)的雷达可提供从车辆110到车辆110前方的下一车辆的距离，或者安置在车辆110中的全球定位系统(GPS)传感器可提供车辆110的地理坐标。由雷达和/或其他传感器116提供的距离和/或由GPS传感器提供的地理坐标可被计算装置115用来例如自主地或半自主地操作车辆110。
车辆110一般是能够进行自主和/或半自主操作并具有三个或更多个车轮的陆基车辆110(例如，乘用车、轻型卡车等)。车辆110包括一个或多个传感器116、V2I接口111、计算装置115和一个或多个控制器112、113、114。传感器116可收集与车辆110和车辆110的操作环境相关的数据。以举例的方式而非限制，传感器116可包括例如测高仪、相机、激光雷达、雷达、超声传感器、红外传感器、压力传感器、加速度计、陀螺仪、温度传感器、压力传感器、霍尔传感器、光学传感器、电压传感器、电流传感器、机械传感器(诸如开关)等。传感器116可用于感测车辆110的操作环境，例如，传感器116可检测诸如天气状况(降水、外部环境温度等)的现象、道路坡度、道路位置(例如，使用道路边缘、车道标记等)或目标对象(诸如相邻车辆110)的位置。传感器116还可用来收集数据，包括与车辆110的操作相关的动态车辆110数据，诸如速度、横摆率、转向角度、发动机转速、制动压力、油压、施加到车辆110中的控制器112、113、114的电力水平、在部件之间的连接性以及车辆110的部件的准确且及时的性能。
图2是交通场景200的示例性图。交通场景200包括道路202、车辆204和摄像机206。摄像机206可安装在柱子208或诸如建筑物或塔楼等其他平台上，以使摄像机206成为固定摄像机206。使摄像机206固定允许交通基础设施系统100获取关于摄像机206相对于诸如纬度、经度和海拔的3D全局坐标系的六DoF姿势的数据。摄像机206的六DoF姿势可与关于摄像机206的视野210相对于包括道路202的交通场景200的位置的数据组合，如下文进一步描述的。例如，关于摄像机206中包括的透镜的放大率的数据可与关于交通场景200的各部分在视野210中的位置的地图数据组合，以基于投影几何形状而确定变换，所述变换将用像素坐标表示的六DoF姿势变换为全局坐标。例如，还可通过获取关于视野210中的基准标记物的图像数据并测量基准标记物来确定将像素坐标变换为全局坐标的变换。确定将像素坐标变换为固定摄像机206的全局坐标的变换可被描述为校准固定摄像机206。在描述本文的技术时，虽然红色、绿色和蓝色(RGB)彩色图像将用作由固定摄像机206获取的示例性图像数据，但是，也可使用灰度、近红外或远红外(IR)视频数据来实现类似结果。
图3是示例性基准标记物300的图。基准标记物300可例如包括多个ArUco基准标记302。ArUco基准标记302是来自在www.uco.es/grupos/ava/node/26描述的基准标记库的二维(2D)图案，参见西班牙科尔多瓦大学“Aplicaciones de la Vision Artificial”，2019年5月15日。ArUco基准标记包括机器视觉软件，所述机器视觉软件可通过处理基准标记300的2D视频图像来确定基准标记物300中包括的每个ArUco基准标记302的用像素坐标表示的3D六DoF姿势。例如，通过确定基准标记物300的视频图像中包括的每个ArUco基准标记302的六DoF姿势，尽管由于部分地隐藏基准标记物300而致使数据丢失，机器视觉软件仍可确定准确的六DoF姿势。
通过将基准标记物300附接在车辆110的测量位置和取向上，基准标记物300可被用来使用经过校准的固定摄像机206确定车辆的六DoF姿势。例如，车辆110可具有附接到车辆顶部的基准标记物300。当车辆110进入经过校准的固定摄像机206的视野210中时，可获取车辆的包括基准标记物300的视频图像，并且可使用如上所述的机器视觉软件确定基准标记物300的用像素坐标表示的3D姿势。因为当基准标记物300附接到车辆110时确定了基准标记物300与车辆110之间的关系，所以可确定车辆110的用像素坐标表示的六DoF姿势。因为如上所述校准了固定摄像机206，所以可将车辆110的用像素坐标表示的六DoF姿势变换为全局坐标。车辆110的六DoF姿势可被下载到车辆110中的计算装置115，并用于操作车辆110。
车辆110的通过处理由固定摄像机206获取并从交通信息系统100下载的视频图像确定的六DoF姿势可为由车辆110中的计算装置115获取的六DoF姿势数据的几个来源中的一个。例如，车辆110可包括诸如GPS等位置传感器116，以及可测量车辆110的六DoF姿势的惯性测量单元(IMU)。车辆110可包括视频、激光雷达和雷达传感器，所述传感器获取有关车辆110周围环境的数据，所述数据可与地图数据结合以确定车辆110的六DoF姿势数据。可组合来自多个来源的六DoF姿势数据以提供冗余，从而提高六DoF姿势的可靠性和准确性。通过基于描述车辆110的计算机辅助设计(CAD)文件而确定特征并处理在由固定摄像机206获取的视频图像中确定的对应特征，本文所述的技术改善了对六DoF姿势信息的确定。基于视频图像而确定的对应特征可用于确定车辆110的六DoF姿势，而无需基准标记300。
图4是对应于合成车辆图像400的CAD数据的示例性呈递的图，其被图示为符合专利局规定的黑白线图。CAD数据的呈递是包括以下的过程：通过基于用户选定的照明源和合成相机光圈而计算CAD数据中包括的表面的外观来确定二维(2D)图像数据。可从照明源追踪光线，从车辆图像的表面反射光线，并通过合成相机光圈捕获光线。合成相机光圈是相机透镜和检测器组合的数学模型，所述数学模型可从跟踪的光线中获取数据以形成图像，从而模拟现实世界相机和透镜的操作。呈递CAD数据可产生例如对应于车辆的相对于合成相机确定的六DoF姿势的2D合成车辆图像400。
可使用机器视觉技术来处理输出合成车辆图像400，以确定车辆特征402，在图4中图示为圆形。用于确定车辆特征402的机器视觉技术包括边缘检测算法和特征检测算法，所述算法通过确定几何边缘配置来检测边缘的配置。几何边缘配置可包括例如两个或多个边缘连接的位置和角度。车辆特征402可用于通过确定车辆特征402的位置和尺寸来确定车辆的六DoF姿势，其中尺寸包括车辆特征402之间的距离和角度。可相对于车辆的如基于CAD数据和合成相机位置而确定的六DoF姿势，物理地测量识别的车辆特征402的位置。通过以多种六DoF姿势呈递多个车辆图像并处理呈递的车辆图像以检测车辆特征，可确定合成车辆图像300中识别的车辆特征402与CAD数据中特征的3D位置之间的对应关系。车辆特征402的位置是规范位置，所述规范位置可通过相对于车辆的用户输入主轴对车辆特征402进行物理测量来确定。车辆的主轴线可为在主要的行进方向(例如，在车轮居中的情况下车辆将进行的方向)上穿过车辆的质心的轴线。该对应关系可用于处理获取的车辆图像以确定车辆的六DoF姿势，而无需使用本文所述的技术的基准标记物300。
图5是车辆500的红、绿和蓝(RGB)彩色图像的图，其被图示为符合专利局规定的黑白线图。例如，可通过具有视野506的固定摄像机504来获取车辆500的RGB彩色图像，所述视野506包括车辆500的各部分。车辆500的RGB彩色图像可由计算装置处理，以使用如上关于图4所讨论的机器视觉技术将图5中示出的车辆图像特征502确定为圆形。通过使用与用于检测车辆特征402类似的机器视觉技术来处理车辆500的RGB彩色图像，检测到的车辆图像特征502将类似于在呈递的CAD数据上检测到的车辆特征402。可通过求解以下N点透视投影方程确定车辆500的六DoF姿势：
Figure BDA0002566330150000101
方程(1)计算用侧倾、俯仰和横摆测量的旋转R，并且计算用x、y和z测量的平移t，做法是确定相对于R和t的最小值。通过对车辆图像特征502uj的n个位置与CAD数据车辆特征402Xj的n个位置之间的平方差求和来计算所述最小值，其中j∈{1，...n}，其中车辆特征402Xj是相对于如上文相关于图4讨论的车辆的主轴所测量的规范特征。
方程(1)选择R和t的值，所述值使用包括Levenberg-Marquardt算法的非线性最小二乘法将检测的车辆图像特征502uj的各位置与被旋转和平移以最紧密地匹配检测的车辆图像特征502uj的CAD数据车辆特征402Xj的各位置之间的差异最小化。Levenberg-Marquart技术可通过执行非线性最小二乘曲线拟合来确定方程的最小值，其中所述算法在高斯牛顿技术与梯度下降技术之间进行插值以确定曲线的局部最小值，即使所述算法从非常远的实际最小值开始。在每个步骤中，车辆图像特征502uj被拟合到包括被旋转和平移以最紧密地匹配检测的车辆图像特征502uj的CAD数据车辆特征402Xj的车辆模型。系统地改变步骤的顺序可取决于步骤的相对最小值，以有效地确定总最小值。
由方程(1)确定的R和t的值对应于车辆的相对于固定摄像机504的六DoF姿势测量的用车辆500的RGB彩色图像表示的六DoF姿势。可通过将来自车辆六DoF姿势的对应侧倾、俯仰和横摆以及x、y和z要素与来自相机六DoF姿势和有关用全局坐标测量的视野506的数据相同要素组合来将车辆的六DoF姿势变换为全局坐标，以产生车辆的用全局坐标表示的六DoF姿势。本文所述的技术通过消除对基准标记物300的要求，改进了基于视频数据对车辆的六DoF姿势的确定。
图6是示例性卷积神经网络(CNN)600的图。CNN 600是可在计算装置上实现的软件程序，所述软件程序可被训练成输入车辆500的RGB彩色图像并作为响应输出六DoF车辆姿势(R、t)602。CNN 600包括多个卷积层，所述多个卷积层从车辆500的输入RGB彩色图像中提取隐藏特征，所述隐藏特征被传递到将所述隐藏特征变换为六DoF车辆姿势(R，t)602的多个完全连接层。通过用如上文相关于图5所描述的技术来处理车辆500的多个RGB彩色图像，CNN 600可被训练成执行六DoF车辆姿势(R、t)602处理，以确定有关车辆500的每个RGB彩色图像的六DoF车辆姿势(R、t)602。所确定的六DoF姿势被定义为“地面实况”，因为它是独立于CNN 600确定的。通过以下方式训练CNN 600：输入车辆500的RGB彩色图像并向后传播将与地面实况六DoF姿势进行比较的结果以确定损失函数。训练CNN 600包括确定卷积层和完全连接层的使损失函数最小化的参数。训练后，CNN 600可输入车辆500的RGB彩色图像，并输出相对于固定摄像机504的用坐标表示的六DoF姿势(R、t)602。如上文相关于图5所讨论的，通过将输出的六DoF姿势602与固定摄像机504的六DoF姿势和有关视野504的数据进行组合，可将六DoF姿势602变换为全局坐标。
图7是相关于图1到图5所描述的用于基于六DoF姿势数据而操作车辆的过程700的流程图的图。过程700可由计算装置的处理器实现，例如将来自传感器的信息作为输入，以及执行命令，以及输出对象跟踪信息。过程700包括以所公开的顺序进行的多个框。过程700可替代地或另外包括更少的框，或者可包括以不同顺序进行的框。
过程700开始于框702，在框702处，计算装置基于如上文相关于图5和图6所讨论的车辆500的输入的RGB彩色图像而确定车辆的六DoF姿势(R、t)。可基于车辆特征502、基于车辆的CAD模型的对应特征以及方程(1)而确定车辆的六DoF姿势。通过用经过训练的CNN 600来处理车辆500的RGB彩色图像，也可确定六DoF姿势。
在框704处，计算装置可基于固定相机504的六DoF姿势和形成视野506的透镜的放大率而将车辆的六DoF姿势(R、t)变换为全局坐标。将车辆的六DoF姿势(R、t)变换为全局坐标允许例如相对于道路202确定车辆的六DoF姿势(R、t)。
在框706处，将车辆的用全局坐标表示的六DoF姿势(R、t)传达给车辆110。例如，可由交通信息系统100确定车辆的用全局坐标表示的六DoF姿势(R、t)，并且经由网络130下载到车辆110。在一个示例中，车辆(R、t)的六DoF姿势可属于接收通信的车辆110。接收车辆110中的计算装置115可将接收到的六DoF姿势数据与基于来自如上文所讨论的车辆110中包括的传感器116的数据而确定的其他取向和位置数据组合，以提高六DoF姿势数据的准确性和及时性。在其他示例中，六DoF姿势数据可指代车辆110周围环境中的另一车辆。
在步骤708处，车辆110可基于接收到的六DoF姿势(R、t)数据而进行操作。计算装置115可基于车辆的六DoF姿势(R、t)中包括的位置和取向而确定用来操作车辆110的车辆路径。在车辆的六DoF姿势(R、t)指代另一车辆的示例中，计算装置115可基于车辆的来自六DoF姿势数据的位置和取向而确定避开另一车辆的车辆路径。计算装置115可通过经由控制器112、113、114控制车辆动力传动系统、转向和制动器以沿着车辆路径操作车辆110。在框708之后，过程700结束。
诸如本文所讨论的那些的计算装置通常各自包括命令，所述命令可由诸如上文所识别的那些的一个或多个计算装置执行，并且用于实施上文所描述的过程的各框或各步骤。例如，上文所讨论的过程框可以体现为计算机可执行命令。
计算机可执行命令可由使用多种编程语言和/或技术创建的计算机程序来编译或解译，所述编程语言和/或技术单独地或组合地包括但不限于：JavaTM、C、C++、Python、Julia、SCALA、Visual Basic、Java Script、Perl、HTML等。一般而言，处理器(例如，微处理器)接收例如来自存储器、计算机可读介质等的命令，并且执行这些命令，从而执行一个或多个过程，包括本文所描述的过程中的一个或多个。此类命令和其他数据可存储在文件中并使用多种计算机可读介质来传输。计算装置中的文件通常是存储在诸如存储介质、随机存取存储器等计算机可读介质上的数据的集合。
计算机可读介质包括参与提供可由计算机读取的数据(例如，命令)的任何介质。这种介质可采用许多形式，包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘以及其他持久性存储器。易失性介质包括通常构成主存储器的动态随机存取存储器(DRAM)。常见形式的计算机可读介质包括例如软磁盘、软盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他光学介质、穿孔卡、纸带、带有孔图案的任何其他物理介质、RAM、PROM、EPROM、快闪EEPROM、任何其他存储器芯片或盒式磁带或计算机可从其中读取的任何其他介质。
除非本文作出相反的明确指示，否则权利要求中使用的所有术语意在给出如本领域技术人员所理解的普通和通常的含义。具体地，除非权利要求叙述相反的明确限制，否则使用诸如“一个”、“该”、“所述”等单数冠词应被解读为叙述所指示的要素中的一个或多个。
术语“示例性”在本文中以表示示例的意义使用，例如，对“示例小部件”的引用应被解读为仅指代小部件的示例。
修饰值或结果的副词“大约”是指形状、结构、测量结果、值、确定、计算等可因材料、加工、制造、传感器测量、计算、处理时间、通信时间等的缺陷而与确切描述的几何形状、距离、测量结果、值、确定、计算等有偏差。
在附图中，相同的附图标记指示相同的要素。此外，可改变这些要素中的一些或全部。有关本文所描述的介质、过程、系统、方法等，应理解，虽然此类过程等的步骤或框已被描述为按照特定顺序的序列发生，但是此类过程可通过以本文所描述的顺序以外的顺序执行的所描述步骤来实践。还应理解，可同时执行某些步骤、可添加其他步骤，或者可省略本文所描述的某些步骤。换句话说，本文对过程的描述是出于说明某些实施例目的提供的，并且决不应解释为限制所要求保护的发明。
根据本发明，提供了一种计算机，所述计算机具有处理器和存储器，所述存储器包括将由所述处理器执行以进行以下操作的指令：基于图像而确定车辆六DoF姿势，其中车辆六DoF姿势包括x、y和z位置以及侧倾、俯仰和横摆取向；基于相机六DoF姿势而将车辆六DoF姿势变换为全局坐标；以及将用全局坐标表示的车辆六DoF姿势传达给车辆。
根据一个实施例，本发明的特征还在于通过基于计算机辅助设计(CAD)数据、物理测量结果和机器视觉技术而确定特征和尺寸来确定车辆六DoF姿势的指令。
根据一个实施例，本发明的特征还在于基于使用机器视觉技术的图像以及使用N点透视算法将车辆特征变换为名义特征来确定六DoF姿势而确定对应车辆特征的指令。
根据一个实施例，N点透视算法通过将n个车辆特征迭代拟合到三维(3D)车辆模型中来确定相机相对于车辆特征的六DoF姿势，并且然后基于确定的真实世界相机六DoF姿势而确定车辆六DoF姿势。
根据一个实施例，本发明的特征还在于通过将视频图像输入到经过训练的卷积神经网络来确定车辆六DoF姿势的指令，所述经过训练的卷积神经网络确定视频图像中车辆的旋转和平移。
根据一个实施例，使用多个图像来训练卷积神经网络，所述多个图像包括车辆在相对于相机和对应的地面实况的多个车辆六DoF姿势下的图像。
根据一个实施例，相对于纬度、经度和海拔坐标轴线来确定全局坐标。
根据一个实施例，本发明的特征还在于基于投影几何形状和包括相机的相机六DoF姿势以及相机中包括的透镜的放大率而将车辆六DoF姿势变换为全局坐标的指令。
根据一个实施例，本发明的特征还在于通过基于车辆六DoF姿势而确定车辆路径来操作车辆的指令。
根据一个实施例，本发明的特征还在于通过控制车辆动力传动系统、车辆转向和车辆制动器中的一者或多者来沿着车辆路径操作所述车辆的指令。
根据本发明，一种方法包括：基于图像而确定车辆六DoF姿势，其中车辆六DoF姿势包括x、y和z位置以及侧倾、俯仰和横摆取向；基于相机六DoF姿势而将车辆六DoF姿势变换为全局坐标；以及将用全局坐标表示的车辆六DoF姿势传达给车辆。
根据一个实施例，本发明的特征还在于通过基于计算机辅助设计(CAD)数据、物理测量结果和机器视觉技术而确定特征和尺寸来确定车辆六DoF姿势。
根据一个实施例，本发明的特征还在于基于使用机器视觉技术的图像以及使用N点透视算法将车辆特征变换为名义特征来确定六DoF姿势而确定对应车辆特征。
根据一个实施例，N点透视算法通过将n个车辆特征迭代拟合到三维(3D)车辆模型中来确定相机相对于车辆特征的六DoF姿势，并且然后基于确定的真实世界相机六DoF姿势而确定车辆的车辆六DoF姿势。
根据一个实施例，本发明的特征还在于通过将视频图像输入到经过训练的卷积神经网络来确定车辆六DoF姿势，所述经过训练的卷积神经网络确定视频图像中车辆的旋转和平移。
根据一个实施例，使用多个图像来训练卷积神经网络，所述多个图像包括车辆在相对于相机和对应的地面实况的多个车辆六DoF姿势下的图像。
根据一个实施例，相对于纬度、经度和海拔坐标轴线来确定全局坐标。
根据一个实施例，本发明的特征还在于基于投影几何形状和包括相机的六DoF姿势以及相机中包括的透镜的放大率而将车辆六DoF姿势变换为全局坐标。
根据一个实施例，本发明的特征还在于通过基于车辆六DoF姿势而确定车辆路径来操作车辆。
根据一个实施例，本发明的特征还在于通过控制车辆动力传动系统、车辆转向和车辆制动器中的一者或多者来沿着车辆路径操作所述车辆。

Claims (15)

1.一种方法，所述方法包括：
基于图像而确定车辆六轴线姿势，其中所述车辆六轴线姿势包括x、y和z位置以及侧倾、俯仰和横摆取向；
基于相机六轴线姿势而将所述车辆六轴线姿势变换为全局坐标；以及
将用所述全局坐标表示的所述车辆六轴线姿势传达给车辆。
2.如权利要求1所述的方法，所述方法还包括通过基于计算机辅助设计(CAD)数据、物理测量结果和机器视觉技术而确定特征和尺寸来确定所述车辆六轴线姿势。
3.如权利要求2所述的方法，所述方法还包括基于使用机器视觉技术的图像以及使用N点透视算法将所述车辆特征变换为名义特征来确定所述六轴线姿势而确定对应车辆特征。
4.如权利要求3所述的方法，其中所述机器视觉技术包括边缘检测以及两个或更多个边缘连接处的位置和角度。
5.如权利要求4所述的方法，其中所述N点透视算法通过将n个车辆特征迭代拟合到三维(3D)车辆模型中来确定相机相对于所述车辆特征的六轴线姿势，并且然后基于所述相机的确定的真实世界六轴线姿势而确定所述车辆的所述车辆六轴线姿势。
6.如权利要求1所述的方法，所述方法还包括通过将视频图像输入到经过训练的卷积神经网络来确定所述车辆六轴线姿势，所述经过训练的卷积神经网络确定所述视频图像中所述车辆的旋转和平移。
7.如权利要求6所述的方法，其中使用多个图像来训练所述卷积神经网络，所述多个图像包括所述车辆在相对于相机和对应的地面实况的多个车辆六轴线姿势下的图像。
8.如权利要求7所述的方法，其中通过使用机器视觉技术确定对应的车辆特征以及使用N点透视算法将所述车辆特征变换为所述名义特征以确定所述地面实况来确定所述对应的地面实况。
9.如权利要求1所述的方法，其中相对于纬度、经度和海拔坐标轴线来确定所述全局坐标。
10.如权利要求1所述的方法，所述方法还包括基于投影几何形状和包括所述相机的六轴线姿势以及所述相机中包括的透镜的放大率而将所述车辆六轴线姿势变换为全局坐标。
11.如权利要求1所述的方法，所述方法还包括通过基于所述车辆六轴线姿势而确定车辆路径来操作所述车辆。
12.如权利要求11所述的方法，所述方法还包括通过控制车辆动力传动系统、车辆转向和车辆制动器中的一者或多者来沿着所述车辆路径操作所述车辆。
13.如权利要求1所述的方法，其中针对另一车辆确定所述车辆六轴线姿势。
14.如权利要求13所述的方法，所述方法还包括通过基于所述另一车辆的所述六轴线姿势而确定车辆路径来操作所述车辆。
15.一种系统，所述系统包括被编程以执行如权利要求1-14中任一项所述的方法的计算机。
CN202010625177.6A 2019-07-03 2020-07-02 车辆姿势确定 Pending CN112172778A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/502,393 2019-07-03
US16/502,393 US11527012B2 (en) 2019-07-03 2019-07-03 Vehicle pose determination

Publications (1)

Publication Number Publication Date
CN112172778A true CN112172778A (zh) 2021-01-05

Family

ID=73918896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010625177.6A Pending CN112172778A (zh) 2019-07-03 2020-07-02 车辆姿势确定

Country Status (3)

Country Link
US (1) US11527012B2 (zh)
CN (1) CN112172778A (zh)
DE (1) DE102020117529A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11604476B1 (en) * 2018-10-05 2023-03-14 Glydways Inc. Road-based vehicle guidance system
KR20210060779A (ko) * 2019-11-19 2021-05-27 현대자동차주식회사 차량센서의 이상 진단 장치 및 그 방법
US11827203B2 (en) * 2021-01-14 2023-11-28 Ford Global Technologies, Llc Multi-degree-of-freedom pose for vehicle navigation
CN113256732A (zh) * 2021-04-19 2021-08-13 安吉智能物联技术有限公司 一种摄像头校准及位姿获取的方法
EP4330919A2 (en) 2021-04-30 2024-03-06 Farm-NG Inc. Real time localization with image data

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020009222A1 (en) * 2000-03-27 2002-01-24 Mcgibbon Chris A. Method and system for viewing kinematic and kinetic information
EP2048599B1 (en) 2007-10-11 2009-12-16 MVTec Software GmbH System and method for 3D object recognition
US9208563B2 (en) 2010-12-21 2015-12-08 Metaio Gmbh Method for determining a parameter set designed for determining the pose of a camera and/or for determining a three-dimensional structure of the at least one real object
US9488492B2 (en) * 2014-03-18 2016-11-08 Sri International Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
US9669950B2 (en) * 2014-05-02 2017-06-06 Macdonald, Dettwiler And Associates Inc. Spacecraft capture mechanism
US9909855B2 (en) 2015-12-30 2018-03-06 Faro Technologies, Inc. Registration of three-dimensional coordinates measured on interior and exterior portions of an object
US10422639B2 (en) 2016-12-30 2019-09-24 DeepMap Inc. Enrichment of point cloud data for high-definition maps for autonomous vehicles
US10371530B2 (en) * 2017-01-04 2019-08-06 Qualcomm Incorporated Systems and methods for using a global positioning system velocity in visual-inertial odometry
US10630962B2 (en) 2017-01-04 2020-04-21 Qualcomm Incorporated Systems and methods for object location
US10209089B2 (en) 2017-04-03 2019-02-19 Robert Bosch Gmbh Automated image labeling for vehicles based on maps
US20200217972A1 (en) * 2019-01-07 2020-07-09 Qualcomm Incorporated Vehicle pose estimation and pose error correction

Also Published As

Publication number Publication date
US20210004983A1 (en) 2021-01-07
US11527012B2 (en) 2022-12-13
DE102020117529A1 (de) 2021-01-07

Similar Documents

Publication Publication Date Title
US10853670B2 (en) Road surface characterization using pose observations of adjacent vehicles
US10949684B2 (en) Vehicle image verification
US11312372B2 (en) Vehicle path prediction
CN107798699B (zh) 用立体图像进行深度图估计
US11783707B2 (en) Vehicle path planning
US10955857B2 (en) Stationary camera localization
US11527012B2 (en) Vehicle pose determination
US20200020117A1 (en) Pose estimation
US11460851B2 (en) Eccentricity image fusion
US11042758B2 (en) Vehicle image generation
US11662741B2 (en) Vehicle visual odometry
US11138452B2 (en) Vehicle neural network training
US11299169B2 (en) Vehicle neural network training
CN114291011A (zh) 车辆神经网络
CN111532338A (zh) 车辆转向控制
CN116580374A (zh) 车辆定位
US11631197B2 (en) Traffic camera calibration
US20230136871A1 (en) Camera calibration
US20230267640A1 (en) Pose estimation
CN117611666A (zh) 利用校准的传感器进行对象位置估计
CN116136414A (zh) 传感器定位
CN115640832A (zh) 对象姿态估计
CN116451740A (zh) 高效神经网络

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination