CN111356902A - Radar辅助视觉惯性测程初始化 - Google Patents

Radar辅助视觉惯性测程初始化 Download PDF

Info

Publication number
CN111356902A
CN111356902A CN201880074658.3A CN201880074658A CN111356902A CN 111356902 A CN111356902 A CN 111356902A CN 201880074658 A CN201880074658 A CN 201880074658A CN 111356902 A CN111356902 A CN 111356902A
Authority
CN
China
Prior art keywords
radar
visual
feature
depth
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880074658.3A
Other languages
English (en)
Inventor
U·尼森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN111356902A publication Critical patent/CN111356902A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/60—Velocity or trajectory determination systems; Sense-of-movement determination systems wherein the transmitter and receiver are mounted on the moving object, e.g. for determining ground speed, drift angle, ground track
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

各个实施例公开了一种具有一或多个处理器的装置，所述处理器可以被配置成将无线电检测和测距RADAR参考深度图转化为至少一个摄像头的至少一个图像平面中的深度信息，以形成三维RADAR深度图像。所述3D RADAR深度图像包含每个像素的深度估计。所述一或多个处理器还可以被配置成基于来自所述RADAR参考深度图像的所述深度估计来初始化RADAR辅助视觉惯性里程计，以跟踪所述装置位置。

Description

RADAR辅助视觉惯性测程初始化
根据35 U.S.C.§119的优先权要求
本专利申请要求于2017年11月29日提交的标题为“RADAR辅助视觉惯性测程初始化(RADAR AIDED VISUAL INERTIAL ODOMETRY INITIALIZATION)”的非临时申请第15/826,567号的优先权，其已转让给其受让人并且由此明确地通过引用并入本文。
技术领域
本公开总体上涉及视觉惯性测程。
背景技术
测程是指确定距离的相对遍历。距离的相对遍历通过传感器或附接到传感器的装置的位置变化来测量。例如，车辆的里程计指示自里程计重置为零以来已经行驶了多少相对英里。视觉测程基于视觉特征的提取，使用摄像头来确定距离的相对遍历。距离的相对遍历可以基于安装在车辆上的摄像头的位置和定向。视觉惯性测程(VIO)结合了所提取的视觉特征和惯性测量单元(IMU)输出，以针对某一初始参考帧计算VIO自身的位置和方向的估计(例如，利用摄像头和耦合在一起的IMU)。VIO有助于高级驾驶员辅助系统(ADAS)和具有车辆定位的车辆的自主驾驶。
VIO依赖于所提取的视觉特征的位置估计的初始化。当前技术具有初始位置值，就初始位置而言，所述初始位置值产生了较大的不确定性(例如，几十米)。需要提供减少VIO中使用的初始位置的较大不确定性的解决方案。
发明内容
各个实施例包含一或多个处理器，所述处理器将无线电检测和测距(RADAR)参考深度图转化为至少一个摄像头的至少一个图像平面中的深度信息，以形成三维RADAR深度图像。3D RADAR深度图像可以包含每个像素的深度估计。此外，一或多个处理器可以基于来自RADAR参考深度图像的深度估计来初始化RADAR辅助视觉惯性里程计，以跟踪装置位置。
存在各个实施例，其包含一种方法，所述方法将无线电检测和测距(RADAR)参考深度图转化为至少一个摄像头的至少一个图像平面中的深度信息，以形成三维RADAR深度图像。3D RADAR深度图像包含每个像素的深度估计。此外，所述方法包含基于来自RADAR参考深度图像的深度估计来初始化RADAR辅助视觉惯性里程计，以跟踪装置位置。
存在各个实施例，其包含一种设备，所述设备用于将无线电检测和测距(RADAR)参考深度图转化为至少一个摄像头的至少一个图像平面中的深度信息以形成三维(3D)RADAR深度图像的装置。3D RADAR深度图像包含每个像素的深度估计。此外，所述设备包含用于基于来自RADAR参考深度图像的深度估计来初始化视觉惯性里程计以跟踪装置位置的装置。
存在各个实施例，其包含一种非暂时性计算机可读存储媒体，所述存储媒体上存储有指令，所述指令在被执行时使装置的一或多个处理器将无线电检测和测距(RADAR)参考深度图转化为至少一个摄像头的至少一个图像平面中的深度信息，以形成三维(3D)RADAR深度图像。3D RADAR深度图像包含每个像素的深度估计。此外，所述指令在被执行时使一或多个处理器基于来自RADAR参考深度图像的深度估计来初始化RADAR辅助视觉惯性里程计，以跟踪装置位置。
附图说明
并入本文并构成本说明书一部分的附图示出了权利要求的示范性实施例，并且与以上给出的一般描述和以下给出的详细描述一起用于解释权利要求的特征。
图1示出了适合于实施本文公开的各个实施例的装置的一个实例。
图2示出了包含RADAR辅助视觉惯性里程计的框图。
图3示出了所选3D视觉特征位置的初始化的一个实施例。
图4示出了包含跟踪视觉特征的估计和预测3D位置的一个实施例。
图5示出了描述本文公开的技术的示范性流程图。
图6示出了适合于实施本文公开的各个实施例的装置的示范性组件框图。
将参考附图详细描述各个实施例。在所有附图中，将尽可能使用相同的附图标记来指代相同或相似的部分。对特定实例和实施方案的引用是出于说明性目的而并非旨在限制权利要求的范围。
具体实施方式
下面参考附图描述本公开的特定实施方案。在说明书中，在所有附图中，通用特征由通用附图标记表示。如本文使用，各种术语仅出于描述特定实施方案的目的而并非旨在是限制性的。例如，单数形式的“一个/一种(a/an)”和“所述(the)”液旨在包含复数形式，除非上下文另外明确指示。可以进一步理解，术语“包括(comprise/comprises/comprising)”可以与“包含(include/includes/including)”互换使用。另外，将理解，术语“其中(wherein)”可以与“其中(where)”互换使用。如本文使用，“示范性”可以指示实例、实施方案和/或方面，并且不应被解释为是限制性的或指示偏好或优选实施方案。如本文使用，用于修饰元素(例如，结构、组件、操作等)的序数术语(例如，“第一”、“第二”、“第三”等)本身并不指示所述元素相对于另一元素的任何优先级或顺序，而仅仅是将所述元素与具有相同名称(除了序数术语的使用)的另一元素区分开。如本文所用，术语“集合”是指一或多个元素的群组，并且术语“复数个”是指多个元素。
如本文使用，“耦合”可以包含“通信耦合”、“电耦合”或“物理耦合”，并且还可以(或者可替代地)包含其任何组合。两个装置(或组件)可以直接地或间接地经由一或多个其它装置、组件、电线、总线、网络(例如，有线网络、无线网络或其组合)等耦合(例如，通信耦合、电耦合或物理耦合)。电耦合的两个装置(或组件)可以包含在相同的装置或不同的装置中，并且可以经由电子器件、一或多个连接器或感应耦合(例如，作为说明性非限制性实例)连接。在一些实施方案中，通信耦合(例如，在电通信中)的两个装置(或组件)可以直接地或间接地(例如，经由一或多个电线、总线、网络等)发送和接收电信号(数字信号或模拟信号)。如本文使用，“直接耦合”可以包含在没有中间组件的情况下耦合(例如，通信耦合、电耦合或物理耦合)的两个装置。
如本文使用，“集成”可以包含“与之一起制造或出售”。如果用户购买捆绑的封装或包含装置作为其一部分的封装，则所述装置可以是集成的。在一些描述中，两个装置可以耦合，但并不一定是集成的(例如，不同的外围装置可以不集成到命令装置，但是仍然可以“耦合”)。另一实例可以是本文描述的任何收发器或天线，其可以“耦合”到处理器，但并不一定是包含命令装置的封装的一部分。当使用术语“集成”时，可以从本文公开的上下文(包含本段落)推断出其它实例。
如本文使用，装置之间的“无线连接”可以基于各种无线技术，例如蓝牙、无线保真(Wi-Fi)或Wi-Fi的变型(例如，Wi-Fi直连。装置可以基于不同的蜂窝通信系统“无线地连接”，所述蜂窝通信系统例如长期演进(LTE)系统、码分多址(CDMA)系统、全球移动通信系统(GSM)系统、无线局域网(WLAN)系统或一些其它无线系统。CDMA系统可以实施宽带CDMA(WCDMA)、CDMA 1X、演进数据优化(EVDO)、时分同步CDMA(TD-SCDMA)或一些其它版本的CDMA。此外，当装置在视线范围内时，“无线连接”也可以基于其它无线技术，例如超声、红外、脉冲射频电磁能、结构光或信号处理(例如，音频信号处理或射频处理)中使用的到达方向技术。
术语“计算装置”在本文中一般地用于指代服务器、个人计算机、膝上型计算机、平板计算机、移动装置、蜂窝电话、智能本、超极本、掌上型计算机、个人数据助理(PDA)、无线电子邮件接收器、支持多媒体互联网的蜂窝电话、全球定位系统(GPS)接收器、无线游戏控制器以及包含可编程处理器和用于无线发送和/或接收信息的电路系统的类似电子装置中的任何一个或全部。
术语“移动装置”、“连接装置”、“无线装置”和“无线节点”在本文中可互换使用，是指包含用于无线发送和/或接收信息的电路系统的任何电子装置，包含蜂窝电话、个人或移动多媒体播放器、手表、腕部显示器、医疗装置、头戴式受话器、头戴式耳机、扬声器、麦克风、计算装置和其它类似电子器件中的任何一个或全部。
如本文所用，A“和/或”B可以表示“A和B”或“A或B”，或者“A和B”和“A或B”两者均适用或可接受。
如本文使用，“细化”可以包含特定值的更精细或精确的估计。例如，位置、定向、速度的值可以比单单仅基于IMU来估计位置、定向和/或速度(随着时间的推移，这可能导致误差)更精确。
图1示出了适合于实施本文公开的各个实施例的装置的一个实例。所述装置可以是车辆100或无人机，其包含一或多个摄像头110a、110b以及可以用作RADAR辅助VIO系统的一部分的一或多个无线电检测和测距(RADAR)传感器140。为了便于解释，将车辆100用作适合于实施本文的各个实施例的装置；然而，技术人员将认识到，无人机可以另外地或可替代地用作适合于实施本文的各个实施例的装置。
当图1中的车辆移动时，一或多个摄像头110a、110b可以捕捉一或多个摄像头110a、110b的视场中的一或多个图像。例如，摄像头110a可以安装在车辆的车厢内。摄像头110a可以捕捉车辆前方的视觉场景的视场。另外地或可替代地，摄像头110b可以安装在车辆的外部，并且捕捉车辆前方的视觉场景的视场。技术人员将认识到，内部摄像头110a或外部摄像头110b可以安装在多个不同的位置，而不仅仅是图1中示出的位置。
每个摄像头110a、110b具有其自身的局部参考坐标系(如图1中所描绘)。每个局部参考坐标系可以由z轴、y轴和x轴定义。z-y平面垂直于车辆的“前进”行驶方向(由x轴描绘)。一或多个摄像头110a、110b的视场中的一或多个图像可以包含可以被检测到的物体和/或特征。取决于摄像头，视场(也被称为角度跨度)可以跨越超过180度(例如，220度)。另外地或可替代地，一或多个RADAR传感器140可以有助于一或多个RADAR传感器140的视场内的物体和/或特征检测。RADAR传感器的视场可以小于摄像头的视场。例如，RADAR传感器的视场可以基于中心波束(也被称为主瓣)。中心波束的角度跨度可以取决于RADAR信号的频率而有所不同。作为一个实例，中心波束的角度可以为大约60度。
尽管RADAR传感器的角度跨度可以小于摄像头的角度跨度，但是在一或多个RADAR传感器140的视场和一或多个摄像头110a、110b的视场之间可能存在大量重叠。为了建立较大的有效视场，可以将多个RADAR传感器140放置在车辆100前方。因此，通过重叠来自每个RADAR传感器的多个中心波束，有效视场可以比仅使用一个RADAR传感器的情况更宽。较宽的有效角度也可以小于180度。例如，与一或多个摄像头110a、110b的视场可以有大约140度的重叠(相较于多个RADAR传感器的中心波束轴(例如，与RADAR传感器的法线方向的中心指向呈0度))。
当存在阴影时和/或视觉场景中的照明水平有所变化时，使用摄像头110a、110b的物体检测在低光照条件下可能具有降低的性能。相比之下，RADAR传感器不受阴影或视觉场景中的照明水平的变化的影响，并且在夜间和白天具有等效的性能。使用RADAR传感器的一个缺点是地面杂波的存在。由于RADAR传感器用于沿行驶方向传输脉冲，因此脉冲可能会被前方升高的路面反射。反射的返回信号可能会在将来的某个时间返回到RADAR传感器，并用于物体检测。作为“物体”的路面和静止的不同物体(例如，树木、不移动的动物或停着的汽车)之间的区分带来了挑战。然而，如果车辆中的一或多个RADAR传感器140检测到物体朝向或远离车辆100移动时的多普勒频移，则可以在一或多个RADAR传感器140的视场中将升高的路面(其不朝向或远离车辆100移动)与不同的物体区分开来。本公开的发明人预见到，使用来自移动物体的多普勒频移在VIO系统中也具有优势。
使用多普勒频移，由一或多个RADAR传感器140进行的RADAR测量提供了关于物体目标在一或多个RADAR传感器140的视场中的相对移动的信息，所述物体目标的相对移动在使用VIO(包含主要基于一或多个摄像头212(110a，110b)来检测视觉特征)时可能不存在。VIO的假设是环境是静止的。使用整个RADAR视场的多普勒信息可能是由于VIO(或者更确切地说是安装了一或多个RADAR传感器140的车辆100)自身的移动。因此，车辆100的移动可能是可预测的。因此，VIO的预测偏差是由移动的物体引起的。因此，使用一或多个RADAR传感器140可以在其视场中提供存在移动物体的区域。车辆100上的RADAR的角分辨率可以为大约五度。
在车辆应用中使用VIO时面临的一项挑战是视觉特征变化非常快。由于车辆运动相对较快，因此通常会向VIO更新器中加入新视觉特征(参见下面的一或多个附图)。VIO更新器在其状态下跟踪每个特征的三维(3D)位置。为了将新特征加入到所述状态，可以将每个3D位置设置为初始值(即，被初始化)。可以从视觉特征在摄像头110a、110b图像平面上的二维(2D)位置初始化3D位置的z和y分量。然而，由于新加入的视觉特征的深度最初是未知的，因此初始化视觉特征的深度分量(图1中的x分量)是具有挑战性的。可以通过将深度初始化为某一固定恒定值(例如，十米)来解决所述问题，所述恒定值可以对应于由VIO更新器中的相对应的滤波器协方差项捕捉的较大的不确定性(例如，几十米)。较大的初始不确定性表示，跟踪视觉特征最初可能不是很有用，可能需要跟踪一段时间才能变得有意义，直到利用依赖于使用摄像头110a、110b进行深度估计的VIO系统建立更好的深度估计。最终，依赖于摄像头110a、110b的深度估计以及具有较大不确定性的深度初始值限制了VIO在车辆环境中的性能，从而导致了包含VIO的车辆的位置估计漂移增加。
在一个实施例中，一或多个处理器(例如，参见图6)可以被配置成将RADAR参考深度图转化为至少一个摄像头110a、110b的至少一个图像平面中的深度信息，以形成三维RADAR深度图像。3D RADAR深度图像可以包含每个像素的深度估计(即，RADAR辅助深度信息)。一或多个处理器可以基于来自RADAR参考深度图像的深度估计来初始化视觉惯性里程计(参见图2和图3)以跟踪装置位置(例如，车辆100(或未明确绘制的无人机)的位置)。基于每个像素的深度估计，VIO更新器(参见其它附图)可以检测到新视觉特征。然后，可以使用RADAR辅助深度信息来初始化VIO更新器中新加入的视觉特征深度。RADAR辅助深度初始化可能更精确(例如，比10米高一个数量级)。增加的(即，更精确的)精确度可以允许利用较低的滤波器协方差项来初始化新加入的特征的更新器状态，而不是主要依赖于基于摄像头110a、110b深度估计而更新的固定恒定值(如先前所解释)。形成鲜明对比的是，相对于主要依赖于基于摄像头110a、110b深度估计而更新的固定恒定值，RADAR辅助深度初始化提供了数十米的不确定性的优势。更精确的初始化可以允许VIO更新器更快地评估车辆100的位置，而无需跟踪VIO更长时间(例如，数十或可能数百帧)。因此，RADAR辅助深度初始化可以大大缓解跟踪频繁加入的新视觉特征的问题。
为了进一步扩展RADAR辅助深度初始化，图2示出了包含RADAR辅助视觉惯性里程计225的框图200。
在一个实施例中，装置(例如，车辆100或无人机)可以包含一或多个RADAR传感器220。技术人员将认识到，可能存在一或多个RADAR传感器220，其中一或多个RADAR传感器220的视场可以重叠以产生等效视场。一或多个RADAR传感器220可以产生三维(3D)RADAR(参考)深度图和/或3D RADAR速度图。
另外地或可替代地，车辆100可以包含一或多个摄像头212，并且在一或多个摄像头的视场中捕捉视觉场景并输出多个视频帧。视频帧在图2中表示为摄像头图像帧。一或多个摄像头图像帧各自位于至少一个摄像头110a、110b的相应图像平面中。
车辆110可以包含基于RADAR的图像对准器214。基于RADAR的图像对准器可以包含在一或多个处理器中(参见图6)。在一个替代实施例中，一或多个摄像头212和一或多个RADAR传感器220可以集成到RADAR摄像头传感器单元中。在替代实施例中，基于RADAR的图像对准器可以包含在RADAR摄像头传感器单元中。无论位于RADAR摄像头传感器单元中，还是位于一或多个处理器中，基于RADAR的图像对准器都可以用于将RADAR参考深度图转化为至少一个摄像头212的至少一个图像平面中的深度信息，以形成三维(3D)RADAR深度图像。在一个实施例中，可以存在一次对准步骤(例如，校准步骤)，其中RADAR参考帧中的区域可以被转化为至少一个摄像头的图像平面上的区域。例如，可以内插具有较大视场(相对于一或多个摄像头212(110a，110b)的RADAR参考帧，使得RADAR参考帧中的角分辨率匹配，或者近似摄像头212(110a，110b)较小视场(并且包含较高密度的视点)。
如图1中所述，对准的3D RADAR深度图像包含每个像素的深度估计。RADAR辅助视觉惯性里程计225可以包含在一或多个处理器中(参见图6)。RADAR辅助视觉惯性里程计225可以包含更新器230(也可以被称为VIO更新器230)和预测器270(也可以被称为VIO预测器270)。VIO更新器230可以用于基于来自RADAR参考深度图像的深度估计来初始化状态更新器360(参见图3)，以跟踪装置(即，车辆100或无人机)位置。VIO更新器230将更新的状态提供给可以基于RADAR辅助深度初始化的VIO预测器270。RADAR辅助深度初始化可以包含VIO预测器270。VIO预测器270可以按以下初始化：装置的(a)初始姿态(即，初始横滚(Roll0)、俯仰(Pitch0)和偏航(Yaw0))；(b)初始三维(3D)位置(即，Xo、Yo和Zo)；(c)初始速度(Vo)。
所述装置可以包含惯性测量单元(IMU)210，所述惯性测量单元210包含提供装置的三维(3D)角速度测量的陀螺仪210A。IMU 210还可以包含提供装置的三维(3D)线加速度的加速度计210B。对测量的(即，感测的)线加速度进行积分会得到装置的速度的估计。对装置的速度的估计进行积分会得到对装置的位置的细化估计。为了沿适当方向进行积分，可能需要定向的估计。对测量的3D角速度进行积分确定了三维(3D)定向的估计。陀螺仪210A和加速度计210B中存在误差，这会引起速度、位置和方向的漂移。
为了减少由IMU 210产生的漂移误差，一或多个摄像头110a、110B和一或多个RADAR传感器220或与状态更新器360(参见图3)结合的其它传感器可以有助于提供积分量的估计。在图4中，例如，状态更新器360输出状态估计(ae,ve,pe)，其中ae是装置的定向的估计，ve是装置的线速度的估计，并且pe是装置的位置的估计。
在一个实施例中，这些更新的状态估计(ae,ve,pe)可以由装置控制器250使用。装置控制器可以包含制动控制器250A和转向控制器25B。在一个实施例中，制动控制器250A可以向制动传感器发送控制信号，所述制动传感器又有助于将制动施加到装置(例如，车辆100或无人机)。作为一个实例，如果移动物体中的一个正在快速接近车辆100，则RADAR传感器220可以估计与所述物体相关联的多普勒频率，并且确定可能会与朝着车辆100过来的移动物体碰撞。可以使用视觉特征检测来检测移动物体。可以通过RADAR辅助视觉惯性里程计来跟踪针对物体(无论是移动的还是静止的)检测到的视觉特征(在图1中由(o)表示)。新加入的视觉特征的更新的估计(结合图3进一步描述)可以基于将物体的视觉特征(无论是移动的还是静止的)关联。更新的状态估计(ae,ve,pe)可以基于新加入的视觉特征，并且被提供给制动控制器250A。
因此，如果移动物体中的一个正在快速接近车辆100，则装置(即，车辆100或无人机)的制动控制器250A可以基于RADAR辅助深度初始化来使装置减速(通过施加制动)。RADAR辅助深度初始化可以包含新加入(到RADAR辅助VIO)的视觉特征的3D位置的深度(x分量)的初始化。一或多个摄像头212有助于选择新加入的视觉特征的二维位置(y分量和z分量)。跟踪视觉特征的预测三维(3D)位置(在图1中由星号(*)表示)也有助于新加入的视觉特征的二维位置的选择。
在相同或替代实施例中，转向控制器250B可以有助于使装置转向(避免碰撞，或者作为车辆100路径规划的一部分)。不管车辆100是自动驾驶、半自主和/或辅助人类驾驶员，转向控制器250B均可以发送信号以帮助方向盘沿某一方向移动，以避免碰撞，或作为路径规划器255中的路径规划的一部分。转向控制器250B也可以基于RADAR辅助深度初始化。RADAR辅助深度初始化可以包含新加入的视觉特征的深度(x分量)3D位置的初始化，所述视觉特征被加入到RADAR辅助视觉惯性里程计的状态。一或多个摄像头212有助于选择新视觉特征的二维位置(y分量和z分量)。
在相同或替代实施例中，用户警报器260可以使用更新的状态估计(ae,ve,pe)。用户警报器260可以包含耦合到显示装置264的视觉转换器262。显示装置264可以如图1中示出的显示装置120。技术人员将认识到，显示装置120可以位于车辆内的多个位置，或者集成到无人机中。此外，可能存在一个以上显示装置120，因此车辆中的多个人可以在显示装置120上看到相似的信息。因此，用户警报器260可以在视觉上向一或多个人(例如，驾驶员(或乘客中的一或多个))发出对车辆100的跟踪细化位置和/或细化速度和/或细化加速度和/或定向的警报。
车辆100其自身的跟踪位置和/或速度和/或加速度的显示视觉表示也可以基于RADAR辅助深度初始化的初始化。RADAR辅助深度初始化可能导致新加入的视觉特征的3D位置的深度(x分量)的基于RADAR的特征关联。一或多个摄像头212有助于选择新加入的视觉特征的二维位置(y分量和z分量)。
在相同或替代实施例中，用户警报器260可以包含耦合到一或多个扬声器268的听觉转换器266。一或多个扬声器268可以如图1示出的扬声器150A、150。技术人员将认识到，扬声器150A、150B可以位于车辆内的多个位置，或者可以集成到无人机中。而且，可能存在一组以上扬声器150A、150B，因此车辆中的多个人可以听到相似的信息。因此，用户警报器260可以在听觉上向一或多个人(例如，驾驶员(或乘客中的一或多个))发出对车辆100的跟踪细化位置和/或细化速度和/或细化加速度和/或定向的警报。
车辆100其自身的跟踪细化位置和/或细化速度和/或细化加速度和/或定向的呈现听觉表示也可以基于RADAR辅助深度初始化。RADAR辅助深度初始化可能导致新加入的视觉特征的3D位置的深度(x分量)的基于RADAR的特征关联。一或多个摄像头212有助于选择新加入的视觉特征的二维位置(y分量和z分量)。
在相同或替代实施例中，更新的状态估计(ae,ve,pe)可以由天线和收发器156使用，所述天线和收发器156可以包含一或多个天线和耦合到一或多个天线的收发器，以无线地传输车辆100的跟踪细化位置和/或细化速度和/或细化加速度和/或定向；并且也可以基于RADAR辅助深度初始化的初始化。RADAR辅助深度初始化可能导致新加入的视觉特征的3D位置的深度(x分量)的基于RADAR的特征关联。一或多个摄像头212有助于选择新加入的视觉特征的二维位置(y分量和z分量)。
在相同或替代实施例中，多个车辆可以在彼此之间具有无线连接。其它车辆可以无线地传输其跟踪细化位置和/或细化速度和/或细化加速度和/或定向。天线和接收器156可以无线地接收至少一个其它车辆的跟踪细化位置和/或细化速度和/或细化加速度和/或定，这也可以基于至少一个其它车辆新加入的视觉特征的3D位置的深度(x分量)的基于RADAR的特征关联的初始化。至少一个其它车辆的一或多个摄像头212有助于选择至少一个其它车辆的新加入的视觉特征的二维位置(y分量和z分量)。
在相同或替代实施例中，更新的状态估计(ae,ve,pe)可以由路径规划器255使用来协调车辆100可以移动到的位置(即，规划导航路线是什么)。因此，规划导航路线基于更新的状态估计(ae,ve,pe)，这也可以基于新加入的视觉特征的3D位置的深度(x分量)的基于RADAR的特征关联的初始化。
图3示出了所选3D视觉特征位置的初始化的一个实施例300。更新器330可以更新多个状态，包含先前描述的ae、ve和pe。另外，更新器330可以具有每个视觉特征(x)的状态。因此，每个视觉特征可以具有其自身的位置估计(例如，如由图1中的星号(*)所示)。可以包含在一或多个处理器(参见图6)中的更新器330包含特征检测器314，所述特征检测器314基于来自先前描述的基于RADAR的图像对准器214的对准的摄像头图像来从一或多个摄像头212检测二维(2D)视觉特征位置(y分量，z分量)。特征检测器314可以提取和检测与物体相关联的不同类型的特征。例如，可以检测以下不同类型的特征：(a)边缘(例如，大梯度幅度)；(b)拐角(例如，方向快速变化)；(c)团块(例如，按区域对图像结构的描述)；或脊状物(例如，表现出对称轴的一维曲线)。
更新器330还包含基于RADAR的特征关联器344，所述特征关联器344接收来自一或多个摄像头212的2D视觉特征位置作为输入以及跟踪视觉特征的预测3D位置和跟踪视觉特征本身。跟踪视觉特征的预测3D位置可以基于由IMU 210、积分器472和特征状态预测器474(参见图4)辅助的测量。特征状态预测器474可以输出跟踪视觉特征的预测3D位置和视觉特征。跟踪视觉特征的预测3D位置可以在三维(3D)世界参考坐标系中表示。
3D世界参考坐标系和3D摄像头坐标系之间的转化由IMU 210辅助。IMU 210可以估计其3D位置和3D定向。由于一或多个摄像头212(110a，110b)可以通过杆耦合到车辆100(或无人机)，并且IMU 210安装道车辆100，因此可以计算IMU 210 3D位置和3D定向与一或多个摄像头212(110a，110b)之间的转化，并且还可以在3D世界参考坐标系中估计一或多个摄像头212(110a，110b)的3D位置和3D定向。因此，基于摄像头在当前帧中的3D位置和定向，可以进行下一摄像头参考帧的3D定向和3D位置的预测。可以将当前摄像头参考帧的3D定向和3D位置投影到2D摄像头图像平面中作为测量预测器350的一部分或者在测量预测器350之前。可以从2D摄像头图像平面预测未来帧的2D视觉特征。在测量预测器350的输出处示出了摄像头212(110a，110b)中的预测2D位置测量和视觉特征。
基于RADAR的特征关联器344的输出包含一或多个2D匹配视觉特征位置和视觉特征。基于RADAR的特征关联器344确定特征检测器340检测到的哪些2D视觉特征对应于预测器370提供的预测3D位置。视觉特征的预测3D位置和2D视觉检测特征之间的对应关系可以基于检测视觉特征与预测视觉特征之间的关联列表。将2D检测视觉特征与关联列表中的3D预测位置进行匹配可以基于相似性度量(即，视觉特征(检测视觉特征与预测视觉特征)有多相似)，或2D检测视觉特征的位置和3D预测位置之间的距离误差，或视觉特征(检测视觉特征与预测视觉特征)位置之间的相似性度量和距离误差的组合。关联器还可以使用对准的3D RADAR深度图像来计算2D视觉特征的深度，然后可以将其与预测3D位置直接进行比较。相似性度量可以基于从预测位置的附近点周围开始搜索，并尝试找到视觉特征之间的相似值。另一相似性度量可以使用技术人员已知的“贪婪算法”来在更新器370提供的预测位置的附近点尝试并找到最佳匹配视觉特征。
2D匹配视觉特征的位置可以包含离群值，即异常于其它2D匹配特征的位置值(或相较于相似性度量的相似性值)。可以利用离群值检测器346来检测异常值(位置或相似性值)。由于预测视觉特征(特征状态预测器474的输出)不再位于一或多个摄像头212(110a，110b)的视场中但它们仍在特征状态预测器474内，因此可能会产生异常值。因此，相对应的2D视觉特征(例如，拐角点)未被一或多个摄像头212(110a，110b)观察到，未被特征检测器340检测到，或未由基于RADAR的特征关联器344匹配。
一旦离群值检测器346去除了离群值，剩余的2D匹配视觉特征就被传递到创新计算器355。在一个替代实施例中，创新计算器355和/或测量预测器250和/或离群值检测器346可以包含在基于RADAR的特征关联器344中。创新计算器355计算来自测量预测器350的2D视觉特征和离群值检测器346之后剩余的2D匹配视觉特征之间的误差。2D视觉特征(基于投影到摄像头图像平面中)和离群值检测器346之后剩余的2D匹配视觉特征(已经在摄像头图像平面中)之间的每个误差可以被称为创新。创新可以基于距离误差和/或相似性度量。在一个实施例中，创新也被反馈到基于RADAR的特征关联器344中，并且可以用作确定特征检测器340检测到的哪些2D视觉特征对应于预测器370提供的预测3D位置的一部分。可以将创新和离群值检测器346之后剩余的2D匹配视觉特征发送到状态更新器360。
RADAR辅助视觉惯性里程计可以在车辆100(或无人机)上的一或多个摄像头212(110a，110b)的视场中跟踪每个“第i”视觉特征的3D位置。然而，如先前所述，在车辆应用中使用VIO时面临的一项挑战是视觉特征变化非常快。由于车辆运动相对较快，因此通常会向VIO更新器330(即，VIO更新器330中的状态更新器360)中加入新视觉特征。由于新加入的视觉特征的深度最初是未知的，因此初始化视觉特征的深度分量是具有挑战性的。用于状态更新器360的新视觉特征的深度尺寸(x分量)基于由基于RADAR的图像对准器214输出的对准的3D RADAR深度图像。由于RADAR参考深度图的转化可以与至少一个摄像头的至少一个图像平面对准，以形成三维RADAR深度图像。3D深度图像可以包含每个像素的深度估计。
RADAR辅助深度初始化可以包含基于RADAR的特征状态初始化器376的初始化。基于RADAR的特征状态初始化器376可以将对准的3D RADAR深度图像存储在第一查找表(LUT1)中。第一查找表可以存储每个像素的位置(即，每个像素的坐标(Yi,Zi)，并且存储每个像素的深度估计(Xi))。基于RADAR的特征关联器344可以输出待加入到VIO更新器330的所选2D新视觉特征位置(Y,Z)。所选2D新视觉特征位置(Y,Z)可以用于在与每个像素相关联的第一查找表中指示(即，查找)相对应的深度估计，以为每个新加入的视觉特征提供初始值。然后，每个新加入的视觉特征的初始位置值(Yi,Zi)将包含所选2D新视觉特征和每个像素的深度估计(Xi)。应当注意，视觉特征的位置有时被表示为Yi,Zi，并且位置有时被表示为Y,Z，并且在整个公开中可以互换使用。
在离群值检测器346已去除离群值之后，可以从基于RADAR的特征关联器344输出待加入到VIO更新器330的所选2D新视觉特征位置(Y,Z)。离群值检测器346之后剩余的2D匹配视觉特征可以被反馈到基于RADAR的特征关联器344，使得可以选择视觉特征。视觉特征选择既包含已经由RADAR辅助VIO跟踪的先前视觉特征，又包含可以由基于RADAR的特征关联器344利用图3中示出的四个输入确定的新加入的视觉特征。基于RADAR的特征关联器344可以包括多个输入，如图3中所示。在一个实施例中，多个输入是：(i)2D所选视觉特征位置(Y,Z)；(ii)跟踪视觉特征的预测3D位置、视觉特征；(iii)创新(但是在一个不同的实施例中，创新可以在基于RADAR的特征关联器344内计算)；和(iv)2D匹配视觉特征(在离群值去除之后)。
状态更新器370可以接收以下作为输入：(i)每个3D视觉特征的所选3D视觉特征位置的初始值(Yi,Zi,Xi)；(ii)新加入的视觉特征；(iii)创新之后的2D视觉特征；(iv)创新；和(v)跟踪视觉特征在世界参考坐标系中的预测3D位置以及车辆100的位置、线速度和加速度的预测值。
图4示出了包含跟踪视觉特征的估计和预测3D位置的一个实施例。预测器470从更新器330接收更新的状态和估计IMU校准状态。估计IMU校准状态可以帮助积分器472细化线加速度(la)和角速度(av)估计，并产生(即生成或输出)车辆100的线速度(v')、线加速度(a')、3D位置(p')的细化估计。预测器470内的特征状态预测器474还可接收跟踪视觉特征在世界参考坐标系中的估计3D位置。特征状态预测器474可以接收车辆100的线速度(v')、线加速度(a')和3D位置(p')的细化估计。基于跟踪视觉特征在世界参考坐标系中的估计3D位置以及车辆100的线速度(v')和线加速度(p')的估计，特征状态预测器474可以预测每个跟踪视觉特征的3D位置(在世界参考坐标系中)。然后，可以将每个跟踪视觉特征的预测3D位置在下一帧发送给更新器330。
RADAR辅助视觉惯性里程计被配置成基于估计装置在世界参考坐标系中的三维位置以及跨两个或两个以上摄像头图像帧的的跟踪视觉特征在世界参考坐标系中的三维位置来跟踪装置位置。也就是说，可以在检测到视觉特征的当前图像帧上进行装置位置、装置定向、装置速度的跟踪以及视觉特征(和视觉特征的位置)的跟踪，并且在下一图像帧预测下一图像帧的视觉特征。基于更新器330和预测器370，在下一图像帧中继续装置位置、装置定向、装置速度的跟踪以及视觉特征(和视觉特征的位置)的跟踪。装置位置、装置定向、装置速度的跟踪以及视觉特征(和视觉特征的位置的跟踪基于当前摄像头图像帧中的视觉特征的一或多个二维位置的检测，和基于RADAR的特征关联器344中的当前摄像头图像帧的视觉特征的一或多个二维位置与当前摄像头图像帧的视觉特征的预测三维位置的关联，以及基于基于RADAR的特征关联器中的关联的新视觉特征的二维位置的选择。此外，装置位置、装置定向、装置速度的跟踪以及视觉特征(和视觉特征的位置)的跟踪基于新视觉特征的加入以及其在基于RADAR的特征关联器中的关联。
图5示出了示范性流程图，其描述了可以在装置中实施的本文公开的技术。所述装置(例如，车辆100)可以包含一或多个处理器，所述处理器被配置成将无线电检测和测距(RADAR)参考深度图转化为至少一个摄像头的至少一个图像平面中的深度信息，以形成三维RADAR深度图像，其中3D RADAR深度图像包含每个像素的深度估计515。一或多个处理器还可以被配置成基于来自RADAR参考深度图像的深度估计来初始化视觉惯性里程计预测器，以跟踪装置位置525。
所述装置可以包含至少一个RADAR传感器，所述RADAR传感器被配置成提供RADAR参考深度图530。包含一或多个摄像头的装置被配置成提供至少一个摄像头图像帧，其中所述摄像头图像帧位于至少一个摄像头的至少一个图像平面中540。
另外，一或多个处理器可以被配置成初始化RADAR辅助视觉惯性里程计，包含RADAR辅助视觉惯性里程计中的基于RADAR的特征状态的初始化550A。随后，一或多个处理器可以被配置成初始化RADAR辅助视觉惯性里程计，包含RADAR辅助视觉惯性里程计中的状态更新器的初始化550B。一或多个处理器可以被配置成基于RADAR辅助惯性里程计的初始化来加入新视觉特征以进行跟踪550C。除了在一或多个处理器被配置成基于RADAR辅助惯性里程计的初始化来加入新视觉特征以进行跟踪550C之后的第一帧，一或多个处理器被配置成初始化RADAR辅助视觉惯性里程计中的基于RADAR的特征状态550A。
图6示出了适合于实施本文公开的各个实施例的装置601的示范性组件框图。在各个实施方案中，装置601可以具有比图6中所示出更多或更少的组件。装置601可以是车辆100、无人机、机器人或具有导航能力的另一电子装置。
在一个特定实施方案中，装置601包含一或多个处理器628，所述处理器628可以包含：中央处理单元(CPU)；或数字处理器(DSP)；或耦合到存储器626的图形处理单元(GPU)。存储器626包含指令630(例如，可执行指令)，诸如计算机可读指令或处理器可读指令。指令630可以包含可由计算机(例如，处理器628)执行的一或多个指令。
图6还示出了一或多个控制器620，其耦合到一或多个处理器628并且耦合到装置601中的多个组件。例如，一或多个控制器620可以耦合到各个外围装置(例如，IMU 602、一或多个RADAR传感器604、一或多个摄像头606、显示装置608和一或多个扬声器610)。显示装置608可以是显示装置120，并且用作显示装置120的目的。一或多个RADAR传感器604可以是一或多个RADAR传感器220，并且用作与一或多个RADAR传感器220相同的目的。一或多个摄像头606可以是一或多个摄像头212、110a、110b，并且用作与一或多个摄像头212、110a、110b相同的目的。一或多个扬声器610可以是一或多个扬声器150A、150B，并且用作与一或多个扬声器150A、150B相同的目的。
装置601可以包含收发器622，并且收发器622可以耦合到一或多个处理器628并且耦合到天线612，使得无线数据(例如，基于RADAR辅助深度初始化的新加入的特征的位置)可以传输到其它车辆(或无人机或机器人)。在一些实施方案中，一或多个处理器628、一或多个控制器620、存储器626和收发器622可以包含在系统级封装或片上系统装置中。在一些实施方案中，各个外围器件可以集成到装置601中。
此外，在一个特定实现方案中，如图6中所示，IMU 602、一或多个RADAR传感器604、一或多个摄像头606、显示装置608和一或多个扬声器612在片上系统装置的外部。在一个特定实施方案中，IMU 602、一或多个RADAR传感器604、一或多个摄像头606、显示装置610和一或多个扬声器610以及天线612中的每一个可以耦合到片上系统装置的组件，例如一或多个控制器620或存储器626。
在图6中示出的一个特定实施方案中，一或多个处理器628可以包含彼此耦合的基于RADAR的图像对准器214和基于RADAR的视觉惯性里程计225(如先前所述)。一或多个处理器628中的RADAR辅助视觉惯性里程计225的输出可以基于基于RADAR的深度初始化来输出新加入的特征的速度、加速度和3D位置的更新的状态估计(ve,ae,pe)。可以将更新的状态提供给装置控制器250(如先前所述)，所述装置控制器250可以耦合到RADAR辅助视觉惯性里程计225。可以将更新的状态提供给路径规划器255(如先前所述)，所述路径规划器255可以耦合到RADAR辅助视觉惯性里程计225。可以将更新的状态提供给视觉转换器262(如先前所述)，所述视觉转换器262可以耦合到RADAR辅助视觉惯性里程计225。可以将更新的状态提供给听觉转换器266(如先前所述)，所述听觉转换器266可以耦合到RADAR辅助视觉惯性里程计225。在其它实施方案中，装置控制器250、路径规划器255、视觉转换器262和/或听觉转换器266可以在一或多个处理器628的外部，或者可能在片上系统装置的外部。
在一个说明性实施方案中，存储器626可以包含或对应于存储指令630的非暂时性计算机可读媒体。指令630可以包含可由计算机(例如，一或多个处理器628)执行的一或多个指令。指令630可以使一或多个处理器628进行本文描述的一或多个操作，包含但不限于与图1-5中的任何一个相关联的描述的一或多个部分。
在一个特定实施方案中，本文公开的系统和装置的一或多个组件可以集成到无人机、汽车、公共汽车、室内或室外机器人或设备(例如，电子装置或其中的处理器)中，所述无人机、汽车、公共汽车、室内或室外机器人或设备耦合到或集成有一或多个摄像头212、110a、110b和/或一或多个雷达传感器220。
结合所描述的技术，一种装置包含用于将无线电检测和测距(RADAR)参考深度图转化为至少一个摄像头的至少一个图像平面中的深度信息以形成三维(3D)RADAR深度图像的装置。3D RADAR深度图像可以包含每个像素的深度估计，并且用于初始化视觉惯性里程计的装置可以基于来自RADAR参考深度图像的深度估计以跟踪装置位置。
技术人员将进一步理解，结合本文公开的实施方案描述的各种说明性的逻辑块、配置、模块、电路和算法步骤可以被实施为电子硬件、由处理器执行的计算机软件或两者的组合。以上已大体上根据其功能性描述了各种说明性组件、块、配置、模块、电路和步骤。将此功能性实施为硬件还是处理器可执行指令取决于特定的应用程序和施加在整个系统上的设计约束。技术人员可以针对每个特定应用以不同方式来实施所描述的功能性，但是此些实施决策不应被解释为导致脱离本公开的范围。
结合本文的公开内容描述的方法或算法的步骤可以直接在硬件、由处理器执行的软件模块或两者的组合中实施。软件模块可以驻留在随机存取存储器(RAM)、闪速存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、寄存器、硬盘、可移动磁盘、光盘只读存储器(CD-ROM)或本领域已知的任何其它形式的非瞬态存储媒体。示范性存储媒体耦合到处理器，使得处理器可以从存储媒体读取信息并且可以向存储媒体写入信息。以上的组合也应包含在非暂时性计算机可读媒体的范围内。另外，方法或算法的操作可以作为代码和/或指令中的一种或任何组合或集合而驻留在非暂时性处理器可读媒体和/或非暂时性计算机可读媒体上，所述非暂时性处理器可读媒体和/或非暂时性计算机可读媒体可以并入计算机程序产品中。在替代方案中，存储媒体可以与处理器集成在一起。处理器和存储媒体可以驻留在专用集成电路(ASIC)中。ASIC可以驻留在计算装置或用户终端中。在替代方案中，处理器和存储媒体可以作为分立组件驻留在计算装置或用户终端中。
提供了先前的描述以使本领域技术人员能够制造或使用所公开的实施方案。对这些实施方案的各种修改对于本领域技术人员而言将是显而易见的，并且在不脱离本公开的范围的情况下，本文中定义的原理可以应用于其它实施方案。因此，本公开内容不旨在限于本文中示出的实施方案，而是应被赋予与如以下权利要求书所定义的原理和新颖特征一致的可能的最广范围。

Claims (30)

1.一种装置，其包括：
一或多个处理器，其被配置成：
将无线电检测和测距RADAR参考深度图转化为至少一个摄像头的至少一个图像平面中的深度信息，以形成三维RADAR深度图像，其中所述3D RADAR深度图像包含每个像素的深度估计；和
基于来自所述RADAR参考深度图像的所述深度估计，初始化RADAR辅助视觉惯性里程计以跟踪所述装置位置。
2.根据权利要求1所述的装置，其进一步包括至少一个RADAR传感器，所述RADAR传感器耦合到所述一或多个处理器、被配置成提供所述RADAR参考深度图。
3.根据权利要求1所述的装置，其进一步包括至少一个摄像头，所述摄像头被配置成提供至少一个图像帧，其中所述摄像头图像帧位于至少一个摄像头的所述至少一个图像平面中。
4.根据权利要求1所述的装置，其中所述一或多个处理器被配置成基于以下来初始化所述RADAR辅助视觉惯性里程计：(i)新加入的视觉特征的三维位置的初始化，和(ii)所述新加入的视觉特征的所选二维位置。
5.根据权利要求4所述的装置，其中所述一或多个处理器被配置成初始化所述RADAR辅助视觉惯性里程计中的基于RADAR的特征状态。
6.根据权利要求4所述的装置，其中所述一或多个处理器被配置成基于所述新加入的视觉特征的所述三维位置的基于所述RADAR参考深度图的所述初始化来预测所述装置的三维位置。
7.根据权利要求4所述的装置，其中所述跟踪装置位置基于所述一或多个处理器，所述处理器被配置成：
基于跨两个或两个以上摄像头图像帧的跟踪视觉特征在世界参考坐标系中的三维位置，估计所述装置在所述世界参考坐标系中的三维位置；
检测视觉特征在当前摄像头图像帧中的一或多个二维位置；
将所述当前摄像头图像帧的所述视觉特征的所述一或多个二维位置与所述当前摄像头图像帧的所述视觉特征的预测三维位置相关联；
基于所述基于RADAR的特征关联器中的所述关联，选择新视觉特征的二维位置；和
加入所述新视觉特征，并且将所述新加入的特征关联在所述基于RADAR的特征关联器中。
8.根据权利要求1所述的装置，其中所述一或多个处理器被配置成初始化所述RADAR辅助视觉惯性里程计中的基于RADAR的特征初始化器。
9.根据权利要求8所述的装置，其中所述一或多个处理器被配置成初始化所述RADAR辅助视觉惯性里程计中的状态更新器。
10.根据权利要求4所述的装置，其进一步包括包含转向控制器的装置控制器，所述转向控制器被配置成基于以下来使所述装置转向：(i)新加入的视觉特征的三维位置的所述初始化，(ii)所述新加入的视觉特征的所选二维位置，和(iii)基于RADAR的特征关联器。
11.根据权利要求4所述的装置，其进一步包括包含制动控制器的装置控制器，所述制动控制器被配置成基于以下来使所述装置减速：(i)新加入的视觉特征的三维位置的所述初始化，(ii)所述新加入的视觉特征的所选二维位置，和(iii)基于RADAR的特征关联器。
12.根据权利要求4所述的装置，其进一步包括包含视觉转换器的使用警报器，所述视觉转换器被配置成将所述跟踪装置位置转换为所述跟踪装置位置的视觉表示。
13.根据权利要求12所述的装置，其进一步包括显示装置，所述显示装置被配置成显示所述跟踪装置位置的所述视觉表示。
14.根据权利要求4所述的装置，其进一步包括包含听觉转换器的使用警报器，所述听觉转换器被配置成将所述跟踪装置位置转换为所述跟踪装置位置的听觉表示。
15.根据权利要求14所述的装置，其进一步包括一或多个扬声器，所述扬声器被配置成播放所述跟踪装置位置的所述听觉表示。
16.根据权利要求4所述的装置，其进一步包括一或多个天线和耦合到所述一或多个天线的收发器，所述天线和收发器被配置成传输所述跟踪装置位置以及所述装置的跟踪定向和速度，
这基于以下：(i)新加入的视觉特征的三维位置的所述初始化，(ii)所述新加入的视觉特征的所选二维位置，和(iii)基于RADAR的特征关联器。
17.根据权利要求16所述的装置，其中所述一或多个天线和收发器被配置成针对所述装置的路径规划从第二装置接收以下中的至少一个：所述第二装置的跟踪位置、定向或速度，
这基于以下：(i)新加入的视觉特征的三维位置的所述初始化，(ii)所述新视觉特征的所选二维位置，和(iii)基于RADAR的特征关联器。
18.根据权利要求4所述的装置，其进一步包括路径规划器，所述路径规划器被配置成基于以下来规划导航路线：(i)新加入的视觉特征的三维位置的所述初始化，(ii)所述新视觉特征的所选二维位置，和(iii)基于RADAR的特征关联器。
19.根据权利要求1所述的装置，其中所述装置是车辆或无人机。
20.根据权利要求1所述的装置，其中所述将无线电检测和测距RADAR参考深度图转化为至少一个摄像头的至少一个图像平面中的深度信息以形成三维RADAR深度图像是对准的3D RADAR深度图像，并且所述处理器被配置成计算所述2D视觉特征的深度，所述2D视觉特征被直接地与视觉特征的预测三维位置进行比较。
21.一种方法，其包括：
将无线电检测和测距RADAR参考深度图转化为至少一个摄像头的至少一个图像平面中的深度信息，以形成三维RADAR深度图像，其中所述3D RADAR深度图像包含每个像素的深度估计；和
基于来自所述RADAR参考深度图像的所述深度估计，初始化RADAR辅助视觉惯性里程计以跟踪装置位置。
22.根据权利要求21所述的方法，其进一步包括基于以下来初始化所述RADAR辅助视觉惯性里程计：(i)新加入的视觉特征的三维位置的初始化，和(ii)所述新加入的视觉特征的所选二维位置。
23.根据权利要求21所述的方法，其进一步包括初始化所述RADAR辅助视觉惯性里程计中的基于RADAR的特征状态。
24.根据权利要求22所述的方法，其进一步包括基于所述新加入的视觉特征的所述三维位置的基于RADAR参考深度图的所述初始化来预测所述装置的所述三维位置。
25.根据权利要求22所述的方法，其中所述跟踪装置位置基于：
基于跨两个或两个以上摄像头图像帧的跟踪视觉特征在世界参考坐标系中的三维位置，估计所述装置在所述世界参考坐标系中的所述三维位置；
检测视觉特征在当前摄像头图像帧中的一或多个二维位置；
将所述当前摄像头图像帧的所述视觉特征的所述一或多个二维位置与所述当前摄像头图像帧的所述视觉特征的预测三维位置相关联；
基于所述基于RADAR的特征关联器中的所述关联，选择新视觉特征的二维位置；和
加入所述新视觉特征，并且将所述新加入的特征关联在所述基于RADAR的特征关联器中。
26.根据权利要求22所述的方法，其进一步包括初始化所述RADAR辅助视觉惯性里程计中的基于RADAR的特征初始化器。
27.根据权利要求22所述的方法，其进一步包括基于以下来使所述装置转向：(i)新加入的视觉特征的三维位置的所述初始化，(ii)所述新加入的视觉特征的所选二维位置，和(iii)基于RADAR的特征关联器。
28.根据权利要求22所述的方法，其进一步包括基于以下来使所述装置减速：(i)新加入的视觉特征的三维位置的所述初始化，(ii)所述新加入的视觉特征的所选二维位置，和(iii)基于RADAR的特征关联器。
29.一种设备，其包括：
用于将无线电检测和测距RADAR参考深度图转化为至少一个摄像头的至少一个图像平面中的深度信息以形成三维3D RADAR深度图像的装置，其中所述3D RADAR深度图像包含每个像素的深度估计；和
用于基于来自所述RADAR参考深度图像的所述深度估计来初始化视觉惯性里程计以跟踪所述装置位置的装置。
30.一种非暂时性计算机可读存储媒体，其上存储有指令，所述指令在被执行时使装置的一或多个处理器：
将无线电检测和测距RADAR参考深度图转化为至少一个摄像头的至少一个图像平面中的深度信息，以形成三维3D RADAR深度图像，其中所述3D RADAR深度图像包含每个像素的深度估计；和
基于来自所述RADAR参考深度图像的所述深度估计，初始化RADAR辅助视觉惯性里程计以跟踪所述装置位置。
CN201880074658.3A 2017-11-29 2018-11-28 Radar辅助视觉惯性测程初始化 Pending CN111356902A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/826,567 US10739784B2 (en) 2017-11-29 2017-11-29 Radar aided visual inertial odometry initialization
US15/826,567 2017-11-29
PCT/US2018/062727 WO2019108579A2 (en) 2017-11-29 2018-11-28 Radar aided visual inertial odometry initialization

Publications (1)

Publication Number Publication Date
CN111356902A true CN111356902A (zh) 2020-06-30

Family

ID=64734141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880074658.3A Pending CN111356902A (zh) 2017-11-29 2018-11-28 Radar辅助视觉惯性测程初始化

Country Status (4)

Country Link
US (1) US10739784B2 (zh)
EP (1) EP3717870A2 (zh)
CN (1) CN111356902A (zh)
WO (1) WO2019108579A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114459506A (zh) * 2022-02-28 2022-05-10 清华大学深圳国际研究生院 在线标定全球导航卫星系统接收机与视觉惯性里程计之间外参的方法及系统

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10754008B2 (en) * 2018-02-15 2020-08-25 GM Global Technology Operations LLC Vehicle radar system that addresses doppler frequency shift and method of using the same
JP2020030568A (ja) * 2018-08-22 2020-02-27 株式会社ダイヘン 移動体
TWI734932B (zh) * 2018-09-17 2021-08-01 為昇科科技股份有限公司 雷達偵測角度校正系統及其方法
US20200217948A1 (en) * 2019-01-07 2020-07-09 Ainstein AI, Inc Radar-camera detection system and methods
JP7140291B2 (ja) * 2019-10-08 2022-09-21 株式会社デンソー 同期装置、同期方法、同期プログラム
US11859979B2 (en) 2020-02-20 2024-01-02 Honeywell International Inc. Delta position and delta attitude aiding of inertial navigation system
CN111982148B (zh) * 2020-07-06 2022-12-06 杭州易现先进科技有限公司 Vio初始化的处理方法、装置、系统和计算机设备
CN112325883B (zh) * 2020-10-19 2022-06-21 湖南大学 一种WiFi和视觉多源融合的移动机器人室内定位方法
US11706507B2 (en) 2020-12-30 2023-07-18 Waymo Llc Systems, apparatus, and methods for generating enhanced images
CN113029134B (zh) * 2021-03-02 2022-04-08 浙江商汤科技开发有限公司 视觉惯性系统的初始化方法、装置、电子设备及存储介质
CN113034621B (zh) * 2021-05-24 2021-07-30 腾讯科技（深圳）有限公司 联合标定方法、装置、设备、车辆及存储介质
CN113625271B (zh) * 2021-07-29 2023-10-27 中汽创智科技有限公司 基于毫米波雷达和双目相机的同时定位与建图方法
CN113670327A (zh) * 2021-08-11 2021-11-19 影石创新科技股份有限公司 视觉惯性里程计初始化方法、装置、设备和存储介质
CN113654553B (zh) * 2021-08-12 2024-01-16 浙江大学 一种基于逆超短基线的圆柱阵定位系统及定位方法
CN114018269B (zh) * 2021-11-22 2024-03-26 阿波罗智能技术(北京)有限公司 定位方法、装置、电子设备、存储介质以及自动驾驶车辆

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140300732A1 (en) * 2013-04-05 2014-10-09 Caterpillar Inc. Motion estimation utilizing range detection-enhanced visual odometry
US9031809B1 (en) * 2010-07-14 2015-05-12 Sri International Method and apparatus for generating three-dimensional pose using multi-modal sensor fusion
CN105359190A (zh) * 2013-09-05 2016-02-24 电子湾有限公司 根据单个图像估计深度
US20160180530A1 (en) * 2014-12-19 2016-06-23 Caterpillar Inc. Error estimation in real-time visual odometry system
CN105765628A (zh) * 2013-10-23 2016-07-13 谷歌公司 深度图生成
WO2017021475A1 (en) * 2015-08-03 2017-02-09 Tomtom Global Content B.V. Methods and systems for generating and using localisation reference data

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9658070B2 (en) * 2014-07-11 2017-05-23 Regents Of The University Of Minnesota Inverse sliding-window filters for vision-aided inertial navigation systems
US10055850B2 (en) * 2014-09-19 2018-08-21 Brain Corporation Salient features tracking apparatus and methods using visual initialization
US9599706B2 (en) * 2015-04-06 2017-03-21 GM Global Technology Operations LLC Fusion method for cross traffic application using radars and camera
US10261170B2 (en) * 2015-06-02 2019-04-16 Valentine Research, Inc. Image analysis and radar detectors
US9884623B2 (en) * 2015-07-13 2018-02-06 GM Global Technology Operations LLC Method for image-based vehicle localization
US10324195B2 (en) * 2015-07-27 2019-06-18 Qualcomm Incorporated Visual inertial odometry attitude drift calibration
US10706890B2 (en) * 2017-08-24 2020-07-07 Intel Corporation Cinematic space-time view synthesis for enhanced viewing experiences in computing environments
US10063972B1 (en) * 2017-12-30 2018-08-28 Wipro Limited Method and personalized audio space generation system for generating personalized audio space in a vehicle

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9031809B1 (en) * 2010-07-14 2015-05-12 Sri International Method and apparatus for generating three-dimensional pose using multi-modal sensor fusion
US20140300732A1 (en) * 2013-04-05 2014-10-09 Caterpillar Inc. Motion estimation utilizing range detection-enhanced visual odometry
CN105359190A (zh) * 2013-09-05 2016-02-24 电子湾有限公司 根据单个图像估计深度
CN105765628A (zh) * 2013-10-23 2016-07-13 谷歌公司 深度图生成
US20160180530A1 (en) * 2014-12-19 2016-06-23 Caterpillar Inc. Error estimation in real-time visual odometry system
WO2017021475A1 (en) * 2015-08-03 2017-02-09 Tomtom Global Content B.V. Methods and systems for generating and using localisation reference data

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114459506A (zh) * 2022-02-28 2022-05-10 清华大学深圳国际研究生院 在线标定全球导航卫星系统接收机与视觉惯性里程计之间外参的方法及系统
CN114459506B (zh) * 2022-02-28 2023-08-08 清华大学深圳国际研究生院 在线标定全球导航卫星系统接收机与视觉惯性里程计之间外参的方法及系统

Also Published As

Publication number Publication date
US20190163198A1 (en) 2019-05-30
US10739784B2 (en) 2020-08-11
WO2019108579A2 (en) 2019-06-06
WO2019108579A3 (en) 2019-07-11
EP3717870A2 (en) 2020-10-07

Similar Documents

Publication Publication Date Title
US10739784B2 (en) Radar aided visual inertial odometry initialization
US10514456B2 (en) Radar aided visual inertial odometry outlier removal
CN110869700B (zh) 用于确定车辆位置的系统和方法
US10885640B2 (en) Enhanced object detection and motion estimation for a vehicle environment detection system
KR101622028B1 (ko) 차량 통신을 이용한 차량 제어 장치 및 제어 방법
US11175668B2 (en) Navigation method and apparatus, and terminal device
CN108688660B (zh) 运行范围确定装置
JP2021516401A (ja) データ融合方法及び関連装置
CN110554376A (zh) 用于运载工具的雷达测程法
US11859997B2 (en) Electronic device for generating map data and operation method thereof
KR20150088636A (ko) 위치 추정 장치 및 방법
EP3147629A1 (en) Object detection device and object detection method
US10228252B2 (en) Method and apparatus for using multiple filters for enhanced portable navigation
CN112362054B (zh) 一种标定方法、装置、电子设备及存储介质
CN115427832A (zh) 自动驾驶车辆的激光雷达和图像校准
JP2016080460A (ja) 移動体
KR20190081334A (ko) 복합 측위 기반의 이동 궤적 추적 방법 및 그 장치
JP6428214B2 (ja) 相対位置測定装置、プログラム
US11561553B1 (en) System and method of providing a multi-modal localization for an object
CN112528719A (zh) 推定装置、推定方法以及存储介质
US20200125111A1 (en) Moving body control apparatus
US10249056B2 (en) Vehicle position estimation system
CN117693771A (zh) 用于交通工具的自主控制的占用映射
KR20230131209A (ko) 주기적으로 업데이트되는 앵커 프레임들을 사용한 레인맵핑 및 로컬라이제이션
CN112291701A (zh) 定位验证方法、装置、机器人、外部设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination