CN111448591A - 不良光照条件下用于定位车辆的系统和方法 - Google Patents

不良光照条件下用于定位车辆的系统和方法 Download PDF

Info

Publication number
CN111448591A
CN111448591A CN201880002638.5A CN201880002638A CN111448591A CN 111448591 A CN111448591 A CN 111448591A CN 201880002638 A CN201880002638 A CN 201880002638A CN 111448591 A CN111448591 A CN 111448591A
Authority
CN
China
Prior art keywords
point cloud
vehicle
image
lighting condition
cloud dataset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880002638.5A
Other languages
English (en)
Other versions
CN111448591B (zh
Inventor
李保利
谌祖刚
冯路
王晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Publication of CN111448591A publication Critical patent/CN111448591A/zh
Application granted granted Critical
Publication of CN111448591B publication Critical patent/CN111448591B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/94—
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Abstract

本申请的实施例提供了用于定位车辆的方法和系统。该系统可以包括通信接口被配置为接收在第一光照条件下由至少一个传感器捕获的场景的点云数据集。该系统还可以包括用于存储点云数据集的存储器和处理器，该处理器被配置为基于点云数据集识别至少一个局部光源，基于对应于第二光照条件的来自于至少一个局部光源的模拟光，修改点云数据集，并基于修改的点云数据集，在第二光照条件下定位车辆。

Description

不良光照条件下用于定位车辆的系统和方法
技术领域
本申请涉及用于在不良光照条件下定位车辆的系统和方法，尤其涉及用于在不良光照条件下，使用从用局部光源计算的阴影修改的重建场景模拟的暗场景来定位车辆的系统和方法。
背景技术
多年来，自动驾驶已成为越来越流行的技术。能够在没有人工输入的情况下自行驾驶的车辆可以解放其司机，使司机可以坐在里面专注于其他事务。像人类司机一样，自动驾驶车辆需要知道它在给定环境中的位置，以便它可以确定它应该朝哪个方向前进，并且准备好避免周围的危险，例如不安全的道路状况以及像人类或其他车辆等正在接近的对象。因此，必须通过先进技术来补偿司机对车辆减少的关注，以便与人类驾驶相比，保持至少相同的自动驾驶安全水平。
这种先进技术之一是计算机视觉。计算机视觉技术获取、处理、分析和理解数字图像，以便在自动驾驶的环境中定位车辆。自动驾驶车辆通常配备有各种传感器、检测器和其他装置，以获取其周围的信息。这种传感器和设备的示例包括3-D相机、激光雷达扫描仪、全球定位系统(GPS)接收器和惯性测量单元(IMU)传感器。它们捕捉周围对象的特征以及车辆行驶的道路。捕获的特征可以包括例如，车道的中心线或扩展边线坐标、对象的坐标和图像，该对象包括诸如建筑物、另一车辆、地标、行人或交通标志。在将这些特征转换成数字数据并通过将这些数据集成到其空间位置的计算中之后，自动驾驶车辆能够“知道”它在路上的位置，就像司机在车轮后面一样。
现有的基于图像的定位方法需要环境具有足够亮度和可见度，例如在白天。对于在不良光照条件下驾驶的车辆，例如在夜间，这些算法未能显示出令人满意的性能结果。其中一部分是因为同一场景的视觉表现在白天和夜晚之间变化很大。日落后自然光照消失，黑暗导致场景不易被成像传感器和探测器识别。此外，具有固定位置的局部灯(例如广告牌和路灯)的添加会引入非自然光分量，这进一步使车辆的空间定位和其他对象的位置的计算复杂化。这些可能在由传感器和检测器获取的图像中引起更多的噪点和颜色失真，并且因此降低了自动驾驶系统的定位可靠性。这最终损害了实现这种自动驾驶系统的车辆的安全性。
因此，为了解决上述问题，需要用于在不良光照条件下定位车辆的系统和方法，例如本申请所述的那些。
发明内容
本申请的实施例提供了一种用于定位车辆的系统。该系统可以包括通信接口，被配置为接收在第一光照条件下由至少一个传感器捕获的场景的一组点云数据。该系统还可以包括存储器和处理器。其中，所述存储器被配置为存储所述点云数据集。所述处理器可以配置为基于所述点云数据，识别至少一个局部光源，基于对应于第二光照条件的来自于所述至少一个局部光源的模拟光，修改所述点云数据集，以及基于修改的点云数据集，在第二光照条件下定位所述车辆。
本申请的实施例还提供了一种用于定位车辆的方法。该方法可以包括接收在第一光照条件下由至少一个传感器捕获的场景的点云数据集。该方法还可以包括：基于点云数据，识别至少一个局部光源，基于对应于第二光照条件的来自于至少一个局部光源的模拟光，修改点云数据集，以及基于修改的点云数据集，在第二光照条件下定位车辆。
本申请的实施例还提供了一种非暂时性计算机可读介质，其上存储有指令，当由一个或以上处理器执行时，使得一个或以上处理器执行操作。操作可以包括接收在第一光照条件下由至少一个传感器捕获的场景的点云数据集。所述操作还可包括：基于点云数据，识别至少一个局部光源，基于对应于第二光照条件的来自于至少一个局部光源的模拟光，修改点云数据集，以及基于修改的点云数据集，在第二光照条件下定位车辆。
应当理解，前面的一般性描述和下面的详细描述都只是示例性和说明性的，并不是对要求保护的本发明的限制。
附图说明
图1示出了根据本申请的实施例所示的配备有传感器的示例性车辆的示意图。
图2示出了根据本申请的实施例所示的用于定位车辆的示例性系统的框图。
图3示出了根据本申请的实施例所示的当车辆在具有各种类型的局部光源的道路上行驶时的示例的示意图。
图4A示出了根据本申请的实施例所示的在白天捕获的场景的示例性3-D重建。
图4B示出了根据本申请的实施例所示的在不良光照条件下的场景的模拟。
图5示出了根据本申请的实施例所示的在夜间对应于图4A中的重建场景的模拟场景的示例。
图6A示出了根据本申请的实施例所示的相机视图坐标系的示例性变换矩阵。
图6B示出了根据本申请的实施例所示的关于安装在车辆上的摄像机的示例性视锥体。
图7A示出了根据本申请的实施例所示的在不良光照条件下的示例性预截断相机视图坐标系。
图7B示出了根据本申请的实施例所示的在与图7B的相同的不良光照条件下由车载相机捕获的实际图像。
图8示出了根据本申请的实施例所示的用于在不良光照条件下定位车辆的示例性方法的流程图。
具体实施方式
现在将详细参考示例性实施例，其示例在附图中示出。只要有可能，在整个附图中将使用相同的附图标记来表示相同或相似的部分。
图1示出了根据本申请实施例所示的系统中具有至少两个传感器140、150和160的示例性车辆100的示意图。与一些实施例一致，车辆100可以是检测车辆，其配置为获取用于构建高清晰度地图或三维(3-D)城市建模的数据。可以预期车辆100可以是电动车辆、燃料电池车辆、混合动力车辆或传统的内燃机车辆。车辆100可具有车身110和至少一个车轮120。车身110可以是任何车身类型，例如玩具车、摩托车、运动车、轿跑车、敞篷车、轿车、皮卡车、旅行车、运动型多用途车(SUV)、小型货车、转换车、多功能车(MPV)或半挂车。在一些实施例中，车辆100可包括一对前轮和一对后轮，如图1所示。然而，可以预期车辆100可具有更少或更多的车轮或等效结构，使车辆100能够四处移动。车辆100可以被配置为全轮驱动(AWD)、前轮驱动(FWR)或后轮驱动(RWD)。在一些实施例中，车辆100可以被配置为由占用车辆的操作员操作、远程控制和/或自动驾驶。
如图1所示，车辆100可以配备有通过安装结构130安装到车身110的各种传感器140和160。安装结构130可以是安装或以其他方式附接到车辆100的车身110的机电装置。在一些实施例中，安装结构130可以使用螺钉、粘合剂或其他安装机制。在其他实施例中，传感器140和160可以安装在车辆100的车身110的表面上，或者嵌入车辆100内，只要能执行这些传感器的预期功能即可。
与一些实施例一致，当车辆100沿轨迹行进时，传感器140和160可用于捕获数据。例如，传感器140可以是配置为扫描周围并获取点云的激光雷达扫描仪。激光雷达通过用脉冲激光照射目标并用传感器测量反射脉冲来测量到目标的距离。然后可以使用激光返回时间和波长的差异来制作目标的数字3-D表示。用于激光雷达扫描的光可以是紫外线、可见光或近红外线。由于窄激光束可以以非常高的分辨率映射物理特征，因此激光雷达扫描仪特别适用于高清地图测量。在一些实施例中，激光雷达扫描仪可以捕获点云。当车辆100沿轨道行进时，传感器140可以连续地捕获数据。在特定时间戳处捕获的每组场景数据被称为数据帧。
如图1所示，车辆100可以另外配备有传感器150，传感器150可以是导航单元中使用的传感器，例如GPS接收器和一个或以上IMU传感器。传感器150可以嵌入车辆100的车身110的内部、安装在车辆100的车身110的表面上或安装在车辆100的车身110的外部，只要能执行传感器150的预期功能即可。GPS是一种全球导航卫星系统，其为GPS接收器提供地理定位和时间信息。IMU是一种电子设备，其使用各种惯性传感器(如加速度计和陀螺仪，有时还有磁力计)测量并提供车辆的特定力、角速率，有时还包括车辆周围的磁场。通过组合GPS接收器和IMU传感器，传感器150可以在车辆100行进时提供车辆100的实时姿势信息，包括车辆100在每个时间戳处的位置和方向(例如，欧拉角)。
与本申请一致，车辆100可另外配备有用于捕获数字图像的传感器160，例如一个或以上相机。在一些实施例中，传感器160可包括具有360度FOV的全景相机、具有小于360度的FOV的相机，或者捕获深度信息的双目相机。当车辆100沿着轨迹移动时，传感器160可以获取关于场景(例如，包括车辆100周围的对象)的数字图像。每个图像可以包括由像素表示的捕获场景中的对象的文本信息。每个像素点可以是与图像中的颜色信息和坐标相关联的数字图像的最小单个分量。例如，颜色信息可以由RGB颜色模型、CMYK颜色模型、YCbCr颜色模型、YUV颜色模型，或任何其他合适的颜色模型表示。每个像素点的坐标可以由图像中像素阵列的行和列表示。在一些实施例中，传感器160可包括安装在车辆100上的不同位置和/或不同角度的多个单目摄像机，因此具有变化的视图位置和/或角度。结果，图像可以包括前视图图像、侧视图图像、俯视图图像和底视图图像。
在图1中进一步示出，车辆100可以另外配备有其自己的光源，例如前照灯170和尾灯180。虽然这里未示出，但是其他类型的车辆光源可以包括侧灯、前雾灯、转弯灯、红外光源，或其他类型的辅助光源。车辆光源可以使用各种光照材料，如钨、钨卤、LED或激光。前照灯170包括附接到车辆100前部的一个或以上灯，并产生光束以照亮其前方的路径。现代车辆通常能够发射两种不同类型的光束，即近光和远光。近光提供足以用于前向和侧向光照的光，同时避免司机朝向车辆的眼睛眩光。远光提供强烈的中心加权光分布，因此照亮了道路的更远区域，但它并不特别控制眩光。尾灯180包括连接到车辆100背面的一个或以上灯。示例性尾灯180在黑暗中，或当车辆后退时发光，从而警告在车辆100后面行驶的司机其存在和移动。
与一些实施例一致，本申请可以可选地包括与车辆100通信连接的服务器190。在一些实施例中，服务器190可以是本地物理服务器、云服务器(如图1所示)、虚拟服务器、分布式服务器，或任何其他合适的计算设备。服务器190可以经由网络，从车辆100接收数据并将数据发送到车辆100，诸如无线局域网(WLAN)、广域网(WAN)、诸如无线电波的无线网络、全国蜂窝网络、卫星通信网络和/或本地无线网络(例如，蓝牙TM或WiFi)。
根据本申请，系统可以配置为在第一光照条件(例如，在白天期间)下捕获点云、通过模拟第二光照条件(例如，在夜间)来修改点云以及在第二光照条件下，使用修改的点云定位车辆100。图2示出了基于由传感器140、150和160捕获的各种数据来定位车辆100的示例性系统200的框图。所述数据可以包括由传感器140(例如，激光雷达扫描仪)捕获的点云201、由传感器150(例如，GPS接收器和/或一个或以上IMU传感器)获取的车辆100的轨迹信息203以及由传感器160(例如，一个或以上单目相机)捕获的至少两个图像205。
在一些实施例中，如图2所示，系统200可以包括通信接口202、处理器204和内存/存储器206。系统200的一个或以上组件可以位于车辆100内部，或者可以选择地在移动设备中、在云中或另一个远程位置。系统200的组件可以在集成设备中或者分布在不同位置，但是通过网络(未示出)彼此通信。通信接口202可以通过无线或有线网络向诸如传感器140、150和160的组件发送数据和从其接收数据。与一些实施例一致，通信接口202可以接收由传感器140、150和160捕获的数据，包括点云201、轨迹信息203和图像205，并将接收的数据提供给内存/存储器206用于存储或提供给处理器204以进行处理。通信接口202还可以接收由处理器204生成的修改的点云，并且通过网络将修改的点云提供给车辆100中的任何本地组件或任何远程设备。
内存/存储器206可以包括任何适当类型的大容量存储器，其提供用于存储处理器204可能需要操作的任何类型的信息。内存/存储器206可以是易失性或非易失性、磁性、半导体、磁带、光学、可移动、不可移动或其他类型的存储设备或有形(即非暂时性)计算机可读介质，包括但不限于ROM、闪存、动态RAM和静态RAM。内存/存储器206可以用于存储一个或以上计算机程序，其可以由处理器204执行以完成本文公开的各种功能。
处理器204可包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器204可以被配置为专用于执行一个或以上特定功能的单独处理器模块。或者，处理器204可以被配置作为共享处理器模块，用于执行与所述一个或以上特定功能无关的其他功能。如图2所示，处理器204可以包括多个模块，例如局部光源识别单元210、点云修改单元212、图像估计单元214、车辆定位单元216等。这些模块(以及任何相应的子模块或子单元)可以是处理器204的硬件单元(例如，集成电路的部分)，其被设计用于与其他组件一起使用或执行程序的一部分。尽管图2示出了在一个处理器204内的单元210、212、214和216，但是可以预期这些单元可以分布在彼此靠近或远离的多个处理器之间。
局部光源识别单元210用于基于点云201来识别局部光源，例如路灯、广告牌等。与本申请一致，在正常光照条件下(例如，在白天期间)捕获点云201。在一些实施例中，可以将3-D点云201转换为捕获的场景的体素图像。使用体素图像，可以分割和识别光源。当车辆100沿着轨迹行进，同时利用传感器140和160获取信息时，可以检测局部光源。局部光源与自然光的不同之处在于，它们是人造光照设备，除了自然光之外还提供光照并且通常固定在预定位置。下面将参考图3说明更详细的例子。
图3示出了当车辆100在具有各种类型的局部光源的道路上行驶时的示意图。局部光源的示例包括路灯301、广告牌302和来自路边建筑物303的灯。如前所述，车辆100配备有传感器140和160，以捕获用于生成彩色点云和场景图像的数据。除此之外，如图2所示，还可以通过通信接口202将捕获的数据选择性地提供给局部光源识别单元210。在一些其他实施例中，可以不需要通信接口202，并且可以将捕获的数据直接提供给单元210。局部光源识别单元210可以执行一个或以上计算机程序，以使系统能够自动识别由传感器捕获的彩色点云形式的成像数据中的各种对象。所述对象的类型包括但不限于建筑物、树木、灌木丛、交通灯和标志、道路标记和局部光源。这些对象可以是存储在内存/存储器206中的预先指定的对象或对象类或者是系统内的其他存储设备。在重复训练时也可以学习对象或对象类。现有的对象识别技术，例如边缘匹配、梯度匹配、解释树等，可以应用于本申请。或者，车辆100的操作者或线下分析员可以在车辆100捕获的图像中手动选择局部光源。
点云修改单元212被配置为使用来自所识别的局部光源的模拟光来修改点云201。与本申请一致，点云修改单元212模拟具有有限光照的环境中的不良光照条件，例如在夜间。与日光不同，日光照亮整个环境，其亮度足以使传感器沿着车辆100正在行进的轨迹识别各种特征。然而，在夜间，环境通常是暗的，有限的光源仅照亮其一部分。在一些实施例中，点云修改单元212模拟来自所识别的光源的投射光并计算场景中的阴影和半阴影区域。下面将参考图4A和4B说明更详细的例子。
图4A示出了在白天捕获的场景的示例性3-D重建。在场景中仅重构了一种类型的局部光源，街灯401，并且为了说明的目的在图4A中示出，但是它可以与其他类型的局部光源互换地替换。从点云201的体素图像获取重建的场景，该过程可以由处理器204或系统内的其他合适的组件执行。随后，在点云修改单元中模拟不良光照场景，如图4B所示。例如，点云修改单元212可以将所识别的局部光源的位置用作相机位置，将光方向用作相机朝向，并将光准直用作相机视场。基于这样的相机设置，点云修改单元212可以呈现线性深度图。例如，线性深度图可以是RG双通道图像，深度信息(d)存储在其R通道中，深度平方(d*d)存储在其G通道中。在一些实施例中，线性深度图可以是32位浮点数据格式。
返回图2，在一些实施例中，点云修改单元212还基于线性深度图来计算阴影区域和半阴影区域，以便获取近似于现实中的光条件下的车辆轨迹的暗场景并且用于增强夜间定位自主驾驶系统，图4B中示出了说明性区域503。例如，可以仅使用环境光分量来计算阴影区域，而可以使用环境光分量和漫反射光分量来计算半阴影区域。深度图可以与普通高斯模糊核进行第一次卷积。例如，在1024*1024分辨率深度图中，可以使用10像素点内核。当然，可以使用其他内核大小来获取可用于平滑渲染图像的不同卷积矩阵。在一些实施例中，点云修改单元212然后可以使用适当的方法，例如组合了方差阴影图(VSM)和指数阴影图(ESM)算法的混合方法，来计算场景中的阴影区域和半阴影区域。
在一些实施例中，点云修改单元212可对体素图像执行光遮蔽以获取经修改的点云数据。在一些实施例中，延迟光投影渲染和朗伯(Lambert)光投影模型可用于遮蔽。延迟光投影渲染具有顺序遮蔽实际受每个局部光影响的像素的优点。这允许在模拟场景中渲染至少两个局部光而不会显著损害性能。Lambert光投影模型通常用于计算具有各向同性漫反射的表面的照明，并且其在逼近漫反射光分量的阴影区域的简单性和可行性上显示出优异性，例如此处的情况。在一些实施例中，点云修改单元212可仅计算阴影区域的环境光分量，但计算半阴影区域的环境光分量和散射光分量。然后可以将阴影体素图像转换回点云数据。因此阴影点云数据是在光线不足的条件下对点云数据的估计。修改的点云数据可以存储在内存/存储器206或系统内的其他存储设备中。
返回图2，图像估计单元214被配置为使用由点云修改单元212修改的点云数据来生成预估图像。图像估计单元214可以基于车辆100的前一个位置来估计车辆100的当前姿势信息，其信息可以经由通信接口202，从传感器150接收。基于估计的姿势信息，可以识别修改的点云数据的相关部分，并且从修改的点云数据的该部分生成模拟图像。在该特定实施例中，所生成的图像模拟在夜间近似场景的图像，其具有比从白天捕获的数据重建的相同场景更差的光照条件。该图像可以随后用于优化夜间行驶的车辆100的定位。
图5示出了在夜间对应于图4A中的重建场景的模拟场景的一个示例。图4A和图5之间的主要区别是局部光源(例如街灯401)的引入和自然光的去除。尽管图5是夜间场景的模拟，但本申请并未将应用限制于仅夜景，其他具有不良光照条件的场景(例如，在隧道中行驶或在暴风雨和无阳光的天气下)可以在不脱离本申请范围的情况下，类似地模拟。
下面将详细讨论三维夜景模拟的一个实施例。为了在夜间在车辆100行进的同一道路上更好地模仿光照，优选的是模拟场景，其中沿着图4A中的行进轨迹检测到的所有局部光源被认为与他们在现实世界中一样，从而在光线不足的条件下创造一个高度真实的环境，用于之后的处理和位置计算。为了实现这一点，识别至少两个局部光源的位置、高度和类型成为一项重要任务，因为这些参数将严重影响模拟场景的结果。
可以根据从成像传感器或能够感知其周围环境的3D图像的检测器收集的深度信息来计算位置和高度，例如双目相机或激光雷达扫描仪。图像像素点的深度被定义为图像像素点和相机之间的距离。根据当前本申请的系统具有提取局部光源的深度信息的能力，然后对提取的深度信息进行映射和变换，以获取在摄像机坐标系中表示这种局部光源的像素的3-D坐标。通过使用对象检测技术可以实现对现实世界的进一步近似。通过将检测到的对象与存储在其数据库中的预先指定的或学习的对象进行比较，系统自动确定每个局部光源(例如，图4A中的街灯301)的类型及其各种参数。一旦确定了局部光源的类型，其光照、强度、准直、光束角度(即从光源发出的光的宽度的角度)、光的方向、颜色和其他参数可以通过产品规格、其中使用的材料/组件以及光源的其他知识来获取。例如，广告牌中使用的典型SMD LED的光束角为120°。在知道这些参数和每个局部光源的位置后，可以优化对暗场景的模拟。
应当注意到图2至图5描述的日光场景的重建和夜景的模拟可以在线处理(通过网络与车辆100外部的设备通信，例如服务器190)或线下处理(在车辆100内)，或者可以是线上或线下的单独重建或单独模拟的结合，或在线和线下两者处理的组合。
基于修改的点云数据，图2中的车辆定位单元216被配置为更好地定位在不良光照条件下行驶的车辆100。例如，可以将图像估计单元214从修改的点云数据生成的预估图像与由车辆定位单元216中的传感器160实际捕获的图像进行比较。这允许车辆在不良光照条件下准确地知道其位置，从而提高其行驶安全性。
根据本申请，系统可以确定车辆在任何时间戳的空间定位。该系统可以包括同步系统以同步传感器140、150和160，使得由传感器140捕获的点云、由传感器150捕获的姿势信息以及由传感器160捕获的图像帧都在相同的时间戳处被捕获。在一些实施例中，同步图像帧、点云和相关联的姿势信息可以共同用于定位车辆100。在一些其他实施例中，图像帧和点云中的一个可以与相关联的姿势信息结合使用以定位车辆100。与本申请一致，由GPS/IMU传感器提供的每秒脉冲(PPS)信号可用于同步传感器140、150和160获取的信息。
一旦估计了车辆100在特定时间戳处的姿势信息，并且预先确定了传感器140和160相对于其所安装的车辆100的姿势信息。传感器140和160的姿势信息也可以从单个统一的三维坐标系中的那两条信息中估计，所述三维坐标系其可以优选地设置为全局坐标系。如上所述，传感器140可以是用于获取点云的激光雷达，并且传感器160可以是用于捕获图像的相机。以下描述使用相机作为示例，但是相同的处理也适用于与本文公开的系统兼容的任何其他成像装置或扫描仪。
根据本申请，系统还通过通信接口202接收车辆100的前一个位置，并基于前一个位置来估计车辆100的当前姿势信息。在一些实施例中，系统在模拟黑暗场景的帮助下处理车载相机的姿势信息，以在不良光照条件下近似车辆100的准确位置，此时车辆100沿相同轨迹行驶时捕获的数据已经被预先转换成数字化的点云。
与本申请一致，在系统获取任何预先存储的点云以用于后续处理之前，车辆100需要识别其行进的轨迹，并确定轨迹是否匹配存储设备中存储的任何数据集(优选地作为点云)。有多种方法可以实现这一目标。例如，车辆100的操作人员可以具有车辆行驶的道路位置的个人认知，并因此指示系统从存储设备获取与道路相关联的点云。或者，该系统可具有人工智能(AI)能力，以自动识别由其配备的组件收集的图像、地理、位置、空间和/或其他类型信息的道路。然后，系统将道路信息与来自存储设备的数据集进行比较，对于任何匹配的结果，系统自动从存储设备中取出与道路相关的点云。点云包含阴影区域信息，可用于在光线不足的条件下模拟相同的场景。
根据本申请，系统进一步将笛卡尔空间(对象)中的取出点云变换为投影空间(截取的摄像机视图)中的截断的点云集，其随后可用于近似车载摄像机的最佳姿势信息。
在一些实施例中，点云的3-D坐标系中的给定点的位置可以由Pp{x，y，z，1}表示。前三个参数——x，y和z——表示点云模型坐标系(这是笛卡尔坐标系)中相对于正交x轴、y轴和z轴的点的位置。最后一个参数，对于笛卡尔坐标系(例如对象坐标系)恒设置为1，但是当坐标系变换为齐次坐标系(例如，摄像机视图坐标系)时将变为变量。
为了将与点云相关联的对象坐标系中的任何给定点的坐标转换为全局坐标系中的相同点的坐标，可以应用模型变换矩阵M0。从笛卡尔坐标系到基于摄像机视图的投影坐标系的后续变换是有必要的，该坐标系也采用全局坐标进行定位。
与上述实施例一致，假设摄像机的前向Vf表示摄像机视图坐标系(投影空间)的z轴、上方向Vu表示y轴、左方向V1表示x轴，图6A中示出了摄像机视图坐标系M1的示例性变换矩阵。矩阵左边三列的三个元素集——(m0，m1，m2)、(m4，m5，m6)和(m8，m9，m10)——用于笛卡尔和仿射变换，例如旋转或缩放。最右边的元素集——(m12，m13，m14)——用于平移变换。在该摄像机视图坐标系中，附加变量m3、m7、m11和m15分别设置为0、0、0和1。矩阵M1用于将全局坐标系中任何给定点的坐标转换为摄像机视图坐标系中相同点的坐标。
与本申请一致并且为了进一步近似由车辆上的摄像机捕获的实际图像，称为“视锥体剔除”或“限幅”的变换技术可以应用于摄像机视图坐标，使得3D摄像机图像可以投射到二维表面。视锥体剔除使用从相机视图坐标(类似于三维坐标系中的锥体)剪掉所有顶点数据的功能，使得落在剪后坐标(也称为“视锥体”)之外的点将没有投影，因此从二维图像中看不到。图6B示出了安装在车辆100上的摄像机的示例性视锥体(锥体的暗区域)600。平顶的锥体的投影矩阵M2建立在六个参数——左、右、顶、底、近和远边界处理值上，反过来这些参数又由摄像机的参数定义，例如其视场(FOV)角、其图像的纵横比等。对于剪后相机视图坐标中的变量，可以将其设置为除1之外的数字，以反映该点现在处于齐次坐标系中的事实。
在上述逐步变换之后，可以从下面的函数计算视锥体中相同点的坐标Pc{x'，y'，z'，w'}：
Pc＝PP·M0·M1·M2 公式3
如果Pc中所有三个轴(x轴、y轴和z轴)上的绝对值小于1，则该点保持在视锥体内的点云中；否则，该点被丢弃。所得到的点云构成投影到2-D图像的获取点云的子集，因此模拟由车载相机捕获的图像以及在不良光照条件下的估计姿势信息。
图7A示出了模拟黑暗场景中的示例性预截断相机视图坐标系。锥体的顶点(大多数线相交的点)是相机在给定时间戳处的估计位置。在涉及视锥体剔除的变换之后，可以获取好像是由相机在该顶点拍摄的模拟2-D图像。每个图像表示来自摄像机的估计位置的视图，好像该摄像机正从该位置捕获图像。如图7B所示，将这些模拟图像的一个或以上与在黑暗光照条件下由车载相机捕获的实际图像的一个或以上进行比较。当将最小化模拟图像和实际图像之间的相似性作为优化的车载相机的姿势信息时，可以基于全局空间中的相机的姿势信息和相机相对于车辆100的预定姿势信息来精确地定位在不良光照条件下行进的车辆100。
与本申请一致，使用用于最小化模拟图像(对象x)和实际图像(对象y)之间的相似性的示例性技术计算两者之间的归一化压缩距离(NCD)。由于两个图像可以由相同的预定编程语言产生输出，因此这种语言可以包括从y计算x的最短程序。以Kolmogorov复杂度表示的这种最短程序的长度被定义为两个图像之间的信息距离。在应用实际压缩器之后，对象x和y之间的NCD可以用以下等式表示：
Figure BDA0001925453860000191
Z(x)是具有压缩器Z的对象x的长度。可以比较不同模拟图像中的NCD的结果，以识别具有与由车载相机捕获的实际图像最接近的相似性的模拟图像。在一些更多实施例中，每个相机构造可以构造联合分布
Figure BDA0001925453860000192
并且总距离(穿过所有相机的距离的总和)可以作为优化的代价函数。*
例如，公式5可以是这样的代价函数:
Figure BDA0001925453860000193
其中Ic是摄像机捕获的实际图像，Is是模拟图像，GR,W是姿势信息。
图8示出了用于在不良光照条件下定位车辆的示例性方法800的流程图。在一些实施例中，方法800可以由系统200实现，系统200尤其包括局部光源识别单元210、点云修改单元212和车辆定位单元216。例如，方法800的步骤S803可以由局部光源识别单元210执行，步骤S804和S805可以由点云修改单元212执行，并且步骤S806可以由车辆定位单元216执行。应当理解，一些步骤可以是可选的，以执行本文提供的本申请，并且一些步骤可以插入方法800的流程图中，其与根据本申请的其他实施例一致。此外，一些步骤可以同时执行，或者以与图8中所示的顺序不同的顺序执行。
在步骤S801中，可以通过自动驾驶车辆的车载传感器捕获各种类型的数据。例如，点云数据201可以由传感器140(例如激光雷达扫描仪)获取；轨迹信息203可以由传感器150(例如GPS接收器、IMU传感器或两者)获取；数字图像205可以由传感器160(例如在相机中使用的成像传感器)捕获。
在步骤S802，传感器140获取的点云数据集可以由通信接口202接收，用于存储和后续处理。点云数据集与自动驾驶车辆正在行进的轨迹场景相关联。根据本申请的方法800，可以使用捕获的点云数据来重建和渲染场景。
在步骤S803，可以基于所述点云数据集识别场景中的局部光源。在一些实施例中，局部光源可以由操作员手动识别。在其他实施例中，可以使用对象识别技术等自动从点云数据中提取局部光源。这些局部光源可用于模拟具有不良光照条件的场景，例如夜景。
在步骤S804，为了获取不良光照条件下的模拟场景，方法800还可以包括模拟光，好像它是从识别的局部光源发射的。所述模拟可以考虑所识别的局部光源的各种参数，例如其光照、强度、准直、光束角度、光线方向、颜色等。
在步骤S805，模拟光可以应用于由传感器140获取的点云数据集201，从而可以修改点云数据集201并且可以生成模拟的暗场景。在一些实施例中，修改可以进一步包括通过在点云数据集上从所识别的局部光源投射模拟光来确定深度图，并且基于所述深度图确定至少一个阴影区域和至少一个半阴影区域。可以仅使用环境光分量来计算阴影区域，而可以使用环境光分量和漫反射光分量来计算半阴影区域。通过应用从至少一个阴影区域和至少一个半阴影区域计算的光照，可以对点云数据集进行阴影处理，以便可以生成暗场景。产生的暗场景近似于车辆100在夜间行进的相同轨迹的实际环境。
在步骤S806中，基于修改的点云数据集，可以在不良光照条件下更准确地定位车辆100。在一些其他实施例中，车辆100的位置可以进一步考虑姿势信息。可以基于车辆100的前一个位置来估计车辆100的当前姿势信息，其可以通过通信接口202从传感器150接收。基于估计的当前姿势信息，可以识别修改的点云数据的相关部分。在一些实施例中，图像估计单元214可以被配置为基于修改的点云数据的该部分生成预估图像。可以将预估图像与车辆100行驶的不良光照条件下的相同场景的实际图像进行比较。实际图像可以由成像传感器捕获，例如在相机中发现的成像传感器。该比较还可以包括计算预估图像和捕获图像之间的信息距离，使得比较结果可以指示与实际图像具有最接近相似性的模拟图像，从而辅助车辆100的准确定位。
本申请的另一方面涉及一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使得一个或以上处理器执行如上所述的方法。所述计算机可读介质包括易失性或非易失性、磁性、半导体、磁带、光学、可移动、不可移动或其他类型的计算机可读介质或计算机可读存储设备。例如，如本申请的计算机可读介质可以是存储设备或其上存储有计算机指令的存储模块。在一些实施例中，计算机可读介质可以是磁盘、闪存驱动器或其上存储有计算机指令的固态驱动器。
显而易见，本领域普通技术人员可以对本申请的系统和相关方法进行各种修改和变化。考虑到本申请的系统和相关方法的说明书和实际应用，其他实施例对于本领域普通技术人员是显而易见的。
本申请中的说明书和示例的目的仅被认为是示例性的，真正的范围由以下权利要求及其等同物限定。

Claims (20)

1.一种用于定位车辆的系统，包括：
通信接口，被配置为接收在第一光照条件下由至少一个传感器捕获的场景的点云数据集；
存储器，被配置为存储所述点云数据集；以及
处理器，被配置为：
基于所述点云数据集，识别至少一个局部光源；
基于对应于第二光照条件的来自所述至少一个局部光源的模拟光，修改所述点云数据集；以及
基于所述修改的点云数据集，在所述第二光照条件下定位所述车辆。
2.根据权利要求1所述的系统，其特征在于，所述通信接口被配置为接收在所述第二光照条件下由成像传感器捕获的所述场景的图像，其中，所述处理器被进一步配置为：
基于所述修改的点云数据集，生成预估图像；以及
通过比较所述预估图像与所述捕获图像，在所述第二光照条件下定位所述车辆。
3.根据权利要求2所述的系统，其特征在于，所述通信接口被进一步配置为接收所述车辆的前一个位置，并且其中所述处理器被进一步配置为基于所述车辆的所述前一个位置，估计所述车辆的当前姿势信息。
4.根据权利要求2所述的系统，其特征在于，所述处理器被进一步配置为在所述修改的点云数据集中，定位对应于所述车辆的所述当前姿势信息的点云数据。
5.根据权利要求2所述的系统，其特征在于，为生成所述预估图像，所述处理器被进一步配置为模拟所述所识别的局部光源的光照，如同其所述第二光照条件下进行照明。
6.根据权利要求2所述的系统，其特征在于，比较所述预估图像和所述捕获图像包括计算所述预估图像与所述捕获图像之间的信息距离。
7.根据权利要求1所述的系统，其特征在于，所述第二光照条件比所述第一光照条件包括少的照明。
8.根据权利要求1所述的系统，其特征在于，为修改所述点云数据集，所述处理器被进一步配置为：
通过将来自于所述识别的局部光源的模拟光投射到所述点云数据集来确定深度图；以及
基于所述深度图，确定至少一个阴影区域和至少一个半阴影区域。
9.根据权利要求8所述的系统，其特征在于，为修改所述点云数据集，所述处理器被进一步配置为使用基于所述至少一个阴影区域和至少一个半阴影区域计算的光照遮蔽所述点云数据集。
10.一种用于定位车辆的方法，包括：
接收在第一光照条件下由至少一个传感器捕获的场景的点云数据集；
基于所述点云数据集，识别至少一个局部光源；
基于对应于第二光照条件的来自至少一个局部光源的模拟光，修改所述点云数据集；以及
基于所述修改的点云数据集，在所述第二光照条件下定位所述车辆。
11.根据权利要求10所述的方法，其特征在于，所述方法进一步包括：
接收在所述第二光照条件下由成像传感器捕获的所述场景的图像；
基于所述修改的点云数据集，生成预估图像；以及
通过比较所述预估图像与所述捕获图像，在所述第二光照条件下定位所述车辆。
12.根据权利要求11所述的方法，其特征在于，所述方法进一步包括：
接收所述车辆的前一个位置；以及
基于所述车辆的所述前一个位置，估算所述车辆的当前姿势信息。
13.根据权利要求11所述的方法，其特征在于，比较所述预估图像与所述捕获图像包括计算所述预估图像与所述捕获图像之间的信息距离。
14.根据权利要求10所述的方法，其特征在于，修改所述点云数据集，还包括：
通过将来自于所述识别的局部光源的模拟光投射到所述点云数据集来确定深度图；以及
基于所述深度图，确定至少一个阴影区域和至少一个半阴影区域。
15.根据权利要求14所述的方法，其特征在于，修改所述设置的点云数据，还包括：使用基于所述至少一个阴影区域和至少一个半阴影区域计算的光照遮蔽所述点云数据集。
16.一种非暂时性计算机可读介质，其上存储有指令，当由一个或以上处理器执行时，使得所述一个或以上处理器执行用于定位车辆的方法，所述方法包括：
接收在第一光照条件下由至少一个传感器捕获的场景的点云数据集；
基于所述点云数据集，识别至少一个局部光源；
基于对应于第二光照条件下的来自所述至少一个局部光源的模拟光，修改所述点云数据集；以及
基于所述修改的点云数据集，在所述第二光照条件下定位所述车辆。
17.根据权利要求16所述的计算机可读介质，其特征在于，所述方法还包括：
接收在所述第二光照条件下由相机拍摄的所述场景的图像；
基于所述修改的点云数据集，生成预估图像；以及
通过比较所述预估图像与所述捕获图像，在所述第二光照条件下定位所述车辆。
18.根据权利要求17所述的计算机可读介质，其特征在于，所述方法还包括：
接收所述车辆的前一个位置；以及
基于所述车辆的所述前一个位置，估算所述车辆的当前姿势信息。
19.根据权利要求17所述的计算机可读介质，其特征在于，将所述预估图像与所述捕获图像进行比较，包括计算所述预估图像与所述捕获图像之间的信息距离。
20.根据权利要求16所述的计算机可读介质，其特征在于，修改所述点云数据集还包括：
通过将来自所述识别的局部光源的所述模拟光投射到所述点云数据集来确定深度图；以及
基于所述深度图，确定至少一个阴影区域和至少一个半阴影区域。
CN201880002638.5A 2018-11-16 2018-11-16 不良光照条件下用于定位车辆的系统和方法 Active CN111448591B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/115886 WO2020097912A1 (en) 2018-11-16 2018-11-16 Systems and methods for positioning vehicles under poor lighting conditions

Publications (2)

Publication Number Publication Date
CN111448591A true CN111448591A (zh) 2020-07-24
CN111448591B CN111448591B (zh) 2021-05-18

Family

ID=70727808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880002638.5A Active CN111448591B (zh) 2018-11-16 2018-11-16 不良光照条件下用于定位车辆的系统和方法

Country Status (9)

Country Link
US (2) US11048264B2 (zh)
EP (1) EP3746989A4 (zh)
JP (1) JP2021508027A (zh)
CN (1) CN111448591B (zh)
AU (1) AU2018282304B2 (zh)
CA (1) CA3028223C (zh)
SG (1) SG11201811415SA (zh)
TW (1) TWI703064B (zh)
WO (1) WO2020097912A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024036607A1 (zh) * 2022-08-19 2024-02-22 华为技术有限公司 定位方法、装置以及智能驾驶设备

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10873786B2 (en) 2016-06-12 2020-12-22 Apple Inc. Recording and broadcasting application visual output
CN109287140B (zh) 2017-05-16 2020-07-28 苹果公司 计算机实现的方法、计算机可读存储介质和电子设备
KR102334641B1 (ko) * 2019-01-30 2021-12-03 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 자율 주행 차량을 위한 맵 파티셔닝 시스템
US11199415B2 (en) * 2019-03-26 2021-12-14 Lyft, Inc. Systems and methods for estimating vehicle position based on contextual sensor information
WO2020226785A1 (en) 2019-05-06 2020-11-12 Apple Inc. Avatar integration with multiple applications
US11380003B2 (en) * 2019-06-25 2022-07-05 Black Sesame Technologies Inc. Monocular camera localization in large scale indoor sparse LiDAR point cloud
FR3098332B1 (fr) * 2019-07-05 2022-01-07 Fond B Com Procédé et dispositif de détermination de l’amplitude d’un mouvement effectué par un membre d’un corps articulé
US10914588B1 (en) * 2019-12-06 2021-02-09 Toyota Research Institute, Inc. Pulse per second signal generation using a fiber optic gyroscope
CN111915517B (zh) * 2020-07-23 2024-01-26 同济大学 适用于室内光照不利环境下rgb-d相机全局定位方法
WO2022165147A1 (en) 2021-01-31 2022-08-04 Apple Inc. User interfaces for wide angle video conference
US11715257B2 (en) 2021-05-14 2023-08-01 Zoox, Inc. Simulation view generation based on simulated sensor operations
US11430177B1 (en) * 2021-05-14 2022-08-30 Zoox, Inc. Mapping simulated sensors to simulated environment views
US11544896B2 (en) 2021-05-14 2023-01-03 Zoox, Inc. Spatial and temporal upsampling techniques for simulated sensor data
US11741661B2 (en) 2021-05-14 2023-08-29 Zoox, Inc. Sensor simulation with unified multi-sensor views
CN113511115A (zh) * 2021-05-28 2021-10-19 南昌智能新能源汽车研究院 一种基于双目视觉的汽车座椅姿态智能控制方法
CN113071498B (zh) * 2021-06-07 2021-09-21 新石器慧通（北京）科技有限公司 车辆控制方法、装置、系统、计算机设备及存储介质
US20230058929A1 (en) 2021-08-13 2023-02-23 Apple Inc. Digital assistant interaction in a communication session
WO2023034497A2 (en) 2021-09-03 2023-03-09 Apple Inc. Gaze based dictation
WO2023044050A1 (en) 2021-09-17 2023-03-23 Apple Inc. Digital assistant for providing visualization of snippet information
WO2023044044A1 (en) 2021-09-20 2023-03-23 Apple Inc. Requests to add assets to an asset account
WO2023064580A1 (en) 2021-10-14 2023-04-20 Apple Inc. Camera user interface with recording space management
WO2023114021A1 (en) 2021-12-17 2023-06-22 Apple Inc. Generating emojis from user utterances
FR3133095B1 (fr) * 2022-02-25 2024-02-23 Psa Automobiles Sa Procédé de calcul de surfaces tridimensionnelles pour véhicule équipé d’un système d’aide à la conduite
CN114475665A (zh) * 2022-03-17 2022-05-13 北京小马睿行科技有限公司 自动驾驶车辆的控制方法、控制装置及自动驾驶系统
CN114343689B (zh) * 2022-03-17 2022-05-27 晓智未来(成都)科技有限公司 基于摄影测量的限束器开口面积测量方法及应用
WO2023196350A1 (en) 2022-04-05 2023-10-12 Apple Inc. User interfaces for initiating transactions
US20230376266A1 (en) 2022-05-17 2023-11-23 Apple Inc. User interfaces for detecting objects
WO2023235010A1 (en) 2022-06-03 2023-12-07 Apple Inc. Application vocabulary integration with a digital assistant
WO2023235350A1 (en) 2022-06-04 2023-12-07 Apple Inc. User interfaces for account management

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617647A (zh) * 2013-11-28 2014-03-05 中国人民解放军国防科学技术大学 一种用于夜视的车辆周围环境三维重构方法
CN104268933A (zh) * 2014-09-11 2015-01-07 大连理工大学 一种车载二维激光运动中三维环境扫描成像方法
CN105374065A (zh) * 2014-08-08 2016-03-02 想象技术有限公司 用于在渲染图像中使用的可重新照明纹理
CN106296693A (zh) * 2016-08-12 2017-01-04 浙江工业大学 基于3d点云fpfh特征实时三维空间定位方法
US20180088234A1 (en) * 2016-09-27 2018-03-29 Carnegie Mellon University Robust Localization and Localizability Prediction Using a Rotating Laser Scanner
CN207396738U (zh) * 2017-12-22 2018-05-22 西安飞芯电子科技有限公司 一种智能型车载雷达系统
CN108475062A (zh) * 2016-02-05 2018-08-31 三星电子株式会社 车辆和基于地图识别车辆的位置的方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101329773B (zh) * 2007-12-06 2010-09-15 上海大学 光刻机抗蚀剂成像仿真三维交互显示方法
US20090287450A1 (en) * 2008-05-16 2009-11-19 Lockheed Martin Corporation Vision system for scan planning of ultrasonic inspection
JP5500388B2 (ja) * 2011-02-16 2014-05-21 アイシン・エィ・ダブリュ株式会社 撮影位置特定システム、撮影位置特定プログラム、及び撮影位置特定方法
US10247854B2 (en) * 2013-05-07 2019-04-02 Waymo Llc Methods and systems for detecting weather conditions using vehicle onboard sensors
JP6469697B2 (ja) * 2013-09-10 2019-02-13 フィリップス ライティング ホールディング ビー ヴィ 符号化光の光源の自動コミッショニングのための方法及び装置
US10282591B2 (en) 2015-08-24 2019-05-07 Qualcomm Incorporated Systems and methods for depth map sampling
EP4180893A1 (en) * 2015-11-04 2023-05-17 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
US10341633B2 (en) * 2015-11-20 2019-07-02 Qualcomm Incorporated Systems and methods for correcting erroneous depth information
US9996933B2 (en) * 2015-12-22 2018-06-12 Qualcomm Incorporated Methods and apparatus for outlier detection and correction of structured light depth maps
US10678262B2 (en) 2016-07-01 2020-06-09 Uatc, Llc Autonomous vehicle localization using image analysis and manipulation
US10127461B2 (en) * 2016-08-12 2018-11-13 Here Global B.V. Visual odometry for low illumination conditions using fixed light sources
CN111796255A (zh) 2016-09-20 2020-10-20 创新科技有限公司 激光雷达系统和使用其检测物体的方法及车辆
US10254762B2 (en) * 2017-03-29 2019-04-09 Luminar Technologies, Inc. Compensating for the vibration of the vehicle
US11455565B2 (en) * 2017-08-31 2022-09-27 Ford Global Technologies, Llc Augmenting real sensor recordings with simulated sensor data
US10740914B2 (en) * 2018-04-10 2020-08-11 Pony Ai Inc. Enhanced three-dimensional training data generation
US11600006B2 (en) * 2018-10-26 2023-03-07 Here Global B.V. Deep neural network architecture for image segmentation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617647A (zh) * 2013-11-28 2014-03-05 中国人民解放军国防科学技术大学 一种用于夜视的车辆周围环境三维重构方法
CN105374065A (zh) * 2014-08-08 2016-03-02 想象技术有限公司 用于在渲染图像中使用的可重新照明纹理
CN104268933A (zh) * 2014-09-11 2015-01-07 大连理工大学 一种车载二维激光运动中三维环境扫描成像方法
CN108475062A (zh) * 2016-02-05 2018-08-31 三星电子株式会社 车辆和基于地图识别车辆的位置的方法
CN106296693A (zh) * 2016-08-12 2017-01-04 浙江工业大学 基于3d点云fpfh特征实时三维空间定位方法
US20180088234A1 (en) * 2016-09-27 2018-03-29 Carnegie Mellon University Robust Localization and Localizability Prediction Using a Rotating Laser Scanner
CN207396738U (zh) * 2017-12-22 2018-05-22 西安飞芯电子科技有限公司 一种智能型车载雷达系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024036607A1 (zh) * 2022-08-19 2024-02-22 华为技术有限公司 定位方法、装置以及智能驾驶设备

Also Published As

Publication number Publication date
AU2018282304B2 (en) 2020-08-13
EP3746989A4 (en) 2021-03-17
SG11201811415SA (en) 2020-06-29
JP2021508027A (ja) 2021-02-25
CN111448591B (zh) 2021-05-18
EP3746989A1 (en) 2020-12-09
US20200159239A1 (en) 2020-05-21
US11048264B2 (en) 2021-06-29
US20210157329A1 (en) 2021-05-27
WO2020097912A1 (en) 2020-05-22
TW202019745A (zh) 2020-06-01
CA3028223A1 (en) 2020-05-16
CA3028223C (en) 2021-02-16
US11676254B2 (en) 2023-06-13
TWI703064B (zh) 2020-09-01
AU2018282304A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
CN111448591B (zh) 不良光照条件下用于定位车辆的系统和方法
CA3028653C (en) Methods and systems for color point cloud generation
US10430968B2 (en) Vehicle localization using cameras
US11035958B2 (en) Systems and methods for correcting a high-definition map based on detection of obstructing objects
JP2020525809A (ja) 両眼画像に基づき高解像度地図を更新するためのシステムおよび方法
WO2020000137A1 (en) Integrated sensor calibration in natural scenes
Li et al. Easy calibration of a blind-spot-free fisheye camera system using a scene of a parking space
US20150138310A1 (en) Automatic scene parsing
US10872246B2 (en) Vehicle lane detection system
CN112639846A (zh) 一种训练深度学习模型的方法和装置
CN111833443A (zh) 自主机器应用中的地标位置重建
CN112580489A (zh) 交通灯检测方法、装置、电子设备及存储介质
WO2021062587A1 (en) Systems and methods for automatic labeling of objects in 3d point clouds
Brehar et al. Pedestrian detection in the context of multiple-sensor data alignment for far-infrared and stereo vision sensors
CN113196341A (zh) 用于对道路的表面上的对象进行检测和建模的方法
Paracchini et al. Accurate omnidirectional multi-camera embedded structure from motion
EP3591624A1 (en) Augmented vision in image sequence generated from a moving vehicle
CN117036403A (zh) 图像处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant