CN112665556B - 使用被动和主动测量生成场景的三维地图 - Google Patents

使用被动和主动测量生成场景的三维地图 Download PDF

Info

Publication number
CN112665556B
CN112665556B CN202011284223.7A CN202011284223A CN112665556B CN 112665556 B CN112665556 B CN 112665556B CN 202011284223 A CN202011284223 A CN 202011284223A CN 112665556 B CN112665556 B CN 112665556B
Authority
CN
China
Prior art keywords
objects
distance
image
map
measurements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011284223.7A
Other languages
English (en)
Other versions
CN112665556A (zh
Inventor
Y·内马迪
S·乌尔
R·科亨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vayavision Sensing Ltd
Original Assignee
Vayavision Sensing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vayavision Sensing Ltd filed Critical Vayavision Sensing Ltd
Priority to CN202011284223.7A priority Critical patent/CN112665556B/zh
Publication of CN112665556A publication Critical patent/CN112665556A/zh
Application granted granted Critical
Publication of CN112665556B publication Critical patent/CN112665556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/03—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • G06K7/10198—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves setting parameters for the interrogator, e.g. programming parameters and operating modes
    • G06K7/10217—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves setting parameters for the interrogator, e.g. programming parameters and operating modes parameter settings controlling the transmission power of the interrogator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10554—Moving beam scanning
    • G06K7/10564—Light sources
    • G06K7/10584—Source control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/01—Mobile robot

Abstract

提出一种获取三维(3D)地图的方法和设备。该方法包括：分析由无源传感器获取的至少一幅图像，以识别在至少一幅图像中的多个对象；对多个对象进行分类；基于分类，确定是否被动测量到多个对象中的每一个的距离；基于确定，被动测量到多个对象中的至少一个的距离；主动测量到多个对象中的一些对象的距离，其中，当到对象中的一些对象的一个对象的距离不能被动测量时，主动测量到该对象的距离；以及基于测量到多个对象中的每一个的距离，生成场景的3D地图。

Description

使用被动和主动测量生成场景的三维地图
本申请是申请号为201680030809.6的中国专利申请“使用被动和主动测量生成场景的三维地图”(申请日为2016年3月31日)的分案申请。
相关申请的交叉引用
本申请要求2015年4月1日提交的62/141,296号美国临时申请的优先权，和2015年5月13日提交的62/160,988号美国临时申请的优先权，该临时申请的内容通过引用在此并入本文中。
背景技术
自动驾驶汽车(也被称为无人驾驶汽车、自驾驶汽车或者机器人汽车)是没有人工控制驾驶的车辆。自主车辆使用雷达、激光雷达、GPS、里程表或计算机视觉感测其环境以探测周围。高级控制系统解释感觉信息以识别适当的导航路径，以及障碍物和相关标志。自动驾驶汽车配备有用于分析感觉数据的控制系统，以便区分道路上的不同汽车或障碍物。当前，无人驾驶技术由以及其他一些车辆制造商(如/> 等)开发。
其他公司例如正在市场上试图为免提驾驶技术(hands-freedriving technology)提供解决方案。这种技术的使用通常限于特定的驾驶基础设施，例如高速公路或乡村道路。该免提驾驶和自主车辆技术的基础是在运动期间或之前的任何给定时刻渲染或生成场景的3维(3D)地图。该地图尝试模仿驾驶员所看到的场景。
该3D地图的渲染一般通过测量3D空间中多个点的距离，确定对象的存在及其与汽车的距离而完成。已渲染的3D地图可被车辆组合和处理，以做出驾驶决定。用于渲染详细3D地图的现有解决方案基于激光雷达(LiDar或LADAR)系统。激光雷达系统通过利用一束激光束或多束激光束照射多个目标(空间中的点)来测量对象的距离。该现有方案配置激光雷达系统扫描整个环境(场景)。这要求大量激光测量以渲染单幅3D地图。
例如，图1显示用于生成3D地图的场景图像100。某些由免提和自动驾驶技术实现的现有方案测量到图像100中各点110的距离。从而，激光束照射每个这样的点以渲染3D地图。在许多例子中，激光雷达系统不具有任何场景的先验知识(例如场景的图片)。为此，这些技术基于非常复杂和昂贵的设备。例如，由制造的机器人汽车包括装备价值约70000美元的激光雷达系统。激光雷达系统包括64束的激光器。由于渲染3D地图的硬件价格高昂，自动驾驶车辆的大规模生产是不可行的。应当注意，为了简单起见，仅在图1中具体标记了几个点110。
此外，使用现有激光雷达系统的自动驾驶车辆的广泛生产将对行人、驾驶员和/或乘客产生危险情况，因为从每辆车辆传送的激光束数量很多，并且可能会碰上人的视线。进一步地，现有激光雷达方案被配置为以可获取的最高能量水平传送激光束。这是为了测量激光雷达系统最大范围内的点。
此外，通过扫描整个场景生成3D地图将增加串扰。这是由于配备有该扫描系统的自动驾驶车辆传送的激光束数量很多。结果，通过扫描整个场景生成的3D地图的最终分辨率可能是受限的。
因此，提供用于克服现有技术缺陷生成3D地图的解决方案将是有利的。
发明内容
本发明的几个示例实施例的概要如下。提供本概要是为了读者的方便，以提供对这些实施例的基本理解而不是完全地定义本发明的范围。本概要不是所有预期实施例的广泛综述，并且既不旨在标识所有实施例的关键或重要元素，也不描绘任何或所有方面的范围。其唯一目的在于以简化的形式呈现一个或多个实施例的一些概念，作为稍后呈现的更详细描述的前奏。为了方便，在此使用的术语“一些实施例”可能指本公开的单一实施例或者多个实施例。
在此公开的某些实施例包括获取三维(3D)地图的方法。该方法包括分析由无源传感器获取的至少一幅图像，以识别在至少一幅图像中的多个对象；对多个对象进行分类；基于分类，确定是否被动(passively)测量到多个对象中的每一个的距离；基于确定，被动测量到多个对象中的至少一个的距离；主动(actively)测量到多个对象中的一些对象的距离，其中当到多个对象中的一些的一个的距离不能被动测量时，主动测量到该对象的距离；以及基于测量到多个对象中的每一个的距离生成场景的3D地图。
在此公开的某些实施例也包括获取三维(3D)地图的设备。该设备包括：用于获取场景的图像的无源传感器；用于测量离场景中的对象的距离的有源传感器；和处理系统，其中处理系统配置为：分析由无源传感器获取的至少一幅图像，以识别在至少一幅图像中的多个对象；对多个对象进行分类；基于分类，确定是否被动测量到多个对象中的每一个的距离；基于确定，被动测量到多个对象中的至少一个的距离；通过有源传感器主动测量到多个对象中的一些对象的距离，其中当到多个对象的一个的距离不能被动测量时，主动测量到该对象的距离；以及基于测量到多个对象中的每一个的距离生成场景的3D地图。
在此公开的某些实施例也包括获取三维(3D)地图的方法。该方法包括：通过无源传感器获取至少一幅图像；分隔至少一幅图像以渲染分割地图；在分割地图内识别的每个片段中，主动测量到第一数量的像素中的每个像素的距离值，其中像素的第一数量小于每个片段中的像素数量；使用在第一数量的像素中的像素距离计算到片段中的每个像素的距离值；以及基于测量和计算的距离值，生成场景的3D地图。
附图说明
在本说明书结尾处的权利要求书中特别指出和明确要求保护本文公开的主题。结合附图进行以下详细描述，所公开实施例的前述以及其它目标、特征以及优势将变得显而易见。
图1是使用常规方法生成3D地图的场景图片；
图2是根据一个实施例，配置为从车辆生成3D地图的设备的模块图；
图3A和3B是根据实施例，显示图像中的对象的识别；
图4是根据实施例，说明了用于生成场景的3D地图的方法流程图；
图5是根据一个实施例，说明了用于执行被动测量的方法流程图；
图6是基于已知对象尺寸演示被动测量的图像；
图7是根据另一个实施例，说明了用于执行被动测量的方法流程图；
图8是用于描述基于帧之间的距离改变确定对象是否是静止的截图。
具体实施方式
重要的是要注意，本文公开的实施例仅仅是本文中创新教导的有利用途的一些例子。通常，在本申请的说明书中做出的陈述不一定限制各种要求保护的实施例中的任何一个。此外，一些陈述可能适用于某些创造性特征，但不适用于其他。通常，除非另有说明，否则单数元件可以是复数形式，反之亦然，而不失一般性。在附图中，多个视图中相似的数字代表相似的部件。
根据公开的实施例，3D地图基于主动测量、被动测量和/或与该测量相关的信息分析而被渲染或以其他方式生成。在一些实施例中，3D地图可基于车辆捕获的测量。在一实施例中，主动测量是激光测量，而被动测量通过图像处理实现。因此，公开的实施例允许在使用少量低能量激光束的同时，提供场景的完整3D地图。场景可以是由用于生成3D地图的设备所捕获的视野。在某些配置中，公开的实施例可用于生成环境的某些部分的高分辨率3D地图，而不必对整个场景执行主动测量。少量主动测量的使用降低人体暴露于激光束的风险。
图2根据一个实施例，显示配置为从车辆生成3D地图的设备200的模块图。设备200包括连接到处理系统210的内存215、有源传感器220和无源传感器230。在某些配置中，设备200进一步包括连接到处理系统210的存储器240、一个或多个运动传感器250和网络接口260。
例如，设备200可安装或整合到车辆。例如，该车辆可包括汽车、货车、公共车辆、无人机和机器人等。设备200可用于生成如同车辆的操作员(例如驾驶员)所观察的场景3D地图。在一实施例中，设备200可配置为基于所生成的3D地图的分析，控制部分或全部车辆操作。因此，设备200可以用于与自动驾驶车辆、免提驾驶系统和驾驶员辅助系统等相关的应用。
无源传感器230可以是配置为被动获取图像的图像传感器(例如，相机)。所获取的图像可由处理系统210或无源传感器230使用图像处理技术处理。
有源传感器220被配置为在特定方向上执行主动测量，以确定场景中的对象的距离。在一实施例中，主动测量是激光测量。在进一步的实施例中，有源传感器220被配置为在特定方向上(例如，由处理系统210确定)照射激光束，并检测场景中的对象反射的激光束。对象的距离可基于每束反射激光束的能量和反射角度计算得来。有源传感器220可实现而不限于为主动立体视觉(active stereovision)、结构化光(structured light)和飞行时间(TOF)等。
处理系统210被配置为处理数据(例如，发射和反射束的能量水平、方向和反射角度)，从而生成整个环境或在环境中的某些对象的3D地图。如同下文将要讨论，由于使用由无源传感器230获取的一张或多张图像执行初始扫描，主动测量的数量被限制在空间内的某些点和/或表面。在一实施例中，可以利用诸如先前获取的图像或先前生成的3D地图、先前确定的主动测量和/或从运动传感器250收集的感觉信息来生成3D地图附加信息。运动传感器250可包括但不限于全球定位系统(GPS)、加速计、接近传感器(proximity sensor)和里程计等等。处理系统210可以将附加信息与主动/被动测量一起用于确定每个对象的尺寸、其速度及其相对于车辆的方向。
根据某些实施例，处理系统210被配置成生成3D地图。为此，处理系统210可以被配置为融合主动和被动测量；确定静止或几乎静止的对象；仅主动测量移动对象的距离；以及使用对象的最高可能速度和/或使用被动测量估计对象的距离。
主动和被动测量的融合可包括利用有源传感器220在无源传感器230不提供可靠测量的区域中测量对象。无源传感器230能否为对象提供可靠测量可以基于但不限于对象的分类和对象在图像中的可见性等。在实施例中，如果可靠的被动测量能够获取，不使用有源传感器220。因此，公开的实施例可明显降低由有源传感器220执行主动测量的次数。
因此，可以使用更少的激光束或其他源，从而减少能量消耗、串扰和危险情况，以及实现更高的分辨率。在一实施例中，设备200可配置成使得只对可疑对象使用有源传感器220主动测量。可疑对象可以是任何需要主动测量的对象，以基于其准确地生成地图。对象的分类将在下文讨论。例如，如果对象是非静止的(即，移动的)和/或近距离接近设备200,对象会是可疑的。作为例子，如果设备200安装在汽车上，行人将被认为是可疑对象，而在背景中的树则不是。
在一实施例中，处理系统210被配置成基于由无源传感器230提供的图像，确定哪个对象是静止的或几乎静止的。例如，使用图像识别，处理系统210可配置成确定静止对象，例如房屋、树、电线杆等等。在进一步的实施例中，当无源传感器230被固定时，处理系统210可被配置成通过两幅连续图像确定对象是否静止，以及基于比较确定哪些对象相对于静止对象移动。作为例子，如果无源传感器固定到环境中的建筑物的侧面，则可以比较连续图像以确定场景中的任意对象是否相对于静止对象移动。
在再进一步的实施例中，确定对象是否静止可基于无源传感器230所获取的帧(例如图像)的比较。比较可包括但不限于确定在帧中的多组点之间的距离中的改变。在示例实施例中，两点之间的每个距离改变可以等于在第一帧中看到的点之间的3D距离与在第二帧中看到的点之间的3D距离之间的差。任何确定为移动的对象可与非静止的对象关联。例如，在一实施例中，如果与对象有关的所有距离改变之和超过预定阈值，则可确定对象已经移动。在另一个实施例中，如果与该点有关的距离改变之和比与每个其他对象有关的距离改变之和大出预定阈值，则可确定对象已经移动。在另外又一个实施例中，如果与后续帧中的对象有关的距离改变比与先前帧中的该对象有关的距离改变大出预定阈值，则可确定对象已经移动。
图8是用于描述使用帧之间的距离改变确定对象是否是静止的示例图800。在示例截图800中，帧810至830中的每一个显示在图像中的点(其可以表示对象)1、2、3和4的位置，以及点1、2、3和4中的每一对之间的距离。重叠帧830显示帧820重叠在帧810上。如在帧830中所见，点1、2和4在帧810和820的每一个中处于大致相同的位置。然而，点3在帧810中与其在帧820中的位置不同。与点3有关的距离改变之和可以是在帧810和帧820之间，点对1和3、2和3及4和3之间的距离改变之和。结果，在帧810和帧820之间，与点3有关的距离改变之和将大于0，并可能高于预定阈值。此外，与点3有关的距离改变之和将大于与点1、2和4中的每一个的距离改变之和。相应地，这可确定与点3相关联的对象在帧810和帧820之间已经移动。
在另一个实施例中，确定图像中的对象是否静止可基于在图像中对象的预测位置。基于当前获取的图像的一帧或已生成的3D地图，可生成预测图像。预测图像可进一步基于传感器的移动，该传感器获取当前图像或提供用于生成当前3D地图的信息。基于当前帧和/或传感器的任何新的位置或朝向，生成展示在随后时间(假设对象不移动)对象的预测位置的预测帧。可基于在随后时间传感器读取的随后帧与预测帧进行比较，确定对象的位置之间是否存在任何差异。在一实施例中，如果对象的位置在预测帧和相应的随后帧之间的差异超过预定阈值，这可确定对象已经移动。
在一实施例中，当无源传感器230移动，静止对象的距离可利用GPS和汽车的速度测量。在另一个实施例中，静止对象的距离可不利用GPS，而是通过比较无源传感器信息和/或3D映射信息的帧(例如，获取图像)测量。在进一步实施例中，基于加权分数，可以为帧中的每对相应点，确定任意两帧之间的距离和/或角度变化。为此，在一实施例中，找到两帧之间的距离或角度变化可进一步包括确定帧中的匹配点或其他相应点。在又一个进一步实施例中，加权分数可以是基于但不限于与每帧中与点的距离相关联的误差程度，例如基于噪声的误差。
在进一步的实施例中，可基于3D或2D映射信息以及传感器的位置和朝向，生成预测帧。预测帧可以是展示包含在3D映射信息内的静止(即，非移动)对象的预测位置的3D图像。该静止对象可包括但不限于树、广告牌、标识、建筑物和其他永久或半永久项目或固定装置。例如，预测帧可用于填充先前帧的暴露间隙(例如，当对象移动时，预测帧可用于展示位于移动对象的先前位置后面的项目的预测)。
在另一个实施例中，可基于分类为非静止对象和非可疑对象的运动，执行被动测量。为此，被动测量距离可以包括但不限于确定对象的边界速度和对象的移动方向。边界速度是对象的边界(即，外表面)行进的速度。基于已确定的边界速度和方向，对象的距离可以估计。在一实施例中，估计距离可进一步基于先前已知的对象距离和/或包括对象的先前生成的3D地图。
在进一步实施例中，处理系统210被配置成使用该对象的最大和/或最小可能速度，估计非静止对象的距离。对象的最大或最小可能速度可用作边界速度。例如，如果首先测量行人的距离，那么基于人的预定最大速度，能够确定表示那名行人在给定时间的可能距离的距离范围(例如，在0和2米之间)。
如果行人位于不需要任何动作的范围内(例如，行走在与车辆跨街道的人行道)，处理系统210将不会触发相对于行人的另一主动测量。例如，动作可包括控制车辆。动作是否需要可基于预定的安全距离阈值。安全距离阈值可包括但不限于车辆和/或对象的速度、设备200与对象的距离、对象的类型和它们的组合等等。在进一步实施例中，当对移动对象(例如，基于对象的边界速度和方向)的估计距离不满足安全距离阈值时，可执行主动测量。例如，动作可包括控制免提或自动驾驶车辆。
在一实施例中，处理系统210被配置成使用被动测量，估计非静止对象和静止对象与处理系统210的距离。具体地，距离可基于对象的近似尺寸和由无源传感器230所获取的图像中对象所占据的像素数量估计。该估计可进一步包括确定对象是否近距离接近车辆。对于某些不是近距离接近的对象，无需由有源传感器220主动测量。近距离接近可基于预定阈值设置(例如，100米以下的距离确定为近距离接近)。
某些(例如，可疑的)对象的考虑允许减少由有源传感器220主动测量的次数。这参考图3A和图3B进一步说明，图3A和3B根据所公开的实施例，显示用于生成3D地图的场景示例图像。首先，环境的图像300由无源传感器230获取。图像300被分割为识别对象310。对象的分割和识别可使用通常的图像处理技术执行。例如，道路、行人、汽车、货车、卡车、碰撞障碍物和噪音屏障被识别为对象310。然后，执行对象分类和被动测量。基于对象分类，确定哪些应主动测量，也就是说，由有源传感器220向哪个方向发射激光束。对象的分类可确定哪些对象是静止的、非静止的和可疑的。例如行人、车辆、货车和卡车被分类为非静止和可疑对象，因此，部分地基于对象的分类，在位置320触发许多不同方向的主动测量。道路、碰撞障碍物、天空、道路和噪音屏障被分类为静止的和不可疑对象，并相应地较少执行主动测量。
如图3B所展示，有源传感器220仅扫描在图像300中获取场景的一部分。位置主动测量被标记为320。在有限数量的对象上执行更多次主动测量允许相对于这些对象提供更高的分辨率。这进一步可以在要求细节识别的某些区域内提供高分辨率。
应当注意，图3A和图3B只是例子，而非限制各种公开的实施例。特别地，在不脱离本公开范围的情况下，可以为图像识别更多、更少或不同的对象310和/或320。
一旦所有测量完成，可生成场景的3D地图。具体地，3D地图通过计算在所获取图像中任意像素与设备的距离而生成。也就是说，每个像素应与距离值关联，从而生成3D地图。距离值可从被动测量和主动测量导出。在一实施例中，只执行一组距离测量(例如，比像素的数量更少的测量)。距离值可以使用平面方程或其他等效技术计算或外推。
回到图2，处理系统210可包括或是与内存215耦合的处理器或者处理器阵列的组件(未展示)。内存215包含可被处理系统210执行的指令。当由处理系统210执行时，指令使得处理系统210执行本文所描述的各种功能。一个或多个处理器可以实现为多个通用微处理器、多核处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、控制器、状态机、门控逻辑(gated logic)、离散硬件组件、专用硬件有限状态机(dedicated hardware finite state machine)或可执行计算或其他信息操作的任何其他合适的实体的任意组合。
处理系统210也可包括用于存储软件的机器可读介质。软件应被宽泛地解释为任何类型的指令，无论是指软件、固件、中间件、微代码(microcode)、硬件描述语言或其他。指令可包括代码(例如，以源代码格式、二进制代码格式、可执行代码格式或其他任意合适的代码格式)。当由一个或多个处理器执行时，指令使得处理系统执行本文所描述的各种功能。
存储器240可以是磁存储器和光学存储器等，并且可以被实现为例如闪存或其他存储器技术、CD-ROM、数字通用盘或其他光学存储器、磁带盒、磁带、磁盘存储器或其他磁存储装置，或可用于存储所需信息的任何其他介质。
在一个配置中，用于实现本文所公开任意实施例的计算机可读指令被存储在存储器240中。存储器240也可存储其他计算机可读指令，以实现操作系统和应用程序等。计算机可读指令可被载入内存215内，以供处理系统210执行。例如，存储器240也可被配置为存储图像、生成的3D地图和由地图服务(例如，街道层次的地图)提供的3D或2D地图等等。
网络接口260可允许设备200与其他设备通信，例如但不限于车辆的控制器(未展示)、中央控制器(未展示)和云存储装置(未展示)。例如，网络接口260可被配置成允许设备200与通过网络(未展示)与车辆的控制器通信，以提供操作指令(例如，停止、转右等等)。例如，在一实施例中，为了配置和载入新地图等目的，网络接口340允许远程访问设备200。网络接口260可包括有线连接或无线连接。网络接口260可发送和/或接收通信媒体。例如，网络接口260可包括调制解调器、网卡(NIC)、集成网络接口、射频发射器/接收器、红外端口和USB连接等。
图4是根据一实施例展示用于生成场景的3D地图方法的示例流程图400。在一实施例中，方法可被在车辆中可操作的设备(例如，设备200)执行，且生成的3D地图是如同车辆操作者可看到的场景。3D地图可基于被动和主动测量的融合生成。
在S410处，一幅或多幅图像通过无源传感器获取。在一实施例中，所获取的图像按照它们的获取顺序，被保存在内存内。在另一个实施例中，所获取的图像可包括来自连续记录视频的帧。
在可选的S420处，图像可被分割以生成分割地图。分割地图包含多个片段，每个片段具有相同颜色或基本相似颜色的同类像素。
在S430处，识别在图像中或分割地图中的对象。例如，在一个实施例中，可基于图像识别而识别对象。应当注意，对象可包括多个片段。例如，涂有两种不同颜色的卡车可被分割为两个片段，但是识别为一个对象。
在S440中，分类已识别对象。在一实施例中，对象可被分类为以下类别中的一个或多个:非静止的(即，移动的或可能移动的)、静止的(即，不移动的)、可疑的或不可疑的。在一实施例中，对象是非静止还是静止，可通过识别对象(例如，使用图像识别)和基于其类型确定。例如，显示为建筑物的对象可分类为非静止的。在另一个实施例中，通过比较在预定时间间隔期间拍摄的两幅连续图像，确定对象的位置是否已经改变，从而确定对象的非静止或静止类别。如果对象的位置保持不变，那么对象被分类为静止的；否则对象可分类为非静止的。在另一个实施例中，一些已识别对象的对象分类可基于所识别对象的尺寸。作为非限制性例子，具有尺寸大于预定阈值的对象(例如，足够大的对象，使得车辆需要绕开对象行驶)可以被分类为可疑的，但是具有尺寸小于预定阈值的对象(例如，足够小的对象，使得汽车可以安全地骑在对象上)可以被分类为不可疑的。
在一实施例中，基于图像比较的分类可进一步基于无源传感器的移动(或其没有移动)和/或定位。具体地，当无源传感器没有移动(例如，车辆在交通灯处停止)，且两幅连续图像从同一个角度拍摄时，比较可指示移动对象相对于其他对象的在位置上的变化。当无源传感器自身在移动时，两幅连续图像从不同角度拍摄。为允许精确比较，在实施例中，第二幅图像(例如，随后拍摄的图像)可转换以匹配第一幅图像(例如，先前拍摄的图像)的角度，从而将两幅图像放置在相同的角度处。可使用虚拟相机技术执行图像转换。应当注意，在一个场景中，对象可被分类为静止的，而在下一个场景中对象可被分类为非静止的(例如停泊的汽车)。在一实施例中，静止对象的分类部分可基于几何地图(例如3D、2D、街景和/或地图服务提供的卫星地图)执行。这允许基于其已知位置识别建筑物等。
在一实施例中，可疑对象的分类是基于可疑对象的预定列表。例如，预定为可疑的对象可以是但不限于在路上的其他车辆、行人、动物和在路上的碎片等等。列表可动态更新。通常，近距离接近车辆并可能构成伤害或危险的对象被分类为可疑的。应当理解，对象可被分类为“可疑且静止的”或“可疑且非静止的”。上面详细讨论了对象分类的各种实施例。
在S445处，如果分类为静止的对象的距离是已知的，检查每个分类为静止的对象。如果是，执行S447；否则，执行S450。在S447处，从先前的计算中检索静止对象的距离。距离信息可从先前生成的3D地图导出。静止对象可确定为相对于先前生成的3D地图静止。作为例子，如果无源传感器是不移动的，对象是静止的，且先前确定的被动测量和/或主动测量距离可用于来自该无源传感器的对象，则对象的当前被动测量可确定为先前确定的距离。
在S450处，被动测量是基于所获取图像执行的。被动测量包括至少测量至少一个、多个或全部已分类对象的距离。如上所述，如果不能从先前生成的3D地图导出信息，则执行这样的测量。在一实施例中，到每个分类为“静止”或“不可疑且非静止”对象的距离通过被动测量确定。如上所述，当静止对象的距离不可用时，被动测量静止对象的距离。在一实施例中，被动测量可包括使用对象的已知尺寸(例如，像素的数量)、有效参考点的距离、消失点和消失线、设备或车辆的移动等，确定在所获取图像中的对象的距离。下面将参照图5和图6，更详细地讨论用于执行被动测量的各种实施例。距离测量可保存在内存中(例如，内存215)。应当注意，距离测量可用于所有或任意构成对象的像素。
在另一个实施例中，可基于分类为非静止且非可疑对象的运动，执行被动测量。为此，被动测量距离可以包括但不限于确定对象的边界速度和对象的移动方向。边界速度是对象的边界(即，外表面)行进的速度。基于已确定的边界速度和方向，可以估计对象的距离。在实施例中，估计距离可进一步基于先前已知的对象距离和/或包括对象的先前生成3D地图。
在S460处，执行主动测量。在一实施例中，可使用有源传感器(例如，有源传感器220)执行主动测量。执行主动测量可包括测量部分或所有已分类对象的距离。在一实施例中，主动测量分类为“可疑”、“非静止”和/或“可疑且非静止”对象的距离。在另一个实施例中，当可靠的被动测量不能获取时，主动测量距离。例如，可靠的被动测量不能获取的情况包括：在所获取图像中一个或多个对象和/或细节多次出现；图像包含无明确纹理的平坦区域(例如，墙和天空)；图像中的细节(汽车中的轮胎)在另一视图中被隐藏；只有来自唯一角度(例如，当无源传感器仅包括一台摄像机时)的一幅图像可用于被动测量；以及图像包含一个或多个噪音区域。通过重测量该对象，精度被提高且虚假警报的数量明显减少。
在一实施例中，S460包括使用激光二极管发射激光束(或光脉冲)。激光击中目标，且部分激光的能量被反射回有源传感器。检测返回信号，并确定从激光发出的光脉冲与检测返回信号之间所经过的时间。可基于确定所经过的时间，确定对象距离的距离测量。应当注意，距离测量可用于任意或所有构成图像的像素。在一实施例中，可对每个对象执行多次主动测量，其中在每次这样的测量中，激光脉冲被引导到不同的角度。测量的分辨率可基于为每个对象执行测量的次数。
可控制每束发射激光束的时间、方向和能量水平以实现精确的距离测量。在一实施例中，至少激光束的方向是基于无源传感器获取图像的时间与主动测量被触发的时间之间的时间和位置差异校正的。这是为了在该时间内补偿有源传感器和/或目标对象的运动而执行的。可使用加速计信息，通过在获取图像时确定有源传感器相对于其位置的当前位置，估计指向有源传感器的方向。
应当注意，可基于其他主动传输或发射，例如但不限于雷达、声音和激光三角测量等，在S460处执行主动测量。应当注意，S450和S460可并行执行。例如，主动测量可在分类为非静止的和/或对象不能被动测量上并行执行。
在某些实施例中，发射激光的能量水平是基于对象到车辆(或有源传感器)的接近度控制。接近度可使用在被扫描区域内的先前主动和/或被动测量确定。通过控制能量水平，与总是使用具有可能最高能量的激光束相比，有源传感器的能量消耗可降低。进一步地，控制能量水平降低激光束伤害他人的风险，因为在近距离接近的对象以相对低能量水平扫描。
在S470处，基于被动和主动测量生成3D地图。为了生成场景的3D地图，所获取图像中的像素的距离值应当是可用的。在一实施例中，对于分割地图中的每个片段，一个或多个距离值可被包括在3D地图内。每个距离值可以是被动测量或主动测量中的一个。在优选实施例中，每个片段至少3个像素的至少3个距离值应被包括在3D地图中。
如上所述，片段可以是对象的部分或者可以是整个对象。可基于至少3个距离测量，计算或外推在片段中的所有像素的距离值。为此，在一实施例中，基于每个片段中的至少3个像素的至少3个距离测量来计算平面方程。已算出的平面方程可用于确定在同一个片段内和/或在同一个表面上像素的所有距离值。应当注意，其他几何技术可用于计算片段内所有像素的距离值而不脱离公开的范围。更应当注意，对某些片段，所有像素的距离值可通过主动或被动测量获取，因此，对于这些片段，不必求解平面方程。
在另一个实施例中，如果所有像素的距离值不能基于平面方程估计，则触发更多的主动测量。
在另外又一个实施例中，如果所有像素的所有距离值可从先前帧获取，则根据先前执行的测量调整主动测量的有限次数(例如，3次测量)和剩下的距离值。
每个片段的3D表面渲染产生所识别对象的3D表示的渲染，从而产生场景的3D地图。例如，产生的3D地图稍后可用于向控制车辆操作的控制器提供驾驶方向。
图5是根据一个实施例，展示基于获取图像执行被动测量方法的示例流程图S450。在一实施例中，可通过无源传感器(例如，无源传感器230)执行方法。在S510处，当前获取图像(例如，图像n+1)和先前获取图像(例如，图像n)与分类为静止对象的列表被一起检索。在S520处，比较当前和先前获取图像以识别在图像中的每个对象的任意差异。在一实施例中，S520可进一步包括转换图像中的一幅，使得图像的角度相同。转换是基于传感器的位置和朝向变化而执行。
在S530处，检查在每幅图像中出现的对象之间是否有任何变化，如果有，执行S540；否则执行终结。例如，变化可基于在当前图像中识别的新静止对象(即，在先前已识别图像中没有出现的对象)，或者先前已识别对象(即，在先前已识别图像中出现的对象)的新位置。当检测到没有变化，先前确定的距离可适用为当前距离，因此，通常不必计算或再次计算在当前图像中任意对象的距离。
在S540处，选择与图像之间的变化相关联的对象。在S550处，当获取当前和先前已识别图像时，检查无源传感器是否正在运动或曾在运动。如果是，执行S560；否则，执行S570。例如，确定无源传感器是否正在运动可基于来自一个或多个连接到无源传感器的运动传感器(例如，加速计、全球定位系统、陀螺仪和它们的组合等等)的信息。
在S560处，确定被选择对象的距离。例如，可基于一个或多个运动传感器的测量，确定距离。在一实施例中，运动传感器是GPS，且基于当拍摄每幅图像时所获取的GPS坐标的差异计算距离。在另外又一个实施例中，静止对象的距离可不使用GPS，而是通过比较无源传感器信息和/或3D映射信息的帧(例如，获取的图像)测量。这些实施例在上文更具体讨论。
在S570处，距离基于图像中的像素计算。在一实施例中，距离通过识别到对象的像素数量和将像素数量与已知参考测量进行比较而计算。如果对象的宽度和高度是已知的，则距离可相对于已知的宽度和高度计算。
图6是用于描述基于到对象的像素数量计算距离的示例图像600。例如，如果在图像600中的卡车610的宽度620是由100个像素组成，且已知图像600中宽度表示为1米的长度，则如果在图像600中的卡车610的距离630包括1000个像素，其可确定卡车的距离是10米。参考测量可基于先前确定的测量、已知对象的距离和在图像中显示的对象的已知尺寸(例如，高度和宽度等等)。在一实施例中，距离可通过计算在图像中的消失点和消失线估计。例如，建筑物的屋顶线可切断作为参考测量。
应当注意，在一个实施例中，距离可使用不同技术被动测量，以提高测量的精度。如上所述，如果特定被动测量是不可靠的，主动测量可用于提高已确定距离的精度。
在S580处，距离被保存(例如，在内存内)。在S590处，检查已变化对象的所有需要距离是否已确定(即，是否所有对象已被处理)。如果是，执行结束；否则，执行返回至S540。
图7是根据另一个实施例，展示用于执行被动测量方法的示例流程图S540。在S710处，当前图像(图像n+1)、先前获取图像(图像n)与分类为非静止对象的列表被检索。在一实施例中，对每个非静止对象，其先前测量距离(例如，相对于图1)和预定已知速度也会被检索。已知速度包括最大速度、最小速度或平均速度中的任意一个。
在步骤S720中，比较当前获取图像和先前获取图像，以检测非静止对象的移动方向。方向可以是但不限于朝向和远离车辆、设备和/或无源传感器。例如，在进一步实施例中，方向可以是相对于无源传感器的特定角度。
在S725处，选择非静止对象。在S730处，对选择的非静止对象估计当前距离。当前距离可基于在当前图像的捕获和先前已获取图像之间经过的时间、已知速度和先前测量距离估计。当前距离可进一步基于已确定方向估计。也就是说，如果已确定方向是朝向车辆，当前距离可使用最大已知速度估计。另一方面，如果已确定方向是远离车辆，当前距离可使用最小已知速度估计。执行该操作以涵盖相对于对象与车辆距离的最坏情况(即，距离可以是保守估计)。例如，该最坏情况估计可帮助避免自控制车辆和无人机等撞入移动对象。
在S740处，基于估计距离，确定是否需要主动测量。如果是，执行S750；否则，执行S760。在一实施例中，估计距离与预定阈值比较，且如果不满足阈值，则需要主动测量。当对象不在安全距离内时，可启动主动测量。例如，如果人朝车辆行走，且估计距离是100米，则人在安全距离内。然而，如果朝向车辆行走的人估计距离是1米，则人不在安全距离内，且主动测量应被触发。
在S750处，一旦确定需要主动测量，对象被标记为主动测量。在S760处，估计距离被保存在内存中。在S770处，检查所有对象是否已被处理。如果是，执行结束；否则，执行返回至S740。
应当注意，上文所讨论实施例仅针对简单目的而对激光的主动测量进行描述，而不限制于此。其他主动测量(例如，通过雷达和声音等)可被等同使用而不脱离所公开实施例的范围。
这里的多个公开实施例，可以通过硬件、固件、软件、或者上述任意组合实现。此外，软件优选在程序存储单元或者计算机可读介质上作为有形实施的应用程序执行，所述可读介质由部件或者某些设备，又或者是设备的组合构成。该应用程序可以上传至包含任意合理架构的机器上，并在其上执行。优选地，该机器在拥有硬件的计算机平台上执行，所述硬件如一个或多个中央处理单元(CPU)、内存以及输入/输出接口。计算机平台也可包括操作系统和微指令代码。本文描述的多个过程和功能可能是微指令代码的一部分或者应用程序的一部分，又或者是上述组合，不管这些计算机或者处理器是否明确示出，都能够通过CPU执行。此外，各种其他外围单元可连接到计算机平台，例如附加数据存储单元和打印单元。进一步地，非暂时性计算机可读介质是指除瞬时传播信号以外的任何计算机可读介质。
本文所述的所有示例和条件语言旨在用于教导目的，以帮助读者理解所公开的实施例的原理和发明人为促进本领域所贡献的概念，并且应当解释为不对此类具体引用的实例和条件做出限制。此外，本文中引用的本公开实施例的原理、方面和实施例以及其具体示例的所有陈述旨在包括其结构和功能等同物。另外，这样的等同物旨在包括当前已知的等同物以及将来开发的等同物，即，开发的执行相同功能的任何元件，而不管结构如何。

Claims (22)

1.一种获取三维(3D)地图的方法，包括：
分析由无源传感器获取的至少一幅图像，以识别在所述至少一幅图像中的多个对象；
对所述多个对象进行分类；
基于所述分类，被动测量到所述多个对象中的被分类为静止对象的至少一个对象的相应距离；
主动测量到所述多个对象中的被分类为非静止对象的一些对象的相应距离；
对于所述多个对象，融合被动距离测量和主动距离测量以获得融合的距离测量；以及
基于所述融合的距离测量，生成场景的3D地图。
2.根据权利要求1所述的方法，其中，分析所述至少一幅图像进一步包括：
将所述至少一幅图像分割成多个片段以渲染分割地图；以及
在所述分割地图内识别所述多个对象。
3.根据权利要求1所述的方法，其中，对所述多个对象进行分类进一步包括：
识别所述多个对象中的每一个对象的类型；以及
基于所识别的所述多个对象中的每一个对象的类型，对该对象进行分类。
4.根据权利要求3所述的方法，进一步包括：
比较所述至少一幅图像和先前获取的图像；以及
基于所述比较，识别所述多个对象中的每一个对象的位置的变化，其中，所述多个对象中的每一个对象基于该对象的位置的变化而被分类。
5.根据权利要求1所述的方法，进一步包括：
对于所述多个对象中的每一个对象，确定该对象是否在至少一幅几何地图中被识别；以及
将在所述至少一幅几何地图中识别的每一个对象分类为静止对象。
6.根据权利要求1所述的方法，其中，所述方法进一步包括：
响应于到所述多个对象中的被分类为静止对象的所述至少一个对象的先前距离不可用，被动测量到所述多个对象中的所述至少一个对象的相应距离。
7.根据权利要求1所述的方法，其中，被动测量到所述至少一个对象的相应距离进一步包括：
确定无源传感器是否在运动；
当所述无源传感器在运动时，使用运动传感器确定到所述至少一个对象的相应距离；以及
当无源传感器不在运动时，基于到所述至少一个对象的像素的数量和已知参考测量，确定到所述至少一个对象的相应距离。
8.根据权利要求7所述的方法，其中，所述已知参考测量是以下中的至少一个：距离有效参考对象的像素数量，以及所述对象的尺寸。
9.根据权利要求1所述的方法，其中，所述方法进一步包括：被动测量到所述多个对象中的被分类为非静止对象和非可疑对象的一些对象的相应距离；
对于所述多个对象中的所述一些对象中的每个对象，确定所述对象的边界速度；
确定所述对象的运动方向；以及
基于所确定的方向和所确定的边界速度，估计到所述对象的距离。
10.根据权利要求1所述的方法，进一步包括：主动测量到所述多个对象中的被分类为可疑对象的一些对象的相应距离。
11.根据权利要求1所述的方法，进一步包括：当针对所述多个对象中的被分类为非静止对象的一些对象的可靠的被动测量不能被确定时，主动测量到所述多个对象中的所述一些对象的相应距离。
12.根据权利要求1所述的方法，其中，主动测量到所述多个对象中的所述一些对象的相应距离进一步包括：
针对所述多个对象中的所述一些对象执行多次激光测量，其中，激光测量的次数是基于所需的分辨率确定的。
13.根据权利要求12所述的方法，进一步包括：
针对所述多个对象中的所述一些对象中的每个对象，基于所述激光测量，计算到所述对象中的每个点的距离。
14.根据权利要求1所述的方法，其中，生成所述3D地图进一步包括：
使用所述融合的距离测量来渲染所述多个对象中的每个对象的3D表面。
15.根据权利要求1所述的方法，其中，所述场景是由用于生成所述3D地图的设备所捕获的视野。
16.根据权利要求1所述的方法，其中，主动测量所述相应距离包括：由LiDAR装置发射激光束。
17.根据权利要求16所述的方法，其中，基于使用先前测量所确定的到所述多个对象中的所述一些对象中的每个对象的距离，控制所发射的激光束的能量水平。
18.根据权利要求2所述的方法，其中，针对所述3D地图中的所述多个片段中的每一个片段中的至少三个像素进行至少三个距离测量。
19.根据权利要求18所述的方法，其中，基于针对所述至少三个像素的所述至少三个距离测量，计算针对所述3D地图中的所述多个片段中的每一个片段中的所有像素的平面方程。
20.根据权利要求4所述的方法，其中，比较所述至少一幅图像和先前获取的图像并基于所述比较来识别所述多个对象中的每一个对象的位置的变化还包括：转换所述至少一幅图像以匹配所述先前获取的图像的角度。
21.一种非临时性计算机可读介质，其存储用于执行根据权利要求1所述的方法的指令。
22.一种获取三维(3D)地图的设备，包括：
无源传感器，用于获取场景的图像；
处理系统，其中，所述处理系统被配置为：
分析由所述无源传感器获取的至少一幅图像，以识别在所述至少一幅图像中的多个对象；
对所述多个对象进行分类；
基于所述分类，被动测量到所述多个对象中的被分类为静止对象的至少一个对象的相应距离；以及
有源传感器，其被配置为主动测量到所述多个对象中的被分类为非静止对象的一些对象的相应距离；
其中，所述处理系统进一步被配置为：
对于所述多个对象，融合被动距离测量和主动距离测量以获得融合的距离测量；以及
基于所述融合的距离测量，生成场景的3D地图。
CN202011284223.7A 2015-04-01 2016-03-31 使用被动和主动测量生成场景的三维地图 Active CN112665556B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011284223.7A CN112665556B (zh) 2015-04-01 2016-03-31 使用被动和主动测量生成场景的三维地图

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201562141296P 2015-04-01 2015-04-01
US62/141,296 2015-04-01
US201562160988P 2015-05-13 2015-05-13
US62/160,988 2015-05-13
PCT/US2016/025252 WO2016161104A1 (en) 2015-04-01 2016-03-31 Generating 3-dimensional maps of a scene using passive and active measurements
CN201680030809.6A CN108271408B (zh) 2015-04-01 2016-03-31 使用被动和主动测量生成场景的三维地图
CN202011284223.7A CN112665556B (zh) 2015-04-01 2016-03-31 使用被动和主动测量生成场景的三维地图

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680030809.6A Division CN108271408B (zh) 2015-04-01 2016-03-31 使用被动和主动测量生成场景的三维地图

Publications (2)

Publication Number Publication Date
CN112665556A CN112665556A (zh) 2021-04-16
CN112665556B true CN112665556B (zh) 2023-09-05

Family

ID=57006494

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011284223.7A Active CN112665556B (zh) 2015-04-01 2016-03-31 使用被动和主动测量生成场景的三维地图
CN201680030809.6A Active CN108271408B (zh) 2015-04-01 2016-03-31 使用被动和主动测量生成场景的三维地图

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201680030809.6A Active CN108271408B (zh) 2015-04-01 2016-03-31 使用被动和主动测量生成场景的三维地图

Country Status (5)

Country Link
US (8) US20160291154A1 (zh)
EP (2) EP4296721A3 (zh)
KR (1) KR102614323B1 (zh)
CN (2) CN112665556B (zh)
WO (1) WO2016161104A1 (zh)

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10155168B2 (en) 2012-05-08 2018-12-18 Snap Inc. System and method for adaptable avatars
CN112665556B (zh) 2015-04-01 2023-09-05 瓦亚视觉传感有限公司 使用被动和主动测量生成场景的三维地图
US10012733B2 (en) * 2015-06-07 2018-07-03 Geoffrey Louis Barrows Localization method and apparatus
JP6499047B2 (ja) * 2015-09-17 2019-04-10 株式会社東芝 計測装置、方法及びプログラム
US9671785B1 (en) * 2016-03-29 2017-06-06 Delphi Technologies, Inc. V2X object-location verification system for automated vehicles
US10339365B2 (en) 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
DE102016107211A1 (de) * 2016-04-19 2017-10-19 Voith Patent Gmbh Vorrichtung zur daten- und/oder signalübertragung
US11092446B2 (en) 2016-06-14 2021-08-17 Motional Ad Llc Route planning for an autonomous vehicle
US10309792B2 (en) 2016-06-14 2019-06-04 nuTonomy Inc. Route planning for an autonomous vehicle
US10126136B2 (en) 2016-06-14 2018-11-13 nuTonomy Inc. Route planning for an autonomous vehicle
US10203696B2 (en) * 2016-07-26 2019-02-12 Waymo Llc Determining drivability of objects for autonomous vehicles
WO2018020853A1 (ja) * 2016-07-29 2018-02-01 Ｎｅｃソリューションイノベータ株式会社 移動体操縦システム、操縦シグナル送信システム、移動体操縦方法、プログラム、および記録媒体
WO2018020744A1 (ja) 2016-07-29 2018-02-01 Ｎｅｃソリューションイノベータ株式会社 移動体操縦システム、操縦シグナル送信システム、移動体操縦方法、プログラム、および記録媒体
US10857994B2 (en) 2016-10-20 2020-12-08 Motional Ad Llc Identifying a stopping place for an autonomous vehicle
US10681513B2 (en) 2016-10-20 2020-06-09 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10473470B2 (en) 2016-10-20 2019-11-12 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10331129B2 (en) 2016-10-20 2019-06-25 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
DE102016122645A1 (de) * 2016-11-24 2018-05-24 Valeo Schalter Und Sensoren Gmbh Empfangseinrichtung für eine optische Detektionsvorrichtung, Detektionsvorrichtung und Fahrerassistenzsystem
US10309778B2 (en) 2016-12-30 2019-06-04 DeepMap Inc. Visual odometry and pairwise alignment for determining a position of an autonomous vehicle
DE102017102315A1 (de) 2017-02-07 2018-08-09 Sick Ag Verfahren zur Navigation eines Fahrzeugs
JP7031137B2 (ja) * 2017-04-10 2022-03-08 凸版印刷株式会社 レーザ走査装置
US10268203B2 (en) * 2017-04-20 2019-04-23 GM Global Technology Operations LLC Calibration validation for autonomous vehicle operations
US11893647B2 (en) * 2017-04-27 2024-02-06 Snap Inc. Location-based virtual avatars
KR102515132B1 (ko) 2017-04-27 2023-03-28 스냅 인코포레이티드 소셜 미디어 플랫폼상의 사용자 위치의 지역적 레벨 표현
US10212541B1 (en) 2017-04-27 2019-02-19 Snap Inc. Selective location-based identity communication
WO2018204120A1 (en) * 2017-05-02 2018-11-08 Hrl Laboratories, Llc System and method for detecting moving obstacles based on sensory prediction from ego-motion
US20180341821A1 (en) * 2017-05-26 2018-11-29 Dura Operating, Llc Method and system for generating and using a perception scene graph in motor vehicle applications
KR102565533B1 (ko) * 2017-06-14 2023-08-10 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 항법 정보의 융합 프레임워크 및 배치 정렬
US11300958B2 (en) * 2017-07-13 2022-04-12 Waymo Llc Sensor adjustment based on vehicle motion
DE102017116658A1 (de) * 2017-07-24 2019-01-24 Vorwerk & Co. Interholding Gmbh Selbsttätig im Außenbereich verfahrbares Gerät mit einem Überwachungsmodul
DE102017116661A1 (de) 2017-07-24 2019-01-24 Vorwerk & Co. Interholding Gmbh System zur Erfassung von dreidimensionalen Umgebungsdaten, insbesondere zur Pflanzenpflege sowie Sensormodul
EP3438776B1 (en) * 2017-08-04 2022-09-07 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus and computer program for a vehicle
EP3652555B1 (en) * 2017-08-31 2024-03-06 SZ DJI Technology Co., Ltd. A solid state light detection and ranging (lidar) system system and method for improving solid state light detection and ranging (lidar) resolution
US10872228B1 (en) 2017-09-27 2020-12-22 Apple Inc. Three-dimensional object detection
US10788831B2 (en) * 2017-10-06 2020-09-29 Wipro Limited Method and device for identifying center of a path for navigation of autonomous vehicles
US11758111B2 (en) * 2017-10-27 2023-09-12 Baidu Usa Llc 3D lidar system using a dichroic mirror for autonomous driving vehicles
JP6759175B2 (ja) * 2017-10-27 2020-09-23 株式会社東芝 情報処理装置および情報処理システム
DE102017221465A1 (de) * 2017-11-29 2019-05-29 Robert Bosch Gmbh Verfahren und Vorrichtung zum Detektieren eines lichtaussendenden Objekts an einem Verkehrsknotenpunkt für ein Fahrzeug
US10594940B1 (en) * 2018-01-12 2020-03-17 Vulcan Inc. Reduction of temporal and spatial jitter in high-precision motion quantification systems
CN111788544A (zh) * 2018-02-19 2020-10-16 株式会社村上开明堂 操作检测装置和操作检测方法
JP7039727B2 (ja) 2018-04-18 2022-03-22 モービルアイ ヴィジョン テクノロジーズ リミテッド カメラを用いた車両環境モデリング
US11668830B1 (en) 2018-06-01 2023-06-06 Vayavision Sensing Ltd. System and method for performing active distance measurements
CN108919300B (zh) * 2018-07-17 2022-07-08 重庆大学 一种面向仓库通道场景的混合地图创建方法
DE102018214182A1 (de) * 2018-08-22 2020-02-27 Robert Bosch Gmbh LIDAR-Vorrichtung mit einer beschleunigten Laufzeitanalyse
US11340355B2 (en) 2018-09-07 2022-05-24 Nvidia Corporation Validation of global navigation satellite system location data with other sensor data
US11100669B1 (en) 2018-09-14 2021-08-24 Apple Inc. Multimodal three-dimensional object detection
US11513196B2 (en) * 2018-09-28 2022-11-29 Waymo Llc Terrain adaptive pulse power in a scanning LIDAR
DE102018219602A1 (de) * 2018-11-15 2020-05-20 Robert Bosch Gmbh Verfahren zum Erkennen von Kartenfehlern
US10872400B1 (en) 2018-11-28 2020-12-22 Vulcan Inc. Spectral selection and transformation of image frames
US11044404B1 (en) 2018-11-28 2021-06-22 Vulcan Inc. High-precision detection of homogeneous object activity in a sequence of images
US10659751B1 (en) * 2018-12-14 2020-05-19 Lyft Inc. Multichannel, multi-polarization imaging for improved perception
CN111213153A (zh) * 2019-01-30 2020-05-29 深圳市大疆创新科技有限公司 目标物体运动状态检测方法、设备及存储介质
CN109878514B (zh) * 2019-03-13 2020-04-14 的卢技术有限公司 一种车辆周围环境的分项方法及其应用系统
US11960297B2 (en) * 2019-05-03 2024-04-16 Lg Electronics Inc. Robot generating map based on multi sensors and artificial intelligence and moving based on map
JP7268490B2 (ja) * 2019-06-13 2023-05-08 株式会社デンソー 物体認識装置、運転支援システム
US11669092B2 (en) * 2019-08-29 2023-06-06 Rockwell Automation Technologies, Inc. Time of flight system and method for safety-rated collision avoidance
US20220363289A1 (en) 2019-09-22 2022-11-17 Vayavision Sensing Ltd. Functional safety in autonomous driving
DE102019129986A1 (de) * 2019-11-07 2021-05-12 Sick Ag Optoelektronischer Sensor und Verfahren zur Erfassung von Objekten
WO2021092702A1 (en) * 2019-11-13 2021-05-20 Youval Nehmadi Autonomous vehicle environmental perception software architecture
US11699235B2 (en) * 2019-11-20 2023-07-11 Baidu Usa Llc Way to generate tight 2D bounding boxes for autonomous driving labeling
JP7401273B2 (ja) * 2019-11-26 2023-12-19 日立Astemo株式会社 移動体の制御装置及び方法
CN110967685B (zh) * 2019-12-09 2022-03-22 Oppo广东移动通信有限公司 评价干扰信号的方法及系统、电子装置和存储介质
KR20210076440A (ko) * 2019-12-16 2021-06-24 삼성전자주식회사 나무 맵의 재성성 및 예측을 위한 방법 및 장치
CN111249728B (zh) * 2020-01-22 2021-08-31 荣耀终端有限公司 一种图像处理方法、装置及存储介质
CN113378867B (zh) * 2020-02-25 2023-08-22 北京轻舟智航智能技术有限公司 一种异步数据融合的方法、装置、存储介质及电子设备
CA3125623C (en) 2020-07-21 2023-06-27 Leddartech Inc. Beam-steering device particularly for lidar systems
WO2022016277A1 (en) 2020-07-21 2022-01-27 Leddartech Inc. Systems and methods for wide-angle lidar using non-uniform magnification optics
CA3125618C (en) 2020-07-21 2023-05-23 Leddartech Inc. Beam-steering device particularly for lidar systems
KR20220030007A (ko) 2020-09-02 2022-03-10 삼성전자주식회사 이미지 생성 장치 및 방법
US11797022B1 (en) * 2021-06-29 2023-10-24 Amazon Technologies, Inc. System for object detection by an autonomous mobile device
EP4258011A1 (en) * 2022-04-04 2023-10-11 Faro Technologies, Inc. Image-based scan pre-registration

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6323941B1 (en) * 1999-08-06 2001-11-27 Lockheed Martin Corporation Sensor assembly for imaging passive infrared and active LADAR and method for same
US20010045981A1 (en) * 2000-05-24 2001-11-29 Joachim Gloger Camera-based precrash detection system
US6502053B1 (en) * 2000-06-12 2002-12-31 Larry Hardin Combination passive and active speed detection system
CN104094177A (zh) * 2012-01-30 2014-10-08 谷歌公司 基于感知不确定性的车辆控制
CN104137146A (zh) * 2011-12-29 2014-11-05 派尔高公司 用于利用前景对象分割的噪声过滤的视频编码的方法和系统

Family Cites Families (135)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1192483A (en) 1914-09-03 1916-07-25 Albert Harry Wheeler Mathematical model.
US5195144A (en) 1988-11-15 1993-03-16 Thomson-Csf Process for estimating the distance between a stationary object and a moving vehicle and device for using this process
US5128874A (en) 1990-01-02 1992-07-07 Honeywell Inc. Inertial navigation sensor integrated obstacle detection system
US6553130B1 (en) * 1993-08-11 2003-04-22 Jerome H. Lemelson Motor vehicle warning and control system and method
JP3183598B2 (ja) 1993-12-14 2001-07-09 三菱電機株式会社 障害物検知装置
US7783403B2 (en) 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US7209221B2 (en) * 1994-05-23 2007-04-24 Automotive Technologies International, Inc. Method for obtaining and displaying information about objects in a vehicular blind spot
US7359782B2 (en) 1994-05-23 2008-04-15 Automotive Technologies International, Inc. Vehicular impact reactive system and method
US7630806B2 (en) * 1994-05-23 2009-12-08 Automotive Technologies International, Inc. System and method for detecting and protecting pedestrians
JP3304687B2 (ja) 1995-05-24 2002-07-22 日産自動車株式会社 車両用走行車線認識装置及び障害物検出装置・道路逸脱報知装置
US7202776B2 (en) 1997-10-22 2007-04-10 Intelligent Technologies International, Inc. Method and system for detecting objects external to a vehicle
US5745806A (en) * 1995-06-15 1998-04-28 Fuji Photo Optical Co., Ltd. Distance measuring apparatus
US5887268A (en) 1995-10-31 1999-03-23 Honda Giken Kogyo Kabushiki Kaisha Automatically driven motor vehicle
US5870178A (en) * 1996-02-20 1999-02-09 Canon Kabushiki Kaisha Distance measuring apparatus
US5831719A (en) * 1996-04-12 1998-11-03 Holometrics, Inc. Laser scanning system
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
US5896103A (en) 1996-10-15 1999-04-20 Honeywell Inc. Method and aparatus for dynamically calibrating a radar receiver
US5923417A (en) 1997-09-26 1999-07-13 Northern Digital Incorporated System for determining the spatial position of a target
EP1135667A1 (en) 1998-08-26 2001-09-26 The Board Of Governors For Higher Education State Of Rhode Island And Providence Plantations Thin film strain sensors based on interferometric optical measurements
JP2001311619A (ja) * 2000-05-01 2001-11-09 Asahi Optical Co Ltd 測距装置及び測距方法
US6763292B1 (en) 2000-06-21 2004-07-13 International Business Machines Corporation Prediction and compensation for land vehicle dynamics based on feedforward road conditions
JP2002221655A (ja) * 2001-01-24 2002-08-09 Olympus Optical Co Ltd 測距装置
US7124072B1 (en) 2001-04-30 2006-10-17 Mips Technologies, Inc. Program counter and data tracing from a multi-issue processor
US7385626B2 (en) 2002-10-21 2008-06-10 Sarnoff Corporation Method and system for performing surveillance
DE10305861A1 (de) * 2003-02-13 2004-08-26 Adam Opel Ag Vorrichtung eines Kraftfahrzeuges zur räumlichen Erfassung einer Szene innerhalb und/oder außerhalb des Kraftfahrzeuges
DE10361869A1 (de) 2003-12-29 2005-07-28 Iqsun Gmbh Vorrichtung und Verfahren zum optischen Abtasten und Vermessen einer Umgebung
JP2005257325A (ja) 2004-03-09 2005-09-22 Denso Corp 距離検出装置
DE102005027208B4 (de) 2004-11-16 2011-11-10 Zoller & Fröhlich GmbH Verfahren zur Ansteuerung eines Laserscanners
US7941006B2 (en) * 2005-02-25 2011-05-10 Panasonic Corporation Pixel interpolating method and device
US7430365B2 (en) 2005-03-31 2008-09-30 Avago Technologies Ecbu (Singapore) Pte Ltd. Safe eye detection
US20060274918A1 (en) 2005-06-03 2006-12-07 Sarnoff Corporation Method and apparatus for designing iris biometric systems for use in minimally constrained settings
JP2007187618A (ja) * 2006-01-16 2007-07-26 Omron Corp 物体識別装置
US20070189455A1 (en) 2006-02-14 2007-08-16 Accuray Incorporated Adaptive x-ray control
WO2007125081A1 (en) 2006-04-27 2007-11-08 Metris N.V. Optical scanning probe
US7865299B2 (en) 2006-09-14 2011-01-04 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for predicting a future position of a vehicle using numerical integration
US7580547B2 (en) * 2006-10-24 2009-08-25 Iteris, Inc. Electronic traffic monitor
AU2008283053A1 (en) 2007-04-20 2009-02-05 Lucid Dimensions, Inc. Curved sensor array apparatus and methods
TWI355615B (en) 2007-05-11 2012-01-01 Ind Tech Res Inst Moving object detection apparatus and method by us
US7626538B2 (en) * 2007-10-24 2009-12-01 Northrop Grumman Systems Corporation Augmented passive tracking of moving emitter
US7852461B2 (en) 2007-11-15 2010-12-14 Microsoft International Holdings B.V. Dual mode depth imaging
US20090140887A1 (en) 2007-11-29 2009-06-04 Breed David S Mapping Techniques Using Probe Vehicles
USRE46930E1 (en) 2007-12-21 2018-07-03 Leddartech Inc. Distance detection method and system
KR100914961B1 (ko) 2008-01-23 2009-09-02 성균관대학교산학협력단 구조광 기반 3차원 카메라의 최적 노출 결정방법 및 시스템
CN101978286B (zh) 2008-03-20 2014-03-05 特林布尔公司 具有增加的效率的大地测量扫描器
KR100976682B1 (ko) 2008-04-04 2010-08-18 주식회사 하이닉스반도체 반도체 메모리 소자 및 그 제조 방법
US9041915B2 (en) * 2008-05-09 2015-05-26 Ball Aerospace & Technologies Corp. Systems and methods of scene and action capture using imaging system incorporating 3D LIDAR
TW201005673A (en) * 2008-07-18 2010-02-01 Ind Tech Res Inst Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system
US8111923B2 (en) * 2008-08-14 2012-02-07 Xerox Corporation System and method for object class localization and semantic class based image segmentation
US9188980B2 (en) 2008-09-11 2015-11-17 Deere & Company Vehicle with high integrity perception system
EP2362936B1 (en) 2008-10-28 2012-10-17 3Shape A/S Scanner with feedback control
US20100157280A1 (en) * 2008-12-19 2010-06-24 Ambercore Software Inc. Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions
EP2204670B1 (en) * 2008-12-23 2014-06-11 Sony Corporation Adaptive sensing system
US8290208B2 (en) 2009-01-12 2012-10-16 Eastman Kodak Company Enhanced safety during laser projection
US8439842B2 (en) 2009-01-29 2013-05-14 General Electric Company Method and device for controlling transmission power of an active transducer
US20100204974A1 (en) * 2009-02-09 2010-08-12 Utah State University Lidar-Assisted Stero Imager
DE102009009047A1 (de) * 2009-02-16 2010-08-19 Daimler Ag Verfahren zur Objektdetektion
US20100235129A1 (en) * 2009-03-10 2010-09-16 Honeywell International Inc. Calibration of multi-sensor system
US8164617B2 (en) * 2009-03-25 2012-04-24 Cisco Technology, Inc. Combining views of a plurality of cameras for a video conferencing endpoint with a display wall
JP2011009514A (ja) 2009-06-26 2011-01-13 Renesas Electronics Corp 半導体装置の製造方法
US8547374B1 (en) 2009-07-24 2013-10-01 Lockheed Martin Corporation Detection and reconstruction of 3D objects with passive imaging sensors
US8125622B2 (en) 2009-07-28 2012-02-28 Applied Concepts, Inc. Lidar measurement device with target tracking and method for use of same
US8441622B2 (en) * 2009-07-28 2013-05-14 Applied Concepts, Inc. Lidar measurement device for vehicular traffic surveillance and method for use of same
US8116527B2 (en) * 2009-10-07 2012-02-14 The United States Of America As Represented By The Secretary Of The Army Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background
JP5257700B2 (ja) 2009-10-30 2013-08-07 トヨタ自動車株式会社 リチウム二次電池
US8446492B2 (en) * 2009-12-10 2013-05-21 Honda Motor Co., Ltd. Image capturing device, method of searching for occlusion region, and program
SG182409A1 (en) * 2010-01-07 2012-08-30 Shilat Optronics Ltd Three dimensional measurement system
WO2011104706A1 (en) 2010-02-23 2011-09-01 Ben-Gurion University Of The Negev Research And Development Authority A system and method for providing 3d imaging
US8587686B1 (en) 2010-03-16 2013-11-19 University Of Central Florida Research Foundation, Inc. Hybrid differential optical sensing imager
US8736818B2 (en) * 2010-08-16 2014-05-27 Ball Aerospace & Technologies Corp. Electronically steered flash LIDAR
US8648702B2 (en) * 2010-08-20 2014-02-11 Denso International America, Inc. Combined time-of-flight and image sensor systems
EP2615596A4 (en) 2010-09-08 2017-12-06 Toyota Jidosha Kabushiki Kaisha Moving-object prediction device, virtual-mobile-object prediction device, program, mobile-object prediction method, and virtual-mobile-object prediction method
JP5839971B2 (ja) * 2010-12-14 2016-01-06 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
KR101190789B1 (ko) * 2010-12-30 2012-10-11 주식회사 와이즈오토모티브 차량의 거리 측정 장치 및 방법
US8908159B2 (en) 2011-05-11 2014-12-09 Leddartech Inc. Multiple-field-of-view scannerless optical rangefinder in high ambient background light
US8791851B2 (en) 2011-06-02 2014-07-29 International Business Machines Corporation Hybrid millimeter wave imaging system
US10007330B2 (en) 2011-06-21 2018-06-26 Microsoft Technology Licensing, Llc Region of interest segmentation
KR101680186B1 (ko) * 2011-08-30 2016-11-28 삼성전자주식회사 영상 촬영 장치 및 그 제어 방법
US20130107065A1 (en) 2011-10-27 2013-05-02 Qualcomm Incorporated Inertial sensor aided stationary object detection in videos
US10071687B2 (en) 2011-11-28 2018-09-11 Magna Electronics Inc. Vision system for vehicle
US8607169B2 (en) * 2011-12-28 2013-12-10 Elitetech Technology Co., Ltd. Intelligent defect diagnosis method
USRE48914E1 (en) 2012-03-02 2022-02-01 Leddartech Inc. System and method for multipurpose traffic detection and characterization
KR20130137074A (ko) * 2012-06-06 2013-12-16 삼성전자주식회사 3차원 지도를 이용한 증강 정보 제공 장치 및 방법
US9898829B2 (en) 2012-09-18 2018-02-20 Hanwha Techwin Co., Ltd. Monitoring apparatus and system using 3D information of images and monitoring method using the same
CN102914262B (zh) * 2012-09-29 2015-02-11 北京控制工程研究所 一种基于附加视距的非合作目标贴近测量方法
US9625994B2 (en) 2012-10-01 2017-04-18 Microsoft Technology Licensing, Llc Multi-camera depth imaging
US9111444B2 (en) * 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
CN102944224B (zh) * 2012-11-09 2014-08-27 大连理工大学 一种无人驾驶车的自动环境感知系统的工作方法
US11509880B2 (en) 2012-11-14 2022-11-22 Qualcomm Incorporated Dynamic adjustment of light source power in structured light active depth sensing systems
US10424974B2 (en) * 2012-12-31 2019-09-24 Muthukumar Prasad Ambient intelligence based environment safe interference free closed loop wireless energy transfering/receiving network with highly flexible active adaptive self steering multilevel multicast coherent energy power streams
GB201301281D0 (en) 2013-01-24 2013-03-06 Isis Innovation A Method of detecting structural parts of a scene
US9083960B2 (en) 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
GB201303076D0 (en) * 2013-02-21 2013-04-10 Isis Innovation Generation of 3D models of an environment
US9398287B2 (en) * 2013-02-28 2016-07-19 Google Technology Holdings LLC Context-based depth sensor control
US8761594B1 (en) 2013-02-28 2014-06-24 Apple Inc. Spatially dynamic illumination for camera systems
US9063549B1 (en) * 2013-03-06 2015-06-23 Google Inc. Light detection and ranging device with oscillating mirror driven by magnetically interactive coil
WO2014138697A1 (en) * 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8996224B1 (en) * 2013-03-15 2015-03-31 Google Inc. Detecting that an autonomous vehicle is in a stuck condition
AU2014239979B2 (en) * 2013-03-15 2017-06-22 Aurora Operations, Inc. Methods, systems, and apparatus for multi-sensory stereo vision for robotics
US11172126B2 (en) 2013-03-15 2021-11-09 Occipital, Inc. Methods for reducing power consumption of a 3D image capture system
US9164511B1 (en) 2013-04-17 2015-10-20 Google Inc. Use of detected objects for image processing
US9424650B2 (en) * 2013-06-12 2016-08-23 Disney Enterprises, Inc. Sensor fusion for depth estimation
BE1021971B1 (nl) * 2013-07-09 2016-01-29 Xenomatix Nv Omgevingssensorsysteem
US20150071541A1 (en) * 2013-08-14 2015-03-12 Rice University Automated method for measuring, classifying, and matching the dynamics and information passing of single objects within one or more images
US9315192B1 (en) * 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
KR101549929B1 (ko) 2014-02-13 2015-09-03 고려대학교 산학협력단 깊이 지도를 생성하는 방법 및 장치
US9390328B2 (en) * 2014-04-25 2016-07-12 Xerox Corporation Static occlusion handling using directional pixel replication in regularized motion environments
US9098754B1 (en) * 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
US10386464B2 (en) * 2014-08-15 2019-08-20 Aeye, Inc. Ladar point cloud compression
US9378554B2 (en) * 2014-10-09 2016-06-28 Caterpillar Inc. Real-time range map generation
CN104567917B (zh) 2014-12-18 2016-01-13 北京控制工程研究所 基于动力学特性的变步长再入飞行器位置速度预测方法
US9678210B2 (en) * 2014-12-19 2017-06-13 Caterpillar Inc. Error estimation in real-time visual odometry system
CN112665556B (zh) 2015-04-01 2023-09-05 瓦亚视觉传感有限公司 使用被动和主动测量生成场景的三维地图
CN104828664B (zh) * 2015-04-03 2020-05-22 奥的斯电梯公司 自动调试系统和方法
KR101835434B1 (ko) * 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
CN107301651A (zh) 2016-04-13 2017-10-27 索尼公司 对象跟踪装置和方法
US10891779B2 (en) * 2016-07-13 2021-01-12 Naked Labs Austria Gmbh Efficient volumetric reconstruction with depth sensors
KR102618443B1 (ko) * 2016-12-09 2023-12-27 톰톰 글로벌 콘텐트 비.브이. 비디오 기반 위치결정 및 매핑을 위한 방법 및 시스템
US20210129868A1 (en) 2017-02-06 2021-05-06 Vayavision Sensing Ltd. Computer aided driving
US10445928B2 (en) 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
JP6713946B2 (ja) * 2017-03-31 2020-06-24 株式会社Ｓｏｋｅｎ 車載レーダ装置
US11292483B2 (en) 2018-02-28 2022-04-05 VayaVision Sensing, Ltd. Managing a change in a physical property of a vehicle due to an external object
US11061406B2 (en) * 2018-10-22 2021-07-13 Waymo Llc Object action classification for autonomous vehicles
US10832438B2 (en) * 2018-12-19 2020-11-10 Murat Gozu Object distancing system for a vehicle
WO2020154966A1 (en) * 2019-01-30 2020-08-06 Baidu.Com Times Technology (Beijing) Co., Ltd. A rgb point clouds based map generation system for autonomous vehicles
EP3707473A4 (en) * 2019-01-30 2020-12-30 Baidu.com Times Technology (Beijing) Co., Ltd. REAL-TIME MAP GENERATION SYSTEM FOR AUTONOMOUS VEHICLES
US11087494B1 (en) * 2019-05-09 2021-08-10 Zoox, Inc. Image-based depth data and localization
WO2020241954A1 (ko) * 2019-05-31 2020-12-03 엘지전자 주식회사 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
US11668798B2 (en) * 2019-11-14 2023-06-06 Nio Technology (Anhui) Co., Ltd. Real-time ground surface segmentation algorithm for sparse point clouds
US11606477B2 (en) 2020-01-20 2023-03-14 Instituto De Pesquisas Eldorado Multispectral camera
US11947359B2 (en) * 2020-02-14 2024-04-02 Micron Technology, Inc. Intelligent lidar sensors for autonomous vehicles
US11753006B2 (en) * 2020-06-08 2023-09-12 Robert Bosch Gmbh Representing objects in a surrounding environment of a vehicle using a frenet coordinate system
CA3125618C (en) 2020-07-21 2023-05-23 Leddartech Inc. Beam-steering device particularly for lidar systems
WO2022016277A1 (en) 2020-07-21 2022-01-27 Leddartech Inc. Systems and methods for wide-angle lidar using non-uniform magnification optics
CA3125623C (en) 2020-07-21 2023-06-27 Leddartech Inc. Beam-steering device particularly for lidar systems
US20230128756A1 (en) * 2021-10-22 2023-04-27 Argo AI, LLC Validating an sfm map using lidar point clouds

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6323941B1 (en) * 1999-08-06 2001-11-27 Lockheed Martin Corporation Sensor assembly for imaging passive infrared and active LADAR and method for same
US20010045981A1 (en) * 2000-05-24 2001-11-29 Joachim Gloger Camera-based precrash detection system
US6502053B1 (en) * 2000-06-12 2002-12-31 Larry Hardin Combination passive and active speed detection system
CN104137146A (zh) * 2011-12-29 2014-11-05 派尔高公司 用于利用前景对象分割的噪声过滤的视频编码的方法和系统
CN104094177A (zh) * 2012-01-30 2014-10-08 谷歌公司 基于感知不确定性的车辆控制

Also Published As

Publication number Publication date
EP4296721A3 (en) 2024-03-20
US20210293963A1 (en) 2021-09-23
US20230408279A1 (en) 2023-12-21
EP3283843A1 (en) 2018-02-21
CN112665556A (zh) 2021-04-16
US20160291154A1 (en) 2016-10-06
EP3283843A4 (en) 2019-02-27
US20220137214A1 (en) 2022-05-05
US20160292905A1 (en) 2016-10-06
EP4296721A2 (en) 2023-12-27
CN108271408A (zh) 2018-07-10
US20160291155A1 (en) 2016-10-06
US10024965B2 (en) 2018-07-17
US20210080575A1 (en) 2021-03-18
US10444357B2 (en) 2019-10-15
US11604277B2 (en) 2023-03-14
US20220236411A1 (en) 2022-07-28
US11725956B2 (en) 2023-08-15
KR20170132860A (ko) 2017-12-04
KR102614323B1 (ko) 2023-12-14
WO2016161104A1 (en) 2016-10-06
US11226413B2 (en) 2022-01-18
EP3283843C0 (en) 2024-01-10
CN108271408B (zh) 2020-12-04
EP3283843B1 (en) 2024-01-10

Similar Documents

Publication Publication Date Title
CN112665556B (zh) 使用被动和主动测量生成场景的三维地图
US10345447B1 (en) Dynamic vision sensor to direct lidar scanning
US11593950B2 (en) System and method for movement detection
US10491885B1 (en) Post-processing by lidar system guided by camera information
JP6672212B2 (ja) 情報処理装置、車両、情報処理方法およびプログラム
US10664974B2 (en) System and method for object detection using edge characteristics
US11294387B2 (en) Systems and methods for training a vehicle to autonomously drive a route
KR20190125517A (ko) 차량 온보드 센서들을 사용하여 날씨 상태들을 검출하는 방법들 및 시스템들
US11204610B2 (en) Information processing apparatus, vehicle, and information processing method using correlation between attributes
WO2019181284A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
CN112149460A (zh) 一种障碍物检测方法及装置
US20230237783A1 (en) Sensor fusion
US11668830B1 (en) System and method for performing active distance measurements
CN215495425U (zh) 复眼摄像系统及使用复眼摄像系统的车辆
RU2775817C2 (ru) Способ и система для обучения алгоритма машинного обучения с целью обнаружения объектов на расстоянии
US20220146640A1 (en) Methods and systems for providing scan data for decision making by a self-driving vehicle
TW202248963A (zh) 複眼攝像系統，使用複眼攝像系統的車輛及其影像處理方法
CN115440067A (zh) 复眼摄像系统、使用复眼摄像系统的车辆及其影像处理方法
CN114509772A (zh) 使用参考对象进行远程距离估计

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40050604

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant