CN108475058B - 估计对象接触时间的系统和方法、计算机可读介质 - Google Patents

估计对象接触时间的系统和方法、计算机可读介质 Download PDF

Info

Publication number
CN108475058B
CN108475058B CN201780005916.8A CN201780005916A CN108475058B CN 108475058 B CN108475058 B CN 108475058B CN 201780005916 A CN201780005916 A CN 201780005916A CN 108475058 B CN108475058 B CN 108475058B
Authority
CN
China
Prior art keywords
ttc
image
distance
map
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780005916.8A
Other languages
English (en)
Other versions
CN108475058A (zh
Inventor
F·蒙特罗扎
金劲男
D·科斯拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HRL Laboratories LLC
Original Assignee
HRL Laboratories LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/271,025 external-priority patent/US10275668B1/en
Application filed by HRL Laboratories LLC filed Critical HRL Laboratories LLC
Publication of CN108475058A publication Critical patent/CN108475058A/zh
Application granted granted Critical
Publication of CN108475058B publication Critical patent/CN108475058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种估计对象接触时间的系统和方法、计算机可读介质。描述了一种用于通过二维感测和三维感测的组合来利用障碍物的距离可靠地检测这些障碍物的机器人系统。在操作中，所述系统接收来自单眼视频的图像和来自距离传感器的、接近移动平台的场景的距离深度数据。所述图像被分割成多个感兴趣对象区域，并且通过估计运动场并对图像强度进行运算来计算接触时间(TTC)值。然后，通过估计所述多个感兴趣对象区域上的平均TTC值来生成二维(2D)TTC图。然后，通过将所述距离深度数据与图像融合来生成三维TTC图。最后，通过对所述2D TTC图和所述3D TTC图进行平均化来生成距离融合TTC图。

Description

估计对象接触时间的系统和方法、计算机可读介质
相关申请的交叉引用
本申请是2016年9月20日提交的美国序列号No.15/271,025的部分继续申请，其是2015年9月21日提交的美国临时申请No.62/221,523的非临时申请，这两者由此都通过引用并入本文中。
本申请也是2015年7月9日提交的美国序列号No.14/795,884的部分继续申请，其是2015年4月6日提交的美国序列号No.14/680,057的部分继续申请，这两者由此都通过引用并入本文中。
本申请也是2016年2月10日提交的美国临时申请No.62/293,649的非临时专利申请，其整体由此通过引用并入本文中。
有关联邦政府资助的研究和开发的声明
本发明是在由DARPA授予的合同No.HR011-09-C-000的政府支持下完成的。该政府拥有本发明的某些权利。
发明的背景
(1)技术领域
本发明涉及描述了一种用于通过二维感测和三维感测的组合来利用障碍物的距离可靠地检测这些障碍物的系统，并且更具体地说，涉及这样一种被用于为了自主导航目的而生成准确的接触时间图的系统。
(2)背景技术
障碍物检测和避开是为实现自主机器人和/或导航所需的至关重要的任务。一些系统利用距离传感器，诸如LIDAR或RADAR传感器(参见引入参考文献列表，参考文献No.1)，其具有提供对迫近障碍物碰撞的准确估计的能力。其它系统则尝试诸如使用单眼相机的较小传感器来检测并避开迫近的障碍物(参见参考文献NO.2、NO.3、NO.4和NO.5)。单眼相机实现针对自主系统的低SWaP要求；然而，使用单眼相机的主要挑战之一是每个相机帧本身固有地不能提供来自场景的深度数据。因此，深度信息和后续相机帧通常被用于给出对场景深度的估计。
然而，由于不一致的特征跟踪、少纹理环境、有限工作距离、和/或所需密集计算，因此其挑战在于，从被动视觉(passive vision)(光学流、立体声(stereo)、或运动恢复结构(structure from motion))可靠且快速地检测障碍物并估计接触时间或碰撞时间(TTC)值。主动距离感测可以提供到(远近两者)障碍物的绝对且无差错距离；然而，这些类型的传感器(即，二维(2D)激光扫描仪、三维(3D)光检测和测距(LIDAR)、或者红/绿/蓝/深度(RGB-D)相机)通常笨重/体积大，输出稀疏点云，以低帧速率操作，或者限于在室内可靠工作。
针对用于自主导航的障碍物检测和TTC估计开发了许多技术(并且还通常用于计算机视觉和机器人应用)。例如，大多数基于单眼/光学流的方法需要昂贵的计算，并且可能产生不可接受量的错误检测，同时仅提供相对的TTC。基于立体声的深度估计被限制于受基线长度约束的工作距离(通常较短的预见)，并且在无纹理环境和均匀表面上执行非常差。运动恢复结构至少需要在不同视点上拍摄多帧。通过被动感测(即，使用相机)的深度估计固有地涉及从像素域中的不确定性传播的误差(不匹配、缺乏特征)。另一方面，通过激光扫描仪或3D LIDAR传感器的主动感测可以提供比2D绝对且更准确的TTC或深度测量，但是这些类型的感测主要需要高SWaP(即，尺寸、重量、以及功率)并产生稀疏点云。使用2D和3D传感器的最佳融合尚未被很好地利用于高速导航。
现有的TTC图(或深度图)估计可以通过传感器模态来分解。与低SWaP约束最相关的是使用单个无源传感器(单眼相机)。基于比例变化的方法(参见参考文献No.5和NO.6)通常在计算上非常昂贵，因为它们依靠经由如同模板匹配的方法的特征跟踪和比例变化检测。这些方法也仅仅提供对象的相对深度，因为必须依靠图像分割来(例如)仅将前景与背景区分开来。绝对的TTC的缺乏和缓慢的处理速率使它们不适于快速反应必须是可实现的机动。
获得更准确的深度图可以通过使用学习方法(参见参考文献No.7和No.8)来进行。这些方法以较低的图像域(特征上的像素/滤波器)操作并且可以快速提供相对深度图，但是不能很好地推广到杂乱的环境，因为用于分类图像的学习模板不能很好地处理不可见的结构或对象。
用于TTC估计的更受欢迎的方法中的一个涉及光学流的计算(参见参考文献No.6、No.8和No.9)。然而，估计光学流依赖于运动视差。该方法通常需要跟踪帧之间的特征运动(消耗计算时间)，而无法跟踪沿着相机的光学轴发现的障碍物。另一种用于构建TTC图的流行方法通过立体声来实现(参见参考文献No.10和No.11)。这两种方法都快速计算准确的深度图，但它们受限于有关预见时间的相机对基线(camera pair baseline)，并且对象感知受限于表面的纹理和均匀性。如果希望使用运动恢复结构来构建更准确的TTC深度图(正如通常在立体声配置中的情况那样)，那么需要使用足够的(30帧或更多帧)(参见参考文献No.2)来构建可以很好地标识对象的密集图(dense map)。另选地，尽管实时深度图可以如在(参见参考文献No.14)中以点密度的损失来获得，但这种技术不适于对象的准确表示。
还有一些方法尝试融合多个信息源(立体声和单眼相机)(参见参考文献No.9)和(声纳、立体声、扫描激光测距仪)(参见参考文献No.12)。虽然深度图准确度显著提高，但对操作它们的系统的过高SWaP要求限制了任务持续时间以及机器人或自主平台的机动性。其它方法(参见参考文献No.13)提供了一个深度图，其中机器人可以被准确地定位，但对象将被稀疏地表示，因为运动恢复结构是登记辅助深度信息的关键方法。
虽然上面提到的每种现有技术的方法在它们自己的方面都很有效，但它们还没有能力在低SWaP约束条件下在杂乱环境中实现高速敏捷的探测和导航。因此，存在对这样一种系统的持续需要：其在自主导航方面以及时的方式为多种不同的任务提供快速且成功的障碍物检测和避开。
发明内容
本公开提供了一种用于使用视觉和距离传感器数据来估计对象接触时间以便进行自主导航的系统。在各个实施方式中，所述系统包括一个或更多个处理器和一存储器。所述存储器具有在上面编码的可执行指令，使得在执行所述指令时，所述一个或更多个处理器执行以下多个操作：诸如，将来自单眼视频的图像分割成多个感兴趣对象区域，所述图像是接近移动平台的场景；通过估计运动场并对图像强度进行运算来计算接触时间(TTC)值；通过估计所述多个感兴趣对象区域上的平均TTC值来生成二维TTC图；通过将来自距离传感器的距离深度数据与所述图像融合来生成三维TTC图；以及通过对所述2D TTC图和所述3DTTC图进行平均化来生成距离融合TTC图。
在另一方面，所述系统执行以下操作：检测所述距离融合TTC图中的一对象,并且生成用于使移动平台移动以避免与所述对象接触的命令(诸如，向左移动等)。
此外，在生成所述3D TTC图时，将距离数据读数与所述图像中的每个像素相关联。
在另一方面，在生成所述距离融合TTC图时，所述距离融合TTC图利用视差(disparity)的距离籽化传播(range-seeded propagation)来生成，并且与前景对象中的突出特征整合，以生成针对接近所述移动平台的所述场景中的对象的精确障碍物边界和TTC。
在又一方面，在将来自所述单眼视频的图像分割成多个感兴趣对象区域时，前景检测器被用于分割所述图像的前景内的多个对象。
另外，脉冲神经网络被用于通过估计运动场并对图像强度进行运算来计算接触时间(TTC)值。
最后，本发明还包括一种计算机程序产品和计算机实现方法。所述计算机程序产品包括存储在非暂时性计算机可读介质上的计算机可读指令，所述计算机可读指令可通过具有一个或更多个处理器的计算机执行，使得在执行所述指令时，所述一个或更多个处理器执行本文列出的操作。另选地，所述计算机实现方法包括使计算机执行这种指令并且执行所得操作的动作。
附图说明
根据下面结合参照附图对本发明各个方面的详细描述，本发明的目的、特征以及优点将更清楚，在附图中：
图1是描绘根据本发明的各个实施方式的系统的部件的框图；
图2是具体实施本发明的方面的计算机程序产品的例示图；
图3是根据单眼视觉的接触时间(TTC)图估计的例示图；
图4A是基于脉冲的碰撞检测架构的例示图，其中，脉冲阶段指示碰撞警告；
图4B是基于脉冲的碰撞检测架构的第一部分的例示图；
图4C是基于脉冲的碰撞检测架构的第二部分的例示图；
图5是未分割的网格化图像上的二维(2D)TTC计算的例示图；
图6是分割图像上的TTC计算的例示图；以及
图7是三维(3D)距离信息的例示图，其可以在本文所述系统的框架内与视觉无缝地组合以用于长距离、密集的TTC地图。
具体实施方式
本发明涉及描述了一种用于通过二维感测和三维感测的组合来利用障碍物的距离可靠地检测这些障碍物的系统，并且更具体地说，涉及这样一种被用于为了自主导航目的而生成准确的接触时间图的系统。呈现以下描述以使本领域普通技术人员能够进行和使用本发明并将其并入特定应用的背景中。各种修改例以及不同应用中的多种用途对于本领域技术人员来说是显而易见的，并且本文定义的一般原理可以被应用于广泛的方面。因此，本发明不旨在被限于所呈现的方面，而是符合与本文所公开原理和新颖特征相一致的最广范围。
在下面的详细描述中，阐述了许多具体细节，以便提供对本发明的更详尽理解。然而，对于本领域技术人员显而易见的是，本发明可以在不必受限于这些具体细节的情况下来实践。在其它情况下，公知结构和装置以框图形式而不是以细节示出，以便避免模糊本发明。
将读者的注意引向与本说明书同时提交的所有文件和文档，并且所述文件和文档可以利用本说明书开放以供公众查阅，所有这些文件和文档的内容通过引用并入本文中。本说明书中公开的所有特征(包括任何所附权利要求、摘要、以及附图)可以用服务相同、等同或相似目的的另选特征来代替，除非另外加以明确规定。因此，除非另外加以明确规定，所公开的每个特征仅仅是通用系列的等同或相似特征中的一个示例。
此外，权利要求中没有明确陈述“用于”执行指定功能“的装置”或“用于”执行特定功能“的步骤”的任何元素不被解释为如在35 U.S.C.Section 112,Paragraph 6中指定的“装置”或“步骤”条款。特别地，在本文的权利要求书中“…的步骤”或“……的动作”的使用不旨在援引35.U.S.C.112,Paragraph 6的规定。
在详细描述本发明之前，首先提供了引用参考文献的列表。接下来，提供了对本发明各个主要方面的描述。随后，介绍向读者提供了对本发明的一般理解。最后，提供本发明的各个实施方式的具体细节以给出具体方面的理解。
(1)并入的参考文献列表
贯穿本申请引用以下参考文献。为了清楚和方便起见，这些参考文献在此被列为读者的中心资源。下列参考文献通过引用并入于此，就像在此完全陈述的一样。这些参考文献通过参照如下对应文献参考号而在本申请中加以引用，如下：
1.M.S.Darms,P.E.Rybski,C.Baker and C.Urmson,"Obstacle detection andtracking for the urban challenge,"in IEEE Transactions on IntelligentTransportation Systems,2009。
2.H.Alvarez,L.Paz,J.Sturm and D.Cremers,"Collision Avoidance forQuadrotors with a Monocular Camera,”in International Symposium onExperimental Robotics,2014。
3.G.De Croon,E.De Weerdt,C.De Wagter,B.Remes and R.Ruijsink,"Theappearance variation cue for obstacle avoidance,"in IEEE Transactions onRobotics,2012。
4.J.-O,Lee,K.-H.Lee,S.-H.Park,S.-G.Im and J.Park,"Obstacle avoidancefor small UAVs using monocular vision,"in Aircraft Engineering and AerospaceTechnology,2011。
5.T.Mori and S.Scherer,"First results in detecting and avoidingfrontal obstacles from a monocular camera for micro unmanned aerialvehicles,"in IEEE International Conference on Robotics and Automation(ICRA),2013。
6.Sagar and Viser,Obstacle Avoidance by combining backgroundsubtraction,optical flow and proximity Estimation,International Micro AirVehicle Conference and Competition 2014(IMAV),Delft,The Netherlands,2014。
7.Lenz,Saxena,Low-Power Parallel Algorithms for Single Image basedObstacle Avoidance in Aerial Robots,International Conference on IntelligentRobots and Systems(IROS)2012。
8.Roberts and Dellaert,Direct Superpixel Labeling for Mobile RobotNavigation,International Conference on Intelligent Robots and System(IROS)2014。
9.Sukhatme,Combined Optical-Flow and Stereo-Based Navigation of UrbanCanyons for UAV,International Conference on Robots and Systems(IROS),2005。
10.Roland Brockers,Yoshiaki Kuwata,Stephan Weiss,Lawrence Matthies,Micro air Vehicle Autonomouse Obstacle Avoidance from Stereo-Vision,UnmannedSystems Technology,2014。
11.Andrew J.Barry and Russ Tedrake,"Pushbroom stereo for high-speednavigation in cluttered environments,"In 3rd Workshop on Robots in Clutter:Perception and Interaction in Clutter,Chicago,Illinois,September 2014。
12.Matthias Nieuwenhuisen,David Droeschel,Dirk Holz,Sven Behnke,"Omni-directional Obstacle Perception and Collision Avoidance for Micro AerialVehicles,"Robotics Science and Systems(RSS)2013。
13.J.Zhang,M.Kaess,and S.Singh,"Real Time Depth Enhanced MonocularOdometry,"International Conference on Intelligent Robots and System(IROS)2014。
14.Georg Klein and David Murray Parallel Tracking and Mapping forSmall AR Workspaces In Proc.International Symposium on Mixed and AugmentedReality(2007)。
15.B.K.P Horn&B.G.Schunck,"Determining Optical Flow,"ArtificialIntelligence,Vol.16,No.1-3,August 1981,pp.185-203。
16.Alexander L.Honda,Yang Chen,Deepak Khosla,"Robust static andmoving object detection via multi-scale attentional mechanisms",Proceedingsof SPIE Vol.8744,87440S(2013)。
17.U.S.Patent Application Serial No.14/795,884,filed July 09,2015,entitled,"System and Method for Real-Time Collision Detection"。
(2)主要方面
本发明的各个实施方式包括三个“主要”方面。第一个方面是被用于生成用于自主导航的准确的接触时间图的系统。该系统通常采用计算机系统操作软件的形式或采用“硬编码”指令集的形式。该系统可以被并入提供不同功能的各种各样的装置中。第二个主要方面是通常采用软件的形式的、使用数据处理系统(计算机)操作的方法。第三个主要方面是计算机程序产品。该计算机程序产品通常表示存储在诸如光学存储装置(例如，光盘(CD)或数字通用盘(DVD))或诸如软盘或磁带的磁存储装置的非暂时性计算机可读介质上的计算机可读指令。计算机可读介质的其它非限制示例包括：硬盘、只读存储器(ROM)、以及闪存型存储器。这些方面将在下面更详细地描述。
图1中提供了描绘本发明的系统(即，计算机系统100)的示例的框图。计算机系统100被配置成执行与程序或算法相关联的计算、处理、操作、和/或功能。在一个方面，本文讨论的某些处理和步骤被实现为驻留在计算机可读存储器单元内并由计算机系统100的一个或更多个处理器执行的一系列指令(例如，软件程序)。在执行时，所述指令使计算机系统100执行特定动作并展现特定行为，如本文所描述的。
计算机系统100可以包括被配置成传送信息的地址/数据总线102。另外，一个或更多个数据处理单元(诸如，处理器104(或多个处理器)与地址/数据总线12联接。处理器104被配置成处理信息和指令。在一方面，处理器104是微处理器。另选地，处理器14可以是不同类型的处理器(诸如，并行处理器、专用集成电路(ASIC)、可编程逻辑阵列(PLA)、复杂可编程逻辑器件(CPLD)、或现场可编程门阵列(FPGA))。
计算机系统100被配置成利用一个或更多个数据存储单元。计算机系统100可以包括与地址/数据总线102联接的易失性存储器单元106(例如，随机存取存储器(“RAM”)、静态RAM、动态RAM等)，其中，易失性存储器单元106被配置成存储用于处理器104的信息和指令。计算机系统100还可以包括与地址/数据总线102联接的非易失性存储器单元108(例如，只读存储器(“ROM”)、可编程ROM(“PROM”)、可擦除可编程ROM(“EPROM”)、电可擦除可编程ROM(“EEPROM”)、闪存等)，其中，非易失性存储器单元108被配置成存储用于处理器104的静态信息和指令。另选地，计算机系统100可以执行从诸如“云”计算中的在线数据存储单元检索的指令。在一方面，计算机系统10还可以包括与地址/数据总线102联接的一个或更多个接口(诸如，接口110)。所述一个或更多个接口被配置成使得计算机系统100能够与其它电子装置和计算机系统接口连接。由所述一个或更多个接口实现的通信接口可以包括有线(例如，串行线缆、调制解调器、网络适配器等)和/或无线(例如，无线调制解调器、无线网络适配器等)通信技术。
在一个方面，计算机系统100可以包括与地址/数据总线302联接的输入装置112，其中，输入装置112被配置成将信息和命令选择传送至处理器100。根据一个方面，输入装置112是字母数字输入装置(诸如，键盘)，其可以包括字母数字键和/或功能键。另选地，输入装置112可以是除字母数字入装置之外的其它输入装置。在一方面，计算机系统100可以包括与地址/数据总线102联接的光标控制装置114，其中，光标控制装置114被配置成将用户输入信息和/或命令选择传送至处理器10。在一方面，光标控制装置114使用诸如鼠标器、轨迹球、轨迹板、光学跟踪装置、或触摸屏的装置来实现。前述尽管如此，但在一方面，诸如响应于与输入装置112相关联的特殊键和键序列命令的使用，光标控制装置114经由来自输入装置112的输入而被引导和/或激活。在另选方面，光标控制装置114被配置成通过语音命令指引或引导。
在一方面，计算机系统100还可以包括与地址/数据总线102联接的一个或更多个可选计算机可用数据存储装置(诸如，存储装置116)。存储装置1.16被配置成存储信息和/或计算机可执行指令。在一个方面，存储装置116是诸如磁或光盘驱动器(例如，硬盘驱动器(“HDD”)、软盘、光盘只读存储器(“CD-ROM”)、数字通用盘(“DVD”))的存储装置。依据一个方面，显示装置118与地址/数据总线102联接，其中，显示装置118被配置成显示视频和/或图形。在一方面，显示装置118可以包括：阴极射线管(“CRT”)、液晶显示器(“LCD”)、场发射显示器(“FED”)、等离子体显示器、或适于显示视频和/或图形图像以及用户可识别的字母数字字符的任何其它显示装置。
本文所呈现的计算机系统100是根据一方面的示例计算环境。然而，计算机系统300的非限制示例并不严格受限于作为计算机系统。例如，一个方面提供了计算机系统100表示可以根据本文所述各个方面使用的一类数据处理分析。此外，还可以实现其它计算系统。实际上，本技术的精神和范围不限于任何单一数据处理环境。因此，在一方面，使用由计算机执行的诸如程序模块的计算机可执行指令来控制或实现本技术的各个方面的一个或更多个操作。在一个实现方案中，这样的程序模块包括被配置成执行特定任务或实现特定抽象数据类型的例程、程序、对象、部件、和/或数据结构。另外，一方面提供了本技术的一个或更多个方面通过利用一个或更多个分布式计算环境来实现，诸如，任务由通过通信网络链接的远程处理装置执行的环境，或者诸如各种程序模块位于包括存储器-存储装置的本地和远程计算机存储介质二者中的环境。
图2中描绘了具体实施本发明的计算机程序产品(即，存储装置)的例示图。该计算机程序产品被描绘为软盘200或诸如CD或DVD的光盘202。然而，如先前提到，该计算机程序产品通常表示存储在任何兼容的非暂时性计算机可读介质上的计算机可读指令。如关于本发明所使用的术语“指令”通常指示要在计算机上执行的一组操作，并且可以表示整个程序的片段或单个分离软件模块。“指令”的非限制示例包括计算机程序代码(源或目标代码)和“硬编码”电子器件(即，编码到计算机芯片中的计算机操作)。该“指令”被存储在任何非暂时性计算机可读介质上，诸如，存储在计算机的存储器中或软盘、CD-ROM，以及闪存驱动器上。无论如何，所述指令被编码在非暂时性计算机可读介质上。
(3)介绍
障碍物检测和避开是为实现自主机器人和/或导航所需的至关重要的任务。在操作中，深度信息和后续相机帧通常被用于给出场景深度的估计。给出该深度(以及深度随时间的变化)，自主导航系统可以估计可以被用于检测和避开迫近障碍物的接触时间或碰撞时间(TTC)值。本公开的系统通过将单眼障碍物检测和避开(诸如，参考文献No.17中所示的那些系统)与LIDAR系统融合来改进现有技术。因此，本公开致力于这样一种机器人系统，即，其用于经由二维(2D)(例如，图像)和三维(3D)(例如，LIDAR)感测以生成被用于避开障碍物的准确的密集接触时间(TTC)图来利用障碍物距离可靠地检测这些障碍物。
通过估计TTC，该系统可以确定是否存在针对自主导航的迫近障碍物。而且，通过估计不同感兴趣区域中的TTC，该系统能够为路径规划做出计算选择。该系统的独特方面包括：(1)基于视觉的迫近前景检测，其将神经形态(或基于光学流)的障碍检测与用于高速反应导航的前景-背景估计相结合，和(2)长距稀疏3D与密集单眼相机的融合，以给出用于障碍物检测的鲁棒(和绝对的)密集TTC图。该系统的神经形态和融合解决方案工作于复杂的杂乱环境，包括诸如户外发现的树枝或室内倾倒对象的小型障碍物。该系统还使用广角检测来提供所有环境条件(包括结构化/非结构化环境)下的准确检测，以在高速进行剧烈机动(maneuver)时将感兴趣对象保持在视野中。
本文所述系统因多个理由而极大地改进了现有技术。例如，TTC图估计的生物启发式和神经形态学方法是有效的(通过搜索空间减少)、可靠的(通过前景分割)以及快速且低功耗的(通过神经形态实现)。通过使用前景/背景分离算法预处理传入视频可以极大地加速TTC计算。前景检测的目的是定位潜在的障碍物区域并将它们传递给TTC估计阶段，者将TTC的运行时间处理量显著减少2至10倍(假设目标占据整个场景的10％-50％)。由于感兴趣区域(ROI)中的TTC值可以仅被集成在前景区域上，因而其还将增加TTC的鲁棒性，从而减少误报。这也将经由背景(例如，天空、地平面)的消除来增加针对场景噪声的鲁棒性。此外，当3D距离感测是可用的或者被需要完成特定任务(例如，当照明条件显著变化，需要尽早检测远距障碍物，或者系统净荷中有额外空间时)时，该系统的基于视觉的算法可以通过将网格化单眼TTC估计与基于3D的TTC估计相结合以增加准确性，利用3D距离信息来增强。网格化的TTC估计还通过采用TTC图而不是离散化世界的形式表示对象信息而是存储高效的。
如本领域技术人员应当理解，本公开的系统可以应用于出于障碍物检测和避开的目的而需要高准确度的TTC图的任何系统。例如，最终的距离融合TTC图对于自主移动平台(例如，无人驾驶飞行器(UAV)和自动驾驶汽车)上的障碍物检测和避开是有用的。这样的移动平台非常适合本发明，因为许多这样的系统致力于自主导航和无碰撞探测。以高准确度检测和避开障碍物的能力增加了任务成功的可能性，并且对于其它后续处理(诸如，全球导航和路径规划模块)来说也是必需的。有用应用的其它非限制示例包括：室内测绘、危险/禁区勘探、环境监视、虚拟游览、盲人辅助等。为了进一步理解，下面提供了有关该系统的具体细节。
(4)各个实施方式的具体细节
如上所述，本公开的系统提供改进的2D TTC计算系统与插值的LIDAR数据(及其对应3D TTC估计或图)的融合。首先并且如图3所示，该系统接收被用于背景-前景分割(即，神经形态前景检测302)的预TTC计算阶段的传感器数据300(例如，来自单眼视频相机)。然后，执行用于TTC计算的基础方法(即，神经形态脉冲TTC估计(neuromorphic spiking TTCestimation)304)，以生成2D TTC图306。最后，执行基于LIDAR的TTC估计以生成绝对3D TTC图，并且执行其与2D系统的融合，以生成所得距离融合TTC图(如图7所示)。
换句话说，基于针对“迫近”障碍物检测的基于脉冲的处理的现有技术工作(参见参考文献No.17)，和根据在高杂乱下快速移动相机平台的前景-背景估计(参见参考文献No.16)，本发明对它们进行增强和组合，以使能实现相机帧中的障碍物的准确且高更新速率检测和TTC估计。
对于神经形态前景检测302来说，该系统使用基于视觉的迫近前景探测器与TTC估计，其受到蝗虫(locust)迫近检测模型的启发并且使用脉冲神经网络(SNN)方法(参见参考文献No.17)来实现。先前已经证明，基于脉冲响应的TTC图可以利用快速光学流计算在局部图像区域中被补充(参见参考文献No.17)。相机旋转经由IMU积分和校正单应性变换而被补偿。
在图4A中描绘了提供神经形态前景检测302的迫近前景检测器的示例。在该示例中，迫近前景检测器需要每像素5个神经元，并且可以被有效地映射至基于脉冲的处理器(例如，320×240图像，30Hz，2.5mW)。应注意，脉冲域处理不是该系统的要求，因为其也可以在非脉冲域中运行。
更具体地说，图4A示出了根据本发明的一些实施方式的脉冲碰撞检测模型的总体图。该图例示了图4B中所示的脉冲碰撞检测模型的第一部分和图4C中所示的脉冲碰撞检测模型(DCMD单元模型)的第二部分的组合。如图4A所描绘的，对于向左运动1300的检测，到模型左LGMD单元900的激发输入是针对向左移动的边缘的所有脉冲902，其是用于检测左视野800上的向左运动904的脉冲Reichardt检测器的输出。抑制(负)输入是针对向左移动的边缘的所有脉冲906，其是用于检测右视野802上的向左运动908的脉冲Reichardt检测器的输出。左脉冲累加器1206累积来自用于检测向左运动1300的模型左LGMD单元900的脉冲。上述对于检测向右运动1302、向上运动1304，以及向下运动1306来说也是成立的。如图4C所示，模型DCMD单元1214对所有脉冲累加器(元件1206、1208、1210、和1212)求和，并且决定是否生成碰撞标志1216。该处理在2015年7月9日提交的标题为“System and Method for Real-Time Collision Detection”的美国专利序列号No.4/795,884中进一步详细地描述，其全部内容通过引用并入本文中。
通过使用前景/背景分离算法预处理传入视频可以极大地加速TTC计算。前景检测302的目的是定位潜在的障碍物区域并将它们传递给TTC估计阶段(即，元件304)，从而将TTC的运行时间处理量显著减少2至10倍(假设目标占据整个场景的10％-50％)。由于ROI中的TTC值可以仅被整合在前景区域上，因而前景分离还将增加TTC的鲁棒性，从而减少误报。尽管可以将使用其它技术来进行前景检测302，但基于频谱残差突出性(spectralresidual saliency)(RS)的神经形态和生物启发式方法(参见参考文献No.16)因其速度和效率而是期望的。RS方法利用具有对数谱的(log-spectrum)平均是局部平滑的观察的自然图像的逆幂定律(inverse power law)。这使能基于各个图像的对数谱而非图像的整体来检测突出对象，从而流线化基于逐帧操作的处理。然后将该分割图像(来自元件302)馈送至2D TTC图构建方法。
关于本发明，该系统通过直接估计运动场并对图像强度进行运算，来使用单眼相机构建接触时间(TTC)图。允许简化TTC计算的基础假设是恒定亮度假设(如引用参考文献No.15)，并复制如下：
Figure GDA0002734763490000131
上面提供的方程是恒定亮度假设方程，如果E(x、y、t)是在时间t图像点(x、y)的亮度，那么假设该方程成立。即，假设随着一些特征的图像移动，其不会改变亮度。
障碍物检测的最简单情况是约束机器人沿着光学轴朝向平面对象运动，该平面对象的法线也垂直于相机的光学轴。在这种情境下，一点沿着垂直于光学轴的轴的运动(U、V)的分量是0。因此，使用透视投影方程并且采用导数，确定：
Figure GDA0002734763490000132
其可以简化如下：
CG+Et＝0
其中，C＝-W/Z＝1/TTC(Z＝沿着光学轴的空间中的像素位置，W＝所述像素位置的导数)，并且G＝xEx+yEy。现在，可以将上述公式化为最小二乘问题，其中，对在感兴趣区域中的所有像素求和：
Figure GDA0002734763490000133
在使该问题最小化并求解C(TTC的倒数)之后，获得以下结果：
Figure GDA0002734763490000134
直观地说，TTC被看作将图像强度的变化除以像素强度的时间变化。因为更靠近相机的对象会比背景中的对象更快地扩展，所以这直接转化为感兴趣区域上的较大Et和较小“径向梯度”，xEx+yEy。对于距离较更远的物体，情况正好相反；特别是对于梯度很强的纹理化良好的对象来说。
当该问题无法通过上述运动假设来简化时，必须采取更一般的方法。对于相对于垂直于光学轴的平面的任意运动或沿着光学轴的相对于任意平面的平移运动的情况来说，都具有封闭形式解决方案，其只需要针对采用三个未知数的三个方程的解。在运动和平面是后两种情况的组合的稍微更复杂的情况下，那么必须使用迭代方法。这里，由于方程的非线性性质，必须提供针对参数子集的初始猜测，在这之后，采用交替多次迭代来近似TTC。
如果期望更准确地定位对象，那么可以将该图像可以分区成较大的网格。虽然这允许待确定对象的较精细分辨率，但会确定更多分割对象，因为一些区域可能未充分纹理化来展现与其它区域相同的TTC。图5示出了没有前景背景分割的2D网格化方法。具体而言，图5描绘了分割图像的固定网格502。换句话说，该图像被分割成具有多个子区域的固定网格502。尽管为了清楚起见，描绘了单个TTC图形504，但应当明白，每个子区域都包括TTC图形504。每个TTC图形504示出了在固定网格502中的对应子区域506中TTC值随时间的变化。该线条(值120处)指示用于碰撞检测的预定阈值。在该示例中，如果TTC>120，那么在子区域506中可能存在碰撞。TTC图形504中的x轴是帧号，而y轴是碰撞帧。换句话说，移动平台将在y帧后碰撞障碍物。实际时间取决于感测的帧速率。例如，在每秒30帧(fps)的传感器系统中，y＝120，这意味着移动平台在与障碍物碰撞之前有四秒钟。
如果将分割图像馈送至2D TTC系统，那么可以获得更准确的估计。给定TTC的估计(这里被确定为碰撞帧)，可以使用帧速率(输入帧时间戳之间的差值)来计算碰撞之前的绝对时间。然后，给定速度估计，可以构建深度图，其可以被用于生成用于移动平台的移动命令(例如，以10英尺向右移动等)以使移动平台避免碰撞。使用Kinect RGBD传感器和安装在四轴飞行器上的核心i5 NUC进行了一次实验，以评估基于单眼视觉的接触时间。仅将深度数据用于地面实况，横跨室内对象类型和照明条件的范围，针对沿四轴飞行器的路径的多达3个对象，按大约90％的10m范围，估计TTC准确度。图6示出了一旦从原始图像602中消除了背景就获得的示例TTC图600，以及针对某个感兴趣区域的碰撞时间。
与图5中的TTC值网格不同，图6示出了从前景检测器302获得的每分割区域(在这种情况下，两棵树和一个停止标志)的TTC 600(如图3和4所示)。底部图形描绘了所得碰撞帧计算604，其示出了碰撞时间(以秒为单位)随着帧的进展而下降，意味着在该示例中，传感器平台正在接近对象并且在帧x处具有y秒接触。
本公开中的方法继续利用绝对距离数据来构建更准确的TTC图。由于感兴趣的是检测大距离内的对象，因而，全异的信息源必须被融合在一起。相机图像提供了在解析对象边界方面有用的信息，而3D LIDAR测距仪提供了随着到目标的距离增加而变得更稀疏且更分散的深度信息。
图7示出了本发明的基于视觉的框架可以怎样利用距离信息(例如，来自激光扫描仪)进行无缝增强以计算长距离TTC地图。具体而言，图7例示了TTC估计的基于高频视觉的方法(如图3和4所示)可以与由距离传感器(如LIDAR或激光扫描仪)提供的低频到中频距离数据相结合。到该融合系统的输入是单眼视频流700和距离数据702，而输出是可以如上所述使用的距离融合密集TTC图704。下面，进一步详细提供了详细的融合过程。
为了融合信息(即，单眼视频流700和距离数据702)，将每个LIDAR读数与(从视频流700获得的)图像中的像素相关联，以生成距离数据/相机融合706。为了构建密集的TTC图704，针对每个像素，都会搜索其相邻像素的匹配颜色值和距离读数，其中，搜索半径受到目标的距离和LIDAR扫描线分辨率支配。最终距离被确定为盒式滤波器的平均值，其中，每个元素通过像素相似性加权并锚定在滤波器的中心处。该方法具有超分辨稀疏3D点的效果；从而创建较密集的距离图(通过使用已知速度转换成绝对TTC图708)。
该处理的2D部分在图3中进行了描绘并且上面进行了描述，其中，单眼视频流700通过前景分离302和神经形态脉冲TTC估计304而继续进行以生成所得2D TTC图306。
最终步骤是对由2D和3D系统获得的TTC图306和708进行平均，以生成距离融合的TTC图704，这减少了错误检测并通过Kalman滤波融合提供绝对的TTC(深度)测量。本系统的融合算法经由视差的距离籽化传播并与前景对象中的突出特征相结合，来给出精确的障碍物边界和TTC。这种方法的一个关键好处是，它在3D空间中提供大约两到五倍的较高点云密度，这即使在3D点云空间中也可以被用于进行障碍物检测。
已经进行了一项实验，即，融合来自(由位于12051 Riverside Way Richmond,BC,Canada的Point Grey Research制造的)LadyBug相机和(由位于345 Digital Drive,Morgan Hill,CA 95037的Velodyne制造的)Velodyne HDL-32E LIDAR的数据，以检测障碍物并构建TTC图。实验结果表明，融合方案在距离25米处的人大小障碍物的检测准确度为80％(相比之下，仅有LIDAR，为47％)，并且融合结果与单独原始信息或2D TTC信息相比，在更大距离下具有更大概率(大于50％)。
3D点云群中的平均邻近点距离和密度可以直接影响障碍物检测的概率。例如，对于利用K均值聚类的人体对象检测来说，当放置在25米处时，该2D/3D融合算法仍可以检测到80％(相比之下，原始情况为<50％)。应注意到，根据障碍物检测/聚类算法中阈值定标器的选择，概率可能更高(更宽松的算法)或更低(更严格的算法)。
最后，虽然本发明已经根据多个实施方式进行了描述，但本领域普通技术人员应当容易地认识到本发明在其它环境中可以具有其它应用。应注意到，许多实施方式和实施方案都是可以的。此外，下面的权利要求书绝不是旨在将本发明的范围限于上述具体实施方式。另外，“用于…的装置”的任何陈述都旨在唤起对与元件和权利要求的装置加功能的解读，而不具体使用陈述“用于…的装置(means)”的任何元件不是旨在被解读为装置加功能元件，即使权利要求以其它方式包括了单词“装置(means)”。此外，虽然已经按特定次序陈述了特定的方法步骤，但方法步骤可以按任何期望次序发生并且落入本发明的范围内。

Claims (21)

1.一种用于使用视觉和距离传感器数据来估计对象接触时间以便进行自主导航的系统，该系统包括：
一个或更多个处理器和一存储器，所述存储器具有在上面编码的可执行指令，使得在执行所述指令时，所述一个或更多个处理器执行以下操作：
将来自单眼视频的图像分割成多个感兴趣对象区域，所述图像是接近移动平台的场景；
通过估计运动场并对图像强度进行运算来计算接触时间TTC值；
通过前景分离和神经形态脉冲TTC估计来估计所述多个感兴趣对象区域上的平均TTC值来生成二维2D TTC图；
将来自距离传感器的距离深度数据与所述图像融合，以生成三维3D TTC图；以及
通过对所述2D TTC图和所述3D TTC图进行平均化来生成距离融合TTC图。
2.根据权利要求1所述的系统，所述系统还包括以下操作：
检测所述距离融合TTC图中的一对象；以及
生成用于使移动平台移动以避免与所述对象接触的命令。
3.根据权利要求1所述的系统，其中，在生成所述3D TTC图时，将距离数据读数与所述图像中的每个像素相关联。
4.根据权利要求1所述的系统，其中，在生成所述距离融合TTC图时，所述距离融合TTC图利用视差的距离籽化传播来生成，并且与前景对象中的突出特征整合，以生成针对接近所述移动平台的所述场景中的对象的精确障碍物边界和TTC。
5.根据权利要求1所述的系统，其中，在将来自所述单眼视频的图像分割成多个感兴趣对象区域时，前景检测器被用于分割所述图像的前景内的多个对象。
6.根据权利要求1所述的系统，其中，脉冲神经网络被用于通过估计运动场并对图像强度进行运算来计算TTC值。
7.根据权利要求1所述的系统，其中，在生成所述3D TTC图时，将距离数据读数与所述图像中的每个像素相关联；
其中，在生成所述距离融合TTC图时，所述距离融合TTC图利用视差的距离籽化传播来生成，并且与前景对象中的突出特征整合，以生成针对接近所述移动平台的所述场景中的对象的精确障碍物边界和TTC；
其中，在将来自所述单眼视频的图像分割成多个感兴趣对象区域时，前景检测器被用于分割所述图像的前景内的多个对象；并且
其中，脉冲神经网络被用于通过估计运动场并对图像强度进行运算来计算TTC值。
8.一种用于使用视觉和距离传感器数据来估计对象接触时间以便进行自主导航的非暂时性计算机可读介质，该非暂时性计算机可读介质具有在上面编码的可执行指令，使得当由一个或更多个处理器执行所述指令时，所述一个或更多个处理器执行以下操作：
将来自单眼视频的图像分割成多个感兴趣对象区域，所述图像是接近移动平台的场景；
通过估计运动场并对图像强度进行运算来计算接触时间TTC值；
通过前景分离和神经形态脉冲TTC估计来估计所述多个感兴趣对象区域上的平均TTC值来生成二维2D TTC图；
将来自距离传感器的距离深度数据与所述图像融合，以生成三维3D TTC图；以及
通过对所述2D TTC图和所述3D TTC图进行平均化来生成距离融合TTC图。
9.根据权利要求8所述的非暂时性计算机可读介质，所述非暂时性计算机可读介质还包括用于使所述一个或更多个处理器执行以下操作的指令：
检测所述距离融合TTC图中的一对象；以及
生成用于使移动平台移动以避免与所述对象接触的命令。
10.根据权利要求8所述的非暂时性计算机可读介质，其中，在生成所述3D TTC图时，将距离数据读数与所述图像中的每个像素相关联。
11.根据权利要求8所述的非暂时性计算机可读介质，其中，在生成所述距离融合TTC图时，所述距离融合TTC图利用视差的距离籽化传播来生成，并且与前景对象中的突出特征整合，以生成针对接近所述移动平台的所述场景中的对象的精确障碍物边界和TTC。
12.根据权利要求8所述的非暂时性计算机可读介质，其中，在将来自所述单眼视频的图像分割成多个感兴趣对象区域时，前景检测器被用于分割所述图像的前景内的多个对象。
13.根据权利要求8所述的非暂时性计算机可读介质，其中，脉冲神经网络被用于通过估计运动场并对图像强度进行运算来计算TTC值。
14.根据权利要求8所述的非暂时性计算机可读介质，其中，在生成所述3D TTC图时，将距离数据读数与所述图像中的每个像素相关联；
其中，在生成所述距离融合TTC图时，所述距离融合TTC图利用视差的距离籽化传播来生成，并且与前景对象中的突出特征整合，以生成针对接近所述移动平台的所述场景中的对象的精确障碍物边界和TTC；
其中，在将来自所述单眼视频的图像分割成多个感兴趣对象区域时，前景检测器被用于分割所述图像的前景内的多个对象；并且
其中，脉冲神经网络被用于通过估计运动场并对图像强度进行运算来计算TTC值。
15.一种用于使用视觉和距离传感器数据来估计对象接触时间以便进行自主导航的计算机实现的方法，该方法包括以下动作：
使一个或更多个处理器执行编码在非暂时性计算机可读介质上的指令，使得在执行时，所述一个或更多个处理器执行以下操作：
将来自单眼视频的图像分割成多个感兴趣对象区域，所述图像是接近移动平台的场景；
通过估计运动场并对图像强度进行运算来计算接触时间TTC值；
通过前景分离和神经形态脉冲TTC估计来估计所述多个感兴趣对象区域上的平均TTC值来生成二维2D TTC图；
将来自距离传感器的距离深度数据与所述图像融合，以生成三维3D TTC图；以及
通过对所述2D TTC图和所述3D TTC图进行平均化来生成距离融合TTC图。
16.根据权利要求15所述的方法，所述方法还包括以下操作：
检测所述距离融合TTC图中的一对象；以及
生成用于使移动平台移动以避免与所述对象接触的命令。
17.根据权利要求15所述的方法，其中，在生成所述3D TTC图时，将距离数据读数与所述图像中的每个像素相关联。
18.根据权利要求15所述的方法，其中，在生成所述距离融合TTC图时，所述距离融合TTC图利用视差的距离籽化传播来生成，并且与前景对象中的突出特征整合，以生成针对接近所述移动平台的所述场景中的对象的精确障碍物边界和TTC。
19.根据权利要求15所述的方法，其中，在将来自所述单眼视频的图像分割成多个感兴趣对象区域时，前景检测器被用于分割所述图像的前景内的多个对象。
20.根据权利要求15所述的方法，其中，脉冲神经网络被用于通过估计运动场并对图像强度进行运算来计算TTC值。
21.根据权利要求15所述的方法，其中，在生成所述3D TTC图时，将距离数据读数与所述图像中的每个像素相关联；
其中，在生成所述距离融合TTC图时，所述距离融合TTC图利用视差的距离籽化传播来生成，并且与前景对象中的突出特征整合，以生成针对接近所述移动平台的所述场景中的对象的精确障碍物边界和TTC；
其中，在将来自所述单眼视频的图像分割成多个感兴趣对象区域时，前景检测器被用于分割所述图像的前景内的多个对象；并且
其中，脉冲神经网络被用于通过估计运动场并对图像强度进行运算来计算TTC值。
CN201780005916.8A 2016-02-10 2017-02-09 估计对象接触时间的系统和方法、计算机可读介质 Active CN108475058B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662293649P 2016-02-10 2016-02-10
US62/293,649 2016-02-10
US15/271,025 US10275668B1 (en) 2015-09-21 2016-09-20 System for collision detection and obstacle avoidance
US15/271,025 2016-09-20
PCT/US2017/017275 WO2017139516A1 (en) 2016-02-10 2017-02-09 System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation

Publications (2)

Publication Number Publication Date
CN108475058A CN108475058A (zh) 2018-08-31
CN108475058B true CN108475058B (zh) 2021-05-14

Family

ID=59563422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780005916.8A Active CN108475058B (zh) 2016-02-10 2017-02-09 估计对象接触时间的系统和方法、计算机可读介质

Country Status (3)

Country Link
EP (1) EP3414641B1 (zh)
CN (1) CN108475058B (zh)
WO (1) WO2017139516A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11618438B2 (en) * 2018-03-26 2023-04-04 International Business Machines Corporation Three-dimensional object localization for obstacle avoidance using one-shot convolutional neural network
DK201970115A1 (en) 2018-11-08 2020-06-09 Aptiv Technologies Limited DEEP LEARNING FOR OBJECT DETECTION USING PILLARS
CN109633661A (zh) * 2018-11-28 2019-04-16 杭州凌像科技有限公司 一种基于rgb-d传感器与超声波传感器融合的玻璃检测系统和方法
CN109960278B (zh) * 2019-04-09 2022-01-28 岭南师范学院 一种基于lgmd的无人机仿生避障控制系统和方法
CN112399032B (zh) * 2019-08-13 2022-05-31 天津大学青岛海洋技术研究院 一种基于检测器的脉冲式图像传感器的光流获取方法
EP4035063A1 (en) * 2019-09-24 2022-08-03 HRL Laboratories, LLC System and method of perception error evaluation and correction by solving optimization problems under the probabilistic signal temporal logic based constraints
GB2621701A (en) 2019-11-14 2024-02-21 Motional Ad Llc Sequential fusion for 3D object detection
US10902607B1 (en) * 2019-12-06 2021-01-26 Black Sesame International Holding Limited Fast instance segmentation
CN110986953B (zh) * 2019-12-13 2022-12-06 达闼机器人股份有限公司 路径规划方法、机器人及计算机可读存储介质
CN111191538B (zh) * 2019-12-20 2022-11-18 北京中科慧眼科技有限公司 基于双目相机的障碍物跟踪方法、装置、系统和存储介质
EP4115319A1 (en) * 2020-03-03 2023-01-11 HRL Laboratories, LLC Contrast and entropy based perception adaptation using probabilistic signal temporal logic based optimization
CN111427360B (zh) * 2020-04-20 2023-05-05 珠海一微半导体股份有限公司 基于地标定位的地图构建方法、机器人及机器人导航系统
US11987236B2 (en) * 2020-08-31 2024-05-21 Nec Corporation Monocular 3D object localization from temporal aggregation
CN113110517B (zh) * 2021-05-24 2022-11-29 郑州大学 未知环境下基于生物启发的多机器人协作搜索方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5559695A (en) * 1994-12-27 1996-09-24 Hughes Aircraft Company Apparatus and method for self-calibrating visual time-to-contact sensor
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
JP4539348B2 (ja) * 2004-09-07 2010-09-08 日産自動車株式会社 衝突時間算出装置および障害物検出装置
WO2010129907A2 (en) * 2009-05-08 2010-11-11 Scientific Systems Company Inc. Method and system for visual collision detection and estimation
US8452528B2 (en) * 2009-05-12 2013-05-28 Toyota Jidosha Kabushiki Kaisha Visual recognition area estimation device and driving support device
DE102010063133A1 (de) * 2010-12-15 2012-06-21 Robert Bosch Gmbh Verfahren und System zur Bestimmung einer Eigenbewegung eines Fahrzeugs
CN103743394A (zh) * 2014-01-07 2014-04-23 北京工业大学 一种基于光流的移动机器人避障方法
JP6473571B2 (ja) * 2014-03-24 2019-02-20 アルパイン株式会社 Ｔｔｃ計測装置およびｔｔｃ計測プログラム

Also Published As

Publication number Publication date
WO2017139516A1 (en) 2017-08-17
EP3414641B1 (en) 2023-05-24
EP3414641A1 (en) 2018-12-19
CN108475058A (zh) 2018-08-31
EP3414641A4 (en) 2019-07-17

Similar Documents

Publication Publication Date Title
CN108475058B (zh) 估计对象接触时间的系统和方法、计算机可读介质
US9933264B2 (en) System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation
US11537906B2 (en) Machine learning based target localization for autonomous unmanned vehicles
KR20200075727A (ko) 깊이 맵 산출 방법 및 장치
US10134135B1 (en) System and method for finding open space efficiently in three dimensions for mobile robot exploration
Deng et al. Global optical flow-based estimation of velocity for multicopters using monocular vision in GPS-denied environments
Muresan et al. Multimodal sparse LIDAR object tracking in clutter
Badrloo et al. A novel region-based expansion rate obstacle detection method for MAVs using a fisheye camera
Byrne et al. Expansion segmentation for visual collision detection and estimation
Omrani et al. Dynamic and static object detection and tracking in an autonomous surface vehicle
Hoa et al. Efficient determination of disparity map from stereo images with modified sum of absolute differences (SAD) algorithm
Kumar Rath et al. Real‐time moving object detection and removal from 3D pointcloud data for humanoid navigation in dense GPS‐denied environments
Birk et al. Simultaneous localization and mapping (SLAM)
Du et al. Particle filter based object tracking of 3D sparse point clouds for autopilot
Chavan et al. Obstacle detection and avoidance for automated vehicle: A review
Ouyang et al. Semantic slam for mobile robot with human-in-the-loop
Kerkaou et al. Support vector machines based stereo matching method for advanced driver assistance systems
Machkour et al. Monocular based navigation system for autonomous ground robots using multiple deep learning models
Courtois et al. Fusion of stereo and lidar data for dense depth map computation
US12026954B2 (en) Static occupancy tracking
Madake et al. Visualization of 3D Point Clouds for Vehicle Detection Based on LiDAR and Camera Fusion
Asante et al. Segmentation-based angular position estimation algorithm for dynamic path planning by a person-following robot
CN108605113B (zh) 用于自运动补偿的方法、系统和非暂时性计算机可读介质
Dekkiche et al. Vehicles detection in stereo vision based on disparity map segmentation and objects classification
US20240221386A1 (en) Occupancy tracking based on depth information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant