CN108027877A - 用于非障碍区检测的系统和方法 - Google Patents

用于非障碍区检测的系统和方法 Download PDF

Info

Publication number
CN108027877A
CN108027877A CN201680053167.1A CN201680053167A CN108027877A CN 108027877 A CN108027877 A CN 108027877A CN 201680053167 A CN201680053167 A CN 201680053167A CN 108027877 A CN108027877 A CN 108027877A
Authority
CN
China
Prior art keywords
vertical
obstacle
horizontal
estimation
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680053167.1A
Other languages
English (en)
Other versions
CN108027877B (zh
Inventor
G·戴恩
V·巴斯卡兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN108027877A publication Critical patent/CN108027877A/zh
Application granted granted Critical
Publication of CN108027877B publication Critical patent/CN108027877B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/507—Depth or shape recovery from shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明描述一种由电子装置执行的方法。所述方法包含执行深度图的垂直处理以确定垂直非障碍估计。所述方法还包含执行所述深度图的水平处理以确定水平非障碍估计。所述方法进一步包含组合所述垂直非障碍估计与所述水平非障碍估计。所述方法另外包含基于所述垂直非障碍估计与所述水平非障碍估计的所述组合而产生非障碍图。

Description

用于非障碍区检测的系统和方法
技术领域
本发明大体上涉及电子装置。更明确地说，本发明涉及用于非障碍区检测的系统和方法。
背景技术
最近几十年中，电子装置的使用已变得普遍。明确地说，电子技术的进展已降低了愈加复杂且有用的电子装置的成本。成本降低和消费者需求已使电子装置的使用剧增，使得其在现代社会中几乎随处可见。由于电子装置的使用已推广开来，因此具有对电子装置的新的且改善的特征的需求。更明确地说，人们常常寻求执行新功能和/或更快、更高效且以更高质量执行功能的电子装置。
一些电子装置(例如，摄影机、视频摄录影机、数码相机、蜂窝式电话、智能电话、计算机、电视等)捕获或利用图像。举例来说，智能电话可捕获和/或处理静止和/或视频图像。在汽车和自主汽车应用中，可通过处理图像执行障碍检测。处理图像可需求相对大量时间、存储器和能量资源。所需求资源可根据处理的复杂度而变化。
可能难以实施一些复杂处理任务。举例来说，一些平台可具有有限处理、存储器和/或能量资源。此外，一些应用可为时间敏感性。从此论述可观察到，改善图像处理的系统和方法可为有益的。
发明内容
描述一种由电子装置执行的方法。方法包含执行深度图的垂直处理以确定垂直非障碍估计。方法还包含执行深度图的水平处理以确定水平非障碍估计。方法进一步包含组合垂直非障碍估计与水平非障碍估计。方法另外包含基于垂直非障碍估计与水平非障碍估计的组合而产生非障碍图。
执行垂直处理可包含将深度图分割成数个片段。至少一个片段可包含在列中的许多像素。可针对至少一个片段估计线性模型参数以确定垂直非障碍估计。可产生包含垂直非障碍估计的可靠性值的垂直可靠性图。
确定垂直可靠性图可包含基于所估计线性模型参数与预定线性模型参数之间的差别确定给定片段的片段拟合错误。给定片段的可靠性值可通过比较片段拟合错误与垂直估计阈值来确定。可将给定片段的可靠性值应用于给定片段中的至少一个像素。
预定线性模型参数可选自多个道路条件模型。多个道路条件模型可具有线性模型参数的对应集合。
执行水平处理可包含获得深度图的至少一个像素行的深度直方图。可从深度直方图确定地形线。可基于至少一个像素的深度值距地形线的距离确定水平非障碍估计。可产生包含水平非障碍估计的可靠性值的水平可靠性图。
产生水平可靠性图可包含确定给定像素的深度值是否在深度直方图的众数的范围内。当给定像素的深度值在深度直方图的众数范围内时，给定像素可具有高可靠性值。
组合垂直非障碍估计与水平非障碍估计可包含并行执行垂直处理和水平处理两者。垂直非障碍估计和水平非障碍估计可基于垂直可靠性图和水平可靠性图而合并。
给定像素可经识别为非障碍图中的非障碍区，其中垂直可靠性图和水平可靠性图两者由给定像素的高可靠性值表征。给定像素可经识别为非障碍图中的障碍区，其中垂直可靠性图或水平可靠性图中的至少一个由给定像素的低可靠性值表征。可基于给定像素的坐标将给定像素识别为非障碍图中的非障碍区或障碍区，其中垂直可靠性图和水平可靠性图由给定像素的不同可靠性值表征。
组合垂直非障碍估计与水平非障碍估计可包含执行深度图的垂直处理。可基于模型拟合可信度获得垂直可靠性图。垂直可靠性图的可靠区域可经识别为非障碍区。可针对垂直可靠性图的不可靠区域执行水平处理以确定不可靠区域是否为非障碍区。
组合垂直非障碍估计与水平非障碍估计可包含执行深度图的水平处理。可基于深度直方图距离获得水平可靠性图。水平可靠性图的可靠区域可经识别为非障碍区。可针对水平可靠性图的不可靠区域执行垂直处理以确定不可靠区域是否为非障碍区。
非障碍图可用于识别由物件检测算法或通路检测算法中的至少一个使用的关注区。
还描述一种电子装置。电子装置经配置以执行深度图的垂直处理以确定垂直非障碍估计。电子装置也经配置以执行深度图的水平处理以确定水平非障碍估计。电子装置经进一步配置以组合垂直非障碍估计与水平非障碍估计。电子装置另外经配置以基于垂直非障碍估计与水平非障碍估计的组合产生非障碍图。
还描述一种设备。设备包含用于执行深度图的垂直处理以确定垂直非障碍估计的装置。设备还包含用于执行深度图的水平处理以确定水平非障碍估计的装置。设备进一步包含用于组合垂直非障碍估计与水平非障碍估计的装置。设备另外包含用于基于垂直非障碍估计与水平非障碍估计的组合而产生非障碍图的装置。
还描述一种计算机程序产品。计算机程序产品包含其上具有指令的非暂时性有形计算机可读媒体。指令包含用于使电子装置执行深度图的垂直处理以确定垂直非障碍估计的代码。指令还包含用于使电子装置执行深度图的水平处理以确定水平非障碍估计的代码。指令进一步包含用于使电子装置组合垂直非障碍估计与水平非障碍估计的代码。指令另外包含用于使电子装置基于垂直非障碍估计与水平非障碍估计的组合产生非障碍图的代码。
附图说明
图1为说明经配置以执行非障碍区检测的电子装置的框图；
图2为说明非障碍确定模块的框图；
图3为说明用于执行非障碍区检测的方法的流程图；
图4A到4D说明深度图的垂直处理的实例；
图5为说明用于使用垂直处理执行非障碍区检测的方法的流程图；
图6A到6D说明深度图的水平处理的实例；
图7为说明用于使用水平处理执行非障碍区检测的方法的流程图；
图8为说明用于组合垂直非障碍估计与水平非障碍估计以确定非障碍图的方法的流程图；
图9为说明用于组合垂直非障碍估计与水平非障碍估计以确定非障碍图的另一方法的流程图；
图10为说明用于组合垂直非障碍估计与水平非障碍估计以确定非障碍图的又一个方法的流程图；
图11A到11B说明确定图像中的非障碍区的实例；
图12A到12B说明确定图像中的非障碍区的另一实例；
图13A到13B说明确定距非障碍区的距离的实例；
图14说明使用非障碍图以识别由物件检测算法使用的关注区(ROI)的实例；
图15说明使用非障碍图以识别由通路检测算法使用的ROI的实例；
图16为说明用于基于所估计线性模型参数分类道路的方法的流程图；且
图17说明可包含于电子装置内的某些组件。
具体实施方式
在许多应用中，识别区域或环境内的非物件区以用于障碍避免是有利的。举例来说，在使用先进驾驶员辅助系统(ADAS)的情况下，识别汽车前方的可驾驶区以用于障碍避免是重要的。其中障碍避免是重要的另一情形为其中自主交通工具(例如，无人操纵的飞行器(UAV)或自主汽车)感测其环境并在无人输入情况下导航的交通工具自动化。
通常，从另一方向来看障碍避免的问题，其中所关注的物件(例如行人、汽车、自行车)被检测并可经由物件检测/识别算法来识别且警告经提供到驾驶员以用于采取预防措施。举例来说，障碍检测可用以检测并识别交通指示牌(例如，速度限制指示牌、停止指示牌、街道指示牌等)。然而，此方法可为缓慢且不准确的。此外，所有物件类别必须经预先训练，此使得难以添加新的物件类别。
在本文中所描述的系统和方法中，替代识别物件，识别不含障碍或物件的区域。这些区域可被称为可移动区。换句话说，这些三维区域为其中移动是可能的非障碍区。举例来说，可识别道路上的非障碍区。在识别非障碍区后，可使用所述非障碍区执行各种其它应用程序，例如道路分析、速度控制、更快和更可靠物件和通路检测。
本文中所描述的系统和方法可用以通过分析深度图来识别非障碍区。在实施方案中，可从立体图像对产生深度图。在道路情形中，在前面的开放空间可映射到在深度域中描述道路的线性模型。通过使用道路片段的深度，可估计线性模型参数。所估计线性模型参数可与先前(例如预定)模型参数相比较。如果拟合达成，那么片段经声明为开放区的部分。如果立体图像对不可用，那么例如运动中恢复结构的方法可用以通过使用单摄影机输入序列获得深度图。
本文中所描述的系统和方法提供基于一或多个图像的垂直处理与水平处理的智能型组合的非障碍图的确定。下文更详细地解释执行识别非障碍区的系统和方法。
图1为说明经配置以执行非障碍区检测的电子装置102的框图。电子装置102也可被称作无线通信装置、移动装置、移动台、用户台、客户端、客户端台、用户装备(UE)、远程台、存取终端机、移动终端机、终端机、用户终端机、用户单元等。电子装置的实例包含膝上型计算机或台式计算机、蜂窝式电话、智能电话、无线调制解调器、电子阅读器、平板装置、游戏系统、机器人、飞机、无人操纵飞行器(UAV)、汽车等。这些装置中的一些可根据一或多个行业标准操作。
在许多情形中，电子装置102可使用场景的非障碍图126。在一个实例中，智能电话可产生场景的非障碍图126以识别未占用空间。在另一实例中，汽车可包含可使用非障碍图126以基于所检测交通指示牌、信号和/或其它物件调节汽车的速度、转向、停车等的先进驾驶员辅助系统(ADAS)。在另一实例中，无人操纵飞行器(UAV)可从飞行时记录的视频产生非障碍图126，可基于所检测物件(例如，建筑物、指示牌、人、封装体等)导航，可拾取和/或递送所检测封装体，等等。许多其它实例可根据本文所揭示的系统和方法来实施。举例来说，本文所揭示的系统和方法可实施于基于使用非障碍图126检测的一或多个物件执行一或多个动作(例如提取某物、装配某物、搜索物品，等)的机器人中。
电子装置102可包含一或多个摄影机。摄影机可包含图像传感器104和光学系统108(例如，透镜)，光学系统将位于光学系统108的视野内的物件的图像聚焦到图像传感器104上。电子装置102也可包含摄影机软件应用程序和显示屏幕。当摄影机应用程序在运行时，可由图像传感器104记录位于光学系统108的视野内的物件的图像114。这些图像114可存储于存储器缓冲器112中。在一些实施方案中，摄影机可与电子装置102分隔且电子装置102可接收来自在电子装置102外部的一或多个摄影机的图像数据。
尽管关于所俘获图像114描述本系统和方法，但本文所论述的技术可用于任何数字图像上。因此，术语视频帧和数字图像可在本文中互换使用。
在许多应用中，电子装置102识别不含障碍的区是有益的。举例来说，在ADAS的状况下，识别汽车前方的可驾驶区以用于障碍避免是重要的。在一些方法中，从另一方向来看此问题。在这些方法中，所关注的物件(例如行人、汽车、自行车)是经由物件检测和识别算法来识别且警告经提供到驾驶员以用于采取预防措施。
其它方法可通过执行图像114的垂直处理或水平处理中的一者来确定非障碍区。垂直处理和水平处理中的每一者可估计图像114中的非障碍区。然而，每一方法当经独立地执行时具有局限性。
当道路倾斜时，水平处理可得到不正确非障碍估计。垂直处理可对图像114执行分段。如果片段为大，那么拟合更可靠。然而，物件的部分也可经包含为非障碍(即，无障碍)区。举例来说，使用垂直处理，汽车的底部和顶部或行人可经不正确地识别为非障碍区。又，人行道可在垂直处理方法的情况下经不正确地识别为非障碍区。然而，如果片段小，那么非障碍区的不准确的检测可出现。
本文中所描述的系统和方法提供基于一或多个图像114的垂直处理与水平处理的智能型组合的非障碍图126的确定。在所描述系统和方法中，替代识别物件，非障碍图126可通过组合深度图的垂直处理与水平处理来确定。在一个实施方案中，可从一或多个图像获得深度图。在另一实施方案中，可从深度数据检索过程(例如，LIDAR)获得深度图。
在实施方案中，电子装置102可包含用于确定非障碍图126的非障碍确定模块116。非障碍确定模块116可包含用于获得深度图的深度图产生器118。非障碍确定模块116也可包含用于执行深度图的垂直处理以确定垂直非障碍估计的垂直估计模块120。非障碍确定模块116可进一步包含用于执行深度图的水平处理以确定水平非障碍估计的水平估计模块122。
估计组合器124可组合垂直非障碍估计与水平非障碍估计以确定非障碍图126。在实施方案中，估计组合器124可基于与估计相关联的可靠性值智能型地组合垂直非障碍估计与水平非障碍估计。非障碍图126可指示一或多个图像114中的哪些区是非障碍区且哪些区是障碍区。结合图2给出关于产生非障碍图126的更多细节。
在实例中，非障碍图126可包含道路上不含障碍(例如，物件)的非障碍区。通过组合图像114的垂直处理与水平处理，可消除错误检测。此外，组合方法可提供更可靠非障碍估计。
所描述系统和方法可用于加速各种其它应用。举例来说，电子装置102可使用非障碍图126用于其它应用，例如物件检测、场景理解、道路分析和通路检测。所描述系统和方法也可解决当前通路检测算法不可处置的道路路缘检测的问题。所描述系统和方法可另外帮助自主驾驶，其中基于道路的地形调整速度。
图2为说明非障碍确定模块216的框图。非障碍确定模块216可实施于电子或无线装置内。非障碍确定模块216可包含深度图产生器218、垂直估计模块220、水平估计模块222和估计组合器224。非障碍确定模块216、深度图产生器218、垂直估计模块220、水平估计模块222和估计组合器224可为上文结合图1所描述的非障碍确定模块116、深度图产生器118、垂直估计模块120、水平估计模块122和估计组合器124的配置。
深度图产生器218可接收一或多个图像214。在配置中，如结合图1所描述，可经由摄影机(例如，图像传感器104和光学系统108)获得一或多个图像214。在实施方案中，深度图产生器218可接收立体图像对。在另一实施方案中，一或多个图像214可来自视频单图像。图像214可为由像素组成的数字图像。
深度图产生器218可从一或多个图像214获得深度图230。深度图230可包含对应于一或多个图像214的像素的像素232。深度图230中的每一像素232具有深度值234。深度值234指示像素232相对于摄影机的距离。举例来说，具有较高深度值234的像素232可指示相比具有较低深度值234的像素232更接近于摄影机。结合图4A到4D论述深度图230的实例。
应注意，本文中所描述的算法不需要每一像素232的深度值234。举例来说，深度图230可具有孔。这些孔的深度值234可在开始处理之前填充。
在立体图像对的状况下，深度图产生器218可找到像素232之间的对应关系以估计视差。从视差，深度图产生器218可确定每一像素232的深度值234。替代地，在视频单图像的情况下，深度图产生器218可基于视频的运动确定每一像素232的深度值234。
深度图230可经提供到垂直估计模块220和水平估计模块222。垂直估计模块220可执行深度图230的垂直处理以确定垂直非障碍估计242。水平估计模块222可执行深度图230的水平处理以确定水平非障碍估计258。
垂直估计模块220可将深度图230分割成数个片段236。每一片段236可包含在深度图230的列中的许多像素232。换句话说，垂直估计模块220可处理深度图230的垂直片段236。片段236可为深度图230中的像素232的列的一部分。举例来说，片段236可为10到15像素232的向量。片段236可或可不重叠。
垂直估计模块220可估计每一片段236的线性模型参数以确定垂直非障碍估计242。在垂直方向中的每一片段236可经由线性模型估计。线性模型可表示为：
y＝p1x+p2， (1)
其中y为像素232的深度值234，x为像素232的坐标，且和p1和p2为所估计线性模型参数238。如果估计误差小于垂直估计阈值246且线性拟合具有某一斜率，那么其可经标记为有效的自由空间(非障碍区266)。在实施中，大于0的斜率指示非障碍，而小于或等于0的斜率指示物件或障碍。结合图4A到图4D论述此方法的实例。
以矩阵形式，等式(1)的线性模型由等式(2)给出。
在等式(2)中，y为深度值234的n乘1向量，x为垂直维度中的模型坐标的n乘2设计矩阵(即，n行2列的矩阵)，且p1和p2为所估计线性模型参数238。n的值对应于深度图片段236中的像素232的数目。
在一种方法中，p1和p2可使用最小二乘解来求解。在此方法中，p为未知系数p1和p2的向量。正规等式由下式给出
(XTX)p＝XTy (3)
其中XT为设计矩阵X的转置。对等式(4)中的p的求解产生估计线性模型参数238(即，p1和p2)。
p＝(XTX)-1XTy (4)
应注意，在优化实施方案中，矩阵倒置项(XTX)-1XT基于位置(即，y坐标)而固定且可基于位置而预先计算并被存储。又，通过p1、p2和片段长度的变化，分段线性模型可估计表面中的突降和凸起。此外，此方法的主要复杂度归因于上述等式(2)中的大小n的两个向量的矩阵乘法。在实例中，n可为10或所选择分段长度而非10。
垂直估计模块220可针对垂直非障碍估计242确定垂直可靠性图248的可靠性值250。在实施方案中，垂直估计模块220可基于在估计线性模型参数238与预定线性模型参数240之间的差确定每一片段236的片段拟合误差244。预定模型参数可被称为[pM1,pM2]。垂直估计模块220可通过比较阈值(TH1)检查预定模型参数如何接近于估计参数[p1、p2]。举例来说，|p1-pM1|＜TH1。
垂直估计阈值246可确定所估计线性模型参数238是否适合经训练模型参数。预定线性模型参数240可选自多个道路条件模型。多个道路条件模型中的每一者可具有线性模型参数240的对应集合。道路条件模型的实例包含平坦平面、坡道、谷地等。预定线性模型参数240可由训练确定。
垂直估计模块220可根据等式(5)使用所估计线性模型参数238确定所估计深度值其中为第i个位置处的所估计深度值。
使用所估计线性模型参数238情况下的深度估计误差(ei)可根据等式(6)来确定，其中yi为第i个位置处的深度值234。
片段拟合误差244(s2)可根据等式(7)来确定，其中n为片段236的长度。
片段拟合误差244可用作用于垂直处理的可靠性度量。垂直估计模块220可通过比较每一片段236的片段拟合误差244与垂直估计阈值246来确定每一片段236的垂直可靠性值250。
垂直估计阈值246可基于预定线性模型参数240。垂直估计阈值246可视哪些预定线性模型参数240被使用而变化。举例来说，如果使用平坦道路的预定线性模型参数240，那么垂直估计阈值246可具有一个值。如果使用坡道的预定线性模型参数240，那么垂直估计阈值246可具有不同值。
垂直估计模块220可检查片段拟合误差244与垂直估计阈值246之间的差的绝对值。当给定片段236的片段拟合误差244小于垂直估计阈值246时给定片段236可具有高垂直可靠性值250。相对来说，当给定片段236的片段拟合误差244大于或等于垂直估计阈值246时给定片段236可具有低垂直可靠性值250。因此，如果片段拟合误差244与垂直估计阈值246之间的差为小，那么片段236被视为非障碍区266的部分。如果差为大，那么片段236并不被视为非障碍区266的部分。
在确定给定片段236的可靠性值250后，垂直估计模块220可定限垂直可靠性图248以得到二进制图。给定片段236的可靠性值250可与阈值相比较以确定片段236是非物件区(例如可移动)抑或物件区(例如非可移动区)。垂直可靠性图248可包含深度图230中的像素232的可靠性值250。因此，垂直可靠性图248为每一深度像素232以及每一片段236具有拟合可信度的图。
水平估计模块222可执行深度图230的水平处理以确定水平非障碍估计258。水平处理可包含获得深度图230的像素232的每一行的深度直方图252。结合图6A到6D描述深度直方图252的实例。深度直方图252也可被称作视差直方图。
在实施方案中，深度直方图252可通过获得深度图230中的每一行的直方图而获得。举例来说，对于来自深度图230的像素232的行，可产生对应于行中的像素232的深度值234的直方图。
水平估计模块222可从深度直方图252确定地形线254。地形线254的端点的y坐标确定最近和最远自由空间距离。
可使用线提取方法确定地形线254。可对深度直方图252应用霍夫变换。霍夫变换可从深度直方图252提取多个线段。举例来说，霍夫变换可产生10到20个小线。线段可经合并以形成地形线254。在实施方案中，可基于非障碍空间的斜率特性限制地形线254的角度(例如在-20度与-40度之间)。
水平估计模块222可基于每一像素232的深度值234距地形线254的距离确定每一像素232的水平非障碍估计258。具有位于地形线254的水平估计阈值260内的深度值234的像素232可经识别为非障碍区266。举例来说，如果像素232的深度值234处于地形线254的某一视差范围内，那么像素232可标记为非障碍区266。如果像素232的深度值234处于地形线254的某一视差范围外部，那么像素232可经标记为障碍区268。
水平估计模块222也可基于深度直方图252距离确定水平可靠性图262。水平可靠性图262可包含每一像素232的水平非障碍估计258的可靠性值264。
到深度直方图252的众数256的距离可用作用于水平处理的可靠性度量。水平估计模块222可确定每一像素232的深度值234是否在深度直方图252的众数256的可靠性阈值261内。当给定像素232的深度值234在深度直方图252的众数256的可靠性阈值261内时，给定像素232可具有高可靠性值264。
估计组合器224可组合垂直非障碍估计242与水平非障碍估计258以确定非障碍图226。此组合可基于垂直可靠性值250和水平可靠性值264。在一种方法中，垂直处理和水平处理可经并行执行且所得非障碍估计242、258合并。在另一方法中，垂直处理和水平处理可顺序地执行且所得非障碍估计合并。
对于并列处理方法，垂直处理和水平处理两者可经并行执行。举例来说，垂直估计模块220可执行垂直处理且水平估计模块222可如上文所描述同时执行水平处理。估计组合器224可通过将每一像素232识别为非障碍区266或障碍区268而产生非障碍图226。此识别可基于垂直可靠性图248的垂直可靠性值250和水平可靠性图262的水平可靠性值264。
如果垂直可靠性图248和水平可靠性图262两者指示像素232具有高可靠性，那么像素232可经识别为非障碍图226中的非障碍区266。换句话说，给定像素232可经识别为非障碍图226中的非障碍区266，其中垂直可靠性图248和水平可靠性图262两者由给定像素232的高可靠性值表征。
在实施方案中，此可通过以相应阈值定限垂直可靠性图248和水平可靠性图262而达成。举例来说，如果给定像素232的垂直可靠性值250和水平可靠性值264大于阈值，那么像素232可经识别为非障碍区266。在垂直可靠性图248和水平可靠性图262两者指示低可靠性的状况下，像素232可经标记为障碍区268。
对于垂直可靠性图248或水平可靠性图262中的任一者指示高可靠性且另一者指示低可靠性的状况，可执行一或多个不同合并方法。在一种方法中，如果垂直可靠性图248或水平可靠性图262中的至少一个指示给定像素232具有低可靠性，那么给定像素232经识别为非障碍图226中的障碍区268。换句话说，给定像素232可经识别为非障碍图226中的障碍区268，其中垂直可靠性图248和水平可靠性图262中的至少一个由给定像素232的低可靠性值表征。在此方法中，如果可靠性映射248、262中的一者指示低可靠性，那么像素232可仅仅基于彼可靠性图248、262而标记。
在另一方法中，垂直可靠性图248和水平可靠性图262由给定像素232的不同可靠性值250、264表征。在此状况下，给定像素232可基于给定像素232的坐标而识别为非障碍区266或障碍区268。在此方法中，如果可靠性图248、262两者在可靠性方面彼此接近(例如，一者高于另一者)，那么可通过考虑像素232坐标而进一步增强决策。
在实例中，RHij为来自水平处理的第i和第j个像素232的水平可靠性值264，且RVij为来自垂直处理的垂直可靠性值250(其中可靠性值250、264两者在由不同方法获得情况下经正规化)。如果|RHij-RVij|<TH，那么此将指示可靠性图248、262的接近性。此外，RHij可与RVi+n,j+n比较，其中n为<N(例如，对于720p分辨率，N＝5)。
对于顺序处理方法，可首先执行垂直处理或水平处理。在执行第一处理之后，可针对整个深度图230计算可靠性图(例如垂直可靠性图248或水平可靠性图262)。对于可靠性未满足的像素232，调用第二处理。第一和第二处理的结果可经合并以获得非障碍图226。结合图9描述以垂直处理开始的顺序处理的实例。结合图10描述以水平处理开始的顺序处理的实例。
非障碍确定模块216可执行非障碍图226的额外处理。在实施方案中，非障碍确定模块216可执行离群值去除。举例来说，少数像素232可为非障碍区266内的经不正确标记的障碍区268。非障碍确定模块216可识别这些离群值且改变其状态到非障碍或障碍。非障碍确定模块216可执行非障碍图226的额外过滤以使其为后续操作作准备。
非障碍图226可用于不同操作。在一个实施方案中，非障碍图226可用于识别由物件检测算法使用的关注区。可如结合图14所描述而实现此。在另一实施方案中，非障碍图226可用于识别由通路检测算法使用的关注区。可如结合图15所描述而实现此。
如在图2中所说明，所说明组件中的一或多个可视需要由处理器228实施。举例来说，可由处理器228实施非障碍确定模块216。在一些配置中，不同处理器可用于实施不同组件(例如，一个处理器可实施深度图产生器218，另一处理器可用于实施垂直估计模块220，另一处理器可用于实施水平估计模块222且又一个处理器可用于实施估计组合器224)。
应注意旋转图像214并执行对角线处理是可能的。如果图像214旋转，那么垂直和水平处理可变成对角线处理。因此，虽然本文中使用术语垂直和水平处理，但可认识到可使用对应坐标映射经由旋转的图像横跨不同区段而应用处理。
图3为说明用于执行非障碍区检测的方法300的流程图。方法300可参看图1由电子装置102(例如，非障碍确定模块116)实施。电子装置102可从一或多个图像214获得302深度图230。在一个实施方案中，电子装置102可从立体图像对产生深度图230。在另一实施方案中，电子装置102可从视频单图像产生深度图230。深度图230中的每一像素232可具有深度值234。
电子装置102可执行304深度图230的垂直处理以确定垂直非障碍估计242。垂直处理可包含将深度图230分割成数个片段236。每一片段236可包含在列中的许多像素232。电子装置102可估计每一片段236的线性模型参数238以确定垂直非障碍估计242。电子装置102可确定包含垂直非障碍估计242的可靠性值250的垂直可靠性图248。
电子装置102可执行306深度图230的水平处理以确定水平非障碍估计258。水平处理可包含获得深度图230的像素232的每一列的深度直方图252。电子装置102可从深度直方图252确定地形线254。电子装置102可基于每一像素232的深度值234距地形线254的距离确定每一像素232的水平非障碍估计258。电子装置102也可针对每一像素232的水平非障碍估计258确定包含可靠性值264的水平可靠性图262。
电子装置102可组合308垂直非障碍估计242与水平非障碍估计258以确定非障碍图226。在一个实施方案中，电子装置102可执行并列垂直处理和水平处理。在此实施方案中，电子装置102可组合垂直非障碍估计242与水平非障碍估计258，如结合图10所描述。在另一实施方案中，电子装置102可执行以垂直处理开始的顺序处理，如结合图11A到11B所描述。在又一实施方案中，电子装置102可执行以水平处理开始的顺序处理，如结合图12A到12B所描述。
图4A到4D说明深度图430的垂直处理的实例。深度图430可从一或多个图像404产生。深度图430可包含对应于原始图像404的像素的位置。深度图430中的每一位置(例如，坐标)可具有对应于原始图像404的像素的水平坐标472和垂直坐标474a。
如果从原始分辨率计算深度，那么深度图430可匹配原始图像404的大小。在深度图430的可视化中，深度值434可从原始图像404的对应坐标获得。应注意当产生非障碍图226时可或可不产生深度图430的可视化。
深度图430中的每一像素232可具有深度值434。在此实例中，深度值434a可介于0到120的范围内，其中0指示最远距离且120指示最近距离。应注意，不同值可用于深度值434。
在实施方案中，深度映射的视差可通过以下等式解释。Z＝fB/d，其中Z为沿着摄影机Z轴的距离，f为焦距(以像素计)，B为基线(以米计)，d为视差(以像素计)。当视差为小时，深度为大。可以米为单位发现深度。
应注意来自立体图像404的深度估计算法可不完全可靠。举例来说，深度估计算法可并不能够指派某些区域中的深度值434。深度填充算法可用于填写遗漏深度值434。举例来说，相邻深度值434可传播到邻接区。传播可从左或从右。替代地，遗漏深度值434可通过在左与右之间以及顶部与底部之间内插填写。
此实例展示第一列470a和第二列470b。在第一列图表475a中，针对第一列470a中的像素232展示深度值434b。在此第一列图表475a中，相较于来自第一列470a的像素232的垂直坐标474b标绘深度值434b。应注意在此实例中，从0到40且在400像素之后的零值由于此处不存在所指派深度。由于立体图像可被校准，因此其在校准之后可不具有匹配视野(FOV)。可仅仅在相同FOV内仅仅执行深度估计。
在第二列图表475b中，针对第二列470b中的像素232展示深度值434c。在此第二列图表475b中，相较于来自第二列470b的像素232的垂直坐标474c标绘深度值434c。0到150的虚线为展示算法结果的映射。映射可仅仅为倾斜(即，歪斜)线(其指定非物件道路区)。对于到物件(其为平坦线)的图，接着可使用相同算法，但映射参数可改变。
图表475a、475b中的实线来自原始深度值。根据所描述系统和方法产生虚线。应注意映射可基于虚线的斜率。在这些图表475a、475b中，大于0的斜率指示非障碍区266。小于或等于0的斜率指示障碍区268。
在垂直处理期间，电子装置102可将深度图430分割成数个片段236。每一片段236可包含在列470中的许多像素232。举例来说，片段236可为10到15个像素232的向量。电子装置102可确定垂直非障碍估计242并可估计线性模型参数238，如结合图2所描述。如果估计误差小于阈值246且线性拟合具有某一斜率，那么片段236可标记为有效的非障碍区266。
图5为说明用于使用垂直处理执行非障碍区检测的方法500的流程图。方法500可由电子装置102(例如，非障碍确定模块116)实施。电子装置102可将深度图430分割502成数个片段236。每一片段236可包含在列470中的n数目个像素232。在实施方案中，n可等于10个像素232。
电子装置102可估计504每一片段236的线性模型参数238以确定垂直非障碍估计242。此可根据上文所描述的等式1到4而实现。
电子装置102可确定506包含垂直非障碍估计242的可靠性值250的垂直可靠性图248。举例来说，电子装置102可基于在估计的线性模型参数238与预定线性模型参数240之间的差确定每一片段236的片段拟合误差244。片段拟合误差244可根据上述等式5到等式7而确定。预定线性模型参数240可选自多个道路条件模型(例如，平坦、坡道、谷)。多个道路条件模型中的每一者可具有线性模型参数240的对应集合。
电子装置102可通过比较每一片段236的片段拟合误差244与垂直估计阈值246确定每一片段236的可靠性值250。当给定片段236的片段拟合误差244小于垂直估计阈值246时给定片段236可具有高可靠性值250。
电子装置102可将给定片段236的可靠性值250应用于给定片段236中的每一像素232。因此，垂直可靠性图248中的每一像素232可具有指示垂直非障碍估计242的可信度的可靠性值250。
图6A到6D说明深度图630的水平处理的实例。深度图630可从一或多个图像114产生。图6A中所说明的深度图630为结合图4B描述的相同深度图430(经压缩以适合页面)。深度图630可包含对应于原始图像114的像素的位置。深度图630中的每一位置可具有对应于原始图像114的像素232的水平坐标672和垂直坐标674。
电子装置102可产生深度直方图652。深度直方图652可通过获得深度图630中的每一行的深度的直方图而产生。举例来说，深度直方图652可通过在垂直轴线中投影深度图630而产生。
可针对图像114中的每一行计算深度直方图652。深度直方图652中的框组的数目对应于图像114中的最大视差值的数目。举例来说，对于720p图像框组的数目可为150，或对于较大分辨率图像其可为较大且对于较小分辨率图像其可为较小。图6B的右侧的x轴对应于视差值，且图像114中的强度值对应于彼视差值的直方图计数。着色愈暗，视差值愈高，着色愈浅，直方图的视差值愈低。在此实例中，视差框组的最大数目为150。在深度直方图652中，相对于垂直坐标674标绘视差值。
电子装置102可针对深度直方图652应用霍夫变换以提取线段676。霍夫变换可从深度直方图252提取多个线段676。举例来说，霍夫变换可产生10到20个小线段676。
线段676可经合并以形成地形线654。地形线254的端点的x坐标确定最近和最远自由空间距离。在实施方案中，地形线254的角度可受限(例如，在-20度与-40度之间)，这是因为非障碍空间具有某些斜率特性。
如果深度直方图652给出具有负斜率的线，那么其对应于汽车前方没有任何障碍的道路片段。障碍将由在90度处的直垂直线表示。地形线254指示摄影机前方的深度值正缓慢减少，这是因为深度值是在图像114的行中分析。如果存在物件，那么对于某一数目个行，物件将具有相同深度值。在此状况下，深度值将不减少。斜率(即，地形线254的角度)可根据道路可具有的最大斜率而选择。
电子装置102可将具有位于地形线654的水平估计阈值260内的深度值634的像素232标记为非障碍区266。具有位于地形线654的水平估计阈值260外部的深度值634的那些像素232可经标记为障碍区268。
图7为说明用于使用水平处理执行非障碍区检测的方法700的流程图。方法700可由电子装置102(例如，非障碍确定模块116)实施。电子装置102可获得702深度图230的像素232的每一行的深度直方图252。可如结合图6A到6D所描述而实现此。
电子装置102可从深度直方图252确定704地形线254。可如结合图6A到6D所描述而实现此。
电子装置102可基于每一像素232的深度值234距地形线254的距离确定706每一像素232的水平非障碍估计258。具有位于地形线654的水平估计阈值260内的深度值634的那些像素232可经标记为非障碍区266。具有位于地形线654的水平估计阈值260外部的深度值634的那些像素232可经标记为障碍区268。
电子装置102可针对每一像素232的水平非障碍估计258确定708包含可靠性值264的水平可靠性图262。举例来说，到深度直方图252的众数256的距离可用作用于水平处理的可靠性度量。电子装置102可确定每一像素232的深度值234是否在深度直方图252的众数256的可靠性阈值261内。当给定像素232的深度值234在深度直方图252的众数256的可靠性阈值261内时，给定像素232可具有高可靠性值264。
图8为说明用于组合垂直非障碍估计242与水平非障碍估计258以确定非障碍图226的方法800的流程图。方法800可由电子装置102(例如，非障碍确定模块116)实施。在此方法800中，电子装置102可并行执行垂直处理和水平处理。
电子装置102可执行802深度图230的垂直处理以确定垂直非障碍估计242。可如结合图5所描述而实现此。
电子装置102可基于模型拟合可信度获得804垂直可靠性图248。可如结合图5所描述而实现此。
电子装置102可执行806深度图230的水平处理以确定水平非障碍估计258。可如结合图7所描述而实现此。
电子装置102可基于深度直方图252距离获得808水平可靠性图262。可如结合图7所描述而实现此。
应注意步骤802、804、806、808可并行执行。举例来说，在电子装置102执行垂直处理步骤802和804的同时，电子装置102可同时执行水平处理步骤806和808。
电子装置102可合并810垂直非障碍估计242和水平非障碍估计258以获得非障碍图226。此合并可基于垂直可靠性图248和水平可靠性图262。
如果垂直可靠性图248和水平可靠性图262两者指示像素232具有高可靠性，那么像素232可经识别为非障碍图226中的非障碍区266。举例来说，如果垂直可靠性图248指示高垂直可靠性值250且水平可靠性图262指示高水平可靠性值264，那么像素232可经标记为非障碍图226中的非障碍区266。
对于垂直可靠性图248或水平可靠性图262中的任一者指示高可靠性且另一者指示低可靠性的状况，可执行一或多个不同合并方法。在一种方法中，如果垂直可靠性图248或水平可靠性图262中的至少一个指示给定像素232具有低可靠性值250、264，那么给定像素232经识别为非障碍图226中的障碍区268。在另一方法中，垂直可靠性图248和水平可靠性图262可指示不同可靠性值250、264。在此状况下，给定像素2332可基于给定像素232的坐标而识别为非障碍区266或障碍区268。
图9为说明用于组合垂直非障碍估计242与水平非障碍估计258以确定非障碍图226的另一方法900的流程图。方法900可由电子装置102(例如，非障碍确定模块116)实施。在此方法900中，电子装置102可执行紧接着水平处理的垂直处理的顺序应用程序。
电子装置102可执行902深度图230的垂直处理以确定垂直非障碍估计242。可如结合图5所描述而实现此。
电子装置102可基于模型拟合可信度获得904垂直可靠性图248。可如结合图5所描述般实现此操作。
电子装置102可基于垂直可靠性图248将可靠区域识别906为非障碍区266。举例来说，垂直可靠性图248中具有高垂直可靠性值250的每一像素232可经标记为非障碍图226中的非障碍区266。
电子装置102可对垂直可靠性图248的不可靠区域执行908水平处理以确定不可靠区域是否为非障碍区266。举例来说，电子装置102可对具有低可靠性值250的像素232的至少一个行执行水平处理。应注意，行的长度可与图像114一样宽或可以比图像宽度短。水平处理可如结合图7所描述般实现以确定水平非障碍估计258。非障碍图226可基于不可靠区域的水平可靠性图262的结果而更新。
图10为说明用于组合垂直非障碍估计242与水平非障碍估计258以确定非障碍图226的又一种方法1000的流程图。方法1000可由电子装置102(例如，非障碍确定模块116)实施。在此方法1000中，电子装置102可执行紧接着垂直处理的水平处理的顺序应用程序。
电子装置102可执行1002深度图230的水平处理以确定水平非障碍估计258。可如结合图7所描述般实现此操作。
电子装置102可基于深度直方图252距离获得1004水平可靠性图262。可如结合图7所描述般实现此操作。
电子装置102可基于水平可靠性图262将可靠区域识别1006为非障碍区266。举例来说，水平可靠性图262中具有高水平可靠性值264的每一像素232可经标记为非障碍图226中的非障碍区266。
电子装置102可对水平可靠性图262的不可靠区域执行1008垂直处理以确定不可靠区域是否为非障碍区266。举例来说，电子装置102可对具有低水平可靠性值264的像素232的一或多个列执行垂直处理。像素232的所述一或多个列可与图像114一样高或可小于图像高度。
垂直处理可如结合图5所描述而实现以确定垂直非障碍估计242。非障碍图226可基于不可靠区域的垂直可靠性图248的结果而更新。
图11A到11B说明确定图像1114中的非障碍区1166的实例。在此实例中，原始图像1114a为单向道路的图像。
经处理图像1114b展示根据本文中所描述的系统和方法确定的非障碍区1166。经处理图像1114b展示来自算法的中间步骤的实例，并非最终结果。此处展示的此情况可为应进一步被处理的非障碍图126中的孔。此外，此说明单独来自垂直处理的结果。
非障碍区1166包含对应于道路的开放区。非障碍区1166中的某些离群值区1178并不识别为非障碍区1166的部分。如本文所使用，离群值意谓图像1114b中的深度值不适合预定模型。此可归因于深度值的可能错误估计(例如，输入深度值可能不完美)，因此一些区呈现为孔(或离群值)。这些离群值区1178可通过执行图像1114的额外处理而去除。
图12A到12B说明确定图像1214中的非障碍区1266的另一实例。在此实例中，原始图像1214a为交叉路口的图像。经处理图像1214b展示根据本文中所描述的系统和方法确定的非障碍区1266。
图13A到13B说明确定距非障碍区1366的距离1380的实例。此实例展示结合图11A到11B描述的道路的经处理图像1314。根据本文中所描述的系统和方法确定非障碍区1366。
在图13B的深度图1330中，x和y坐标为坐标位置且着色指示深度。在此实例中，深度图1330包含非障碍区1366的深度信息。深度图1330指示在摄影机前方多远将存在自由空间。
使用来自深度图1330的深度值234，电子装置102可确定与非障碍区1366b相关联的各种距离。举例来说，电子装置102可确定非障碍区1366b的最远距离是在距图像传感器104 45米到50米之间。类似地，电子装置102可确定最近汽车距图像传感器104大致11米。
图14说明使用非障碍图226以识别由物件检测算法使用的关注区(ROI)1482的实例。此实例展示结合图11A到11B描述的道路的经处理图像1414。根据本文中所描述的系统和方法确定非障碍区1466。
电子装置102接着可识别潜在障碍区268的一或多个ROI 1482。举例来说，电子装置102可从非障碍图226识别障碍区268。在实施方案中，未标记为非障碍区1466的像素232可经识别为障碍区268。这些障碍区268可包含于一或多个ROI 1482中。在此实例中，电子装置102将四个ROI 1482a到1482d识别为潜在物件区。
电子装置102可在所识别ROI 1482中运行物件检测器。举例来说，电子装置102可检测ROI 1482是否包含汽车、交通信号、行人、通路、路缘等。
识别非障碍区1466首先产生用于物件检测的减少的搜索区。此可减少针对物件检测执行的处理量。
图15说明使用非障碍图226以识别由通路检测算法使用的关注区(ROI)1582的实例。此实例展示道路的经处理图像1514。根据本文中所描述的系统和方法确定非障碍区1566。
电子装置102接着可识别道路侧和/或路缘的一或多个ROI 1582。举例来说，电子装置102可从非障碍图226识别障碍区268。在此实例中，电子装置102将非障碍区1566的侧面的两个ROI 1582a到1582b识别为潜在道路侧和/或路缘。
电子装置102可在所识别ROI 1582a到1582b中运行通路检测器。识别非障碍区1566首先产生用于通路检测的减少的搜索区。此可减少针对通路检测执行的处理量。
图16为说明用于基于所估计线性模型参数238分类道路的方法1600的流程图。方法1600可由电子装置102(例如，非障碍确定模块116)实施。
电子装置102可获得1602道路图像114的深度图230。深度图230可如结合图2所描述而产生。
电子装置102可执行1604片段拟合以估计线性模型参数238。可如结合图2所描述确定所估计线性模型参数238。
电子装置102可基于所估计线性模型参数238分类1606道路。举例来说，电子装置102可比较所估计线性模型参数238与多个预定线性模型参数240。如上文所描述，预定线性模型参数240可与多个道路条件模型相关联。多个道路条件模型中的每一者可具有线性模型参数240的对应集合。道路条件模型的实例包含平坦平面、斜坡(例如，坡道)、谷地、不规则道路等。
在实施方案中，可经由训练获得预定线性模型参数240。可使用预先标记测试数据，其中预先标记指平坦道路或不规则道路等的经标记图像114和深度图230。在使用此数据情况下，可产生预定线性模型参数240。
电子装置102可确定预定线性模型参数240中的哪些最好拟合所估计线性模型参数238。可根据最好拟合所估计线性模型参数238的道路条件模型分类1606道路。因此，通过分类1606道路，电子装置102可确定道路图像114中的自由空间的类型。
图17说明可包含于电子装置1702内的某些组件。电子装置1702可为摄影机、视频摄录影机、数码相机、蜂窝式电话、智能电话、计算机(例如，台式计算机、膝上型计算机、等)、平板计算机装置、媒体播放器、电视、汽车、个人摄影机、动作摄影机、监测摄影机、安装摄影机、连接摄影机、机器人、飞机、无人驾驶飞机、无人操纵的飞行器(UAV)、保健装备、游戏控制台、个人数字助理(PDA)、机顶盒等或可包含于其内。电子装置1702包含处理器1728。处理器1728可为通用单一或多个芯片微处理器(例如，ARM)、特殊用途微处理器(例如，数字信号处理器(DSP))、微控制器、可编程门阵列等。处理器1728可被称为中央处理单元(CPU)。尽管电子装置1702中仅展示单一处理器1728，但在替代配置中，可使用处理器(例如，ARM和DSP)的组合。
电子装置1702还包含存储器1739。存储器1739可为能够存储电子信息的任何电子组件。存储器1739可体现为随机存取存储器(RAM)、只读存储器(ROM)、磁盘存储媒体、光学存储媒体、RAM中的快闪存储器装置、随处理器包含的机载存储器、EPROM存储器、EEPROM存储器、寄存器等，包含其组合。
数据1721a和指令1741a可存储于存储器1739中。指令1741a可能可由处理器1728执行以实施本文所描述的方法中的一或多个。执行指令1741a可涉及使用存储于存储器1739中的数据。当处理器1728执行指令1741时，可将指令1741b的各种部分载入于处理器1728上，且可将数据1721b的各种片段载入于处理器1728上。
电子装置1702也可包含允许发射信号到电子装置1702的发射器1725和从电子装置1702接收信号的接收器1727。发射器1725和接收器1727可统称为收发器1729。一或多个天线1737a到1737b可电耦合到收发器1729。电子装置1702也可包含(未图示)多个发射器、多个接收器、多个收发器和/或额外天线。
电子装置1702可包含数字信号处理器(DSP)1731。电子装置1702也可包含通信接口1733。通信接口1733可允许实现一或多个种类的输入和/或输出。举例来说，通信接口1733可包含一或多个端口和/或通信装置以用于将其它装置连结到电子装置1702。另外或替代地，通信接口1733可包含一或多个其它接口(例如，触控式屏幕、小键盘、键盘、麦克风、摄影机等)。举例来说，通信接口1733可实现用户与电子装置1702相互作用。
电子装置1702的各种组件可由一或多个总线耦合到一起，所述一或多个总线可包含电力总线、控制信号总线、状态信号总线、数据总线等。为清楚起见，各种总线在图17中被说明为总线系统1723。
根据本发明，电子装置中的电路可适于从一或多个图像获得深度图。深度图中的每一像素可具有深度值。相同电路、不同电路或相同或不同电路的第二区段可适于执行深度图的垂直处理以确定垂直非障碍估计。相同电路、不同电路或相同或不同电路的第三区段可适于执行深度图的水平处理以确定水平非障碍估计。相同电路、不同电路或相同或不同电路的第四区段可适于组合垂直非障碍估计与水平非障碍估计以确定非障碍图。另外，同一电路、不同电路或同一或不同电路的第五区段可适于控制提供上文所描述功能性的电路或电路区段的配置。
术语“确定”涵盖多种动作，且因此“确定”可包含计算(calculating、computing)、处理、推导、研究、查找(例如，在表、数据库或另一数据结构中查找)、确定和其类似者。并且，“确定”可包含接收(例如，接收信息)、存取(例如，存取存储器中的数据)和其类似者。并且，“确定”可包含解析、选择、挑选、建立和其类似者。
短语“基于”并不意谓“仅基于”，除非以其它方式明确地指定。换句话说，短语“基于”描述“仅基于”和“至少基于”两者。
术语“处理器”应广义上解译为涵盖通用处理器、中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机等。在一些情况下，“处理器”可指专用集成电路(ASIC)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)等。术语“处理器”可指处理装置的组合，例如，DSP与微处理器的组合、多个微处理器的组合、一或多个微处理器结合DSP核心，或任何其它此类配置。
术语“存储器”应广义上解译为涵盖能够存储电子信息的任何电子组件。术语存储器可指各种类型处理器可读媒体，例如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、快闪存储器、磁性或光学数据存储装置、寄存器等。如果处理器可从存储器读取信息和/或写入信息到存储器，那么存储器被称为与处理器进行电子通信。与处理器成一体的存储器与处理器进行电子通信。
术语“指令”和“代码”应被广泛地解译为包含任何类型的计算机可读表述。举例来说，术语“指令”和“代码”可指一或多个程序(program)、例程、子例程、函数、程序(procedure)等。“指令”和“代码”可包括单一计算机可读表述或许多计算机可读表述。
本文中所描述功能可在由硬件执行的软件或固件中实施。功能可存储为计算机可读媒体上的一或多个指令。术语“计算机可读媒体”或“计算机程序产品”指可由计算机或处理器存取的任何有形存储媒体。作为实例而非限制，计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用以携载或存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。如本文所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和Blu-光盘，其中磁盘通常以磁性方式再现数据，而光盘通过激光以光学方式再现数据。应注意，计算机可读媒体可为有形且非暂时性的。术语“计算机程序产品”指计算装置或处理器，其与可由所述计算装置或处理器执行、处理或计算的代码或指令(例如，“程序”)相组合。如本文所使用，术语“代码”可指可由计算装置或处理器执行的软件、指令、代码或数据。
也可在发射媒体上发射软件或指令。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字用户线(DSL)或例如红外线、无线电和微波的无线技术从网站、服务器或其它远程源发射软件，那么同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电和微波的无线技术包含于发射媒体的定义中。
本文中所揭示的方法包括用于达成所描述方法的一或多个步骤或动作。在不脱离权利要求书的范围的情况下，方法步骤和/或动作可彼此互换。换句话说，除非对于所描述方法的恰当操作需要步骤或动作的特定次序，否则可修改特定步骤和/或动作的次序和/或使用而不脱离权利要求书的范围。
另外，应了解用于执行本文所描述的方法和技术的模块和/或其它适当装置可经下载和/或另外由装置获得。举例来说，可将装置耦合到服务器以促进用于执行本文中所描述的方法的装置的转移。替代地，本文中所描述的各种方法可经由存储装置(例如，随机存取存储器(RAM)、只读存储器(ROM)、例如紧密光盘(CD)或软盘的物理存储媒体，等等)提供，使得装置可在将存储装置耦合或提供到装置后获得各种方法。
应理解，权利要求书并不限于上文所说明的精确配置和组件。在不偏离权利要求书的范围的情况下，可在本文所描述的系统、方法和设备的布置、操作和细节方面进行各种修改、改变和变更。

Claims (30)

1.一种由电子装置执行的方法，其包括：
执行深度图的垂直处理以确定垂直非障碍估计；
执行所述深度图的水平处理以确定水平非障碍估计；
组合所述垂直非障碍估计与所述水平非障碍估计；以及
基于所述垂直非障碍估计与所述水平非障碍估计的所述组合产生非障碍图。
2.根据权利要求1所述的方法，其中执行垂直处理包括：
将所述深度图分割成数个片段，其中至少一个片段包含一列中的许多像素；
估计用于至少一个片段的线性模型参数以确定所述垂直非障碍估计；以及
产生包含所述垂直非障碍估计的可靠性值的垂直可靠性图。
3.根据权利要求2所述的方法，其中确定所述垂直可靠性图包括：
基于所述所估计线性模型参数与预定线性模型参数之间的差确定给定片段的片段拟合误差；
通过比较所述片段拟合误差与垂直估计阈值来确定所述给定片段的可靠性值；以及
将所述给定片段的所述可靠性值应用于所述给定片段中的至少一个像素。
4.根据权利要求3所述的方法，其中所述预定线性模型参数选自多个道路条件模型，
其中所述多个道路条件模型具有线性模型参数的对应集合。
5.根据权利要求1所述的方法，其中执行水平处理包括：
获得所述深度图的像素的至少一个行的深度直方图；
从所述深度直方图确定地形线；
基于至少一个像素的深度值距所述地形线的距离确定水平非障碍估计；以及
产生包含所述水平非障碍估计的可靠性值的水平可靠性图。
6.根据权利要求5所述的方法，其中产生所述水平可靠性图包括：
确定给定像素的所述深度值是否在所述深度直方图的众数的范围内，其中当所述给定像素的所述深度值在所述深度直方图的所述众数的所述范围内时所述给定像素具有高可靠性值。
7.根据权利要求1所述的方法，其中组合所述垂直非障碍估计与所述水平非障碍估计包括：
并行执行所述垂直处理和所述水平处理两者；以及
基于垂直可靠性图和水平可靠性图而合并所述垂直非障碍估计和所述水平非障碍估计。
8.根据权利要求7所述的方法，其中给定像素经识别为所述非障碍图中的非障碍区，
其中所述垂直可靠性图和所述水平可靠性图两者由所述给定像素的高可靠性值表征。
9.根据权利要求7所述的方法，其中给定像素经识别为所述非障碍图中的障碍区，其中所述垂直可靠性图或所述水平可靠性图中的至少一个由所述给定像素的低可靠性值表征。
10.根据权利要求7所述的方法，其中给定像素是基于所述给定像素的坐标而识别为所述非障碍图中的非障碍区或障碍区，其中所述垂直可靠性图和所述水平可靠性图由所述给定像素的不同可靠性值表征。
11.根据权利要求1所述的方法，其中组合所述垂直非障碍估计与所述水平非障碍估计包括：
执行所述深度图的垂直处理；
基于模型拟合可信度获得垂直可靠性图；
将所述垂直可靠性图的可靠区域识别为非障碍区；以及
对所述垂直可靠性图的不可靠区域执行水平处理以确定所述不可靠区域是否为非障碍区。
12.根据权利要求1所述的方法，其中组合所述垂直非障碍估计与所述水平非障碍估计包括：
执行所述深度图的水平处理；
基于深度直方图距离获得水平可靠性图；
将所述水平可靠性图的可靠区域识别为非障碍区；以及
对所述水平可靠性图的不可靠区域执行垂直处理以确定所述不可靠区域是否为非障碍区。
13.根据权利要求1所述的方法，其中所述非障碍图用于识别由物件检测算法或通路检测算法中的至少一个使用的关注区。
14.一种电子装置，其中所述电子装置经配置以：
执行深度图的垂直处理以确定垂直非障碍估计；
执行所述深度图的水平处理以确定水平非障碍估计；
组合所述垂直非障碍估计与所述水平非障碍估计；以及
基于所述垂直非障碍估计与所述水平非障碍估计的所述组合产生非障碍图。
15.根据权利要求14所述的电子装置，其中经配置以执行垂直处理的所述电子装置包括经配置以执行以下操作的所述电子装置：
将所述深度图分割成数个片段，其中至少一个片段包含一列中的许多像素；
估计用于至少一个片段的线性模型参数以确定所述垂直非障碍估计；以及
产生包含所述垂直非障碍估计的可靠性值的垂直可靠性图。
16.根据权利要求14所述的电子装置，其中经配置以执行水平处理的所述电子装置包括经配置以执行以下操作的所述电子装置：
获得所述深度图的像素的至少一个行的深度直方图；
从所述深度直方图确定地形线；
基于至少一个像素的深度值距所述地形线的距离确定水平非障碍估计；以及
产生包含所述水平非障碍估计的可靠性值的水平可靠性图。
17.根据权利要求14所述的电子装置，其中经配置以组合所述垂直非障碍估计与所述水平非障碍估计的所述电子装置包括经配置以执行以下操作的所述电子装置：
并行执行所述垂直处理和所述水平处理两者；以及
基于垂直可靠性图和水平可靠性图而合并所述垂直非障碍估计和所述水平非障碍估计。
18.根据权利要求14所述的电子装置，其中经配置以组合所述垂直非障碍估计与所述水平非障碍估计的所述电子装置包括经配置以执行以下操作的所述电子装置：
执行所述深度图的垂直处理；
基于模型拟合可信度获得垂直可靠性图；
将所述垂直可靠性图的可靠区域识别为非障碍区；以及
对所述垂直可靠性图的不可靠区域执行水平处理以确定所述不可靠区域是否为非障碍区。
19.根据权利要求14所述的电子装置，其中经配置以组合所述垂直非障碍估计与所述水平非障碍估计的所述电子装置包括经配置以执行以下操作的所述电子装置：
执行所述深度图的水平处理；
基于深度直方图距离获得水平可靠性图；
将所述水平可靠性图的可靠区域识别为非障碍区；以及
对所述水平可靠性图的不可靠区域执行垂直处理以确定所述不可靠区域是否为非障碍区。
20.一种设备，其包括：
用于执行深度图的垂直处理以确定垂直非障碍估计的装置；
用于执行所述深度图的水平处理以确定水平非障碍估计的装置；
用于组合所述垂直非障碍估计与所述水平非障碍估计的装置；以及
用于基于所述垂直非障碍估计与所述水平非障碍估计的所述组合产生非障碍图的装置。
21.根据权利要求20所述的设备，其中用于执行垂直处理的所述装置包括：
用于将所述深度图分割成数个片段的装置，其中至少一个片段包含一列中的许多像素；
用于估计用于至少一个片段的线性模型参数以确定所述垂直非障碍估计的装置；
以及
用于产生包含所述垂直非障碍估计的可靠性值的垂直可靠性图的装置。
22.根据权利要求20所述的设备，其中用于执行水平处理的所述装置包括：
用于获得所述深度图的像素的至少一个行的深度直方图的装置；
用于从所述深度直方图确定地形线的装置；
用于基于至少一个像素的深度值距所述地形线的距离确定水平非障碍估计的装置；以及
用于产生包含所述水平非障碍估计的可靠性值的水平可靠性图的装置。
23.根据权利要求20所述的设备，其中用于组合所述垂直非障碍估计与所述水平非障碍估计的所述装置包括：
用于并行执行所述垂直处理和所述水平处理两者的装置；以及
用于基于垂直可靠性图和水平可靠性图而合并所述垂直非障碍估计和所述水平非障碍估计的装置。
24.根据权利要求20所述的设备，其中用于组合所述垂直非障碍估计与所述水平非障碍估计的所述装置包括：
用于执行所述深度图的垂直处理的装置；
用于基于模型拟合可信度获得垂直可靠性图的装置；
用于将所述垂直可靠性图的可靠区域识别为非障碍区的装置；以及
用于对所述垂直可靠性图的不可靠区域执行水平处理以确定所述不可靠区域是否为非障碍区的装置。
25.根据权利要求20所述的设备，其中用于组合所述垂直非障碍估计与所述水平非障碍估计的所述装置包括：
用于执行所述深度图的水平处理的装置；
用于基于深度直方图距离获得水平可靠性图的装置；
用于将所述水平可靠性图的可靠区域识别为非障碍区的装置；以及
用于对所述水平可靠性图的不可靠区域执行垂直处理以确定所述不可靠区域是否为非障碍区的装置。
26.一种计算机程序产品，其包括其上具有指令的非暂时性有形计算机可读媒体，所述指令包括：
用于使电子装置执行深度图的垂直处理以确定垂直非障碍估计的代码；
用于使所述电子装置执行所述深度图的水平处理以确定水平非障碍估计的代码；
用于使所述电子装置组合所述垂直非障碍估计与所述水平非障碍估计的代码；以及
用于使所述电子装置基于所述垂直非障碍估计与所述水平非障碍估计的所述组合产生非障碍图的代码。
27.根据权利要求26所述的计算机程序产品，其中用于使所述电子装置执行垂直处理的所述代码包括：
用于使所述电子装置将所述深度图分割成数个片段的代码，其中至少一个片段包含一列中的许多像素；
用于使所述电子装置估计用于至少一个片段的线性模型参数以确定所述垂直非障碍估计的代码；以及
用于使所述电子装置产生包含所述垂直非障碍估计的可靠性值的垂直可靠性图的代码。
28.根据权利要求26所述的计算机程序产品，其中用于使所述电子装置执行水平处理的所述代码包括：
用于使所述电子装置获得所述深度图的像素的至少一个列的深度直方图的代码；
用于使所述电子装置从所述深度直方图确定地形线的代码；
用于使所述电子装置基于至少一个像素的深度值距所述地形线的距离确定水平非障碍估计的代码；以及
用于使所述电子装置产生包含所述水平非障碍估计的可靠性值的水平可靠性图的代码。
29.根据权利要求26所述的计算机程序产品，其中用于使所述电子装置组合所述垂直非障碍估计与所述水平非障碍估计的所述代码包括：
用于使所述电子装置并行执行所述垂直处理和所述水平处理两者的代码；以及
用于使所述电子装置基于垂直可靠性图和水平可靠性图合并所述垂直非障碍估计和所述水平非障碍估计的代码。
30.根据权利要求26所述的计算机程序产品，其中用于使所述电子装置组合所述垂直非障碍估计与所述水平非障碍估计的所述代码包括：
用于使所述电子装置执行所述深度图的垂直处理的代码；
用于使所述电子装置基于模型拟合可信度获得垂直可靠性图的代码；
用于使所述电子装置将所述垂直可靠性图的可靠区域识别为非障碍区的代码；以及
用于使所述电子装置对所述垂直可靠性图的不可靠区域执行水平处理以确定所述不可靠区域是否为非障碍区的代码。
CN201680053167.1A 2015-09-18 2016-08-01 用于非障碍区检测的系统和方法 Active CN108027877B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/858,471 US9761000B2 (en) 2015-09-18 2015-09-18 Systems and methods for non-obstacle area detection
US14/858,471 2015-09-18
PCT/US2016/045042 WO2017048383A1 (en) 2015-09-18 2016-08-01 Systems and methods for non-obstacle area detection

Publications (2)

Publication Number Publication Date
CN108027877A true CN108027877A (zh) 2018-05-11
CN108027877B CN108027877B (zh) 2022-10-18

Family

ID=56738213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680053167.1A Active CN108027877B (zh) 2015-09-18 2016-08-01 用于非障碍区检测的系统和方法

Country Status (8)

Country Link
US (4) US9761000B2 (zh)
EP (1) EP3350746A1 (zh)
JP (1) JP6794436B2 (zh)
KR (1) KR20180056685A (zh)
CN (1) CN108027877B (zh)
JO (1) JO3741B1 (zh)
TW (1) TWI618028B (zh)
WO (1) WO2017048383A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111192283A (zh) * 2019-12-26 2020-05-22 昆山伟宇慧创智能科技有限公司 一种限高杆检测和高度计算方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9761000B2 (en) 2015-09-18 2017-09-12 Qualcomm Incorporated Systems and methods for non-obstacle area detection
US10282623B1 (en) * 2015-09-25 2019-05-07 Apple Inc. Depth perception sensor data processing
EP3185208A1 (en) * 2015-12-22 2017-06-28 Thomson Licensing Method for determining missing values in a depth map, corresponding device, computer program product and non-transitory computer-readable carrier medium
CN107563256A (zh) * 2016-06-30 2018-01-09 北京旷视科技有限公司 辅助驾驶信息产生方法及装置、辅助驾驶系统
JP6838340B2 (ja) * 2016-09-30 2021-03-03 アイシン精機株式会社 周辺監視装置
DE102017205093A1 (de) * 2017-03-27 2018-09-27 Conti Temic Microelectronic Gmbh Verfahren und System zur Vorhersage von Sensorsignalen eines Fahrzeugs
JPWO2018180104A1 (ja) * 2017-03-31 2020-05-14 パイオニア株式会社 判定装置、判定方法並びに判定用プログラム及びデータ構造
US10486485B1 (en) * 2017-04-19 2019-11-26 Zoox, Inc. Perception based suspension control
US11214143B2 (en) * 2017-05-02 2022-01-04 Motional Ad Llc Visually obstructed object detection for automated vehicle using V2V/V2I communications
CN109657523B (zh) * 2017-10-10 2021-03-30 北京京东乾石科技有限公司 一种可行驶区域检测方法和装置
CN109829351B (zh) * 2017-11-23 2021-06-01 华为技术有限公司 车道信息的检测方法、装置及计算机可读存储介质
KR102323394B1 (ko) * 2018-01-22 2021-11-08 삼성전자주식회사 차량의 주행을 보조하는 장치 및 방법
DE112019001657T5 (de) * 2018-03-29 2021-01-14 Sony Corporation Signalverarbeitungsvorrichtung und signalverarbeitungsverfahren, programm und mobiler körper
CN110796633A (zh) * 2019-09-10 2020-02-14 浙江大华技术股份有限公司 无人机降落安全检测方法、装置、计算机设备和存储介质
FR3102739A1 (fr) * 2019-11-06 2021-05-07 Psa Automobiles Sa Procédé et système permettant à un système d’aide à la conduite d’un véhicule automobile de différencier des types d’intersections routières
FR3107359B1 (fr) * 2020-02-18 2022-02-25 Thales Sa Procede et dispositif de determination d'obstacles d'altitude
CN111307159B (zh) * 2020-03-19 2022-11-18 哈尔滨工程大学 一种多auv三维协同航路规划方法
CN113496146A (zh) * 2020-03-19 2021-10-12 苏州科瓴精密机械科技有限公司 自动工作系统、自动行走设备及其控制方法及计算机可读存储介质
JP2021164059A (ja) * 2020-03-31 2021-10-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN112150490B (zh) * 2020-09-30 2024-02-02 北京小狗吸尘器集团股份有限公司 图像检测方法、装置、电子设备和计算机可读介质
FR3129511A1 (fr) * 2021-11-23 2023-05-26 Multitec Innovation Système d’assistance au stationnement d’un véhicule équipé d’une plateforme mobile, telle un hayon élévateur arrière ou latéral, et procédé correspondant
CN116884236B (zh) * 2023-06-26 2024-04-16 中关村科学城城市大脑股份有限公司 交通流量采集设备和交通流量采集方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102317954A (zh) * 2009-02-16 2012-01-11 戴姆勒股份公司 检测对象的方法
CN104350749A (zh) * 2012-06-13 2015-02-11 高通股份有限公司 深度图估计的推导
CN104899869A (zh) * 2015-05-14 2015-09-09 浙江大学 基于rgb-d相机和姿态传感器的平面和障碍检测方法
US20150254811A1 (en) * 2014-03-07 2015-09-10 Qualcomm Incorporated Depth aware enhancement for stereo video

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3352655B2 (ja) * 1999-09-22 2002-12-03 富士重工業株式会社 車線認識装置
JP2005251106A (ja) * 2004-03-08 2005-09-15 Mitsubishi Electric Corp 車線認識装置
US7889949B2 (en) * 2007-04-30 2011-02-15 Microsoft Corporation Joint bilateral upsampling
JP5502448B2 (ja) * 2009-12-17 2014-05-28 富士重工業株式会社 路面形状認識装置
TR201010439A2 (tr) 2010-12-14 2012-07-23 Vestel Elektroni̇k San. Ve Ti̇c. A.Ş. Derinlik verilerinin yukarı örneklenmesi
WO2012081359A1 (ja) * 2010-12-15 2012-06-21 本田技研工業株式会社 レーン認識装置
JP2012243049A (ja) * 2011-05-19 2012-12-10 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
CN103123722B (zh) 2011-11-18 2016-04-27 株式会社理光 道路对象检测方法和系统
CN103177236B (zh) * 2011-12-22 2016-06-01 株式会社理光 道路区域检测方法和装置、分道线检测方法和装置
CN103679127B (zh) * 2012-09-24 2017-08-04 株式会社理光 检测道路路面的可行驶区域的方法和装置
CN103679691B (zh) * 2012-09-24 2016-11-16 株式会社理光 连续型道路分割物检测方法和装置
CN103854008B (zh) 2012-12-04 2019-10-18 株式会社理光 路面检测方法和装置
US9483829B2 (en) * 2013-09-04 2016-11-01 International Business Machines Corporation Efficient visual surface finding
JP6151150B2 (ja) * 2013-10-07 2017-06-21 日立オートモティブシステムズ株式会社 物体検出装置及びそれを用いた車両
US9761000B2 (en) 2015-09-18 2017-09-12 Qualcomm Incorporated Systems and methods for non-obstacle area detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102317954A (zh) * 2009-02-16 2012-01-11 戴姆勒股份公司 检测对象的方法
CN104350749A (zh) * 2012-06-13 2015-02-11 高通股份有限公司 深度图估计的推导
US20150254811A1 (en) * 2014-03-07 2015-09-10 Qualcomm Incorporated Depth aware enhancement for stereo video
CN104899869A (zh) * 2015-05-14 2015-09-09 浙江大学 基于rgb-d相机和姿态传感器的平面和障碍检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LOMBARDI等: "Unified stereovision for ground，road，and obstacle detection", 《IEEE》 *
程健: "基于三维激光雷达的实时目标检测", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111192283A (zh) * 2019-12-26 2020-05-22 昆山伟宇慧创智能科技有限公司 一种限高杆检测和高度计算方法

Also Published As

Publication number Publication date
TW201724007A (zh) 2017-07-01
US10395377B2 (en) 2019-08-27
US20180158193A1 (en) 2018-06-07
US20190333229A1 (en) 2019-10-31
JO3741B1 (ar) 2021-01-31
US20170084038A1 (en) 2017-03-23
KR20180056685A (ko) 2018-05-29
US20180012367A1 (en) 2018-01-11
TWI618028B (zh) 2018-03-11
US9905015B2 (en) 2018-02-27
CN108027877B (zh) 2022-10-18
US9761000B2 (en) 2017-09-12
WO2017048383A1 (en) 2017-03-23
JP2018530825A (ja) 2018-10-18
JP6794436B2 (ja) 2020-12-02
EP3350746A1 (en) 2018-07-25

Similar Documents

Publication Publication Date Title
CN108027877A (zh) 用于非障碍区检测的系统和方法
CN107038723B (zh) 棒状像素估计方法和系统
JP2019087229A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
CN108648194B (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
US11841434B2 (en) Annotation cross-labeling for autonomous control systems
Ding et al. Vehicle pose and shape estimation through multiple monocular vision
WO2020154990A1 (zh) 目标物体运动状态检测方法、设备及存储介质
US11748998B1 (en) Three-dimensional object estimation using two-dimensional annotations
CN112097732A (zh) 一种基于双目相机的三维测距方法、系统、设备及可读存储介质
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN114821507A (zh) 一种用于自动驾驶的多传感器融合车路协同感知方法
CN117058646B (zh) 基于多模态融合鸟瞰图的复杂道路目标检测方法
CN116597122A (zh) 数据标注方法、装置、电子设备及存储介质
WO2021175119A1 (zh) 用于获取车辆3d信息的方法和装置
Omar et al. Detection and localization of traffic lights using YOLOv3 and Stereo Vision
CN112800822A (zh) 利用结构约束和物理约束进行3d自动标记
CN116665179A (zh) 数据处理方法、装置、域控制器以及存储介质
Beltrán et al. Dense Semantic Stereo Labelling Architecture for In-Campus Navigation.
CN111815667B (zh) 一种相机移动条件下高精度检测运动目标的方法
CN116778262B (zh) 一种基于虚拟点云的三维目标检测方法和系统
Ariche et al. Object detection and distance estimation via lidar and camera fusion for autonomous driving
CN116819554A (zh) 矿场低照度下激光与视觉信息冗余的评价方法、系统和存储介质
CN114973182A (zh) 用于确定对象的距离的方法和系统
CN117011670A (zh) 模型的训练方法、目标检测方法、装置、设备及存储介质
CN117274933A (zh) 三维车道线检测模型的训练方法、检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant