CN108602483A - 用于基于相机检测车辆附近对象高度的系统和方法 - Google Patents

用于基于相机检测车辆附近对象高度的系统和方法 Download PDF

Info

Publication number
CN108602483A
CN108602483A CN201780008674.8A CN201780008674A CN108602483A CN 108602483 A CN108602483 A CN 108602483A CN 201780008674 A CN201780008674 A CN 201780008674A CN 108602483 A CN108602483 A CN 108602483A
Authority
CN
China
Prior art keywords
optical flow
vehicle
height
image data
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780008674.8A
Other languages
English (en)
Inventor
P·A·西奥多西斯
O·M·杰罗明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faraday and Future Inc
Original Assignee
Faraday and Future Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Faraday and Future Inc filed Critical Faraday and Future Inc
Publication of CN108602483A publication Critical patent/CN108602483A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明整体涉及光学数据处理,或光学传感器或相机附近的对象,诸如安装于车辆上的相机。图像数据接收自安装于车辆上的相机,所述图像数据指示所述相机相对于检测对象在所述相机或所述车辆附近的运动,所述相机可安装于所述车辆上。所述图像数据中的所述对象的光学流被确定,并且所述对象的高度基于所述确定光学流而确定。

Description

用于基于相机检测车辆附近对象高度的系统和方法
相关申请的交叉引用
本申请要求提交于2016年1月29日的美国临时申请No.62/288,999的优先权,该临时申请出于所有目的据此全文以引用方式并入。
技术领域
本文整体涉及基于相机的对象检测,并且更特别地,涉及利用车辆上的一个或多个相机来检测对象高度。
背景技术
现代车辆(尤其是汽车)越来越多地包括各种传感器以用于检测和采集关于车辆周围的信息。这些传感器可包括超声传感器以用于在车辆附近检测车辆周围的对象。然而,当多个对象彼此较靠近时,超声传感器可具有有限能力来辨别这些对象(例如,辨别路缘上的对象和路缘)。因此,对于对象检测的替代或补充解决方案可为期望的。
发明内容
本公开的示例涉及利用一个或多个相机来使用光学流确定来检测车辆附近的对象或对象高度。在一些示例中,车辆可基于不同对象的光学流的差值来辨别这些对象的高度,这些差值反映于这些对象的所捕获图像中。基于这些高度差值,车辆可例如辨别路缘和路缘上的对象。辨别路缘和路缘上的对象可用于各种情况,包括自动驾驶或停车操作期间。例如,在执行自动停车操作的过程中,车辆可利用路缘位置来自行取向以用于停车目的,同时确保避开路缘上的对象。
附图说明
图1根据本公开的示例示出了具有相机的示例性车辆,该相机用于区分具有不同高度的对象。
图2A根据本公开的示例示出了具有相机的示例性车辆,该相机在其视野范围内具有路缘和对象。
图2B根据本公开的示例示出了车辆的示例性顶视图和相机视野范围内的代表性光学流。
图3根据本公开的示例示出了用于基于光学流的对象检测的示例性过程。
图4根据本公开的示例示出了车辆控制系统的示例性系统框图。
具体实施方式
在下述示例的说明书中,参考附图,这些附图形成说明书的一部分并且通过可付诸实践的示例具体示例的方式示出。应当理解,可使用其它示例并且可做出结构改变而不脱离所公开示例的范围。
一些车辆(诸如汽车)可包括超声传感器以用于在车辆附近检测车辆周围的对象。然而,当多个对象彼此较靠近时,超声传感器可具有有限能力来辨别这些对象(例如,辨别路缘上的对象和路缘)。本公开的示例涉及利用一个或多个相机来使用光学流确定来检测车辆附近的对象或对象高度。在一些示例中,车辆可基于不同对象的光学流的差值来辨别这些对象的高度,这些差值反映于这些对象的所捕获图像中。基于这些高度差值,车辆可例如辨别路缘和路缘上的对象。辨别路缘和路缘上的对象可用于各种情况,包括自动驾驶或停车操作期间。例如,在执行自动停车操作的过程中,车辆可利用路缘位置来自行取向以用于停车目的,同时确保避开路缘上的对象。
图1根据本公开的示例示出了具有相机102的示例性车辆100,相机102用于区分具有不同高度的对象。车辆100可处于道路104上,并且可具有安装至车辆的相机102。相机102可大体朝向道路104进行取向,使得相机的视野103可包括邻近车辆100的道路的部分106。在一些示例中,相机102可安装于车辆100的门上方;例如,车辆的车顶线附近。另外,在一些示例中,车辆100可包括一个或多个其它传感器(未示出)以用于检测车辆周围的对象,诸如超声传感器、雷达传感器、激光传感器、LIDAR传感器等。尽管车辆100示为具有一个相机102以用于区分具有不同高度的对象,但是根据本公开的示例,该车辆还可在车辆的相同侧或不同侧上包括一个或多个其它相机。
如先前所述及,车辆100可使用相机102(有时结合车辆上的其它传感器(例如,超声传感器))以用于检测和区分车辆周围的不同高度的对象。该检测可基于由相机102所捕获的图像中所检测的光学流的差值来执行,如下文将描述。
图2A根据本公开的示例示出了具有相机202的示例性车辆200,相机202在视野203内具有路缘208和对象210。例如,车辆200和相机202可对应于参考图1所描述的车辆100和相机102。车辆200可靠近路缘208和对象210,对象210可在路缘的顶部上。因此,相机202的视野203可包括路缘208和对象210,以及道路204的部分212。如先前所述及,车辆200上的超声传感器不能辨别路缘208和路缘顶部上的对象210。同样地,车辆200可利用相机202来区分道路204的部分212、路缘208和对象210,如下文将描述。
图2B根据本公开的示例示出了车辆200的示例性顶视图和相机202的视野203范围内的代表性光学流209,211和213。在图2B中,车辆200可在页面上向上移动。因此,路缘208、对象210和道路的部分212可在页面上相对于车辆200向下移动;相机202可捕获路缘、对象和道路的部分相对于车辆的该移动。路缘208、对象210和道路的部分212相对于相机202的移动可在由相机所捕获的图像中以光学流209,211和213来反映。光学流可指代速度和/或方向,颜色、特征、对象、边缘等在由相机202所捕获的图像中以该速度和/或在该方向上从像素至像素移动。例如,道路的部分212中的颜色、特征、对象、边缘等的像素至像素移动可表示为光学流213。类似地,路缘208上的颜色、特征、对象、边缘等的像素至像素移动可表示为光学流209。最终,对象210上的颜色、特征、对象、边缘等的像素至像素移动可表示为光学流211。当相机202相对于路缘208、对象210和道路的部分212移动时,车辆200可确定这些光学流。用于确定图像中的光学流的示例性技术描述于Horn,B.K.和Schunck,B.G.的“确定光学流(Determining optical flow)”(1981年,《东方技术论文集(Technical symposiumeast)》(第319至331页),国际光学和光子学协会(International Society for Opticsand Photonics)),其内容出于所有目的据此以引用方式并入。
现将描述根据本公开的示例利用光学流辨别具有不同高度的对象或表面。对于相机202相对于道路上的对象或表面的给定移动速率,例如,更靠近于相机的那些对象或表面相比于更远离相机的那些对象或表面可具有更大光学流速率(例如,可更快地从像素至像素移动)。因此,在图2A至图2B中的车辆200和相机202的示例性配置中,具有较大高度(例如,相对于道路)的对象或表面相比于具有较小高度(例如,相对于道路)的对象或表面可在由相机202所捕获的图像中具有更大光学流速率。同样,车辆200利用相机202可确定,具有较低光学流的对象或表面相比于具有较大光学流的对象或表面具有较小高度。这样,车辆200可区分车辆周围的对象或表面的高度。
另外,在一些示例中,车辆200可利用上文所描述的光学流的差值来确定对象或表面高度的真实世界差值(而不是简单地确定相对对象或表面高度)。特别地,因为车辆200上的相机202的安装参数(例如,高度、位置、角度等)对于车辆可为已知的,所以所检测光学流上可具有对象或表面的高度差值这一效果可进行计算和/或标定(例如,在工厂)以由车辆使用。例如,光学流差值对高度差值之间的这种对应关系可存储于车辆200的存储器(例如,查找表)中,并且可由车辆用于对于各种对象或表面的高度做出确定,以及将各种对象或表面分类(例如,分类为道路,分类为路缘,分类为路缘上的对象,等等)。
再次参考图2B,在确定光学流209,211和213之后,如上文所描述,出于上文所给出的原因,车辆200可确定区域212为最远离相机202的表面,因为光学流213可低于光学流209和211。另外,光学流213可对应于距相机202一定距离的表面的预定光学流(例如,可在其预定光学流阈值范围内),车辆200将预期道路位于在该表面处——利用该信息,车辆可将区域212识别为道路。车辆200可额外地或另选地利用其它图像处理技术来识别图像中的地平面以将区域212识别为地平面,并且因此将区域212识别为道路。车辆200还可确定,路缘208相比于区域212更靠近于相机202,因为与路缘相关联的光学流209可大于与区域212相关联的光学流213。同样,车辆200可确定,存在邻近区域212的表面或对象,其相比于道路具有较大高度。另外,车辆200可利用光学流209(对应于路缘208)和光学流213(对应于道路的区域212)之间的差值来确定道路和路缘之间的高度差值,如上文所描述。如果高度差值大于阈值高度(例如,标准路缘的高度)或在阈值高度(例如,标准路缘的高度)的预定阈值范围内,那么车辆200可确定路缘208实际上为路缘。应理解,车辆200可类似地做出其它基于高度的对象识别(类似于上文相对于路缘208所描述)以识别相机202的视野203内的其它对象。例如,车辆200可将利用相机202所检测的对象高度相比于对象的多个预定高度(例如,消防栓的高度、邮箱的高度等)以基于其所检测高度而明确地识别对象或对其至少大体上分类。
除了关于路缘208的上述确定之外,车辆200还可确定对象210相比于区域212和路缘208更靠近于相机202,因为与对象210相关联的光学流211可大于与路缘208相关联的光学流209和与区域212相关联的光学流213。同样,车辆200可确定表面或对象存储于路缘208内,该表面或对象相比于道路和路缘具有较大高度。另外,车辆200可利用光学流211(对应于对象210)和光学流209(对应于路缘208)之间的差值来确定对象210和路缘之间的高度差值,并且因此确定对象210的存在和/或高度,如上文所描述。
在一些示例中,除了利用高度和/或高度差值来识别相机202的视野203内的表面或对象之外或另选地,车辆200可利用其它图像处理技术(诸如图像标识)以执行此类识别。例如,车辆200可基于上文所描述高度确定来确定对象210在路缘208上并且具有特定高度,并且例如,可利用其它图像处理技术来确定对象210为具有该特定高度的儿童或消防栓。
在一些示例中,车辆200可利用基准光学流来做出本公开的确定的每一者。例如,车辆200可具有对得自一个或多个传感器的其轮速信息和因此关于车辆行驶的速度的访问权,该一个或多个传感器用于检测车辆的轮速。在一些示例中,车辆速度信息可额外地或另选地根据接收自车辆200中的全球定位系统(GPS)接收器的GPS数据进行确定。因为车辆200上的相机202的位置和其它安装参数可为已知的,所以得自相机202的道路的预期高度和/或道路的对应预期距离(如由相机202所捕获)可为已知的。因此,对于给定车辆速度,对应于道路的基准光学流可为已知的(例如,标定和/或存储于车辆的存储器中)。车辆200可将由相机202所捕获的图像中所检测的光学流相比于该基准光学流以做出关于车辆周围的对象或表面的各种确定。例如,可确定基准光学流的预定阈值光学流范围内的光学流对应于道路。可确定偏离基准光学流的光学流对应于高度差值,并且可确定那些高度差值与道路的高度相关。例如,对象210的光学流211可相比于基准光学流,并且对象210相对于道路的高度可根据比较结果直接地确定,而非通过将光学流211(对应于对象210)相比于光学流213(对应于道路)。这样,基于光学流的高度确定可进行简化。应当理解,根据本公开的示例可额外地或另选地使用其它基准光学流(例如,对应于标准高度路缘的基准光学流可存储于车辆的存储器中,并且可如上文所描述使用)。
除了确定车辆200周围的对象或表面的高度之外,车辆利用相机202可额外地确定对象或表面的位置。具体地,因为车辆200上的相机202的安装位置和参数可为已知的,所以像素对距离比率可进行计算和/或标定(例如,存储于车辆的存储器中)以由车辆用于做出距离或位置确定。车辆200可利用像素对距离比率来将由相机202所捕获的图像中的对象距离转换成真实世界距离。例如,车辆200可确定由相机202所捕获的图像的对象与边缘(例如,对应于最靠近车辆的位置的图像的边缘)相距的像素数量,并且可将像素对距离比率应用于该像素数量(例如,通过使像素数量乘以像素对距离比率)以确定车辆和对象之间的真实世界距离。车辆200可类似地将像素对距离比率应用于由相机202所捕获的图像中的其它距离以确定由相机所捕获的对象的其它真实世界距离和/或位置。这样,车辆200可例如确定路缘208相对于车辆的距离和/或位置以用于多种操作,诸如自动停车操作。
在一些示例中,车辆200可利用相机202(结合车辆上的其它传感器,诸如超声传感器)来执行本公开的对象和路缘检测。特别地,超声传感器不能够确定车辆周围的对象的高度,而是仅能够确定对象的存在。因此,例如,超声传感器单独地不能够区分路缘上的对象和路缘本身。同样,车辆200可利用超声传感器来检测路缘/对象组合的存在和/或位置,并且可利用相机202来检测路缘和对象的高度,并且因此区分路缘和对象。在一些示例中,由于利用相机202所做出的基于光学流的对象位置和高度确定的结果,车辆200可补充利用超声传感器(和/或其它传感器)所做出的对象存在或位置检测。在一些示例中,车辆200可利用得自超声传感器(和/或其它传感器)和相机202两者的存在和位置结果来改善对象检测和/或定位的精度;当相机和超声传感器(和/或其它传感器)的相对位置对于车辆可已知(例如,已知安装位置和参数)时,这点可为尤其真实的,这样可允许车辆精确地建立基于相机的结果和基于超声传感器的结果之间的对应关系。
图3根据本公开的示例示出了用于基于光学流的对象检测的示例性过程300。在302处,可从相机接收一个或多个图像。例如,邻近车辆(例如,邻近其侧部)的区域的一个或多个图像可由安装于车辆上的相机捕获(例如,如参考图1和图2A至图2B所描述)。图像可包括一个或多个对象,并且可反映相机相对于一个或多个对象的移动(例如,由于车辆的移动)。对象可包括道路或表面(车辆在其上移动)、路缘、路缘上的对象,或任何其它对象。在一些示例中,车辆根据所捕获图像可确定地平面(该地平面对应于车辆在其上移动的表面),并且可将该地平面命名为道路。
在304处,车辆可确定一个或多个图像中与不同对象和/或区域相关联的一个或多个光学流(例如,如参考图2A至图2B所描述)。步骤304可包括将光学流识别为对应于所捕获图像中的道路(或地平面)。
在306处,车辆可确定由相机所捕获的图像中所包括的对象的一个或多个高度(例如,如参考图2A至图2B所描述)。在一些示例中,步骤306可跳过,因为高度不可由车辆清楚地确定;相反,例如,相对光学流确定可由车辆做出以确定对象高度。
在308处,车辆可基于304处的所确定光学流和/或306处的所确定高度来识别所捕获图像中的一个或多个对象(例如,如参考图2A至图2B所描述)。例如,车辆可将所捕获图像中的区域识别为道路,因为该区域的光学流可对应于道路的预期光学流。路缘或路缘上的对象,或任何其它对象可类似地基于光学流的差值而识别。步骤308还可包括利用得自一个或多个其它传感器(例如,超声传感器)的输出来识别对象和/或对象的位置,如先前所描述。
图4根据本公开的示例示出了车辆控制系统400的示例性系统框图。车辆控制系统400可执行参考图2A至图2B和图3所描述方法的任一者。系统400可并入车辆中,诸如消费者汽车。可并入系统400的其它示例车辆包括但不限于飞机、船舶或工业汽车。车辆控制系统400可包括能够捕获图像数据(例如,视频数据)的一个或多个相机406,如先前参考图2A至图2B和图3所描述。车辆控制系统400还可包括能够检测车辆周围的对象的一个或多个其它传感器407(例如,雷达传感器、超声传感器等),和能够确定车辆的位置的全球定位系统(GPS)接收器408。车辆控制系统400可包括车载计算机410,车载计算机410联接至相机406、传感器407和GPS接收器408并且能够从相机接收图像数据和/或从传感器407和GPS接收器408接收输出。车载计算机410能够识别车辆周围的对象和/或对象高度,如本公开所描述。车载计算机410可包括存储装置412、存储器416和处理器414。处理器414可执行参考图2A至图2B和图3所描述的方法的任一者。此外,存储装置412和/或存储器416可存储数据和指令以用于执行参考图2A至图2B和图3所描述的方法的任一者。存储装置412和/或存储器416可为任何非暂态计算机可读存储介质,诸如固态驱动器或硬盘驱动器,等等。车辆控制系统400还可包括控制器420,控制器420能够控制车辆操作的一个或多个方面,诸如基于由车载计算机410所执行的对象检测来执行自动停车或驾驶操作。
在一些示例中,车辆控制系统400可连接至(例如,经由控制器420)车辆中的一个或多个致动器系统430和车辆中的一个或多个指示器系统440。一个或多个致动器系统430可包括但不限于发动机431或引擎432、电池系统433、传动齿轮434、悬挂机构435、制动器436、转向系统437和门系统438。车辆控制系统400可在车辆操作期间经由控制器420控制这些致动器系统430中的一者或多者;例如,利用发动机431或引擎432、电池系统433、传动齿轮434、悬架机构435、制动器436和/或转向系统437等,基于由车载计算机410所执行的对象检测,以利用门致动器系统438打开或关闭车辆的门中的一者或多者,以在自动驾驶或停车操作期间控制车辆。一个或多个指示器系统440可包括但不限于车辆中的一个或多个扬声器441(例如,作为车辆中的娱乐系统的一部分)、车辆中的一个或多个灯442、车辆中的一个或多个显示器443(例如,作为车辆中的控制或娱乐系统的一部分),和车辆中的一个或多个触觉致动器444(例如,作为车辆中的方向盘或座位的一部分)。车辆控制系统400可经由控制器420控制这些指示器系统440中的一者或多者以对车辆的驾驶者提供车辆周围所检测对象的存在和/或位置的指示,如参考图2A至图2B和图3所描述。
因此,本公开的示例提供了各种方式来利用相机来检测和识别车辆周围的对象。
因此,根据上述内容,本公开的一些示例涉及一种系统,该系统包括:一个或多个处理器;和包括指令的存储器,该指令当由一个或多个处理器执行时引起一个或多个处理器执行包括以下步骤的方法:从安装于车辆上的第一相机接收图像数据,该图像数据指示第一相机相对于车辆环境中的第一对象的运动;确定图像数据中的第一对象的第一光学流;和基于第一光学流来确定第一对象的第一高度。除了上文所公开示例中的一者或多者之外或另选地,在一些示例中,图像数据还指示第一相机相对于车辆环境中的第二对象的运动,并且该方法还包括:确定图像数据中的第二对象的不同于第一光学流的第二光学流;和基于第一光学流来确定第二对象的不同于第一高度的第二高度。除了上文所公开示例中的一者或多者之外或另选地,在一些示例中,该方法还包括:基于第一光学流来将图像数据中的第一对象识别为车辆在其上移动的道路;和基于第二光学流来将图像数据中的第二对象识别为路缘。除了上文所公开示例中的一者或多者之外或另选地,在一些示例中,该方法还包括:基于第一光学流来将图像数据中的第一对象识别为路缘;和基于第二光学流来将图像数据中的第二对象识别为路缘上的对象。除了上文所公开示例中的一者或多者之外或另选地,在一些示例中,该方法还包括:基于第一光学流来将第一对象识别为道路、路缘和路缘上的对象中的一者,车辆在该道路上移动。除了上文所公开示例中的一者或多者之外或另选地,在一些示例中,基于第一光学流来确定第一对象的第一高度包括:将图像数据中的第一光学流相比于第二对象的第二光学流,第二对象具有第二高度;根据第一光学流小于第二光学流的确定,确定第一对象的第一高度小于第二对象的第二高度;和根据第一光学流大于第二光学流的确定,确定第一对象的第一高度大于第二对象的第二高度。除了上文所公开示例中的一者或多者之外或另选地,在一些示例中,基于第一光学流来确定第一对象的第一高度还包括:基于第一光学流和第二光学流之间的差值来确定第一对象的第一高度。除了上文所公开示例中的一者或多者之外或另选地,在一些示例中,基于第一光学流来确定第一对象的第一高度包括:将第一光学流相比于预定光学流,该预定光学流无关于图像数据并且对应于预定高度;根据第一光学流小于预定光学流的确定,确定第一对象的第一高度小于预定高度;和根据第一光学流大于预定光学流的确定,确定第一对象的第一高度大于预定高度。除了上文所公开示例中的一者或多者之外或另选地,在一些示例中,基于第一光学流来确定第一对象的第一高度还包括:基于第一光学流和预定光学流之间的差值来确定第一对象的第一高度。除了上文所公开示例中的一者或多者之外或另选地,在一些示例中,该方法还包括通过以下步骤识别第一对象:将第一对象的第一高度相比于与特定对象相关联的预定高度,该预定高度无关于图像数据;和根据第一高度在预定高度的预定高度阈值范围内的确定,将第一对象识别为特定对象。除了上文所公开示例中的一者或多者之外或另选地,在一些示例中,该方法还包括通过以下步骤识别第一对象:将第一对象的第一光学流相比于与特定对象相关联的预定光学流,该预定光学流无关于图像数据;和根据第一光学流在预定光学流的预定光学流阈值范围内的确定,将第一对象识别为特定对象。除了上文所公开示例中的一者或多者之外或另选地,在一些示例中,该方法还包括:基于图像数据来确定第一对象相对于车辆的第一位置。除了上文所公开示例中的一者或多者之外或另选地,在一些示例中,确定第一对象的第一位置是基于图像数据和得自不同于第一相机的第二传感器的数据。除了上文所公开示例中的一者或多者之外或另选地,在一些示例中,第二传感器包括超声传感器、雷达传感器、激光传感器和LIDAR传感器中的一者。除了上文所公开示例中的一者或多者之外或另选地,在一些示例中,该方法还包括:基于所确定第一高度来对车辆执行自动驾驶或停车操作。
本公开的一些示例涉及一种非暂态计算机可读介质,该非暂态计算机可读介质包括指令,该指令当由一个或多个处理器执行时引起一个或多个处理器执行包括以下步骤的方法:从安装于车辆上的第一相机接收图像数据,该图像数据指示第一相机相对于车辆环境中的第一对象的运动;确定图像数据中的第一对象的第一光学流;和基于第一光学流来确定第一对象的第一高度。
本公开的一些示例涉及一种车辆,该车辆包括:第一相机;联接至第一相机的一个或多个处理器;和包括指令的存储器,该指令当由一个或多个处理器执行时引起一个或多个处理器执行包括以下步骤的方法:从第一相机接收图像数据,该图像数据指示第一相机相对于车辆环境中的第一对象的运动;确定图像数据中的第一对象的第一光学流;和基于第一光学流来确定第一对象的第一高度。
尽管本公开的示例已参考附图全面地描述,但是需注意,各种改变和修改对于本领域的技术人员将变得显而易见。此类改变和修改应理解为包括于如通过附属权利要求书所限定的本公开的示例的范围内。

Claims (17)

1.一种车辆的光学处理系统,所述光学处理系统包括:
一个或多个处理器;以及
存储器,所述存储器包括指令,当所述指令由所述一个或多个处理器执行时引起所述一个或多个处理器执行包括下述步骤的方法:
从所述车辆的第一相机接收图像数据,所述图像数据指示所述第一相机相对于所述车辆附近的第一对象的运动;
确定所述图像数据中的所述第一对象的第一光学流;以及
基于所述第一光学流来确定所述第一对象的第一高度。
2.根据权利要求1所述的系统,其中所述图像数据指示所述第一相机相对于所述车辆附近的第二对象的运动,所述方法还包括下述步骤:
确定所述图像数据中的所述第二对象的不同于所述第一光学流的第二光学流;以及
基于所述第一光学流来确定所述第二对象的不同于所述第一高度的第二高度。
3.根据权利要求2所述的系统,所述方法还包括下述步骤:
基于所述第一光学流来将所述图像数据中的所述第一对象识别为所述车辆在其上移动的道路;以及
基于所述第二光学流来将所述图像数据中的所述第二对象识别为路缘。
4.根据权利要求2所述的系统,所述方法还包括下述步骤:
基于所述第一光学流来将所述图像数据中的所述第一对象识别为路缘;以及
基于所述第二光学流来将所述图像数据中的所述第二对象识别为所述路缘上的对象。
5.根据权利要求1所述的系统,所述方法还包括下述步骤:
基于所述第一光学流来将所述第一对象识别为道路、路缘和所述路缘上的对象中的一者,所述车辆在所述道路上移动。
6.根据权利要求1所述的系统,其中基于所述第一光学流来确定所述第一对象的所述第一高度的所述步骤还包括下述步骤:
将所述图像数据中的所述第一光学流相比于第二对象的第二光学流,所述第二对象具有第二高度;
根据所述第一光学流小于所述第二光学流的确定,确定所述第一对象的所述第一高度小于所述第二对象的所述第二高度;以及
根据所述第一光学流大于所述第二光学流的确定,确定所述第一对象的所述第一高度大于所述第二对象的所述第二高度。
7.根据权利要求6所述的系统,其中基于所述第一光学流来确定所述第一对象的所述第一高度的所述步骤包括:
基于所述第一光学流和所述第二光学流之间的差值来确定所述第一对象的所述第一高度。
8.根据权利要求1所述的系统,其中基于所述第一光学流来确定所述第一对象的所述第一高度的所述步骤包括下述步骤:
将所述第一光学流相比于预定光学流,所述预定光学流独立于所述图像数据并且对应于预定高度;
根据所述第一光学流小于所述预定光学流的确定,确定所述第一对象的所述第一高度小于所述预定高度;以及
根据所述第一光学流大于所述预定光学流的确定,确定所述第一对象的所述第一高度大于所述预定高度。
9.根据权利要求8所述的系统,其中基于所述第一光学流来确定所述第一对象的所述第一高度的所述步骤包括:
基于所述第一光学流和所述预定光学流之间的差值来确定所述第一对象的所述第一高度。
10.根据权利要求1所述的系统,所述方法还包括通过下述步骤识别所述第一对象的步骤:
将所述第一对象的所述第一高度相比于与特定对象相关联的预定高度,所述预定高度独立于所述图像数据;以及
根据所述第一高度在所述预定高度的预定高度阈值内的确定,将所述第一对象识别为所述特定对象。
11.根据权利要求1所述的系统,所述方法还包括通过下述步骤识别所述第一对象的步骤:
将所述第一对象的所述第一光学流相比于与特定对象相关联的预定光学流,所述预定光学流独立于所述图像数据;以及
根据所述第一光学流在所述预定光学流的预定光学流阈值内的确定,将所述第一对象识别为所述特定对象。
12.根据权利要求1所述的系统,所述方法还包括下述步骤:基于所述图像数据来确定所述第一对象相对于所述车辆的第一位置。
13.根据权利要求12所述的系统,其中确定所述第一对象的所述第一位置的所述步骤是基于图像数据和得自不同于所述第一相机的第二传感器的数据。
14.根据权利要求13所述的系统,其中所述第二传感器包括超声传感器、雷达传感器、激光传感器和LIDAR传感器中的一者。
15.根据权利要求1所述的系统,所述方法还包括下述步骤:基于所述确定第一高度来对所述车辆执行自动驾驶或停车操作。
16.一种非暂态计算机可读介质,所述非暂态计算机可读介质包括指令,当所述指令由一个或多个处理器执行时引起所述一个或多个处理器执行包括以下步骤的方法:
从第一相机接收图像数据,所述图像数据指示所述第一相机相对于所述第一相机附近的第一对象的运动;
确定所述图像数据中的所述第一对象的第一光学流;以及
基于所述第一光学流来确定所述第一对象相对于所述第一相机的第一高度。
17.一种车辆,包括:
第一相机;
联接至所述第一相机的一个或多个处理器;以及
存储器,所述存储器包括指令,当所述指令由所述一个或多个处理器执行时引起所述一个或多个处理器执行包括以下步骤的方法:
从所述第一相机接收图像数据,所述图像数据指示所述第一相机相对于所述车辆环境中的第一对象的运动;
确定所述图像数据中的所述第一对象的第一光学流;以及
基于所述第一光学流来确定所述第一对象的第一高度。
CN201780008674.8A 2016-01-29 2017-01-25 用于基于相机检测车辆附近对象高度的系统和方法 Pending CN108602483A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662288999P 2016-01-29 2016-01-29
US62/288,999 2016-01-29
PCT/US2017/014973 WO2017132278A1 (en) 2016-01-29 2017-01-25 System and method for camera-based detection of object heights proximate to a vehicle

Publications (1)

Publication Number Publication Date
CN108602483A true CN108602483A (zh) 2018-09-28

Family

ID=59399028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780008674.8A Pending CN108602483A (zh) 2016-01-29 2017-01-25 用于基于相机检测车辆附近对象高度的系统和方法

Country Status (3)

Country Link
US (1) US10699136B2 (zh)
CN (1) CN108602483A (zh)
WO (1) WO2017132278A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020073271A1 (en) * 2018-10-11 2020-04-16 Bayerische Motoren Werke Aktiengesellschaft Snapshot image of traffic scenario
CN113492846A (zh) * 2020-03-19 2021-10-12 本田技研工业株式会社 控制装置、控制方法以及存储程序的计算机可读取存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102631964B1 (ko) * 2016-11-23 2024-01-31 엘지이노텍 주식회사 차량 주행 정보를 이용한 이미지 분석 방법, 장치, 시스템, 프로그램 및 저장 매체
US10460180B2 (en) * 2017-04-20 2019-10-29 GM Global Technology Operations LLC Systems and methods for visual classification with region proposals
US11151395B2 (en) 2017-08-07 2021-10-19 Hitachi Astemo, Ltd. Roadside object detection device, roadside object detection method, and roadside object detection system
JP2019156180A (ja) * 2018-03-13 2019-09-19 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US10997731B2 (en) * 2019-06-14 2021-05-04 Rockwell Collins, Inc. Motion vector vision system integrity monitor
US10940793B1 (en) * 2019-09-05 2021-03-09 Ford Global Technologies, Llc Ingress and egress for autonomous vehicle
US11851051B2 (en) * 2021-07-28 2023-12-26 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for detecting an object in a turning alert zone of a vehicle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6535114B1 (en) * 2000-03-22 2003-03-18 Toyota Jidosha Kabushiki Kaisha Method and apparatus for environment recognition
CN1928494A (zh) * 2005-09-07 2007-03-14 株式会社日立制作所 驾驶支援装置
US20110169957A1 (en) * 2010-01-14 2011-07-14 Ford Global Technologies, Llc Vehicle Image Processing Method
CN102609953A (zh) * 2010-12-02 2012-07-25 通用汽车环球科技运作有限责任公司 摄影机和距离传感器数据的多物体外观增强融合
US20150086080A1 (en) * 2012-12-04 2015-03-26 Mobileye Vision Technologies Ltd. Road vertical contour detection

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008219063A (ja) 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
WO2013081985A1 (en) * 2011-11-28 2013-06-06 Magna Electronics, Inc. Vision system for vehicle
US9443163B2 (en) * 2014-05-14 2016-09-13 Mobileye Vision Technologies Ltd. Systems and methods for curb detection and pedestrian hazard assessment
EP3640890B1 (en) * 2014-05-22 2023-06-21 Mobileye Vision Technologies Ltd. Systems and methods for braking a vehicle based on a detected object
EP3007099B1 (en) * 2014-10-10 2022-12-07 Continental Autonomous Mobility Germany GmbH Image recognition system for a vehicle and corresponding method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6535114B1 (en) * 2000-03-22 2003-03-18 Toyota Jidosha Kabushiki Kaisha Method and apparatus for environment recognition
CN1928494A (zh) * 2005-09-07 2007-03-14 株式会社日立制作所 驾驶支援装置
US20110169957A1 (en) * 2010-01-14 2011-07-14 Ford Global Technologies, Llc Vehicle Image Processing Method
CN102609953A (zh) * 2010-12-02 2012-07-25 通用汽车环球科技运作有限责任公司 摄影机和距离传感器数据的多物体外观增强融合
US20150086080A1 (en) * 2012-12-04 2015-03-26 Mobileye Vision Technologies Ltd. Road vertical contour detection

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020073271A1 (en) * 2018-10-11 2020-04-16 Bayerische Motoren Werke Aktiengesellschaft Snapshot image of traffic scenario
CN113492846A (zh) * 2020-03-19 2021-10-12 本田技研工业株式会社 控制装置、控制方法以及存储程序的计算机可读取存储介质
CN113492846B (zh) * 2020-03-19 2024-04-26 本田技研工业株式会社 控制装置、控制方法以及存储程序的计算机可读取存储介质

Also Published As

Publication number Publication date
WO2017132278A1 (en) 2017-08-03
US10699136B2 (en) 2020-06-30
US20190026572A1 (en) 2019-01-24

Similar Documents

Publication Publication Date Title
CN108602483A (zh) 用于基于相机检测车辆附近对象高度的系统和方法
US11714420B2 (en) System and method for detecting occluded objects based on image processing
US10392009B2 (en) Automatic parking system and automatic parking method
US11697417B2 (en) Systems and methods for navigating a vehicle among encroaching vehicles
EP3343438A1 (en) Automatic parking system and automatic parking method
US20180253968A1 (en) Systems and methods for triggering traffic light sensors
JP6428713B2 (ja) 情報表示装置
US11691619B2 (en) Automatic parking system and automatic parking method
JP6246014B2 (ja) 外界認識システム、車両、及びカメラの汚れ検出方法
US9827956B2 (en) Method and device for detecting a braking situation
US20150293534A1 (en) Vehicle control system and method
US20140288816A1 (en) Driving support apparatus and driving support method
US20170220875A1 (en) System and method for determining a visibility state
US20240142607A1 (en) Information processing device, information processing method, computer program, and mobile device
KR20200043391A (ko) 화상 블러 보정을 위한 화상 처리, 화상 처리 방법 및 프로그램
JP3857698B2 (ja) 走行環境認識装置
WO2017018192A1 (ja) 情報表示装置
JP6185367B2 (ja) 運転支援装置
WO2019127076A1 (en) Automated driving vehicle control by collision risk map
JP4946300B2 (ja) 車輌用運転支援装置
JP2023519442A (ja) 動的な交通シナリオにおける交通規則に準拠した意思決定
JP2022041245A (ja) 車両用表示制御装置、方法、プログラムおよび車両用表示システム
JP2005189936A (ja) 車両制御システム
JP6868996B2 (ja) 障害物検知システム及び建設機械
US20230141584A1 (en) Apparatus for displaying at least one virtual lane line based on environmental condition and method of controlling same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180928

WD01 Invention patent application deemed withdrawn after publication