CN109033951A - 用于基于图形处理来检测遮挡对象的系统及方法 - Google Patents

用于基于图形处理来检测遮挡对象的系统及方法 Download PDF

Info

Publication number
CN109033951A
CN109033951A CN201810602376.8A CN201810602376A CN109033951A CN 109033951 A CN109033951 A CN 109033951A CN 201810602376 A CN201810602376 A CN 201810602376A CN 109033951 A CN109033951 A CN 109033951A
Authority
CN
China
Prior art keywords
vehicle
shadow
images
darkness
identify
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810602376.8A
Other languages
English (en)
Other versions
CN109033951B (zh
Inventor
A·U·巴图尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faraday and Future Inc
Original Assignee
Faraday and Future Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Faraday and Future Inc filed Critical Faraday and Future Inc
Publication of CN109033951A publication Critical patent/CN109033951A/zh
Application granted granted Critical
Publication of CN109033951B publication Critical patent/CN109033951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Electromagnetism (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及用于基于遮挡对象的影子来检测该遮挡对象的系统及方法。在一些示例中，本发明的车辆可以在按照自主驾驶模式操作的同时捕获一个或多个图像，并检测所捕获的图像中的影子项。响应于检测到朝着车辆行驶方向移动的影子项，车辆可以减小其速度以避免在遮挡对象进入道路的情况下出现碰撞。影子可以例如使用图像分割或者使用卷积神经网络或者其他适合的算法训练的分类器来检测。

Description

用于基于图形处理来检测遮挡对象的系统及方法
技术领域
本申请涉及一种自主车辆，更具体地涉及自主车辆的用于基于遮挡对象的影子来检测该遮挡对象的系统及方法。
背景技术
包括按照完全自主模式、部分自主模式或者驾驶员辅助模式操作的车辆的自主车辆可以检测进入该车辆的行驶路径的对象来避免碰撞。然而，在一些示例中，行人、动物或者其他对象可能会突然进入道路，而几乎没有给车辆留下反应的时间。例如，对象可能从停放的车辆或者其他大型对象后面进入道路，而停放的车辆或者其他大型对象隐藏该对象使得其不会被自主车辆的一个或多个传感器(例如，相机、雷达、LiDAR、距离传感器、超声波传感器)检测到。在这些情况下，车辆几乎没有时间来减小其速度或者实现完全停止以避免碰撞。本发明的目的是在自主车辆导航期间使用影子图像来辅助对象回避。
发明内容
本申请涉及自主车辆的用于基于遮挡对象的影子来检测该遮挡对象的系统及方法。在一些示例中，车辆可以基于车辆的位置来以影子检测模式进行操作。在一个实施例中，车辆可以基于地图或者位置数据来确定该车辆处于行人密集的区域(例如，停车场、城区、社区或者学校区域)并且因此进入驾驶的影子检测模式。当车辆在影子检测模式下行驶时，车辆可以使用相机捕获一个或多个图像(例如，静态图像或者视频)，并且识别朝着车辆的行驶方向移动的遮挡对象的一个或多个影子。影子可以使用图像分割和/或使用利用卷积神经网络或者类似的算法进行训练的分类器来检测。响应于检测到朝着车辆的行驶路径移动的影子，车辆可以减小其速度以使得能够对例如对象进入道路留下更多的时间作出反应。在一些示例中，即使在传感器(例如，相机、LiDAR、雷达、超声波传感器、距离传感器)无法检测到遮挡对象自身时，遮挡对象的影子也可以被检测到。
附图说明
图1示出了根据本公开的示例的车辆控制系统的示例性系统框图。
图2A示出了根据本公开的示例的基于遮挡对象的影子来检测遮挡对象的示例性车辆。
图2B示出了根据本公开的示例的在车辆的完全自主驾驶模式或部分自主驾驶模式期间检测遮挡对象的示例性方法。
图3A示出了根据本公开的示例的由车辆的相机所捕获的包括遮挡对象的影子的示例性图像。
图3B示出了根据本公开的示例的使用图像分割来识别遮挡对象的影子的示例性方法。
图3C示出根据本公开的示例的使用学习算法来识别遮挡对象的影子的示例性方法。
具体实施方式
在下面的对示例的描述中，参考了构成该示例的一部分的附图，并且其中这些描述通过列举可以实践的具体示例来显示。应该理解的是，可以使用其他的示例并且可以在不脱离所公开的示例的范围的情况下进行结构的更改。此外，在本公开的上下文中，“自主驾驶”(或诸如此类的)可以指自主驾驶、部分自主驾驶和/或驾驶员辅助系统。
图1示出了根据本公开的示例的车辆控制系统100的示例性系统框图。车辆控制系统100可以执行下文参考图2至图3所描述的任意方法。系统100可以结合到诸如消费者汽车之类的车辆中。车辆控制系统100可以包括一个或多个能够捕获车辆周围环境的图像数据(例如，视频数据)的相机106，如将参考图2至图3进行描述的那样。车辆控制系统100还可以包括一个或多个能够检测车辆的周围环境的多个特征的其他传感器107(例如，雷达、超声波、LIDAR、其他距离传感器等)以及能够确定车辆的位置的诸如全球定位系统(GPS)接收器108之类的定位系统。应当注意的是，还可以使用其他类型的定位系统，包括蜂窝(cellar)、WiFi或者其他类型的基于无线的定位系统。车辆控制系统100包括车载计算机110，该车载计算机110可操作地耦接至相机106、传感器107以及GPS接收器108，并且能够从相机接收图像数据和/或从传感器107和GPS接收器108接收输出。车载计算机110还能够(例如，通过车辆处的无线和/或互联网连接)接收地图信息105。本领域的普通技术人员应该理解的是，地图数据可以与地图匹配函数中的定位数据相匹配。在一些示例中，车辆可以基于其位置来选择操作模式(例如，停车场模式、城市驾驶模式、高速公路模式或者其他基于位置的操作模式)。根据本发明的实施例，响应于确定车辆的位置位于行人、宠物或其他对象可能接近车辆的行驶路径的行人密集区，车辆会进入如下所述的影子检测模式。行人密集区的示例可以包括停车场、学校区域、社区以及城区。根据本发明的一个实施例，如本公开中所描述的那样，机载计算机110能够使用相机106和GPS接收器108来按照完全自主驾驶模式或部分自主驾驶模式进行操作。在一些示例中，机载计算机110包括存储器112、内存116以及处理器114。处理器114可以执行参考图2至图3所描述的方法中的任一方法。此外，存储器112和/或内存116可以存储用于执行参照图2至图3所描述的方法中的任一方法的数据和指令。除其他可能性之外，存储器112和/或内存116可以是任何非易失性计算机可读存储介质，诸如固态驱动器或硬盘驱动器。车辆控制系统100还可以包括控制器120，该控制器120能够控制车辆操作的一个或多个方面，诸如以完全自主驾驶模式或部分自主驾驶模式控制车辆的运动。
在一些示例中，车辆控制系统100可以可操作地(例如，经由控制器120)耦接至车辆中的一个或多个致动器系统130以及车辆中的一个或多个指示器系统140。所述一个或多个致动器系统130可以包括但不限于电动机131或发动机132、电池系统133、传动装置134、悬挂装置135、制动器136、转向系统137以及门系统138。车辆控制系统100可以在车辆操作期间经由控制器120控制这些致动器系统130中的一个或多个制动系系统；例如，使用门致动器系统138打开或关闭车辆的一个或多个门，在完全自主驾驶或者部分自主驾驶操作期间使用电动机131或发动机132、电池系统133、传动装置134、悬挂装置135、制动器136和/或转向系统137等来控制车辆。一个或多个指示器系统140可以包括但不限于车辆中的一个或多个扬声器141(例如，作为车辆中的娱乐系统的一部分)、车辆中的一个或多个灯142、车辆中的一个或多个显示器143(例如，作为车辆中的控制或娱乐系统的一部分)以及车辆中的一个或多个触觉致动器144(例如，作为车辆中的方向盘或座位的一部分)。车辆控制系统100可以通过控制器120来控制这些指示器系统140中的一个或多个指示器系统，以向车辆的驾驶员提供完全自主驾驶模式或部分自主驾驶模式的一个或多个方面的指示，诸如已经基于检测到遮挡对象的影子来检测到了遮挡对象的指示。
图2A示出了根据本公开的示例的基于遮挡对象206的影子208来检测遮挡对象的示例性车辆202。例如，车辆202可以在停车场200或其他行人密集区(例如，学校区域、社区、城区)按照包括影子检测模式的完全自主模式或部分自主模式行驶。例如，停车场200可以包括可以阻挡遮挡对象206而不被车辆202发现的多个停放的车辆204或其他静止对象。遮挡对象可以是从停放的车辆204之间的位置向车辆202的行驶方向移动的行人或动物。在一些示例中，遮挡对象206会被遮挡而不被车辆202的相机(例如，相机106)或者另一传感器(例如，传感器107)发现。例如，其他传感器可以包括雷达、LiDAR或者距离传感器，并且遮挡对象206基本上完全被停放的汽车204遮蔽而不会被这些传感器检测到。类似地，可能无法在由车辆相机所捕获的一个或多个图像中看见遮挡对象206，因为遮挡对象206可以被一个或多个停放的汽车204阻挡。由于遮挡对象204自身可能无法被车辆202检测到，因此如果遮挡对象204移动到车辆行驶路径中而几乎没有给车辆202留下时间来通过减速或停车来作出反应，则会出现危险情况，这会造成碰撞。
在一些示例中，尽管遮挡对象206可能无法被车辆202检测到，但是遮挡对象的影子208对于车辆相机而言是可见的。基于在所捕获的一个或多个图像中检测到影子208并且(例如，使用机载计算机110)检测到影子正在朝着车辆202的行驶方向移动，车辆可以减小其速度或者停车，以使得在遮挡对象206进入车辆的预期行驶路径的情况下车辆能够具有充足的时间来作出反应。在一些示例中，检测影子208的移动会使得车辆202在遮挡对象206朝着车辆移动时减小车辆的速度或者停车。然而，如果影子208并不移动，其可以指示为诸如消防栓或停放的摩托车之类的静止对象，或者正在远离车辆202的行驶方向移动，则车辆可以继续驾驶而无需减小其速度或者停车。在一些示例中，当在影子检测模式下操作时，车辆202可以采用其他技术来检测遮挡对象。例如，车辆的一个或多个相机可以通过停放的汽车204的窗户捕获遮挡对象206的图像，或者如果雷达波在停放的汽车204下方弹起，则雷达可以检测到遮挡对象。结合影子检测模式来检测遮挡对象206的其他附加技术是可以的，并且可以一次使用多种技术来增加检测到遮挡对象206的变化。
图2B示出了根据本公开的示例的在车辆的完全自主驾驶模式或部分自主驾驶模式期间检测遮挡对象的示例性方法250。在以完全自主驾驶模式或者部分自主驾驶模式下行驶时，车辆(例如，车辆202)可以例如使用GPS 108和/或地图信息105确定其位置(方法250的步骤252)。根据车辆处于其中行人或其他危险物可能进入车辆行驶方向的位置的确定结果，车辆可以进入驾驶的影子检测模式，并且方法250可以继续。例如，车辆可以进入影子检测模式，并且在车辆处于诸如停车场、城区、社区或学校区域之类的“行人密集区”中时方法250可以继续进行。当车辆正在行驶时，车辆的相机可以捕获车辆周围环境的一个或多个图像(方法250的步骤254)。可以(例如，由机载计算机110)检测所捕获的一个或多个图像中的地面上的一个或多个影子(方法250的步骤256)。将参照图3A至图3C描述用于检测一个或多个影子的示例性细节。车辆可以进一步确定所检测到的影子是否正朝着车辆行驶的方向移动(方法250的步骤258)。如果检测到的影子没有朝着车辆行驶的方向移动(例如，影子是静止的或者远离车辆行驶的方向移动)，则方法250可以例如在步骤252处重新开始。如果所检测到的影子正朝着车辆行驶的方向移动，则车辆可以减小其速度或停车(方法250的步骤260)。
图3A示出了根据本公开的示例的由车辆202的相机所捕获的包括遮挡对象206的影子208的示例性图像300。图像300可以由车辆202的一个或多个相机(例如，相机106)捕获并且可以进一步包括停放的车辆204、停放的车辆的影子310以及地平线312。遮挡对象206的影子208可以使用图像分割来识别(例如，参考图3B进一步详细描述的)，和/或使用学习方法来识别(例如，参照图3C进一步详细描述的)。
图3B示出了根据本公开的示例的使用图像分割来识别遮挡对象206的影子208的示例性方法350。方法350可以例如根据车辆202处于行人密集区的确定结果而在车辆202的影子检测模式期间执行。在一些示例中，车辆202可以识别图像300的捕获地面的一个或多个像素(方法350的步骤352)。例如，车辆202可以识别图像300的与不在地面上的对象相对应的像素(诸如停放的汽车204)和地平线312上方的像素(例如，对应于天空、建筑物或交通信号灯)。在一些示例中，车辆202可以使用超声波传感器、雷达传感器、LiDAR传感器和/或距离传感器中的一个或多个来检测停放的汽车204和任何其他对象。所检测到的对象可以例如与所捕获的图像300的一个或多个像素相关联。在一些示例中，车辆202可以基于校准过程或不同地平线检测算法来估计地平线312的位置。因此，通过消除过程，可以识别地面像素。
车辆202可以基于亮度将地面像素进一步分割成区域(方法350的步骤354)。例如，彼此邻近、彼此之间的暗度差在阈值差内的像素可以形成一部分。图像的暗度的变化可以由地面、地面上的书写标记或车道标记和/或影子(例如，影子208或影子310)的变色引起。
在一些示例中，车辆202可以识别每个区域与周围区域相比的暗度差(黑色水平和/或对比度)(方法350的步骤356)。例如，遮挡对象206的影子208可以具有第一暗度，并且影子周围的一个或多个区域通常可以具有第二暗度，第二暗度比第一暗度小至少阈值差。车辆202可以识别由“亮”区域包围的、可能对应于影子的一个或多个“暗”区域。
接下来，车辆202可以确定暗区域是否正在移动(方法350的步骤358)。检测哪些暗区域正在移动可以消除对应于静止对象的影子(例如，停放的汽车204的影子310)的暗区域和与影子不对应的暗区域(例如，地面上的水坑或另一个暗点)。在一些示例中，确定暗区域是否正在移动可以被限制为检测哪些暗区域正在朝着车辆202的行驶路线移动。
可选地，车辆202可以将暗移动区域的形状与一个或多个预期的影子形状进行比较(方法350的步骤360)。在一些示例中，步骤360可以包括下面参考图3C描述的方法370的一个或多个步骤。例如，车辆202可以(例如，在车载计算机110内)存储在各种照明条件下与人、宠物和其他移动对象的各种影子对应的一个或多个参考图像，以用于进行比较。
在一些示例中，车辆202可以使用方法350来识别朝着车辆行驶的方向移动的遮挡对象206的一个或多个影子208(方法350的步骤362)。响应于检测到朝着车辆行驶方向移动的遮挡对象的一个或多个影子，车辆202可以减小其速度和/或停车，以使得能够在遮挡对象进入道路时具有更多时间来避开该遮挡对象。
应该理解的是，在一些实施例中，诸如神经网络(深度或浅度，其可以使用残差学习框架)之类的学习算法可以被实施，并且可以代替本文所描述的其他算法而被应用，或者可以与本文所描述的其他算法结合起来应用，以创建额外的模式或者改进上述模式和/或在模式之间进行转换。这样的学习算法可以实现具有结构化学习、非结构化学习和/或强化学习的前馈神经网络(例如，卷积神经网络)和/或递归神经网络。在一些实施例中，可以(例如，通过实施监督的长短期记忆递归神经网络或可以在图形处理单元上运行的最大池化卷积神经网络)实施反向传播。此外，在一些实施例中，可以使用非结构化学习方法来改进结构化学习方法。此外，在一些实施例中，通过在神经网络中包括尖峰神经元(例如，神经网络中的在每个传播周期不发射的神经元)可以节省诸如能量和时间之类的资源。
图3C示出根据本公开的示例的使用学习算法来识别遮挡对象206的影子208的示例性方法370。在一些示例中，方法370可以附加地或作为上文参考图3B描述的方法350的替代方案来执行。在一些示例中，方法350的一个或多个步骤可以与方法370的一个或多个步骤进行组合。
车辆202可以收集示例性图像以形成训练数据集(方法370的步骤372)。在一些示例中，示例性图像可以由车辆202的一个或多个相机(例如，相机106)捕获。另外地或可替代地，来自不同相机的一个或多个示例性图像可以被上传至车辆202的车载计算机(例如，车载计算机110)。这些图像可以包括在诸如停车场、城区、学校区域、社区以及其中遮挡对象可能会突然进入车辆行驶路径的其他位置和场景之类的行人密集区中捕获的静止图像和/或视频。
在一些示例中，示例性图像中的移动对象的示例性影子可以被分割(方法370的步骤374)。步骤374可以包括手动地分割示例性图像或者使用上文参照图3B描述的方法350的一个或多个步骤来自动地分割图像。在一些示例中，车辆202可以(例如，使用机载计算机110)存储经分割的示例性图像。
接下来，车辆202可以使用经分割的示例性图像来训练分类器，以检测移动对象(例如，诸如遮挡对象206的影子208)的影子(方法370的步骤376)。在一些示例中，车辆202可以使用学习算法(例如卷积神经网络算法)来训练分类器。
在一些示例中，步骤372至步骤376可以是在经销商或工厂执行的车辆设置过程的一部分。另外或可替代地，可以在车辆202停放时和/或在车辆202使用时多次执行步骤372至步骤376。在一些示例中，车辆202可以使用无线连接来从服务器和/或另一车辆接收一个或多个分段或者未分段的示例性图像，以训练分类器从而识别遮挡对象的影子(例如，遮挡对象206的影子208)。当新的示例性图像变得可用于车辆202时，分类器可以被多次训练或者持续进行。
当车辆202正在行驶并且正在捕获一个或多个静止图形或视频图像(例如，图像300)时，分类器可以被应用于图像以识别移动影子(过程370的步骤378)。例如，分类器可以将训练数据集中的移动影子的一个或多个特征与移动影子相关联，并且基于识别所捕获的图像中的一个或多个特征来识别所捕获的图像中的移动影子(方法370的步骤380)。
在一些示例中，车辆202可以在影子检测模式下进行操作时执行方法350和/或方法370。方法350和方法370的一个或多个步骤可以进行组合。在一些示例中，方法350和/或方法370的步骤可以重复、交替、以任何顺序执行和/或跳过。
因此，本公开的示例提供了多种方式，车辆可以在自主驾驶模式下行驶的同时基于遮挡对象的影子来检测遮挡对象，从而使得车辆能够减小其速度以避免在对象进入车辆的行驶路径时发生碰撞。
因此，根据上文，本公开的一些示例涉及一种车辆，该车辆包括：一个或多个相机；一个或多个致动器系统；以及处理器，该处理器可操作地耦接至所述一个或多个相机和所述一个或多个致动器系统，所述处理器被配置成：识别由所述一个或多个相机捕获的一个或多个图像中的影子；确定影子是否沿着朝着车辆行驶方向的方向移动；以及根据影子正朝着车辆行驶方向的方向移动的确定来使用一个或多个致动器系统减小车辆的速度。附加地或可替代地，在一些示例中，车辆包括定位系统和地图界面，其中，处理器可操作地耦接至定位系统和地图界面，并且处理器还被配置为成：基于定位系统和地图界面中的一个或多个来识别车辆的位置；以及基于车辆位置处于行人密集区的确定而进入影子检测模式，其中，影子检测模式使得处理器识别影子并确定影子是否正在移动。另外地或可替代地，在一些示例中，影子是遮挡对象的影子，并且遮挡对象并没有包括在由车辆的一个或多个相机所捕获的一个或多个图像中。附加地或可替代地，在一些示例中，处理器还被配置成根据影子是静止的或者影子正在朝着远离车辆行驶方向的方向移动的确定结果来使用一个或多个致动器系统来保持车辆的速度。附加地或可替代地，在一些示例中，识别一个或多个图像中的影子包括：基于每个像素的暗度来将一个或多个图像的多个像素分割成组，其中，每组像素的暗度彼此之差在第一阈值差内；以及识别由多个具有第二暗度的亮像素包围的多个具有第一暗度的暗像素，所述第一暗度比所述第二暗度至少暗第二阈值差。附加地或可替代地，在一些示例中，车辆还包括LiDAR传感器、超声波传感器、雷达传感器以及距离传感器中的一个或多个，其中，识别一个或多个图像中的影子包括：基于来自LiDAR传感器、超声波传感器、雷达传感器以及距离传感器中的一个或多个的数据来识别一个或多个图像中的显示地面的图像的多个像素；以及识别显示地面的图像的像素内的影子。另外地或可替代地，在一些示例中，识别一个或多个图像中的影子包括将该影子与预期的影子形状进行比较。附加地或可替代地，在一些示例中，识别一个或多个图像中的影子包括：收集多个示例性图像；对所述多个示例性图像中的多个示例影子进行分割；使用所述多个示例性图像来训练分类器；以及将所述分类器应用于所述一个或多个图像。
本公开的一些示例涉及一种以自主驾驶模式操作车辆的方法，该方法包括：通过车辆的一个或多个相机捕获一个或多个图像；识别一个或多个图像中的影子；确定该影子是否在朝着车辆行驶方向的方向移动；以及根据影子正在朝着车辆行驶的方向的方向移动的确定结果来使用车辆的一个或多个致动器系统减小车辆的速度。附加地或可替代地，在一些示例中，该方法还包括基于车辆的位置系统和地图界面中的一个或多个来识别车辆的位置；以及基于车辆位置处于行人密集区的确定结果来进入影子检测模式，其中，影子检测模式使得处理器识别影子并且确定影子是否正在移动。另外地或可替代地，在一些示例中，影子是遮挡对象的影子，并且遮挡对象并没有包括在由车辆的一个或多个相机所捕获的一个或多个图像中。附加地或可替代地，在一些示例中，该方法还包括：根据影子是静止的或者影子正在朝着远离车辆行驶方向的方向移动的确定结果来使用一个或多个致动器系统来保持车辆的速度。另外地或可选地，在一些示例中，该方法还包括：基于每个像素的暗度来将一个或多个图像的多个像素分割成组，其中，每组像素的暗度彼此之差在第一阈值差内；以及识别具有由具有第二暗度的多个亮像素包围的具有第一暗度的多个暗像素，所述第一暗度比所述第二暗度至少暗第二阈值差。附加地或可替代地，在一些示例中，该方法还包括基于来自包括在车辆中的LiDAR传感器、超声波传感器、雷达传感器以及距离传感器中的一个或多个的数据来识别所述一个或多个图像中显示地面的图像的多个像素，以及识别显示地面的图像的像素内的影子。附加地或可替代地，在一些示例中，该方法还包括将影子与预期的影子形状进行比较。附加地或可选地，在一些示例中，该方法还包括：收集多个示例性图像；对所述多个示例性图像中的多个示例影子进行分割；使用所述多个示例性图像来训练分类器；以及将所述分类器应用于所述一个或多个图像。
尽管已经参考附图完全描述了本公开的示例，但是应该注意的是，对于本领域技术人员来而言，各种变化和修改将变得明显。这样的变化和修改应被理解为被包括在本公开的示例的由所附权利要求所限定的范围内。

Claims (16)

1.一种车辆，包括：
一个或多个相机；
一个或多个制动器系统；以及
处理器，所述处理器可操作地耦接至所述一个或多个相机和所述一个或多个制动器系统，所述处理器被配置成：
识别由所述一个或多个相机所捕获的一个或多个图像中的影子；
确定所述影子是否沿着朝着车辆行驶方向的方向移动；以及
根据所述影子正在朝着所述车辆行驶方向的方向移动的确定结果来使用所述一个或多个致动器系统来减小所述车辆的速度。
2.根据权利要求1所述的车辆，还包括定位系统和地图界面，其中，所述处理器可操作地耦接至所述定位系统和所述地图界面，并且所述处理器还被配置成：
基于所述定位系统和所述地图界面中的一个或多个来识别所述车辆的位置；以及
基于所述车辆的位置位于行人密集区的确定结果来进入影子检测模式，其中，所述影子检测模式使得所述处理器识别所述影子并且确定所述影子是否正在移动。
3.根据权利要求1所述的车辆，其中，所述影子是遮挡对象的影子，并且所述遮挡对象并没有包括在由所述车辆的所述一个或多个相机所捕获的一个或多个图像中。
4.根据权利要求1所述的车辆，其中，所述处理器还被配置成根据所述影子是静止的或者所述影子正在朝着远离所述车辆行驶方向的方向移动的确定结果来使用所述一个或多个致动器系统来保持所述车辆的速度。
5.根据权利要求1所述的车辆，其中，识别所述一个或多个图像中的影子包括：
基于每个像素的暗度来将所述一个或多个图像的多个像素分割成组，其中，每组像素的暗度彼此之间在第一阈值差内；以及
识别由多个具有第二暗度的亮像素包围的多个具有第一暗度的暗像素，所述第一暗度比所述第二暗度至少暗第二阈值差。
6.根据权利要求1所述的车辆，还包括LiDAR传感器、超声波传感器、雷达传感器以及距离传感器中的一个或多个，其中，识别所述一个或多个图像中的影子包括：
基于来自所述LiDAR传感器、所述超声波传感器、所述雷达传感器以及所述距离传感器中的一个或多个的数据来识别所述一个或多个图像中的显示地面的图像的多个像素；以及
识别所述显示所述地面的图像的像素内的影子。
7.根据权利要求1所述的车辆，其中，识别所述一个或多个图像中的影子包括将所述影子与预期的影子形状进行比较。
8.根据权利要求1所述的车辆，其中，识别所述一个或多个图像中的影子包括：
收集多个示例性图像；
对所述多个示例性图像中的多个示例性影子进行分割；
使用所述多个示例性图像来训练分类器；以及
将所述分类器应用于所述一个或多个图像。
9.一种按照自主驾驶模式操作车辆的方法，所述方法包括：
通过所述车辆的一个或多个相机捕获一个或多个图像；
识别所述一个或多个图像中的影子；
确定所述影子是否沿着朝着车辆行驶方向的方向移动；以及
根据所述影子正在朝着所述车辆行驶方向的方向移动的确定结果来使用所述车辆的一个或多个致动器系统来减小所述车辆的速度。
10.根据权利要求9所述的方法，还包括：
基于所述车辆的定位系统和地图界面中的一个或多个来识别所述车辆的位置；以及
基于所述车辆的位置位于行人密集区的确定结果来进入影子检测模式，其中，所述影子检测模式使得所述处理器识别所述影子并且确定所述影子是否正在移动。
11.根据权利要求9所述的方法，其中，所述影子是遮挡对象的影子，并且所述遮挡对象并没有包括在由所述车辆的所述一个或多个相机所捕获的一个或多个图像中。
12.根据权利要求9所述的方法，还包括：
根据所述影子是静止的或者所述影子正在朝着远离所述车辆行驶方向的方向移动的确定结果来使用所述一个或多个致动器系统来保持所述车辆的速度。
13.根据权利要求9所述的方法，还包括：
基于每个像素的暗度来将所述一个或多个图像的多个像素分割成组，其中，每组像素的暗度彼此之差在第一阈值差内；以及
识别由多个具有第二暗度的亮像素包围的多个具有第一暗度的暗像素，所述第一暗度比所述第二暗度至少暗第二阈值差。
14.根据权利要求9所述的方法，还包括：
基于来自包括在所述车辆中的LiDAR传感器、超声波传感器、雷达传感器以及距离传感器中的一个或多个的数据来识别所述一个或多个图像中显示地面的图像的多个像素；以及
识别所述显示所述地面的图像的像素内的影子。
15.根据权利要求9所述的方法，还包括将所述影子与预期的影子形状进行比较。
16.根据权利要求9所述的方法，还包括：
收集多个示例性图像；
对所述多个示例性图像中的多个示例性影子进行分割；
使用所述多个示例性图像来训练分类器；以及
将所述分类器应用于所述一个或多个图像。
CN201810602376.8A 2017-06-12 2018-06-12 用于基于图形处理来检测遮挡对象的系统及方法 Active CN109033951B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762518524P 2017-06-12 2017-06-12
US62/518,524 2017-06-12

Publications (2)

Publication Number Publication Date
CN109033951A true CN109033951A (zh) 2018-12-18
CN109033951B CN109033951B (zh) 2022-05-27

Family

ID=64612827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810602376.8A Active CN109033951B (zh) 2017-06-12 2018-06-12 用于基于图形处理来检测遮挡对象的系统及方法

Country Status (2)

Country Link
US (2) US11126195B2 (zh)
CN (1) CN109033951B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112406894A (zh) * 2019-08-21 2021-02-26 美光科技公司 错误车辆行为的智能记录
US11010622B2 (en) 2018-11-02 2021-05-18 Toyota Research Institute, Inc. Infrastructure-free NLoS obstacle detection for autonomous cars
CN113302651A (zh) * 2019-01-15 2021-08-24 伟摩有限责任公司 利用压缩图像数据检测传感器遮挡
CN113544021A (zh) * 2019-03-08 2021-10-22 奥拉科产品有限责任公司 用于创建包括自部件排除的碰撞检测训练集的方法
TWI826723B (zh) * 2019-10-03 2023-12-21 瑞典商安訊士有限公司 用於產生物件之物件分類的方法和裝置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109033951B (zh) * 2017-06-12 2022-05-27 法拉第未来公司 用于基于图形处理来检测遮挡对象的系统及方法
US12019452B2 (en) * 2018-03-26 2024-06-25 Jabil Inc Apparatus, system, and method of using depth assessment for autonomous robot navigation
US11164031B2 (en) * 2018-06-26 2021-11-02 Here Global B.V. System and method for analyzing an image of a vehicle
US10762681B2 (en) 2018-06-26 2020-09-01 Here Global B.V. Map generation system and method for generating an accurate building shadow
DE112018007659T5 (de) * 2018-09-05 2021-03-18 Intel Corporation Objekterkennung und -verfolgung für autonomes fahren unter nutzung von schatten und reflexionen
KR102671557B1 (ko) * 2018-11-29 2024-06-07 현대자동차주식회사 차량 및 그 제어 방법
US10990834B2 (en) * 2018-12-13 2021-04-27 GM Global Technology Operations LLC Method and apparatus for object detection in camera blind zones
US10824148B2 (en) * 2018-12-14 2020-11-03 Waymo Llc Operating an autonomous vehicle according to road user reaction modeling with occlusions
WO2021133384A1 (en) * 2019-12-23 2021-07-01 A^3 By Airbus, Llc Systems and methods for efficently sensing collison threats
US11328607B2 (en) 2020-03-20 2022-05-10 Aptiv Technologies Limited System and method of detecting vacant parking spots
JP7495178B2 (ja) * 2020-04-14 2024-06-04 株式会社Subaru 車両の走行支援装置
EP4113460A1 (en) * 2021-06-29 2023-01-04 Ford Global Technologies, LLC Driver assistance system and method improving its situational awareness
CN117173103B (zh) * 2023-08-04 2024-04-12 山东大学 一种图像阴影检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011018999A1 (ja) * 2009-08-12 2011-02-17 日本電気株式会社 障害物検知装置及び方法並びに障害物検知システム
US20120136510A1 (en) * 2010-11-30 2012-05-31 Electronics And Telecommunications Research Institute Apparatus and method for detecting vehicles using laser scanner sensors
US20130147957A1 (en) * 2011-12-12 2013-06-13 Mobileye Technologies Ltd. Detection of obstacles at night by analysis of shadows
US20150371096A1 (en) * 2014-06-18 2015-12-24 Mobileye Vision Technologies Ltd. Hazard detection from a camera in a scene with moving shadows
CN105620345A (zh) * 2014-11-03 2016-06-01 广州市动景计算机科技有限公司 倒车监测装置及具有该倒车监测装置的机动车

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6512387B1 (en) * 2001-07-31 2003-01-28 Agilent Technologies, Inc. Pressure-sensitive system and method of testing electronic device interconnections
JP4969269B2 (ja) * 2007-02-21 2012-07-04 アルパイン株式会社 画像処理装置
WO2009076182A1 (en) * 2007-12-13 2009-06-18 Clemson University Vision based real time traffic monitoring
US8054201B2 (en) * 2008-03-19 2011-11-08 Mazda Motor Corporation Surroundings monitoring device for vehicle
CN107092856A (zh) * 2011-03-14 2017-08-25 加州大学评议会 用于车辆分类的方法和系统
DE102012025317A1 (de) * 2012-12-22 2014-06-26 Audi Ag Fahrerassistenzsystem und Verfahren zum Freigeben eines autonomen oder pilotierten Garagenparkens
KR101493418B1 (ko) * 2013-03-29 2015-02-13 현대엠엔소프트 주식회사 공중사진의 그림자 제거 방법 및 그 장치
US9098752B2 (en) * 2013-08-09 2015-08-04 GM Global Technology Operations LLC Vehicle path assessment
KR101438640B1 (ko) * 2013-09-02 2014-11-03 현대자동차 주식회사 선바이저 제어장치 및 선바이저 제어방법
US9567077B2 (en) * 2014-02-14 2017-02-14 Accenture Global Services Limited Unmanned vehicle (UV) control system
US20170324806A9 (en) * 2014-09-02 2017-11-09 Robert Valentin Salinas System and Method for Control of Autonomous Vehicle by Mobile Device
KR102534792B1 (ko) * 2015-02-10 2023-05-19 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도
US10115024B2 (en) * 2015-02-26 2018-10-30 Mobileye Vision Technologies Ltd. Road vertical contour detection using a stabilized coordinate frame
US9557741B1 (en) * 2015-08-24 2017-01-31 Ford Global Technologies, Llc System and method for autonomous valet parking using plenoptic cameras
US10120385B2 (en) * 2016-03-30 2018-11-06 Intel Corporation Comfort ride vehicle control system
CN107444264A (zh) * 2016-05-31 2017-12-08 法拉第未来公司 使用相机检测车辆附近的物体
KR101784611B1 (ko) * 2016-06-09 2017-11-06 재단법인대구경북과학기술원 라이다 센서 및 레이더 센서를 이용한 사람 탐지 장치 및 방법
EP3497925B1 (en) * 2016-08-09 2022-11-23 Contrast, Inc. Real-time hdr video for vehicle control
US10325163B2 (en) * 2016-11-22 2019-06-18 Ford Global Technologies, Llc Vehicle vision
CN109033951B (zh) * 2017-06-12 2022-05-27 法拉第未来公司 用于基于图形处理来检测遮挡对象的系统及方法
KR102584501B1 (ko) * 2018-10-05 2023-10-04 삼성전자주식회사 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치
US11436839B2 (en) * 2018-11-02 2022-09-06 Toyota Research Institute, Inc. Systems and methods of detecting moving obstacles
JP7200894B2 (ja) * 2019-09-20 2023-01-10 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP7495178B2 (ja) * 2020-04-14 2024-06-04 株式会社Subaru 車両の走行支援装置
US20220277163A1 (en) * 2021-02-26 2022-09-01 Here Global B.V. Predictive shadows to suppress false positive lane marking detection
EP4113460A1 (en) * 2021-06-29 2023-01-04 Ford Global Technologies, LLC Driver assistance system and method improving its situational awareness

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011018999A1 (ja) * 2009-08-12 2011-02-17 日本電気株式会社 障害物検知装置及び方法並びに障害物検知システム
US20120140988A1 (en) * 2009-08-12 2012-06-07 Nec Corporation Obstacle detection device and method and obstacle detection system
US20120136510A1 (en) * 2010-11-30 2012-05-31 Electronics And Telecommunications Research Institute Apparatus and method for detecting vehicles using laser scanner sensors
US20130147957A1 (en) * 2011-12-12 2013-06-13 Mobileye Technologies Ltd. Detection of obstacles at night by analysis of shadows
US20150371096A1 (en) * 2014-06-18 2015-12-24 Mobileye Vision Technologies Ltd. Hazard detection from a camera in a scene with moving shadows
CN105620345A (zh) * 2014-11-03 2016-06-01 广州市动景计算机科技有限公司 倒车监测装置及具有该倒车监测装置的机动车

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邬紫阳: "基于机器视觉的前碰撞预警系统车辆检测方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11010622B2 (en) 2018-11-02 2021-05-18 Toyota Research Institute, Inc. Infrastructure-free NLoS obstacle detection for autonomous cars
CN113302651A (zh) * 2019-01-15 2021-08-24 伟摩有限责任公司 利用压缩图像数据检测传感器遮挡
CN113302651B (zh) * 2019-01-15 2024-05-24 伟摩有限责任公司 利用压缩图像数据检测传感器遮挡
CN113544021A (zh) * 2019-03-08 2021-10-22 奥拉科产品有限责任公司 用于创建包括自部件排除的碰撞检测训练集的方法
CN113544021B (zh) * 2019-03-08 2023-12-22 奥拉科产品有限责任公司 用于创建包括自部件排除的碰撞检测训练集的方法
CN112406894A (zh) * 2019-08-21 2021-02-26 美光科技公司 错误车辆行为的智能记录
TWI826723B (zh) * 2019-10-03 2023-12-21 瑞典商安訊士有限公司 用於產生物件之物件分類的方法和裝置

Also Published As

Publication number Publication date
US20190339706A1 (en) 2019-11-07
US11714420B2 (en) 2023-08-01
US11126195B2 (en) 2021-09-21
US20220004196A1 (en) 2022-01-06
CN109033951B (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN109033951A (zh) 用于基于图形处理来检测遮挡对象的系统及方法
US10691962B2 (en) Systems and methods for rear signal identification using machine learning
US11155205B2 (en) Communications for autonomous vehicles
US20210350145A1 (en) Object recognition method of autonomous driving device, and autonomous driving device
CN107220581A (zh) 通过后置摄像机的行人检测和运动预测
JP7472832B2 (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
US11436839B2 (en) Systems and methods of detecting moving obstacles
US20220410931A1 (en) Situational awareness in a vehicle
KR102355431B1 (ko) Ai 기반 돌발상황 검지 방법 및 그 시스템
US20240020988A1 (en) Traffic light detection and classification for autonomous driving vehicles
CN115704898A (zh) 自主交通工具应用中相机图像和雷达数据的关联
US11866068B2 (en) Detecting and responding to malfunctioning traffic signals for autonomous vehicles
US20230068848A1 (en) Systems and methods for vehicle camera obstruction detection
WO2023188251A1 (ja) 移動体の制御装置、移動体の制御方法、および記憶媒体
US11780471B1 (en) System for determining a state of an object using thermal data
US20230236313A1 (en) Thermal sensor data vehicle perception
WO2020170835A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2022146384A (ja) 物体検出装置
JP2024062353A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
WO2024215339A1 (en) Data augmentation for obstruction learning
CN118843898A (zh) 移动体的控制装置、移动体的控制方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant