CN117994763A - 用于机动车辆的视觉系统和方法 - Google Patents

用于机动车辆的视觉系统和方法 Download PDF

Info

Publication number
CN117994763A
CN117994763A CN202410191325.6A CN202410191325A CN117994763A CN 117994763 A CN117994763 A CN 117994763A CN 202410191325 A CN202410191325 A CN 202410191325A CN 117994763 A CN117994763 A CN 117994763A
Authority
CN
China
Prior art keywords
wheel
pedestrian
motor vehicle
image data
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410191325.6A
Other languages
English (en)
Inventor
彼得·哈尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anzher Software Co
Original Assignee
Anzher Software Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anzher Software Co filed Critical Anzher Software Co
Publication of CN117994763A publication Critical patent/CN117994763A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开内容的实施例提供了用于数据处理的装置和方法。该装置包括：存储器；以及耦合到存储器的处理器，处理器被配置为：控制成像系统以从车辆的周围捕获图像数据；接收图像数据；处理图像数据以检测至少一个车轮，其中，至少一个车轮是在不检测与车轮相关联的完整车辆的情况下以分离的方式检测的；确定至少一个车轮是否与骑自行车者或机动车辆相关联，其中，处理器被配置为基于对图像数据中的行人的检测以及所检测到的行人与至少一个车轮之间的距离来确定至少一个车轮是否与自行车相关联；估计与骑自行车者或机动车辆相关联的碰撞概率；以及基于所估计的碰撞概率来输出信号。

Description

用于机动车辆的视觉系统和方法
本申请是申请号为201680049677.1、申请日为2016年8月25日、发明名称为“用于机动车辆的视觉系统和方法”的中国专利申请的分案申请。
技术领域
本发明涉及用于机动车辆的视觉系统，该视觉系统包括成像系统和数据处理装置，该成像系统适于捕捉机动车辆周围的图像，该数据处理装置建立对象检测器，该对象检测器适于通过图像处理对所述成像系统捕捉到的图像中的对象进行检测。此外，本发明涉及用于机动车辆的视觉方法。
背景技术
例如WO 2008 057042 A1中已知这种类型的视觉系统。这种视觉系统通常适于检测行人、自行车、大型动物和/或其他车辆，特别是以便于避免与这些对象碰撞。
发明内容
本发明的问题在于，特别在另一车辆可能横穿的场景中，提供具有改进性能的用于机动车辆的视觉系统和方法。
本发明通过独立权利要求的特征解决了这个问题。本发明使用车轮检测器检测所捕捉的图像中的另一车辆的车轮、轮状结构或其特征部分。在此，与检测整个车辆相比，单独(即，以分离的方式)对车轮进行检测。通常，本发明的车轮检测器提供了与包括车轮的对象(即，其他车辆)有关的附加信息，这可以提高检测的准确性和可靠性并且避免碰撞。具体地，车轮检测器允许独立地并且与该车辆其余部分的大小和位置无关地确定该车轮的确切大小和位置，而如果将另一车辆仅作为整体来确定，则这通常是不可能的。另一车辆的车轮的确切大小和位置提供了有价值的附加信息，这将在下文中更详细地阐明。
优选地，车轮检测器与适于对另一车辆的非车轮部分进行检测和/或分类的非车轮检测器相结合，以便获得附加信息。非车轮检测器可以例如是行人或骑自行车者检测器，或对象分割器，如下文将阐明的那样。优选地，车轮检测器的搜索区域限于检测到的非车轮部分的附近，或者非车轮检测器的搜索区域限于检测到的车轮的附近。以这种方式，相应的搜索区域不必是完整的图像，而可以明显更小，这可以节省处理资源并且可以导致更快的对象检测。
在本发明的优选实施例中，该另一车辆是自行车，即本发明用于自行车检测和/或分类。为了对骑自行车者进行检测和/或分类，特别是在使用单目相机时，尤其是在横穿情形中时，需要追踪包括车轮、优选地还包括车架的整个自行车。例如，为了通过使用自动紧急制动来减轻自行车损伤，重要的是不仅要考虑避免撞到骑自行车者，而且还要避免撞击自行车的前轮或后轮。这可以通过根据本发明的车轮检测来实现。
优选地，车轮检测可以与行人检测器结合使用，以将对象分类为骑自行车者或自行车，并且改进对由骑自行车者所占据的空间的追踪。在该实施例中，行人检测器形成先前提到的非车轮部分检测器。
本发明的另一个优选应用是使用单目或立体成像系统对横穿机动车辆(特别是汽车、摩托车、卡车或公共汽车)进行检测和/或分类。在此应用中，根据本发明的车轮检测器有利地与例如基于光流的通用对象分割结合使用，以能够将检测到的对象分类为机动车辆。在此实施例中，对象分割器形成先前提到的非车轮部分检测器。
该车轮检测器优选地使用圆形或椭圆形检测算法，这是由于当在车辆横穿场景中观察时，车轮看起来呈圆形或更一般地呈椭圆形。在优选的实际实施例中，车轮检测器使用霍夫变换算法。然而，也可以是其他形式的车轮检测器；例如，车轮检测可以基于车轮分类器。通常，车轮检测可以优选地基于或包括车轮的轮胎检测、轮辋检测、轮辐检测和/或轮毂检测的任何合适的组合。
如上所述，本发明在横穿场景中特别有益。横穿场景是如下场景：另一车辆特别地以30°(优选45°)与90°之间的角度横穿或即将横穿本车辆的路径，其中，该另一车辆的车轮可视为圆形或椭圆的。
本发明的一个优点在于其可以用于提高位置精度，特别是在距离估计是已知弱点的单目相机系统中。通常，检测到的车轮可以优选地用于被检测对象的位置和/或距离估计。这基于以下发现：车轮通常是车辆在地面上所处的位置的非常好的参照，这将在下面更详细地阐明。
附图说明
在下文中，将基于参照附图的优选实施例来对本发明进行说明实施例，其中：
图1示出了根据本发明的视觉系统的示意图；
图2A至图2C示出了对骑自行车者车轮检测器在检测骑自行车者时的使用进行说明的不同图像；并且
图3示出了对车轮检测器在检测横穿汽车时的使用进行说明的图像。
具体实施方式
视觉系统10安装在机动车辆中并且包括成像系统11，该成像系统用于采集机动车辆周围的区域(例如，机动车辆前方的区域)的图像。优选地，成像系统11包括在可见和/或红外波长范围操作的一个或多个光学成像装置(特别是相机)12，其中红外线包括波长低于5微米的近红外线(near IR)和/或波长超过5微米的远红外线(far IR)。在一些实施例中，成像系统11包括特别地形成立体成像系统11的多个成像装置12。在其他实施例中，仅使用形成单成像系统11的一个成像装置12，例如如图1所示。
成像系统11耦合到数据处理装置14，在该数据处理装置中，对从成像系统11接收的图像数据执行图像和数据处理。
数据处理装置14可以包括预处理部13，该预处理部适于控制成像系统11对图像的捕捉，从成像系统11接收包含图像信息的电信号，将成对的左/右图像变形成对准和/或创建视差图像，这本身在本领域中是已知的。图像预处理部13可以由专用硬件电路(例如，现场可编程门阵列(FPGA))来实现。或者，预处理部13或其部分功能可以在微处理器中实现。在视觉系统10仅使用一个相机12的情况下，可以省略预处理部13。
处理器件14包括：对象检测部15，其适于对机动车辆前方的可能对象(诸如，行人、其他车辆、骑自行车者或大型动物)进行识别并且还优选进行分类；追踪部16，其适于随时间追踪由对象检测部15识别的、在所记录的图像中的候选对象的位置；以及估计和判定部17，其适于估计被追踪对象的碰撞概率并根据该估计的碰撞概率来激活或控制至少一个驾驶员辅助装置18、19。驾驶员辅助装置18、19可以具体地包括显示装置18以显示与检测到的对象有关的信息。然而，本发明不限于显示装置。驾驶员辅助装置18、19可以附加地或替代地包括：警告装置，其适于通过合适的光学、声学和/或触觉警告信号向驾驶员提供碰撞警告；一个或多个约束系统，诸如乘员安全气囊或安全带张紧器、行人安全气囊、引擎罩升降器等；和/或动态车辆控制系统，诸如制动或转向控制装置。数据处理装置14有利地访问存储装置25。
数据处理装置14优选是经编程的或可编程的数字装置，并且有利地包括微处理器、微控制器或数字信号处理器(DSP)。数据处理装置14和存储装置25优选在车载电子控制单元(ECU)中实现，并且可以经由单独的线缆或车辆数据总线连接到成像系统11。在另一个实施例中，ECU和一个或多个成像装置12可以集成到单个单元中，其中，包括ECU和所有成像装置12的单箱解决方案可以是优选的。从成像、图像预处理、图像处理到驾驶员辅助装置18的可能激活或控制的所有步骤都是实时地在驾驶过程中自动且连续地执行的。
数据处理装置14的对象检测部15包括车轮检测器20，该车轮检测器适于通过图像处理对成像系统11所提供的图像中的车轮或轮状结构进行检测和/或分类轮状结构。车轮检测器20优选地采用霍夫变换算法来检测图像中具有合适大小的圆形或椭圆形结构。或者，例如车轮检测器20可以基于车轮分类。特别地基于霍夫变换的车轮检测算法与随后的车轮分类和/或验证步骤的组合也是可能的。
在下文中，通过图2A至图2C和图3中所示的两个示例阐明了视觉系统10中的本发明的车轮检测器20的使用和益处。
图2A至图2C涉及自行车检测和/或分类。在此，车轮检测器20用于对自行车的车轮21进行检测和/或分类，如图2A所示。车轮检测/分类在图2A至图2C中用矩形22标记。
在对象检测部15中，车轮检测器20优选地与行人检测器结合，该行人检测器适于通过图像处理对成像系统11所提供的图像中的人进行检测和/或分类。具体地，行人检测器不仅适于检测行人，还适于检测骑自行车者。经检测/分类的骑自行车者在图2B和图2C中用浅矩形(light rectangle)23标记。
图2B所示的骑自行车者检测可以在图2A所示的车轮检测之前或之后进行。具体地，车轮检测器20的搜索区域可以是基于网格覆盖的整个视野(即，提供给数据处理装置14的整个图像)，该视野可能受到确定的地面和/或驾驶通道的限制。或者，车轮检测器20的搜索区域可以局限于经分类的行人的附近，并且因此显著小于整个视野。在可以节省大量处理资源的后一种情况下，车轮检测有利地在行人或骑自行车者检测之后进行。或者，骑自行车者的搜索区域可以局限于车轮(可能被分类为自行车车轮)或成对的(自行车)车轮附近。
最后，如在图2C中由包围车轮22和骑自行车者23的较大发光方块24所示，通过对相对于彼此布置在典型距离和位置处的成对的车轮22和骑自行车者23进行结合检测/分类，来确定骑自行车者/自行车对象24。
图3涉及本发明的另一个应用，即使用单目或立体成像系统11对横穿机动车辆(特别是汽车)进行检测和/或分类。在此，车轮检测器20与对象检测部15中提供的对象分割器结合使用。对象分割器适于特别地基于光流来检测经分割的对象(图3中的黑色矩形26)。将经分割的对象26与可能被分类为汽车车轮的适当布置的成对车轮27相结合，以便检测横穿机动车辆或汽车28(图3中的浅方块)。因此，车轮检测器20是横穿机动车辆检测器和/或分类器的一部分。
本发明特别地可以用于改进单目相机系统11中的位置精度，在该单目相机中，距离估计是已知的弱点。通常，检测到的车轮可以优选地用于被检测对象的位置和/或距离估计。这是基于以下发现：车轮通常是车辆在地面上所处的位置的非常好的参照。
例如，与骑自行车者被检测为行人(行人看起来浮在地面上)的情况相比，与地面的接触点可以优选地用于改进对骑自行车者23的距离估计，参见图2。
此外，在横穿机动车辆(如汽车)的检测中，车轮检测器20可以提供改进的距离信息，这是由于与例如基于光流的对象分割相比，车轮检测器20为机动车辆在地面上所处的位置提供了更好的参考点，参见图3。基于光流的对象分割可能会被例如汽车的阴影所干扰，使得与地面的接触点模糊且容易出错。
距离估计的另一个方向在于车轮22、27的大小，对于自行车和机动车辆(如汽车)而言，车轮大小是标准化的并因此是熟知的。因此，车轮检测的标度也包含有价值的信息，这些信息可用于改进对距检测到的对象的距离的估计。

Claims (36)

1.一种用于数据处理的装置，包括：
存储器；以及
耦合到所述存储器的处理器，所述处理器被配置为：
控制成像系统以从车辆的周围捕获图像数据；
接收所述图像数据；
处理所述图像数据以检测至少一个车轮，其中，所述至少一个车轮是在不检测与所述车轮相关联的完整车辆的情况下以分离的方式检测的；
确定所述至少一个车轮是否与骑自行车者或机动车辆相关联，其中，所述处理器被配置为基于对所述图像数据中的行人的检测以及所检测到的行人与所述至少一个车轮之间的距离来确定所述至少一个车轮是否与自行车相关联；
估计与所述骑自行车者或所述机动车辆相关联的碰撞概率；以及
基于所估计的碰撞概率来输出信号。
2.根据权利要求1所述的装置，其中，所述处理器被配置为检测至少一对车轮，并且其中，所述处理器被配置为基于所述至少一对车轮相对于彼此布置在典型的距离和位置处来确定所述至少一对车轮是否与自行车相关联。
3.根据权利要求2所述的装置，其中，检测所述至少一对车轮包括检测每个车轮的大小和位置。
4.根据权利要求1所述的装置，其中，所述处理器被配置为基于对象分割过程来确定所述至少一个车轮是否与机动车辆相关联。
5.根据权利要求4所述的装置，其中，所述对象分割过程是基于光流的。
6.根据权利要求1所述的装置，其中，所述信号包括光学、声学和/或触觉警告。
7.根据权利要求6所述的装置，其中，所述信号还包括制动信号。
8.根据权利要求1所述的装置，其中，所述处理器被配置为基于限于与检测到的行人相关联的附近的搜索区域来确定所述图像数据包括所述至少一个车轮。
9.根据权利要求1所述的装置，其中，所述成像系统包括相机。
10.根据权利要求9所述的装置，其中，所述成像系统由单相机组成。
11.根据权利要求9所述的装置，还包括所述相机。
12.根据权利要求1所述的装置，其中，所述碰撞概率是基于所述车辆与所述骑自行车者或所述机动车辆之间的距离估计的。
13.根据权利要求12所述的装置，其中，所述距离是基于与所述至少一个车轮相关联的地面的。
14.根据权利要求9所述的装置，其中，所述装置包括所述车辆。
15.根据权利要求1所述的装置，其中，确定所述至少一个车轮是否与自行车相关联包括独立于对所述行人的检测来检测所述至少一个车轮。
16.根据权利要求15所述的装置，其中，对所述至少一个车轮的检测是在对所述行人的检测之后执行的。
17.根据权利要求15所述的装置，其中，对所述至少一个车轮的检测是在对所述行人的检测期间执行的。
18.一种用于数据处理的方法，包括：
控制成像系统以从车辆的周围捕获图像数据；
接收所述图像数据；
处理所述图像数据以检测至少一个车轮，其中，所述至少一个车轮是在不检测与所述车轮相关联的完整车辆的情况下以分离的方式检测的；
确定所述至少一个车轮是否与骑自行车者或机动车辆相关联，其中，确定所述至少一个车轮是否与自行车相关联是基于对所述图像数据中的行人的检测以及所检测到的行人与所述至少一个车轮之间的距离的；
估计与所述骑自行车者或所述机动车辆相关联的碰撞概率；以及
基于所估计的碰撞概率来输出信号。
19.根据权利要求18所述的方法，其中，检测所述至少一个车轮包括检测至少一对车轮，并且其中，确定所述至少一个车轮是否与自行车相关联包括：基于所述至少一对车轮相对于彼此布置在典型的距离和位置处来确定所述至少一对车轮是否与自行车相关联。
20.根据权利要求19所述的方法，其中，检测所述至少一对车轮包括检测每个车轮的大小和位置。
21.根据权利要求18所述的方法，其中，确定所述至少一个车轮是否与机动车辆相关联包括：基于对象分割过程来确定所述至少一个车轮是否与机动车辆相关联。
22.根据权利要求21所述的方法，其中，所述对象分割过程是基于光流的。
23.根据权利要求18所述的方法，其中，所述信号包括光学、声学和/或触觉警告。
24.根据权利要求23所述的方法，其中，所述信号还包括制动信号。
25.根据权利要求18所述的方法，其中，处理所述图像数据以检测所述至少一个车轮包括：基于限于与检测到的行人相关联的附近的搜索区域来确定所述图像数据包括所述至少一个车轮。
26.根据权利要求18所述的方法，其中，所述碰撞概率是基于所述车辆与所述骑自行车者或所述机动车辆之间的距离估计的。
27.根据权利要求26所述的方法，其中，所述距离是基于与所述至少一个车轮相关联的地面的。
28.根据权利要求18所述的方法，其中，确定所述至少一个车轮是否与自行车相关联包括独立于对所述行人的检测来检测所述至少一个车轮。
29.根据权利要求28所述的方法，其中，对所述至少一个车轮的检测是在对所述行人的检测之后执行的。
30.根据权利要求28所述的方法，其中，对所述至少一个车轮的检测是在对所述行人的检测期间执行的。
31.一种用于图像处理的系统，包括：
包括多个成像装置的立体成像系统，其中，所述立体成像系统适于使用所述多个成像装置来获取机动车辆周围的区域的多个图像；以及
预处理部，其适于处理所述多个图像。
32.根据权利要求31所述的系统，其中，所述多个成像装置在可见波长范围和/或红外波长范围内操作。
33.根据权利要求31所述的系统，其中，所述多个图像包括成对的左右图像；并且
其中，所述预处理部进一步适于将所述成对的左右图像变形成对准，和/或基于所述成对的左右图像来创建视差图像。
34.一种用于图像处理的方法，包括：
使用多个成像装置来获取机动车辆周围的区域的多个图像，所述多个成像装置形成立体成像系统；以及
处理所述多个图像。
35.根据权利要求34所述的方法，其中，所述多个成像装置在可见波长范围和/或红外波长范围内操作。
36.根据权利要求34所述的方法，其中，所述多个图像包括成对的左右图像；并且
其中，处理所述多个图像包括：将所述成对的左右图像变形成对准，和/或基于所述成对的左右图像来创建视差图像。
CN202410191325.6A 2015-08-28 2016-08-25 用于机动车辆的视觉系统和方法 Pending CN117994763A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP15183040.3 2015-08-28
EP15183040.3A EP3136288A1 (en) 2015-08-28 2015-08-28 Vision system and method for a motor vehicle
PCT/EP2016/070102 WO2017036919A1 (en) 2015-08-28 2016-08-25 Vision system and method for a motor vehicle
CN201680049677.1A CN107924466A (zh) 2015-08-28 2016-08-25 用于机动车辆的视觉系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680049677.1A Division CN107924466A (zh) 2015-08-28 2016-08-25 用于机动车辆的视觉系统和方法

Publications (1)

Publication Number Publication Date
CN117994763A true CN117994763A (zh) 2024-05-07

Family

ID=54150229

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202410191325.6A Pending CN117994763A (zh) 2015-08-28 2016-08-25 用于机动车辆的视觉系统和方法
CN201680049677.1A Pending CN107924466A (zh) 2015-08-28 2016-08-25 用于机动车辆的视觉系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201680049677.1A Pending CN107924466A (zh) 2015-08-28 2016-08-25 用于机动车辆的视觉系统和方法

Country Status (4)

Country Link
US (1) US10521678B2 (zh)
EP (2) EP3136288A1 (zh)
CN (2) CN117994763A (zh)
WO (1) WO2017036919A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3136288A1 (en) * 2015-08-28 2017-03-01 Autoliv Development AB Vision system and method for a motor vehicle
US10331956B2 (en) 2015-09-23 2019-06-25 Magna Electronics Inc. Vehicle vision system with detection enhancement using light control
CN108694363A (zh) * 2017-04-12 2018-10-23 日立汽车系统株式会社 对车辆周围的行人进行检测的方法和装置
JP6514736B2 (ja) * 2017-05-17 2019-05-15 株式会社Ｓｕｂａｒｕ 車外環境認識装置
US11206375B2 (en) 2018-03-28 2021-12-21 Gal Zuckerman Analyzing past events by utilizing imagery data captured by a plurality of on-road vehicles
CN110659548B (zh) * 2018-06-29 2023-08-11 比亚迪股份有限公司 车辆及其目标检测方法、装置
US11138418B2 (en) 2018-08-06 2021-10-05 Gal Zuckerman Systems and methods for tracking persons by utilizing imagery data captured by on-road vehicles
CN109118537B (zh) * 2018-08-21 2021-11-02 加特兰微电子科技(上海)有限公司 一种画面匹配方法、装置、设备和存储介质
KR20210054107A (ko) * 2019-11-04 2021-05-13 현대자동차주식회사 차량의 디스플레이 장치 및 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7145519B2 (en) * 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
GB2443664A (en) 2006-11-10 2008-05-14 Autoliv Dev An infra red object detection system de-emphasizing non relevant hot objects
JP4410292B1 (ja) * 2008-10-20 2010-02-03 本田技研工業株式会社 車両の周辺監視装置
JP5421072B2 (ja) * 2008-11-19 2014-02-19 クラリオン株式会社 接近物体検知システム
JP2011210139A (ja) * 2010-03-30 2011-10-20 Sony Corp 画像処理装置および方法、並びにプログラム
CN103310207B (zh) * 2013-07-06 2016-03-09 中国科学技术大学 一种基于多高斯模型的助力车检测方法
JP6414549B2 (ja) * 2013-11-20 2018-10-31 日本電気株式会社 二輪車乗車数判定方法、二輪車乗車数判定システム、二輪車乗車数判定装置及びプログラム
US9087263B2 (en) * 2013-12-09 2015-07-21 National Chung Shan Institute Of Science And Technology Vision based pedestrian and cyclist detection method
CN103745196B (zh) * 2013-12-27 2016-10-05 东软集团股份有限公司 广义行人检测方法和装置
JP6237685B2 (ja) * 2015-04-01 2017-11-29 トヨタ自動車株式会社 車両制御装置
US9784829B2 (en) * 2015-04-06 2017-10-10 GM Global Technology Operations LLC Wheel detection and its application in object tracking and sensor registration
EP3136288A1 (en) * 2015-08-28 2017-03-01 Autoliv Development AB Vision system and method for a motor vehicle

Also Published As

Publication number Publication date
EP3282392A1 (en) 2018-02-14
US20180253610A1 (en) 2018-09-06
EP3282392B1 (en) 2021-09-29
CN107924466A (zh) 2018-04-17
WO2017036919A1 (en) 2017-03-09
EP3136288A1 (en) 2017-03-01
US10521678B2 (en) 2019-12-31

Similar Documents

Publication Publication Date Title
US10521678B2 (en) Vision system and method for a motor vehicle
CN106485233B (zh) 可行驶区域检测方法、装置和电子设备
CN109478324B (zh) 图像处理装置、外界识别装置
US9697430B2 (en) Method and apparatus for identifying road signs
US20190012798A1 (en) Information processing apparatus, object recognition apparatus, device control system, movable body, image processing method, and computer-readable recording medium
KR101891460B1 (ko) 차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치
JP6571658B2 (ja) 奥行分解された画像データからのオブジェクトを認識するための方法ならびに装置
JP2018097766A (ja) 画像処理装置、外界認識装置
US20200074212A1 (en) Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium
JP2012185588A (ja) 車戴カメラ及び車載カメラシステム
US20220232182A1 (en) Image recognition device, solid-state imaging device, and image recognition method
JP2014146267A (ja) 歩行者検出装置、運転支援装置
EP2662828B1 (en) A vision system and method for a motor vehicle
US20230001922A1 (en) System providing blind spot safety warning to driver, method, and vehicle with system
US20230186644A1 (en) A vision system and method for a motor vehicle
CN112542060B (zh) 车用后侧方警报装置
JP3942289B2 (ja) 車両監視装置
EP3540643A1 (en) Image processing apparatus and image processing method
JP6969245B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム
EP3683718A1 (en) Driver assistance system and method for a motor vehicle
JP7145227B2 (ja) 標識認識装置
EP3779770A1 (en) A stereo vision system and method for a motor vehicle
JP6763080B2 (ja) 自動車用ビジョンシステム及び方法
US20240205551A1 (en) Signal processing device and method, and program
JP6820403B2 (ja) 自動車用視覚システム及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination