CN116030443A - 用于接近车辆检测的系统和方法 - Google Patents

用于接近车辆检测的系统和方法 Download PDF

Info

Publication number
CN116030443A
CN116030443A CN202211293592.1A CN202211293592A CN116030443A CN 116030443 A CN116030443 A CN 116030443A CN 202211293592 A CN202211293592 A CN 202211293592A CN 116030443 A CN116030443 A CN 116030443A
Authority
CN
China
Prior art keywords
vehicle
image data
trailing vehicle
trailing
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211293592.1A
Other languages
English (en)
Inventor
V·拉金德兰
拉吉·索姆谢蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN116030443A publication Critical patent/CN116030443A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供“用于接近车辆检测的系统和方法”。一种用于经配备车辆的识别设备包括：摄像头，所述摄像头被配置为捕获指向靠近所述经配备车辆的外部区域的视野中的图像数据；和与所述摄像头通信的控制器。所述控制器识别所述图像数据中的对象并响应于所述图像数据中表示所述对象的像素来识别所述对象的比例。所述控制器然后响应于所述对象以超过阈值的方式接近所述摄像头而传送指示尾随车辆的通知。

Description

用于接近车辆检测的系统和方法
技术领域
本发明总体上涉及一种用于检测接近车辆的识别系统，并且更具体地涉及一种经由摄像头系统检测后方接近车辆的识别系统。
背景技术
现代汽车的操作环境越来越复杂。增加的交通与各种技术或人为分心的组合使得维持对车辆周围环境的感知具有挑战性。鉴于车辆操作环境的复杂性增加，本公开提供了一种可以辅助车辆操作的经改善的通知系统。
发明内容
根据本公开的一个方面，一种用于经配备车辆的识别设备包括摄像头，所述摄像头被配置为捕获指向靠近所述经配备车辆的外部区域的视野中的图像数据。控制器与所述摄像头通信。所述控制器识别所述图像数据中的对象并响应于所述图像数据中表示所述对象的像素来识别所述对象的比例。所述控制器响应于所述对象以超过阈值的方式接近所述摄像头而传送指示尾随车辆的通知。
本公开的实施例可以包括以下特征或步骤中的任一者或组合：
-所述控制器还响应于所述对象在所述经配备车辆的操作车道中跟随而将所述对象识别为所述尾随车辆；
-所述尾随车辆的所述识别将在操作车道中跟随的所述尾随车辆与在相邻车道中的邻近车辆区分开；
-所述控制器还基于所述图像数据来检测所述经配备车辆的所述操作车道的车道宽度；
-所述控制器还响应于所述对象的所述比例与所述图像数据中所述操作车道的预定宽度重叠而将所述对象识别为所述尾随车辆；
-所述预定宽度是所述车道宽度的至少60％；
-所述控制器还基于所述图像数据中表示的所述尾随车辆的所述比例的变化率来计算所述尾随车辆的接近速率；
-所述比例是基于所述图像数据中表示的所述尾随车辆来计算的车辆宽度；
-所述控制器还生成识别所述图像数据中所述尾随车辆的周边的边界框；
-所述比例是所述图像数据中所述尾随车辆的所述边界框的车辆宽度；
-所述阈值是速率阈值，并且响应于所述尾随车辆的所述接近速率超过所述速率阈值而传送所述通知；
-通知装置，所述通知装置设置在所述经配备车辆的车舱中，其中所述通知装置被配置为响应于指示所述尾随车辆的所述通知而输出可听通知或视觉通知中的至少一者；
-所述控制器还识别所述图像数据中所述尾随车辆的尺寸；
-所述控制器还基于处理所述图像数据的经训练模型来识别所述尾随车辆的分类或型号；
-响应于所述尾随车辆的所述分类来确定所述尺寸；
-基于如所述视野中表示的所述尾随车辆的所述尺寸来对形成所述分类的车辆类型进行分组；以及
-基于所述图像数据中所述尾随车辆的所述比例和所述尾随车辆的尺寸来识别所述尾随车辆的距离。
在本公开的另一个方面中，一种用于识别尾随车辆的方法包括捕获指向靠近经配备车辆的外部区域的视野中的图像数据。所述图像数据被处理以识别对象，并且响应于所述对象在所述经配备车辆的操作车道中跟随来识别何时将所述对象分类为尾随车辆。响应于所述图像数据中表示所述对象的所述像素，识别所述尾随车辆的比例。基于所述图像数据中表示的所述比例的所述变化率，计算所述尾随车辆的接近速率。响应于所述尾随车辆的所述接近速率超过速率阈值，输出通知。
本公开的实施例可以包括以下特征或步骤中的任一者或组合：
-基于经训练模型来识别所述尾随车辆的分类，其中所述分类包括车辆类型和模式中的至少一者；
-基于所述图像数据来检测所述经配备车辆的所述操作车道的车道宽度；以及
-响应于所述对象的所述比例与所述图像数据中所述操作车道的预定车道宽度重叠，将所述对象识别为所述尾随车辆。
在本公开的又一个方面中，一种用于经配备车辆的识别系统包括摄像头，所述摄像头被配置为捕获指向所述经配备车辆的外部区域的视野中的图像数据。通知装置设置在所述经配备车辆的所述车舱中。所述通知装置被配置为响应于指示所述尾随车辆的通知而输出可听指示或视觉指示中的至少一者。控制器与所述摄像头和所述通知装置通信。所述控制器识别所述图像数据中的对象并生成由所述对象的周边限定的边界框。所述控制器还响应于所述边界框与所述经配备车辆的操作车道的车道宽度的预定宽度重叠而将所述对象分类为尾随车辆。所述控制器还识别所述边界框的比例，并且基于所述边界框的所述比例的变化率来计算所述尾随车辆的接近速率。响应于所述尾随车辆的所述接近速率超过速率阈值，所述控制器经由所述通知装置传送指示所述尾随车辆的所述通知。
本领域技术人员在研究以下说明书、权利要求和附图之后将理解并且了解本发明的这些以及其他方面、目的和特征。
附图说明
在附图中：
图1是展示通知系统的车辆的所投影环境视图；
图2是配备有通知系统或设备的车辆的操作环境的鸟瞰图；
图3A是由识别设备的摄像头捕获的图像数据的示例性描绘；
图3B是由识别设备的摄像头捕获的图像数据的示例性描绘；
图4是尾随车辆的车辆区域的表示，所述车辆区域在尾随车辆接近包括识别设备的经配备车辆时发生变化；
图5是展示用于检测尾随车辆的方法的流程图；以及
图6是根据本公开的用于车辆的识别系统的框图。
具体实施方式
出于在本文中进行描述的目的，术语“上部”、“下部”、“右”、“左”、“后”、“前”、“竖直”、“水平”、“内部”、“外部”和其衍生词应按照图1所取向的那样来与装置联系起来。然而，应理解，除非明确地相反指出，否则所述装置可采用各种替代取向。还应理解，附图中示出的以及在以下说明书中描述的特定装置和过程仅仅是所附权利要求中限定的创造性概念的示例性实施例。因此，除非权利要求另外明确地说明，否则涉及本文所公开的实施例的具体尺寸和其他物理特性不应被视为限制性的。另外，除非另外规定，否则应理解，对在给定方向上或沿给定方向等延伸的特定特征或部件的讨论并不意味着：所述特征或部件在此类方向上遵循直线或轴线，或者除非另外规定，否则它仅沿此类方向或在此类平面上延伸而没有其他方向分量或偏差。
总体上参考图1和图2，识别系统10被示出为结合在机动车辆中，为了清楚起见，在本文中称为经配备车辆12。经配备车辆12可以与尾随车辆14或邻近车辆16区分开，可以基于由识别系统10的摄像头18捕获的图像数据来检测和识别所述尾随车辆或所述邻近车辆中的每一者。通常，识别系统10可以通过处理和监测由摄像头18捕获的图像数据来操作，以识别一个或多个对象20并识别对象20是否对应于尾随车辆14、邻近车辆16，并且指示尾随车辆14是否以超过速率阈值的速率接近经配备车辆12。如在各种实施方式中所描述的，接近速率可以对应于尾随车辆14与经配备车辆12之间的相对速度的差，所述差可以由系统10识别以响应于接近速率超过速率阈值而触发对经配备车辆12的操作者或乘客的通知。因此，系统10可以提供处于过高的速率的尾随车辆14的通知，使得经配备车辆12的操作者可以相应地作出响应。
在操作中，系统10的控制器22可以处理在摄像头18的视野24中捕获的图像数据。视野24可以沿着焦轴26指向，所述焦轴向外指向经配备车辆12的操作环境28。例如，视野24的焦轴26可以从经配备车辆12向后指向包括多个车道32的道路的操作表面30。当处理来自摄像头18的图像数据时，控制器22可以识别车道32并且基于一个或多个车道线34来区分经配备车辆12的操作车道32a与相邻车道32b。通过区分操作车道32a与相邻车道32b，控制器22可以识别图像数据中的对象20是对应于操作车道32a中的尾随车辆14还是对应于在相邻车道32b中操作的邻近车辆16。基于对尾随车辆14的识别，控制器22可以限制对在一个或多个相邻车道32b中操作的接近车辆的错误检测。
一旦识别系统10的控制器22识别出尾随车辆14，控制器22就可以监测对应于尾随车辆14的图像数据，以识别尾随车辆14是否正在接近经配备车辆12。基于尾随车辆14接近经配备车辆12的确定，控制器22还可以确定尾随车辆14的接近速率是否超过速率阈值和/或尾随车辆14的距离或接近度是否在距离阈值内。基于对尾随车辆14以超过速率阈值的方式或在距离阈值内接近经配备车辆12的确定，识别系统10的控制器22可以传送或输出指示尾随车辆14正在接近或紧跟经配备车辆12的通知。
现在参考图3A、图3B和图4，示出了由摄像头18捕获的示例性图像数据40和用于图像数据40的对应处理技术。如本公开的各个方面中所讨论的，图像数据40可以由控制器22处理以识别各种对象20并确定对象20是对应于尾随车辆14、邻近车辆16还是各种附加对象。如先前所讨论的，可以通过确定经配备车辆12的操作车道32a并将尾随车辆14确定为在操作车道32a中操作来将尾随车辆14与邻近车辆16区分开。以这种方式，识别系统10可以将正在同一车道或操作车道32a内接近的车辆与在相邻车道32b中操作的其他车辆区分开。
除了确定尾随车辆14的横向操作位置在操作车道32a中之外，控制器22还可以通过多种方式识别尾随车辆14的接近度。通常，可以基于如图像数据40中表示的尾随车辆14的比例来识别尾随车辆14与经配备车辆12之间的接近度或距离。然而，尾随车辆14的尺寸可能基于车辆的分类、类别或型号而有很大变化。例如，不同类别的车辆(例如，轿车、卡车、公共汽车等)具有不同的尺寸，并且因此由不同类别或变型的尾随车辆14占据的图像数据40的区域或边界框42的比例可能不同。为了考虑这些差异，控制器22可以识别图像数据40中的尾随车辆14或其他对象的一个或多个参考特征，以将尾随车辆14的比例与尾随车辆14和经配备车辆12之间的真实世界距离相关。
如图3A所示，接近车辆14被包围在第一边界框B1中。另外，在图3B中，尾随车辆14被示为在第二边界框B2中更靠近经配备车辆12。当尾随车辆14接近经配备车辆12时，边界框42的比例在第一边界框B1与第二边界框B2之间增加。但由于各种尾随车辆14的不同尺寸，控制器22可能无法操作来严格地基于边界框42的比例和尾随车辆14的对应比例来确定地识别尾随车辆14的距离。当边界框42的比例随时间改变时，控制器22可以基于边界框42的比例准确地识别通知条件。更具体地，尾随车辆14的比例的变化率和边界框42的对应比例可以由控制器22处理，以识别尾随车辆14相对于经配备车辆12的相对速度和接近速率，以确定尾随车辆14的速率阈值是否超过由系统10限定的接近速率。以这种方式，可以发起尾随车辆14接近经配备车辆12的指示。
如图3A和图3B所示，由控制器22在图像数据40中检测到尾随车辆14，并且将边界框42分配给尾随车辆14，以限定被尾随车辆14占据的图像数据40的比例或面积。如图所示，边界框42可以由控制器22监测，以便随时间跟踪图像数据40中尾随车辆14的相对比例。基于边界框42的比例(例如，宽度W)，控制器22可以识别尾随车辆14的接近速率。例如，即使在识别系统10不知道尾随车辆14的尺寸的情况下，控制器22也可以比较边界框42随时间的相对比例或宽度以粗略估计尾随车辆14相对于经配备车辆12的接近速率。如果尾随车辆14的接近速率超过速率阈值，则控制器22可以向经配备车辆12的操作者或乘客传送尾随车辆14的通知。另外，在对象20或尾随车辆14中的一者或多者的参考特征被控制器22识别的情况下，控制器22可以处理图像数据40以准确地检测尾随车辆14相对于经配备车辆12的距离。因此，控制器22可操作以基于图像数据40中尾随车辆14的边界框42的变化比例来推断尾随车辆14正在以过快的速率接近和/或基于尾随车辆14的比例来识别尾随车辆14的距离，所述尾随车辆的比例基于相对于图像数据40中识别的一个或多个参考特征的边界框42的比例。
可以基于尾随车辆14的牌照50、标志52、等级、类别或型号或可以具有预定比例的各种其他对象来识别图像数据40中的参考特征。例如，牌照50或标志52可以具有预定义比例，所述预定义比例可以由控制器22访问以识别图像数据40中的对象20(包括尾随车辆14、邻近车辆16和各种附加对象)的对应比例。在示例性实施例中，控制器22可以应用被配置为识别图像数据40中的尾随车辆14的类别或型号的车辆识别模型。例如，控制器22可以实施机器学习来训练模型以基于图像数据40中尾随车辆14的表示来识别尾随车辆14的类别、品牌和/或型号。也就是说，控制器22可以利用图像数据中描绘的尾随车辆14的各种特性来识别车辆的特定型号和/或品牌和/或识别车辆所属的分类。车辆类别的示例可以包括轿车、卡车、公共汽车或各种其他车辆，可以基于它们的比例对它们进行分组。基于车辆的比例对车辆进行分类可能是特别有益的，因为具有类似尺寸的车辆占据图像数据40的相同比例，并且可以由控制器22基于边界框42的类似比例(例如，宽度W)进行跟踪。一旦控制器22识别出尾随车辆14的型号或分类，就可以应用对应的尺寸作为参考以基于图像数据40内的边界框42的比例来识别尾随车辆14相对于经配备车辆12的实际距离。
通常，车辆识别模型可以对应于从用于图像识别的神经网络得到的经训练模型。在操作中，可以基于从展示各种尾随车辆14的车辆的后向视野捕获的数据集来训练神经网络。神经网络可以应用自注意力来增强图像数据的输入方面并过滤或淡化其他分量。神经网络可以包括多个神经元，所述多个神经元可以以包括宽度、深度和高度的三维阵列进行布置。神经元在该配置中的布置可以使每一层(例如，阵列的维度横截面)连接到前一层的一小部分。以这种方式，网络可以通过回归处理数据以将每个图像缩减为与车辆的型号或类别相对应的特征并将所述特征与车辆库进行匹配。由本公开实施的神经网络可以对应于预训练的卷积神经网络，所述预训练的卷积神经网络被配置为从由摄像头18捕获的图像数据40中检测车辆。可以经实施以用于训练过程的预训练模型的示例可以包括但不限于以下各项：SSD Mobilenet、AlexNet、ZF Net、GoogLeNet、VGGNet、ResNet等。
现在参考图4，尽管通常被讨论为在图像数据40中检测到的对象或参考特征，但是由控制器22识别的尾随车辆14的尺寸可以用于识别尾随车辆14与经配备车辆12之间的距离。参考特征可以对应于由车辆识别模型识别或估计的牌照50的尺寸或尾随车辆14的尺寸。在各种情况下，控制器22可以基于沿着宽度W延伸的像素的数量或在图像数据40中识别出的其他尺寸来确定边界框42的宽度W或其他比例。一旦识别出对象20(在这种情况下为尾随车辆14)的尺寸或宽度W，就可以使用由在控制器22上操作的经训练模型识别的尾随车辆14的尺寸来将像素中的每一者的比例与图像数据40中表示的真实世界比例相关联。基于这种关系，可以基于沿着摄像头18的焦轴26投影的像素距离来估计尾随车辆14与经配备车辆12之间的实际距离。以这种方式，控制器22可以识别尾随车辆14与经配备车辆12之间的实际或估计距离，所述距离可以用于激活尾随车辆14的通知。
现在参考图5，示出了用于激活尾随车辆14的通知的示例性方法60的流程图。从步骤62开始，可以响应于经配备车辆12的工况而激活车辆检测程序。例如，可以响应于车辆在向前方向上操作(如经由通信总线102传送到控制器22)，而激活检测程序。一旦被激活，方法60就可以从摄像头18接收图像数据40(64)。图像数据40可以由控制器22处理以检测尾随车辆14(66)。如先前所讨论的，可以经由从一个或多个Nero网络或卷积Nero网络得到的经训练模型来处理图像数据40。
一旦在图像数据40中识别出尾随车辆14，方法60就可以通过处理图像数据以检测经配备车辆12的操作车道32a的车道宽度(68)来继续。可以基于与图像数据40中表示的操作车道32a的宽度相对应的像素数量来计算车道宽度。基于如先前所讨论的由边界框42表示的尾随车辆14的车道宽度和位置，方法60可以进一步确定尾随车辆是否位于操作车道32a中(70)。在操作中，控制器22可以响应于尾随车辆14的预定比例和对应的边界框42与图像数据40中操作车道32a的宽度重叠来确定尾随车辆14是否在操作车道32a内行驶。例如，如果尾随车辆14与操作车道32a的至少60％重叠，则控制器22可以确定尾随车辆14在与经配备车辆12相同的车道中行驶。尽管尾随车辆14与操作车道32a之间的最小重叠车道宽度被描述为至少60％，但是尾随车辆14的边界框42与操作车道32a的宽度之间的重叠宽度阈值可以改变。例如，重叠宽度阈值可以是至少65％、70％、75％、80％、85％或者大于所述示例性百分比或在所述示例性百分比之间的任何百分比。
响应于在操作车道32a中识别出尾随车辆14，方法60可以通过基于如先前所讨论的一个或多个参考特征的尺寸来计算尾随车辆14的距离(72)来继续。尽管经配备车辆12与尾随车辆14之间的距离可以辅助控制器22准确地检测尾随车辆14的存在和对应的通知条件，但是所述距离可能不是处理方法60所必需的。也就是说，计算或估计尾随车辆14的距离可能需要附加步骤，所述附加步骤包括图像数据40中识别的参考特征形式的信息。此类信息可能并不总是可供控制器22使用，并且在一些情况下，基于如先前所讨论的尾随车辆14的模型或其他参考特征的识别的复杂度，可能对于处理具挑战性。因此，在步骤72中指定的实际距离的计算可能不是处理方法60所必需的。
在检测到操作车道32a中的尾随车辆14之后，控制器22可以在步骤72中计算尾随车辆14的距离和/或在步骤74中计算尾随车辆14的接近速率。尾随车辆14的接近速率可以基于边界框42的变化比例来计算，并且可能不需要尾随车辆14的真实世界尺寸与图像数据40中的对应像素尺寸之间的关联。一旦识别出尾随车辆14相对于经配备车辆12的接近速率，所述方法就可以继续确定接近速率是否大于速率阈值(76)。另外，控制器22可以在步骤76中将尾随车辆14的距离(如果在步骤72中计算的话)与距离阈值进行比较。基于尾随车辆14的接近速率和/或距离与速率阈值和/或距离阈值的比较，控制器22可以激活通知，所述通知被传送(步骤78)给经配备车辆12的操作者或乘客。如果在步骤76中尾随车辆14的接近速率或距离不超过对应阈值，则所述方法可以返回到步骤66以继续处理图像数据，以检测尾随车辆14。
除了在步骤78中输出的尾随车辆14的通知之外，控制器22还可以利用摄像头18激活记录程序以记录描绘尾随车辆14的图像数据40(80)。尾随车辆14的图像数据40可以进一步被供应给交通数据库，所述交通数据库可以用于由各种执法机构识别违规车辆(82)。由摄像头18捕获的所记录的图像数据可以进一步用于帮助进一步训练Nero网络，所述Nero网络可以被实施以准确地检测图像数据40中的尾随车辆14。具体地，在识别系统10识别出错误或在检测到尾随车辆14时报告错误的情况下，可以供应来自步骤80的所记录的图像数据以帮助进一步训练和调谐用于检测尾随车辆14的经训练模型。在步骤82之后，方法60可以通过返回到步骤64来继续整个车辆操作(84)。
除了供应给经配备车辆12的车舱中的操作者或乘客的通知之外，系统10可以另外输出一个或多个通知以向尾随车辆14警告尾随车辆14到经配备车辆12的接近速率或接近度。例如，通知系统可以与一个或多个照明或通知装置(例如，车辆尾灯、指示灯等)通信。
现在参考图6，示出了检测系统10的框图。如先前所讨论的，系统10可以包括控制器22。控制器22可以单独地或与车辆的一个或多个计算机化处理单元组合地实施，所述一个或多个计算机化处理单元可以提供各种导航或高级驾驶员辅助系统(ADAS)。因此，控制器22可以包括处理器90，所述处理器可以对应于被配置为接收来自本文讨论的各种车辆系统、外围设备和系统的信号和信息的一个或多个电路。处理器90可以对应于一个或多个微处理器、电路、专用集成电路(ASIC)、微处理器和/或相关处理装置。处理器90可以与存储器92通信。存储器92可以对应于随机存取存储器(RAM)、只读存储器(ROM)、磁盘存储介质、光学存储介质、快闪存储器装置等。在各种实施例中，存储器92可以被配置为存储机器可读信息或程序以实现本文公开的各种过程和方法。
除了摄像头18之外，系统10还可以包括可以与控制器22通信的一个或多个传感器94。传感器94可以对应于红外传感器、短程雷达传感器、超声传感器和/或长程雷达传感器。对应的传感技术中的每一者可以包括传感器可操作以检测尾随车辆14的操作范围或检测范围。因此，来自传感器94中的每一者的数据可以被传送到控制器22并与如本文所讨论的图像数据40结合使用。
控制器22还可以与定位系统96(例如，全球定位系统[GPS])通信。在示例性实施例中，控制器22可以经由存储器92、定位系统96和/或经由通过通信电路98的无线通信来访问地图数据。在各种情况下，来自定位系统的位置数据可以链接到图像数据40，所述图像数据可以被记录以报告尾随车辆或紧跟通知事件。因此，由控制器22记录的图像数据40可以与指示事件发生的位置的位置数据一起被传送到远程数据库(例如，交通或执法数据库)。此类信息可以经由通信电路98被传送到远程数据库。通信电路98可以对应于基于一种或多种已知或未来开发的无线通信技术操作的通信接口。例如，通信电路98可以基于一个或多个协议来操作，所述一个或多个协议包括但不限于WiMAX、Wi-Fi和/或蜂窝协议(例如，GSM、CDMA、LTE、4G、5G等)。
控制器22还可以经由通信总线102与车辆控制模块100通信。以这种方式，控制器22可以被配置为接收车辆状态状况的各种信号或指示，所述车辆状态状况包括但不限于挡位选择(例如，驻车挡、行驶挡等)、车速、发动机状态、燃料通知和各种其他车辆状况。这些状况可以与图像数据40和位置数据一起被报告以在远程数据库中参考。
为了传送尾随车辆14的通知，控制器还可以与一个或多个通知装置104通信。通知装置104可以对应于可以被激活以显示或传送尾随车辆14的通知或指示的各种内部或外部装置。在一些示例中，通知装置104可以对应于设置在经配备车辆12的车舱中的显示器或扬声器。例如，显示器可以并入或实施为媒体显示器(例如，中控台)、指示灯、仪表组等。通知装置可以类似地对应于喇叭、扬声器或在操作环境28中传送可听警报的外部通知装置。外部通知可以类似地经由外部显示器或照明装置来输出。例如，在各种实施例中，控制器22可以与照明控制器106通信。照明控制器106可以被配置为控制一个或多个车灯(例如，外部车灯110，参见图1)。因此，系统10可以以各种方式检测尾随车辆14和从经配备车辆12输出通知。
如本文所讨论的，所公开的系统的控制器或处理器可以对应于执行计算机实施的过程的装置和用于实践那些过程的设备。实施方式还可以以具有计算机程序代码的计算机程序产品的形式体现，所述计算机程序代码包含体现在非暂时性和/或有形介质(诸如硬盘驱动器、USB(通用串行总线)驱动器或任何其他机器可读存储介质)中的指令，其中计算机程序代码被加载到计算机中并由计算机执行，所述计算机程序代码提供实施所公开的主题的专用控制装置、控制器或计算机的配置。实施方式还可以以计算机程序代码的形式体现，例如，无论是存储在存储介质中、加载到计算机/控制器中和/或由计算机/控制器执行，还是通过一些传输介质或通信接口传输，其中当计算机程序代码被加载到控制器中并由控制器执行时，所述控制器成为用于实践所公开主题的实施方式的设备。当在通用微处理器上实施时，计算机程序代码段配置微处理器以创建特定逻辑电路。控制器的实施方式可以使用硬件来实施，所述硬件可以包括处理器，例如，诸如ASIC(专用集成电路)的电路、各个处理器核心的部分或电路、整个处理器核心、各个处理器、可编程硬件装置(诸如现场可编程门阵列(FPGA))和/或包括可以协调操作的多个处理器或多个控制器的系统的较大部分。
本领域普通技术人员将理解，所描述的公开内容和其他部件的构造不限于任何特定材料。除非本文另有描述，否则本文中公开的本公开的其他示例性实施例可以由多种材料形成。
出于本公开的目的，术语“联接”(以其所有形式：联接、联接的、被联接的等)通常意指两个部件(电气的或机械的)彼此直接或间接地连接。这种连接本质上可以是固定的或者本质上是可移动的。这种连接可利用两个部件(电气的或机械的)实现，并且任何额外的中间构件可彼此或与两个部件一体地形成为单个整体。除非另有说明，否则这种连接本质上可以是永久性的，或者本质上可以是可移除的或可释放的。
同样重要的是，要注意，如示例性实施例所示的本公开的元件的构造和布置仅是说明性的。尽管仅在本公开中详细地描述了本创新的若干实施例，但查阅本公开的本领域技术人员将容易理解，在实质上不脱离所叙述的主题的新颖教导和优点的情况下，许多修改是可能的(例如，各种元件的大小、尺寸、结构、形状和比例、参数的值、安装布置、材料使用、颜色、取向等的变化)。例如，被示出为一体地形成的元件可由多个零件构成，或者被示出为多个零件的元件可一体地形成，接口的操作可颠倒或以其他方式改变，结构和/或构件或连接器或者系统的其他元件的长度或宽度可改变，在元件之间提供的调整位置的性质或数量可改变。应当注意的是，系统的元件和/或总成可由提供足够强度或耐用性的多种材料中的任何一种以各种颜色、纹理和组合中的任何一种构成。因此，所有此类修改旨在被包括在本创新的范围内。在不脱离本创新的精神的情况下，可在期望实施例和其他示例性实施例的设计、工况和布置方面进行其他替换、修改、改变和省略。
应理解，任何所描述的过程或在所描述的过程内的步骤可以与其他所公开的过程或步骤组合以形成在本公开的范围内的结构。本文公开的示例性结构和过程用于说明性目的，而不应解释为限制性。
根据本发明，提供了一种用于经配备车辆的识别设备，所述识别设备具有：摄像头，所述摄像头被配置为捕获指向靠近所述经配备车辆的外部区域的视野中的图像数据；控制器，所述控制器与所述摄像头通信，其中所述控制器：识别所述图像数据中的对象；响应于所述图像数据中表示所述对象的像素来识别所述对象的比例；以及响应于所述对象以超过阈值的方式接近所述经配备车辆而传送指示尾随车辆的通知。
根据一个实施例，所述控制器还：响应于所述对象在所述经配备车辆的操作车道中跟随而将所述对象识别为所述尾随车辆。
根据一个实施例，所述尾随车辆的所述识别将在所述操作车道中跟随的所述尾随车辆与在相邻车道中的邻近车辆区分开。
根据一个实施例，所述控制器还：基于所述图像数据来检测所述经配备车辆的所述操作车道的车道宽度。
根据一个实施例，所述控制器还：响应于所述对象的所述比例与所述图像数据中所述操作车道的预定宽度重叠而将所述对象识别为所述尾随车辆。
根据一个实施例，所述预定车道宽度是所述车道宽度的至少60％。
根据一个实施例，所述控制器还：基于所述图像数据中表示的所述尾随车辆的所述比例的变化率来计算所述尾随车辆的接近速率。
根据一个实施例，所述比例是基于所述图像数据中表示的所述尾随车辆来计算的车辆宽度。
根据一个实施例，所述控制器还：生成识别所述图像数据中所述尾随车辆的周边的边界框。
根据一个实施例，所述比例是所述图像数据中所述尾随车辆的所述边界框的车辆宽度。
根据一个实施例，所述阈值是速率阈值，并且响应于所述尾随车辆的所述接近速率超过所述速率阈值而传送所述通知。
根据一个实施例，本发明的特征还在于：通知装置，所述通知装置设置在所述经配备车辆的车舱中，其中所述通知装置被配置为响应于指示所述尾随车辆的所述通知而输出可听通知或视觉通知中的至少一者。
根据一个实施例，所述控制器还：识别所述图像数据中所述尾随车辆的尺寸。
根据一个实施例，所述控制器还：基于处理所述图像数据的经训练模型来识别所述尾随车辆的分类或型号；并且响应于所述尾随车辆的所述分类来确定所述尺寸。
根据一个实施例，基于如所述视野中表示的所述尾随车辆的所述尺寸来对形成所述分类的车辆类型进行分组。
根据一个实施例，基于所述图像数据中所述尾随车辆的所述比例和所述尾随车辆的尺寸来识别所述尾随车辆的距离。
根据本发明，一种用于识别尾随车辆的方法包括：捕获指向靠近经配备车辆的外部区域的视野中的图像数据；处理所述图像数据以识别对象；响应于所述对象在所述经配备车辆的操作车道中跟随而将所述对象识别为尾随车辆；响应于所述图像数据中表示所述对象的像素来识别所述尾随车辆的比例；基于所述图像数据中表示的所述比例的变化率来计算所述尾随车辆的接近速率；以及响应于所述尾随车辆的所述接近速率超过速率阈值而输出通知。
在本发明的一个方面，基于经训练模型来识别所述尾随车辆的分类，其中所述分类包括车辆类型和型号中的至少一者。
根据一个实施例，本发明的特征还在于：基于所述图像数据来检测所述经配备车辆的所述操作车道的车道宽度；以及响应于所述对象的所述比例与所述图像数据中所述操作车道的预定车道宽度重叠而将所述对象识别为所述尾随车辆。
根据本发明，提供了一种用于经配备车辆的识别系统，所述识别系统具有：摄像头，所述摄像头被配置为捕获指向所述经配备车辆的外部区域的视野中的图像数据；通知装置，所述通知装置设置在所述经配备车辆的车舱中，其中所述通知装置被配置为响应于指示所述尾随车辆的通知而输出可听指示或视觉指示中的至少一者；控制器，所述控制器与所述摄像头和所述通知装置通信，其中所述控制器：识别所述图像数据中的对象；生成由所述对象的周边限定的边界框；响应于所述边界框与所述经配备车辆的操作车道的车道宽度的预定宽度重叠而将所述对象分类为尾随车辆；识别所述边界框的比例；基于所述边界框的所述比例的变化率来计算所述尾随车辆的接近速率；以及响应于尾随车辆的所述接近速率超过速率阈值而经由所述通知装置传送指示所述尾随车辆的所述通知。

Claims (15)

1.一种用于经配备车辆的识别设备，其包括：
摄像头，所述摄像头被配置为捕获指向靠近所述经配备车辆的外部区域的视野中的图像数据；
控制器，所述控制器与所述摄像头通信，其中所述控制器：
识别所述图像数据中的对象；
响应于所述图像数据中表示所述对象的像素来识别所述对象的比例；以及
响应于所述对象以超过阈值的方式接近所述经配备车辆而传送指示尾随车辆的通知。
2.根据权利要求1所述的识别设备，其中所述控制器还：
响应于所述对象在所述经配备车辆的操作车道中跟随而将所述对象识别为所述尾随车辆。
3.根据权利要求2所述的识别设备，其中所述尾随车辆的所述识别将在所述操作车道中跟随的所述尾随车辆与在相邻车道中的邻近车辆区分开。
4.根据权利要求2所述的识别设备，其中所述控制器还：
基于所述图像数据来检测所述经配备车辆的所述操作车道的车道宽度。
5.根据权利要求4所述的识别设备，其中所述控制器还：
响应于所述对象的所述比例与所述图像数据中所述操作车道的预定宽度重叠而将所述对象识别为所述尾随车辆。
6.根据权利要求4所述的识别设备，其中所述预定车道宽度是所述车道宽度的至少60％。
7.根据权利要求2所述的识别设备，其中所述控制器还：
基于所述图像数据中表示的所述尾随车辆的所述比例的变化率来计算所述尾随车辆的接近速率。
8.根据权利要求7所述的识别设备，其中所述比例是基于所述图像数据中表示的所述尾随车辆来计算的车辆宽度。
9.根据权利要求7所述的识别设备，其中所述控制器还：
生成识别所述图像数据中所述尾随车辆的周边的边界框。
10.根据权利要求9所述的识别设备，其中所述比例是所述图像数据中所述尾随车辆的所述边界框的车辆宽度。
11.根据权利要求7所述的识别设备，其中所述阈值是速率阈值，并且响应于所述尾随车辆的所述接近速率超过所述速率阈值而传送所述通知。
12.根据权利要求1至11中任一项所述的识别设备，其还包括：
通知装置，所述通知装置设置在所述经配备车辆的车舱中，其中所述通知装置被配置为响应于指示所述尾随车辆的所述通知而输出可听通知或视觉通知中的至少一者。
13.根据权利要求2所述的识别设备，其中所述控制器还：
识别所述图像数据中所述尾随车辆的尺寸。
14.根据权利要求13所述的识别设备，其中所述控制器还：
基于处理所述图像数据的经训练模型来识别所述尾随车辆的分类或型号；以及
响应于所述尾随车辆的所述分类来确定所述尺寸。
15.根据权利要求14所述的识别设备，其中基于如所述视野中表示的所述尾随车辆的所述尺寸来对形成所述分类的车辆类型进行分组。
CN202211293592.1A 2021-10-26 2022-10-21 用于接近车辆检测的系统和方法 Pending CN116030443A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/510,978 US20230127465A1 (en) 2021-10-26 2021-10-26 System and method for approaching vehicle detection
US17/510,978 2021-10-26

Publications (1)

Publication Number Publication Date
CN116030443A true CN116030443A (zh) 2023-04-28

Family

ID=85796163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211293592.1A Pending CN116030443A (zh) 2021-10-26 2022-10-21 用于接近车辆检测的系统和方法

Country Status (3)

Country Link
US (1) US20230127465A1 (zh)
CN (1) CN116030443A (zh)
DE (1) DE102022128412A1 (zh)

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002319091A (ja) * 2001-04-20 2002-10-31 Fuji Heavy Ind Ltd 後続車両認識装置
US7327238B2 (en) * 2005-06-06 2008-02-05 International Business Machines Corporation Method, system, and computer program product for determining and reporting tailgating incidents
US20080062009A1 (en) * 2006-08-30 2008-03-13 Marton Keith J Method and system to improve traffic flow
US20100302371A1 (en) * 2009-05-27 2010-12-02 Mark Abrams Vehicle tailgating detection system
CA2954435C (en) * 2014-06-20 2023-02-14 Fundacio Institut Catala De Nanociencia I Nanotecnologia Method of forming an electronic device on a flexible substrate
DE112014006872T5 (de) * 2014-08-19 2017-05-04 Mitsubishi Electric Corporation Hintere-Straßenoberflächen-Beleuchtungsvorrichtung
US9711050B2 (en) * 2015-06-05 2017-07-18 Bao Tran Smart vehicle
US9754490B2 (en) * 2015-11-04 2017-09-05 Zoox, Inc. Software application to request and control an autonomous vehicle service
US10460600B2 (en) * 2016-01-11 2019-10-29 NetraDyne, Inc. Driver behavior monitoring
US10296794B2 (en) * 2016-12-20 2019-05-21 Jayant Rtti On-demand artificial intelligence and roadway stewardship system
WO2018132608A2 (en) * 2017-01-12 2018-07-19 Mobileye Vision Technologies Ltd. Navigation based on occlusion zones
CN116968731A (zh) * 2018-03-20 2023-10-31 御眼视觉技术有限公司 用于导航主车辆和制动主车辆的系统
EP3842304A3 (en) * 2018-08-14 2021-09-15 Mobileye Vision Technologies Ltd. Systems and methods for navigating with safe distances
GB2579020B (en) * 2018-11-14 2021-05-12 Jaguar Land Rover Ltd Vehicle control system and method
CN117168452A (zh) * 2020-07-16 2023-12-05 御眼视觉技术有限公司 用于动态道路几何形状建模与导航的系统和方法
US11816992B2 (en) * 2020-07-22 2023-11-14 Waymo Llc Real time fleet management for autonomous vehicles using puddle mapping
CN117355871A (zh) * 2021-04-29 2024-01-05 御眼视觉技术有限公司 多帧图像分割
US11704067B2 (en) * 2021-08-02 2023-07-18 Nvidia Corporation Performing multiple point table lookups in a single cycle in a system on chip
US11573921B1 (en) * 2021-08-02 2023-02-07 Nvidia Corporation Built-in self-test for a programmable vision accelerator of a system on a chip
US11593290B1 (en) * 2021-08-02 2023-02-28 Nvidia Corporation Using a hardware sequencer in a direct memory access system of a system on a chip
US11573795B1 (en) * 2021-08-02 2023-02-07 Nvidia Corporation Using a vector processor to configure a direct memory access system for feature tracking operations in a system on a chip
US20230076599A1 (en) * 2021-08-02 2023-03-09 Nvidia Corporation Performing load and permute with a single instruction in a system on a chip

Also Published As

Publication number Publication date
US20230127465A1 (en) 2023-04-27
DE102022128412A1 (de) 2023-04-27

Similar Documents

Publication Publication Date Title
US10507807B2 (en) Systems and methods for causing a vehicle response based on traffic light detection
CN103395391B (zh) 一种车辆换道警示装置及换道状态识别方法
CN100440269C (zh) 高速公路汽车行驶智能检测预警方法及其预警系统
US11462021B2 (en) Obstacle detection and notification for motorcycles
CN108263279A (zh) 基于传感器整合的行人检测和行人碰撞避免装置及方法
CN106537180A (zh) 用于用针对行人的主动制动的摄影机输入缓解雷达传感器限制的方法
CN111094095B (zh) 自动地感知行驶信号的方法、装置及运载工具
CN108615383B (zh) 基于车间通信的汽车交通路口辅助通行系统及其控制方法
CN113022441B (zh) 一种车辆盲区的检测方法、装置、电子设备及存储介质
CN106370162A (zh) 动物种类判定装置
CN112084232A (zh) 基于目标他车视野信息的车辆行驶风险评估方法及装置
CN111260915B (zh) 一种高速公路交通异常区域行人逗留的预警提醒方法
TW201623067A (zh) 燈號警示裝置及其方法、電腦可讀取紀錄媒體、及電腦程式產品
CN110271554A (zh) 用于车辆的驾驶辅助系统和方法
KR101721442B1 (ko) 차량용 블랙박스 후방카메라를 이용한 측후방 충돌방지 시스템 및 충돌방지방법
JP2008529183A (ja) 自動車の前方にある障害物を検知するシステム
CN112740220A (zh) 用于交通灯识别的系统和方法
JP7434882B2 (ja) 危険運転判定装置、危険運転判定方法、および危険運転判定プログラム
EP3782840B1 (en) Aid for a driver with impaired field of view
CN112141094A (zh) 车辆及其防撞方法和装置
US20230103670A1 (en) Video analysis for efficient sorting of event data
US20230127465A1 (en) System and method for approaching vehicle detection
CN115470835A (zh) 用于调谐在机器学习算法内使用的机器学习分类器的超声波系统和方法
CN110930767B (zh) 一种智慧公路安全预警方法和预警系统
CN112660121A (zh) 隐患车辆的识别预警方法、装置、车载终端和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication