CN116438584A - 图像处理方法 - Google Patents

图像处理方法 Download PDF

Info

Publication number
CN116438584A
CN116438584A CN202180069566.8A CN202180069566A CN116438584A CN 116438584 A CN116438584 A CN 116438584A CN 202180069566 A CN202180069566 A CN 202180069566A CN 116438584 A CN116438584 A CN 116438584A
Authority
CN
China
Prior art keywords
light emitting
segmented
segmentation
image
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180069566.8A
Other languages
English (en)
Inventor
B·戈德罗
S·罗尼
T·卡伦
B·希贾兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Zhixing Germany Co ltd
Original Assignee
Continental Zhixing Germany Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Zhixing Germany Co ltd filed Critical Continental Zhixing Germany Co ltd
Publication of CN116438584A publication Critical patent/CN116438584A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G06V10/89—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters using frequency domain filters, e.g. Fourier masks implemented on spatial light modulators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及用于处理图像的视频流的方法，所述图像由机动车辆(1)中车载的彩色相机(2)捕获并由计算机(3)用来检测优先车辆(4)，所述方法包括以下步骤：‑采集图像序列的采集步骤(100)；对于图像序列中的每个图像：‑按阈值进行比色分割的分割步骤(200)，使得能够检测有色发光区；‑跟踪每个分割的发光区的跟踪步骤(300)，‑对每个分割的发光区进行比色分类的分类步骤(400)；‑对每个分割的发光区进行频率分析的频率分析步骤(500)，使得能够确定所述区的闪烁特点；‑计算图像序列中的每个图像的总体置信指数的计算步骤(700)，使得能够将一个发光区声明为旋闪灯。

Description

图像处理方法
技术领域
本发明涉及图像处理方法，特别是用于检测应急车辆的图像处理方法。
背景技术
如今，已知为机动车辆配备驾驶辅助系统，通常称为ADAS(“高级驾驶员辅助系统”)。已知此类系统包括诸如安装在车辆上的相机之类的成像装置，这使得能够生成表示车辆周围环境的一系列图像。例如，安装在车辆后部的相机使得能够拍摄车辆后方的周围环境，尤其是后方车辆。这些图像然后被处理单元用于辅助驾驶员的目的，例如通过检测障碍物(行人、停止的车辆、道路上的物体等)，或者通过估计与障碍物碰撞的时间。因此，相机采集的图像所给出的信息必须足够可靠且足够相关，以使系统能够帮助车辆驾驶员。
特别地，大多数国际法律法规都规定驾驶员不得阻碍优先运营车辆(也称为应急车辆，如消防车、救护车、警车等)的通行，并且应为他们的行驶提供方便。因此，ADAS系统应当能够识别此类优先车辆，尤其是当它们的灯(旋闪灯(gyrophare))被激活时，以免阻碍其工作。
在包括拍摄车辆前方或后方的相机的当前ADAS系统中，优先车辆的检测方式与其他标准(非优先)车辆相同。这些系统通常实施机器学习方法与几何感知方法的结合。对来自这些相机的图像进行处理，以便提取包括应急车辆的任何类型车辆(私人车辆、卡车、公共汽车、摩托车等)周围的边界框，使得现有的ADAS系统无法可靠地区分后方的优先车辆和后方的标准车辆。
此外，这些系统存在相机采集的与优先车辆不需要遵守常规行驶规则而是能够在车道之间来回穿插行驶、缩短安全距离或在两条车道之间行驶的事实有关的图像的部分或全部时间遮掩的问题，使得现有系统不适用于此类行为和情况。
另外，优先车辆或应急车辆难以检测是因为优先车辆的类型多种多样。实际上，这些车辆的特征在于它们的LED或灯泡式的旋闪灯，可以是固定的或旋转的，有各种颜色，以各种方式布置在车辆上。例如，一些车辆配有单个旋闪灯，而其他车辆配有成对的旋闪灯，还有一些车辆配有包括两个以上的旋闪灯的杆，等等。这种多样性问题使得现有ADAS系统更加难以可靠地检测优先车辆。
对于还包括存在于车辆后方周围环境中的其他车辆的前照灯和尾灯以及所有其他灯且可能增加检测优先车辆的旋闪灯的难度的场景，会加剧这种检测问题。
发明内容
因此，本发明提出了一种图像处理方法，用于快速且可靠地检测优先车辆，而不管优先车辆的类型和其行驶条件，这特别是通过检测这些车辆的灯光(旋闪灯)。
根据本发明，该目的通过一种用于处理由机动车辆中车载的至少一个彩色相机捕获的图像的视频流的方法来实现，所述图像由所述车辆中车载的计算机用来检测位于车辆周围环境中的优先车辆，所述至少一个相机朝向车辆后方，所述方法的特征在于其包括以下步骤：
-采集图像序列的采集步骤；
对于图像序列中的每个图像：
-按阈值(seuillage)进行比色分割的分割步骤，使得能够检测图像中可能是旋闪灯的有色发光区；
-跟踪每个分割的发光区的跟踪步骤，据此将在分割步骤中的每个分割的发光区与具有相同颜色的预测发光区相关联；
-通过预先训练的分类器对每个分割的发光区进行比色分类的分类步骤；
-对每个分割的发光区进行频率分析的频率分析步骤，使得能够确定所述分割的发光区的闪烁特点；
-计算图像序列中的每个图像的总体置信指数的计算步骤，使得能够将一个分割的发光区声明(déclarer)为旋闪灯。
因此，根据本发明的方法使得能够可靠地检测应急车辆的旋闪灯，而不管亮度条件和天气条件如何，并且该检测能够达到150米的距离。
根据一个实施例，在分割步骤中，使用预定义的分割阈值，以便根据四个类别来分割发光区：
-红色，
-橙色，
-蓝色，以及
-紫色。
根据一个实施例，在分割步骤之后，该方法还包括称为分割后步骤的过滤步骤，使得能够过滤来自分割步骤的结果，该分割后步骤根据预定的位置标准和/或尺寸标准和/或颜色标准和/或强度标准来进行。该过滤步骤使得能够减少错误检测。
根据一个实施例，分割后步骤包括维度过滤子步骤，其中，滤除(filtrer)位于远离水平线和没影点的图像部分中并且具有小于预定维度阈值的尺寸的发光区。该步骤使得能够排除与相机感知的对应于测量噪声的对象相对应的候选。
根据一个实施例，分割后步骤包括滤除尺寸大于预定维度阈值且发光强度小于预定发光强度阈值的发光区的子步骤。该步骤使得能够排除尽管在车辆附近但不具有作为旋闪灯所需的发光强度的候选。
根据一个实施例，分割后步骤包括位置过滤子步骤，其中，滤除位于定义在图像序列中的图像上的水平线下方的发光区。该步骤使得能够排除与后方车辆的前照灯相对应的候选。
根据一个实施例，分割后步骤包括针对分割的发光区的按定向颜色阈值进行过滤的过滤子步骤。这种特殊的过滤使得能够更准确地过滤颜色。例如，对于蓝色，在检测被分类为蓝色的发光区时滤除大量的假阳性，这是因为后方车辆的前照灯发出的白光可能被相机感知为蓝色。
根据一个实施例，该方法还包括第二分割步骤，在跟踪步骤结束时，对于没有找到任何关联的每个分割的发光区进行第二次分割。
根据一个实施例，第二分割步骤包括：
-第一子步骤，其中，放宽分割阈值，并且用这些放宽的新的分割阈值来重新对图像序列中的每个图像进行分割和跟踪步骤，分割阈值是与分割的发光区的颜色相对应的分割阈值，并且
-如果在该第一子步骤结束时没有找到任何关联，则进行第二子步骤，其中，修改分割阈值以对应于白色的分割阈值。
该步骤使得能够确认在分割期间(检测到的)分割的发光区。实际上，该最后验证使得能够确保错误检测确实是错误检测而不是例如后方车辆的前照灯。
根据一个实施例，在频率分析步骤中，将每个分割的发光区的闪烁频率与第一频率阈值和大于第一频率阈值的第二频率阈值进行比较，这两个频率阈值都是预定的，在如下情况下滤除分割的发光区：
-分割的发光区的闪烁频率小于第一频率阈值，使得该分割的发光区被认为不闪烁或微弱闪烁，因此不被认为是旋闪灯；
-分割的发光区的闪烁频率大于第二频率阈值，使得分割的发光区也被认为不是旋闪灯。
根据一个实施例，第一频率阈值等于1Hz，并且第二频率阈值等于5Hz。
根据一个实施例，该方法还包括对每个分割的发光区进行方向分析的方向分析步骤，使得能够确定所述分割的发光区的移动。
根据一个实施例，如果在方向分析步骤中获得的移动方向使得能够得出以下结论，则滤除分割的发光区：
-分割的发光区相对于车辆静止不动；
-分割的发光区相对于车辆远离。
本发明还涉及一种包括指令的计算机程序产品，所述指令在所述计算机程序产品由计算机实施时用于执行包括以下步骤的方法：
-采集图像序列的采集步骤；
对于图像序列中的每个图像：
-按阈值进行比色分割的分割步骤，使得能够检测图像中可能是旋闪灯的有色发光区；
-跟踪每个分割的发光区的跟踪步骤，据此将在分割步骤中的每个分割的发光区与具有相同颜色的预测发光区相关联；
-通过预先训练的分类器对每个分割的发光区进行比色分类的分类步骤；
-对每个分割的发光区进行频率分析的频率分析步骤，使得能够确定分割的发光区的闪烁特点；
-计算图像序列中的每个图像的总体置信指数的计算步骤，使得能够将一个分割的发光区声明为旋闪灯。
本发明还涉及一种车辆，包括朝向车辆后方并且能够采集车辆后方的周围环境的图像的视频流的至少一个彩色相机和至少一个计算机，计算机被配置为实施：
-采集多个图像的采集步骤；
对于图像序列中的每个图像：
-按阈值进行比色分割的分割步骤，使得能够检测图像中可能是旋闪灯的有色发光区；
-跟踪每个分割的发光区的跟踪步骤，据此将在分割步骤中的每个分割的发光区与具有相同颜色的预测发光区相关联；
-通过预先训练的分类器对每个分割的发光区进行比色分类的分类步骤；
-对每个分割的发光区进行频率分析的频率分析步骤，使得能够确定分割的发光区的闪烁特点；
-计算图像序列中的每个图像的总体置信指数的计算步骤，使得能够将一个分割的发光区声明为旋闪灯。
附图说明
通过阅读接下来的详细描述并研究附图，其他特征、细节和优点将变得显而易见，其中：
图1是根据本发明的车辆和优先车辆的示意性表示。
图2示出了根据本发明的方法的一个实施示例。
图3示出了根据本发明的方法的分割后步骤的一个实施例。
图4示出了根据本发明的方法的第二分割步骤的一个实施例。
图5a示出了用根据本发明的方法处理的图像序列中的第一图像。
图5b示出了用根据本发明的方法处理的图像序列中的第二图像。
图5c示出了用根据本发明的方法处理的图像序列中的第三图像。
图6示出了迟滞形式的状态机。
图7示出了迟滞形式的另一状态机。
图8示出了比色空间(U，V)。
具体实施方式
图1示意性地示出了车辆1，其设有朝向车辆1的后方并且能够采集车辆1后方的周围环境的图像的彩色相机2、以及被配置为使用由相机2采集的图像的至少一个计算机3。在该图1中，在相机2的视场中，应急车辆或优先车辆4位于车辆1后方。应当注意，图1所示的车辆1和应急车辆4之间的该相对位置决不是限制性的。
优先车辆的特征在于发光点5、6，也称为旋闪灯，以蓝色、红色或橙色发光。在所有国家中，优先车辆都使用这些颜色。优先车辆可以包括一个或多个旋闪灯，其布置可根据它们所配备的旋闪灯的数量(单个旋闪灯，或一对彼此隔开的分立旋闪灯，或多个彼此对齐并靠近的旋闪灯)以及这些旋闪灯在优先车辆车身上的位置(在优先车辆的车顶上，在优先车辆的前保险杠上等)而变化。旋闪灯也有很多种。它们可以是LED灯也可以是用灯泡的灯。
优先车辆的旋闪灯还用交替亮灯阶段与熄灯阶段的其闪烁特点来定义。
现在将参考图2至图8来描述根据本发明的方法。
根据本发明的方法包括采集图像序列的采集步骤100，图像序列包括例如第一图像I1、在第一图像I1之后的第二图像I2以及在第二图像I2之后的第三图像I3。这样的图像I1、I2和I3分别在图5a、5b和5c中示出。
根据本发明的方法包括按阈值进行比色分割的分割步骤200。
该分割步骤200使得能够借助于预定义的分割阈值来检测和分割图像序列中的每个图像中的发光区ZLi。该比色分割是根据四种颜色类别进行的：
-红色，
-橙色，
-蓝色，以及
-紫色。
紫色尤其用于检测具有不同色度的某些特殊旋闪灯。例如，用灯泡的旋闪灯在肉眼看来是蓝色的，但可能被相机感知为紫色。
为了适应优先车辆的旋闪灯的高度多样性，在分割步骤200中使用的阈值相对于传统上用于识别例如信号灯的阈值被扩展。这些分割阈值是针对每种颜色、针对饱和度、针对发光强度和针对色度预定义的。
分割步骤200给出应急车辆的分割的发光区ZLi(当这些发光区亮灯时)在图像中的位置、强度和颜色。
如图5a所示，在比色分割步骤200结束时，在第一图像I1中检测到可能是优先车辆的旋闪灯的多个有色发光区ZL1、ZL2、ZL3、ZL4、ZL5和ZL6。
用于分割步骤的阈值的值的扩展使得能够适应于优先车辆的旋闪灯的多样性，以便对更大范围的色调敏感。然而，该扩展在分割步骤200中引入了显著的噪声。
为了减少要检测优先车辆的旋闪灯的潜在候选的数量，换言之，为了减少假阳性的数量，根据本发明的方法包括分割后步骤210。该分割后步骤210使得能够基于预定的发光区ZLi的在所考虑的图像中的位置标准、和/或发光区ZLi的尺寸标准和/或发光区ZLi的颜色标准和/或发光区ZLi的强度标准来进行过滤。
参考图3，分割后步骤210包括维度过滤子步骤211，其中，滤除尺寸小于预定维度阈值的发光区ZLi，例如尺寸小于20像素(所谓的小尺寸)。特别是在远离代表无穷远处的水平线H和没影点F的图像部分中，即图像边缘，执行这种维度过滤。换言之，该过滤器使得能够去除存在于不常遇到小尺寸发光区ZLi的图像部分中的小尺寸发光区ZLi。实际上，当图像中存在小尺寸发光区ZLi时，当这些发光区ZLi在水平线H附近时，它们对应于相对于车辆1较远的光。因此，不在水平线H附近的小尺寸的发光区ZLi因此将不对应于相对于车辆1较远的周围环境的光，而是对应于测量噪声，为此滤除这样的发光区ZLi。因此，图5a所示的发光区ZL1就是这种情况。
此外，如前所述，对应于较远处的光的发光区位于图像I1的水平线H和没影点F附近。因此，当发光区的尺寸小于预定的尺寸阈值时，位于距该水平线H和该没影点F太远的发光区、特别是位于图像I1的侧边缘的发光区也被滤除。因此，图5a所示的发光区ZL4就是这种情况。
分割后步骤210包括过滤子步骤212：滤除当这些发光区ZLi的尺寸大于预定阈值、例如尺寸大于40像素时发光强度小于预定发光强度阈值的发光区(例如发光强度小于1000勒克斯)。实际上，在子步骤212中滤除的发光区，尽管它们在图像中的尺寸对应于在由相机2拍摄的后方场景中相对于车辆1的光较近，但是它们不具有作为优先车辆的旋闪灯的感兴趣候选所需的发光强度。低强度但足够靠近车辆1以在图像中具有所谓的大尺寸的分割的发光区ZLi可以例如单纯对应于太阳光线在媒介上的反射。
分割后步骤210还包括位置过滤子步骤213，其中，滤除位于水平线H下方的发光区。因此，图5a所示的发光区ZL2和ZL3就是这种情况。实际上，发光区的此类位置(水平线H以下)尤其是尾随车辆的前照灯的特征，而不是位于水平线H以上的优先车辆的旋闪灯的特征。
分割后步骤210还可以包括过滤冲突发光区的子步骤214。当至少两个发光区靠近、相交或一个包括在另一个中时，该至少两个发光区冲突。当观察到这种冲突时，保留这两个发光区中的仅一个，滤除另一个。根据预定的所述区域的亮度、尺寸和颜色标准，以本身已知的方式确定应去除的两个冲突区域中的发光区。
分割后步骤210包括针对分割的发光区的按定向颜色阈值进行过滤的子步骤215。
参考图8，示出了0至255之间的比色空间(U，V)。在此比色空间中，根据阈值Umax、Umin、Vmax、Vmin的值来确定每种颜色，R为红色，V为紫色，B为蓝色，并且O为橙色。例如，对于蓝色，为Umax(B)、Umin(B)、Vmax(B)、Vmin(B)。
这种通过U轴和V轴上的最小值和最大值的颜色定义产生不能代表现实的矩形色块，因此不适合。因此，需要针对每种颜色进行颜色过滤。按定向颜色阈值的过滤相当于针对每种颜色调整色块的比色空间的U轴和V轴上的最小值和最大值。因此，由于色块的接近性(比色空间(U，V)中各颜色之间的U和V值的接近性)，错误检测的风险得以降低。例如，用这种定向颜色过滤，可以过滤出太接近紫色V的蓝色B，太接近橙色O的红色R，等等。
这种定向彩色过滤使得能够细化颜色的定义，从而在检测发光区时滤除大量的假阳性。
因此，在实施分割后步骤210的上述子步骤之后，仅如下发光区ZLi被保留作为优先车辆的旋闪灯的潜在候选：
-尺寸足够大(大于20像素)；
-位于水平线H上方；
-足够发光(发光强度大于1000勒克斯)；
-其色度有保证(具有合适的U和V值，以避免假阳性)。
应当注意，并不总是必须实施所有的子步骤来执行根据本发明的方法，而是可以根据处理的图像的复杂性分情况保留它们中的仅一些(单独地或组合地)。
步骤300是跟踪步骤，跟踪在每个图像中检测到的每个发光区ZLi。以本领域技术人员已知的方式，由计算机3计算在分割步骤200中在图像中分割的发光区ZLi的预期位置，并使用其来确保在图像In中检测到的光确实对应于前一图像In-1中的同一个分割的发光区，该发光区可能会移动。借助于预测来确定发光区的预期位置。当前图像In中的分割的发光区的预期位置是基于前一图像In-1中的发光区的位置加上与图像In-2和图像In-1之间的发光区的移动相对应的矢量计算的，同时虑及了车辆1的移动。
此外，如下文所述，优先车辆的旋闪灯尤其以其旋闪灯的闪烁频率为特征。现在，为了能够估计旋闪灯的闪烁频率，需要能够估计它们的亮度随时间的变化(有灯光阶段和无灯光阶段的交替)。分割步骤200仅在这些分割的发光区ZLi对应于旋闪灯亮灯的阶段时才给我们这些区域在图像中的位置、强度和颜色。跟踪步骤300使得能够关联各图像中的旋闪灯，并且还使得能够在它们处于无灯光阶段(熄灯)时外推它们的位置。
现有技术中已知的该跟踪步骤300具有适配于旋闪灯的闪烁特点的阈值，并且特别地使得能够关联各图像中的旋闪灯的发光区，并且当旋闪灯处于熄灯阶段(对应于图像中不存在对应的发光区)时还使得能够外推它们的位置。
以本身已知的方式将在分割步骤200中的每个分割的发光区ZLi与具有相同颜色的预测发光区ZPi相关联。
对于在跟踪步骤300中没有找到与预测发光区ZPi的任何关联的每个分割的发光区ZLi，在跟踪步骤300结束时实施第二分割步骤310。
该第二分割步骤310包括第一子步骤311，其中，放宽分割阈值(换言之，分割阈值被定义为更不严格、过滤性更差)，并且用这些放宽的新的分割阈值对图像序列中的每个图像重新执行分割步骤200和跟踪步骤300。该步骤使得能够检测预测分割区ZPi中的分割的发光区ZLi。
如果在该第一子步骤311结束时在已处理的分割的发光区ZLi和预测发光区ZPi之间仍然没有找到任何关联，则实施第二子步骤312，其中，修改分割阈值以对应于白色。实际上，该最后验证使得能够确保错误检测确实是错误检测，而不是后方车辆的前照灯。
该第二子步骤312尤其使得能够检测例如其白光可能含有蓝色的后方车辆的照灯。
根据本发明的方法然后包括对每个发光区ZLi进行比色分类的分类步骤400。
该分类步骤400使得能够选取来自分割步骤200的发光区ZLi。对于每种颜色，(在所谓离线的预先训练步骤中)训练分类器以区分阳数据(代表要检测的旋闪灯)和阴数据(代表来自分割步骤200的不是旋闪灯的所有噪声，因此期望不检测它们，如车辆的前照灯或尾灯、阳光反光、信号灯等)。
如果在分类步骤中分类器不能分类(识别)分割的发光区ZLi，则滤除该发光区。
与此相反，如果分类器识别出发光区ZLi，则将其保留为旋闪灯的重要候选。在分类步骤400结束时，获得候选发光区ZCi的列表，这些候选发光区ZCi由以下参数表征：
-闪烁状态；
-分类置信指数ICC；
-图像中的位置；
-颜色。
通过检测旋闪灯的闪烁来获得闪烁状态。该检测包括：
-对如下图像的数量进行计数：其中旋闪灯亮灯并且因此其中检测到对应的发光区ZL5和ZL6(参考图5a的图像I1)，
-对如下图像的数量进行计数：其中旋闪灯熄灯并且因此其中未检测到对应的发光区ZL5和ZL6(参考图5b的图像I2)，以及
-对如下图像的数量进行计数：其中旋闪灯再次亮灯并且因此其中再次检测到对应的发光区ZL5和ZL6(参考图5c的图像I3)。
利用在步骤400中分类器的阳性分类和闪烁信息(闪烁状态)来获得置信指数ICC。根据一个实施例，在分类步骤400之后，更新每个分割的发光区ZLi的置信指数。
如果分类是阳性的，则根据下式来相对于时刻t-1的图像的分类置信指数ICC更新时刻t的图像的分类置信指数ICC：
【数学式1】
ICC(t)＝ICC(t-1)+FA
其中，FA是预定的递增因数。
如果分类是阴性的，则根据下式来相对于时刻t-1的图像的分类置信指数ICC更新时刻t的图像的分类置信指数ICC：
【数学式2】
ICC(t)＝ICC(t-1)-FR
其中，FR是预定的递减因数。
而位置和颜色信息则由分类步骤200给出。
在分类步骤400结束时，为了确定候选发光区ZCi是否可能是应急车辆的旋闪灯，该方法包括执行频率分析以计算和阈值化分割的发光区ZLi的闪烁频率的频率分析步骤和计算分类器响应的时间积分的计算步骤。这些步骤详述如下。
在步骤500中，对每个分割的发光区ZLi进行频率分析使得能够确定分割的发光区ZLi的闪烁特点或非闪烁特点。
有利地，在该步骤500之前，校正了分割的发光区ZLi可能表现出的不一致性。特别地，对分割的发光区ZLi的颜色、尺寸或强度进行这种校正。如果检测到过大的颜色波动，例如，如果分割的发光区ZLi在两幅图像之间从红色变为橙色，则滤除所述分割的发光区ZLi。或者，如果分割的发光区ZLi的尺寸在图像之间变化太大(例如，变化大于2)，则滤除所述分割的发光区ZLi。
基于使得能够确定旋闪灯的对旋闪灯的亮灯和熄灯阶段的检测，本身已知的快速傅立叶变换(FFT)使得能够确定该闪烁频率。
在频率分析步骤500中，将每个分割的发光区ZLi的该闪烁频率与第一频率阈值SF1和大于第一频率阈值SF1的第二频率阈值SF2进行比较，这两个阈值都是预定的。如果闪烁频率小于第一频率阈值SF1，则分割的发光区ZLi被认为没有闪烁，因此不是旋闪灯，并且被滤除。如果闪烁频率大于第二频率阈值SF2，则分割的发光区ZLi也被认为不是旋闪灯，并且被滤除。
该闪烁频率分析使得能够滤除确信其始终不变或者对于作为优先车辆的旋闪灯而言闪烁得太慢或者相反闪烁得太快的分割的发光区ZLi。因此，被保留为感兴趣的候选的是闪烁频率在频率阈值SF1与SF2之间的分割的发光区ZLi。
根据一个实施例，第一频率阈值SF1等于1Hz，并且第二频率阈值SF2等于5Hz。此外，根据一个示例，警车和急救车上配备的旋闪灯的频率通常在60至240FPM。FPM(每分钟闪烁的缩写)是一种测量单位，用于量化闪烁的灯的闪烁频率，对应于一分钟内出现的周期数。用FPM测量的值可以通过除以60而转换成赫兹。换言之，对于这些优先车辆，它们的频率在1Hz至6Hz之间。
频率阈值SF1和SF2的这些值尤其使得能够：
-适应于相机(实际上，视觉残留效应使我们无法看到某些灯在闪烁，就像出租车车顶上的灯那样，但相机的分辨率能够检测到这一点)；
-面对分割步骤200中的可能错误时获得更稳健的结果。
在可选的步骤600中，对每个分割的发光区ZLi进行方向分析，以便借助于在由相机采集的图像序列中对分割的发光区ZLi的跟踪来确定所述分割的发光区ZLi相对于车辆1的移动。因此，如果分割的发光区ZLi正在远离车辆1(换言之，如果分割的发光区ZLi正在接近图像中的没影点F或水平线H)，则滤除分割的发光区ZLi。如果分割的发光区ZLi是静止不动的，也可能是这种情况。该步骤尤其使得能够滤除这样的分割的发光区ZLi：其确实对应于旋闪灯，但是优先车辆在与车辆1的方向相反的方向上移动，使得车辆1不必考虑这些优先车辆。该步骤还使得能够滤除在与车辆1的车道相反的车道上行驶的汽车的尾灯。
该步骤使得能够通过融合与分割的发光区ZLi相关的信息来改善应急车辆旋闪灯检测的性能(真阳性和假阳性)。实际上，通过将分割的发光区ZLi作为一个整体(在图像序列中的所有图像中)而不是单独研究，可以降低假阳性率，同时保持令人满意的检测率。
在该方法步骤中，在图像序列中的图像中检测一组分割的发光区ZLi。这些检测到的分割的发光区ZLi以列表的形式存储在计算机3的存储器中，该列表包括与每个分割的发光区ZLi相关联的标识符以及这些分割的发光区ZLi的参数，比如：
-其在图像中的位置；
-其尺寸；
-其颜色；
-其强度；
-其闪烁状态；
-与其相关联的分类置信指数ICC。
在该步骤中，所有检测到和保留的分割的发光区ZLi被认为是潜在的应急车辆旋闪灯。为了确定场景(车辆后方的周围环境，对应于由相机2采集的图像序列)中是否存在应急车辆的旋闪灯，该方法最后包括分析场景的步骤700，包括针对红色、橙色、蓝色和紫色中的每一种颜色计算图像序列中的每个图像的总体置信指数ICG。根据一个实施例，总体置信指数可以按颜色分组。例如，紫色的置信指数与蓝色的置信指数相结合。
为此，对图像序列中的每个图像以及对红色、橙色、蓝色和紫色中的每一种颜色计算瞬时置信指数ICI。
基于图像序列中的当前图像的分割的发光区ZLi的参数来计算瞬时置信。首先考虑具有闪烁状态和足够的分类置信指数ICC的分割的发光区ZLi。
为了确定其分类置信指数ICC足以纳入考虑的分割的发光区ZLi，图7示出了迟滞形式的状态机。
发光区ZLi的状态被初始化(Ei)为“关(OFF)”状态：
-如果分类置信指数ICC大于预定阈值C3，则状态“关”变为状态“开”；
-如果分类置信指数ICC小于预定阈值C4，则状态“开”变为状态“关”。针对一个图像和一种颜色计算瞬时置信指数ICI的一个示例可以是针对该颜色在图像序列中的图像中检测到的所有分割的发光区ZLi的分类置信指数ICC的总和。例如，对于红色：
【数学式3】
Ici(红)＝∑ICC(红)。
然后，随时间过滤该瞬时置信，以便根据下式针对图像序列中的每个图像并且针对红色、橙色、蓝色和紫色中的每种颜色获得总体置信指数：
【数学式4】
ICG(t)＝(1-α)*ICG(t-1)+α*Ici
-Ici是所考虑颜色的瞬时置信指数；
-α是与颜色相关联的预定系数，并且使得能够确定瞬时置信指数Ici在总体置信指数ICG的计算中的权重，例如，系数α的值在0至1之间，并且优选地在0.02至0.15之间。
系数α的值越高，瞬时置信指数Ici在总体置信指数ICG的计算中的权重越大。
根据一个实施例，系数α根据分割的发光区ZLi的参数而变化。例如，系数α：
-在多个分割的发光区ZLi具有大于预定阈值的分类置信指数ICC时增大；
-在计算机3已经指示在场景中存在应急车辆时减小，这使得能够在分割的发光区ZLi的检测链中发生瞬时检测丢失的情况下稳定和稳健该方法的结果，这种检测瞬时丢失可能例如由遮挡、过亮或过多测量噪声引起。
根据一个实施例，系数α根据分割的发光区ZLi在图像中的位置而变化。特别地，系数α：
-在图像包括位于水平线H下方的隔离的分割的发光区ZLi的情况下减小(换言之，积分速度较低)；
-在多个分割的发光区ZLi位于水平线H上方的情况下增大(这对应于高积分速度)。
根据一个实施例，系数α根据分割的发光区ZLi相对于彼此的图像中的相对位置而变化。特别地，如果多个分割的发光区ZLi在同一条直线L上对齐，则系数α增大。
参数α的变化使得能够调整方法的灵敏度，从而根据分割的发光区ZLi的参数更快或更慢地检测事件。
还可以根据其他参数为图像序列中的当前图像的每个分割的发光区ZLi分配权重，例如：
-如果分割的发光区ZLi的尺寸很小(换言之，其尺寸小于例如20像素)和/或接近水平线H，则该权重的值减小；
-如果分割的发光区发光较弱(具有例如小于1000勒克斯的发光强度)，则该权重的值减小；
-如果光的颜色不明显(例如，在饱和白光的情况下)，则该权重的值减小；
-如果分割的发光区ZLi(在尺寸、位置、强度、颜色方面)接近其他相似的分割的发光区ZLi，则该权重的值增大。
当多个分割的发光区ZLi具有强相关的位置、亮度和颜色时，该权重使得能够加速总体置信指数ICG的增大。当光的尺寸较小且强度较低时减缓总体置信指数ICG的增大使得能够降低假阳性率，尽管这会导致对远处应急车辆的检测更慢，但这是可以接受的。
步骤700使得能够显著降低检测到的假阳性率，同时仍然保持应急车辆的旋闪灯的令人满意的检测率。
在步骤700结束时，计算机3可以指示在车辆1后方的周围环境中(对应于由相机2采集的图像序列)存在应急车辆，并且尤其是例如借助于本身已知的迟滞阈值来声明发光区ZLi是应急车辆的旋闪灯。
图6示出了迟滞形式的状态机。
发光区ZLi的状态被初始化(Ei)为“关”状态：
-如果总体置信指数ICG大于预定阈值C1，则状态“关”变为状态“开”；
-如果总体置信指数ICG大于预定阈值C2，则状态“开”变为状态“关”。
车辆(在自主车辆的情况下)或车辆1的驾驶员于是可以采取必要的措施来方便而不是阻碍所述应急车辆的行驶。

Claims (15)

1.一种用于处理由机动车辆(1)中车载的至少一个彩色相机(2)捕获的图像的视频流的方法，所述图像由所述车辆中车载的计算机(3)用来检测位于车辆(1)周围环境中的优先车辆(4)，所述至少一个相机朝向车辆后方，所述方法的特征在于其包括以下步骤：
-采集图像序列的采集步骤(100)；
对于图像序列中的每个图像：
-按阈值进行比色分割的分割步骤(200)，使得能够检测图像中可能是旋闪灯(5、6)的有色发光区(ZLi)；
-跟踪每个分割的发光区(ZLi)的跟踪步骤(300)，据此将在分割步骤(200)中的每个分割的发光区与具有相同颜色的预测发光区(ZPi)相关联；
-通过预先训练的分类器对每个分割的发光区(ZLi)进行比色分类的分类步骤(400)；
-对每个分割的发光区(ZLi)进行频率分析的频率分析步骤(500)，使得能够确定所述分割的区(ZLi)的闪烁特点；
-计算图像序列中的每个图像的总体置信指数(ICG)的计算步骤(700)，使得能够将一个分割的发光区(ZLi)声明为旋闪灯。
2.根据权利要求1所述的方法，其特征在于，在分割步骤(200)中，使用预定义的分割阈值，以便根据四个类别来分割发光区(ZLi)：
-红色，
-橙色，
-蓝色，以及
-紫色。
3.根据权利要求1或2中的一项所述的方法，其特征在于，在分割步骤(200)之后，该方法还包括称为分割后步骤(210)的过滤步骤，使得能够过滤来自分割步骤(200)的结果，该分割后步骤根据预定的位置标准和/或尺寸标准和/或颜色标准和/或强度标准来进行。
4.根据权利要求3所述的方法，其特征在于，分割后步骤(210)包括维度过滤子步骤(211)，其中，滤除位于远离水平线(H)和没影点(F)的图像部分中并且具有小于预定维度阈值的尺寸的发光区(ZLi)。
5.根据权利要求3所述的方法，其特征在于，分割后步骤(210)包括滤除尺寸大于预定维度阈值且发光强度小于预定发光强度阈值的发光区(ZLi)的子步骤(212)。
6.根据权利要求3所述的方法，其特征在于，分割后步骤(210)包括位置过滤子步骤(213)，其中，滤除位于定义在图像序列中的图像上的水平线(H)下方的发光区(ZLi)。
7.根据权利要求3所述的方法，其特征在于，分割后步骤(210)包括针对分割的发光区(ZLi)的按定向颜色阈值进行过滤的过滤子步骤(215)。
8.根据前述权利要求中的任一项所述的方法，其特征在于，其还包括第二分割步骤(310)，在跟踪步骤(300)结束时，对于没有找到任何关联的每个分割的发光区(ZLi)进行第二次分割。
9.根据权利要求8所述的方法，其特征在于，第二分割步骤(310)包括：
-第一子步骤(311)，其中，放宽分割阈值，并且用这些放宽的新的分割阈值来重新对图像序列中的每个图像进行分割步骤(200)和跟踪步骤(300)，分割阈值是与分割的发光区的颜色相对应的分割阈值，并且
-如果在该第一子步骤结束时没有找到任何关联，则进行第二子步骤(312)，其中，修改分割阈值以对应于白色的分割阈值。
10.根据前述权利要求中的任一项所述的方法，其特征在于，在频率分析步骤(500)中，将每个分割的发光区(ZLi)的闪烁频率与第一频率阈值(SF1)和大于第一频率阈值(SF1)的第二频率阈值(SF2)进行比较，这两个频率阈值都是预定的，在如下情况下滤除分割的发光区(ZLi)：
-分割的发光区的闪烁频率小于第一频率阈值(SF1)，使得该分割的发光区被认为不闪烁或微弱闪烁，因此不被认为是旋闪灯；
-分割的发光区的闪烁频率大于第二频率阈值(SF2)，使得发光区也被认为不是旋闪灯。
11.根据权利要求10所述的方法，其特征在于，第一频率阈值(SF1)等于1Hz，并且第二频率阈值(SF2)等于5Hz。
12.根据权利要求1至11中的任一项所述的方法，其特征在于，其还包括对每个分割的发光区(ZIi)进行方向分析的方向分析步骤(600)，使得能够确定所述分割的发光区的移动。
13.根据前一权利要求所述的方法，其特征在于，如果在方向分析步骤(600)中获得的移动方向使得能够得出以下结论，则滤除分割的发光区(ZLi)：
-分割的发光区(ZLi)相对于车辆(1)静止不动；
-分割的发光区(ZLi)相对于车辆(1)远离。
14.包括指令的计算机程序产品，所述指令在所述计算机程序产品由计算机实施时用于执行包括以下步骤的方法：
-采集图像序列的采集步骤(100)；
对于图像序列中的每个图像：
-按阈值进行比色分割的分割步骤(200)，使得能够检测图像中可能是旋闪灯(5、6)的有色发光区(ZLi)；
-跟踪每个分割的发光区(ZLi)的跟踪步骤(300)，据此将在分割步骤(200)中的每个分割的发光区(ZLi)与具有相同颜色的预测发光区(ZPi)相关联；
-通过预先训练的分类器对每个分割的发光区(ZIi)进行比色分类的分类步骤(400)；
-对每个分割的发光区(ZLi)进行频率分析的频率分析步骤(500)，使得能够确定分割的发光区的闪烁特点；
-计算图像序列中的每个图像的总体置信指数(ICG)的计算步骤(700)，使得能够将一个分割的发光区(ZLi)声明为旋闪灯。
15.车辆(1)，包括朝向车辆后方并且能够采集车辆后方的周围环境的图像的视频流的至少一个彩色相机(2)和至少一个计算机(3)，计算机(3)被配置为实施：
-采集图像序列的采集步骤(100)；
对于图像序列中的每个图像：
-按阈值进行比色分割的分割步骤(200)，使得能够检测图像中可能是旋闪灯(5、6)的有色发光区(ZLi)；
-跟踪每个分割的发光区(ZLi)的跟踪步骤(300)，据此将在分割步骤(200)中的每个分割的发光区(ZLi)与具有相同颜色的预测发光区(ZPi)相关联；
-通过预先训练的分类器对每个分割的发光区(ZLi)进行比色分类的分类步骤(400)；
-对每个分割的发光区(ZLi)进行频率分析的频率分析步骤(500)，使得能够确定分割的发光区的闪烁特点；
-计算图像序列中的每个图像的总体置信指数(ICG)的计算步骤(700)，使得能够将一个分割的发光区(ZLi)声明为旋闪灯。
CN202180069566.8A 2020-10-13 2021-10-13 图像处理方法 Pending CN116438584A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FRFR2010472 2020-10-13
FR2010472A FR3115144B1 (fr) 2020-10-13 2020-10-13 Procédé de traitement d’images
PCT/EP2021/078342 WO2022079113A1 (fr) 2020-10-13 2021-10-13 Procédé de traitement d'images

Publications (1)

Publication Number Publication Date
CN116438584A true CN116438584A (zh) 2023-07-14

Family

ID=73793454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180069566.8A Pending CN116438584A (zh) 2020-10-13 2021-10-13 图像处理方法

Country Status (7)

Country Link
US (1) US20230368545A1 (zh)
EP (1) EP4229544A1 (zh)
JP (1) JP2023546062A (zh)
KR (1) KR20230084287A (zh)
CN (1) CN116438584A (zh)
FR (1) FR3115144B1 (zh)
WO (1) WO2022079113A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024011733A (ja) * 2022-07-15 2024-01-25 株式会社Subaru 車両の配光制御装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002319091A (ja) * 2001-04-20 2002-10-31 Fuji Heavy Ind Ltd 後続車両認識装置
EP2523173B1 (en) * 2011-05-10 2017-09-20 Autoliv Development AB Driver assisting system and method for a motor vehicle

Also Published As

Publication number Publication date
FR3115144B1 (fr) 2023-04-28
EP4229544A1 (fr) 2023-08-23
FR3115144A1 (fr) 2022-04-15
US20230368545A1 (en) 2023-11-16
WO2022079113A1 (fr) 2022-04-21
JP2023546062A (ja) 2023-11-01
KR20230084287A (ko) 2023-06-12

Similar Documents

Publication Publication Date Title
US11029583B2 (en) Adjustable camera mount for a vehicle windshield
CN108357418B (zh) 一种基于尾灯识别的前车驾驶意图分析方法
US8254635B2 (en) Bundling of driver assistance systems
JP5617999B2 (ja) 車載周辺物認識装置及びこれを用いる運転支援装置
JP5879219B2 (ja) 車載用環境認識装置
CN103493099B (zh) 用于识别车辆摄像机的视野中的气溶胶的强度的方法和设备
CN108230690B (zh) 一种基于卷积神经网络的远光灯持续开启状态的判别方法
CN102556021B (zh) 一种汽车防闯红灯的控制装置
CN103518226B (zh) 用于控制车辆的前照灯系统的方法和设备
JP2017505946A (ja) 車両検出システムおよびその方法
US9764681B2 (en) Method and device for grouping illumination units
CN110249338B (zh) 用于检测与交通信号灯相关的假阳性误报的方法
US11068729B2 (en) Apparatus and method for detecting a traffic light phase for a motor vehicle
JP2009043068A (ja) 信号機認識装置
JP2010512271A (ja) カメラによる車両電灯の識別
JP2006298362A (ja) 暗い領域に到達したことを早期に検出する方法
US20150085118A1 (en) Method and camera assembly for detecting raindrops on a windscreen of a vehicle
CN108806333A (zh) 基于路灯的交通路况监测方法及其装置
US9171216B2 (en) Method and device for detecting fog at night
CN116438584A (zh) 图像处理方法
JP6329417B2 (ja) 車外環境認識装置
KR101877809B1 (ko) Gpu를 이용한 신호등 인식 장치 및 방법
WO2024004005A1 (ja) 外界認識装置
KR101822302B1 (ko) 차량의 헤드램프 제어 장치 및 이의 구동 방법
KR20150044200A (ko) 차량 hba의 반사판 필터링 시스템 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination