CN111010530B - 应急车辆检测 - Google Patents

应急车辆检测 Download PDF

Info

Publication number
CN111010530B
CN111010530B CN201910948900.1A CN201910948900A CN111010530B CN 111010530 B CN111010530 B CN 111010530B CN 201910948900 A CN201910948900 A CN 201910948900A CN 111010530 B CN111010530 B CN 111010530B
Authority
CN
China
Prior art keywords
color
spectrum
image frames
value
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910948900.1A
Other languages
English (en)
Other versions
CN111010530A (zh
Inventor
V·V·阿斯瓦塔纳拉亚南
S·韦拉达斯
S·纳塔拉詹
S·H·B·哈里布哈克塔
E·施特里格尔
M·普菲泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Zhixing Germany Co ltd
Original Assignee
Continental Automotive GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH filed Critical Continental Automotive GmbH
Publication of CN111010530A publication Critical patent/CN111010530A/zh
Application granted granted Critical
Publication of CN111010530B publication Critical patent/CN111010530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431—Frequency domain transformation; Autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/015—Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0965—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种用于检测应急车辆的存在的方法。该方法包括：接收由图像传感器在一段时间内拍摄的多个图像帧；基于每个像素中第一颜色相对于总色的比率来确定每个图像帧中的多个像素的EV颜色分量，如果所述EV颜色分量超过预定阈值，则将第一值分配给像素，如果所述EV颜色分量未超过所述预定阈值，则将第二值分配给像素；以及基于每个图像帧的所有第一值的总和，针对多个图像帧中的每一者确定第一颜色的EV颜色值。所述方法还包括基于与所述多个图像帧相关联的EV颜色值生成时域表示；将所述多个图像帧的时域表示转换成频谱；以及通过分析所述频谱来判定是否存在与一种或多种类型的应急车辆相关联的第一颜色的任何闪烁光源。

Description

应急车辆检测
技术领域
本发明涉及用于经由图像分析来检测应急车辆的存在的方法和设备。
背景技术
现代车辆经常配备各种电子系统，以用于辅助驾驶员驾驶车辆。这种驾驶员辅助系统经常包括环境传感器例如图像、雷达和激光雷达传感器，它们可操作以收集关于车辆外部环境的信息。环境传感器可以安装在车辆本身上，或者远程地定位使得传感器数据以无线的方式传输给车辆。由传感器收集的数据随后由一个或多个处理器分析，并用于提供各种驾驶辅助功能，包括向驾驶员提供通知/警告、车辆的半自主至完全自主操纵。
在一些情况下，驾驶员辅助系统可以用于检测接近的应急车辆(EV)例如救护车、消防车和警车的存在，使得车辆的驾驶员或自主驾驶模块可以采取适当的行动、例如给车辆让路。应急车辆的检测可以通过对由图像传感器拍摄的车辆环境图像进行单独地分析与其他传感器数据结合地进行分析来实现。因此，需要有效且使得可以迅速采取适当的行动的、用于检测应急车辆的存在的基于图像的方法和设备。
发明内容
本发明的各方面提供了用于根据图像传感器在一段时间内拍摄的多个图像帧检测应急车辆的存在的方法和设备。
本发明的一个方面提供了一种用于检测应急车辆的存在的方法，该方法包括接收由图像传感器在一段时间内拍摄的多个图像帧。举例来说，图像传感器可以在外部安装在车辆上，并且配置为捕获车辆的外部环境的图像。图像传感器可以是单一摄像机或广角鱼眼摄像机。在一些实施方式中，图像传感器可以安装在车辆的后部，并且被配置为连续地捕获车辆后方的图像。计算处理器可以被配置成分析由图像传感器拍摄的图像帧，以便确定在车辆的后方是否存在任何应急车辆。在其他实施方式中，图像传感器也可以安装在基础设施上、如灯柱上，并且将所捕获的图像帧发送到处理器以进行处理。图像帧的分析包括基于每个像素中第一颜色相对于总色的比率来确定每个图像帧中的多个像素的应急车辆(EV)颜色分量，并且如果所述EV颜色分量超过预定阈值，则将第一值分配给像素，如果所述EV颜色分量未超过所述预定阈值，则将第二值分配给像素。第一颜色对应于属于相关的一种或多种类型的应急车辆的闪光光源的颜色。例如，第一颜色可以是蓝色、黄色或与应急车辆相关联的任何其他颜色。EV颜色分量度量每个像素中第一颜色相对于每个像素中总色的含量。在一些实施方式中，分配给像素的第一值或第二值可以分别是1和0。所述方法还包括在确定所述多个图像帧中每一者中的所述多个像素的EV颜色分量之后、并且在确定所述EV颜色值之前，使用中值滤波器去除杂散尖峰。只要第一值和第二值不同，其他值也可能是合适的。优选地，针对图像帧中的所有像素计算EV颜色分量。然后，基于每个图像帧的所有第一值的总和，确定多个图像帧中每一者的EV颜色值。EV颜色值给出给定帧中进行分析的所选第一颜色的颜色强度的指示。生成基于与图像帧相关联的EV颜色值的时域表示，随后将多个图像帧的时域表示转换成频谱。频谱可以例如表示为功率谱密度(PSD)相对于频率的变化，或者也可以替代地生成示出一频率分量相对于信号中所有频率分量的相对贡献的归一化频谱。对频谱进行分析以判定在多个图像帧中是否存在与一种或多种类型的应急车辆相关联的第一颜色的任何闪烁光源。
根据上述方法的本发明的实施方式可以带来多个优点。首先，该方法不需要复杂的计算过程，这相应地减少了计算需求和处理时间。例如，根据本发明的实施方式的用于检测应急车辆的闪烁光源的方法不需要识别图像帧内的特定光源。与本方法相比，这种识别增加了额外的处理要求，因为必须对图像帧进行分析，并且必须基于存储在数据库中的属于应急车辆的已知闪光光源的模板来明确地识别光源。模板可以包括诸如已知应急车辆光源的颜色和空间配置之类的信息。本发明的实施方式也不需要单独地检查每个明确地识别的可能光源的闪烁速率与存储在数据库中的已知应急车辆的闪烁速率的对应性。相反，计算图像传感器在一段时间内拍摄的多个图像帧中每一者的EV颜色值，并使用从其导出的频谱来识别是否存在具有与一种或多种类型的应急车辆相关联的闪烁速率以及第一颜色的任何光源。此外，本发明的实施方式不仅能够基于对图像传感器而言直接可见的光源、还能够基于这些光源由不同表面的反射、如由道路表面和玻璃表面以及车身的反射来检测应急车辆。这是因为本发明的实施方式不需要图像中检测到的光源与已知应急车辆的光源的特定匹配。当应急车辆光源被遮挡时，基于这些光源由不同表面的反射检测应急车辆是有用的。
在一些实施方式中，生成多个图像帧的时域表示还可以包括去除EV颜色值中的任何直流(D.C.)偏压。这可以通过计算所有图像帧的平均EV颜色值并从每个帧的单个EV颜色值中减去上述平均EV颜色值来实现。至于将时域表示转换成频谱，可以使用诸如傅立叶变换和小波变换的算法。在优选实施方式中，快速傅立叶变换用于将时域表示转换成频谱。快速傅立叶变换通常比离散傅立叶变换更快，并且给出相同的结果。此外，需要相对较少的数据点来获得平滑的频率响应。转换过程也可以被配置成呈现单边频谱。由于本发明仅需要频谱中信号的绝对值来检测闪光光源，因此单边频谱有利地消除了与双边频谱相关联的冗余计算，因为频谱的两边具有相同的必要信息。此外，冗余计算的消除还允许在不占用额外计算资源的情况下处理更多相关的采样点。举例来说，转换成单边频谱可以使用MATLABTM软件中的已知pwelch函数来执行。
在另一示例性实施方式中，分析频谱可以包括判定频谱中存在的频率分量是否与属于一种或多种类型的应急车辆的已知第一颜色光源的频率分量相匹配。在一种变型中，如果频率分量的幅值大于或等于预定的最小幅值，则可以认为该频率分量存在。举例来说，如果至少基频与一个或多个其他谐波匹配，则频谱中存在的频率分量被认为和与一种或多种应急车辆相关联的已知第一颜色光源的频率分量相匹配。被选择为代表第一颜色光源的一个或多个谐波取决于各种因素、如图像传感器质量、正在处理的输入图像帧的帧速率或其组合。在可选实施方式中，该方法可以进一步包括至少部分地基于确定(判定)存在与特定类型的应急车辆相关联的至少一个光源(的事实)而使一个或多个动作得以执行。举例来说，上述一个或多个动作可以包括确定被检测为存在的一个或多个应急车辆的位置。
本发明的实施方式也可以是包括用于执行上述方法的计算机可读指令的非暂时性计算机可读存储介质的形式。
本发明的另一方面提供了一种用于检测应急车辆存在的设备，它包括处理器和联接到处理器的至少一个存储器。所述至少一个存储器存储可由处理器执行的指令，使得处理器：接收由图像传感器在一段时间内拍摄的多个图像帧；基于每个像素中第一颜色相对于总色的比率来确定每个图像帧中的多个像素的EV颜色分量，并且如果所述EV颜色分量超过预定阈值，则将第一值分配给像素，如果所述EV颜色分量未超过所述预定阈值，则将第二值分配给所述像素。进一步使得处理器：基于与所述多个图像帧相关联的所述EV颜色值生成时域表示；将所述多个图像帧的所述时域表示转换成频谱；以及通过分析所述频谱来判定是否存在与一种或多种类型的应急车辆相关联的第一颜色的任何闪烁光源。还可以实施包括根据本发明的设备的车辆。在一些实施方式中，第一值可以为1，第二值可以为0。
在一些变型中，处理器对频谱的分析包括确定频谱中存在的频率分量是否和与一种或多种类型的应急车辆相关联的已知第一颜色光源的频率分量相匹配。例如，如果至少基频与一个或多个谐波匹配，则频谱中存在的频率分量可以被认为是和与一种或多种类型的应急车辆相关联的已知第一颜色光源的频率分量相匹配。
所述至少一个存储器还可以进一步使处理器至少部分地基于判定存在与特定类型的应急车辆相关联的至少一个光源而使一个或多个动作得以执行。举例来说，所述一个或多个动作可以包括向车辆驾驶员发出附近有应急车辆的通知和/或指示远程信息处理模块向其他车辆发送信号，警告其应急车辆的存在。
本发明的一个或多个实施方式的细节在附图和以下描述中阐述。通过说明书和附图以及权利要求书，其他方面、特征和优点将是显而易见的。
附图说明
图1是根据本发明的一个实施方式的系统100的功能框图，该系统包括用于检测应急车辆的存在的机器视觉模块。
图2是示出安装有多个图像传感器的汽车以及与每个图像传感器相关联的对应视场的示例性示意图。
图3A是示出根据本发明的一个实施方式的用于检测应急车辆的存在的方法的流程图。
图3B是示出根据本发明的一个实施方式的用于确定多个图像帧中每一者的EV颜色值的示例性方法的流程图。
图4示出了在未检测到与感兴趣的应急车辆相关联的闪烁光源的情况下的示例性时域表示和对应的频谱。
图5示出了在检测到与一种或多种类型的应急车辆相关联的闪烁蓝色光源的情况下的示例性时域表示和对应的频谱。
具体实施方式
在以下详细描述中，对附图进行了参照。在附图中，除非上下文另有说明，相似的附图标记通常标识相似的部件。
图1是根据本发明的一个实施方式的与车辆相关联的示例性系统100的功能框图，该系统包括环境模块110、机器视觉模块120、自主驾驶模块140、用户界面160和远程信息处理(车联网，telematics)模块180。环境模块110包括可操作以感测和收集关于车辆的外部环境的信息的环境传感器。在图1的实施方式中，环境模块包括图像传感器模块112，图像传感器模块112包括安装在车辆的不同部分的外部处的两个图像传感器(114和116)。图像传感器可操作以捕获车辆外部环境的图像。只要车辆的点火装置打开，图像传感器就可以连续地捕获外部环境的图像，或者图像传感器可以基于需要来捕获图像。图2示出了示例性实施方式，其中两个图像传感器(114、116)分别安装在车辆102的前部和后部。图像传感器(114，116)例如可以是视觉图像传感器、如安装在车辆前保险杠和后保险杠上的单一摄像机或广角鱼眼摄像机。与面向前和面向后的图像传感器(114，116)相关联的相应视场分别由附图标记114a和116a表示。本领域技术人员将理解，图像传感器模块112中也可以使用其他类型和数量的图像传感器。环境模块110还可以包括其他类型的环境传感器、如雷达传感器模块(118)、激光雷达、超声波传感器(未示出)。
机器视觉模块120与环境模块110通信，并且被配置为通过对图像传感器模块112中的一个或多个图像传感器在一段时间内拍摄的多个图像帧进行处理和分析来执行用于检测应急车辆的存在的自动化方法。例如，图像传感器模块112可以将由图像传感器捕获的图像帧连续地发送到机器视觉模块以用于应急车辆的检测，或者仅基于需要发送图像。机器视觉模块120包括计算处理器122和与处理器122通信的硬件存储器124。计算处理器112例如可以是能够访问存储器124以存储信息并执行存储在其中的指令的微控制器或图形处理单元(GPU)。或者，处理器122和存储器124也可以集成在单个集成电路上。存储器124存储可由处理器122访问的信息、如可由处理器122执行的指令、以及可由处理器122存储、检索或以其他方式使用的数据。例如，处理器122可以基于存储在存储器124中的指令执行根据本发明的一些实施方式的用于检测应急车辆的存在的方法。这种方法可以包括针对图像传感器在一段时间内拍摄的多个图像帧的每个图像帧中的多个像素确定EV颜色分量。优选地，针对多个图像帧的每一者中的所有像素计算EV颜色分量。EV颜色分量是指一像素中与一种或多种类型的应急车辆相关联的第一颜色相对于该像素中总色分量的比例。应急车辆的示例包括警车、救护车和消防车。举例来说，第一颜色可以是蓝色，并且其可以与救护车和警车相关联。如果该像素的EV颜色分量超过预定阈值，则为该像素分配第一值；如果EV颜色分量没有超过预定阈值，则为该像素分配第二值。例如，第一值可以是1，第二值可以是0。只要第一值和第二值不同，其他值也可能是合适的。在一些实施方式中，存储在存储器124中的数据可以包括一种或多种类型的应急车辆的EV颜色分量预定阈值。然后，可以针对每个图像帧、基于该帧的所有第一值的总和计算出与第一颜色相关联的EV颜色值。存储器124可以用作用于存储EV颜色分量和EV颜色值的临时缓冲器。于是，通过绘制每个图像帧的EV颜色值与捕获该图像帧的时间的关系，针对多个图像帧生成EV颜色值与时间的关系的时域表示。然后，处理器可以通过将时间表示转换成频谱来确定在多个图像帧中是否存在具有第一颜色并且以与应急车辆的光源相匹配的速率闪烁的任何光源。然后将该频谱与具有第一颜色应急灯的应急车辆的已知频谱进行比较，以查看是否相匹配。在一种实施方式中，在应急车辆的频谱和已知频谱中的频率分量之间进行比较。被比较的频率分量可以至少包括基频和一个或多个谐波。应急车辆的频谱特征可以存储在存储器124中，并由处理器122从存储器124中检索出来以进行比较。
尽管图1功能性地示出了处理器122和存储器124位于同一方框中，但本领域普通技术人员将理解，处理器和存储器实际上可以包括位于不同外壳中的多个处理器和/或存储器。因此，对处理器或存储器的提及将被理解为包括对操作以执行本发明中描述的机器视觉模块的功能的处理器和/或存储器的集合的提及。此外，本领域技术人员将理解，机器视觉模块可以独立于其他模块或部件而存在。或者，机器视觉模块也可以是其他模块、程序或硬件的共享元素或进程。尽管图1和图3所示的实施方式将机器视觉模块和图像传感器示出为与车辆相关联，但这并不旨在进行限制。例如，本发明可用于基于由安装在建筑物或灯柱上的一个或多个图像传感器捕获的图像帧来检测应急车辆，并且处理器可被配置为当检测到应急车辆时警告图像传感器附近的车辆存在应急车辆。
系统100还包括自主驾驶模块140、用户界面160和与机器视觉模块120通信的远程信息处理模块180。举例来说，机器视觉模块120可以经由控制器局域网(CAN)总线可通信地联接到其他模块。自主驾驶模块140负责控制车辆的半自主和自主驾驶功能、如自适应巡航控制(ACC)、主动车道辅助、高度自动化驾驶(HAD)和停车辅助。自主驾驶模块通常包括监控电子控制单元(ECU)，该电子控制单元通过从各种车辆模块接收数据/指令、分析这些数据/指令并向例如动力传动系、转向和制动模块发送指令来计划、协调和执行各种半自主和自主驾驶功能，以便实现期望的车辆操纵。至于与车辆相关联的用户界面160，其可以用于向车辆驾驶员传达音频和视频消息。在一种变型中，用户界面160可以包括诸如仪表板、电子显示装置和音频系统之类的部件。仪表板可以是仪表盘或中央显示装置，其显示例如速度计、转速表和警示灯指示器。用户界面还可以包括电子显示装置、如用于向驾驶员传达其他视觉消息的信息娱乐显示装置或抬头显示装置(平视显示装置)，以及用于播放音频消息、警告或音乐的音频系统。至于远程信息处理模块180，其可操作以执行自身(ego)车辆和其他车辆之间的通信，即车间(V2V)通信。远程信息处理模块180还可以操作以允许车辆与基础设施之间(V2I)的通信。在本发明的一些实施方式中，机器视觉模块120中的处理器122还可以至少部分地响应于检测到存在与一种或多种类型的应急车辆相关联的一个或多个光源而使一个或多个动作得以执行。这些动作可以包括向驾驶员发出其附近存在应急车辆、并且他应当采取适当的动作以让位于应急车辆的通知。该通知可以经由用户界面160中的HUD 162和/或音频系统164显示和/或通过听觉传达给驾驶员。处理器122还可以向自主驾驶模块140发送信号，指示其接管车辆的控制并操纵车辆，使得其向应急车辆让步。在又一变型中，一个或多个动作还可以包括经由远程信息处理模块180向附近的其他车辆发送信号，以便提醒它们应急车辆的存在。
图3A是示出根据本发明的一个实施方式的用于检测具有第一颜色闪烁光源的一种或多种类型的应急车辆的存在的示例性过程(方法)300的流程图。过程300可以依序地(顺次地)执行或者与本发明的其他实施方式并行地执行，以用于检测具有其他颜色闪烁光源的应急车辆。例如，美国等一些国家可能在救护车和诸如警车之类的执法车辆上使用蓝色光源，在消防车上使用红色光源。这样，可以同时地或依序地执行两个过程，以检测带有蓝色或红色闪光灯的应急车辆的存在。将参照图1中的系统描述过程300的操作。然而，应当理解，其他类似的系统也可能是合适的。该过程开始于步骤301，并且可以在车辆点火装置打开时触发。用于触发过程300的启动的其他事件也可能是合适的，并且该过程也可以按需触发。在步骤310中，框301中过程的启动使得机器视觉模块120中的处理器122开始接收第一组图像帧，该第一组图像帧包括由图像传感器在一段时间t内拍摄的多个图像帧。图像传感器可以例如类似于图2中那样是安装在车辆后部的图像传感器116。在本发明中，通过分析成组的图像帧来检测应急车辆的存在，其中各组图像帧各自包括图像传感器在一段时间t内拍摄的多个图像帧。在一个实施方式中，每组图像帧均包括图像传感器在4秒内以每秒16个图像帧的速率拍摄的总共64个图像帧。处理器122例如使用图3A中步骤320-380中的方法处理每组中的多个图像帧，以确定一组图像帧中是否存在与一种或多种特定类型的应急车辆相关联的任何光源。不同数量的图像帧和捕获这些图像帧的持续时间也可能是合适的，只要帧速率(每秒帧数)和时序适合于检测与相关应急车辆相关联的闪烁光源。
在框320中，处理器122为由处理器接收的多个图像帧中的每一者确定与一种或多种类型的应急车辆相关联的第一颜色的EV颜色值。出于说明的目的，我们将假设方法300用于具有蓝色闪光灯的应急车辆。也就是说，第一颜色是蓝色。然而，应当理解，本发明也可以设置用于检测其他颜色的闪烁光源。图3B示出了用于确定一组中多个图像帧中每一者的EV颜色值的步骤的示例性详细说明。在步骤322中，处理器122针对一图像帧确定该图像帧中的一像素的EV颜色分量，如果EV颜色分量超过预定阈值，则为该像素分配第一值；如果EV颜色分量没有超过预定阈值，则为该像素分配第二值。优选地，第一值是1，第二值是0。然后对该图像帧中的多个像素重复相同的过程。EV颜色分量通过计算一像素中第一颜色相对于该像素中总色的比率来确定。例如，如果图像传感器是使用拜耳滤光器装置的摄影数码相机—在拜耳滤光器装置中以绿色、蓝色和红色来描述颜色，并且图像帧中的总色是G1|B|G2|R，则可以使用下述公式来确定像素的EV颜色分量：
Figure BDA0002225099450000101
其中第一颜色可以是诸如蓝色、绿色或红色之类的基色，或者由两种或更多种基色组成的合成色(二次色)。在第一颜色是合成色的实施方式中，以基色分量来表示第一颜色。例如，如果第一颜色是黄色，第一颜色将是红色+绿色。因此，如果方法300用于检测颜色为蓝色的应急车辆灯，则用于确定每个像素的EV颜色分量的公式将是：
Figure BDA0002225099450000102
至于确定应当将第一值的EV颜色分量还是第二值的EV颜色分量分配给像素的预定阈值的设置，这将取决于诸如所使用的图像传感器的类型、图像传感器的灵敏度和应用于图像帧的图像处理技术之类的因素。在一些实施方式中，可以通过观察检测距离和其他检测性能相关参数相对于预定阈值的变化来凭经验选择预定阈值。例如，发明人已经发现，对于具有蓝色闪光灯的应急车辆的检测而言，当通过使用拜耳滤波器装置的图像传感器拍摄图像时，0.3的预定阈值对于获得更好的检测性能是优选的，而对于源自使用逆马赛克变换(demonsaicing)算法的图像传感器的图像，0.4的值更好。0.3和0.4的值并非意在进行限制，其他预定阈值也可能是合适的。
在一个实施方式中，计算每个图像帧中所有像素的EV颜色分量，并且根据EV颜色分量是否超过预定阈值，将第一值或第二值分配给像素。例如，如果图像帧包括m×n个像素，并且第一值和第二值分别为1和0，我们将获得大小为m×n的矩阵，该矩阵用值1或0填充。在其他实施方式中，可以仅针对图像帧中的选定像素来计算EV颜色分量。例如，可以每隔一个像素计算EV颜色分量。仅针对图像帧中的选定像素计算EV颜色分量具有减少计算处理时间和计算需求的优点。然而，在选定中所选的像素数量应当足以实现属于相关应急车辆的第一颜色闪烁光源的检测。
在步骤324中，通过计算图像帧中所有第一值的和来确定该图像帧的EV颜色值。EV颜色值给出图像帧中第一颜色内容的指示。例如，如果第一颜色是蓝色，则EV颜色值给出该图像帧的蓝色度测量值的指示。在一些实施方式中，中值滤波器可用于、在已经计算出图像帧中所有像素的EV颜色分量之后但在计算EV颜色值之前、从图像帧中去除椒盐噪声、如因硬阈值而导致的虚假尖峰值。该过程然后进行到判定步骤326，该步骤检查是否已经计算出一组中所有图像帧的EV颜色值。如果答案是否定的，则该过程返回到步骤322，并检索当前组中的另一帧，并重复步骤322至326。如果答案是肯定的，即已处理的图像帧的数量等于正在进行处理的图像帧的当前组中的图像帧的总数，则该方法进行到步骤340。
在步骤340中，基于与该组中的多个图像帧相关联的EV颜色值来生成时域表示。这通过相对于该组中图像帧的时序绘制每个图像帧的EV颜色值来完成。在一些实施方式中，多个图像帧(例如64个图像帧)的EV颜色值可以存储在临时缓冲器中、如位于机器视觉模块的存储器124中的环形缓冲器中。然后从缓冲器中检索EV颜色值，并将该EV颜色值用于生成时域表示。在一些实施方式中，时域表示的生成可以包括用于去除EV颜色值中的任何直流(D.C.)偏压的过程步骤。这可以通过从每个图像帧的各个EV颜色值中减去一组中所有图像帧的平均EV颜色值来实现。然后基于D.C.偏压调整的EV颜色值来创建时域表示。图4和图5的曲线图(a)是示例性时域表示，其示出了D.C.偏压调整的EV颜色值相对于时间的变化。在图4的曲线图(a)和图5的曲线图(a)中，在一组图像帧的开始处将时间设置为零。
在步骤360中，处理器将在步骤340中生成的时域表示转换成频谱。与研究信号随时间如何变化的时域表示不同，频谱示出了在一定频率范围内，每个给定频带内存在有多少信号(即，在当前上下文中，与多个图像帧相关联的EV颜色值)。如前所述，EV颜色值给出了图像帧中第一颜色内容的指示。因此，如果存在以与相关应急车辆相同的速率闪烁的蓝色光源，则一组中多个图像帧的蓝色EV颜色值应当以与相关应急车辆相同的速率闪烁。也就是说，与蓝色EV颜色值相关联的频谱应当与在相关应急车辆上发现的闪烁光源的频谱相匹配。在一些实施方式中，傅立叶变换可以用于将时域表示转换成频谱。然而，也可以使用适合于将信号从时域转换成频域的其他类型的数学变换、如小波变换。对于使用傅立叶变换导出的频谱，频率分量表示为具有其自身振幅和相位的正弦波。在一个实施方式中，256点的快速傅立叶变换(FFT)可以用于将时域表示转换成频谱。与离散傅立叶变换相比，FFT通常更快，并给出相同的结果。需要相对较少的数据点来获得平滑的频率响应。在应用FFT算法之前，时域信号可以例如通过使用MATLABTM软件中的汉明窗算法来平滑。在一些变型中，可能希望所得到的频谱为单边频谱，这可以通过使用MATLABTM软件中的已知PWELCH函数来获得。由于本发明仅需要频谱中信号的绝对值来检测闪光光源，所以单边频谱有利地消除了与双边频谱相关联的冗余计算，因为频谱的两边具有相同的必要信息。此外，冗余计算的消除还允许在不引起额外计算资源的情况下处理更多相关的采样点。图4和图5中的曲线图(b)分别示出了由图4和图5的曲线图(a)中的时域表示转换成的频谱的说明性示例。在图4的曲线图(b)和图5的曲线图(b)中，频谱表示为功率谱密度(PSD)相对于频率的变化。在其他实施方式中，也可以替代地生成归一化频谱，其示出了一频率分量相对于信号中所有频率分量的相对贡献。这可以通过相对于信号中所有可用峰值的总和归一化PSD信号的峰值幅值来实现。例如，如果频率分量的归一化峰值为0.3，这意味着该频率分量占总频率分量的30％。
然后，该方法前进到判定步骤380，在该步骤中，处理器122通过分析频谱来判定图像帧中是否存在与一种或多种类型的应急车辆相关联的第一颜色的任意闪烁光源。在一些实施方式中，这包括判定频谱中存在的频率分量是否与属于一种或多种类型的应急车辆的已知的闪烁第一颜色光源的频率分量相匹配。例如，如果第一颜色是蓝色，那么处理器检查其是否与装备有闪烁蓝灯的一种或多种类型的应急车辆的任意已知频谱相匹配。频谱的比较消除了与相关应急车辆无关的第一颜色的闪烁光源、如广告标志。应急车辆的已知频谱可以存储在位于机器视觉模块120内或远程服务器上的存储器124中，并由处理器进行检索以进行比较。如果频率分量的幅值大于或等于预定的最小幅值限值，则该频率分量可以被认为存在于频谱中。在一些实施方式中，如果至少基频与一个或多个谐波对应，则称该频谱与相同颜色的已知应急车辆光源的频谱相匹配。
如果处理器在步骤380确定图像帧中不存在与相关应急车辆相关联的闪烁光源，则过程进行到步骤382，方法300在步骤382处结束。图4示出了示例性场景的对应时域表示和频谱，其中方法300已被设置用于在一组图像中检测属于一种或多种类型的应急车辆的闪烁蓝光，并且没有检测到任何蓝光。图4(a)中的时域表示示出了相对于图像帧的时序绘制的图像帧的EV颜色值。图4(a)所示的EV颜色值是D.C.偏压调整的EV颜色值，时间＝0表示一组帧的开始。图4(b)中的功率谱密度(PSD)相对于频率的曲线图是由图4(a)中的时域表示转换而来的对应频谱。在这个示例中，用于确认频率分量存在的预定最小幅值是20瓦/Hz。因此，由于图4(b)的频谱在相关频率内不包含幅值大于20瓦/Hz的任何频谱峰值，所以在图像帧中不存在闪烁的蓝光。另一方面，如果处理器在步骤380判定在图像帧中存在与特定类型的应急车辆相关联的至少一个光源，则过程继续到步骤390。图5示出了通过应用方法300来检测属于应急车辆的闪烁蓝光而获得的另一组示例性时域表示(图5(a))和频谱(图5(b))。在这个示例中，频谱类似地表示为功率谱密度(PSD)相对于频率的变化。图5(b)中的频谱包含闪烁蓝光，因为在2Hz、4Hz、6Hz和8Hz处存在超过20瓦/Hz的的频率分量。频率低于1.5Hz的任何信号均被忽略，因为其被视为不构成闪光光源一部分的D.C.分量。在图5(b)中，2Hz处的频率分量或峰值是基频，而4Hz、6Hz和8Hz处的峰值分别为与2Hz基频相关联的第一谐波、第二谐波和第三谐波。基频被定义为频谱中最低的正弦频率。如果图5(b)光谱中的频率分量与属于一种或多种类型的应急车辆的已知第一颜色光源的频率分量相匹配，则称与相关应急车辆相关联的闪烁蓝色光源存在于图5图像帧中。在一些实施方式中，如果基频与一个或多个谐波相匹配，则认为频率分量是相匹配的。
在步骤390，处理器122至少部分地响应于在步骤380中检测到与特定类型的应急车辆相关联的至少一个光源而使一个或多个动作得以执行。也就是说，处理器可以仅基于检测到至少一个相关光源来采取一个或多个动作，或者检查其他条件的存在之后再决定采取哪些动作。在一些实施方式中，上述一个或多个动作可以包括识别被检测到的任意应急车辆的位置。举例来说，这可以包括启动一个或多个环境传感器以识别检测到的一个或多个应急车辆的位置和/或出于相同目的分析来自一个或多个环境传感器的数据。如果应急车辆被识别为在当前车辆的一定距离内，则处理器还可以使得向当前车辆的驾驶员发出视觉和/或听觉通知。该通知也可以告知驾驶员采取适当的行动以让位于应急车辆。该通知可以经由用户界面160中的HUD显示器162和/或音频系统164发出。诸如信息娱乐系统显示器之类的其他用户界面或诸如GoogleTM眼镜之类的可穿戴设备也可用于通信。处理器122还可以向自主驾驶模块140发送信号，指示其接管车辆的控制并操纵车辆，使得如果应急车辆被识别为在当前车辆的一定距离内，则使当前车辆给所检测到的应急车辆让路。例如，自主驾驶模块140可以使车辆减速、使车辆转向，使得其给所检测到的应急车辆让路。自主驾驶模块140还可以指示车辆的信令系统激活表示车辆向其他道路使用者让路的意图的相关信号灯。在又一变型中，上述一个或多个动作可以包括指示远程信息处理模块180向附近的其他车辆发送信号，从而警告它们应急车辆的存在。
因此，通过计算图像帧中代表性的多个像素的EV颜色分量、并将由此导出的所有第一值相加以获得图像帧的EV颜色值、来检测与应急车辆相关联的光源的存在。EV颜色值给出给定帧中的所分析的所选第一颜色的颜色强度的指示。回到第一颜色是蓝色的示例，这给我们图像帧的蓝色度值的指示。为了判定是否存在与应急车辆的第一颜色光源相匹配的任何闪烁的第一颜色光源，计算一组帧中所有图像帧的EV颜色值，并从中导出时域表示。时域表示随后被转换成频谱并进行分析。例如，上述频谱可以与一种或多种类型的应急车辆的已知频谱进行比较，以便判定是否存在以与已知应急车辆相同的速率闪烁的任何第一颜色光源。因此，本发明的实施方式不需要对图像帧进行分析，也不需要基于存储在数据库中的已知应急车辆的模板来识别对应于可能的应急车辆的光源。这些模板包括诸如颜色和空间构型之类的特征。本发明也不需要单独地判定每个被识别的可能光源的闪烁速率是否与存储在数据库中的已知应急车辆的闪烁速率相匹配。相反，计算图像传感器在一段时间内拍摄的多个图像帧中每一者的EV颜色值，并使用从其导出的频谱来识别是否存在具有与一种或多种类型的应急车辆相关联的第一颜色并且具有与一种或多种类型的应急车辆相关联的闪烁速率的任何光源。与需要作为应急车辆检测过程的一部分的图像处理步骤来具体识别属于可能应急车辆的光源相比，这有利地减少了计算要求。
虽然本文已经公开了各个方面和实施方式，但是对于本领域技术人员来说其他方面和实施方式将是显而易见的。本文公开的各个方面和实施方式是处于说明的目的，而非意在限制，真正的范围和精神由所附权利要求以及这些权利要求所授权的等同物的全部范围来指示。还应当理解，本文使用的术语仅仅是为了描述特定的实施方式，而非意在限制。

Claims (16)

1.一种用于检测应急车辆的存在的方法，包括：
接收由图像传感器在一段时间内拍摄的多个图像帧；
基于每个像素中第一颜色相对于总色的比率来确定每个图像帧中的多个像素的EV颜色分量，并且如果所述EV颜色分量超过预定阈值，则将第一值分配给像素，如果所述EV颜色分量未超过所述预定阈值，则将第二值分配给像素；
基于每个图像帧的所有第一值的总和，针对多个图像帧中每一者确定第一颜色的EV颜色值；
基于与所述多个图像帧相关联的EV颜色值生成时域表示；
将所述多个图像帧的所述时域表示转换成频谱；以及
通过分析所述频谱来判定是否存在与一种或多种类型的应急车辆相关联的第一颜色的任何闪烁光源。
2.根据权利要求1所述的方法，其中，所述第一值为1，所述第二值为0，所述方法还包括在确定所述多个图像帧中每一者中的所述多个像素的EV颜色分量之后、并且在确定所述EV颜色值之前，使用中值滤波器去除杂散尖峰。
3.根据权利要求1或2所述的方法，其中，生成所述多个图像帧的时域表示还包括去除所述EV颜色值中的任何D.C.偏压。
4.根据权利要求1或2所述的方法，其中，将所述时域表示转换为所述频谱包括将快速傅立叶变换应用于所述时域表示。
5.根据权利要求1或2所述的方法，其中，所述频谱是单边频谱。
6.根据权利要求1或2所述的方法，其中，分析所述频谱包括判定所述频谱中存在的频率分量是否与属于一种或多种类型的应急车辆的已知第一颜色光源的频率分量相匹配。
7.根据权利要求6所述的方法，其中，如果至少基频与一个或多个谐波相匹配，则认为所述频谱中存在的所述频率分量和与一种或多种类型的应急车辆相关联的已知第一颜色光源的频率分量相匹配。
8.根据权利要求1或2所述的方法，还包括至少部分地基于确定存在与特定类型的应急车辆相关联的至少一个光源而使一个或多个动作得以执行。
9.根据权利要求8所述的方法，其中，所述一个或多个动作包括确定被检测为存在的一个或多个应急车辆的位置。
10.一种用于检测应急车辆的存在的设备，包括：
处理器；
至少一个存储器，所述至少一个存储器连接到所述处理器并存储可由所述处理器执行的指令，使得所述处理器：
接收由图像传感器在一段时间内拍摄的多个图像帧；
基于每个像素中第一颜色相对于总色的比率来确定每个图像帧中的多个像素的EV颜色分量，并且如果所述EV颜色分量超过预定阈值，则将第一值分配给像素，如果所述EV颜色分量未超过所述预定阈值，则将第二值分配给所述像素；
基于每个图像帧的所有第一值的总和，针对所述多个图像帧中每一者确定所述第一颜色的EV颜色值；
基于与所述多个图像帧相关联的所述EV颜色值生成时域表示；
将所述多个图像帧的所述时域表示转换成频谱；以及
通过分析所述频谱来判定是否存在与一种或多种类型的应急车辆相关联的第一颜色的任何闪烁光源。
11.根据权利要求10所述的设备，其中，所述第一值是1，所述第二值是0，以及其中，所述至少一个存储器还使得所述处理器在确定所述多个图像帧中每一者中的所述多个像素的所述EV颜色分量之后、并且在确定所述EV颜色值之前，使用中值滤波器去除杂散尖峰。
12.根据权利要求10至11中任一项所述的设备，其中，分析所述频谱包括判定所述频谱中存在的频率分量是否和与一种或多种类型的应急车辆相关联的已知第一颜色光源的频率分量相匹配。
13.根据权利要求12所述的设备，其中，如果至少基频与一个或多个谐波相匹配，则认为所述频谱中存在的频率分量和与一种或多种类型的应急车辆相关联的已知第一颜色光源的频率分量相匹配。
14.根据权利要求10至11中任一项所述的设备，其中，所述至少一个存储器还使所述处理器：
至少部分地基于确定存在与特定类型的应急车辆相关联的至少一个光源而使一个或多个动作得以执行。
15.一种非暂时性计算机可读存储介质，其上存储有计算机可读指令，其特征在于，该指令能被处理器执行以实施根据权利要求1至9中任一项所述的方法的步骤。
16.一种车辆，包括根据权利要求10至14中任一项所述的用于检测应急车辆的存在的设备。
CN201910948900.1A 2018-10-05 2019-10-08 应急车辆检测 Active CN111010530B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1816230.5 2018-10-05
GB1816230.5A GB2577734A (en) 2018-10-05 2018-10-05 Emergency vehicle detection

Publications (2)

Publication Number Publication Date
CN111010530A CN111010530A (zh) 2020-04-14
CN111010530B true CN111010530B (zh) 2021-12-14

Family

ID=68137960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910948900.1A Active CN111010530B (zh) 2018-10-05 2019-10-08 应急车辆检测

Country Status (5)

Country Link
US (1) US11341753B2 (zh)
EP (1) EP3633541A1 (zh)
JP (1) JP6924239B2 (zh)
CN (1) CN111010530B (zh)
GB (1) GB2577734A (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11216689B2 (en) * 2019-07-29 2022-01-04 Waymo Llc Detection of emergency vehicles
US20220309802A1 (en) * 2021-03-24 2022-09-29 Stoneridge Electronics Ab Vehicle emergency light detecting camera system
CN113596344B (zh) * 2021-07-26 2023-10-24 艾酷软件技术(上海)有限公司 拍摄处理方法、装置、电子设备和可读存储介质
CN114511770A (zh) * 2021-12-21 2022-05-17 武汉光谷卓越科技股份有限公司 道路标识标牌识别方法
DE102023103672A1 (de) * 2023-02-15 2024-08-22 Valeo Schalter Und Sensoren Gmbh Verfahren zum Identifizieren eines zumindest teilweise autonom betriebenen Kraftfahrzeugs in einer vorgegebenen Fahrzeugumgebung, Computerprogrammprodukt, computerlesbares Speichermedium sowie Identifizierungssystem
DE102023000716A1 (de) 2023-02-28 2024-03-28 Mercedes-Benz Group AG Vorrichtung und Verfahren zur optischen Erfassung von Einsatzfahrzeugen
CN116013095A (zh) * 2023-03-24 2023-04-25 中国科学技术大学先进技术研究院 红绿灯时间动态控制方法、装置、设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9766628B1 (en) * 2014-04-04 2017-09-19 Waymo Llc Vision-based object detection using a polar grid
CN107248245A (zh) * 2017-06-06 2017-10-13 余姚德诚科技咨询有限公司 警灯闪烁强度控制平台
CN107420844A (zh) * 2017-06-06 2017-12-01 高炎华 基于面部检测的灯泡型警灯

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002319091A (ja) * 2001-04-20 2002-10-31 Fuji Heavy Ind Ltd 後続車両認識装置
JP2012023459A (ja) * 2010-07-12 2012-02-02 Toshiba Alpine Automotive Technology Corp 車載用監視カメラおよびその撮像方法
JP2012026255A (ja) 2010-07-26 2012-02-09 Tomoyasu Yutaka ビリヤード式免震脚
US20120136559A1 (en) * 2010-11-29 2012-05-31 Reagan Inventions, Llc Device and system for identifying emergency vehicles and broadcasting the information
US9576208B2 (en) * 2013-12-11 2017-02-21 Continental Automotive Systems, Inc. Emergency vehicle detection with digital image sensor
JP2015226255A (ja) * 2014-05-29 2015-12-14 株式会社ニコン 撮像装置および自動車
US20160025905A1 (en) 2014-06-13 2016-01-28 Whiteoptics Llc Low Refractive Index Coating With Fluroelastomer Encapsulated Glass Bubbles
JP6248823B2 (ja) * 2014-06-19 2017-12-20 株式会社デンソー 車載表示装置
US20160252905A1 (en) * 2014-08-28 2016-09-01 Google Inc. Real-time active emergency vehicle detection
JP2018013386A (ja) * 2016-07-20 2018-01-25 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
EP3497925B1 (en) 2016-08-09 2022-11-23 Contrast, Inc. Real-time hdr video for vehicle control
US10127818B2 (en) 2017-02-11 2018-11-13 Clear Commute Ventures Pty Ltd Systems and methods for detecting and avoiding an emergency vehicle in the proximity of a substantially autonomous vehicle
CN106971196A (zh) 2017-03-02 2017-07-21 南京信息工程大学 一种基于代价敏感的核稀疏表示分类器的消防车识别方法
CN110168625A (zh) * 2017-05-03 2019-08-23 华为技术有限公司 一种应急车辆的识别方法及装置
CN107734318A (zh) 2017-10-31 2018-02-23 努比亚技术有限公司 一种色彩调节方法、终端及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9766628B1 (en) * 2014-04-04 2017-09-19 Waymo Llc Vision-based object detection using a polar grid
CN107248245A (zh) * 2017-06-06 2017-10-13 余姚德诚科技咨询有限公司 警灯闪烁强度控制平台
CN107420844A (zh) * 2017-06-06 2017-12-01 高炎华 基于面部检测的灯泡型警灯

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Will this Car Change the Lane?—Turn Signal Recognition in the Frequency Domain;Bjorn Frohlich;《2014IEEE Intelligent Vehicles Symposium (IV)June 8-11, 2014》;20140611;摘要,37-40页，附图1-7 *

Also Published As

Publication number Publication date
JP6924239B2 (ja) 2021-08-25
US11341753B2 (en) 2022-05-24
JP2020061138A (ja) 2020-04-16
EP3633541A1 (en) 2020-04-08
US20200110949A1 (en) 2020-04-09
GB2577734A (en) 2020-04-08
CN111010530A (zh) 2020-04-14
GB2577734A8 (en) 2020-06-03

Similar Documents

Publication Publication Date Title
CN111010530B (zh) 应急车辆检测
CN110889351B (zh) 视频检测方法、装置、终端设备及可读存储介质
CN111332309B (zh) 驾驶员监视系统及其操作方法
US9139133B2 (en) Vehicle collision warning system and method
WO2015011998A1 (ja) レンズ汚れ検出装置およびレンズ汚れ検出方法
CN106314424B (zh) 基于汽车的超车辅助方法、装置及汽车
CN111661059B (zh) 分心驾驶监测方法、系统及电子设备
WO2012121107A1 (ja) 車戴カメラ及び車載カメラシステム
CN109318799B (zh) 汽车、汽车adas系统及其控制方法
US20170046952A1 (en) Dangerous Vehicle Warning Method and Dangerous Vehicle Warning System
WO2019193715A1 (ja) 運転支援装置
CN108482367A (zh) 一种基于智能后视镜辅助驾驶的方法、装置及系统
CN109720352A (zh) 车辆驾驶辅助控制方法及设备
JP4826355B2 (ja) 車両周囲表示装置
CN111645674B (zh) 车辆控制装置
US11685311B2 (en) System and method for warning a driver of a vehicle of an object in a proximity of the vehicle
CN108099906B (zh) 安装在汽车上的碰撞预警系统和汽车
KR20140069777A (ko) 차량용 스마트 운전 보조 시스템
TWI573713B (zh) 行車距離提示裝置及其方法
US10534071B2 (en) Using data from a radar sensor for machine learning based perception
CN208789582U (zh) 货车盲区检测装置
JP7145227B2 (ja) 標識認識装置
CN110633653B (zh) 基于流媒体内后视镜的并线辅助系统
WO2022219874A1 (ja) 信号処理装置および方法、並びにプログラム
CN118560516A (zh) 一种hud自适应显示方法、系统、设备及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230206

Address after: Germany Ingolstadt

Patentee after: Continental Zhixing Germany Co.,Ltd.

Address before: Hannover

Patentee before: CONTINENTAL AUTOMOTIVE GmbH

TR01 Transfer of patent right