CN112166433A - 用于检测标志灯的方法 - Google Patents

用于检测标志灯的方法 Download PDF

Info

Publication number
CN112166433A
CN112166433A CN201980033579.2A CN201980033579A CN112166433A CN 112166433 A CN112166433 A CN 112166433A CN 201980033579 A CN201980033579 A CN 201980033579A CN 112166433 A CN112166433 A CN 112166433A
Authority
CN
China
Prior art keywords
light
vehicle
detected
classified
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980033579.2A
Other languages
English (en)
Inventor
E·施特里格尔
M·普菲泽
S·海因里希
D·克勒克尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Zhixing Germany Co ltd
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of CN112166433A publication Critical patent/CN112166433A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0965—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Emergency Management (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及用于在本车(5)周围环境中检测标志灯(4)的方法，该方法具有以下步骤：借助一本车(5)摄像机系统(6)拍摄(S1)周围环境区域的一摄像机图像序列(1)，检测(S2)所拍摄摄像机图像(1)中的亮光点，剪切(S3)摄像机图像(1)中带有检测到亮光点的区域(3)，对剪切得到的区域(3)进行分类(S4)，如果重复检测到经分类的亮光点，由此超过了计数器阈值，则将亮光点归类(S5)为标志灯(4)。

Description

用于检测标志灯的方法
技术领域
本发明涉及一种用于检测标志灯的方法。
背景技术
从现有技术中已知例如可识别交通信号灯的方法，其中，还可确定交通信号灯显示哪种颜色。此外，已知的还有基于其他交通参与者的前灯和/或尾灯识别其他道路使用者。
已知方法的缺点在于，例如由此只能确定车辆的存在，但不能获得关于车辆的其他信息。由此无法识别例如警车等紧急任务用车。但是，这种紧急任务用车在某些条件下需要驾驶员采取特殊行为。
发明内容
因此，本发明的任务是提供一种能保障可靠识别紧急任务用车的方法。
本发明的任务通过权利要求1的技术方案解决。其他技术方案见于从属权利。
首先要考虑的是，通过主动式标志灯能最可靠地识别紧急任务用车。例如，蓝光是警车、消防车和救护车等的特征。如果检测到主动式标志灯，则可直接推断出紧急任务用车的存在。
因此，根据本发明所述，提出了一种用于在本车周围环境中检测标志灯的方法，该方法具有以下步骤：
-借助本车摄像机系统拍摄周围环境区域的摄像机图像序列，
-检测所拍摄摄像机图像中的亮光点，
-剪切摄像机图像中包含所检测到的亮光点的区域，
-对剪切区域进行分类，
-如果时间上连续几次检测到经分类的亮光点，并由此超过计数器的阈值，则将经分类的亮光点归类为标志灯。
在此，术语“标志灯”指的是例如德国警察使用的所谓旋转标志灯，或例如用于执行紧急任务的摩托车或救护车散热器格栅上的前置标志灯。
摄像机系统可是单目摄像机、立体摄像机或全景环视摄像机系统。
亮光点被理解为特定颜色通道中的例如10到50个最亮区域。如果相邻区域是相同亮度的像素，则被视为一个区域，并仅将其输入分类器一次，由此在10到50个最亮区域中仅计数一次。以此方式可防止将所有明亮区域分配给一个灯。
在此所使用的计数器阈值是检测到经分类光点的一定数量，要推断出标志灯存在，必须具有该经分类的光点的数量。在此重要的是，只考虑相应经分类的光点，因为在此仅与一种或多种特定颜色相关。由此，例如可防止将转向灯错误地识别为标志灯。
在一特别优选的实施方式中，使用神经网络进行分类。
神经网络尤其优选构成用于光、尤其是彩色光的分类器。彩色光尤其优选的是蓝色光。在该实施方式中，特别考虑特定通道中最亮区域或最大值，在蓝色通道中考虑的是蓝色光。对其他颜色，例如红色，则将在红色通道中对最大值加以考虑。可对各相应颜色使用相应分类器。还可并行使用不同的分类器，以便能可靠识别例如在美国使用的、由蓝色和红色构成的组合标志灯。还可设想，用多种类别对分类器进行训练，以使单一分类器用于不同颜色。
至少一个分类器优选具有输出端，籍此输出光的一种颜色。这在多个分类器用于不同颜色时特别有益。
在另一步骤中，优选通过标志灯将信息提供给驾驶员和/或驾驶员辅助系统。例如，可通过平视显示器或置于仪表板内或仪表板上的显示器例如以光学形式将信息提供给驾驶员。作为替代选择或附加措施，还可给出音频提示。向驾驶员提供信息是有益的，因为驾驶员可在必要时根据该信息执行相应的驾驶操作和/或提高对其他交通参与者异乎寻常的潜在驾驶行为的注意力。此外，将信息提供给驾驶员辅助系统是有益的，因为以此方式，本车例如可自主采取措施，为紧急任务用车构成一应急车道/让开车道。
在优选设计方案中，计数器在每次检测到经分类的光点后会增值，如果没有检测到经分类的光点，计数器减值。随后，计数器一直增值，直至达到一定数量的合格检测。合格检测是指将紧急任务用车分类为紧急任务标志灯的检测。另一方面，如果例如只有一次检测到紧急任务用车的紧急任务标志灯，则计数器先增值，但如果随后计数器不超过阈值，则再次减值。初始值例如是1，该值从第一次检测起就被超过，因此也被增加。最大值例如可是3。因此，计数器从1增加两次到3，第四次检测则对检测归类为标志灯起决定性作用。此设计配置的方法特别有益，因为以此方式可抑制输出错误的检测结果。
附图说明
其他有益的设计方案是附图的固定组成部分。
其中：
图1是一示例性交通情形的示意图；
图2是所述方法优选实施方式的示意流程图。
具体实施方式
图1展示一示例性交通情形的示意图。在此交通情形中，车道FS2上有一辆本车5，在车道FS3上有本车5旁的另一辆车2a，车道FS2上的另一辆车2b在道路F上在本车5之后。在此，三辆车沿相同的运动方向R1行驶。此外，车道还包括一紧急车道FS1。在此，本车具有一摄像机6，该摄像机具有一检测区域E和例如作为一全景环视摄像机系统固定组成部分朝后检测的张角α。另一辆车2b包括一标志灯4，它例如被设计成旋转标志灯。借助本车5的摄像机6检测到另一辆车2b，在以此方式拍摄的图像中检测亮光点，以测定是否有标志灯4存在。如果测定到另一辆车2b的主动式标志灯4，则本车例如可切换到紧急车道FS1，以便为被分类为紧急任务用车的另一辆车2b让路。
图2展示所述方法优选实施方式的示意性流程图。在步骤S1中，借助本车5的摄像机系统6拍摄周围环境区域的摄像机图像序列1。在步骤S2中，在拍摄到的摄像机图像1中检测亮光点或区域3。在随后的步骤S3中，在摄像机图像1中剪切具有亮光点的区域。然后在步骤S4中对剪切得到的区域3进行分类。在步骤S5中，如果时间上连续几次检测到经分类的亮光点，并超过一阈值，则将亮光点归类为为标志灯4。标志灯4处于此处所示拍摄到的摄像机图像中车辆2b的前部。
附图标记列表
1 摄像机图像
2a、2b 其他车辆
3 区域
4 标志灯
5 本车
6 摄像机系统
E 检测区域
F 道路
FS1-FS3 车道
R1 本车的运动方向
S1-S5 方法步骤

Claims (6)

1.用于在本车(5)周围环境中检测标志灯(4)的方法，该方法具有以下步骤：
-借助本车(5)的摄像机系统(6)拍摄(S1)周围环境区域的摄像机图像(1)序列，
-检测(S2)所拍摄摄像机图像(1)中的亮光点，
-剪切(S3)摄像机图像(1)中带有检测到亮光点的区域(3)，
-对剪切得到的区域(3)进行分类(S4)，
-如果重复检测到经分类的亮光点，并超过了计数器阈值，则将亮光点归类(S5)为标志灯(4)。
2.根据权利要求1所述的方法，
其中，使用神经网络进行分类。
3.根据权利要求2所述的方法，
其中，神经网络至少构成用于光，尤其是彩色光的分类器。
4.根据权利要求3所述的方法，
其中，至少一个分类器具有输出端，籍此输出光的颜色。
5.根据权利要求1所述的方法，
其中，在另一步骤中，信息通过标志灯(4)被提供给驾驶员和/或驾驶员辅助系统。
6.根据权利要求1所述的方法，
其中，在每次检测到经分类的光点后，计数器增值，如果没有检测到经分类的光点，计数器减值。
CN201980033579.2A 2018-06-12 2019-05-08 用于检测标志灯的方法 Pending CN112166433A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018209306.7A DE102018209306A1 (de) 2018-06-12 2018-06-12 Verfahren zur Detektion von Kennleuchten
DE102018209306.7 2018-06-12
PCT/DE2019/200039 WO2019238177A1 (de) 2018-06-12 2019-05-08 Verfahren zur detektion von kennleuchten

Publications (1)

Publication Number Publication Date
CN112166433A true CN112166433A (zh) 2021-01-01

Family

ID=66676152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980033579.2A Pending CN112166433A (zh) 2018-06-12 2019-05-08 用于检测标志灯的方法

Country Status (6)

Country Link
US (1) US12014632B2 (zh)
EP (1) EP3807805A1 (zh)
JP (1) JP7440424B2 (zh)
CN (1) CN112166433A (zh)
DE (2) DE102018209306A1 (zh)
WO (1) WO2019238177A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021118694A1 (de) 2021-07-20 2023-01-26 Connaught Electronics Ltd. Verfolgen eines Einsatzfahrzeugs
DE102022118578A1 (de) 2022-07-25 2024-01-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren für ein Kraftfahrzeug zur Anpassung einer Wahrnehmbarkeit eines Einsatzfahrzeugs, Computerprogramm und/oder computerlesbares Medium, Datenverarbeitungsvorrichtung und Kraftfahrzeug

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009241636A (ja) * 2008-03-28 2009-10-22 Fuji Heavy Ind Ltd 運転支援システム
DE102009051100A1 (de) * 2008-10-31 2010-05-06 Ait Austrian Institute Of Technology Gmbh Verfahren zum Zählen von Objekten
EP2523173A1 (en) * 2011-05-10 2012-11-14 Autoliv Development AB Driver assisting system and method for a motor vehicle
CN103514664A (zh) * 2012-06-14 2014-01-15 索尼公司 停车计费的实现装置、系统和方法
CN104361753A (zh) * 2014-11-26 2015-02-18 浙江宇视科技有限公司 一种车辆未交替行驶的违章取证方法及装置
US20170200067A1 (en) * 2016-01-08 2017-07-13 Siemens Healthcare Gmbh Deep Image-to-Image Network Learning for Medical Image Analysis

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05266190A (ja) 1992-03-17 1993-10-15 Sony Corp 色識別装置
JP2002319091A (ja) 2001-04-20 2002-10-31 Fuji Heavy Ind Ltd 後続車両認識装置
JP2004013592A (ja) * 2002-06-07 2004-01-15 Nissan Motor Co Ltd 車両検出装置及び方法
DE102007013664A1 (de) * 2006-03-22 2007-09-27 Daimlerchrysler Ag Multisensorieller Hypothesen-basierter Objektdetektor und Objektverfolger
WO2007107315A1 (de) 2006-03-22 2007-09-27 Daimler Ag Multisensorieller hypothesen-basierter objektdetektor und objektverfolger
TWI365562B (en) * 2008-10-03 2012-06-01 Ind Tech Res Inst Positive electrode and method for manufacturing the same and lithium battery utilizing the same
DE102010024415B4 (de) * 2010-06-19 2021-09-16 Volkswagen Ag Verfahren und Vorrichtung zur Aufnahme einer Bilderfolge einer Umgebung eines Fahrzeugs
EP2648159A4 (en) * 2010-11-29 2018-01-10 Kyushu Institute of Technology Object detecting method and object detecting device using same
JP5891409B2 (ja) * 2012-01-12 2016-03-23 パナソニックＩｐマネジメント株式会社 特徴抽出装置、特徴抽出方法、および特徴抽出プログラム
KR101288754B1 (ko) * 2012-03-21 2013-07-23 주식회사트레디오 칼라 채널 코드 인식 장치
JP2014230002A (ja) 2013-05-20 2014-12-08 キヤノン株式会社 画像表示装置、画像表示装置の制御方法およびプログラム
US9875903B2 (en) 2014-04-25 2018-01-23 Conduent Business Services, Llc Store resource event detection
JP6569385B2 (ja) 2015-08-20 2019-09-04 株式会社Ｊｖｃケンウッド 車両検出装置、車両検出システム、車両検出方法、及び車両検出プログラム
US9858498B2 (en) 2015-09-23 2018-01-02 Qualcomm Incorporated Systems and methods for incremental object detection using dual-threshold local binary pattern operators
JP6742736B2 (ja) 2016-01-22 2020-08-19 株式会社デンソーテン 信号機の点灯色判定装置および信号機の点灯色判定方法
JP6643166B2 (ja) 2016-03-31 2020-02-12 株式会社デンソー 物体認識装置及び物体認識方法
JP2018206035A (ja) * 2017-06-02 2018-12-27 株式会社デンソーテン 移動量推定装置、移動量推定システムおよび移動量推定方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009241636A (ja) * 2008-03-28 2009-10-22 Fuji Heavy Ind Ltd 運転支援システム
DE102009051100A1 (de) * 2008-10-31 2010-05-06 Ait Austrian Institute Of Technology Gmbh Verfahren zum Zählen von Objekten
EP2523173A1 (en) * 2011-05-10 2012-11-14 Autoliv Development AB Driver assisting system and method for a motor vehicle
CN103514664A (zh) * 2012-06-14 2014-01-15 索尼公司 停车计费的实现装置、系统和方法
CN104361753A (zh) * 2014-11-26 2015-02-18 浙江宇视科技有限公司 一种车辆未交替行驶的违章取证方法及装置
US20170200067A1 (en) * 2016-01-08 2017-07-13 Siemens Healthcare Gmbh Deep Image-to-Image Network Learning for Medical Image Analysis

Also Published As

Publication number Publication date
JP7440424B2 (ja) 2024-02-28
US20210089797A1 (en) 2021-03-25
WO2019238177A1 (de) 2019-12-19
DE112019002959A5 (de) 2021-04-08
DE102018209306A1 (de) 2019-12-12
JP2021527860A (ja) 2021-10-14
US12014632B2 (en) 2024-06-18
EP3807805A1 (de) 2021-04-21

Similar Documents

Publication Publication Date Title
US11014575B2 (en) Vehicular illumination device, vehicle system and vehicle
US20120133738A1 (en) Data Processing System and Method for Providing at Least One Driver Assistance Function
JP2020522907A (ja) 明滅する照明された物体を検出するのにフィルタおよび露出時間を使用するカメラ・システム
EP3079948B1 (en) Method for operating a rearview camera system of a motor vehicle after detection of a headlight flasher, rearview camera system and motor vehicle
US10259383B1 (en) Rear collision alert system
US9536157B2 (en) Method for identification of a projected symbol on a street in a vehicle, apparatus and vehicle
US10750085B2 (en) Camera device for capturing a surrounding area of a driver's own vehicle and method for providing a driver assistance function
US10354525B2 (en) Alerting system and method thereof
CN111032413A (zh) 用于运行机动车的屏幕的方法以及机动车
CN112166433A (zh) 用于检测标志灯的方法
CN107680395A (zh) 一种无线路况车内警示系统及其方法
CN112119398A (zh) 用于运行机动车的摄像机-监视器系统的方法和设备
US20230174091A1 (en) Motor-vehicle driving assistance in low meteorological visibility conditions, in particular with fog
CN110371017A (zh) 一种远光灯控制方法及系统
US20140049645A1 (en) Method and system for imaging an external scene by employing a custom image sensor
US20230186644A1 (en) A vision system and method for a motor vehicle
US20160167581A1 (en) Driver interface for capturing images using automotive image sensors
JP2019219856A (ja) 周辺監視システム
US20200213486A1 (en) Vehicle camera system and method
KR101502088B1 (ko) 카메라 영상을 이용한 차량 후미등 정상 작동 여부 검출 방법 및 그 시스템
US10217006B2 (en) Method and device for detecting objects in the dark using a vehicle camera and a vehicle lighting system
GB2401270A (en) Fog detection system
EP4383226A1 (en) System for indicating a connection between at least two cars
JP2005182455A (ja) 車両間通信システム
EP4181109A1 (en) Method and device for controlling a transparent display configured to display content in a windshield of a vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240412

Address after: Ingolstadt, Germany

Applicant after: Continental Zhixing Germany Co.,Ltd.

Country or region after: Germany

Address before: Nuremberg, Germany

Applicant before: CONTI TEMIC MICROELECTRONIC GmbH

Country or region before: Germany