CN115151955A - 用于监控机动车辆的环境的系统 - Google Patents

用于监控机动车辆的环境的系统 Download PDF

Info

Publication number
CN115151955A
CN115151955A CN202180018195.0A CN202180018195A CN115151955A CN 115151955 A CN115151955 A CN 115151955A CN 202180018195 A CN202180018195 A CN 202180018195A CN 115151955 A CN115151955 A CN 115151955A
Authority
CN
China
Prior art keywords
detection device
motor vehicle
image detection
nko
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180018195.0A
Other languages
English (en)
Inventor
C·比尔维福尔
T·雷特尔
S·魏森施泰纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZKW Group GmbH
Original Assignee
ZKW Group GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZKW Group GmbH filed Critical ZKW Group GmbH
Publication of CN115151955A publication Critical patent/CN115151955A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B60Q1/0023—Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025—Living bodies
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/45—Special conditions, e.g. pedestrians, road signs or potential dangers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Acoustics & Sound (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于监控机动车辆（100）的环境的系统（1），其中系统（1）包括用于检测检测区域（E1）中的对象的图像检测装置（2）、用于照亮检测区域（E1）的照明装置（3）以及用于检测图像检测装置（2）的检测区域（E1）的一部分的环境检测装置（7），其中系统（1）被设立用于如果已经探测到位于至少一个图像检测装置（2）的检测区域中的对象，则对所述对象在其对象类型方面进行分类，以及分别确定置信度值、即所谓的KO置信度值“KO”，所述KO说明能够由图像检测装置（2）以何种概率尤其是正确地确定所探测的对象的对象类型，并且其中系统（1）被设立用于，当对象（OBJ）位于检测区域（E1）中时，根据针对所探测的对象（OBJ）的KO，或者如果环境检测装置（7）探测所述对象并且所述对象不被图像检测装置（2）探测，或者如果环境检测装置（7）探测所述对象并且所述对象被图像检测装置（2）探测，但不能被分类，或者KO未超过所定义的极限值，或者如果所述系统（1）或环境检测装置（7）被设立用于对由环境检测装置（7）检测的位于照明装置（2）的检测区域（E1）中的并且被探测的对象在其类型方面进行分类，并且确定另一置信度值、即所谓的NKO置信度值“NKO”，所述NKO说明以何种概率尤其是正确地确定了所探测的对象的对象类型，根据针对所述对象（OBJ）的NKO，或者根据针对所述对象（OBJ）的KO和NKO，或者当KO<NKO适用时，或者操控照明装置（3），使得对象（OBJ）的区域中的照度被增加或减小或不被改变。

Description

用于监控机动车辆的环境的系统
技术领域
本发明涉及一种用于监控机动车辆、尤其是自主或半自主机动车辆的环境的系统，其中所述系统包括：
•至少一个图像检测装置、尤其是光学图像检测装置，其中图像检测装置被设立用于检测环境的检测区域，尤其是用于检测所述检测区域中的对象，
•至少一个照明装置，其中至少一个图像检测装置的检测区域可以由照明装置部分地、优选地完全地照亮，以及
•至少一个环境检测装置，其中环境检测装置被设立用于检测图像检测装置的检测区域的至少一部分、优选地整个检测区域，其中至少一个环境检测装置尤其是被设立用于探测对象，
•其中图像检测装置被设立用于
o如果已探测到位于至少一个图像检测装置的检测区域中的对象，则对所述对象在其对象类型方面进行分类，以及
o分别确定置信度值、即所谓的KO置信度值“KO”，所述KO说明能够由图像检测装置以何种概率尤其是正确地确定所探测的对象的对象类型。
本发明此外涉及一种用于机动车辆、尤其是自主或半自主机动车辆的机动车辆前灯，其中机动车辆前灯包括这样的系统。
背景技术
在机动车辆、诸如汽车中，同时经常设置图像检测装置，借助于所述图像检测装置可以监控机动车辆的环境、例如在行驶方向上看位于机动车辆前方的区域。例如，图像检测装置可以包括对象识别单元和/或模式识别单元，或者一个或多个这样的单元连接到图像检测装置上。以这种方式，例如可以探测人员和/或在前方行驶的车辆和/或迎面而来的车辆和/或道路标线和/或交通标志等。
在本文本中，在术语“探测”和“分类”（或识别）之间进行区分。术语“探测”被理解为装置虽然识别对象在其检测区域中的存在（“探测”），但不一定识别所述对象是哪个对象、即哪种类型的对象（人员、载客汽车、载重汽车、自行车、交通标志等）（“分类”）。如果装置也可以标识对象的类型，则谈及“分类”。装置在特定状况下可以正确地标识对象的概率用（针对该装置的）所谓的置信度值来描述。置信度值一方面取决于具体状况（例如亮度、在对象与装置之间的相对速度、在对象与装置之间的角度、对象距装置的距离等），而另一方面取决于装置如何好地在硬件和/或软件方面被设计用于分类。第一点实际上不能被影响，而第二方面取决于装置的基本方案以及取决于其软件/算法如何好地设计或被训练。
术语“图像检测装置”被理解为原则上被设立用于不仅探测对象而且也能够对所述对象进行分类的装置。
“环境检测装置”作为最低要求具有：为了探测对象被设立用于不必须能够对所述对象进行分类，而是也可以使用也适用于进行分类的环境检测装置。
因此可以规定，环境检测装置被设立用于探测对象，而不用于对所述对象进行分类。
但是也可以规定，环境检测装置被设立用于探测对象并且对所述对象进行分类。
因为通过由两个或更多个装置对检测区域和位于其中的对象进行检测可以显著提高可靠性（例如关键字“传感器融合”），所以为了允许如尤其是对于半自主或自主车辆而且对于现代车辆中的辅助系统使用的可靠的探测和/或对象识别，开头提到的系统有很大的优点，所述系统一方面拥有图像检测装置并且附加地还具有至少一个附加的环境检测装置。
在这样的系统的情况下，尤其是使用图像检测装置，所述图像检测装置优选地例如在使用一个或多个对应的摄像机或摄像机系统（光学和/或IR范围）的情况下是光学装置、即在可见光的范围中、在一些情况下也在IR光谱的范围中工作的装置。这样的图像检测装置也适用于对对象进行分类。
利用上面描述的装置可以在许多周围环境条件下很好地满足驾驶员辅助系统或自主车辆的目前高的以及在将来可能还要提高的要求。每个传感器系统、即每个检测装置均具有有限的工作范围——通过组合不同的传感器系统或传感器技术，在许多条件下进行可靠的对象探测和分类是可能的。
尤其是摄像机对于自行式车辆的控制以及对于驾驶辅助系统来说是非常重要的，因为所述摄像机当前是通常能够可靠地执行对象识别和分类的传感器装置（检测装置）的唯一类型。如上已经描述的，由置信度值来确定识别的可靠性。所述置信度值描述装置如何肯定（sicher）涉及特定的对象（例如汽车），系统可以对所述特定的对象进行分类。
例如在夜间行驶、恶劣天气状况（雨、雾、雪、浮沫）或眩目（自眩目或外来眩目）时，可能发生其中置信度值未超过（unterschreiten）置信度水平或极限值的尤其是与安全性相关的状况，自所述置信度水平或极限值起不再给出可靠的对象分类。由此发生关于开头提到的系统的实用性的强烈限制，因为可能得出其中不可靠地给出对象分类的大量状况。
发明内容
本发明的任务是说明一种用于如何能够改善对象的探测和分类的解决方案。
该任务通过以下方式解决，即根据本发明所述系统被设立用于，当对象位于检测区域中时，
-如果环境检测装置探测对象并且所述对象不被图像检测装置探测，或者
-如果所述环境检测装置探测所述对象并且所述对象被所述图像检测装置探测，
o但不能被所述图像检测装置分类，或者
o在分类时由所述图像检测装置（2）确定的KO未超过所定义的极限值，
则操控所述照明装置，使得所述对象的区域中的照度被增加或减小。
优选地规定，环境检测装置和图像检测装置是不同类型的。如果例如图像检测装置作为摄像机（必要时具有下游评估电子设备），即是摄像机类型的，则环境检测装置是其他类型，即不是摄像机类型。
例如，根据本发明可以规定，如果对象被环境检测装置探测或者甚至可以被分类，并且该对象不被图像检测装置探测或者虽然被探测但是不能被分类，则该对象的区域中的亮度被适配为使得图像检测装置也可以探测对象并且优选地也可以对所述对象进行分类，尤其是以高概率正确地对所述对象进行分类。
例如从而光学图像检测装置（光学传感器）本身或另一传感器系统（环境检测装置）可以从例如高分辨率的光源请求更多的（或更少的）光，以便获得用于对对象进行分类的必要的辅助。
例如利用本发明，即使在夜间、恶劣天气或眩目场景时也可以实现可靠的对象识别和分类，并且由此可以实现系统的更好的实用性。
可以规定，如果KO未超过KO置信度值的所定义的极限值KOmin，则增加或减小对象的区域中的照度。例如，从光学图像检测装置的图像信息中获取对应的亮度信息。
可以规定，环境检测装置被设立用于对由所述环境检测装置检测的位于照明装置的检测区域中的并且被探测的对象在其类型方面进行分类，并且确定另一置信度值、即所谓的NKO置信度值“NKO”，所述NKO说明：
o根据针对所述对象的NKO，或者
o根据针对所述对象的KO和NKO，或者
当KO<NKO适用时，
以何种概率尤其是正确地确定了所探测的对象的对象类型。
可以规定，如果KO小于NKO，则增加或减小对象的区域中的照度。为了显著提高对象识别的可靠性，在至少一个环境检测装置能够比图像检测装置更可靠地对对象进行分类的情况下，适配亮度使得图像检测装置也能够更可靠地或可靠地对对象进行分类。从而显著提高整个系统的对象识别可靠性。
该系统优选地包括用于确定KO和/或NKO的置信度值确定装置。典型地，置信度值确定装置是一种算法或多种算法，所述一种算法/多种算法以一个或多个可执行程序的形式在硬件上被执行。可以设置确定KO和NKO的算法，但是也可以为KO和NKO分别设置自身的或分别设置至少一个自身的算法。
可以规定，该系统包括至少一个用于根据KO、或NKO、或KO和NKO操控至少一个照明装置的控制设备。
置信度值确定装置可以例如由控制设备或在控制设备中实现，例如作为一种或多种算法实现，所述算法例如在控制设备上被执行以便计算KO和/或NKO。所述一种算法或多种算法也可以在独立的计算设备上被执行。置信度值确定装置被供应至少一个、尤其是光学的图像检测装置和/或至少一个、优选地非光学的环境检测装置的对应的输入数据。这些装置的测量数据表示输入数据，置信度值确定装置提供对应的输出数据（KO和/或NKO），给控制设备供应所述输出数据。
可以规定，照明装置被设立用于产生机动车辆光分布或机动车辆光分布的一部分，其中所述照明装置例如包括用于产生近光分布的近光模块和/或用于产生远光分布的远光模块或用于产生近光分布和远光分布的组合模块。
例如，对于照明装置可以使用单独可操控的光源（例如可以借助于多个光源、例如LED产生光分布的设备，其由多个分段或由大量像素构建，其中光源通常能够彼此独立地被操控）或高分辨率系统（例如：DLP、激光扫描仪系统、MiniLED系统、MicroLED系统、LCD系统、LCoS系统）。利用这些可以有针对性地适配对象的区域中的亮度或照度，而不影响或过度影响其他区域中的亮度或照度。
对于照明装置也可以使用对于人类不可见的光源（例如红外光源）或与可见光源组合地使用所述光源。
例如规定，环境检测装置包括雷达和/或激光雷达和/或基于超声波的传感器和/或IR摄像机和/或TOF摄像机（“飞行时间”）和/或MS（“多光谱”）摄像机。
优选地规定，图像检测装置包括一个或多个摄像机或一个或多个摄像机系统、尤其是多个光学摄像机/摄像机系统或一个光学摄像机或一个光学摄像机系统。“光学”可以被理解为该摄像机或该系统或该装置/设备在可见波长范围内工作。
可以规定，图像检测装置在可见波长范围内和/或在不可见波长范围内、例如在IR范围内工作。
可以规定，照明装置被设立用于持久地照亮所述对象，或者其中所述照明装置可以例如以时钟控制的方式被运行，并且优选地与所述图像检测装置同步地被运行，使得仅当所述图像检测装置是激活的时才照亮所述对象，或者其中所述照明装置被设立用于将闪光、尤其是时间短的闪光发出到所述对象上。
闪光的持续时间在这里典型地处于毫秒或微秒范围内。
优选地规定，照明装置是机动车辆前灯、尤其是机动车辆的组成部分。
开头提到的任务也利用用于机动车辆、尤其是用于自主或半自主机动车辆的机动车辆前灯来解决，其中机动车辆前灯包括上面描述的系统，其中光学图像检测装置优选地布置在前灯的侧向边缘区域中。
本发明此外利用一种机动车辆来解决，所述机动车辆具有如上面描述的机动车辆前灯、优选地两个机动车辆前灯、即左机动车辆前灯和右机动车辆前灯，其中优选地至少所述照明装置是机动车辆的机动车辆前灯的组成部分。
最后，本发明也还利用一种用于监控机动车辆、尤其是自主或半自主机动车辆的环境的方法解决，其中为了执行所述方法使用根据权利要求1至11中任一项所述的系统或至少一个根据权利要求13所述的机动车辆的前灯或两个前灯、尤其是左前灯和右前灯。
附图说明
下面根据附图更详细地阐述本发明。在所述附图中
图1示出具有根据本发明的系统的机动车辆，以及
图2以示意性功能图示示出根据本发明的系统。
具体实施方式
图1示出机动车辆100、例如自主或半自主机动车辆，所述机动车辆在其前侧处具有两个机动车辆前灯，其中在图1所示的非限制性示例中，左前灯10包括根据本发明的系统1或这样的系统1至少部分地集成在前灯10中。
根据本发明的系统1用于监控机动车辆100的环境、尤其是位于机动车辆前方和/或侧向地（左侧和/或右侧地）位于机动车辆前方的环境。在所示的示例中，系统1包括图像检测装置2、尤其是光学图像检测装置2，其中图像检测装置2被设立用于检测环境的检测区域E1并且尤其是用于检测检测区域E1中的对象。
图像检测装置2优选地是一个或多个摄像机或一个或多个摄像机系统、优选地多个光学摄像机/摄像机系统或一个光学摄像机或一个光学摄像机系统。“光学”可以被理解为该摄像机或该系统或者该装置/设备在可见波长范围内工作。
该系统此外包括照明装置3，其中至少一个图像检测装置2的检测区域E1可以被照明装置3部分地、优选地完全地照亮，如这在图1中通过照明区域B示意性地示出的那样。在此，在本发明的一般性上下文中，表达“可以照亮”意味着，要么一旦照明装置3被接通，照明区域B就至少部分地照亮检测区域E1，如图1中所示，要么照明装置3可以将光转向到检测区域E1中。
照明装置3优选地是用于产生机动车辆光分布或机动车辆光分布的一部分的照明装置，其中照明装置3例如是或者包括用于产生近光分布的近光模块和/或用于产生远光分布的远光模块或者用于产生近光分布和远光分布的组合模块。照明装置3优选地相应地被装入前灯10中。
例如对于照明装置3可以使用单独可操控的光源（例如可以借助于多个光源、例如LED产生光分布的设备，其由多个分段或由大量像素构建，其中光源通常能够彼此独立地被操控）或高分辨率系统（例如：DLP、激光扫描仪系统、MiniLED系统、MicroLED系统、LCD系统、LCoS系统）。利用这些可以有针对性地适配对象的区域中的亮度或照度，而不影响或过度影响其他区域中的亮度或照度。
对于照明装置3也可以使用对于人类不可见的光源（例如红外光源）或与可见光源组合地使用所述光源。
可以规定，照明装置3被设立用于持久地照亮对象OBJ，或者照明装置3例如以时钟控制的方式被运行并且优选地与图像检测装置2同步地被运行，使得仅当图像检测装置2是激活的时才照亮对象，或者照明装置3被设立用于将闪光、尤其是时间短的闪光发出到对象上。闪光的持续时间在这里典型地处于毫秒或微秒范围内。
此外，系统1包括环境检测装置7，其中环境检测装置7被设立用于检测图像检测装置2的检测区域E1的至少一部分、优选地整个检测区域。环境检测装置7的检测区域在图1中用附图标记E2表示。例如可以规定，环境检测装置7被构造为或包括雷达（RADAR）和/或激光雷达（LIDAR）和/或包括基于超声波的传感器和/或IR摄像机和/或TOF摄像机（“飞行时间（Time of Flight）”）和/或MS（“多光谱”）摄像机和/或热图像摄像机。可以规定，图像检测装置2在可见波长范围内和/或在不可见波长范围内、例如在IR范围内工作。
系统1或图像检测装置2被设立用于如果已探测到位于图像检测装置2的检测区域E1中的对象OBJ，则对所述对象在其对象类型方面进行分类，并且确定置信度值、所谓的KO置信度值“KO”，所述KO说明所探测的对象的对象类型以何种概率尤其是正确地已由图像检测装置2确定。
不同的对象类型例如是载客汽车、载重汽车、单轨或多轨摩托车、自行车、行人等。
因此，KO说明系统如何肯定所探测的对象具有特定的对象类型。
此外，系统1被设立用于在如果对象OBJ位于检测区域E1中（如这在图1中所示的那样）的情况下，
-根据针对所探测的对象OBJ的KO，或者
-如果环境检测装置7探测对象OBJ，并且尽管所述对象处于图像检测装置2的检测区域E1中，但是该对象OBJ不被图像检测装置2探测，或者
-如果环境检测装置7探测对象并且该对象被图像检测装置2探测，
o但不能被图像检测装置2分类，或者
o KO未超过所定义的极限值，
-或者如果系统1或环境检测装置7被设立用于对由环境检测装置7检测的、位于图像检测装置2的检测区域E1中并且被探测的对象在其类型方面进行分类并且确定另一置信度值、即所谓的NKO置信度值“NKO”，所述NKO说明可以由环境检测装置7以何种概率尤其是正确地确定所探测的对象的对象类型，
o根据针对对象OBJ的NKO，或者
o根据针对对象OBJ的KO和NKO，或者
o当KO<NKO适用时，或者
操控照明装置3，使得对象OBJ的区域中的照度被增加或减小或不被改变。
例如，根据本发明可以规定，如果对象被环境检测装置7探测或者甚至可以被分类并且该对象不被图像检测装置2探测或者虽然被探测但不能被分类，则对象的区域中的亮度被适配、通常被提高但是例如在当前眩目的情况下也被降低，使得图像检测装置2也可以探测对象OBJ并且优选地也可以对所述对象进行分类，尤其是以高概率正确地对所述对象进行分类。
因此，图像检测装置2的KO被增加，尤其是增加到这样的程度，使得在相应的应用的范围内以及该应用的必要的安全性的程度方面可以通过图像检测装置2以足够高的概率对对象进行探测并且尤其是分类。
例如可以规定，如果KO未超过KO置信度值的所定义的极限值KOmin，则对象OBJ的区域中的照度被增加或减小。
该所定义的极限值KOmin的值又取决于相应的应用。
也可以规定，如果KO小于NKO，则增加或减小对象OBJ的区域中的照度。为了显著提高对象识别的可靠性，在一个环境检测装置7能够比图像检测装置2更可靠地对对象2进行分类的情况下，亮度被适配为使得图像检测装置2也可以更可靠地或可靠地对对象3进行分类。从而，整个系统1的对象识别可靠性明显被提高。
图2粗略地示意性地再次示出对根据本发明的系统1的组件、即图像检测装置2、环境检测装置7和照明装置3的概览。
该系统优选地包括用于确定KO和/或NKO的置信度值确定装置A1、A2。置信度值确定装置典型地是一种算法或多种算法A1、A2，所述算法以一个或多个可执行程序的形式在硬件8上被执行。可以设置确定KO和NKO的算法，但是也可以为KO和NKO分别设置自身的或分别设置至少一个自身的算法A1、A2。
此外，可以规定，该系统包括用于根据KO或NKO或KO和NKO操控照明装置3的控制设备9，其中KO和/或NKO从置信度值确定装置A1、A2或在其上执行这些置信度值确定装置A1、A2的硬件8被传送给控制设备9。
还可以规定，控制设备9集成到硬件8中和/或在所述硬件上被执行。
如图2中示意性地示出的系统1可以例如完全地集成到机动车辆前灯中，并且例如可以访问在前灯中原本存在的组件，即例如访问照明装置。但是也可以规定，例如硬件8和/或控制设备9不是机动车辆前灯的组成部分，而是机动车辆的组成部分。可替代地或附加地，图像检测装置2和/或环境检测装置7也可以在机动车辆中布置在机动车辆前灯之外。

Claims (15)

1.一种用于监控机动车辆（100）、尤其是自主或半自主机动车辆的环境的系统（1），其中所述系统（1）包括：
•至少一个图像检测装置（2）、尤其是光学图像检测装置（2），其中所述图像检测装置（2）被设立用于检测所述环境的检测区域（E1），尤其是用于检测所述检测区域（E1）中的对象，
•至少一个照明装置（3），其中所述至少一个图像检测装置（2）的检测区域（E1）能够被所述照明装置（3）部分地、优选地完全地照亮，以及
•至少一个环境检测装置（7），其中所述环境检测装置（7）被设立用于检测所述图像检测装置（2）的检测区域（E1）的至少一部分、优选地整个检测区域（E1），其中所述至少一个环境检测装置（7）尤其是被设立用于探测对象，
•其中所述图像检测装置（2）被设立用于
o如果已经探测到位于所述至少一个图像检测装置（2）的检测区域中的对象，则对所述对象在其对象类型方面进行分类，以及
o分别确定置信度值、即所谓的KO置信度值“KO”，所述KO说明能够由所述图像检测装置（2）以何种概率尤其是正确地确定所探测的对象的对象类型，其特征在于，
所述系统（1）被设立用于，当对象（OBJ）位于所述检测区域（E1）中时，
-如果所述环境检测装置（7）探测所述对象并且所述对象不被所述图像检测装置（2）探测，或者
-如果所述环境检测装置（7）探测所述对象并且所述对象被所述图像检测装置（2）探测，
o但不能被所述图像检测装置（2）分类，或者
o在分类时由所述图像检测装置（2）确定的KO未超过所定义的极限值，
则操控所述照明装置（3），使得所述对象（OBJ）的区域中的照度被增加或减小。
2.根据权利要求1所述的系统，其中所述系统被设计用于如果所述KO未超过所述KO置信度值的所定义的极限值KOmin，则增加或减小所述对象（OBJ）的区域中的照度。
3.根据权利要求1或2所述的系统，其中所述环境检测装置（7）被设立用于对由所述环境检测装置（7）检测的位于所述照明装置（2）的检测区域（E1）中的并且被探测的对象在其类型方面进行分类，并且确定另一置信度值、即所谓的NKO置信度值“NKO”，所述NKO说明：
o根据针对所述对象（OBJ）的NKO，或者
o根据针对所述对象（OBJ）的KO和NKO，或者
当KO<NKO适用时，
以何种概率尤其是正确地确定了所探测的对象的对象类型。
4.根据权利要求3所述的系统，其中所述系统被设立用于当所述KO小于所述NKO时，增加或减小所述对象（OBJ）的区域中的照度。
5.根据权利要求1至4中任一项所述的系统，所述系统包括用于确定KO和/或NKO的置信度值确定装置（A1、A2）。
6.根据权利要求1至5中任一项所述的系统，所述系统包括至少一个控制设备（9），用于根据KO、或NKO、或KO和NKO操控所述至少一个照明装置（3）。
7.根据权利要求1至6中任一项所述的系统，其中所述照明装置（3）被设立用于产生机动车辆光分布或机动车辆光分布的一部分，其中所述照明装置（3）例如包括用于产生近光分布的近光模块（3）和/或用于产生远光分布的远光模块（4）或用于产生近光分布和远光分布的组合模块。
8.根据权利要求1至7中任一项所述的系统，其中所述环境检测装置（7）包括雷达和/或激光雷达和/或基于超声波的传感器和/或IR摄像机和/或TOF摄像机（“飞行时间”）和/或MS（“多光谱”）摄像机和/或热图像摄像机。
9.根据权利要求1至8中任一项所述的系统，其中所述图像检测装置（2）包括一个或多个摄像机或一个或多个摄像机系统。
10.根据权利要求1至9中任一项所述的系统，其中所述图像检测装置（2）在可见波长范围内和/或在不可见波长范围内、例如在IR范围内工作。
11.根据权利要求1至10中任一项所述的系统，其中所述照明装置（3）被设立用于持久地照亮所述对象（OBJ），或者其中所述照明装置（3）能够例如以时钟控制的方式被运行，并且优选地与所述图像检测装置（2）同步地被运行，使得仅当所述图像检测装置（2）是激活的时才照亮所述对象，或者其中所述照明装置（3）被设立用于将闪光、尤其是时间短的闪光发出到所述对象上。
12.根据权利要求1至11中任一项所述的系统，其中所述照明装置（3）是机动车辆前灯（10）、尤其是机动车辆（100）的组成部分。
13.一种用于机动车辆（100）、尤其是自主或半自主机动车辆的机动车辆前灯，其中所述机动车辆前灯（10）包括根据权利要求1至12中任一项所述的系统（1），其中优选地所述光学图像检测装置（2）布置在前灯（10）的侧向边缘区域中。
14.一种机动车辆，具有根据权利要求13所述的机动车辆前灯（10）、优选两个机动车辆前灯（10）、即左机动车辆前灯（10）和右机动车辆前灯（10），其中优选地至少所述照明装置（3）是所述机动车辆（100）的机动车辆前灯（10）的组成部分。
15.一种用于监控机动车辆（100）、尤其是自主或半自主机动车辆的环境的方法，其中为了执行所述方法使用根据权利要求1至12中任一项所述的系统（1）或至少一个根据权利要求13所述的机动车辆的前灯或者两个前灯、尤其是左前灯和右前灯。
CN202180018195.0A 2020-03-02 2021-03-02 用于监控机动车辆的环境的系统 Pending CN115151955A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20160398.2A EP3876143A1 (de) 2020-03-02 2020-03-02 System zur überwachung der umgebung eines kraftfahrzeuges
EP20160398.2 2020-03-02
PCT/EP2021/055118 WO2021175814A1 (de) 2020-03-02 2021-03-02 System zur überwachung der umgebung eines kraftfahrzeuges

Publications (1)

Publication Number Publication Date
CN115151955A true CN115151955A (zh) 2022-10-04

Family

ID=69743131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180018195.0A Pending CN115151955A (zh) 2020-03-02 2021-03-02 用于监控机动车辆的环境的系统

Country Status (6)

Country Link
US (1) US20230117346A1 (zh)
EP (2) EP3876143A1 (zh)
JP (1) JP7436696B2 (zh)
KR (1) KR20220139933A (zh)
CN (1) CN115151955A (zh)
WO (1) WO2021175814A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2022352923A1 (en) * 2021-09-24 2024-04-18 Tusimple, Inc. System and method for implementing an adaptive light distribution for an autonomous vehicle
WO2023133431A1 (en) * 2022-01-07 2023-07-13 Tusimple, Inc. Adaptive illumination system for an autonomous vehicle
US11865967B2 (en) 2022-01-07 2024-01-09 Tusimple, Inc. Adaptive illumination system for an autonomous vehicle
DE102022115269A1 (de) 2022-06-20 2023-12-21 HELLA GmbH & Co. KGaA Fahrzeugassistenzsystem

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10354104A1 (de) * 2003-11-19 2005-06-02 Bayerische Motoren Werke Ag Verfahren zur Steuerung der Ausleuchtung eines seitlichen Fahrbahnbereichs mittels eines Hilfsscheinwerfers für ein Fahrzeug
DE102013004271A1 (de) * 2013-03-13 2013-09-19 Daimler Ag Verfahren und Vorrichtung zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs
US10562439B2 (en) * 2016-01-19 2020-02-18 Harman International Industries, Incorporated Techniques for optimizing vehicle headlights based on situational awareness
US9789808B1 (en) * 2016-07-01 2017-10-17 Toyota Motor Engineering & Manufacturing North America, Inc. Headlight directional control for illuminating an identified object
DE112017007062B4 (de) 2017-03-15 2022-09-22 Mitsubishi Electric Corporation Lichtintensitätsverstellvorrichtung, Lichtintensitätsverstellverfahren und Lichtintensitätsverstellprogramm
JP6930350B2 (ja) * 2017-10-02 2021-09-01 トヨタ自動車株式会社 車両用認知支援装置
EP3805045B1 (en) 2018-05-24 2023-07-19 Sony Group Corporation Information processing device, information processing method
KR102220950B1 (ko) * 2019-07-31 2021-02-26 엘지전자 주식회사 자율 주행 시스템에서 차량을 제어하기 위한 방법 및 장치

Also Published As

Publication number Publication date
JP2023516994A (ja) 2023-04-21
WO2021175814A1 (de) 2021-09-10
EP4115320A1 (de) 2023-01-11
JP7436696B2 (ja) 2024-02-22
KR20220139933A (ko) 2022-10-17
EP3876143A1 (de) 2021-09-08
US20230117346A1 (en) 2023-04-20

Similar Documents

Publication Publication Date Title
JP5680573B2 (ja) 車両の走行環境認識装置
US7920250B2 (en) System for the detection by a motor vehicle of a phenomenon that interferes with visibility
CN115151955A (zh) 用于监控机动车辆的环境的系统
JP5617999B2 (ja) 車載周辺物認識装置及びこれを用いる運転支援装置
US9415719B2 (en) Headlight control device
US8827514B2 (en) Vehicle light distribution control apparatus and method
US9042600B2 (en) Vehicle detection apparatus
JP4538468B2 (ja) 画像処理装置，画像処理方法、及び画像処理システム
López et al. Nighttime vehicle detection for intelligent headlight control
US20080007429A1 (en) Visibility condition determining device for vehicle
US9616805B2 (en) Method and device for controlling a headlamp of a vehicle
US9545875B2 (en) Method for controlling a light emission of a headlight of a vehicle
CN107199943B (zh) 用于机动车辆的智能灯组件和智能照明系统
EP3036130B1 (en) Vehicle imaging system and method for distinguishing between vehicle tail lights and flashing red stop lights
CN112533794B (zh) 前照灯控制方法以及前照灯控制装置
KR102135901B1 (ko) 차량의 hba 제어시스템 및 제어방법
CN110049898B (zh) 控制车辆的前灯光分布的方法
US20220417448A1 (en) System for Monitoring the Surroundings of a Motor Vehicle
JP6853890B2 (ja) 物体検出システム
KR101055078B1 (ko) 카메라를 이용한 차량의 상향등 제어 시스템 및 그 방법
Shadeed et al. On intelligent adaptive vehicle front-lighting assistance systems
US20230022313A1 (en) Object detection system for a motor vehicle
US11465552B2 (en) Method for obtaining an image of an object to be classified and associated system
CN111278679A (zh) 车辆照明控制方法和车辆照明控制设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination