CN115843338A - 用于探测丢失的图像信息的方法、用于执行这种方法的控制装置、具有这种控制装置的探测装置和具有这种探测装置的机动车 - Google Patents

用于探测丢失的图像信息的方法、用于执行这种方法的控制装置、具有这种控制装置的探测装置和具有这种探测装置的机动车 Download PDF

Info

Publication number
CN115843338A
CN115843338A CN202180038721.XA CN202180038721A CN115843338A CN 115843338 A CN115843338 A CN 115843338A CN 202180038721 A CN202180038721 A CN 202180038721A CN 115843338 A CN115843338 A CN 115843338A
Authority
CN
China
Prior art keywords
optical sensor
image
region
image information
photograph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180038721.XA
Other languages
English (en)
Inventor
F·施泰因
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daimler Truck Holding AG
Original Assignee
Daimler Truck AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler Truck AG filed Critical Daimler Truck AG
Publication of CN115843338A publication Critical patent/CN115843338A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Vascular Medicine (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种用于借助照明装置(5)和光学传感器(7)探测丢失的图像信息的方法，其中，对照明装置(5)和光学传感器(7)的驱控进行相互时间协调，其中，在该光学传感器(7)的观测区域(13)中，通过对照明装置(5)和光学传感器(7)的驱控进行的时间协调来得到可见的距离区域(15)，其中，利用光学传感器(7)借助经协调的驱控来采集观测区域(13)的照片(25)，其中，在照片(25)中在图像侧的可见的距离区域(15)之外的区域内搜索图像信息，其中，探测所找到的图像信息并使之可供使用。

Description

用于探测丢失的图像信息的方法、用于执行这种方法的控制 装置、具有这种控制装置的探测装置和具有这种探测装置的 机动车
技术领域
本发明涉及一种用于探测丢失的图像信息的方法、一种用于执行这种方法的控制装置、一种具有这种控制装置的探测装置和一种具有这种探测装置的机动车。
背景技术
从公开号为WO 2017/009848 A1的国际专利申请中得到一种方法，在此，照明装置和光学传感器被时间相互协调地驱控，以便在光学传感器的观测区域内拍摄一定的可见的距离区域，其中，可见的距离区域来自照明装置和光学传感器的驱控的时间协调。图像信息的探测在照片中仅在可见的距离区域中进行。但在该区域中，逆向反射对象被过度曝光，并且在交通标志下无法用软件技术读取。该照片的未对应于可见的距离区域的图像区域的评估是未知的。
发明内容
因此，本发明的目的是提供一种用于探测丢失的图像信息的方法、一种设立用于执行这种方法的控制装置、一种具有这种控制装置的探测装置和一种具有这种探测装置的机动车，其中，上述缺点被至少部分消除，最好得以避免。
如此实现该目的，即，提供本技术教导，尤其是独立权利要求的以及在从属权利要求和说明书中公开的实施方式的教导。
尤其如此实现该目的，即，提供一种用于借助照明装置和光学传感器探测丢失的图像信息的方法。在此，照明装置和光学传感器被相互时间协调地驱控。在光学传感器的观测区域中的可见的距离区域的局部位置在此通过对照明装置与光学传感器的驱控进行时间协调而得到。该观测区域的照片利用光学传感器借助经协调的驱控被采集。最终，在照片内在图像侧的可见的距离区域外的区域中搜索图像信息。如果在照片内在图像侧的可见的距离区域外的区域中找到图像信息，则该图像信息被探测和使之可供使用。“使之可供使用”在此尤其是指，所探测到的图像信息被转送至控制器以便进一步处理和/或在自主驾驶中使用或者以其它方式可供控制器所用。
借助此处所提出的方法，可以有利地探测在可见的距离区域外的对象并且给在此执行该方法的车辆提供相应信息以供使用。尤其是可以高精度地进行对有一定荧光效果和/或磷光效果的逆向反射/向后反射(retroreflektierend)的交通标志的探测和识别。这是尤其可能的，因为交通标志因光致发光性能而吸收照明光子并且在照明结束后经过一定期间、尤其长达几秒又发出这些光子。因此，具有光致发光性能的逆向反射交通标志在被直接照明时、即在其位于可见的距离区域中时因附加的反光作用被过度曝光且因此无法用软件技术来读取。一旦交通标志不再位于可见的距离区域中时，则光致发光效果开始起作用，并且由于该光致发光效果而所发出的光子使得交通标志在光学传感器的照片中被清晰呈现。有利地，该方法也适于识别具有光致发光构件的自行车和穿有光致发光衣物的人。
该方法可以有利地被用在自动驾驶车辆、尤其是自动驾驶卡车中。尤其在夜间行驶中，可以有利地借助该方法探测交通标志或其它交通参与者。该方法允许及时适当地对探测到的交通标志和其它交通参与者做出反应。这种适当的反应例如可以是减速、急刹车或以必要时专门指定的避让运动轨迹来行驶。
用于借助照明装置和光学传感器的相互时间协调的驱控生成照片的方法尤其涉及被称为选通成像法的方法；该光学传感器尤其是摄像头，其仅在指定的受限时间范围内切换至敏感，这被称为“选通驱控”，摄像头因此是选通摄像头。该照明装置也相应地在时间上仅以一定的所选时间间隔被驱控，以照亮对象侧场景。
尤其通过该照明装置发出预定数量的优选具有5ns-20ns持续时间的光脉冲。光学传感器的曝光的起始和结束与所输出的光脉冲的数量和持续时间相关联。因此，一定的可见的距离区域可以通过对照明装置和光学传感器的在时间上的驱控按照相应规定的局部位置(即尤其是距离区域的起始点距光学传感器的规定距离和规定的距离区域宽度)由光学传感器来测定。
在此，可见的距离区域是三维空间内的如下对象侧区域，其借助光学传感器通过照明装置光脉冲的数量和持续时间结合光学传感器曝光起点和终点以两维照片的形式呈现在光学传感器的图像平面上。
与之相比，观测区域尤其是三维空间内的如下对象侧区域，其在光学传感器充分照明和曝光下借助光学传感器在两维照片中可总体上且尤其是最大程度地被呈现。尤其是，观测区域对应于光学传感器的理论上可被照亮的整个可曝光图像区域。可见的距离区域因此是真实空间内的观测区域的子集。
图像侧观测区域对应于所有基于光学传感器存在的图像行。图像侧的可见的距离区域作为图像平面的局部区域尤其存在于起点图像行与终点图像行之间。起点图像行在照片中确定可见的距离区域的起点。此外，终点图像行在照片中确定可见的距离区域的终点。
就在此和以下谈到“对象侧”而言，说的是真实空间中的区域，即，在待观测对象的那侧。就在此和以下谈到“图像侧”而言，说的是在光学传感器图像平面上的区域。观测区域和可见的距离区域在此在对象侧存在。与之对应的是在图像平面上的通过成像定理以及照明装置和光学传感器的在时间上的驱控而相配属的图像侧区域。
依据在借助照明装置的照明开始之后的光学传感器曝光的起点和终点，光脉冲光子击中光学传感器。可见的距离区域离照明装置和光学传感器越远，在该距离区域中被反射的光子击中光学传感器所需的持续时间越长。因此，可见的距离区域离照明装置和光学传感器越远，照明结束和曝光开始之间的时间间隔越长。
因此根据该方法的一个设计尤其可行的是，通过相应适当选择对照明装置和光学传感器两者的在时间上的驱控来限定该可见的距离区域的位置和空间宽度。
在该方法的一个替代设计中可以设置可见的距离区域，其中，由此确定并相应设置对照明装置和光学传感器两者的在时间上的协调。
图像行在此尤其是指在光学传感器的图像平面内的照片的全部如下的像素的集合，该像素在图像平面内位于同一水平线上。
尤其是，对图像信息的、优选光致发光对象的探测被用在所有没有位于起点图像行和终点图像行之间的图像行上。
照明装置在优选设计中是激光器。光学传感器在优选设计中是摄像头。
根据本发明的一个改进方案而规定，针对距离区域的照片，借助光学传感器的每一图像行的照明强度加和来创建关于与基于光学传感器的观测区域内的评估区域相配属的所有图像行的行直方图(Zeilenhistogramm)。起点图像行和终点图像行于是借助行直方图被确定。由此确定在图像侧距离区域之外的图像侧区域。这有利地允许查明基于光学传感器的与对象侧的可见的距离区域在图像侧相配属的区域的图像位置。即，就此由对照明装置和光学传感器两者的在时间上的驱控而得到在图像侧距离区域的起始点和图像侧距离区域的结束点处清晰的亮度过渡/亮度转变。最终能够实现确定在图像侧的可见的距离区域外的如下区域，在该区域中搜索尤其是光致发光对象的图像信息。
行直方图在此尤其是指，在评估区域内给光学传感器的各个图像行配属相应的图像行的位于该评估区域内的所有像素的照明强度之和。通过这种方式，相应因时间上的驱控而出现的亮度过渡可以在光学传感器的图像平面内被很简单可靠地探测。
根据一个优选设计，评估区域与观测区域彼此相同。这相当于特别容易地实现的方法实施方式。但也可行的是，该评估区域根据另一个优选设计被选择为小于观测区域，尤其是作为待探测对象可能位于其中的目标区域或者“感兴趣区域”。这有利地允许快速高效地执行该方法。为此仅将位于评估区域中的像素纳入加和中，故评估区域也尤其可能在水平方向受限。
优选地，照片中的评估区域在计算行直方图前通过GPS预报(尤其在道路走向背投至图像平面的情况下)和/或通过光学轨迹追踪法被识别。
根据本发明的一个改进方案而规定，该图像信息的搜索和探测借助模式识别算法来执行。
根据本发明的一个改进方案而规定，该图像信息的搜索和探测借助深度学习来执行。
根据本发明的一个改进方案而规定，所探测到的图像信息被重建和存储。因此尤其可能的是向司机以结合照片的方式显示所探测到的图像信息。在自主行驶车辆的情况下，所探测的图像信息优选被存储以便能在行驶后解释车辆反应。
根据本发明的一个改进方案而规定，两个照片、即第一照片和第二照片利用光学传感器借助对照明装置和光学传感器进行的两个不同时间协调的驱控而被采集。第一照片、第二照片和所探测到的图像信息合并成一个全照片。优选地，第一照片的和第二照片的可见的距离区域不重叠。位于第一照片的可见的距离区域内的光致发光对象在第一照片中被过度曝光地呈现。有利地，光致发光对象不在第二照片的可见的距离区域中。因此，该对象能够因为其余辉性能而在可见的距离区域外被识别。在全照片中，在第一照片和第二照片组合时优选通过对象的来自第二照片的显示代替该对象的来自第一照片的过度曝光显示。尤其是通过该方法重建所探测的图像信息。
该目的也被如此实现，即，提供一种控制装置，其设立用于执行本发明的方法或根据前述实施方式之一的方法。该控制装置优选设计成计算装置尤其优选是计算机，或者设计成控制器且尤其是车辆控制器。控制装置尤其具有已经与所述方法相关所解释的优点。
该目的也被如此实现，即，提供一种探测装置，其具有照明装置、光学传感器和本发明的控制装置或根据前述实施例之一的控制装置。探测装置尤其具有已与所述方法和控制装置相关所解释的优点。
该控制装置优选与照明装置以及光学传感器两者都作用连接并且设立用于其驱控。
最后，该目的也被如此实现，即，提供一种具有本发明的探测装置或根据前述实施例之一的探测装置的机动车。机动车尤其具有已与所述方法、控制装置和探测装置相关所解释的优点。
在有利设计中，机动车被设计成卡车。但也可行的是机动车是轿车、载货汽车或其它机动车。
附图说明
以下将结合图来详细解释本发明，其中：
图1示出具有探测装置的实施例的机动车实施例的示意图；
图2示出在方法实施方式范围内用光学传感器采集的照片的示意图；
图3示出被用在该方法的实施方式中的行直方图的示意图。
具体实施方式
图1示出具有探测装置3的实施例的机动车1的一个实施例的示意图。探测装置3具有照明装置5和光学传感器7。另外，探测装置3具有控制装置9，其在此仅被示意性示出并且以未明确示出的方式作用连接至照明装置5和光学传感器7以便分别对其驱控。图1尤其示出照明装置5的照明视锥体11和光学传感器7的观测区域13。此外用阴影线示出可见的距离区域15，其作为光学传感器7的观测区域13的子集存在。
在可见的距离区域15内设置有交通标志17。在可见的距离区域15外设置有交通标志19。
在图1中也示出可见的距离区域15的起始点21和结束点23。
控制装置9尤其是设立用于执行一种用于探测在借助照明装置5和光学传感器7所生成的照片25中的丢失的图像信息的方法的如下所详述的实施方式。
在此，照明装置5和光学传感器7被相互时间协调地驱控，其中，在观测区域13内的可见的距离区域15通过对照明装置5和光学传感器7的驱控进行时间协调而得到。用光学传感器7在使用协调驱控下采集观测区域13的照片。
图2示出在光学传感器7的图像平面内的这种照片25的示意图。在此，在图2中在照片25内示出用于可见的距离区域15的起始点21的起点图像行27和用于其结束点23的终点图像行29。此外，在照片25中示出交通标志17、19的图像。在照片25中用17′表示交通标志17的图像，用19′表示交通标志19的图像。因为交通标志17和19的逆向反射性能，在交通标志17′的图像中看不到标记。交通标志19在照片25创建前不久在对象侧的可见的距离区域内被定位。由于交通标志19的光致发光性能，故可在交通标志19′的图像内清楚识别标记。
一种用于探测丢失的图像信息的方法于是被用在高于终点图像行29且低于起点图像行27的区域中，以搜索图像信息、优选是具有光致发光性能的对象。如果找到图像信息19′，则该图像信息被探测并可供控制装置9和进而机动车1和/或司机所用。
优选，用于搜索并探测丢失的图像信息的方法基于模式识别或深度学习。
另外，在图2中示出评估区域31，它尤其可以通过GPS预报和/或用于光学轨迹跟踪的方法来确定。评估区域31在此作为目标区域小于观测区域13。但它也可以与之重合。
图3示出根据图2的照片25的或照片25的评估区域31的行直方图33的示意图。在行直方图33中，在横坐标上绘制光学传感器7的各个图像行，其中，在纵坐标上针对每个图像行绘制在评估区域31内相应图像行的所有像素范围内的每个像素的照明强度之和。在与基于光学传感器7的评估区域31相配属的所有图像行的范围内借助对光学传感器7的每个图像行的照明强度的加和来创建行直方图33。于是起点图像行27和终点图像行29借助行直方图33被查明，其中，尤其因为对照明装置5和光学传感器7的时间协调的驱控而可以识别出在起点图像行27以及在终点图像行29两者中的显著强度突变。

Claims (9)

1.一种用于借助照明装置(5)和光学传感器(7)探测丢失的图像信息的方法，其中，
-对照明装置(5)和光学传感器(7)的驱控进行相互时间协调，其中，
-在光学传感器(7)的观测区域(13)中通过对照明装置(5)和光学传感器(7)的驱控进行的时间协调来得到可见的距离区域(15)，其中，利用该光学传感器(7)借助经协调的驱控来采集观测区域(13)的照片(25)，其中，
-在该照片(25)中在图像侧的可见的距离区域(15)之外的区域内搜索图像信息，其中，
-探测所找到的图像信息并使之可供使用。
2.根据权利要求1所述的方法，其中，为了识别图像侧的可见的距离区域(15)，通过将该光学传感器(7)的每个图像行的照明强度加和来创建关于与在基于光学传感器(7)的观测区域(13)内的评估区域(31)相配属的所有图像行的行直方图(33)，其中，借助该行直方图(33)确定起点图像行和终点图像行，其中，借助起点图像行和终点图像行来识别在照片(25)的图像侧的可见的距离区域(15)之外的区域。
3.根据上述权利要求中任一项所述的方法，其中，借助模式识别来执行对图像信息的搜索和探测。
4.根据上述权利要求中任一项所述的方法，其中，借助深度学习来执行对图像信息的搜索和探测。
5.根据上述权利要求中任一项所述的方法，其中，重建和存储所探测到的图像信息。
6.根据上述权利要求中任一项所述的方法，其中，以借助两个不同时间协调的驱控的方式利用光学传感器(7)来采集两个照片(25)，其中，所述照片(25)和所探测到的图像信息被合并成一个全照片。
7.一种控制装置(9)，其设立用于执行根据上述权利要求中任一项所述的用于探测丢失的图像信息的方法。
8.一种探测装置(3)，其具有照明装置(5)、光学传感器(7)和根据权利要求7所述的控制装置(9)。
9.一种机动车(1)，其具有根据权利要求8所述的探测装置(3)。
CN202180038721.XA 2020-05-28 2021-04-15 用于探测丢失的图像信息的方法、用于执行这种方法的控制装置、具有这种控制装置的探测装置和具有这种探测装置的机动车 Pending CN115843338A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102020003218.4A DE102020003218A1 (de) 2020-05-28 2020-05-28 Verfahren zur Detektion von verlorenen Bildinformationen, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Detektionsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Detektionsvorrichtung
DE102020003218.4 2020-05-28
PCT/EP2021/059798 WO2021239322A1 (de) 2020-05-28 2021-04-15 Verfahren zur detektion von verlorenen bildinformationen, steuereinrichtung zur durchführung eines solchen verfahrens, detektionsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen detektionsvorrichtung

Publications (1)

Publication Number Publication Date
CN115843338A true CN115843338A (zh) 2023-03-24

Family

ID=72613740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180038721.XA Pending CN115843338A (zh) 2020-05-28 2021-04-15 用于探测丢失的图像信息的方法、用于执行这种方法的控制装置、具有这种控制装置的探测装置和具有这种探测装置的机动车

Country Status (4)

Country Link
US (1) US20230221411A1 (zh)
CN (1) CN115843338A (zh)
DE (1) DE102020003218A1 (zh)
WO (1) WO2021239322A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL235359A0 (en) * 2014-10-27 2015-11-30 Ofer David Wide-dynamic-range simulation of an environment with a high intensity radiating/reflecting source
IL239919A (en) 2015-07-14 2016-11-30 Brightway Vision Ltd Branded template lighting
US10620300B2 (en) * 2015-08-20 2020-04-14 Apple Inc. SPAD array with gated histogram construction

Also Published As

Publication number Publication date
DE102020003218A1 (de) 2020-10-15
US20230221411A1 (en) 2023-07-13
WO2021239322A1 (de) 2021-12-02

Similar Documents

Publication Publication Date Title
US8009871B2 (en) Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
CN104512411B (zh) 车辆控制系统及图像传感器
CN115803656A (zh) 用于测量对象与光学传感器之间的距离的方法、用于执行这种方法的控制装置、具有这种控制装置的测距装置和具有这种测距装置的机动车
US20180334099A1 (en) Vehicle environment imaging systems and methods
EP2910971A1 (en) Object recognition apparatus and object recognition method
CN108431631A (zh) 车辆用图像获取装置、控制装置、包括了车辆用图像获取装置或控制装置的车辆和车辆用图像获取方法
US20060222207A1 (en) Device for a motor vehicle used for the three-dimensional detection of a scene inside or outside said motor vehicle
US10482347B2 (en) Inspection of the contoured surface of the undercarriage of a motor vehicle
WO2017098709A1 (ja) 画像認識装置および画像認識方法
JP6782433B2 (ja) 画像認識装置
CN115803773A (zh) 用于识别图像伪影的方法、用于执行这种方法的控制装置、具有这种控制装置的识别装置和具有这种识别装置的机动车
CN109703555A (zh) 用于探测道路交通中被遮蔽的对象的方法和设备
CN110045389A (zh) 用于物体检测的结构化光照明系统
JP2005318408A (ja) 車両周囲監視装置および方法
CN116529633A (zh) 用于借助照明装置和光学传感器探测物体的方法、用于执行这种方法的控制装置、具有这种控制装置的探测装置和具有这种探测装置的机动车
CN115843338A (zh) 用于探测丢失的图像信息的方法、用于执行这种方法的控制装置、具有这种控制装置的探测装置和具有这种探测装置的机动车
WO2022218140A1 (zh) 驾驶辅助方法、存储介质以及车辆
CA3212490A1 (en) Systems and methods for vehicle information capture using white light
JP2003209742A (ja) 赤外線照明付撮影装置
CN116648921A (zh) 车载用传感系统以及门控照相机
CN112818816A (zh) 一种温度检测方法、装置及设备
US20240190349A1 (en) Method for Operating a Gated Camera, Control Device for Carrying Out Such a Method, Over-The-Shoulder View Device Having Such a Control Device, and Motor Vehicle Having Such an Over-The-Shoulder View Device
US20240142627A1 (en) Method for Operating a Gated Camera, Control Device for Carrying Out Such a Method, Camera Device Comprising Such a Control Device, and Motor Vehicle Comprising Such a Camera Device
JP7138265B1 (ja) 物体検知装置、物体検知方法およびプログラム
CN113450587B (zh) 信息获取装置、车辆和信息获取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination