EP4241114A1 - Verfahren zum detektieren eines objekts mittels einer beleuchtungseinrichtung und eines optischen sensors, steuereinrichtung zur durchführung eines solchen verfahrens, detektionsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen detektionsvorrichtung - Google Patents

Verfahren zum detektieren eines objekts mittels einer beleuchtungseinrichtung und eines optischen sensors, steuereinrichtung zur durchführung eines solchen verfahrens, detektionsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen detektionsvorrichtung

Info

Publication number
EP4241114A1
EP4241114A1 EP21789679.4A EP21789679A EP4241114A1 EP 4241114 A1 EP4241114 A1 EP 4241114A1 EP 21789679 A EP21789679 A EP 21789679A EP 4241114 A1 EP4241114 A1 EP 4241114A1
Authority
EP
European Patent Office
Prior art keywords
image
distance range
visible distance
optical sensor
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP21789679.4A
Other languages
English (en)
French (fr)
Inventor
Fridtjof Stein
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daimler Truck Holding AG
Original Assignee
Daimler Truck AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler Truck AG filed Critical Daimler Truck AG
Publication of EP4241114A1 publication Critical patent/EP4241114A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]

Definitions

  • the invention relates to a method for detecting an object using an illumination device and an optical sensor, a control device for carrying out such a method, a detection device with such a control device and a motor vehicle with such a detection device.
  • the object is achieved in particular by creating a method for detecting an object using an illumination device and an optical sensor, activation of the illumination device and the optical sensor being coordinated in terms of time and the coordinated activation being assigned a visible distance range. At least one limit of the visible distance range on the image side is compared with a predetermined standard representation of the at least one limit of the visible distance range. Based on the comparison, an object is searched for at the at least one border, in particular at the at least one image-side border.
  • the method it is advantageously possible to search for and detect an object, in particular early on, in particular at a distant limit of the visible distance range.
  • early object recognition it is advantageously possible to plan a braking and/or avoidance strategy that is optimal in terms of traffic safety.
  • additional sensors in particular radar sensors and/or lidar sensors, to measure the detected object precisely and to carry out object tracking.
  • the optical sensor and the illumination device are arranged at a spatial distance from one another; the optical sensor and the illumination device are preferably arranged at the greatest possible spatial distance from one another.
  • a shadow cast by an object is generated by the spacing of the optical sensor and the lighting device, which in the recording of the optical sensor is visible. Objects that have little or no contrast to the road surface can thus also be detected by means of the shadow cast.
  • the detection of an object at the far limit of the visible distance range depends on the reflection properties and/or the brightness of the object.
  • An object that is bright and/or has good reflective properties can be detected as soon as the object enters the visible distance range at the distant boundary.
  • An object that is dark and/or has poor reflection properties can only be detected when a non-negligible part of the object and/or the shadow cast by the object is within the visible distance range.
  • the detection of an object at a near limit of the visible distance range is independent of the reflection properties and/or the brightness of the object.
  • the method for generating recordings by means of a temporally coordinated activation of an illumination device and an optical sensor is, in particular, a method known as a gated imaging method; in particular, the optical sensor is a camera that is only sensitively switched in a specific, limited time range, which is referred to as "gated activation", so the camera is a gated camera.
  • the lighting device is also controlled correspondingly only in a specific, selected time interval in order to illuminate a scene on the object side.
  • the lighting device emits a predefined number of light pulses, preferably each with a duration of between 5 ns and 20 ns.
  • the start and end of the exposure of the optical sensor is linked to the number and duration of the emitted light pulses.
  • a specific visible distance range can be detected by the optical sensor by the temporal activation of the lighting device on the one hand and the optical sensor on the other hand with a correspondingly defined local position, i.e. in particular specific distances between the near and far limit of the visible distance range from the optical sensor .
  • the visible distance range is that - object-side - range in three-dimensional space, which is determined by the number and duration of the light pulses of the lighting device in connection with the start and end of the exposure of the optical sensor by means of the optical sensor in a two-dimensional recording on an image plane of the optical Sensor is mapped.
  • object-side an area in real space is addressed.
  • on the image side an area on the image plane of the optical sensor is addressed.
  • the visible distance range is given on the object side. This corresponds to an image-side area on the image plane that is assigned by the imaging laws and the temporal control of the illumination device and the optical sensor.
  • the method in particular, by suitably selecting the temporal control of the lighting device on the one hand and the optical sensor on the other hand, to determine the position and the spatial width of the visible distance range, in particular a distance between the near limit and the far limit of the visible distance range to define.
  • the visible distance range is specified, from which the timing of the lighting device on the one hand and the optical sensor on the other hand is determined and specified accordingly.
  • the illumination device has at least one surface emitter, in particular a so-called VCSE laser.
  • the optical sensor is preferably a camera.
  • the detected object is classified.
  • the classification is preferably carried out using a neural network or a deep learning method.
  • a line on the image side which runs between an exposed area and an unexposed area in the photograph, is determined as the limit of the visible distance area on the image side.
  • An object is detected based on a deviation of the image-side line from a horizontal course of the standard representation.
  • the predetermined standard representation of the at least one limit of the visible distance range is in particular a horizontal line between the exposed area and the unexposed area of the photograph. If an object is located on the at least one border of the visible distance range, then this object is visible in the recording. An object that is bright and/or has good reflective properties increases the exposed area of the image and reduces the unexposed area of the image. An object that is dark and/or has poor editorial qualities will increase the unexposed area of the shot and decrease the exposed area of the shot. In both cases, the border of the visible distance range on the image side has a course that deviates from a horizontal course. The object is advantageously detected based on this deviation.
  • an image-side evaluation area is determined, which has the at least one image-side limit of the visible distance area.
  • a column histogram is created over all the pixels assigned to the evaluation area on the optical sensor by summing the illumination intensities of the assigned pixels for each image column of the evaluation area.
  • An object is detected based on a deviation of the column histogram from a horizontal course.
  • a horizontal run of a column histogram is a run in which all values are within a predetermined interval. This means in particular that the values are constant within a predetermined tolerance.
  • a horizontal curve of a column histogram is a curve which can be interpolated with a predetermined maximum error using a horizontal line.
  • a distance of the detected object from the optical sensor is determined in the recording. Furthermore, a vertical extent of the object on the image side is determined in the recording, and an approximate height of the detected object on the object side is estimated based on the distance and the vertical extent on the image side. It is advantageously possible to estimate a maximum possible object-side height of a detected object.
  • a method for determining the distance between the detected object and the optical sensor emerges from the German patent application DE 102020 002 994 A1.
  • the vertical extent of the object on the image side can be determined directly in the recording.
  • an object-side distance between the optical sensor and a maximum object-side extent of the shadow cast by the object can preferably be determined from the vertical extent of the object on the image side.
  • the detected object is arranged on the object side in an xy plane, and the illumination device is arranged on a z axis at height ZB above the xy plane.
  • the distance xo between the lighting device and/or the optical sensor and the detected object is measured in the x-direction.
  • the object-side height, in particular the maximum possible object-side height, of the detected object zo provided that the object has no extension in the x-direction.
  • the height of the lighting device ZB, the height of the detected object zo, the distance xo and the maximum extension of the shadow cast by the object xs are set in relation to one another by means of the set of rays.
  • the object-side height zo is then estimated.
  • the estimation using the formula (1) always supplies a height zo on the object side which is smaller than the height of the lighting device ZB.
  • a series of recordings is created if an object is detected at the distant limit of the visible distance range as a first image-side limit of the at least one image-side limit.
  • the near boundary of the visible distance range is evaluated on the image side as a second image-side boundary of the at least one image-side boundary, the image-side near boundary of the visible distance range being compared to a predetermined standard representation of the near boundary of the visible distance range.
  • the detected object is searched for based on the comparison.
  • the series of recordings ends when the detected object is found at the near limit of the visible distance range.
  • an object cannot be driven over if an object is detected in a recording both at the near limit of the visible distance range and at the far limit of the visible distance range.
  • an object that cannot be driven over has a height zo on the object side, which is greater than the height of the lighting device ZB or corresponds to the height of the lighting device ZB.
  • an object tracking is carried out for a detected object.
  • the object tracking is carried out using a Kanade-Lucas-Tomasi method (KLT method).
  • the comparison of the at least one image-side border with the standard representation of the at least one border is carried out using a deep learning method and preferably with a neural network.
  • the object is also achieved by creating a control device that is set up to carry out a method according to the invention or a method according to one or more of the embodiments described above.
  • the control device is preferably designed as a computing device, particularly preferably as a computer, or as a control unit, in particular as a control unit of a motor vehicle.
  • a computing device particularly preferably as a computer
  • a control unit in particular as a control unit of a motor vehicle.
  • the object is also achieved by creating a detection device which has an illumination device, an optical sensor and a control device according to the invention or a control device according to one or more of the exemplary embodiments described above.
  • the control device is preferably operatively connected to the lighting device and the optical sensor and set up for their respective control.
  • the object is also achieved by creating a motor vehicle with a detection device according to the invention or a detection device according to one or more of the exemplary embodiments described above.
  • a detection device according to the invention or a detection device according to one or more of the exemplary embodiments described above.
  • the motor vehicle is designed as a truck.
  • the motor vehicle it is also possible for the motor vehicle to be a passenger car, a commercial vehicle, or another motor vehicle.
  • the invention is explained in more detail below with reference to the drawing.
  • FIG. 1 shows a schematic representation of an exemplary embodiment of a motor vehicle with an exemplary embodiment of a detection device
  • FIG. 2 shows a schematic representation of a first and a second example of a recording with a visualization of a distant boundary and a near boundary of a first visible distance range
  • FIG. 3 shows a schematic representation of a third example of a recording with a visualization of the distant boundary and the near boundary of a second visible distance range
  • FIG. 5 shows a schematic representation of a fifth example of a recording and an example of an associated column histogram
  • FIG. 6 shows a schematic representation of an example for estimating a height of a first object and a second object.
  • FIG. 1 shows a schematic representation of an exemplary embodiment of a motor vehicle 1 with an exemplary embodiment of a detection device 3 .
  • the detection device 3 has an illumination device 5 , an optical sensor 7 , in particular a camera, and a control device 9 .
  • the control device 9 is functionally connected to the lighting device 5 and the optical sensor 7 in a manner that is not explicitly shown and is set up for the respective control.
  • the illumination device 5 preferably has at least one surface emitter, in particular a so-called VCSE laser.
  • FIG. 1 shows an illumination frustum 11 of the illumination device 5 and an observation area 13 of the optical sensor 7.
  • An object 19 is arranged at a distant boundary 17.1 of the visible distance range 15.
  • the control device 9 is set up in particular to carry out an embodiment of a method for detecting the object 19 using the illumination device 5 and the optical sensor 7, which is described in more detail below.
  • Activation of the lighting device 5 and the optical sensor 7 are coordinated in terms of time, and the visible distance range 15 is assigned to the coordinated activation.
  • At least one image-side boundary 17', in particular the image-side distant boundary 17.1' or the image-side near boundary 17.2', of the visible distance range 15 is compared with a predetermined standard representation of the at least one boundary 17 of the visible distance range 15.
  • the object 19 is searched for at the at least one border 17 based on the comparison.
  • a series of recordings 21 is preferably created if the object 19 is detected at the distant limit 17.1 of the visible distance range 15. Furthermore, the near border 17.2. visible distance range 15 is evaluated on the image side, with the image-side close limit 17.2' of the visible distance range 15 being compared with a predetermined standard representation of the close limit 17.2 of the visible distance range 15. Based on the comparison, the object 19 previously detected at the remote boundary 17.1 is sought. The series of recordings 21 ends when the object 19 is also detected at the near limit 17.2 of the visible distance range 15.
  • Object tracking is preferably carried out for the detected object 19 .
  • a recording 21 of the optical sensor 7 an image-side line 23 is determined as the image-side boundary 17' of the visible distance range 15.
  • the image-side line 23 runs between an exposed area 25 and an unexposed area 27.
  • the object 19 is detected based on a deviation of the image-side line 23 from a horizontal course of the standard representation.
  • FIG. 2a shows a schematic representation of a first example of the receptacle 21.
  • An image-side object 19' which is bright and/or good Has reflection properties, is arranged at the distant boundary 17.1 of the visible distance range 15.
  • An image-side line 23.1 shows the image-side far boundary 17.1' of the visible distance region 15.
  • a image-side line 23.2 shows the image-side near limit 17.2' of the visible distance region 15.
  • the predetermined norm representation of both the far limit 17.1 and the near limit 17.2 is a line with a horizontal gradient. Due to the light color and/or the good reflection properties of the object 19, the image-side line 23.1 has a bulge upwards in the area of the image-side object 19', as a result of which the exposed area 25 is enlarged. Based on a deviation of the line 23.1 on the image side, in particular the bulge, the object 19 is detected at the distant boundary 17.1 of the visible distance range 15.
  • FIG. 2 b shows a schematic representation of a second example of the receptacle 21 .
  • An image-side object 19' which is dark and/or has poor reflection properties, is arranged at the far border 17.1 of the visible distance range 15. Due to the dark color and/or the poor reflection properties of the object 19, the image-side line 23.1 has a downward bulge in the area of the image-side object 19', as a result of which the unexposed area 27.1 is enlarged. Based on the deviation of the line 23.1 on the image side, in particular the bulge, the object 19 is detected at the distant boundary 17.1 of the visible distance range 15.
  • FIG. 1 A schematic representation of a third example of the receptacle 21 is shown in FIG.
  • An image-side object 19' which is dark and/or has poor reflection properties, is arranged at the near limit 17.2 of the visible distance range 15. Due to the dark color and/or the poor reflection properties and a shadow cast by the object 19, the image-side line 23.2 has a bulge upwards in the area of the image-side object 19', as a result of which the unexposed area 27.2 is enlarged. Based on a deviation of the line 23.2 on the image side, in particular the bulge, the object 19 is detected at the near limit 17.2 of the visible distance range 15.
  • FIG. 4 shows a schematic representation of a fourth example of the recording 21.
  • the unexposed areas 27.1 and 27.2 are covered by the object 19' on the image side, which is dark and/or has poor reflection properties. optically connected.
  • the object 19 is detected simultaneously both at the distant limit 17.2 of the visible distance range 15 and at the near limit 17.2 of the visible distance range 15, and an object 19 that cannot be driven over is inferred.
  • Figure 5 shows a schematic representation of a fifth example of the recording 21 and an example of an associated column histogram 29.
  • FIG. 5a shows a section of the recording 21 with the border 17.T of the visible distance region 15 that is far away on the image side. Furthermore, the object 19 is arranged at the distant boundary 17.1 of the visible distance range 15 and is shown in the recording 21 as an image-side object 19'.
  • An evaluation area 31 on the image side is determined for detecting the object 19 .
  • the image-side evaluation area 31 is determined in such a way that the image-side remote boundary 17' is contained in the evaluation area 31.
  • the column histogram 29 shown in FIG. 5 b) for all the pixels assigned to the evaluation area 31 on the optical sensor 7 is created by summing the illumination intensities of the assigned pixels for each image column of the evaluation area 31 .
  • the object 19 is detected based on a deviation of the column histogram 29 from a horizontal profile.
  • the object 19 is bright and/or has good reflection properties, so the column histogram 29 shows a clear upward deviation from a horizontal course.
  • the object 19 is detected on the basis of this deviation of the column histogram 29 from a horizontal course.
  • FIG. 6 shows a schematic representation of an example for estimating a height of a first object 19.1 and a second object 19.2. Both the first object 19.1 and the second object 19.2 are at an identical distance xo from the illumination device 5. Shown by means of a light beam 35, both the first object 19.1 and the second object 19.2 have an identical extension xs of the shadow 37 cast. Using a suitable method, both the distance xo and the vertical extent on the image side are determined. The extent xs of the shadow cast 37 is calculated from the vertical extent.
  • a height zo is estimated from both objects 19, the estimated height zo being identical for both objects.
  • the estimated height zo is slightly greater than the actual height Z02 of the second object 19.2.
  • the estimated height zo is much greater than the actual height zoi of the first object 19.1. It is thus clearly evident from FIG. 6 that the height of an object 19 is never underestimated when formula (1) is used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Detektieren eines Objekts (19) mittels einer Beleuchtungseinrichtung (5) und eines optischen Sensors (7), wobei - eine Ansteuerung der Beleuchtungseinrichtung (5) und des optischen Sensors (7) zeitlich aufeinander abgestimmt werden, wobei - der abgestimmten Ansteuerung ein sichtbarer Abstandsbereich (15) zugeordnet wird, wobei - mindestens eine bildseitige Grenze (17) des sichtbaren Abstandsbereichs (15) mit einer vorbestimmten Norm-Darstellung der mindestens einen Grenze (17) des sichtbaren Abstandsbereichs (15) verglichen wird, wobei - ein Objekt (19) an der mindestens einen Grenze (17) basierend auf dem Vergleich gesucht wird.

Description

Verfahren zum Detektieren eines Objekts mittels einer Beleuchtungseinrichtung und eines optischen Sensors, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Detektionsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Detektionsvorrichtung
Die Erfindung betrifft ein Verfahren zum Detektieren eines Objekts mittels einer Beleuchtungseinrichtung und eines optischen Sensors, eine Steuereinrichtung zur Durchführung eines solchen Verfahrens, eine Detektionsvorrichtung mit einer solchen Steuereinrichtung und ein Kraftfahrzeug mit einer solchen Detektionsvorrichtung.
Verfahren zur Objektdetektion und Objektverfolgung mittels einer Beleuchtungseinrichtung und eines optischen Sensors sind bekannt. Aus der internationalen Patentanmeldung mit der Veröffentlichungsnummer WO 2017/009848 A1 geht ein solches Verfahren hervor, bei dem eine Beleuchtungseinrichtung und ein optischer Sensor zeitlich aufeinander abgestimmt angesteuert werden, um einen bestimmten sichtbaren Abstandsbereich in einem Beobachtungsbereich des optischen Sensors aufzunehmen, wobei sich der sichtbare Abstandsbereich aus der zeitlichen Abstimmung der Ansteuerung der Beleuchtungseinrichtung und des optischen Sensors ergibt. Nachteilig bei diesem Verfahren ist, dass keine Rückkopplung zwischen dem detektierten und zu verfolgenden Objekt und der Beleuchtungseinrichtung und dem optischen Sensor durchgeführt wird.
Aus der Veröffentlichung „Gated2Depth: Real-Time Dense Lidar From Gated Images“ von Tobias Gruber et. al. (https://arxiv.org/pdf/1902.04997.pdf) geht ein Verfahren zur Erstellung einer Aufnahme mit Abstandsinformationen in Echtzeit hervor. Problematisch dabei ist, dass dieses Verfahren nur bei einer Reichweite von bis zu 80 m angewendet werden kann. Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zum Detektieren von einem Objekt mittels einer Beleuchtungseinrichtung und eines optischen Sensors, eine Steuereinrichtung zur Durchführung eines solchen Verfahrens, eine Detektionsvorrichtung mit einer solchen Steuereinrichtung und ein Kraftfahrzeug mit einer solchen Detektionsvorrichtung zu schaffen, wobei die genannten Nachteile zumindest teilweise behoben, vorzugsweise vermieden sind.
Die Aufgabe wird gelöst, indem die vorliegende technische Lehre bereitgestellt wird, insbesondere die Lehre der unabhängigen Ansprüche sowie der in den abhängigen Ansprüchen und der Beschreibung offenbarten Ausführungsformen.
Die Aufgabe wird insbesondere gelöst, indem ein Verfahren zum Detektieren eines Objekts mittels einer Beleuchtungseinrichtung und eines optischen Sensors geschaffen wird, wobei eine Ansteuerung der Beleuchtungseinrichtung und des optischen Sensors zeitlich aufeinander abgestimmt werden und der abgestimmten Ansteuerung ein sichtbarer Abstandsbereich zugeordnet wird. Mindestens eine bildseitige Grenze des sichtbaren Abstandsbereichs wird mit einer vorbestimmten Norm-Darstellung der mindestens einen Grenze des sichtbaren Abstandsbereichs verglichen. Basierend auf dem Vergleich wird ein Objekt an der mindestens einen Grenze, insbesondere an der mindestens einen bildseitigen Grenze, gesucht.
Mithilfe des Verfahrens ist es vorteilhaft möglich, ein Objekt, insbesondere frühzeitig, insbesondere an einer entfernten Grenze des sichtbaren Abstandsbereichs, zu suchen und zu detektieren. Bei einer frühzeitigen Objekterkennung ist es vorteilhaft möglich, eine verkehrssicherheitsoptimale Brems- und/oder Ausweichstrategie zu planen. Weiterhin ist es aufgrund der frühzeitigen Objekterkennung möglich, mithilfe weiterer Sensoren, insbesondere Radar-Sensoren und/oder Lidar-Sensoren, das detektierte Objekt genau auszumessen und eine Objektverfolgung durchzuführen.
In einer bevorzugten Ausführungsform des Verfahrens werden der optische Sensor und die Beleuchtungseinrichtung räumlich voneinander beabstandet angeordnet, vorzugsweise werden der optische Sensor und die Beleuchtungseinrichtung mit einem möglichst großen räumlichen Abstand voneinander angeordnet. Vorteilhafterweise wird durch die Beabstandung des optischen Sensors und der Beleuchtungseinrichtung ein Schattenwurf von einem Objekt generiert, welches in der Aufnahme des optischen Sensors sichtbar ist. Mittels des Schattenwurfs können somit auch Objekte detektiert werden, welche wenig oder keinen Kontrast zur Straßenoberfläche aufweisen.
Die Detektion eines Objekts an der entfernten Grenze des sichtbaren Abstandsbereichs ist abhängig von den Reflexionseigenschaften und/oder der Helligkeit des Objektes. Ein Objekt, welches hell ist und/oder gute Reflexionseigenschaften aufweist, kann detektiert werden, sobald das Objekt in den sichtbaren Abstandsbereich an der entfernten Grenze eintritt. Ein Objekt, welches dunkel ist und/oder schlechte Reflexionseigenschaften aufweist, kann erst dann detektiert werden, wenn sich ein nicht vernachlässigbarer Teil des Objekts und/oder der Schattenwurf des Objekts innerhalb des sichtbaren Abstandsbereichs befindet.
Die Detektion eines Objekts an einer nahen Grenze des sichtbaren Abstandsbereichs ist unabhängig von den Reflexionseigenschaften und/oder der Helligkeit des Objekts.
Das Verfahren zur Erzeugung von Aufnahmen mittels einer zeitlich aufeinander abgestimmten Ansteuerung einer Beleuchtungseinrichtung und eines optischen Sensors ist insbesondere ein als Gated-Imaging-Verfahren bekanntes Verfahren; insbesondere ist der optischer Sensor eine Kamera, die nur in einem bestimmten, eingeschränkten Zeitbereich empfindlich geschaltet wird, was als „Gated-Ansteuerung“ bezeichnet wird, die Kamera ist also eine Gated-Kamera. Auch die Beleuchtungseinrichtung wird entsprechend zeitlich nur in einem bestimmten, ausgewählten Zeitintervall angesteuert, um eine objektseitige Szenerie auszuleuchten.
Insbesondere werden durch die Beleuchtungseinrichtung eine vordefinierte Anzahl von Lichtimpulsen ausgesandt, vorzugsweise jeweils mit einer Dauer zwischen 5 ns und 20 ns. Der Beginn und das Ende der Belichtung des optischen Sensors wird an die Anzahl und Dauer der abgegebenen Lichtimpulse gekoppelt. Daraus resultierend kann ein bestimmter sichtbarer Abstandsbereich durch die zeitliche Ansteuerung einerseits der Beleuchtungseinrichtung und andererseits des optischen Sensors mit entsprechend definierter örtlicher Lage, das heißt insbesondere bestimmten Abständen der nahen und der entfernten Grenze des sichtbaren Abstandsbereichs von dem optischen Sensor, durch den optischen Sensor erfasst werden. Der sichtbare Abstandsbereich ist dabei derjenige - objektseitige - Bereich im dreidimensionalen Raum, welcher durch die Anzahl und Dauer der Lichtimpulse der Beleuchtungseinrichtung in Verbindung mit dem Start und dem Ende der Belichtung des optischen Sensors mittels des optischen Sensors in einer zweidimensionalen Aufnahme auf einer Bildebene des optischen Sensors abgebildet wird.
Soweit hier und im Folgenden von „objektseitig“ die Rede ist, ist ein Bereich im realen Raum angesprochen. Soweit hier und im Folgenden von „bildseitig“ die Rede ist, ist ein Bereich auf der Bildebene des optischen Sensors angesprochen. Der sichtbare Abstandsbereich ist dabei objektseitig gegeben. Dieser entspricht einem durch die Abbildungsgesetze sowie die zeitliche Ansteuerung der Beleuchtungseinrichtung und des optischen Sensors zugeordneten bildseitigen Bereich auf der Bildebene.
Abhängig von dem Start und dem Ende der Belichtung des optischen Sensors nach dem Beginn der Beleuchtung durch die Beleuchtungseinrichtung treffen Lichtimpulsphotonen auf den optischen Sensor. Je weiter der sichtbare Abstandsbereich von der Beleuchtungseinrichtung und dem optischen Sensor entfernt ist, desto länger ist die zeitliche Dauer bis ein Photon, welches in diesem Abstandsbereich reflektiert wird, auf den optischen Sensor trifft. Daher verlängert sich der zeitliche Abstand zwischen einem Ende der Beleuchtung und einem Beginn der Belichtung, je weiter der sichtbare Abstandsbereich von der Beleuchtungseinrichtung und von dem optischen Sensor entfernt ist.
Es ist also gemäß einer Ausgestaltung des Verfahrens insbesondere möglich, durch eine entsprechend geeignete Wahl der zeitlichen Ansteuerung der Beleuchtungseinrichtung einerseits und des optischen Sensors andererseits, die Lage und die räumliche Breite des sichtbaren Abstandsbereiches, insbesondere einen Abstand zwischen der nahen Grenze und der entfernten Grenze des sichtbaren Abstandsbereichs, zu definieren.
In einer bevorzugten Ausgestaltung des Verfahrens wird der sichtbare Abstandsbereich vorgegeben, wobei daraus die zeitliche Abstimmung der Beleuchtungseinrichtung einerseits und des optischen Sensors andererseits bestimmt und entsprechend vorgegeben wird. Die Beleuchtungseinrichtung weist in einer bevorzugten Ausgestaltung mindestens einen Oberflächenemitter, insbesondere einen sogenannten VCSE-Laser, auf. Alternativ oder zusätzlich ist der optische Sensor bevorzugt eine Kamera.
In einer Ausführungsform des Verfahrens wird, wenn ein Objekt gefunden, das heißt detektiert wird, das detektierte Objekt klassifiziert. Vorzugsweise wird die Klassifizierung mittels eines neuronalen Netzes oder eines Deep-Learning-Verfahrens durchgeführt.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass als die bildseitige Grenze des sichtbaren Abstandsbereichs eine bildseitige Linie, die zwischen einem belichteten Bereich und einem unbelichteten Bereich in der Aufnahme verläuft, bestimmt wird. Ein Objekt wird basierend auf einer Abweichung der bildseitigen Linie von einem horizontalen Verlauf der Norm-Darstellung detektiert.
Die vorbestimmte Norm-Darstellung der mindestens einen Grenze des sichtbaren Abstandsbereichs ist insbesondere eine horizontale Linie zwischen dem belichteten Bereich und dem unbelichteten Bereich der Aufnahme. Falls sich ein Objekt auf der mindestens einen Grenze des sichtbaren Abstandsbereichs befindet, so ist dieses Objekt in der Aufnahme sichtbar. Ein Objekt, welches hell ist und/oder gute Reflexionseigenschaften aufweist, vergrößert den belichteten Bereich der Aufnahme und verkleinert den unbelichteten Bereich der Aufnahme. Ein Objekt, welches dunkel ist und/oder schlechte Redaktionseigenschaften aufweist, vergrößert den unbelichteten Bereich der Aufnahme und verkleinert den belichteten Bereich der Aufnahme. In beiden Fällen weist die bildseitige Grenze des sichtbaren Abstandsbereichs einen von einem horizontalen Verlauf abweichenden Verlauf auf. Vorteilhafterweise wird basierend auf dieser Abweichung das Objekt detektiert.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass ein bildseitiger Auswerte- Bereich bestimmt wird, welcher die mindestens eine bildseitige Grenze des sichtbaren Abstandsbereichs aufweist. Weiterhin wird ein Spaltenhistogramm über alle dem Auswerte-Bereich auf dem optischen Sensor zugeordneten Bildpunkte mittels Summation der Beleuchtungsintensitäten der zugeordneten Bildpunkte für jede Bildspalte des Auswerte-Bereichs erstellt. Basierend auf einer Abweichung des Spaltenhistogramms von einem waagerechten Verlauf wird ein Objekt detektiert. Im Kontext vorliegenden technischen Lehre ist ein waagerechter Verlauf eines Spaltenhistogramms ein Verlauf, bei welchem alle Werte in einem vorbestimmten Intervall liegen. Dies bedeutet insbesondere, dass die Werte innerhalb einer vorbestimmten Toleranz konstant sind. Alternativ ist ein waagerechter Verlauf eines Spaltenhistogramms ein Verlauf, welcher mit einem vorbestimmten maximalen Fehler mittels einer horizontalen Linie interpoliert werden kann.
Falls sich ein Objekt auf der mindestens einen Grenze des sichtbaren Abstandsbereichs befindet, erzeugt dieses Objekt in dem Spaltenhistogramm eine deutliche Abweichung von einem waagerechten Verlauf.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass in der Aufnahme ein Abstand des detektierten Objekts von dem optischen Sensor bestimmt wird. Weiterhin wird in der Aufnahme eine bildseitige vertikale Ausdehnung des Objekts bestimmt, und basierend auf dem Abstand und der bildseitigen vertikalen Ausdehnung wird näherungsweise eine objektseitige Höhe des detektierten Objekts abgeschätzt. Vorteilhafterweise ist es möglich, eine maximal mögliche objektseitige Höhe eines detektierten Objekts abzuschätzen.
Ein Verfahren zur Bestimmung des Abstandes zwischen dem detektierten Objekt und dem optischen Sensor geht aus der deutschen Offenlegungsschrift DE 102020 002 994 A1 hervor. Die bildseitige vertikale Ausdehnung des Objekts kann direkt in der Aufnahme bestimmt werden.
Im Kontext der vorliegenden technischen Lehre kann aus der bildseitigen vertikalen Ausdehnung des Objekts bevorzugt ein objektseitiger Abstand zwischen dem optischen Sensor und einer maximalen objektseitigen Ausdehnung des Schattenwurfs des Objekts bestimmt werden.
Im Kontext der vorliegenden technischen Lehre ist das detektiert Objekt objektseitig in einer x-y-Ebene angeordnet, und die Beleuchtungseinrichtung ist auf einer z-Achse in der Höhe ZB über der x-y-Ebene angeordnet. Der Abstand xo zwischen der Beleuchtungseinrichtung und/oder dem optischen Sensor und dem detektierten Objekt wird in x-Richtung gemessen. Um die objektseitige Höhe, insbesondere die maximal mögliche objektseitige Höhe, des detektierten Objekts zo abzuschätzen, wird vorausgesetzt, dass das Objekt keine Ausdehnung in x-Richtung aufweist. Mittels des Strahlensatzes werden die Höhe der Beleuchtungseinrichtung ZB, die Höhe des detektierten Objekts zo, der Abstand xo und die maximale Ausdehnung des Schattenwurfs des Objekts xs zueinander ins Verhältnis gesetzt. Mittels der Formel wird dann die objektseitige Höhe zo abgeschätzt. Die Abschätzung mittels der Formel (1) liefert immer eine objektseitig Höhe zo, die kleiner ist als die Höhe der Beleuchtungseinrichtung ZB.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass eine Serie von Aufnahmen erstellt wird, falls ein Objekt an der entfernten Grenze des sichtbaren Abstandsbereichs als einer ersten bildseitigen Grenze der wenigstens einen bildseitigen Grenze detektiert wird. Die nahe Grenze des sichtbaren Abstandsbereichs wird als eine zweite bildseitige Grenze der wenigstens einen bildseitigen Grenze bildseitig ausgewertet, wobei die bildseitige nahe Grenze des sichtbaren Abstandsbereichs mit einer vorbestimmten Norm-Darstellung der nahen Grenze des sichtbaren Abstandsbereichs verglichen wird. Basierend auf dem Vergleich wird das detektiert Objekt gesucht. Die Serie von Aufnahme wird beendet, wenn das detektiert Objekt an der nahen Grenze des sichtbaren Abstandsbereichs gefunden wird. Mithilfe dieser Weiterbildung ist es vorteilhaft möglich, ein Objekt sowohl an der entfernten Grenze des sichtbaren Abstandsbereichs als auch an der nahen Grenze des sichtbaren Abstandsbereichs zu detektieren.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass auf ein nicht überfahrbares Objekt geschlossen wird, falls ein Objekt in einer Aufnahme sowohl an der nahen Grenze des sichtbaren Abstandsbereichs als auch an der entfernten Grenze des sichtbaren Abstandsbereichs detektiert wird.
Im Kontext der vorliegenden technischen Lehre weist ein nicht überfahrbares Objekt eine objektseitig Höhe zo auf, welche größer ist als die Höhe der Beleuchtungseinrichtung ZB oder der Höhe der Beleuchtungseinrichtung ZB entspricht.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass für ein detektiertes Objekt eine Objektverfolgung durchgeführt wird. In einer bevorzugten Ausführungsform des Verfahrens wird die Objektverfolgung mittels eines Kanade-Lucas-Tomasi-Verfahrens (KLT-Verfahrens) durchgeführt.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass der Vergleich der mindestens einen bildseitigen Grenze mit der Norm-Darstellung der mindestens einen Grenze mittels eines Deep-Learning-Verfahren und vorzugsweise mit einem neuronalen Netz durchgeführt wird.
Die Aufgabe wird auch gelöst, indem eine Steuereinrichtung geschaffen wird, die eingerichtet ist, um ein erfindungsgemäßes Verfahren oder ein Verfahren nach einer oder mehreren der zuvor beschriebenen Ausführungsformen durchzuführen. Die Steuereinrichtung ist vorzugsweise als Recheneinrichtung, besonders bevorzugt als Computer, oder als Steuergerät, insbesondere als Steuergerät eines Kraftfahrzeugs, ausgebildet. In Zusammenhang mit der Steuereinrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren erläutert wurden.
Die Aufgabe wird auch gelöst, indem eine Detektionsvorrichtung geschaffen wird, die eine Beleuchtungseinrichtung, einen optischen Sensor und eine erfindungsgemäße Steuereinrichtung oder eine Steuereinrichtung nach einem oder mehreren der zuvor beschriebenen Ausführungsbeispiele aufweist. Die Steuereinrichtung ist bevorzugt mit der Beleuchtungseinrichtung und dem optischen Sensor wirkverbunden und eingerichtet zu deren jeweiliger Ansteuerung. In Zusammenhang mit der Detektionsvorrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren und der Steuereinrichtung erläutert wurden.
Die Aufgabe wird schließlich auch gelöst, indem ein Kraftfahrzeug mit einer erfindungsgemäßen Detektionsvorrichtung oder einer Detektionsvorrichtung nach einem oder mehreren der zuvor beschriebenen Ausführungsbeispiele geschaffen wird. In Zusammenhang mit dem Kraftfahrzeug ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren, der Steuereinrichtung und der Detektionsvorrichtung erläutert wurden.
In vorteilhafter Ausgestaltung ist das Kraftfahrzeug als Lastkraftwagen ausgebildet. Es ist aber auch möglich, dass das Kraftfahrzeug ein Personenkraftwagen, ein Nutzfahrzeug, oder anderes Kraftfahrzeug ist. Die Erfindung wird im Folgenden anhand der Zeichnung näher erläutert.
Dabei zeigen:
Fig. 1 eine schematische Darstellung eines Ausführungsbeispiels eines Kraftfahrzeugs mit einem Ausführungsbeispiel einer Detektionsvorrichtung,
Fig. 2 eine schematische Darstellung eines ersten und eines zweiten Beispiels einer Aufnahme mit einer Visualisierung einer entfernten Grenze und einer nahen Grenze eines ersten sichtbaren Abstandsbereichs,
Fig. 3 eine schematische Darstellung eines dritten Beispiels einer Aufnahme mit einer Visualisierung der entfernten Grenze und der nahen Grenze eines zweiten sichtbaren Abstandsbereichs,
Fig. 4 eine schematische Darstellung eines vierten Beispiels einer Aufnahme,
Fig. 5 eine schematische Darstellung eines fünften Beispiels einer Aufnahme und eines Beispiels eines zugehörigen Spaltenhistogramms, und
Fig. 6 eine schematische Darstellung eines Beispiels zur Abschätzung einer Höhe eines ersten Objekts und eines zweiten Objekts.
Figur 1 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Kraftfahrzeugs 1 mit einem Ausführungsbeispiel einer Detektionsvorrichtung 3. Die Detektionsvorrichtung 3 weist eine Beleuchtungseinrichtung 5, einen optischen Sensor 7, insbesondere eine Kamera, und eine Steuereinrichtung 9 auf. Die Steuereinrichtung 9 ist in nicht explizit dargestellter Weise mit der Beleuchtungseinrichtung 5 und dem optischen Sensor 7 wirkverbunden und eingerichtet zu der jeweiligen Ansteuerung.
Die Beleuchtungseinrichtung 5 weist vorzugsweise mindestens einen Oberflächenemitter, insbesondere einen sogenannten VCSE-Laser, auf.
Dargestellt in Figur 1 ist insbesondere ein Beleuchtungs-Frustum 11 der Beleuchtungseinrichtung 5 und ein Beobachtungsbereich 13 des optischen Sensors 7. Schraffiert dargestellt ist außerdem ein sichtbarer Abstandsbereich 15, der sich als Teilmenge des Beleuchtungs-Frustums 11 der Beleuchtungseinrichtung 5 und des Beobachtungsbereichs 13 des optischen Sensors 7 ergibt. An einer entfernten Grenze 17.1 des sichtbaren Abstandsbereichs 15 ist ein Objekt 19 angeordnet. Die Steuereinrichtung 9 ist insbesondere eingerichtet zur Durchführung einer im Folgenden näher beschriebenen Ausführungsform eines Verfahrens zum Detektieren des Objekts 19 mittels der Beleuchtungseinrichtung 5 und des optischen Sensors 7.
Eine Ansteuerung der Beleuchtungseinrichtung 5 und des optischen Sensors 7 werden zeitlich aufeinander abgestimmt, und der abgestimmten Ansteuerung wird der sichtbare Abstandsbereich 15 zugeordnet. Mindestens eine bildseitigen Grenze 17‘, insbesondere die bildseitige entfernte Grenze 17.1‘ oder die bildseitige nahe Grenze 17.2‘, des sichtbaren Abstandsbereichs 15 wird mit einer vorbestimmten Norm-Darstellung der mindestens einen Grenze 17 des sichtbaren Abstandsbereichs 15 verglichen. Basierend auf dem Vergleich wird das Objekt 19 an der mindestens einen Grenze 17 gesucht.
Vorzugsweise wird eine Serie von Aufnahmen 21 erstellt, falls das Objekt 19 an der entfernten Grenze 17.1 des sichtbaren Abstandsbereichs 15 detektiert wird. Weiterhin wird die nahe Grenze 17.2. sichtbaren Abstandsbereichs 15 bildseitig ausgewertet, wobei die bildseitige nahe Grenze 17.2‘ des sichtbaren Abstandsbereichs 15 mit einer vorbestimmten Norm-Darstellung der nahen Grenze 17.2 des sichtbaren Abstandsbereichs 15 verglichen wird. Basierend auf dem Vergleich wird das Objekt 19, welches zuvor an der entfernten Grenze 17.1 detektiert wurde, gesucht. Die Serie von Aufnahmen 21 wird beendet, wenn das Objekt 19 an der nahen Grenze 17.2 des sichtbaren Abstandsbereichs 15 ebenfalls detektiert wird.
Vorzugsweise wird für das detektiert Objekt 19 eine Objektverfolgung durchgeführt.
In den Figuren 2 und 3 ist eine erste Ausführungsform des Vergleichs zwischen der mindestens einen bildseitigen Grenze 17‘ des sichtbaren Abstandsbereichs 15 und der vorbestimmten Norm-Darstellung der mindestens einen Grenze 17 des sichtbaren Abstandsbereichs 15 dargestellt. In einer Aufnahme 21 des optischen Sensors 7 wird eine bildseitige Linie 23 als die bildseitige Grenze 17‘ des sichtbaren Abstandsbereichs 15 bestimmt. Die bildseitige Linie 23 verläuft zwischen einem belichteten Bereich 25 und einem unbelichteten Bereich 27. Das Objekt 19 wird basierend auf eine Abweichung der bildseitigen Linie 23 von einem horizontalen Verlauf der Norm-Darstellung detektiert.
In Figur 2 a) ist eine schematische Darstellung eines ersten Beispiels der Aufnahme 21 dargestellt. Ein bildseitiges Objekt 19‘, welches hell ist und/oder gute Reflexionseigenschaften aufweist, ist an der entfernten Grenze 17.1 des sichtbaren Abstandsbereichs 15 angeordnet. Eine bildseitige Linie 23.1 zeigte die bildseitige entfernte Grenze 17.1 ‘ des sichtbaren Abstandsbereichs 15. Eine bildseitige Linie 23.2 zeigt die bildseitige nahe Grenze 17.2‘ des sichtbaren Abstandsbereichs 15. Die vorbestimmten Norm-Darstellung von sowohl der entfernten Grenze 17.1 als auch der nahen Grenze 17.2 ist eine Linie mit einem horizontalen Verlauf. Aufgrund der hellen Farbe und/oder der guten Reflexionseigenschaften des Objekts 19 weist die bildseitige Linie 23.1 im Bereich des bildseitigen Objekts 19‘ eine Ausbuchtung nach oben auf, wodurch der belichtete Bereich 25 vergrößert wird. Basierend auf einer Abweichung der bildseitigen Linie 23.1 , insbesondere der Ausbuchtung, wird das Objekt 19 an der entfernten Grenze 17.1 des sichtbaren Abstandsbereichs 15 detektiert.
In Figur 2 b) ist eine schematische Darstellung eines zweiten Beispiels der Aufnahme 21 dargestellt. Ein bildseitiges Objekt 19‘, welches dunkel ist und/oder schlechte Reflexionseigenschaften aufweist, ist an der entfernten Grenze 17.1 des sichtbaren Abstandsbereichs 15 angeordnet. Aufgrund der dunklen Farbe und/oder der schlechten Reflexionseigenschaften des Objekts 19 weist die bildseitige Linie 23.1 im Bereich des bildseitigen Objekts 19‘ eine Ausbuchtung nach unten auf, wodurch der unbelichtete Bereich 27.1 vergrößert wird. Basierend auf der Abweichung der bildseitigen Linie 23.1 , insbesondere der Ausbuchtung, wird das Objekt 19 an der entfernten Grenze 17.1 des sichtbaren Abstandsbereichs 15 detektiert.
In Figur 3) ist eine schematische Darstellung eines dritten Beispiels der Aufnahme 21 dargestellt. Ein bildseitiges Objekt 19‘, welches dunkel ist und/oder schlechte Reflexionseigenschaften aufweist, ist an der nahen Grenze 17.2 des sichtbaren Abstandsbereichs 15 angeordnet. Aufgrund der dunklen Farbe und/oder der schlechten Reflexionseigenschaften und eines Schattenwurfs des Objekts 19 weist die bildseitige Linie 23.2 im Bereich des bildseitigen Objekts 19‘ eine Ausbuchtung nach oben auf, wodurch der unbelichtete Bereich 27.2 vergrößert wird. Basierend auf einer Abweichung der bildseitigen Linie 23.2, insbesondere der Ausbuchtung, wird das Objekt 19 an der nahen Grenze 17.2 des sichtbaren Abstandsbereichs 15 detektiert.
Figur 4 zeigt eine schematische Darstellung eines vierten Beispiels der Aufnahme 21. In der Aufnahme 21 sind die unbelichteten Bereiche 27.1 und 27.2 durch das bildseitige Objekt 19‘, welches dunkel ist und/oder schlechte Reflexionseigenschaften aufweist, optisch verbunden. In diesem Fall wird in einer einzigen Aufnahme 21 das Objekt 19 sowohl an der entfernten Grenze 17.2 des sichtbaren Abstandsbereichs 15, als auch an der nahen Grenze 17.2 des sichtbaren Abstandsbereichs 15 zeitgleich detektiert und es wird auf ein Objekt 19 geschlossen, welches nicht überfahrbar ist.
Figur 5 zeigt eine schematische Darstellung eines fünften Beispiels der Aufnahme 21 und eines Beispiels eines zugehörigen Spaltenhistogramms 29.
In Figur 5 a) ist ein Ausschnitt der Aufnahme 21 mit der bildseitigen entfernten Grenze 17.T des sichtbaren Abstandsbereichs 15 dargestellt. Weiterhin ist das Objekt 19 an der entfernten Grenze 17.1 des sichtbaren Abstandsbereichs 15 angeordnet und in der Aufnahme 21 als bildseitiges Objekt 19‘ dargestellt. Zum Detektieren des Objekts 19 wird ein bildseitiger Auswerte-Bereich 31 bestimmt. Der bildseitige Auswerte-Bereich 31 wird derart bestimmt, dass die bildseitige entfernte Grenze 17‘ in dem Auswerte-Bereich 31 enthalten ist. Das Spaltenhistogramm 29, dargestellt in Figur 5 b), über alle dem Auswerte-Bereich 31 auf dem optischen Sensor 7 zugeordneten Bildpunkte wird mittels Summation der Beleuchtungsintensitäten der zugeordneten Bildpunkte für jede Bildspalte des Auswerte-Bereichs 31 erstellt. Basierend auf einer Abweichung des Spaltenhistogramms 29 von einem waagerechten Verlauf wird das Objekt 19 detektiert.
Das Objekt 19 ist hell und/oder weist gute Reflexionseigenschaften auf, daher ist in dem Spaltenhistogramm 29 eine deutliche Abweichung von einem waagerechten Verlauf nach oben sichtbar. Auf Grundlage dieser Abweichung des Spaltenhistogramm 29 von einem waagerechten Verlauf wird das Objekt 19 detektiert.
Figur 6 eine schematische Darstellung eines Beispiels zur Abschätzung einer Höhe eines ersten Objekts 19.1 und eines zweiten Objekts 19.2. Sowohl das erste Objekt 19.1 , als auch das zweite Objekt 19.2 weisen einen identischen Abstand xo zu der Beleuchtungseinrichtung 5 auf. Mittels eines Lichtstrahls 35 dargestellt, weisen sowohl das erste Objekt 19.1 , als auch das zweite Objekt 19.2 eine identische Ausdehnung xs des Schattenwurfs 37 auf. Mittels eines geeigneten Verfahrens werden sowohl der Abstand xo, als auch die bildseitige vertikale Ausdehnung bestimmt. Aus der vertikalen Ausdehnung berechnet sich die Ausdehnung xs des Schattenwurfs 37. Basierend auf dem Abstand xo und der bildseitigen vertikalen Ausdehnung, insbesondere der Ausdehnung xs des Schattenwurfs 37, wird näherungsweise, insbesondere mittels der Formel (1), eine Höhe zo von beiden Objekten 19 abgeschätzt, wobei die abgeschätzte Höhe zo für beide Objekte identisch ist. Die abgeschätzte Höhe zo ist geringfügig größer als die tatsächliche Höhe Z02 des zweiten Objekt 19.2. Jedoch ist die abgeschätzte Höhe zo sehr viel größer als die tatsächliche Höhe zoi des ersten Objekts 19.1. Somit ist aus Figur 6 deutlich erkennbar, dass die Höhe eines Objekts 19 bei Verwendung der Formel (1) nie unterschätzt wird.

Claims

Patentansprüche Verfahren zum Detektieren eines Objekts (19) mittels einer Beleuchtungseinrichtung (5) und eines optischen Sensors (7), wobei eine Ansteuerung der Beleuchtungseinrichtung (5) und des optischen Sensors (7) zeitlich aufeinander abgestimmt werden, wobei der abgestimmten Ansteuerung ein sichtbarer Abstandsbereich (15) zugeordnet wird, wobei mindestens eine bildseitige Grenze (17‘) des sichtbaren Abstandsbereichs
(15) mit einer vorbestimmten Norm-Darstellung der mindestens einen Grenze (17) des sichtbaren Abstandsbereichs (15) verglichen wird, wobei ein Objekt (19) an der mindestens einen Grenze (17) basierend auf dem Vergleich gesucht wird. Verfahren nach Anspruch 1 , wobei als die mindestens eine bildseitige Grenze (17‘) des sichtbaren Abstandsbereichs (15) eine bildseitige Linie (23), die zwischen einem belichteten Bereich (25) und einem unbelichteten Bereich (27) in der Aufnahme (21) verläuft, bestimmt wird, wobei ein Objekt (19) basierend auf einer Abweichung der bildseitigen Linie (23) von einem horizontalen Verlauf der Norm- Darstellung detektiert wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei ein bildseitiger Auswerte-Bereich (31) der Aufnahme (21) bestimmt wird, welcher die mindestens eine bildseitige Grenze (17‘) des sichtbaren Abstandsbereichs (15) aufweist, wobei ein Spaltenhistogramm (29) über alle dem Auswerte-Bereiche (31) auf dem optischen Sensor (7) zugeordneten Bildpunkte mittels Summation der Beleuchtungsintensitäten der zugeordneten Bildpunkte für jede Bildspalte des Auswerte-Bereichs (31) erstellt wird, wobei ein Objekt (19) basierend auf einer Abweichung des Spaltenhistogramms (29) von einem waagerechten Verlauf detektiert wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei in der Aufnahme (21) ein Abstand eines detektierten Objekts (19) von dem optischen Sensor (7) bestimmt wird, wobei in der Aufnahme (21) eine bildseitige vertikale Ausdehnung des detektierten Objekts (19) bestimmt wird, wobei basierend auf dem Abstand und der bildseitigen vertikalen Ausdehnung näherungsweise eine objektseitige Höhe des detektierten Objekts (19) abgeschätzt wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Serie von Aufnahmen (21) erstellt wird, falls ein Objekt (19) an einer entfernten Grenze (17.1) des sichtbaren Abstandsbereichs (15) als einer ersten bildseitigen Grenze (17.1 ‘) der wenigstens einen bildseitigen Grenze (17‘) detektiert wird, wobei eine nahe Grenze (17.2) des sichtbaren Abstandsbereichs (15) als eine zweite bildseitige Grenze (17.2‘) der wenigstens einen bildseitigen Grenze (17‘) bildseitig ausgewertet wird, wobei die bildseitige nahe Grenze (17.2‘) des sichtbaren Abstandsbereichs (15) mit einer vorbestimmten Norm-Darstellung der nahen Grenze (17.2) des sichtbaren Abstandsbereichs (15) verglichen wird, wobei das detektierte Objekt (19) basierend auf dem Vergleich an der nahen Grenze (17.2) des sichtbaren Abstandsbereichs (15) gesucht wird, wobei die Serie von Aufnahmen (21) beendet wird, wenn das detektierte Objekt (19) an der nahen Grenze (17.2) des sichtbaren Abstandsbereichs (15) detektiert wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei, falls ein Objekt (19) in einer Aufnahme (21) sowohl an der nahen Grenze (17.2) des sichtbaren Abstandsbereichs (15), als auch an der entfernten Grenze (17.1) des sichtbaren Abstandsbereichs (15) detektiert wird, auf ein nicht überfahrbares Objekt (19) geschlossen wird. 16 Verfahren nach einem der vorhergehenden Ansprüche, wobei für ein delektiertes Objekt (19) eine Objektverfolgung durchgeführt wird. Steuereinrichtung (9), eingerichtet zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche. Detektionsvorrichtung (3) mit einer Beleuchtungseinrichtung (5), einem optischen Sensor (7) und einer Steuereinrichtung (9) nach Anspruch 8. Kraftfahrzeug (1) mit einer Detektionsvorrichtung (3) nach Anspruch 9.
EP21789679.4A 2020-11-09 2021-10-07 Verfahren zum detektieren eines objekts mittels einer beleuchtungseinrichtung und eines optischen sensors, steuereinrichtung zur durchführung eines solchen verfahrens, detektionsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen detektionsvorrichtung Withdrawn EP4241114A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020006880.4A DE102020006880A1 (de) 2020-11-09 2020-11-09 Verfahren zum Detektieren eines Objekts mittels einer Beleuchtungseinrichtung und eines optischen Sensors, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Detektionsvorrichtung mit einer solchen Steuereinrlchtung und Kraftfahrzeug mit einer solchen Detektionsvorrichtung
PCT/EP2021/077661 WO2022096215A1 (de) 2020-11-09 2021-10-07 Verfahren zum detektieren eines objekts mittels einer beleuchtungseinrichtung und eines optischen sensors, steuereinrichtung zur durchführung eines solchen verfahrens, detektionsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen detektionsvorrichtung

Publications (1)

Publication Number Publication Date
EP4241114A1 true EP4241114A1 (de) 2023-09-13

Family

ID=74091972

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21789679.4A Withdrawn EP4241114A1 (de) 2020-11-09 2021-10-07 Verfahren zum detektieren eines objekts mittels einer beleuchtungseinrichtung und eines optischen sensors, steuereinrichtung zur durchführung eines solchen verfahrens, detektionsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen detektionsvorrichtung

Country Status (5)

Country Link
US (1) US20240012144A1 (de)
EP (1) EP4241114A1 (de)
CN (1) CN116529633A (de)
DE (1) DE102020006880A1 (de)
WO (1) WO2022096215A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021001175A1 (de) * 2021-03-05 2022-09-08 Daimler Truck AG Verfahren zum Betreiben einer Gated-Kamera, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Kameravorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Kameravorrichtung
DE102021002915A1 (de) * 2021-06-07 2022-12-08 Daimler Truck AG Verfahren zum Betreiben einer Gated-Kamera, Steuervorrichtung zur Durchführung eines solchen Verfahrens, Sichtweitenmessvorrichtung mit einer solchen Steuervorrichtung und Kraftfahrzeug mit einer solchen Sichtweitenmessvorrichtung
US20250208293A1 (en) * 2022-03-16 2025-06-26 Innoviz Technologies Ltd Determining object dimension using offset pixel grids

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6189116B2 (ja) * 2013-07-09 2017-08-30 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法およびプログラム
IL239919A (en) * 2015-07-14 2016-11-30 Brightway Vision Ltd Branded template lighting
US11562500B2 (en) * 2019-07-24 2023-01-24 Squadle, Inc. Status monitoring using machine learning and machine vision
DE102020002994B4 (de) * 2020-05-19 2023-03-30 Daimler Truck AG Verfahren zur Messung eines Abstandes zwischen einem Objekt und einem optischen Sensor, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Abstandsmessvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Abstandsmessvorrichtung

Also Published As

Publication number Publication date
WO2022096215A1 (de) 2022-05-12
DE102020006880A1 (de) 2021-01-14
CN116529633A (zh) 2023-08-01
US20240012144A1 (en) 2024-01-11

Similar Documents

Publication Publication Date Title
DE4110132C2 (de) Abstandsteuergerät für ein Fahrzeug
EP1298454B1 (de) Verfahren zur Erkennung und Verfolgung von Objekten
DE102020002994B4 (de) Verfahren zur Messung eines Abstandes zwischen einem Objekt und einem optischen Sensor, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Abstandsmessvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Abstandsmessvorrichtung
EP4241114A1 (de) Verfahren zum detektieren eines objekts mittels einer beleuchtungseinrichtung und eines optischen sensors, steuereinrichtung zur durchführung eines solchen verfahrens, detektionsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen detektionsvorrichtung
EP1554606A1 (de) Verfahren zur erkennung und verfolgung von objekten
EP1589484A1 (de) Verfahren zur Erkennung und/oder Verfolgung von Objekten
WO2021239323A1 (de) Verfahren zur erkennung von bildartefakten, steuereinrichtung zur durchführung eines solchen verfahrens, erkennungsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen erkennungsvorrichtung
EP1460454A2 (de) Verfahren zur gemeinsamen Verarbeitung von tiefenaufgelösten Bildern und Videobildern
EP3663881B1 (de) Verfahren zur steuerung eines autonomen fahrzeugs auf der grundlage von geschätzten bewegungsvektoren
EP3715779B1 (de) Verfahren und vorrichtung zur bestimmung von verformungen an einem objekt
EP3663800B1 (de) Verfahren zur objekterfassung mit einer 3d-kamera
DE102014204423B4 (de) Lichtlaufzeitkamerasystem
DE102020007061B4 (de) Verfahren zum Betreiben einer ersten Beleuchtungseinrichtung, einer zweiten Beleuchtungseinrichtung und eines optischen Sensors, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Gated-Kamera-Vorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Gated-Kamera-Vorrichtung
WO2022167343A1 (de) Verfahren zum kalibrieren einer gated-kamera, steuereinrichtung zur durchführung eines solchen verfahrens, kalibrierungsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen kalibrierungsvorrichtung
DE102022116317A1 (de) Verfahren zur Detektion einer Verschmutzung auf einer Kamera eines Fahrzeugs, Kamera und Fahrerassistenzsystem
DE102021003153B4 (de) Verfahren zum Betreiben einer Gated-Kamera, Steuervorrichtung zur Durchführung eines solchen Verfahrens, Schulterblickvorrichtung mit einer solchen Steuervorrichtung und Kraftfahrzeug mit einer solchen Schulterblickvorrichtung
DE10148063A1 (de) Verfahren zur Erkennung und Verfolgung von Objekten
EP4127767B1 (de) Objekterkennung durch ein aktives optisches sensorsystem
DE102021004521A1 (de) Gated-Kamera-Vorrichtung und Kraftfahrzeug mit einer solchen Gated-Kamera-Vorrichtung
DE102020005762B4 (de) Verfahren zum Kalibrieren einer Beleuchtungseinrichtung und eines optischen Sensors, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Kalibrierungsvorrichtung mit einer solchen Steuereinrichtung sowie Kraftfahrzeug mit einer solchen Kalibrierungsvorrichtung
EP4352547A1 (de) Verfahren zum betreiben einer gated-kamera, steuervorrichtung zur durchführung eines solchen verfahrens, sichtweitenmessvorrichtung mit einer solchen steuervorrichtung und kraftfahrzeug mit einer solchen sichtweitenmessvorrichtung
WO2023001711A1 (de) Verfahren zum betreiben einer gated-kamera, steuervorrichtung zur durchführung eines solchen verfahrens, gated-kamera-vorrichtung mit einer solchen steuervorrichtung und kraftfahrzeug mit einer solchen gated-kamera-vorrichtung
WO2026087226A1 (de) Vorrichtung zur bestimmung einer sichtweite in einem kraftfahrzeug, assistenzsystem, kraftfahrzeug sowie verfahren zur bestimmung einer sichtweite in einem kraftfahrzeug
WO2022184738A1 (de) Verfahren zum betreiben einer gated-kamera, steuereinrichtung zur durchführung eines solchen verfahrens, kameravorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen kameravorrichtung
DE102019134321A1 (de) Auf LIDAR-Datenwolken basierende Segmentierung und Klassifizierung von Fahrzeugen

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230324

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20250501