EP4374191A1 - Verfahren zum betreiben einer gated-kamera, steuervorrichtung zur durchführung eines solchen verfahrens, gated-kamera-vorrichtung mit einer solchen steuervorrichtung und kraftfahrzeug mit einer solchen gated-kamera-vorrichtung - Google Patents

Verfahren zum betreiben einer gated-kamera, steuervorrichtung zur durchführung eines solchen verfahrens, gated-kamera-vorrichtung mit einer solchen steuervorrichtung und kraftfahrzeug mit einer solchen gated-kamera-vorrichtung

Info

Publication number
EP4374191A1
EP4374191A1 EP22753651.3A EP22753651A EP4374191A1 EP 4374191 A1 EP4374191 A1 EP 4374191A1 EP 22753651 A EP22753651 A EP 22753651A EP 4374191 A1 EP4374191 A1 EP 4374191A1
Authority
EP
European Patent Office
Prior art keywords
recording
lighting device
optical sensor
image
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP22753651.3A
Other languages
English (en)
French (fr)
Inventor
Fridtjof Stein
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daimler Truck Holding AG
Original Assignee
Daimler Truck AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler Truck AG filed Critical Daimler Truck AG
Publication of EP4374191A1 publication Critical patent/EP4374191A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Definitions

  • the invention relates to a method for operating a gated camera, a control device for carrying out such a method, a gated camera device with such a control device and a motor vehicle with such a gated camera device.
  • Methods for operating a gated camera are known, in which an object is recognized on the basis of a shadow cast by the object. These methods are based on the assumption that a measure of a reflectivity of, in particular, diffusely reflecting, i.e. in particular non-luminous surfaces, in particular an albedo, of the object and an area surrounding the object is large enough so that enough photons are directed towards the gated camera reflected in order to be able to take a high-contrast picture.
  • the higher the albedo the higher the contrast can be recorded using the gated camera.
  • the shadow cast by the object can be detected more reliably if the albedo is high and sufficient photons for illuminating the optical sensor are reflected, in particular diffusely, by the object and the area surrounding the object.
  • a disadvantage of this method is that the albedo of the surroundings of the object—in particular a road surface—can become very small, in particular as a function of a surface condition and/or surface coverage. In particular, puddles of water on a road surface and/or a very dark road surface cause the albedo to become very small and no shadow can be detected, and object recognition is therefore not possible.
  • the invention is therefore based on the object of providing a method for operating a gated camera, a control device for carrying out such a method, a 2
  • the object is achieved in particular by creating a method for operating a gated camera with a first lighting device, a second lighting device spaced apart from the first lighting device and an optical sensor, with activation of the first lighting device, the second lighting device and the optical Sensors are timed to each other, and the coordinated control is associated with a visible distance range.
  • a first recording is made when the first lighting device is illuminated with the optical sensor by means of the coordinated control.
  • a second recording is made with illumination by means of the second illumination device with the optical sensor by means of the coordinated control.
  • a third recording is made with the optical sensor without illumination by means of one of the illumination devices.
  • a first difference recording is then formed as the difference between the first recording and the second recording.
  • a second difference recording is formed as the difference between the first recording and the third recording.
  • the second difference recording is formed as the difference between the second recording and the third recording.
  • the third recording corresponds to an ambient light recording, in particular a daylight recording.
  • the influence of ambient light, in particular daylight is advantageously calculated from the first recording or the second recording by subtracting the third recording. This can advantageously be used to identify areas of the visible distance range in which the albedo is small, in particular close to zero, and photons from the first illumination device and/or the second illumination device are almost exclusively absorbed and/or reflected in such a way that too small a proportion of the Emitted photons reach the gated camera for exposure of the optical sensor.
  • a reflection of a surface describes how photons that hit this surface are reflected back from the surface.
  • a specular reflection - in particular also referred to as directed reflection - can be distinguished from a diffuse reflection. If one considers a plurality of photons, with the plurality of photons having an almost identical direction of propagation, the plurality of photons are thrown back in a reflection direction in each case when they are reflected at the surface. The plurality of reflection directions are almost identical in specular reflection, with the respective reflection directions being dependent on the propagation direction.
  • the majority of reflection directions vary greatly in the case of diffuse reflection, with a main reflection direction preferably forming perpendicularly to the surface, in particular independently of the propagation direction (Lambert's law).
  • the method for generating recordings by means of a temporally coordinated activation of at least one lighting device—in particular the first lighting device and/or the second lighting device—and an optical sensor is in particular a method known as a gated imaging method; in particular, the optical sensor is a camera that is only sensitive to a specific, limited time range, which is referred to as "gated activation", so the camera is a gated camera.
  • the at least one lighting device--in particular the first lighting device and/or the second lighting device-- is also activated correspondingly only in a specific, selected time interval in order to illuminate a scene on the object side, in particular the visible distance range.
  • a predefined number of light pulses are emitted by the first illumination device and the second illumination device, preferably each with a duration of between 5 ns and 20 ns.
  • the start and end of the exposure of the optical sensor is linked to the number and duration of the emitted light pulses and a start of the illumination.
  • a local distance between the at least one lighting device - in particular the first lighting device and the second lighting device - and the optical sensor is preferably known and small compared to the distance between the at least one lighting device - in particular the first lighting device and the second lighting device - or the optical sensor to the visible distance range.
  • a distance between the optical sensor and the visible distance range is equal to a distance between the gated camera and the visible distance range.
  • the visible distance range is that area in three-dimensional space - on the object side - which is defined by the number and duration of the light pulses of the at least one lighting device - in particular the first lighting device and/or the second lighting device - and the start of the lighting in connection with the start and the end of the exposure of the optical sensor is imaged by means of the optical sensor in a two-dimensional recording on an image plane of the optical sensor.
  • the observation area is in particular the area in three-dimensional space—on the object side—which, given sufficient lighting and exposure of the optical sensor by means of the optical sensor, could be imaged in a two-dimensional recording as a whole—in particular as a maximum.
  • the observation area corresponds to the entire image area of the optical sensor that can be exposed and that could theoretically be illuminated.
  • the visible distance range is thus a subset of the observation range in real space.
  • only a subset of the image plane of the optical sensor is exposed in the method proposed here, with this subarea of the image plane being present in particular between a start image line and an end image line.
  • object-side an area in real space is addressed.
  • image side an area on the image plane of the optical sensor is addressed.
  • the observation range and the visible distance range are given on the object side.
  • mapping laws as well as the temporal Activation of the at least one lighting device—in particular the first lighting device and/or the second lighting device—and the optical sensor associated image-side areas on the image plane.
  • the optical sensor After the start and end of the exposure of the optical sensor after the start of the illumination by the at least one illumination device—in particular the first illumination device and/or the second illumination device—light pulse photons impinge on the optical sensor.
  • the time interval between the end of the illumination and the beginning of the exposure increases the further away the visible distance range is from the at least one illumination device—in particular the first illumination device and/or the second illumination device—and from the optical sensor.
  • the method it is therefore possible, in particular, to determine the position and the spatial width of the visible distance range, in particular a distance between the near boundary and the far boundary of the visible distance range.
  • the visible distance range is specified, from which the timing of the first illumination device and/or the second illumination device on the one hand and the optical sensor on the other hand is correspondingly specified.
  • the timing of the first lighting device and/or the second lighting device on the one hand and the optical sensor on the other is specified, with the visible distance range being specified accordingly.
  • the first lighting device and/or the second lighting device has at least one surface emitter, in particular a so-called VCSE laser.
  • the optical sensor is preferably a camera.
  • the third recording is made after the first recording and after the second recording.
  • the third recording is made after the first recording. After the third shot, the second shot is taken.
  • the third recording is made before the first recording and the second recording.
  • the process can be carried out continuously.
  • the first recording, the second recording and the third recording are recorded the same number of times per unit of time.
  • the first recording, the second recording and the third recording are each recorded at a time interval of less than 0.1 seconds, preferably less than 0.01 seconds.
  • the recordings in particular the first recording, the second recording and the third recording—are recorded at a recording rate of at least 20 Hz and at most 90 Hz.
  • a recording rate of at least 20 Hz to a maximum of 90 Hz it is not necessary to consider the own speed and/or the speed of the object found in order to determine a further coordinated activation.
  • a method for image registration is applied to the first image, the second image and the third image before the first differential image and the second differential image are formed.
  • An inherent movement of a motor vehicle having the gated camera is advantageously compensated for by means of the image registration.
  • a method for image registration is applied to the first recording and the second recording, wherein for the formation the first difference recording, the second recording is adapted to the first recording or the first recording to the second recording.
  • a method for image registration is applied to the second image and the third image, with the third image being adapted to the second image or the second image to the third image to form the second difference image.
  • a method for image registration is applied to the first image and the second image, the second image being adapted to the first image or the first image to the second image to form the first differential image.
  • a method for image registration is applied to the first image and the third image, with the third image being adapted to the first image or the first image to the third image to form the second difference image.
  • an object is arranged in the visible distance range and if an image-side shadow cast by the object is visible in at least one image selected from the first image and the second image, advantageously in the first difference image only the image-side shadow cast by the object - not but the object itself - because the first shot and the second shot differ only in the shadow cast.
  • the object can thus be detected on the basis of the shadow cast on the image side in the first difference recording.
  • the object is arranged in the visible distance range and if a shadow cast by the object on the image side is not visible either in the first image or in the second image, it is not possible to easily detect the object in the first differential image.
  • no shadow cast by the object on the image side can be detected if the area surrounding the object reflects the photons almost predominantly specularly away from the optical sensor—in particular, does not reflect them diffusely.
  • the surroundings of the object are almost predominantly mirror-reflecting, the surroundings of the object in the first recording and/or the second recording are represented at least approximately identically to those in the third recording. In this way, the object—in particular a bright object—can advantageously be detected in the second difference recording.
  • blind points are searched for in the second difference recording, reliability ranges of the recordings being defined on the basis of the blind points found.
  • all pixels of the second differential recording that are not blind spots form the reliability ranges of the recordings.
  • a pixel of a recording is defined as a blind spot if a luminance of the pixel is less than a predetermined threshold luminance.
  • a gray value of the pixels is used as the luminance of the pixels.
  • the luminance is a measure of the brightness of a pixel.
  • the predetermined threshold luminance is less than 0.2, preferably less than 0.1, preferably less than 0.05, more preferably less than 0.01.
  • a blind point characterizes an area of the visible distance area on the image side, which is represented almost identically, preferably identically, in the first recording and the third recording or in the second recording and the third recording.
  • a reliability range advantageously characterizes an image-side range of the visible distance range, which is represented differently in the first recording and the third recording or in the second recording and the third recording.
  • the objects found in the first difference recording are verified using the reliability ranges.
  • a robust and reliable object detection can advantageously be implemented in this way.
  • a future movement trajectory of a motor vehicle having the gated camera is determined based on the first difference recording and/or the second difference recording, i.e. in particular it is defined.
  • the future movement trajectory is preferably additionally determined on the basis of the objects that have been found and, in particular, verified.
  • the future movement trajectory of the motor vehicle is implemented by means of an actuator system of the motor vehicle, in particular by means of steering movements, acceleration processes and/or braking processes.
  • a base point determination is carried out on an object found in the second differential recording.
  • An object distance of the object from the optical sensor and/or from at least one lighting device, selected from the first lighting device and the second lighting device, can preferably be determined on the basis of an image-side base point.
  • the image-side object in the second differential recording has an image of the object and an image of a reflection of the object, it being preferably assumed that in the second differential recording a Horizontal symmetry holds.
  • the image-side base point is preferably estimated, in particular determined, as a horizontal image-side line between a maximum image-side extent in the vertical direction and a minimum image-side extent in the vertical direction of the image-side object.
  • the object is also achieved by creating a control device that is set up to carry out a method according to the invention or a method according to one or more of the embodiments described above.
  • the control device is preferably designed as a computing device, particularly preferably as a computer, or as a control unit, in particular as a control unit of a motor vehicle.
  • a computing device particularly preferably as a computer
  • a control unit in particular as a control unit of a motor vehicle.
  • the control device is preferably set up to be operatively connected to the gated camera, in particular to the first lighting device, the second lighting device and the optical sensor, and set up to control them in each case.
  • the object is also achieved by creating a gated camera device that has a gated camera that has a first illumination device, a second illumination device and an optical sensor, and a control device according to the invention or a control device according to one or more of those described above Having embodiments, wherein the first lighting device and the second lighting device are arranged at a distance from one another.
  • a gated camera device In connection with the gated camera device, there are in particular the advantages that have already been explained in connection with the method and the control device.
  • first lighting device and the second lighting device are arranged offset horizontally with respect to one another.
  • first lighting device and the second lighting device are preferably arranged vertically offset from one another.
  • a distance between the first lighting device and the second lighting device is more than 10 cm, preferably more than 20 cm, preferably more than 50 cm, preferably more than 100 cm, particularly preferably more than 150 cm.
  • the distance is measured in a horizontal direction if the first lighting device and the second lighting device are arranged horizontally offset from one another.
  • the distance is measured, in particular, in a vertical direction if the first illumination device and the second illumination device are arranged vertically offset from one another.
  • the distance is measured in particular in an oblique direction if the first Lighting device and the second lighting device are arranged horizontally and vertically offset from one another.
  • the control device is preferably operatively connected to the gated camera, in particular to the first illumination device, the second illumination device and the optical sensor, and is set up to control them in each case.
  • the object is also achieved by creating a motor vehicle with a gated camera device according to the invention or a gated camera device according to one or more of the embodiments described above.
  • a gated camera device according to the invention or a gated camera device according to one or more of the embodiments described above.
  • the motor vehicle is designed as an autonomously driving motor vehicle.
  • the motor vehicle is preferably designed as a truck.
  • the motor vehicle it is also possible for the motor vehicle to be in the form of a passenger car, a commercial vehicle, or another motor vehicle.
  • the motor vehicle is in the form of a truck that in particular drives autonomously.
  • the optical sensor is preferably arranged above the windshield.
  • the first lighting device and the second lighting device are preferably arranged in the area of the bumper and are at a distance from one another in the horizontal direction of more than 10 cm, preferably more than 20 cm, preferably more than 50 cm, preferably more than 100 cm, in particular preferably more than 150 cm.
  • FIG. 1 shows a schematic representation of an exemplary embodiment of a motor vehicle
  • FIG. 2 shows a flowchart of an embodiment of a method for operating a gated camera
  • 3 shows a schematic representation of a first example of a first recording, a second recording, a third recording, a first differential recording and a second differential recording
  • FIG. 5 shows a schematic representation of the second example of the second difference recording.
  • FIG. 1 shows a schematic representation of an embodiment of a motor vehicle 1, in particular an autonomous truck, with an embodiment of a gated camera device 3.
  • the gated camera device 3 has a gated camera 5 with a first lighting device 7.1, a second Illumination device 7.2 and an optical sensor 9, in particular a camera, and a control device 11.
  • the control device 11 is operatively connected to the gated camera 5, in particular to the first lighting device 7.1, the second lighting device 7.2 and the optical sensor 9, in a manner that is not explicitly shown, and is set up to control them in each case.
  • the first lighting device 7.1 and the second lighting device 7.2 are arranged at a distance from one another.
  • the first lighting device 7.1 and the second lighting device 7.2 are particularly preferably arranged offset horizontally with respect to one another.
  • the first lighting device 7.1 and the second lighting device 7.2 are preferably arranged vertically offset from one another.
  • the first lighting device 7.1 and the second lighting device 7.2 preferably each have at least one surface emitter, in particular a so-called VCSE laser.
  • Figure 1 shows a first illumination frustum 13.1 of the first illumination device 7.1, a second illumination frustum 13.2 of the second illumination device 7.2 and an observation area 15 of the optical sensor 9.
  • An object 19 is arranged within the visible distance range 17 .
  • the control device 11 is set up in particular to carry out an exemplary embodiment of a method for operating the gated camera 5, which is described in more detail in Figure 2, with the first lighting device 7.1, the second lighting device 7.2 and the optical sensor 9.
  • Figure 2 shows a flowchart of an embodiment of a method for operating the gated camera 5.
  • a first step a) activation of the first lighting device 7.1, the second lighting device 7.2, and the optical sensor 9 are coordinated in terms of time, the visible distance range 17 being assigned to the coordinated activation.
  • a first recording 21.1 is recorded with illumination by means of the first illumination device 7.1 with the optical sensor 9 by means of the coordinated control.
  • a second recording 21.2 is recorded with illumination by means of the second illumination device 7.2 with the optical sensor 9 by means of the coordinated control.
  • a third recording 21.3 is recorded with the optical sensor 9 without illumination by means of one of the illumination devices 7.
  • the first recording 21.1 is preferably recorded first, followed by the second recording 21.2 and then the third recording 21.3.
  • the first recording 21.1 is preferably recorded first in a second chronological sequence, followed by the third recording 21.3 and then the second recording 21.2.
  • the second recording 21.2 is preferably recorded first in a third chronological sequence, followed by the first recording 21.1 and then the third recording 21.3.
  • the third recording 21.3 is preferably recorded first in a fifth chronological sequence, followed by the first recording 21.1 and then the second recording 21.2.
  • the third recording 21.3 is recorded first, followed by the second recording 21.2 and then the first recording 21.1.
  • the second recording 21.2 is preferably recorded in the second step b) with illumination by means of the second illumination device 7.2 with the optical sensor 9 by means of the coordinated control.
  • the first recording 21.1 is recorded with illumination by means of the first illumination device 7.1 with the optical sensor 9 by means of the coordinated control.
  • a first difference recording 23.1 is formed as the difference between the first recording 21.1 and the second recording 21.2.
  • a second difference recording 23.2 is formed as the difference between the second recording 21.2 and the third recording 21.3.
  • the second differential recording 23.2 is preferably formed as the difference between the first recording 21.1 and the third recording 21.3.
  • a search is made for objects 19, in particular for image-side objects 19', preferably in the first difference recording 23.1.
  • the object 19 is preferably detected in the first difference recording 23.1 using a shadow 25 cast on the image side.
  • a search is made for objects 19, in particular for image-side objects 19', preferably in the second difference recording 23.2.
  • blind points 27 are preferably searched for in the second differential image 23.2, with the blind points 27 found being used to define reliability ranges 29 of the images 21, 23.
  • the objects 19 found in the first difference recording 23.1 are verified using the reliability ranges 29.
  • a base point 31 on the image side is preferably determined by at least one of the objects 19 found.
  • a future movement trajectory is determined using the—possibly verified—first differential recording 23.1 and/or the—possibly verified—second differential recording 23.2.
  • FIG. 3 shows a schematic representation of a first example of the first recording
  • FIG. 3a shows a schematic representation of the first example of the first recording
  • the distance region 17' visible on the image side and the object 19' on the image side arranged therein, which forms the shadow 25 cast on the image side, can be clearly seen. Furthermore, in particular a first surface 33.1 and a second surface 33.2 can be seen within the distance area 17' visible on the image side, which appear darker in the first photograph 21.1 than the remaining distance area 17' visible on the image side.
  • a road surface it is possible for a road surface to be covered with water in an object-side area of the first surface 33.1 and in an object-side area of the second surface 33.2, and thus in particular the photons are specularly reflected away from the optical sensor 9.
  • FIG. 3 b shows a schematic representation of the first example of the second receptacle 21.2.
  • the shadow 25 cast on the image side is not visible in FIG. 3b).
  • the reason for this is the particularly horizontally spaced arrangement of the lighting devices 7, as a result of which the object forms a different shadow 25 depending on the lighting.
  • FIG. 3c shows a schematic representation of the first example of the third recording 21.3, the object 19' on the image side being clearly visible.
  • the third recording 21.3 is a daylight recording or an ambient light recording.
  • FIG. 3d) shows a schematic representation of the first example of the first differential recording 23.1 as the difference between the first recording 21.1 and the second recording 21.2.
  • the only visible element in the first difference recording 23.1 is the image-side shadow 25 of the object 19.
  • the object 19 is preferably detected on the basis of the image-side shadow 25 in the first difference recording 23.1.
  • FIG. 3e) shows a schematic representation of the first example of the second difference recording 23.2 as the difference between the second recording 21.2 and the third recording 21.3.
  • the visible distance range 17 and the image-side object 19' are visible in the second difference recording 23.2.
  • the areas outside of the visible distance range 17, the first surface 33.1 and the second surface 33.2 are shown as blind spots 27.
  • all other areas of the second difference recording 33.2 that are not blind points 27 are reliability areas 29.
  • Figure 4 shows a schematic representation of a second example of the first recording 21.1, the second recording 21.2, the third recording 21.3, the first differential recording 23.1 and the second differential recording 23.2.
  • the first receptacle 21.1 in FIG. 4a) and the second receptacle 21.2 in FIG. 4b) are almost identical, in particular identical. Furthermore, the visible distance range 17 cannot be seen. This is the case when the scene to be observed either reflects photons almost exclusively specularly away from the optical sensor 9, in particular due to a very low albedo, for example on a wet road, and/or the environment absorbs photons and thus almost no photons are reflected at all .
  • the remaining areas of the recording correspond to a recording without illumination using at least one of the illumination devices 7.
  • FIG. 4 c) shows, analogously to FIG. 3 c), the third recording 21.3, which is in particular a daylight recording or an ambient light recording.
  • the image-side object 19' can also be seen in the third image 21.3, with the image-side object 19' appearing less brightly in comparison to the first image 21.1 and the second image 21.2.
  • FIG. 4d) shows, analogously to FIG. 3d), the first difference recording 23.1. Since the first recording 21.1 and the second recording 21.2 are almost identical, the first differential recording 23.1 is colored homogeneously and no structure, in particular no object 19, can be detected.
  • FIG. 4e) shows, analogously to FIG. 3e), the second difference recording 23.2. In particular, only the image-side object 19' can be seen here. It is therefore preferably possible to detect the object 19 by means of the second differential recording 23.2.
  • FIG. 5 shows a schematic representation of the second example of the second difference recording 23.2.
  • the surroundings of the object 19 reflect photons in a specular manner and that a reflection 35 of the object 19 can therefore be seen in the second difference recording 23.2 in addition to the object 19' on the image side.
  • the image-side object 19' and the reflection 35 are identified using horizontal symmetry, so that a base point of the object 19 can be determined.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben einer Gated-Kamera (5), mit einer ersten Beleuchtungseinrichtung (7.1), einer zweiten, von der ersten Beleuchtungseinrichtung (7.1) beabstandeten Beleuchtungseinrichtung (7.2) und einem optischen Sensor (9), wobei − eine Ansteuerung der ersten Beleuchtungseinrichtung (7.1), der zweiten Beleuchtungseinrichtung (7.2) und des optischen Sensors (9) zeitlich aufeinander abgestimmt werden, wobei − der abgestimmten Ansteuerung ein sichtbarer Abstandsbereich (17) zugeordnet wird, wobei − eine erste Aufnahme (21.1) bei einer Beleuchtung mittels der ersten Beleuchtungseinrichtung (7.1) mit dem optischen Sensor (9) mittels der abgestimmten Ansteuerung aufgenommen wird, wobei − eine zweite Aufnahme (21.2) bei einer Beleuchtung mittels der zweiten Beleuchtungseinrichtung (7.2) mit dem optischen Sensor (9) mittels der abgestimmten Ansteuerung aufgenommen wird, wobei − eine dritte Aufnahme (21.3) mit dem optischen Sensor (9) ohne Beleuchtung mittels einer der Beleuchtungseinrichtungen (7) aufgenommen wird, wobei − eine erste Differenz-Aufnahme (23.1) als Differenz der ersten Aufnahme (21.1) und der zweiten Aufnahme (21.2) gebildet wird, wobei − eine zweite Differenz-Aufnahme (23.2) als Differenz der ersten Aufnahme (21.1) und der dritten Aufnahme (21.3) oder als Differenz der zweiten Aufnahme (21.2) und der dritten Aufnahme gebildet (21.3) wird.

Description

Verfahren zum Betreiben einer Gated-Kamera, Steuervorrichtung zur Durchführung eines solchen Verfahrens, Gated-Kamera- Vorrichtung mit einer solchen Steuervorrichtung und Kraftfahrzeug mit einer solchen Gated-Kamera-Vorrichtung
Die Erfindung betrifft ein Verfahren zum Betreiben einer Gated-Kamera, eine Steuervorrichtung zur Durchführung eines solchen Verfahrens, eine Gated-Kamera- Vorrichtung mit einer solchen Steuervorrichtung und ein Kraftfahrzeug mit einer solchen Gated-Kamera- Vorrichtung.
Es sind Verfahren zum Betreiben einer Gated-Kamera bekannt, bei denen ein Objekt aufgrund eines Schattenwurfs des Objekts erkannt wird. Diese Verfahren basieren auf der Annahme, dass ein Maß für ein Rückstrahlvermögen von insbesondere diffus reflektierenden, also insbesondere nicht selbst leuchtenden Oberflächen, insbesondere eine Albedo, von dem Objekt und einer Umgebung des Objekts groß genug ist, sodass genug Photonen in Richtung der Gated-Kamera reflektiert werden, um eine kontrastreiche Aufnahme aufnehmen zu können. Insbesondere kann mittels der Gated-Kamera eine kontrastreichere Aufnahme aufgenommen werden, je größer die Albedo ist. Außerdem ist insbesondere bekannt, dass der Schattenwurf des Objekts zuverlässiger detektiert werden kann, falls die Albedo groß ist und damit genügend Photonen zur Belichtung des optischen Sensors von dem Objekt und der Umgebung des Objekts insbesondere diffus reflektiert werden. Nachteilig an diesen Verfahren ist, dass die Albedo der Umgebung des Objekts - insbesondere einer Straßenoberfläche - insbesondere in Abhängigkeit einer Oberflächenbeschaffenheit und/oder Oberflächenbedeckung sehr klein werden kann. Insbesondere Wasserpfützen auf einer Straßenoberfläche und/oder ein sehr dunkle Straßenoberfläche bewirken, dass die Albedo sehr klein wird und kein Schatten detektiert werden kann und somit eine Objekterkennung nicht möglich ist.
Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zum Betreiben einer Gated-Kamera, eine Steuervorrichtung zur Durchführung eines solchen Verfahrens, eine 2
Gated- Kamera- Vorrichtung mit einer solchen Steuervorrichtung und ein Kraftfahrzeug mit einer solchen Gated-Kamera-Vorrichtung zu schaffen, wobei die genannten Nachteile zumindest teilweise behoben, vorzugsweise vermieden sind.
Die Aufgabe wird gelöst, indem die vorliegende technische Lehre bereitgestellt wird, insbesondere die Lehre der unabhängigen Ansprüche sowie der in den abhängigen Ansprüchen und der Beschreibung offenbarten Ausführungsformen.
Die Aufgabe wird insbesondere gelöst, indem ein Verfahren zum Betreiben einer Gated- Kamera, mit einer ersten Beleuchtungseinrichtung, einer zweiten, von der ersten Beleuchtungseinrichtung beabstandeten Beleuchtungseinrichtung und einem optischen Sensor geschaffen wird, wobei eine Ansteuerung der ersten Beleuchtungseinrichtung, der zweiten Beleuchtungseinrichtung und des optischen Sensors zeitlich aufeinander abgestimmt werden, und wobei der abgestimmten Ansteuerung eine sichtbarer Abstandsbereich zugeordnet wird. Eine erste Aufnahme wird bei einer Beleuchtung mittels der ersten Beleuchtungseinrichtung mit dem optischen Sensor mittels der abgestimmten Ansteuerung aufgenommen. Eine zweite Aufnahme wird bei einer Beleuchtung mittels der zweiten Beleuchtungseinrichtung mit dem optischen Sensor mittels der abgestimmten Ansteuerung aufgenommen. Eine dritte Aufnahme wird mit dem optischen Sensor ohne Beleuchtung mittels einer der Beleuchtungseinrichtungen aufgenommen. Anschließend wird eine erste Differenz-Aufnahme als Differenz der ersten Aufnahme und der zweiten Aufnahme gebildet. Zusätzlich wird eine zweite Differenz- Aufnahme als Differenz der ersten Aufnahme und der dritten Aufnahme gebildet.
Alternativ wird die zweite Differenz-Aufnahme als Differenz der zweiten Aufnahme und der dritten Aufnahme gebildet.
Insbesondere entspricht die dritte Aufnahme einer Umgebungslicht-Aufnahme, insbesondere einer Tageslicht-Aufnahme. Vorteilhafterweise wird aus der ersten Aufnahme oder der zweiten Aufnahme der Einfluss von Umgebungslicht, insbesondere von Tageslicht, mittels Subtraktion der dritten Aufnahme herausgerechnet. Damit können vorteilhafterweise Bereiche des sichtbaren Abstandsbereichs identifiziert werden, bei welchen die Albedo klein, insbesondere nahe Null, ist und damit Photonen der ersten Beleuchtungseinrichtung und/oder der zweiten Beleuchtungseinrichtung nahezu ausschließlich absorbiert werden und/oder derart reflektiert werden, dass ein zu geringer Anteil der ausgesendeten Photonen zur Belichtung des optischen Sensors zu der Gated- Kamera gelangen. 3
Im Kontext der vorliegenden technischen Lehre beschreibt eine Reflexion einer Oberfläche, wie Photonen, die auf diese Oberfläche treffen, von der Oberfläche zurückgeworfen werden. Dabei kann man eine spiegelnde Reflexion - insbesondere auch als gerichtete Reflexion bezeichnet - und eine diffuse Reflexion unterscheiden. Betrachtet man eine Mehrzahl von Photonen, wobei die Mehrzahl an Photonen eine nahezu identische Ausbreitungsrichtung aufweisen, werden die Mehrzahl an Photonen bei einer Reflexion an der Oberfläche in jeweils eine Reflexionsrichtung zurückgeworfen. Die Mehrzahl an Reflexionsrichtungen sind bei einer spiegelnden Reflexion nahezu identisch, wobei die jeweiligen Reflexionsrichtungen von der Ausbreitungsrichtung abhängig sind.
Im Gegensatz dazu variieren die Mehrzahl an Reflexionsrichtungen bei einer diffusen Reflexion stark, wobei sich vorzugsweise eine Hauptreflexionsrichtung, insbesondere unabhängig von der Ausbreitungsrichtung, senkrecht zu der Oberfläche ausbildet (Lambertsches Gesetz).
Das Verfahren zur Erzeugung von Aufnahmen mittels einer zeitlich aufeinander abgestimmten Ansteuerung mindestens einer Beleuchtungseinrichtung - insbesondere von der ersten Beleuchtungseinrichtung und/oder der zweiten Beleuchtungseinrichtung - und eines optischen Sensors ist insbesondere ein als Gated-Imaging-Verfahren bekanntes Verfahren; insbesondere ist der optische Sensor eine Kamera, die nur in einem bestimmten, eingeschränkten Zeitbereich empfindlich geschaltet wird, was als „Gated- Ansteuerung“ bezeichnet wird, die Kamera ist also eine Gated-Kamera. Auch die mindestens eine Beleuchtungseinrichtung - insbesondere die erste Beleuchtungseinrichtung und/oder die zweite Beleuchtungseinrichtung - wird entsprechend zeitlich nur in einem bestimmten, ausgewählten Zeitintervall angesteuert, um eine objektseitige Szenerie, insbesondere den sichtbaren Abstandsbereich, auszuleuchten.
Insbesondere werden durch die erste Beleuchtungseinrichtung und die zweite Beleuchtungseinrichtung eine vordefinierte Anzahl von Lichtimpulsen ausgesandt, vorzugsweise jeweils mit einer Dauer zwischen 5 ns und 20 ns. Der Beginn und das Ende der Belichtung des optischen Sensors wird an die Anzahl und Dauer der abgegebenen Lichtimpulse und einen Start der Beleuchtung gekoppelt. Daraus resultierend kann ein bestimmter sichtbarer Abstandsbereich durch die zeitliche Ansteuerung einerseits der ersten Beleuchtungseinrichtung und/oder der zweiten Beleuchtungseinrichtung und andererseits des optischen Sensors mit entsprechend definierter örtlicher Lage, das heißt insbesondere in bestimmten Abständen einer nahen und einer entfernten Grenze des sichtbaren Abstandsbereichs von dem optischen Sensor, durch den optischen Sensor 4 erfasst werden. Aus dem Aufbau der Gated-Kamera ist eine örtliche Lage des optischen Sensors und der mindestens einen Beleuchtungseinrichtung - insbesondere der ersten Beleuchtungseinrichtung und der zweiten Beleuchtungseinrichtung - bekannt. Vorzugsweise ist außerdem ein örtlicher Abstand zwischen der mindestens einen Beleuchtungseinrichtung - insbesondere der ersten Beleuchtungseinrichtung und der zweiten Beleuchtungseinrichtung - und dem optischen Sensor bekannt und klein im Vergleich zu dem Abstand der mindestens einen Beleuchtungseinrichtung - insbesondere der ersten Beleuchtungseinrichtung und der zweiten Beleuchtungseinrichtung - bzw. des optischen Sensors zu dem sichtbaren Abstandsbereich. Damit ist im Kontext der vorliegenden technischen Lehre ein Abstand zwischen dem optischen Sensor und dem sichtbaren Abstandsbereich gleich einem Abstand zwischen der Gated-Kamera und dem sichtbaren Abstandsbereich.
Der sichtbare Abstandsbereich ist dabei derjenige - objektseitige - Bereich im dreidimensionalen Raum, welcher durch die Anzahl und die Dauer der Lichtimpulse der mindestens einen Beleuchtungseinrichtung - insbesondere der ersten Beleuchtungseinrichtung und/oder der zweiten Beleuchtungseinrichtung - und dem Start der Beleuchtung in Verbindung mit dem Start und dem Ende der Belichtung des optischen Sensors mittels des optischen Sensors in einer zweidimensionalen Aufnahme auf einer Bildebene des optischen Sensors abgebildet wird.
Der Beobachtungsbereich ist demgegenüber insbesondere der - objektseitige - Bereich im dreidimensionalen Raum, welcher bei ausreichender Beleuchtung und Belichtung des optischen Sensors mittels des optischen Sensors in einer zweidimensionalen Aufnahme insgesamt - insbesondere maximal - abgebildet werden könnte. Insbesondere entspricht der Beobachtungsbereich dem gesamten belichtbaren Bildbereich des optischen Sensors, der theoretisch ausgeleuchtet werden könnte. Der sichtbare Abstandsbereich ist somit eine Teilmenge des Beobachtungsbereichs im realen Raum. Entsprechend wird auch nur eine Teilmenge der Bildebene des optischen Sensors bei dem hier vorgeschlagenen Verfahren belichtet, wobei dieser Teilbereich der Bildebene insbesondere zwischen einer Start-Bildzeile und einer End-Bildzeile gegeben ist.
Soweit hier und im Folgenden von „objektseitig“ die Rede ist, ist ein Bereich im realen Raum angesprochen. Soweit hier und im Folgenden von „bildseitig“ die Rede ist, ist ein Bereich auf der Bildebene des optischen Sensors angesprochen. Der Beobachtungsbereich und der sichtbare Abstandsbereich sind dabei objektseitig gegeben. Ihnen entsprechen durch die Abbildungsgesetze sowie die zeitliche Ansteuerung der mindestens einen Beleuchtungseinrichtung - insbesondere der ersten Beleuchtungseinrichtung und/oder der zweiten Beleuchtungseinrichtung - und des optischen Sensors zugeordnete bildseitigen Bereiche auf der Bildebene.
Abhängig von dem Start und dem Ende der Belichtung des optischen Sensors nach dem Beginn der Beleuchtung durch die mindestens eine Beleuchtungseinrichtung - insbesondere die erste Beleuchtungseinrichtung und/oder der zweiten Beleuchtungseinrichtung - treffen Lichtimpulsphotonen auf den optischen Sensor. Je weiter der sichtbare Abstandsbereich von der mindestens einen Beleuchtungseinrichtung - insbesondere der ersten Beleuchtungseinrichtung und/oder der zweiten Beleuchtungseinrichtung - und dem optischen Sensor entfernt ist, desto länger ist die zeitliche Dauer bis ein Photon, welches in diesem Abstandsbereich reflektiert wird, auf den optischen Sensor trifft. Dabei verlängert sich der zeitliche Abstand zwischen einem Ende der Beleuchtung und einem Beginn der Belichtung, je weiter der sichtbare Abstandsbereich von der mindestens einen Beleuchtungseinrichtung - insbesondere der ersten Beleuchtungseinrichtung und/oder der zweiten Beleuchtungseinrichtung - und von dem optischen Sensor entfernt ist.
Es ist also gemäß einer Ausgestaltung des Verfahrens insbesondere möglich, durch eine entsprechend geeignete Wahl der zeitlichen Ansteuerung der ersten Beleuchtungseinrichtung und/oder der zweiten Beleuchtungseinrichtung einerseits und des optischen Sensors andererseits die Lage und die räumliche Breite des sichtbaren Abstandsbereich, insbesondere einen Abstand zwischen der nahen Grenze und der entfernten Grenze des sichtbaren Abstandsbereichs, zu definieren.
In einer bevorzugten Ausgestaltung des Verfahrens wird der sichtbare Abstandsbereich vorgegeben, wobei daraus die zeitliche Abstimmung der ersten Beleuchtungseinrichtung und/oder der zweiten Beleuchtungseinrichtung einerseits und des optischen Sensors andererseits entsprechend vorgegeben wird.
In einerweiteren bevorzugten Ausgestaltung des Verfahrens wird die zeitliche Abstimmung der ersten Beleuchtungseinrichtung und/oder der zweiten Beleuchtungseinrichtung einerseits und des optischen Sensors andererseits vorgegeben, wobei daraus entsprechend der sichtbare Abstandsbereich vorgegeben wird.
Die erste Beleuchtungseinrichtung und/oder die zweite Beleuchtungseinrichtung weist in einer bevorzugten Ausgestaltung mindestens einen Oberflächenemitter, insbesondere einen sogenannten VCSE-Laser, auf. Alternativ oder zusätzlich ist der optische Sensor bevorzugt eine Kamera.
In einer Ausgestaltung des Verfahrens wird nach der ersten Aufnahme und nach der zweiten Aufnahme die dritte Aufnahme aufgenommen.
In einer Ausgestaltung des Verfahrens wird nach der ersten Aufnahme die dritte Aufnahme aufgenommen. Nach der dritten Aufnahme wird die zweite Aufnahme aufgenommen.
In einer Ausgestaltung des Verfahrens wird die dritte Aufnahme vor der ersten Aufnahme und der zweiten Aufnahme aufgenommen.
Vorteilhafterweise kann das Verfahren kontinuierlich durchgeführt werden. In einer Ausführungsform des Verfahrens bei einer kontinuierlichen Durchführung werden die erste Aufnahme, die zweite Aufnahme und die dritte Aufnahme pro Zeiteinheit gleich oft aufgenommen.
In einer bevorzugten Ausgestaltung des Verfahrens werden die erste Aufnahme, die zweite Aufnahme und die dritte Aufnahme jeweils in einem zeitlichen Abstand von weniger als 0,1 Sekunden, vorzugsweise weniger als 0,01 Sekunden, aufgenommen.
In einer bevorzugten Ausgestaltung werden die Aufnahmen - insbesondere die erste Aufnahme, die zweite Aufnahme und die dritte Aufnahme - mit einer Aufnahmerate von mindestens 20 Hz bis höchstens 90 Hz aufgenommen. Vorteilhafterweise ist bei einer Aufnahmerate von mindestens 20 Hz bis höchstens 90 Hz nicht notwendig, die Eigen- Geschwindigkeit und/oder die Geschwindigkeit des gefundenen Objekts zu betrachten, um eine weitere abgestimmte Ansteuerung zu bestimmen.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass auf die erste Aufnahme, die zweite Aufnahme und die dritte Aufnahme ein Verfahren zur Bildregistrierung angewendet wird, bevor die erste Differenz-Aufnahme und die zweite Differenz-Aufnahme gebildet werden. Vorteilhafterweise wird mittels der Bildregistrierung eine Eigenbewegung eines die Gated-Kamera aufweisenden Kraftfahrzeugs kompensiert.
In einer bevorzugten Ausgestaltung des Verfahrens wird auf die erste Aufnahme und die zweite Aufnahme ein Verfahren zur Bildregistrierung angewendet, wobei für die Bildung der ersten Differenz-Aufnahme die zweite Aufnahme an die erste Aufnahme oder die erste Aufnahme an die zweite Aufnahme angepasst wird. Zusätzlich wird auf die zweite Aufnahme und die dritte Aufnahme ein Verfahren zur Bildregistrierung angewendet, wobei für die Bildung der zweiten Differenz-Aufnahme die dritte Aufnahme an die zweite Aufnahme oder die zweite Aufnahme an die dritte Aufnahme angepasst wird.
In einerweiteren bevorzugten Ausgestaltung des Verfahrens wird auf die erste Aufnahme und die zweite Aufnahme ein Verfahren zur Bildregistrierung angewendet, wobei für die Bildung der ersten Differenz-Aufnahme die zweite Aufnahme an die erste Aufnahme oder die erste Aufnahme an die zweite Aufnahme angepasst wird. Zusätzlich wird auf die erste Aufnahme und die dritte Aufnahme ein Verfahren zur Bildregistrierung angewendet, wobei für die Bildung der zweiten Differenz-Aufnahme die dritte Aufnahme an die erste Aufnahme oder die erste Aufnahme an die dritte Aufnahme angepasst wird.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass in der ersten Differenz- Aufnahme und/oder der zweiten Differenz-Aufnahme nach Objekten gesucht wird.
Falls ein Objekt in dem sichtbaren Abstandsbereich angeordnet ist und falls in mindestens einer Aufnahme, ausgewählt aus der ersten Aufnahme und der zweiten Aufnahme, ein bildseitiger Schattenwurf des Objekts sichtbar ist, wird vorteilhafterweise in der ersten Differenz-Aufnahme ausschließlich der bildseitige Schattenwurf des Objekts - nicht aber das Objekt selbst - dargestellt, da sich die erste Aufnahme und die zweite Aufnahme nur in dem Schattenwurf unterscheiden. Damit kann das Objekt anhand des bildseitigen Schattenwurfs in der ersten Differenz-Aufnahme detektiert werden.
Falls das Objekt in dem sichtbaren Abstandsbereich angeordnet ist und falls weder in der ersten Aufnahme noch in der zweiten Aufnahme ein bildseitiger Schattenwurf des Objekts sichtbar ist, ist es in der ersten Differenz-Aufnahme nicht in einfacher Weise möglich das Objekt zu detektieren. Insbesondere kann kein bildseitiger Schattenwurf des Objekts detektiert werden, falls die Umgebung des Objekts die Photonen nahezu überwiegend von dem optischen Sensor weg spiegelnd reflektiert - insbesondere nicht diffus reflektiert. Bei einer nahezu überwiegend spiegelnd reflektierenden Umgebung des Objekts wird die Umgebung des Objekts in der ersten Aufnahme und/oder der zweiten Aufnahme zumindest annähernd identisch dargestellt wie in der dritten Aufnahme. Damit kann das Objekt - insbesondere ein helles Objekt - vorteilhafterweise in der zweiten Differenz- Aufnahme detektiert werden. Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass in der zweiten Differenz- Aufnahme nach Blindpunkten gesucht wird, wobei anhand der gefundenen Blindpunkte Zuverlässigkeitsbereiche der Aufnahmen definiert werden. Insbesondere bilden alle Bildpunkte der zweiten Differenz-Aufnahme, welche kein Blindpunkt sind, die Zuverlässigkeitsbereiche der Aufnahmen.
Im Kontext der vorliegenden technischen Lehre wird ein Bildpunkt einer Aufnahme als Blindpunkt definiert, falls eine Luminanz des Bildpunktes kleiner ist als eine vorbestimmte Schwellenluminanz. In einer bevorzugten Ausgestaltung wird als Luminanz der Bildpunkte ein Grauwert der Bildpunkte verwendet.
Im Kontext der vorliegenden technischen Lehre ist die Luminanz ein Maß für die Helligkeit eines Bildpunktes.
Vorzugsweise ist der vorbestimmte Schwellenluminanz kleiner als 0,2, vorzugsweise kleiner als 0,1, vorzugsweise kleiner als 0,05, besonders bevorzugt kleiner als 0,01.
Vorteilhafterweise kennzeichnet ein Blindpunkt einen bildseitigen Bereich des sichtbaren Abstandsbereichs, welcher in der ersten Aufnahme und der dritten Aufnahme oder in der zweiten Aufnahme und der dritten Aufnahme nahezu identisch, vorzugsweise identisch, dargestellt wird. Weiterhin kennzeichnet vorteilhafterweise ein Zuverlässigkeitsbereich einen bildseitigen Bereich des sichtbaren Abstandsbereichs, welcher in der ersten Aufnahme und der dritten Aufnahme oder in der zweiten Aufnahme und der dritten Aufnahme verschieden dargestellt wird.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die in der ersten Differenz-Aufnahme gefundenen Objekte anhand der Zuverlässigkeitsbereiche verifiziert werden. Vorteilhafterweise kann damit eine robuste und zuverlässige Objekterkennung realisiert werden.
Es kann vorzugsweise angenommen werden, dass eine fehlerfreie Objekterkennung, insbesondere anhand mindestens eines bildseitigen Schattenwurfs des zu erkennenden Objekts in der ersten Differenz-Aufnahme, in den Blindpunkten nicht gewährleistet werden kann. Alternativ oder zusätzlich kann vorzugsweise angenommen werden, dass eine zuverlässige Objekterkennung, insbesondere anhand mindestens eines bildseitigen Schattenwurfs des zu erkennenden Objekts in der ersten Differenz-Aufnahme, in den Zuverlässigkeitsbereichen realisiert werden kann. Vorzugsweise wird ein Objekt, welches in einem Zuverlässigkeitsbereich erkannt wird, verifiziert. Alternativ oder zusätzlich wird vorzugsweise ein Objekt, welches in einem Blindpunkt erkannt wird, nicht verifiziert und das Verfahren wird vorzugsweise erneut gestartet, wobei eine weitere erste Aufnahme, eine weitere zweite Aufnahme und eine weitere dritte Aufnahme aufgenommen werden.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass eine zukünftige Bewegungstrajektorie eines die Gated-Kamera aufweisenden Kraftfahrzeugs basierend auf der ersten Differenz-Aufnahme und/oder der zweiten Differenz-Aufnahme bestimmt, d.h. insbesondere festgelegt, wird. Vorzugsweise wird die zukünftige Bewegungstrajektorie zusätzlich anhand der gefundenen und insbesondere verifizierten Objekte bestimmt. Vorteilhafterweise ist es damit möglich, die zukünftige Bewegungstrajektorie derart zu bestimmen, dass gefundene und insbesondere verifizierte Objekte nicht überfahren werden.
Im Kontext der vorliegenden technischen Lehre wird die zukünftige Bewegungstrajektorie des Kraftfahrzeugs mittels einer Aktuatorik des Kraftfahrzeugs, insbesondere mittels Lenkbewegungen, Beschleunigungsvorgängen und/oder Bremsvorgängen, umgesetzt.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass in der zweiten Differenz- Aufnahme eine Fußpunktbestimmung an einem in der zweiten Differenz-Aufnahme gefundenen Objekt durchgeführt wird. Vorzugsweise kann anhand eines bildseitigen Fußpunkts ein Objekt-Abstand des Objekts zu dem optischen Sensor und/oder zu mindestens einer Beleuchtungseinrichtung, ausgewählt aus der ersten Beleuchtungseinrichtung und der zweiten Beleuchtungseinrichtung, ermittelt werden.
Falls die Albedo der Umgebung des Objekts aufgrund spiegelnder Reflexion gering ist, weist insbesondere das bildseitige Objekt in der zweiten Differenz-Aufnahme eine Abbildung des Objekts und eine Abbildung einer Spiegelung des Objekts auf, wobei vorzugsweise angenommen wird, dass in der zweiten Differenz-Aufnahme eine Horizontalsymmetrie gilt. Damit wird vorzugsweise der bildseitige Fußpunkt als horizontale bildseitige Linie zwischen einer maximalen bildseitigen Ausdehnung in Vertikalrichtung und einer minimalen bildseitigen Ausdehnung in Vertikalrichtung des bildseitigen Objekts geschätzt, insbesondere bestimmt. Die Aufgabe wird auch gelöst, indem eine Steuervorrichtung geschaffen wird, die zur Durchführung eines erfindungsgemäßen Verfahrens oder eines Verfahrens gemäß einer oder mehrerer der zuvor beschriebenen Ausführungsformen eingerichtet ist. Die Steuervorrichtung ist vorzugsweise als Rechenvorrichtung, besonders bevorzugt als Computer, oder als Steuergerät, insbesondere als Steuergerät eines Kraftfahrzeugs, ausgebildet. In Zusammenhang mit der Steuervorrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren erläutert wurden.
Die Steuervorrichtung ist bevorzugt eingerichtet, um mit der Gated-Kamera, insbesondere mit der ersten Beleuchtungseinrichtung, der zweiten Beleuchtungseinrichtung und dem optischen Sensor, wirkverbunden zu werden, und eingerichtet zu deren jeweiliger Ansteuerung.
Die Aufgabe wird auch gelöst, indem eine Gated-Kamera-Vorrichtung geschaffen wird, die eine Gated-Kamera, die eine erste Beleuchtungseinrichtung, eine zweite Beleuchtungseinrichtung und einen optischen Sensor aufweist, und eine erfindungsgemäße Steuervorrichtung oder eine Steuervorrichtung nach einer oder mehreren der zuvor beschriebenen Ausführungsformen aufweist, wobei die erste Beleuchtungseinrichtung und die zweite Beleuchtungseinrichtung voneinander beabstandet angeordnet sind. In Zusammenhang mit der Gated-Kamera-Vorrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren und der Steuervorrichtung erläutert wurden.
In einer bevorzugten Ausgestaltung sind die erste Beleuchtungseinrichtung und die zweite Beleuchtungseinrichtung horizontal versetzt zueinander angeordnet. Alternativ oder zusätzlich sind vorzugsweise die erste Beleuchtungseinrichtung und die zweite Beleuchtungseinrichtung vertikal versetzt zueinander angeordnet.
Insbesondere beträgt ein Abstand zwischen der ersten Beleuchtungseinrichtung und der zweiten Beleuchtungseinrichtung mehr als 10 cm, bevorzugt mehr als 20 cm, bevorzugt mehr als 50 cm, bevorzugt mehr als 100 cm, besonders bevorzugt mehr als 150 cm. Insbesondere wird der Abstand in einer horizontalen Richtung gemessen, falls die erste Beleuchtungseinrichtung und die zweite Beleuchtungseinrichtung horizontal versetzt zueinander angeordnet sind. Alternativ wird der Abstand insbesondere in einer vertikalen Richtung gemessen, falls die erste Beleuchtungseinrichtung und die zweite Beleuchtungseinrichtung vertikal versetzt zueinander angeordnet sind. Alternativ wird der Abstand insbesondere in einer schrägen Richtung gemessen, falls die erste Beleuchtungseinrichtung und die zweite Beleuchtungseinrichtung horizontal und vertikal versetzt zueinander angeordnet sind.
Die Steuervorrichtung ist bevorzugt mit der Gated-Kamera, insbesondere mit der ersten Beleuchtungseinrichtung, der zweiten Beleuchtungseinrichtung und dem optischen Sensor, wirkverbunden und eingerichtet zu deren jeweiliger Ansteuerung.
Die Aufgabe wird auch gelöst, indem ein Kraftfahrzeug mit einer erfindungsgemäßen Gated-Kamera- Vorrichtung oder einer Gated-Kamera-Vorrichtung nach einer oder mehreren der zuvor beschriebenen Ausführungsformen geschaffen wird. In Zusammenhang mit dem Kraftfahrzeug ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren, der Steuervorrichtung und der Gated- Kamera-Vorrichtung erläutert wurden.
In einer bevorzugten Ausgestaltung ist das Kraftfahrzeug als autonom fahrendes Kraftfahrzeug ausgebildet. Alternativ oder zusätzlich ist das Kraftfahrzeug vorzugsweise als Lastkraftwagen ausgebildet. Es ist aber auch möglich, dass das Kraftfahrzeug als ein Personenkraftwagen, ein Nutzfahrzeug, oder ein anderes Kraftfahrzeug ausgebildet ist.
In einer besonders bevorzugten Ausgestaltung ist das Kraftfahrzeug als insbesondere autonom fahrender Lastkraftwagen ausgebildet. Zusätzlich ist vorzugsweise der optische Sensor oberhalb der Windschutzscheibe angeordnet. Alternativ oder zusätzlich sind vorzugsweise die erste Beleuchtungseinrichtung und die zweite Beleuchtungseinrichtung im Bereich der Stoßstange angeordnet und weisen in horizontaler Richtung einen Abstand voneinander von mehr als 10 cm, vorzugsweise mehr als 20 cm, vorzugsweise mehr als 50 cm, vorzugsweise mehr als 100 cm, besonders bevorzugt mehr als 150 cm, auf.
Die Erfindung wird im Folgenden anhand der Zeichnung näher erläutert.
Dabei zeigen:
Fig. 1 eine schematische Darstellung eines Ausführungsbeispiels eines Kraftfahrzeugs,
Fig. 2 ein Flussdiagramm eines Ausführungsbeispiels eines Verfahrens zum Betreiben einer Gated-Kamera, Fig. 3 eine schematische Darstellung eines ersten Beispiels einer ersten Aufnahme, einer zweiten Aufnahme, einer dritten Aufnahme, einer ersten Differenz- Aufnahme und einer zweiten Differenz-Aufnahme,
Fig. 4 eine schematische Darstellung eines zweiten Beispiels der ersten Aufnahme, der zweiten Aufnahme, der dritten Aufnahme, der ersten Differenz-Aufnahme und der zweiten Differenz-Aufnahme, und
Fig. 5 eine schematische Darstellung des zweiten Beispiels der zweiten Differenz- Aufnahme.
Figur 1 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Kraftfahrzeugs 1, insbesondere eines autonom fahrenden Lastkraftwagens, mit einem Ausführungsbeispiel einer Gated-Kamera-Vorrichtung 3. Die Gated-Kamera-Vorrichtung 3 weist eine Gated-Kamera 5 mit einer ersten Beleuchtungseinrichtung 7.1 , einer zweiten Beleuchtungseinrichtung 7.2 und einem optischen Sensor 9, insbesondere einer Kamera, und eine Steuereinrichtung 11 auf. Die Steuereinrichtung 11 ist in nicht explizit dargestellter Weise mit der Gated-Kamera 5, insbesondere mit der ersten Beleuchtungseinrichtung 7.1, der zweiten Beleuchtungseinrichtung 7.2 und dem optischen Sensor 9, wirkverbunden und eingerichtet zu deren jeweiliger Ansteuerung.
Die erste Beleuchtungseinrichtung 7.1 und die zweite Beleuchtungseinrichtung 7.2 sind voneinander beabstandet angeordnet. Besonders bevorzugt sind die erste Beleuchtungseinrichtung 7.1 und die zweite Beleuchtungseinrichtung 7.2 horizontal versetzt zueinander angeordnet. Alternativ oder zusätzlich sind die erste Beleuchtungseinrichtung 7.1 und die zweite Beleuchtungseinrichtung 7.2 vorzugsweise vertikal versetzt zueinander angeordnet.
Die erste Beleuchtungseinrichtung 7.1 und die zweite Beleuchtungseinrichtung 7.2 weisen vorzugsweise jeweils mindestens einen Oberflächenemitter, insbesondere einen sogenannten VCSE-Laser, auf.
Dargestellt in Figur 1 ist insbesondere ein erstes Beleuchtungs-Frustum 13.1 der ersten Beleuchtungseinrichtung 7.1, ein zweites Beleuchtungs-Frustum 13.2 der zweiten Beleuchtungseinrichtung 7.2 und ein Beobachtungsbereich 15 des optischen Sensors 9. Schraffiert dargestellt ist außerdem ein sichtbarer Abstandsbereich 17, der sich als Teilmenge des ersten Beleuchtungs-Frustums 13.1 der ersten Beleuchtungseinrichtung 7.1, des zweiten Beleuchtungs-Frustums 13.2 der zweiten Beleuchtungseinrichtung 7.2 und des Beobachtungsbereichs 15 des optischen Sensors 9 ergibt. Innerhalb des sichtbaren Abstandsbereichs 17 ist ein Objekt 19 angeordnet.
Die Steuereinrichtung 11 ist insbesondere eingerichtet zur Durchführung eines in Figur 2 näher beschriebenen Ausführungsbeispiels eines Verfahrens zum Betreiben der Gated- Kamera 5, mit der ersten Beleuchtungseinrichtung 7.1, der zweiten Beleuchtungseinrichtung 7.2 und des optischen Sensors 9.
Figur 2 zeigt ein Flussdiagramm eines Ausführungsbeispiels eines Verfahrens zum Betreiben der Gated-Kamera 5.
Gleiche und funktionsgleiche Elemente sind in allen Figuren mit gleichen Bezugszeichen versehen, sodass insofern jeweils auf die vorangegangene Beschreibung verwiesen wird.
In einem ersten Schritt a) werden eine Ansteuerung der ersten Beleuchtungseinrichtung 7.1, der zweiten Beleuchtungseinrichtung 7.2, und des optischen Sensors 9 zeitlich aufeinander abgestimmt, wobei der abgestimmten Ansteuerung der sichtbarer Abstandsbereich 17 zugeordnet wird.
In einem zweiten Schritt b) wird eine erste Aufnahme 21.1 bei einer Beleuchtung mittels der ersten Beleuchtungseinrichtung 7.1 mit dem optischen Sensor 9 mittels der abgestimmten Ansteuerung aufgenommen.
In einem dritten Schritt c) wird eine zweite Aufnahme 21.2 bei einer Beleuchtung mittels der zweiten Beleuchtungseinrichtung 7.2 mit dem optischen Sensor 9 mittels der abgestimmten Ansteuerung aufgenommen.
In einem vierten Schritt d) wird eine dritte Aufnahme 21.3 mit dem optischen Sensor 9 ohne Beleuchtung mittels einer der Beleuchtungseinrichtungen 7 aufgenommen.
Vorzugsweise wird in einer ersten zeitlichen Abfolge zuerst die erste Aufnahme 21.1, zeitlich danach die zweite Aufnahme 21.2 und zeitlich danach die dritte Aufnahme 21.3 aufgenommen. Alternativ wird vorzugsweise in einer zweiten zeitlichen Abfolge zuerst die erste Aufnahme 21.1, zeitlich danach die dritte Aufnahme 21.3 und zeitlich danach die zweite Aufnahme 21.2 aufgenommen. Alternativ wird vorzugsweise in einer dritten zeitlichen Abfolge zuerst die zweite Aufnahme 21.2, zeitlich danach die erste Aufnahme 21.1 und zeitlich danach die dritte Aufnahme 21.3 aufgenommen. Alternativ wird vorzugsweise in einer vierten zeitlichen Abfolge zuerst die zweite Aufnahme 21.2, zeitlich danach die dritte Aufnahme 21.3 und zeitlich danach die erste Aufnahme 21.1 aufgenommen. Alternativ wird vorzugsweise in einer fünften zeitlichen Abfolge zuerst die dritte Aufnahme 21.3, zeitlich danach die erste Aufnahme 21.1 und zeitlich danach die zweite Aufnahme 21.2 aufgenommen. Alternativ wird vorzugsweise in einer sechsten zeitlichen Abfolge zuerst die dritte Aufnahme 21.3, zeitlich danach die zweite Aufnahme 21.2 und zeitlich danach die erste Aufnahme 21.1 aufgenommen.
In einer alternativen Ausgestaltung des Verfahrens wird vorzugsweise in dem zweiten Schritt b) die zweite Aufnahme 21.2 bei einer Beleuchtung mittels der zweiten Beleuchtungseinrichtung 7.2 mit dem optischen Sensor 9 mittels der abgestimmten Ansteuerung aufgenommen. Zusätzlich wird vorzugsweise in dem dritten Schritt c) die erste Aufnahme 21.1 bei einer Beleuchtung mittels der ersten Beleuchtungseinrichtung 7.1 mit dem optischen Sensor 9 mittels der abgestimmten Ansteuerung aufgenommen.
In einem fünften Schritt e) wird eine erste Differenz-Aufnahme 23.1 als Differenz der ersten Aufnahme 21.1 und der zweiten Aufnahme 21.2 gebildet.
In einem sechsten Schritt f) wird eine zweite Differenz-Aufnahme 23.2 als Differenz der zweiten Aufnahme 21.2 und der dritten Aufnahme 21.3 gebildet. Alternativ wird vorzugsweise die zweite Differenz-Aufnahme 23.2 als Differenz der ersten Aufnahme 21.1 und der dritten Aufnahme 21.3 gebildet.
In einem optionalen siebten Schritt g) wird vorzugsweise in der ersten Differenz- Aufnahme 23.1 nach Objekten 19, insbesondere nach bildseitigen Objekten 19‘, gesucht. Vorzugsweise wird das Objekt 19 in der ersten Differenz-Aufnahme 23.1 anhand eines bildseitigen Schattenwurfs 25 detektiert.
In einem optionalen achten Schritt h) wird vorzugsweise in der zweiten Differenz- Aufnahme 23.2 nach Objekten 19, insbesondere nach bildseitigen Objekten 19‘, gesucht. Alternativ oder zusätzlich wird vorzugsweise in der zweiten Differenz-Aufnahme 23.2 nach Blindpunkten 27 gesucht, wobei anhand der gefundenen Blindpunkte 27 Zuverlässigkeitsbereiche 29 der Aufnahmen 21 , 23 definiert werden.
In einem optionalen neunten Schritt i) werden die in der ersten Differenz-Aufnahme 23.1 gefundenen Objekte 19 anhand der Zuverlässigkeitsbereiche 29 verifiziert. Alternativ oder zusätzlich wird vorzugsweise ein bildseitiger Fußpunkt 31 von zumindest einem der gefundenen Objekte 19 bestimmt.
In einem optionalen zehnten Schritt j) wird eine zukünftige Bewegungstrajektorie anhand der - gegebenenfalls verifizierten - ersten Differenz-Aufnahme 23.1 und/oder der - gegebenenfalls verifizierten - zweiten Differenz-Aufnahme 23.2 bestimmt.
Figur 3 zeigt eine schematische Darstellung eines ersten Beispiels der ersten Aufnahme
21.1, der zweiten Aufnahme 21.2, der dritten Aufnahme 21.3, der ersten Differenz- Aufnahme 23.1 und der zweiten Differenz-Aufnahme 23.2.
Figur 3 a) zeigt eine schematische Darstellung des ersten Beispiels der ersten Aufnahme
21.1. Deutlich zu sehen ist der bildseitig sichtbare Abstandsbereich 17‘ und das darin angeordnete bildseitige Objekt 19‘, welches den bildseitigen Schattenwurf 25 ausbildet. Weiterhin sind insbesondere eine erste Fläche 33.1 und eine zweite Fläche 33.2 innerhalb des bildseitig sichtbaren Abstandsbereichs 17‘ zu sehen, die in der ersten Aufnahme 21.1 dunkler erscheinen als der restliche bildseitige sichtbare Abstandsbereich 17‘. Insbesondere ist es möglich, dass eine Straßenoberfläche in einem objektseitigen Bereich der ersten Fläche 33.1 und in einem objektseitigen Bereich der zweiten Fläche 33.2 mit Wasser bedeckt ist, und somit insbesondere die Photonen spiegelnd von dem optischen Sensor 9 weg reflektiert werden.
Figur 3 b) zeigt eine schematische Darstellung des ersten Beispiels der zweiten Aufnahme 21.2. Im Unterschied zu der ersten Aufnahme aus Figur 3 a) ist in Figur 3 b) der bildseitige Schattenwurf 25 nicht sichtbar. Grund dafür ist die insbesondere horizontal beabstandete Anordnung der Beleuchtungseinrichtungen 7, wodurch das Objekt je nach Beleuchtung einen anderen Schattenwurf 25 ausbildet.
Figur 3 c) zeigt eine schematische Darstellung des ersten Beispiels der dritten Aufnahme 21.3, wobei das bildseitige Objekt 19‘ klar zu erkennen ist. Insbesondere ist die dritte Aufnahme 21.3 eine Tageslicht-Aufnahme oder eine Umgebungslicht-Aufnahme.
Figur 3 d) zeigt eine schematische Darstellung des ersten Beispiels der ersten Differenz- Aufnahme 23.1 als Differenz der ersten Aufnahme 21.1 und der zweiten Aufnahme 21.2. Das einzige sichtbare Element in der ersten Differenz-Aufnahme 23.1 ist der bildseitige Schattenwurf 25 des Objekts 19. Vorzugsweise wird anhand des bildseitigen Schattenwurfs 25 in der ersten Differenz-Aufnahme 23.1 das Objekt 19 detektiert. Figur 3 e) zeigt eine schematische Darstellung des ersten Beispiels der zweiten Differenz- Aufnahme 23.2 als Differenz der zweiten Aufnahme 21.2 und der dritten Aufnahme 21.3.
In der zweiten Differenz-Aufnahme 23.2 sind der sichtbare Abstandsbereich 17 und das bildseitige Objekt 19‘ sichtbar. Insbesondere die Bereiche außerhalb des sichtbaren Abstandsbereichs 17, die erste Fläche 33.1 und die zweite Fläche 33.2 sind als Blindpunkte 27 dargestellt. Weiterhin sind insbesondere alle anderen Bereiche der zweiten Differenz-Aufnahme 33.2, die keine Blindpunkte 27 sind, Zuverlässigkeitsbereiche 29.
Figur 4 zeigt eine schematische Darstellung eines zweiten Beispiels der ersten Aufnahme 21.1, der zweiten Aufnahme 21.2, der dritten Aufnahme 21.3, der ersten Differenz- Aufnahme 23.1 und der zweiten Differenz-Aufnahme 23.2.
Die erste Aufnahme 21.1 in Figur 4 a) und die zweite Aufnahme 21.2 in Figur 4 b) sind nahezu identisch, insbesondere identisch. Weiterhin ist der sichtbare Abstandsbereich 17 nicht erkennbar. Dies ist der Fall, wenn die zu beobachtende Szenerie entweder Photonen nahezu ausschließlich spiegelnd von dem optischen Sensor 9 weg reflektiert, insbesondere aufgrund einer sehr geringen Albedo, beispielsweise bei nasser Fahrbahn, und/oder die Umgebung Photonen absorbiert und somit nahezu gar keine Photonen reflektiert werden.
Einzig das Objekt 19 reflektiert insbesondere diffus und ist somit deutlich erkennbar. Die restlichen Bereiche der Aufnahme entsprechen einer Aufnahme ohne eine Beleuchtung mittels mindestens einer der Beleuchtungseinrichtungen 7.
Figur 4 c) zeigt, analog zu Figur 3 c), die dritte Aufnahme 21.3, welche insbesondere eine Tageslicht-Aufnahme oder eine Umgebungslicht-Aufnahme ist. Auch in der dritten Aufnahme 21.3 ist das bildseitige Objekt 19‘ erkennbar, wobei das bildseitige Objekt 19‘ im Vergleich zu der ersten Aufnahme 21.1 und der zweiten Aufnahme 21.2 weniger hell erscheint.
Figur 4 d) zeigt, analog zu Figur 3 d), die erste Differenz-Aufnahme 23.1. Da die erste Aufnahme 21.1 und die zweite Aufnahme 21.2 nahezu identisch sind, ist die erste Differenz-Aufnahme 23.1 homogen eingefärbt, und es kann keine Struktur, insbesondere kein Objekt 19, detektiert werden. Figur 4 e) zeigt, analog zu Figur 3 e), die zweite Differenz-Aufnahme 23.2. Hier ist insbesondere ausschließlich das bildseitige Objekt 19‘ erkennbar. Vorzugsweise ist es daher mittels der zweiten Differenz-Aufnahme 23.2 möglich, das Objekt 19 zu detektieren.
Figur 5 zeigt eine schematische Darstellung des zweiten Beispiels der zweiten Differenz- Aufnahme 23.2.
Dabei wird angenommen, dass die Umgebung des Objekts 19 Photonen spiegelnd reflektiert und somit in der zweiten Differenz-Aufnahme 23.2 zusätzlich zu dem bildseitigen Objekt 19‘ eine Spiegelung 35 des Objekts 19 erkennbar ist. Das bildseitige Objekt 19‘ und die Spiegelung 35 werden anhand einer Horizontalsymmetrie identifiziert, sodass ein Fußpunkt des Objekts 19 bestimmt werden kann.

Claims

Patentansprüche
1. Verfahren zum Betreiben einer Gated-Kamera (5), mit einer ersten Beleuchtungseinrichtung (7.1), einer zweiten, von der ersten Beleuchtungseinrichtung (7.1) beabstandeten Beleuchtungseinrichtung (7.2) und einem optischen Sensor (9), wobei eine Ansteuerung der ersten Beleuchtungseinrichtung (7.1), der zweiten Beleuchtungseinrichtung (7.2) und des optischen Sensors (9) zeitlich aufeinander abgestimmt werden, wobei der abgestimmten Ansteuerung ein sichtbarer Abstandsbereich (17) zugeordnet wird, wobei eine erste Aufnahme (21.1) bei einer Beleuchtung mittels der ersten
Beleuchtungseinrichtung (7.1) mit dem optischen Sensor (9) mittels der abgestimmten Ansteuerung aufgenommen wird, wobei eine zweite Aufnahme (21.2) bei einer Beleuchtung mittels der zweiten
Beleuchtungseinrichtung (7.2) mit dem optischen Sensor (9) mittels der abgestimmten Ansteuerung aufgenommen wird, wobei eine dritte Aufnahme (21.3) mit dem optischen Sensor (9) ohne Beleuchtung mittels einer der Beleuchtungseinrichtungen (7) aufgenommen wird, wobei eine erste Differenz-Aufnahme (23.1) als Differenz der ersten Aufnahme
(21.1) und der zweiten Aufnahme (21.2) gebildet wird, wobei eine zweite Differenz-Aufnahme (23.2) als Differenz der ersten Aufnahme
(21.1) und der dritten Aufnahme (21.3) oder als Differenz der zweiten
Aufnahme (21.2) und der dritten Aufnahme gebildet (21.3) wird.
2. Verfahren nach Anspruch 1, wobei auf die erste Aufnahme (21.1), die zweite Aufnahme (21.2) und die dritte Aufnahme (21.3) ein Verfahren zur Bildregistrierung angewendet wird, bevor die erste Differenz-Aufnahme (23.1) und die zweite Differenz-Aufnahme (23.2) gebildet werden.
3. Verfahren nach einem der vorhergehenden Ansprüche, wobei in der ersten Differenz-Aufnahme (23.1) und/oder der zweiten Differenz-Aufnahme (23.2) nach Objekten (19) gesucht wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei in der zweiten Differenz-Aufnahme (23.2) nach Blindpunkten (27) gesucht wird, wobei ein Bildpunkt einer Aufnahme (21, 23) als Blindpunkt (27) definiert wird, falls eine Luminanz des Bildpunktes kleiner ist als eine vorbestimmte Schwellenluminanz, wobei anhand der gefundenen Blindpunkte (27) Zuverlässigkeitsbereiche (29) der Aufnahmen (21, 23) definiert werden.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die in der ersten Differenz-Aufnahme (23.1) gefundenen Objekte (19) anhand der Zuverlässigkeitsbereiche (29) verifiziert werden.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei eine zukünftige Bewegungstrajektorie eines die Gated-Kamera (5) aufweisenden Kraftfahrzeugs (1) basierend auf der ersten Differenz-Aufnahme (23.1) und/oder der zweiten Differenz- Aufnahme (23.2) bestimmt wird.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei in der zweiten Differenz-Aufnahme (23.2) eine Fußpunktbestimmung an einem in der zweiten Differenz-Aufnahme (23.2) gefunden Objekt (19) durchgeführt wird.
8. Steuervorrichtung (11), eingerichtet zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche.
9. Gated-Kamera-Vorrichtung (3) mit einer ersten Beleuchtungseinrichtung (7.1), einer zweiten Beleuchtungseinrichtung (7.2), einem optischen Sensor (9) und einer Steuervorrichtung (11) nach Anspruch 8, wobei die erste Beleuchtungseinrichtung (7.1) und die zweite Beleuchtungseinrichtung (7.2) horizontal versetzt zueinander angeordnet sind.
10. Kraftfahrzeug (1) mit einer Gated-Kamera-Vorrichtung (3) nach Anspruch 9.
EP22753651.3A 2021-07-20 2022-07-15 Verfahren zum betreiben einer gated-kamera, steuervorrichtung zur durchführung eines solchen verfahrens, gated-kamera-vorrichtung mit einer solchen steuervorrichtung und kraftfahrzeug mit einer solchen gated-kamera-vorrichtung Withdrawn EP4374191A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021003728.6A DE102021003728B4 (de) 2021-07-20 2021-07-20 Verfahren zum Betreiben einer Gated-Kamera, Steuervorrichtung zur Durchführung eines solchen Verfahrens, Gated-Kamera-Vorrichtung mit einer solchen Steuervorrichtung und Kraftfahrzeug mit einer solchen Gated-Kamera-Vorrichtung
PCT/EP2022/069909 WO2023001711A1 (de) 2021-07-20 2022-07-15 Verfahren zum betreiben einer gated-kamera, steuervorrichtung zur durchführung eines solchen verfahrens, gated-kamera-vorrichtung mit einer solchen steuervorrichtung und kraftfahrzeug mit einer solchen gated-kamera-vorrichtung

Publications (1)

Publication Number Publication Date
EP4374191A1 true EP4374191A1 (de) 2024-05-29

Family

ID=82850258

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22753651.3A Withdrawn EP4374191A1 (de) 2021-07-20 2022-07-15 Verfahren zum betreiben einer gated-kamera, steuervorrichtung zur durchführung eines solchen verfahrens, gated-kamera-vorrichtung mit einer solchen steuervorrichtung und kraftfahrzeug mit einer solchen gated-kamera-vorrichtung

Country Status (5)

Country Link
US (1) US20250085428A1 (de)
EP (1) EP4374191A1 (de)
CN (1) CN117616301A (de)
DE (1) DE102021003728B4 (de)
WO (1) WO2023001711A1 (de)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006060893A1 (de) 2006-05-12 2007-11-15 Adc Automotive Distance Control Systems Gmbh Vorrichtung und Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug
JP5141452B2 (ja) * 2008-09-05 2013-02-13 富士通株式会社 姿勢計測装置及び姿勢計測方法
IL239919A (en) * 2015-07-14 2016-11-30 Brightway Vision Ltd Branded template lighting
US10234559B2 (en) * 2016-11-01 2019-03-19 Bae Systems Information And Electronic Systems Integration Inc. Apparatus for detecting sea mines
US10222474B1 (en) * 2017-12-13 2019-03-05 Soraa Laser Diode, Inc. Lidar systems including a gallium and nitrogen containing laser light source
US10942274B2 (en) * 2018-04-11 2021-03-09 Microsoft Technology Licensing, Llc Time of flight and picture camera
IT201800007424A1 (it) * 2018-07-23 2020-01-23 Dispositivo e metodo per rilevare dati ottici risolti nel tempo
DE102019214404A1 (de) 2019-09-20 2021-03-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Diagnostizierende beleuchtung
US11157774B2 (en) * 2019-11-14 2021-10-26 Zoox, Inc. Depth data model training with upsampling, losses, and loss balancing
US11754692B2 (en) * 2020-03-31 2023-09-12 Bae Systems Information And Electronic Systems Integration Inc. LIDAR polarimetry
DE102020002994B4 (de) 2020-05-19 2023-03-30 Daimler Truck AG Verfahren zur Messung eines Abstandes zwischen einem Objekt und einem optischen Sensor, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Abstandsmessvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Abstandsmessvorrichtung
US11733385B1 (en) * 2020-06-30 2023-08-22 Amazon Technologies, Inc. Broadening the measurement range of optical shutter-gated light detection and ranging (LIDAR)
DE102020004690A1 (de) 2020-08-03 2021-05-27 Daimler Ag Verfahren zur Erkennung von Objekten, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Erkennungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Erkennungsvorrichtung
US12158525B2 (en) * 2021-06-25 2024-12-03 The Florida International University Board Of Trustees Systems and methods for terrain mapping using Lidar

Also Published As

Publication number Publication date
CN117616301A (zh) 2024-02-27
WO2023001711A1 (de) 2023-01-26
DE102021003728A1 (de) 2023-01-26
DE102021003728B4 (de) 2023-04-20
US20250085428A1 (en) 2025-03-13

Similar Documents

Publication Publication Date Title
DE102020002994B4 (de) Verfahren zur Messung eines Abstandes zwischen einem Objekt und einem optischen Sensor, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Abstandsmessvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Abstandsmessvorrichtung
DE102005016288B4 (de) Vorrichtung zur Erfassung eines Objekts vor einem Fahrzeug
EP3497476A1 (de) Kraftfahrzeug und verfahren zur 360°-umfelderfassung
WO2007033870A1 (de) Verfahren und fahrerassistenzsystem zur sensorbasierten anfahrtsteuerung eines kraftfahrzeugs
EP4139709B1 (de) Verfahren und vorrichtung zum erkennen von blooming in einer lidarmessung
DE102013212495A1 (de) Verfahren und Vorrichtung zur Inspektion einer konturierten Fläche,insbesondere des Unterbodens eines Kraftfahrzeugs
EP2856390A1 (de) Verfahren und vorrichtung zur verarbeitung stereoskopischer daten
WO2021239323A1 (de) Verfahren zur erkennung von bildartefakten, steuereinrichtung zur durchführung eines solchen verfahrens, erkennungsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen erkennungsvorrichtung
DE102020004690A1 (de) Verfahren zur Erkennung von Objekten, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Erkennungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Erkennungsvorrichtung
EP3861280A1 (de) Verfahren zum unterdrücken von abbildungen von reflexionen in zumindest einem kamerabild einer kamera einer umfeldsensorvorrichtung eines kraftfahrzeugs sowie entsprechende umfeldsensorvorrichtung
EP3715779A1 (de) Verfahren und vorrichtung zur bestimmung von verformungen an einem objekt
DE102015223500A1 (de) Verfahren und Vorrichtung zur Prüfung der Funktionalität einer außenseitigen Lichteinrichtung eines Fahrzeugs
DE102005056647A1 (de) Fahrzeugumgebungsüberwachungsvorrichtung
DE102013022050A1 (de) Verfahren zum Verfolgen eines Zielfahrzeugs, insbesondere eines Motorrads, mittels eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102019116004A1 (de) Verfahren und vorrichtung zur objekterkennung in blindzonen einer kamera
DE102021003728B4 (de) Verfahren zum Betreiben einer Gated-Kamera, Steuervorrichtung zur Durchführung eines solchen Verfahrens, Gated-Kamera-Vorrichtung mit einer solchen Steuervorrichtung und Kraftfahrzeug mit einer solchen Gated-Kamera-Vorrichtung
DE102015218500A1 (de) Beleuchtung und kamerabasierte Detektion von Regentropfen auf einer Scheibe
DE102022002766B4 (de) Verfahren zur dreidimensionalen Rekonstruktion einer Fahrzeugumgebung
DE102006004770B4 (de) Verfahren zur bildgestützten Erkennung von Fahrzeugen im Umfeld eines Sraßenfahrzeugs
WO2023247302A1 (de) Verfahren zur ermittlung wenigstens einer korrekturfunktion für ein lidarsystem, lidar-system, fahrzeug mit wenigstens einem lidar-system, messanlage
DE102021003153B4 (de) Verfahren zum Betreiben einer Gated-Kamera, Steuervorrichtung zur Durchführung eines solchen Verfahrens, Schulterblickvorrichtung mit einer solchen Steuervorrichtung und Kraftfahrzeug mit einer solchen Schulterblickvorrichtung
DE102017206974A1 (de) Verfahren zur indirekten Detektion eines verdeckten Verkehrsteilnehmers
WO2022106115A1 (de) Verfahren zum betreiben einer ersten beleuchtungseinrichtung, einer zweiten beleuchtungseinrichtung und eines optischen sensors, steuereinrichtung zur durchführung eines solchen verfahrens, gated-kamera-vorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen gated-kamera-vorrichtung
DE102021000447A1 (de) Verfahren zum Betreiben einer Gated-Kamera, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Kameravorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Kameravorrichtung
DE102020007064B4 (de) Verfahren zum Kalibrieren einer ersten Beleuchtungseinrichtung, einer zweiten Beleuchtungseinrichtung und eines optischen Sensors, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Kalibrierungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Kalibrierungsvorrichtung

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20231103

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20240917