EP4449378A1 - Verfahren und vorrichtung zum erkennen von objekten auf einer fahrbahnoberfläche - Google Patents

Verfahren und vorrichtung zum erkennen von objekten auf einer fahrbahnoberfläche

Info

Publication number
EP4449378A1
EP4449378A1 EP22813183.5A EP22813183A EP4449378A1 EP 4449378 A1 EP4449378 A1 EP 4449378A1 EP 22813183 A EP22813183 A EP 22813183A EP 4449378 A1 EP4449378 A1 EP 4449378A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
camera
projected
objects
series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22813183.5A
Other languages
English (en)
French (fr)
Inventor
Joachim Schaefer
Philipp Roeckl
Marten Wittorf
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stellantis Auto SAS
Original Assignee
Stellantis Auto SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stellantis Auto SAS filed Critical Stellantis Auto SAS
Publication of EP4449378A1 publication Critical patent/EP4449378A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/24—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead
    • B60Q1/249—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead for illuminating the field of view of a sensor or camera

Definitions

  • the present disclosure relates generally to detection methods.
  • the present disclosure relates to a method and an apparatus for detecting objects on a road surface.
  • Methods for detecting objects are known.
  • methods for detecting projection objects serving as traffic information and/or orientation aids, such as symbols and/or geometric figures are known.
  • the projection objects can provide relevant information for a driver or a driver assistance system of a vehicle and thus contribute to improving vehicle control.
  • the detection or recognition of projection objects can be impaired by various factors. For example, the presence of another object, a road marking or a projection or external projection generated by a driver assistance system of another vehicle can mean that the driver assistance system does not correctly distinguish between them or interprets them incorrectly, which leads to malfunctions in the vehicle control and even to life-threatening situations can.
  • An object of the embodiments of the present disclosure is to provide an improved method for detecting objects on a road surface, which makes it possible to reliably distinguish projection objects from extraneous projections and other objects, such as road markings.
  • a method for detecting an object projected by means of a projection device of a vehicle is provided in order to achieve this object.
  • Projected objects are understood to mean, in particular, images or symbols which are projected onto the roadway and/or onto other surfaces, such as building walls, in order in particular to serve as an orientation aid and/or as traffic information for the driver or the driver assistance system of the vehicle.
  • the objects can include arrows and/or lines as signposts or guiding lines to support vehicle control.
  • the projected objects can in particular include standardized symbols with predefined information functions for the vehicle driver or for the driver assistance system. In particular, a disturbance by another vehicle next to and/or against the vehicle.
  • the method includes capturing a field of view with at least one vehicle camera to generate a series of camera shots, the field of view at least partially capturing the projected object.
  • the at least one vehicle camera can be designed in particular as part of the driver assistance system and can include one or more cameras outside and/or inside the vehicle.
  • the at least one vehicle camera can include one or more so-called “mobile eye cameras” for road detection.
  • the method also includes evaluating the series of camera recordings based on an object-specific property, the at least one object-specific property comprising a structural property of objects, so that the projected object by the vehicle's projection device based on the predefined structure of the projected object from other, by the objects detected by at least one vehicle camera.
  • the evaluation can take place in particular in an evaluation unit with a processor, which can be designed as part of the at least one vehicle camera or as a separate unit.
  • the evaluation can also be performed by a processor of a vehicle control unit.
  • the projected object and other objects can thus be kept apart by the driver assistance system.
  • the vehicle's driver assistance system for example lane keeping assist, can be better protected against confusion between the vehicle's own projections and other objects, such as road markings or external projections.
  • the better distinction or delimitation of the self-projections from the surroundings or from external projections can increase driving safety and also improve the overall driving experience.
  • the projected object can include one or more longitudinal lines projected onto the road to visualize vehicle dimensions, which have one or more characteristic interruptions. Based on the characteristic interruptions in the longitudinal lines of the projected object, the projected object can be distinguished from others by the objects detected by at least one vehicle camera, in particular road markings, can be reliably distinguished.
  • the projected object can comprise, for example, a left longitudinal line essentially aligned along a left edge of the vehicle and/or a right longitudinal line essentially aligned along a right edge of the vehicle.
  • the longitudinal lines can be projected in particular in a roadway area in front of the vehicle and/or behind the vehicle.
  • the longitudinal lines can in particular be in the form of dashed lines, so that they can be better distinguished from road markings or lane markings in the form of solid lines on the basis of the interruptions.
  • the at least one object-specific property can also include a relative movement speed of an object recorded with the at least one vehicle camera in relation to the vehicle, the evaluation of the series of camera recordings being at least partially based on the relative movement speed of objects recorded with the at least one vehicle camera. For example, if an object in the camera field of view moves at a specific relative speed with respect to the vehicle, the relative speed of the object can be used by the driver assistance system of the vehicle to infer the origin of the object. For example, an object can be identified as being projected by the projection device of the vehicle if the position of the object relative to the vehicle does not change or changes only slightly while driving.
  • the structure or texture of projected objects can offer reference points for the driver assistance system, so that the relative speed of structured or textured own and/or external projections can be better determined by the driver assistance system.
  • Capturing a series of camera recordings can include capturing a series of camera recordings with different recording frame rates, wherein the at least one object-specific property can include a current overlay rate or projection frame rate of an object recorded with the at least one vehicle camera.
  • Objects that have different fade-in rates can be distinguished from one another on the basis of the different recording frame rates of the series of sequences of camera recordings.
  • the method can vary the recording frame rate of the vehicle camera to identify different ob- Include project-specific recording frame rate dependencies.
  • the different recording frame rate dependencies of different objects can be expressed, for example, in the fact that when the recording frame rate of the vehicle camera approaches a frame rate of a projected object, the object begins to flicker in the camera recordings.
  • the flickering of the object in the camera recordings at a specific recording frame rate can serve as an indication for the driver assistance system that the object is an external object or an external projection and not the object or self-projection projected by the vehicle's projection device.
  • the driver assistance system can thus recognize an external projection based on the occurrence of the flickering and can distinguish this from its own projection. As a result, it is possible to avoid confusing external projections with the driver's own projection by the driver assistance system. In particular, irrelevant or disruptive external projections can be identified by the evaluation unit and, if necessary, masked out or ignored as irrelevant for the vehicle control.
  • a useful signal or a vehicle's own projection can be cleaned of interference signals or external projections, so that it can be recognized by the driver assistance system "as a real signal" even if there are interfering external projections in the field of view of the vehicle camera and can be used as an orientation aid.
  • the object projected by the projection device of the vehicle can be distinguished from other objects located in the field of view of the vehicle camera or detected by the vehicle camera, in particular from external projections and/or road markings, on the basis of the identified different object-specific recording frame rate dependencies.
  • the method can include adapting the recording frame rate to increase the ability to distinguish objects, in particular the object projected by the projection device of the vehicle, from other objects located in the field of view of the vehicle camera.
  • the adjustment can take place on the basis of the evaluation of the series of sequences of the camera recordings, so that the self-projections can be more clearly distinguished from external projections or road markings.
  • the recording frame rate of the vehicle camera can be adapted to a frame rate of an identified object, in particular a foreign or/or one's own object, and synchronized in time, so that the camera recordings with dark phases, in particular particular between individual frames, of the identified object essentially coincide.
  • the identified object can be both the object generated by the vehicle's projection device or its own object and also a foreign object. Due to the synchronization of the camera recordings with the dark phases of the identified object, the object can be dimmed down or hidden from the view of the vehicle camera. The impairment of the camera recording by the identified own or foreign object can thus be prevented or reduced.
  • one or more frames can be blanked out, in particular periodically, when the object is projected by the projection device.
  • camera recordings of the field of view are generated without the projected object.
  • the vehicle assistance system can thus detect and evaluate the field of view or objects in the field of view without being impaired by the projected object.
  • Every nth frame for example every third or every tenth frame, can be blanked out.
  • the vehicle camera can be synchronized with the projection device in such a way that the field of view of the vehicle camera is captured during the frame duration of the missing nth frame in order to provide the driver assistance system with the captured field of view without the projected object or the background field for evaluation.
  • one or more further, in particular subsequent, frames are also hidden when the object is projected.
  • the database for the evaluation of the background images can be increased by hiding a number of frames, so that the background field can be reliably evaluated without the object shown.
  • the projection device can have a sufficiently high frame rate or projection rate, so that the blanking out of one or more frames remains unnoticed by the human eye.
  • the camera recording sequences can have a recording duration of between 2 ms and 20 ms, in particular between 5 ms and 15 ms. This recording duration of the sequences is long enough to provide a sufficient basis for the evaluation of the series of sequences of camera recordings and at the same time short enough to be able to react quickly based on this if necessary.
  • the recording frame rate of the vehicle camera can be varied in an interval between 50 Hz and 500 Hz, in particular between 100 Hz and 400 Hz. Varying the capture frame rate in such a range can cover different frame rates that could be used in foreign projection devices to distinguish foreign projections from the projected object.
  • the projecting of the object can be limited to a projection field, which is at least partially covered by the field of view of the vehicle camera, and the evaluation of the series of sequences of camera recordings with different recording frame rates can be carried out taking into account the restriction of the object projected by the projection device to the projection field.
  • the amount of interference signals or extraneous projections to be evaluated can be reduced and the evaluation can be simplified.
  • the computational effort involved in evaluating the rows of sequences of camera recordings can thus be reduced, so that the evaluation can take place in real time from the perspective of the driver or the driver assistance system.
  • a device for detecting objects on a road surface includes a projection device for projecting an object having a predefined structure onto the road surface.
  • the apparatus also includes at least one vehicle camera for generating a series of camera shots of a field of view at least partially capturing the projected object.
  • the device comprises an evaluation unit for evaluating the series of camera recordings based on at least one object-specific property, wherein the at least one object-specific property comprises a structural property of objects, so that the object projected by the projection device of the vehicle is based on the predefined structure of the projected object from other objects detected by at least one vehicle camera.
  • the projected object and other objects can thus be better distinguished by the driver assistance system.
  • the projection device can in particular be designed as part of a driver assistance system of the vehicle, for example as part or module of a vehicle headlight or also as a separate device.
  • the projection device can include one or more projection modules of an LED headlight, which can be accommodated in a left-hand and/or in a right-hand vehicle headlight.
  • the at least one vehicle camera can in particular be designed as part of a front camera system of the vehicle or as a separate camera, in particular as a digital camera.
  • the evaluation unit can have a processor and a memory unit for storing machine-readable instructions and data for the processor, wherein the machine-readable instructions can contain instructions for the processor to evaluate the series of sequences of the camera recordings.
  • the evaluation unit can in particular be designed as a separate unit, as part of the vehicle camera or as part of the control unit of the vehicle.
  • the projection device can be designed to project an object onto the road surface, which comprises one or more longitudinal lines for visualizing the vehicle dimensions, the longitudinal lines having one or more characteristic interruptions.
  • the longitudinal lines can in particular be in the form of dashed lines, so that they can be better distinguished from road markings or lane markings in the form of solid lines on the basis of the interruptions.
  • the at least one object-specific property can also include a relative movement speed of an object recorded with the vehicle camera in relation to the vehicle, wherein the evaluation unit can be designed to record the series of camera recordings at least partially based on the relative movement speed of objects recorded with the at least one vehicle camera evaluate. For example, based on the relative movement speed, an object can be identified as an object projected by the projection device of the vehicle if the position of the object relative to the vehicle does not change or changes only slightly while driving.
  • the structure or texture of projected objects can provide reference points for the driver assistance system, so that the relative speed of structured or textured own and / or external projections can be better determined by the driver assistance system.
  • the at least one vehicle camera can be designed to record a series of sequences of camera recordings with different recording frame rates, wherein the at least one object-specific property can include a current overlay rate of an object recorded with the at least one vehicle camera.
  • Objects that have different fade-in rates can be distinguished from one another on the basis of the different recording frame rates of the series of sequences of camera recordings.
  • the evaluation unit can be designed to evaluate the series of camera recordings with different recording frame rates to identify different object-specific recording frame rate dependencies.
  • the object projected by the projection device of the vehicle can be distinguished from other objects located in a field of view of the at least one vehicle camera on the basis of the identified different object-specific recording frame rate dependencies.
  • the different recording frame rate dependencies of different objects can lead to flickering of objects in the camera recordings when the recording frame rate of the vehicle camera approaches a frame rate of a projected object.
  • This flickering of an object can be interpreted by the evaluation unit as an indication that the object is an external object or an external projection and not the object or self-projection projected by the projection device of the vehicle.
  • the driver assistance system can thus recognize an external projection based on the occurrence of the flickering and can distinguish this from its own projection. Consequently, a confusion of external projections with self-projection by the driver assistance system can be avoided.
  • irrelevant or disruptive external projections can be identified by the control unit and, if necessary, masked out or ignored as irrelevant for the vehicle control.
  • a useful signal or a vehicle's own projection can be cleaned of interference signals or external projections, so that it can be recognized by the driver assistance system "as a real signal" even if there are interfering external projections in the field of view of the vehicle camera and can be used as an orientation aid.
  • the driver assistance system of the vehicle for example lane keeping assistant (lane keeping assist), can thus be protected from being misled by interference signals, in particular external projections.
  • lane keeping assistant lane keeping assist
  • the better distinction or demarcation of the own projections from the environment or from third-party tion can thus increase driving safety and also improve the overall driving experience.
  • the device can also include a control unit for controlling the vehicle camera.
  • the control unit can be designed to adapt the recording frame rate of the vehicle camera based on the evaluation, so that the projection object generated by the projection device of the vehicle can be better distinguished from other objects in the field of view and detected by the vehicle camera, in particular projection objects.
  • a vehicle having at least one device for detecting objects on a road surface according to the second aspect.
  • the vehicle is characterized by reliable differentiation of objects projected by the projection device of the vehicle from other objects, as a result of which driving safety and the overall driving experience can also be improved.
  • FIG. 1 schematically shows a vehicle with a device for detecting objects on a road surface according to an embodiment
  • FIG. 2 shows a flow chart of a method for detecting objects on a road surface according to an embodiment.
  • FIG. 1 schematically shows a vehicle with a device for detecting objects on a road surface according to an exemplary embodiment.
  • 1 shows in particular a vehicle 1 which is driving on a roadway 2 .
  • the roadway is symbolically represented in Fig. 1 by a horizontal straight line.
  • a device 10 for detecting objects on the road surface according to an exemplary embodiment is implemented in the vehicle 1 .
  • the device 10 includes a projection device 11 for projecting objects onto the roadway 2 and a vehicle camera 20 for generating a series of camera recordings.
  • the vehicle camera 20 can in particular be designed as part of a front camera system of the vehicle 1 or as a separate vehicle camera.
  • the device 10 can also include a number of cameras, which can be arranged at different positions on and/or in the vehicle 1 .
  • the device 10 also includes an evaluation unit 30 for evaluating camera recordings.
  • the evaluation unit 30 can in particular contain a processor (not shown) and a memory unit (not shown) for storing data and machine-readable instructions for the processor.
  • device 10 includes a control unit 40 for controlling vehicle camera 20.
  • the control unit 40 can be designed to adapt the recording frame rate of the vehicle camera 20 based on the evaluation, so that the object projected by the projection device of the vehicle 1 can be better distinguished from other objects located in the field of view and detected by the vehicle camera 20 .
  • the control unit 40 can be designed or configured to detect at least one current projection parameter of the projection device and to evaluate the series of sequences of the camera recordings at least partially based on the detected at least one projection parameter.
  • the evaluation unit 30 and the control unit 40 are designed as part of the control unit 50 of the vehicle 1 .
  • the projection device 11 is designed as part of a vehicle headlight 60 .
  • the projection device can comprise one or more HD (high definition) projection modules for providing high-resolution projections.
  • Objects can be projected in a projection field 100 by means of the projection device 11 .
  • Vehicle camera 20 has a field of view 200 , projection field 100 of the projection device being captured by field of view 200 of vehicle camera 10 .
  • the projection field 100 of the projection device and the field of view of the vehicle camera 20 are shown symbolically in FIG. 1 as road sections.
  • FIG. 2 shows a flow chart of a method for detecting objects on a road surface according to an embodiment.
  • an object is projected onto the road surface by means of the projection device 11 of the vehicle 1, the object projected onto the road surface having a predefined structure.
  • a field of view is recorded with at least one vehicle camera 20 to generate a series of camera recordings, the field of view at least partially recording the object projected onto the road surface.
  • the at least one vehicle camera 20 is activated in advance together with a driver assistance system of the vehicle 1 .
  • the series of camera recordings is evaluated based on at least one object-specific property of objects captured by the vehicle camera.
  • the object projected by the projection device of the vehicle can be distinguished from other objects located in the field of view of the at least one vehicle camera, in particular from foreign objects and/or road markings.
  • the evaluation results for the driver assistance system or for the driver are output.
  • the evaluation results are provided as a visual output, with the self-projections and foreign objects being identified by color-coding, labeling, or in some other way so that they can be easily distinguished by the driver.
  • the method steps 350, 400, 500 and 600 described above can be carried out repeatedly, so that the evaluation of the series of camera recordings can be iteratively adapted to the current situation.
  • the at least one object-specific property can include a defined characteristic structure and/or texture.
  • the projected object can include one or more lines with characteristic interruptions, in particular dashed lines, which can be distinguished from other objects in the field of view of the vehicle camera, in particular road markings, using characteristic interruptions by evaluating the camera recordings.
  • the projected object Longitudinal lines for indicating or visualizing vehicle dimensions, in particular vehicle width, include.
  • the longitudinal lines can be structured in such a way that they can be distinguished from longitudinal lines of road marking lines by the driver assistance system on the basis of their structure.
  • the at least one object-specific property can include a relative movement speed of an object recorded with the vehicle camera in relation to the vehicle, the evaluation of the series of camera recordings being at least partially based on the relative movement speed of objects recorded with the vehicle camera.
  • a series of sequences of camera recordings with different recording frame rates are recorded.
  • the at least one lens-specific property can include a current fade-in rate of an object captured by the vehicle camera. Objects that have different fade-in rates can be distinguished from one another on the basis of the different recording frame rates of the series of sequences of camera recordings.
  • the method includes adapting the recording frame rate to increase the ability to distinguish projected objects, in particular the object projected by the projection device of the vehicle, from other objects located in the field of view of the vehicle camera.
  • the adjustment can take place on the basis of the evaluation of the series of sequences of the camera recordings, so that the self-projections can be more clearly distinguished from external projections.
  • the recording frame rate of the vehicle camera can be adapted to a frame rate of an identified object and synchronized in time in such a way that the camera recordings essentially coincide with dark phases of the identified object. Due to the synchronization of the camera recordings with the dark phases of the identified object, the identified object can be dimmed down or hidden from the view of the vehicle camera.
  • the identified object for example its own projection or an external projection, can thus be better distinguished from the background.
  • the method includes adjusting the capture frame rate to increase the distinguishability of the object projected by the projection device of the vehicle 1 from other objects located in the field of view of the vehicle camera 20 .
  • the recording frame rate of the vehicle camera can be adjusted in such a way that the contrast or the ability to distinguish between the object projected by the projection device or its own projection and other objects, in particular external projections, is increased.
  • the series of sequences of camera recordings is evaluated with the object projected by the projection device being restricted to the projection field.
  • the evaluation can essentially be limited to the projection field of the projection device. Objects lying outside the projection field of the vehicle camera 20 can thus be identified as foreign objects and differentiated from self-projections without further computational effort.
  • the method includes acquiring information about the projected object.
  • this information can be transmitted from the vehicle camera 20 to the evaluation unit 30 via a data communication bus.
  • the evaluation can then be based at least in part on the information collected.
  • the information can specify a sub-area in the projection field in which the object is projected.
  • the evaluation of the series of sequences of the camera recordings can then concentrate on the specified sub-area of the projection field, as a result of which the evaluation effort can be reduced.
  • the information can also include the type and/or geometry of the projected object.
  • the information about the type or the geometry of the projection object can be used when evaluating the series of sequences of camera recordings in order to better distinguish the projection object from other objects.
  • objects that do not correspond to the type or the geometric specifications of the projected object can be identified as foreign objects relatively easily or with little computational effort.
  • a current projection parameter of the projection device is recorded and taken into account when evaluating the series of sequences of the camera recordings.
  • the current projection parameter for example Projection frame rate and/or a modulation parameter are transmitted from the projection device to the evaluation unit 30 via a communication bus.
  • projection parameters of the projection device can help to distinguish the object projected by the projection device from foreign projection devices, in particular foreign objects projected with different projection parameters.
  • one or more frames can be hidden, in particular periodically. By hiding individual or multiple frames of the projected object, camera recordings of the field of view are generated without the projected object.
  • the vehicle assistance system can thus capture the field of view, or objects in the field of view, without being impaired by the projected object.
  • every nth frame for example every third or every tenth frame, can be blanked out.
  • the vehicle camera can be synchronized with the projection device in such a way that the field of view of the vehicle camera is captured during the frame duration of the missing nth frame in order to provide the driver assistance system with the captured field of view without the projected object or the background field for evaluation.
  • one or more further, in particular subsequent, frames are also hidden when the object is projected. Due to the periodic blanking out of several frames, in particular the database for the evaluation of the background images can be increased without the projected object, so that the background field can be evaluated.
  • the sequences of the camera recordings can have a recording duration of between 2 ms and 20 ms, in particular between 5 ms and 15 ms.
  • This recording duration of the sequences is usually long enough to provide an adequate basis for evaluating the series of sequences of camera recordings.
  • such a recording time is short enough to be able to react quickly based on the evaluation if, for example, the projected object indicates a dangerous curve or other danger.
  • the recording frame rate of the vehicle camera can be varied in an interval between 50 Hz and 500 Hz, in particular between 100 Hz and 400 Hz.
  • Varying the recording frame rate different frame rates can be covered by external projection devices in order to differentiate the external projections from the projected object or from the self-projection on the basis of recognized recording frame rate dependencies.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

Ein Verfahren zum Erkennen von Objekten auf einer Fahrbahnoberfläche wird angegeben. Das Verfahren umfasst Projizieren (350) eines Objekts auf die Fahrbahnoberfläche mittels einer Projektionsvorrichtung (11) eines Fahrzeugs, wobei das auf die Fahrbahnoberfläche projizierte Objekt eine vordefinierte Struktur aufweist. Das Verfahren (300) umfasst ferner Erfassen (400) eines Blickfelds (200) mit wenigstens einer Fahrzeugkamera (20) zum Erzeugen einer Reihe von Kameraaufnahmen, wobei das Blickfeld (200) das auf die Fahrbahnoberfläche projizierte Objekt wenigstens teilweise erfasst, und Auswerten (500) der Reihe von Kameraaufnahmen basierend auf wenigstens einer objektspezifischen Eigenschaft, wobei die wenigstens eine objektspezifische Eigenschaft eine strukturelle Eigenschaft von Objekten umfasst, so dass das durch die Projektionsvorrichtung (11) des Fahrzeugs (1) projizierte Objekt anhand der vordefinierten Struktur des projizierten Objekts von sonstigen, durch die wenigstens eine Fahrzeugkamera (20) erfassten, Objekten unterschieden werden kann. Ferner wird eine Vorrichtung (10) zum Erkennen von Objekten auf einer Fahrbahnoberfläche angegeben.

Description

VERFAHREN UND VORRICHTUNG ZUM ERKENNEN VON OBJEKTEN AUF EINER FAHRBAHNOBERFLÄCHE
Die vorliegende Offenbarung betrifft im Allgemeinen Detektionsverfahren. Im Speziellen betrifft die vorliegende Offenbarung ein Verfahren und eine Vorrichtung zum Erkennen von Objekten auf einer Fahrbahnoberfläche.
Es sind Verfahren zum Erkennen von Objekten bekannt. Insbesondere sind Verfahren zum Detektieren von als Verkehrshinweise und/oder Orientierungshilfe dienenden Projektionsobjekten, wie Symbole und/oder geometrische Figuren, bekannt. Die Projektionsobjekte können relevante Informationen für einen Fahrer bzw. ein Fahrerassistenzsystem eines Fahrzeugs liefern und so zur Verbesserung der Fahrzeugsteuerung beitragen. Das Detektieren bzw. Erkennen von Projektionsobjekten kann jedoch durch verschiedene Faktoren beeinträchtigt werden. Beispielsweise kann die Anwesenheit eines anderen Objekts, einer Straßenmarkierung oder einer durch ein Fahrerassistenzsystem eines fremden Fahrzeugs erzeugten Projektion bzw. Fremdprojektion dazu führen, dass das Fahrerassistenzsystem diese nicht richtig unterscheidet bzw. falsch interpretiert, was zu Störungen in der Fahrzeugsteuerung und sogar zu lebensgefährlichen Situationen führen kann.
Eine Aufgabe der Ausführungsformen der vorliegenden Offenbarung ist es, ein verbessertes Verfahren zum Erkennen von Objekten auf einer Fahrbahnoberfläche bereitzustellen, welches es ermöglicht, Projektionsobjekte von Fremdprojektionen und anderen Objekten, wie Straßenmarkierungen, zuverlässig zu unterscheiden.
Zur Lösung dieser Aufgabe wird nach einem ersten Aspekt ein Verfahren zum Erkennen eines mittels einer Projektionsvorrichtung eines Fahrzeugs projizierten Objekts bereitgestellt. Als projizierte Objekte werden insbesondere Bilder bzw. Symbole verstanden, welche auf die Fahrbahn und/oder auf andere Oberflächen, wie beispielsweise Gebäudewände, projiziert werden, um insbesondere dem Fahrer bzw. dem Fahrerassistenzsystem des Fahrzeugs als Orientierungshilfe und/oder als Verkehrshinweis zu dienen. Insbesondere können die Objekte Pfeile und/oder Linien als Wegweiser bzw. Guiding-Lines für die Unterstützung der Fahrzeugsteuerung umfassen. Die projizierten Objekte können insbesondere normierte Symbole mit vordefinierter Hinweisfunktionen für den Fahrzeugfahrer bzw. für das Fahrerassistenzsystem umfassen. Insbesondere kann eine Störung durch ein neben und/oder entgegen dem Fahrzeug verursachtes Fremdfahrzeug verursacht sein.
Das Verfahren umfasst Erfassen eines Blickfelds mit wenigstens einer Fahrzeugkamera zum Erzeugen einer Reihe von Kameraaufnahmen, wobei das Blickfeld das projizierte Objekt wenigstens teilweise erfasst. Die wenigstens eine Fahrzeugkamera kann insbesondere als Teil des Fahrerassistenzsystems ausgebildet sein und eine oder mehrere Kameras außerhalb und/oder innerhalb des Fahrzeugs umfassen. Insbesondere kann die wenigstens eine Fahrzeug kam era eine oder mehrere sogenannte „Mobile Eye Cameras“ für die Straßenerkennung umfassen.
Das Verfahren umfasst ferner Auswerten der Reihe von Kameraaufnahmen basierend auf einer objektspezifischen Eigenschaft, wobei die wenigstens eine objektspezifische Eigenschaft eine strukturelle Eigenschaft von Objekten umfasst, so dass das durch die Projektionsvorrichtung des Fahrzeugs projizierte Objekt anhand der vordefinierten Struktur des projizierten Objekts von sonstigen, durch die wenigstens eine Fahrzeugkamera erfassten, Objekten unterschieden werden kann. Das Auswerten kann insbesondere in einer Auswerteeinheit mit einem Prozessor erfolgen, welche als Teil der wenigstens einen Fahrzeugkamera oder als eine separate Einheit ausgebildet sein kann. Das Auswerten kann ferner durch einen Prozessor eines Fahrzeugsteuergeräts vorgenommen werden.
Das projizierte Objekt und sonstige Objekte, wie beispielsweise Straßenmarkierungen oder Fremdprojektionen, können somit durch das Fahrerassistenzsystem auseinandergehalten werden. Das Fahrerassistenzsystem des Fahrzeugs, beispielsweise Spurhalteassistent (lane keeping assist), kann vor Verwechslung zwischen eigenen Projektionen des Fahrzeugs mit anderen Objekten, wie Straßenmarkierungen oder Fremdprojektionen, besser geschützt werden. Die bessere Unterscheidung bzw. Abgrenzung der Eigenprojektionen von der Umgebung bzw. von Fremdprojektionen kann die Fahrsicherheit erhöhen und auch die Fahrerfahrung insgesamt verbessern.
Das projizierte Objekt kann eine oder mehrere auf die Fahrbahn projizierte Längslinien zur Visualisierung von Fahrzeugdimensionen umfassen, welche eine oder mehrere charakteristische Unterbrechungen aufweisen. Anhand der charakteristischen Unterbrechungen der Längslinien des projizierten Objekts kann das projizierte Objekt von anderen durch die wenigstens eine Fahrzeugkamera erfassten Objekten, insbesondere von Fahrbahnmarkierungen, zuverlässig unterschieden werden. Das projizierte Objekt kann beispielsweise eine im Wesentlichen entlang eines linken Randes des Fahrzeugs ausgerichtete linke Längslinie und/oder eine im Wesentlichen entlang eines rechten Randes des Fahrzeugs ausgerichtete rechte Längslinie umfassen. Die Längslinien können insbesondere in einem vor dem Fahrzeug und/oder hinter dem Fahrzeug liegenden Fahrbahnbereich projiziert werden. Die Längslinien können insbesondere als gestrichelte Linien geformt sein, so dass sie anhand der Unterbrechungen besser von Straßenmarkierungen bzw. Fahrbahnmarkierungen in Form von durgezogenen Linien abgegrenzt werden können.
Die wenigstens eine objektspezifische Eigenschaft kann ferner eine relative Bewegungsgeschwindigkeit eines mit der wenigstens einen Fahrzeugkamera erfassten Objekts bezüglich des Fahrzeugs umfassen, wobei das Auswerten der Reihe von Kameraaufnahmen wenigstens teilweise basierend auf der relativen Bewegungsgeschwindigkeit von mit der wenigstens einen Fahrzeugkamera erfassten Objekten erfolgt. Bewegt sich beispielsweise ein in dem Kamerablickfeld befindliches Objekt mit einer bestimmten relativen Geschwindigkeit bezüglich des Fahrzeugs, so kann anhand der relativen Geschwindigkeit des Objekts durch das Fahrerassistenzsystem des Fahrzeugs auf den Ursprung des Objekts zurückgeschlossen werden. Beispielsweise kann ein Objekt als durch die Projektionsvorrichtung des Fahrzeugs projiziertes Objekt identifiziert werden, wenn sich die Position des Objekts relativ zu dem Fahrzeug während der Fahrt nicht oder nur geringfügig ändert. Die Struktur bzw. Textur von projizierten Objekten kann dabei Bezugspunkte für das Fahrerassistenzsystem bieten, so dass die relative Geschwindigkeit von strukturierten bzw. texturierten Eigen- und/oder Fremdprojektionen von dem Fahrerassistenzsystem besser ermittelt werden kann.
Das Erfassen einer Reihe der Kameraaufnahmen kann Erfassen einer Reine von Sequenzen von Kameraaufnahmen mit unterschiedlichen Aufnahmebildraten umfassen, wobei die wenigstens eine objektspezifische Eigenschaft eine aktuelle Einblendungsrate bzw. Projektionsbildrate eines mit der wenigstens einen Fahrzeugkamera erfassten Objekts umfassen kann. Anhand der unterschiedlichen Aufnahmebildraten der Reihe von Sequenzen von Kameraaufnahmen können Objekte, die unterschiedliche Einblendungsrate aufweisen, voneinander unterschieden werden. Insbesondere kann das Verfahren Variieren der Aufnahmebildrate der Fahrzeugkamera zur Identifizierung von unterschiedlichen ob- jektspezifischen Aufnahmebildratenabhängigkeiten umfassen. Die unterschiedlichen Aufnahmebildratenabhängigkeiten von verschiedenen Objekten können sich beispielsweise darin äußern, dass wenn sich die Aufnahmebildrate der Fahrzeugkamera einer Bildrate eines projizierten Objekts nähert, beginnt das Objekt in den Kameraaufnahmen zu flackern. Das Flackern des Objekts in den Kameraaufnahmen bei einer bestimmten Aufnahmebildrate kann für das Fahrerassistenzsystem als Hinweis darauf dienen, dass es sich bei dem Objekt um ein Fremdobjekt bzw. um eine Fremdprojektion und nicht um das von der Projektionsvorrichtung des Fahrzeugs projizierte Objekt bzw. Eigenprojektion handelt. Das Fahrerassistenzsystem kann somit anhand des Auftretens des Flackerns eine Fremdprojektion erkennen und diese von der Eigenprojektion unterscheiden. Folglich kann eine Verwechslung von Fremdprojektionen mit der Eigenprojektion durch das Fahrerassistenzsystem vermieden werden. Insbesondere können irrelevante bzw. störende Fremdprojektionen durch die Auswerteeinheit identifiziert und gegebenenfalls als für die Fahrzeugsteuerung irrelevant ausgeblendet bzw. ignoriert werden. Ein Nutzsignal bzw. eine Eigenprojektion des Fahrzeugs kann hingegen von Störsignalen bzw. Fremdprojektionen bereinigt werden, so dass sie auch unter Anwesenheit von störenden Fremdprojektionen in dem Blickfeld der Fahrzeugkamera durch das Fahrerassistenzsystem „als echtes Signal“ erkannt und als Orientierungshilfe verwendet werden kann. Anhand der identifizierten unterschiedlichen objektspezifischen Aufnahmebildratenabhängigkeiten kann das durch die Projektionsvorrichtung des Fahrzeugs projizierte Objekt von sonstigen in dem Blickfeld der Fahrzeugkamera befindlichen bzw. durch die Fahrzeugkamera erfassten Objekten, insbesondere von Fremdprojektionen und/oder Straßenmarkierungen, unterschieden werden.
Das Verfahren kann Anpassen der Aufnahmebildrate zur Erhöhung der Unterscheidbarkeit von Objekten, insbesondere des durch die Projektionsvorrichtung des Fahrzeugs projizierten Objekts von sonstigen in dem Blickfeld der Fahrzeugkamera befindlichen Objekten, umfassen. Insbesondere kann das Anpassen auf der Basis der Auswertung der Reihe von Sequenzen der Kameraaufnahmen erfolgen, so dass die Eigenprojektionen von Fremdprojektionen bzw. Straßenmarkierungen deutlicher abgegrenzt werden können.
Die Aufnahmebildrate der Fahrzeugkamera kann auf eine Bildrate (frame rate) eines identifizierten Objekts, insbesondere eines Fremd- oder/oder eines Eigenobjekts, angepasst und zeitlich synchronisiert werden, so dass die Kameraaufnahmen mit Dunkelphasen, ins- besondere zwischen einzelnen Frames, des identifizierten Objekts im Wesentlichen zusammenfallen. Das identifizierte Objekt kann sowohl das durch die Projektionsvorrichtung des Fahrzeugs erzeugte Objekt bzw. Eigenobjekt als auch ein Fremdobjekt sein. Aufgrund des Synchronisierens der Kameraaufnahmen mit den Dunkelphasen des identifizierten Objekts kann das Objekt aus der Sicht der Fahrzeugkamera heruntergedimmt bzw. ausgeblendet werden. Somit kann die Beeinträchtigung der Kameraaufnahme durch das identifizierte Eigen- oder Fremdobjekt, verhindert bzw. reduziert werden.
In einigen Ausführungsformen des Verfahrens können beim Projizieren des Objekts durch die Projektionsvorrichtung einzelne oder mehrere Frames, insbesondere periodisch, ausgeblendet werden. Durch die Ausblendung von einzelnen oder mehreren Frames des projizierten Objekts werden Kameraaufnahmen des Blickfelds ohne das projizierte Objekt erzeugt. Das Fahrzeugassistenzsystem kann somit das Blickfeld, bzw. Objekte in dem Blickfeld, ohne Beeinträchtigung durch das projizierte Objekt erfassen und auswerten.
Beim Projizieren des Objekts kann insbesondere jeder n-te Frame, beispielweise jeder dritte oder jeder zehnte Frame, ausgeblendet werden. Die Fahrzeugkamera kann dabei derart mit der Projektionsvorrichtung synchronisiert werden, dass das Blickfeld der Fahrzeugkamera während der Frame-Dauer des fehlenden n-ten Frames erfasst wird, um dem Fahrerassistenzsystem das erfasste Blickfeld ohne das projizierte Objekt bzw. das Hintergrundfeld zur Auswertung bereitzustellen.
In einigen Ausführungsbeispielen werden beim Projizieren des Objekts neben dem n-ten Frame auch eine oder mehrere weitere, insbesondere darauffolgende, Frames ausgeblendet. Durch die Ausblendung mehrerer Frames kann insbesondere die Datenbasis für die Auswertung der Hintergrundbilder erhöht werden, so dass das Hintergrundfeld ohne das eingeblendete Objekt zuverlässig ausgewertet werden kann.
Die Projektionsvorrichtung kann dabei eine ausreichend hohe Bildrate bzw. Projektionsrate aufweisen, so dass die Ausblendung von einzelnen oder mehreren Frames für das menschliche Auge unbemerkt bleibt. Insbesondere können die Sequenzen der Kameraaufnahme eine Aufnahmedauer zwischen 2 ms und 20 ms, insbesondere zwischen 5 ms und 15 ms, aufweisen. Diese Aufnahmedauer der Sequenzen ist lang genug, um eine hinreichende Basis für die Auswertung der Reihe von Sequenzen von Kameraaufnahmen zu liefern und gleichzeitig kurz genug, um darauf basierend ggf. schnell reagieren zu können. Das Variieren der Aufnahmebildrate der Fahrzeugkamera kann in einem Intervall zwischen 50 Hz bis 500 Hz, insbesondere zwischen 100 Hz und 400 Hz erfolgen. Das Variieren der Aufnahmebildrate in einem solchen Bereich kann unterschiedliche Bildraten, welche in fremden Projektionsvorrichtungen verwendet werden könnten, abdecken, um Fremdprojektionen von dem projizierten Objekt zu unterscheiden.
Das Projizieren des Objekts kann auf ein Projektionsfeld beschränkt sein, welches wenigstens teilweise von dem Blickfeld der Fahrzeugkamera erfasst wird, und das Auswerten der Reihe von Sequenzen der Kameraaufnahmen mit verschiedenen Aufnahmebildraten kann unter Berücksichtigung der Beschränkung des durch die Projektionsvorrichtung projizierten Objekts auf das Projektionsfeld erfolgen. Durch die Berücksichtigung des tatsächlichen Projektionsfelds innerhalb des Kamerablickfelds kann die Menge der auszuwertenden Störsignale bzw. Fremdprojektionen verringert und die Auswertung vereinfacht werden. Somit kann der Rechenaufwand bei der Auswertung der Reihen von Sequenzen der Kameraaufnahmen reduziert werden, so dass die Auswertung in Echtzeit aus der Sicht des Fahrers bzw. des Fahrerassistenzsystems erfolgen kann.
Nach einem zweiten Aspekt wird eine Vorrichtung zum Erkennen von Objekten auf einer Fahrbahnoberfläche vorgeschlagen. Die Vorrichtung umfasst eine Projektionsvorrichtung zum Projizieren eines eine vordefinierte Struktur aufweisenden Objekts auf die Fahrbahnoberfläche. Die Vorrichtung umfasst auch wenigstens eine Fahrzeugkamera zum Erzeugen einer Reihe von Kameraaufnahmen eines Blickfelds, welches das projizierte Objekt wenigstens teilweise erfasst. Ferner umfasst die Vorrichtung eine Auswerteeinheit zum Auswerten der Reihe von Kameraaufnahmen basierend auf wenigstens einer objektspezifischen Eigenschaft, wobei die wenigstens eine objektspezifische Eigenschaft eine strukturelle Eigenschaft von Objekten umfasst, so dass das durch die Projektionsvorrichtung des Fahrzeugs projizierte Objekt anhand der vordefinierten Struktur des projizierten Objekts von sonstigen, durch die wenigstens eine Fahrzeugkamera erfassten, Objekten unterschieden werden kann. Das projizierte Objekt und sonstige Objekte, wie beispielsweise Straßenmarkierungen oder Fremdprojektionen, können somit durch das Fahrerassistenzsystem besser auseinandergehalten werden. Die bessere Unterscheidung bzw. Abgrenzung der Eigenprojektionen von der Umgebung bzw. von Fremdprojektionen kann die Fahrsicherheit erhöhen und auch die Fahrerfahrung insgesamt verbessern. Die Projektionsvorrichtung kann insbesondere als Teil eines Fahrerassistenzsystems des Fahrzeugs, beispielsweise als Teil bzw. Modul eines Fahrzeugscheinwerfers oder auch als eine separate Vorrichtung, ausgebildet sein. Insbesondere kann die Projektionsvorrichtung ein oder mehrere Projektionsmodule eines LED-Scheinwerfers umfassen, die in einem linken und/oder in einem rechten Fahrzeugscheinwerfer untergebracht sein können.
Die wenigstens eine Fahrzeugkamera kann insbesondere als Teil eines Frontkamerasystems des Fahrzeugs oder als eine separate Kamera, insbesondere als eine Digitalkamera, ausgebildet sein. Die Auswerteeinheit kann insbesondere einen Prozessor und eine Speichereinheit zum Speichern von maschinenlesbaren Instruktionen und Daten für den Prozessor aufweisen, wobei die maschinenlesbaren Instruktionen Anweisungen für den Prozessor enthalten können, die Reihe von Sequenzen der Kameraaufnahmen auszuwerten. Die Auswerteeinheit kann insbesondere als eine separate Einheit, als Teil der Fahrzeugkamera oder als Teil des Steuergeräts des Fahrzeugs ausgebildet sein.
Die Projektionsvorrichtung kann dazu ausgebildet sein, ein Objekt auf die Fahrbahnoberfläche zu projizieren, welches eine oder mehrere Längslinien zur Visualisierung der Fahrzeugdimensionen umfasst, wobei die Längslinien eine oder mehrere charakteristische Unterbrechungen aufweisen. Die Längslinien können insbesondere als gestrichelte Linien geformt sein, so dass sie anhand der Unterbrechungen besser von Straßenmarkierungen bzw. Fahrbahnmarkierungen in Form von durgezogenen Linien abgegrenzt werden können.
Die wenigstens eine objektspezifische Eigenschaft kann ferner eine relative Bewegungsgeschwindigkeit eines mit der Fahrzeugkamera erfassten Objekts bezüglich des Fahrzeugs umfassen, wobei die Auswerteeinheit dazu ausgebildet sein kann, die Reihe von Kameraaufnahmen wenigstens teilweise basierend auf der relativen Bewegungsgeschwindigkeit von mit der wenigstens einen Fahrzeug kam era erfassten Objekten auszuwerten. Basierend auf der relativen Bewegungsgeschwindigkeit kann beispielsweise ein Objekt als ein durch die Projektionsvorrichtung des Fahrzeugs projiziertes Objekt identifiziert werden, wenn sich die Position des Objekts relativ zu dem Fahrzeug während der Fahrt nicht oder nur geringfügig ändert. Die Struktur bzw. Textur von projizierten Objekten kann dabei Bezugspunkte für das Fahrerassistenzsystem bieten, so dass die relative Geschwindigkeit von strukturierten bzw. texturierten Eigen- und/oder Fremdprojektionen von dem Fahrerassistenzsystem besser ermittelt werden kann.
Die wenigstens eine Fahrzeugkamera kann dazu ausgebildet sein, eine Reihe von Sequenzen von Kameraaufnahmen mit unterschiedlichen Aufnahmebildraten aufzunehmen, wobei die wenigstens eine objektspezifische Eigenschaft eine aktuelle Einblendungsrate eines mit der wenigstens einen Fahrzeugkamera erfassten Objekts umfassen kann. Anhand der unterschiedlichen Aufnahmebildraten der Reihe von Sequenzen von Kameraaufnahmen können Objekte, die unterschiedliche Einblendungsrate aufweisen, voneinander unterschieden werden. Insbesondere kann die Auswerteeinheit dazu ausgebildet sein, die Reihe von Kameraaufnahmen mit verschiedenen Aufnahmebildraten zur Identifizierung von unterschiedlichen objektspezifischen Aufnahmebildratenabhängigkeiten auszuwerten. Anhand der identifizierten unterschiedlichen objektspezifischen Aufnahmebildratenabhängigkeiten kann insbesondere das durch die Projektionsvorrichtung des Fahrzeugs projizierte Objekt von sonstigen in einem Blickfeld der wenigstens einer Fahrzeugkamera befindlichen Objekten unterschieden werden. Die unterschiedlichen Aufnahmebildratenabhängigkeiten von verschiedenen Objekten können zum Flackern von Objekten in den Kameraaufnahmen führen, wenn sich die Aufnahmebildrate der Fahrzeugkamera einer Bildrate eines projizierten Objekts nähert. Dieses Flackern eines Objekts kann durch die Auswerteeinheit als Hinweis interpretiert werden, dass es sich bei dem Objekt um ein Fremdobjekt bzw. um eine Fremdprojektion und nicht um das durch die Projektionsvorrichtung des Fahrzeugs projizierte Objekt bzw. Eigenprojektion handelt. Das Fahrerassistenzsystem kann somit anhand des Auftretens des Flackerns eine Fremdprojektion erkennen und diese von der Eigenprojektion unterscheiden. Folglich kann eine Verwechslung von Fremdprojektionen mit Eigenprojektion durch das Fahrerassistenzsystem vermieden werden. Insbesondere können irrelevante bzw. störende Fremdprojektionen durch die Steuerungseinheit identifiziert und gegebenenfalls als für die Fahrzeugsteuerung irrelevant ausgeblendet bzw. ignoriert werden. Ein Nutzsignal bzw. eine Eigenprojektion des Fahrzeugs kann hingegen von Störsignalen bzw. Fremdprojektionen bereinigt werden, so dass sie auch unter Anwesenheit von störenden Fremdprojektionen in dem Blickfeld der Fahrzeugkamera durch das Fahrerassistenzsystem „als echtes Signal“ erkannt und als Orientierungshilfe verwendet werden kann. Das Fahrerassistenzsystem des Fahrzeugs, beispielsweise Spurhalteassistent (lane keeping assist), kann somit vor Irreführung durch Störsignale, insbesondere Fremdprojektionen, geschützt werden. Die bessere Unterscheidung bzw. Abgrenzung der Eigenprojektionen von der Umgebung bzw. von Fremdprojek- tionen kann somit die Fahrsicherheit erhöhen und auch die Fahrerfahrung insgesamt verbessern.
Die Vorrichtung kann ferner eine Steuereinheit zum Ansteuern der Fahrzeugkamera umfassen. Die Steuereinheit kann dazu ausgebildet sein, basierend auf der Auswertung die Aufnahmebildrate der Fahrzeugkamera die Aufnahmebildrate anzupassen, so dass durch die Projektionsvorrichtung des Fahrzeugs erzeugte Projektionsobjekt von sonstigen in dem Blickfeld befindlichen und durch die Fahrzeugkamera erfassten Objekten, insbesondere Projektionsobjekten, besser unterschieden werden kann.
Nach einem dritten Aspekt wird ein Fahrzeug angegeben, wobei das Fahrzeug wenigstens eine Vorrichtung zum Erkennen von Objekten auf einer Fahrbahnoberfläche gemäß dem zweiten Aspekt aufweist. Das Fahrzeug zeichnet sich durch eine zuverlässige Unterscheidung von durch die Projektionsvorrichtung des Fahrzeugs projizierten Objekten von sonstigen Objekten, wodurch auch die Fahrsicherheit und die Fahrerfahrung insgesamt verbessert werden kann.
Die Erfindung wird nun anhand der beigefügten Figuren näher erläutert. Für gleiche oder gleichwirkende Teile werden in den Figuren gleiche Bezugszeichen verwendet.
Fig. 1 zeigt schematisch ein Fahrzeug mit einer Vorrichtung zum Erkennen von Objekten auf einer Fahrbahnoberfläche gemäß einem Ausführungsbeispiel, und
Fig. 2 zeigt ein Flussdiagramm eines Verfahrens zum Erkennen von Objekten auf einer Fahrbahnoberfläche gemäß einem Ausführungsbeispiel.
Fig. 1 zeigt schematisch ein Fahrzeug mit einer Vorrichtung zum Erkennen von Objekten auf einer Fahrbahnoberfläche gemäß einem Ausführungsbeispiel. Fig. 1 zeigt insbesondere ein Fahrzeug 1 , welches auf einer Fahrbahn 2 fährt. Die Fahrbahn wird in Fig. 1 durch eine horizontale gerade Linie symbolisch dargestellt. In dem Fahrzeug 1 ist eine Vorrichtung 10 zum Erkennen von Objekten auf der Fahrbahnoberfläche gemäß einem Ausführungsbeispiel implementiert. Die Vorrichtung 10 umfasst eine Projektionsvorrichtung 11 zum Projizieren von Objekten auf die Fahrbahn 2 und eine Fahrzeugkamera 20 zum Erzeugen einer Reihe von Kameraaufnahmen. Die Fahrzeugkamera 20 kann insbesondere als Teil eines Frontkamerasystems des Fahrzeugs 1 oder als eine separate Fahrzeugkamera ausgebildet sein. Die Vorrichtung 10 kann auch mehrere Kameras umfassen, die an unterschiedliche Positionen an und/oder in dem Fahrzeug 1 angeordnet sein können.
Die Vorrichtung 10 umfasst ferner eine Auswerteeinheit 30 zum Auswerten von Kameraaufnahmen. Die Auswerteeinheit 30 kann insbesondere einen Prozessor (nicht gezeigt) und eine Speichereinheit (nicht gezeigt) zur Speicherung von Daten und von maschinenlesbaren Instruktionen für den Prozessor enthalten.
In dem gezeigten Ausführungsbeispiel umfasst die Vorrichtung 10 eine Steuereinheit 40 zum Ansteuern der Fahrzeugkamera 20.
Die Steuereinheit 40 kann dazu ausgebildet sein, basierend auf der Auswertung die Aufnahmebildrate der Fahrzeugkamera 20 anzupassen, so dass das durch die Projektionsvorrichtung des Fahrzeugs 1 projizierte Objekt von sonstigen in dem Blickfeld befindlichen und durch die Fahrzeugkamera 20 erfassten Objekten besser unterschieden werden kann.
Die Steuereinheit 40 kann dazu ausgebildet bzw. konfiguriert sein, wenigstens einen aktuellen Projektionsparameter der Projektionsvorrichtung zu erfassen und die Reihe von Sequenzen der Kameraaufnahmen wenigstens teilweise basierend auf dem erfassten wenigstens einen Projektionsparameter auszuwerten. In dem gezeigten Ausführungsbeispiel ist die Auswerteeinheit 30 und die Steuereinheit 40 als Teil des Steuergeräts 50 des Fahrzeugs 1 ausgebildet.
Die Projektionsvorrichtung 11 ist in diesem Ausführungsbeispiel als Teil eines Fahrzeugscheinwerfers 60 ausgebildet. Die Projektionsvorrichtung kann insbesondere eine oder mehrere HD (High Definition) Projektionsmodule zum Bereitstellen von hochaufgelösten Projektionen umfassen. Mittels der Projektionsvorrichtung 11 können Objekte in einem Projektionsfeld 100 projiziert werden. Die Fahrzeugkamera 20 weist ein Blickfeld 200 auf, wobei das Projektionsfeld 100 der Projektionsvorrichtung durch das Blickfeld 200 der Fahrzeugkamera 10 erfasst wird. Das Projektionsfeld 100 der Projektionsvorrichtung und das Blickfeld der Fahrzeugkamera 20 werden in Fig.1 als Fahrbahnabschnitte symbolisch dargestellt. Fig. 2 zeigt ein Flussdiagramm eines Verfahrens zum Erkennen von Objekten auf einer Fahrbahnoberfläche gemäß einem Ausführungsbeispiel. Gemäß dem Verfahren 300 wird in einem Verfahrensschritt 350 ein Objekt auf die Fahrbahnoberfläche mittels der Projektionsvorrichtung 11 des Fahrzeugs 1 projiziert, wobei das auf die Fahrbahnoberfläche projizierte Objekt eine vordefinierte Struktur aufweist. In einem Verfahrensschritt 400 wird ein Blickfeld mit wenigstens einer Fahrzeugkamera 20 zum Erzeugen einer Reihe von Kameraaufnahmen erfasst, wobei das Blickfeld das auf die Fahrbahnoberfläche projizierte Objekt wenigstens teilweise erfasst. In einigen Ausführungsbeispielen wird im Vorfeld die wenigstens eine Fahrzeugkamera 20 zusammen mit einem Fahrerassistenzsystem des Fahrzeugs 1 aktiviert.
In einem darauffolgenden Verfahrensschritt 500 erfolgt eine Auswertung der Reihe von Kameraaufnahmen basierend auf wenigstens einer objektspezifischen Eigenschaft von mit der Fahrzeugkamera erfassten Objekten. Anhand der wenigstens einer objektspezifischen Eigenschaft kann das durch die Projektionsvorrichtung des Fahrzeugs projizierte Objekt von sonstigen in dem Blickfeld der wenigstens einen Fahrzeugkamera befindlichen Objekten, insbesondere von Fremdobjekten und/oder Straßenmarkierungen unterschieden werden.
In einem Verfahrensschritt 600 werden die Auswertungsergebnisse für das Fahrerassistenzsystem bzw. für den Fahrer ausgegeben. In einigen Ausführungsformen werden die Auswertungsergebnisse als eine visuelle Ausgabe ausgegeben, wobei die Eigenprojektionen und Fremdobjekte durch Farbcodierung, Beschriftung oder auf sonstige Weise kenntlich gemacht werden, so dass sie vom Fahrer leicht unterschieden werden können.
Die oben beschriebenen Verfahrensschritte 350, 400, 500 und 600, können wiederholt durchgeführt werden, so dass die Auswertung der Reihe Kameraaufnahmen iterativ auf aktuelle Situation angepasst werden kann. Die wenigstens eine objektspezifische Eigenschaft kann eine definierte charakteristische Struktur und/oder Textur umfassen. Beispielsweise kann das projizierte Objekt eine oder mehrere Linien mit charakteristischen Unterbrechungen, insbesondere gestrichelte Linien, umfassen, die anhand von charakteristischen Unterbrechungen durch die Auswertung der Kameraaufnahmen von sonstigen in dem Blickfeld der Fahrzeugkamera befindlichen Objekten, insbesondere von Straßenmarkierungen, unterschieden werden kann. Beispielsweise kann das projizierte Objekt Längslinien zur Andeutung bzw. Visualisierung von Fahrzeugdimensionen, insbesondere Fahrzeugbreite, umfassen. Die Längslinien können derart strukturiert sein, dass sie anhand ihrer Struktur durch das Fahrerassistenzsystem von Längslinien von Straßenmarkierungslinien unterschieden werden können.
Die wenigstens eine objektspezifische Eigenschaft kann eine relative Bewegungsgeschwindigkeit eines mit der Fahrzeugkamera erfassten Objekts bezüglich des Fahrzeugs umfassen, wobei das Auswerten der Reihe von Kameraaufnahmen wenigstens teilweise basierend auf der relativen Bewegungsgeschwindigkeit von mit der Fahrzeugkamera erfassten Objekten erfolgt.
In einigen Ausführungsbeispielen wird in dem Verfahrensschritt 400 eine Reihe von Sequenzen von Kameraaufnahmen mit unterschiedlichen Aufnahmebildraten erfasst. Die wenigstens eine objektivspezifische Eigenschaft kann dabei eine aktuelle Einblendungsrate eines mit der Fahrzeugkamera erfassten Objekts umfassen. Anhand der unterschiedlichen Aufnahmebildraten der Reihe von Sequenzen von Kameraaufnahmen können Objekte, die unterschiedliche Einblendungsrate aufweisen, voneinander unterschieden werden.
In einigen Ausführungsbeispielen umfasst das Verfahren Anpassen der Aufnahmebildrate zur Erhöhung der Unterscheidbarkeit von projizierten Objekten, insbesondere des durch die Projektionsvorrichtung des Fahrzeugs projizierten Objekts von sonstigen in dem Blickfeld der Fahrzeugkamera befindlichen Objekten. Insbesondere kann das Anpassen auf der Basis der Auswertung der Reihe von Sequenzen der Kameraaufnahmen erfolgen, so dass die Eigenprojektionen von Fremdprojektionen deutlicher abgegrenzt werden können.
Die Aufnahmebildrate der Fahrzeugkamera kann auf eine Bildrate eines identifizierten Objekts angepasst und derart zeitlich synchronisiert werden, dass die Kameraaufnahmen mit Dunkelphasen des identifizierten Objekts im Wesentlichen zusammenfallen. Aufgrund des Synchronisierens der Kameraaufnahmen mit den Dunkelphasen des identifizierten Objekts kann das identifizierte Objekt aus der Sicht der Fahrzeugkamera heruntergedimmt bzw. ausgeblendet werden. Somit kann das identifizierte Objekt, beispielsweise Eigenprojektion oder Fremdprojektion, von dem Hintergrund besser abgegrenzt werden.
In einigen Ausführungsbeispielen umfasst das Verfahren Anpassen der Aufnahmebildrate zur Erhöhung der Unterscheidbarkeit des durch die Projektionsvorrichtung des Fahrzeugs 1 projizierten Objekts von sonstigen in dem Blickfeld der Fahrzeugkamera 20 befindlichen Objekten. Insbesondere kann die Aufnahmebildrate der Fahrzeugkamera so angepasst werden, dass der Kontrast bzw. die Unterscheidbarkeit zwischen dem durch die Projektionsvorrichtung projizierte Objekt bzw. Eigenprojektion und sonstigen Objekten, insbesondere Fremdprojektionen, verstärkt wird.
In einigen Ausführungsbeispielen erfolgt das Auswerten der Reihe von Sequenzen der Kameraaufnahmen unter Beschränkung des durch die Projektionsvorrichtung projizierten Objekts auf das Projektionsfeld. Insbesondere kann die Auswertung im Wesentlichen auf das Projektionsfeld der Projektionsvorrichtung beschränkt werden. Außerhalb des Projektionsfeldes der Fahrzeugkamera 20 liegenden Objekte können somit ohne weiteren Rechenaufwand als Fremdobjekte identifiziert und von Eigenprojektionen unterschieden werden.
In einigen Ausführungsbeispielen umfasst das Verfahren Erfassen einer Information über das projizierte Objekt. Insbesondere kann diese Information über einen Datenkommunikationsbus von der Fahrzeugkamera 20 der Auswerteeinheit 30 übermittelt werden. Das Auswerten kann dann wenigstens teilweise auf der erfassten Information basiert werden. Beispielsweise kann die Information einen Unterbereich in dem Projektionsfeld spezifizieren, in welchem das Objekt projiziert wird. Die Auswertung der Reihe von Sequenzen der Kameraaufnahmen kann sich dann auf den spezifizierten Unterbereich des Projektionsfelds konzentrieren, wodurch der Auswertungsaufwand reduziert werden kann.
Die Information kann ferner Art und/oder Geometrie des projizierten Objekts umfassen. Die Information über die Art bzw. die Geometrie des Projektionsobjekts können bei der Auswertung der Reihe von Sequenzen der Kameraaufnahmen verwendet werden, um das Projektionsobjekt von sonstigen Objekten besser zu unterscheiden. Insbesondere können Objekte, welche der Art bzw. den geometrischen Angaben des projizierten Objekts nicht entsprechen, verhältnismäßig leicht bzw. mit wenig Rechenaufwand als Fremdobjekte identifiziert werden.
In einigen Ausführungsbeispielen wird ein aktueller Projektionsparameter der Projektionsvorrichtung erfasst und bei der Auswertung der Reihe von Sequenzen der Kameraaufnahmen berücksichtigt. Insbesondere kann der aktuelle Projektionsparameter, beispielsweise Projektionsbildrate und/oder ein Modulationsparameter, über einen Kommunikationsbus von der Projektionsvorrichtung der Auswerteeinheit 30 übermittelt werden. Das Heranziehen von Projektionsparametern der Projektionsvorrichtung kann helfen, das durch die Projektionsvorrichtung projizierte Objekt von fremden Projektionsvorrichtungen, insbesondere mit anderen Projektionsparametern projizierten Fremdobjekten, zu unterscheiden.
Beim Projizieren des Objekts in dem Verfahrensschritt 350 kann ein oder mehrere Frames, insbesondere periodisch, ausgeblendet werden. Durch die Ausblendung von einzelnen oder mehreren Frames des projizierten Objekts werden Kameraaufnahmen des Blickfelds ohne das projizierte Objekt erzeugt. Das Fahrzeugassistenzsystem kann somit das Blickfeld, bzw. Objekte in dem Blickfeld, ohne Beeinträchtigung durch das projizierte Objekt erfassen. Beim Projizieren des Objekts kann insbesondere jeder n-te Frame, beispielweise jeder dritte oder jeder zehnte Frame, ausgeblendet werden. Die Fahrzeugkamera kann dabei derart mit der Projektionsvorrichtung synchronisiert werden, dass das Blickfeld der Fahrzeugkamera während der Frame-Dauer des fehlenden n-ten Frames erfasst wird, um dem Fahrerassistenzsystem das erfasste Blickfeld ohne das projizierte Objekt bzw. das Hintergrundfeld zur Auswertung bereitzustellen.
In einigen Ausführungsbeispielen werden beim Projizieren des Objekts neben dem n-ten Frame auch eine oder mehrere weitere, insbesondere darauffolgende, Frames ausgeblendet. Durch die periodische Ausblendung mehrerer Frames kann insbesondere die Datenbasis für die Auswertung der Hintergrundbilder ohne das projizierte Objekt erhöht werden, so dass das Hintergrundfeld ausgewertet werden kann.
Die Sequenzen der Kameraaufnahmen können eine Aufnahmedauer zwischen 2 ms und 20 ms, insbesondere zwischen 5 ms und 15 ms aufweisen. Diese Aufnahmedauer der Sequenzen ist in der Regel lang genug, um eine hinreichende Basis für die Auswertung der Reihe von Sequenzen von Kameraaufnahmen zu liefern. Andererseits ist eine solche Aufnahmedauer kurz genug, um basierend auf der Auswertung ggf. schnell reagieren zu können, wenn beispielweise das projizierte Objekt auf eine gefährliche Kurve oder eine sonstige Gefahr hinweist.
Das Variieren der Aufnahmebildrate der Fahrzeugkamera kann in einem Intervall zwischen 50 Hz bis 500 Hz, insbesondere zwischen 100 Hz und 400 Hz erfolgen. Durch das Variieren der Aufnahmebildrate können verschiedene Bildraten von fremden Projektionsvorrichtungen abgedeckt werden, um aufgrund von erkannten Aufnahmebildratenabhängigkeiten die Fremdprojektionen von dem projizierten Objekt bzw. von der Eigenprojektion zu unterscheiden.
Obwohl zumindest eine beispielhafte Ausführungsform in der vorhergehenden Beschreibung gezeigt wurde, können verschiedene Änderungen und Modifikationen vorgenommen werden. Die genannten Ausführungsformen sind lediglich Beispiele und nicht dazu vorgesehen, den Gültigkeitsbereich, die Anwendbarkeit oder die Konfiguration der vorliegenden Offenbarung in irgendeiner Weise zu beschränken. Vielmehr stellt die vorhergehende Beschreibung dem Fachmann einen Plan zur Umsetzung zumindest einer beispielhaften Ausführungsform zur Verfügung, wobei zahlreiche Änderungen in der Funktion und der Anordnung von in einer beispielhaften Ausführungsform beschriebenen Elementen gemacht werden können, ohne den Schutzbereich der angefügten Ansprüche und ihrer rechtlichen Äquivalente zu verlassen. Außerdem können nach den hier beschriebenen Prinzipien auch mehrere Module bzw. mehrere Produkte miteinander verbunden werden, um weitere Funktionen zu erhalten.
Bezugszeichenliste
1 Fahrzeug
2 Fahrbahn
10 Vorrichtung
11 Projektionsvorrichtung
20 Fahrzeugkamera
30 Auswerteeinheit
40 Steuereinheit
50 Steuergerät
60 Fahrzeugscheinwerfer
100 Projektionsfeld
200 Blickfeld
300 Verfahren
350 Verfahrensschritt
400 Verfahrensschritt
500 Verfahrensschritt
600 Verfahrensschritt

Claims

Ansprüche
1. Verfahren zum Erkennen von Objekten auf einer Fahrbahnoberfläche, umfassend:
Projizieren (350) eines Objekts auf die Fahrbahnoberfläche mittels einer Projektionsvorrichtung (11) eines Fahrzeugs (1), wobei das auf die Fahrbahnoberfläche projizierte Objekt eine vordefinierte Struktur aufweist, Erfassen (400) eines Blickfelds (200) mit wenigstens einer Fahrzeugkamera (20) zum Erzeugen einer Reihe von Kameraaufnahmen, wobei das Blickfeld (200) das auf die Fahrbahnoberfläche projizierte Objekt wenigstens teilweise erfasst, und
- Auswerten (500) der Reihe von Kameraaufnahmen basierend auf wenigstens einer objektspezifischen Eigenschaft, wobei die wenigstens eine objektspezifische Eigenschaft eine strukturelle Eigenschaft von Objekten umfasst, so dass das durch die Projektionsvorrichtung (11) des Fahrzeugs (1) projizierte Objekt anhand der vordefinierten Struktur des projizierten Objekts von sonstigen, durch die wenigstens eine Fahrzeugkamera (20) erfassten, Objekten unterschieden werden kann.
2. Verfahren nach Anspruch 1 , wobei das projizierte Objekt eine oder mehrere auf die Fahrbahn projizierte Längslinien zur Visualisierung der Fahrzeugdimensionen umfasst, welche eine oder mehrere charakteristische Unterbrechungen aufweisen.
3. Verfahren nach Anspruch 1 oder 2, wobei die wenigstens eine objektspezifische Eigenschaft ferner eine relative Bewegungsgeschwindigkeit eines mit der Fahrzeugkamera erfassten Objekts bezüglich des Fahrzeugs umfasst, und wobei das Auswerten (500) der Reihe von Kameraaufnahmen wenigstens teilweise basierend auf der relativen Bewegungsgeschwindigkeit von mit der wenigstens einen Fahrzeugkamera erfassten Objekten erfolgt.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Erfassen (400) einer Reihe der Kameraaufnahmen Erfassen einer Reihe von Sequenzen von Kameraaufnahmen mit unterschiedlichen Aufnahmebildraten umfasst, und wobei die wenigstens eine objektspezifische Eigenschaft eine aktuelle Einblendungsrate eines mit der wenigstens einen Fahrzeugkamera (20) erfassten Objekts umfasst.
5. Verfahren nach Anspruch 4, wobei das Verfahren Anpassen der Aufnahmebildrate zur Erhöhung der Unterscheidbarkeit von projizierten Objekten umfasst.
6. Verfahren nach Anspruch 5, wobei die Aufnahmebildrate der wenigstens einen Fahrzeugkamera (20) auf eine Bildrate eines identifizierten Objekts angepasst und zeitlich synchronisiert wird, so dass die Kameraaufnahmen mit Dunkelphasen des identifizierten Objekts im Wesentlichen zusammenfallen.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei beim Projizieren (350) des Objekts durch die Projektionsvorrichtung (11) einzelne oder mehrere Frames ausgeblendet werden.
8. Verfahren nach Anspruch 7, wobei beim Projizieren des Objekts jeder n-ter Frame ausgeblendet wird.
9. Verfahren nach Anspruch 8, wobei zusätzlich zu dem n-ten Frame eine oder mehrere weitere, insbesondere darauffolgende, Frames ausgeblendet werden.
10. Vorrichtung zum Erkennen von Objekten auf einer Fahrbahnoberfläche, umfassend: eine Projektionsvorrichtung (11) zum Projizieren eines eine vordefinierte Struktur aufweisenden Objekts auf die Fahrbahnoberfläche,
- wenigstens eine Fahrzeugkamera (20) zum Erzeugen einer Reihe von Kameraaufnahmen eines Blickfelds (200), welches das projizierte Objekt wenigstens teilweise erfasst, und eine Auswerteeinheit (30) zum Auswerten der Reihe von Kameraaufnahmen basierend auf wenigstens einer objektspezifischen Eigenschaft, wobei die wenigstens eine objektspezifische Eigenschaft eine strukturelle Eigenschaft von Objekten umfasst, so dass das durch die Projektionsvorrichtung (11) des Fahrzeugs (1) projizierte Objekt anhand der vordefinierten Struktur des projizierten Objekts von sonstigen, durch die wenigstens eine Fahrzeugkamera (20) erfassten, Objekten unterschieden werden kann.
11. Vorrichtung nach Anspruch 10, wobei die Projektionsvorrichtung (11) dazu ausgebildet ist, ein Objekt auf die Fahrbahnoberfläche zu projizieren, welches eine oder mehrere Längslinien zur Visualisierung der Fahrzeugdimensionen umfasst, wobei die Längslinien eine oder mehrere charakteristische Unterbrechungen aufweisen. Vorrichtung nach Anspruch 10 oder 11 , wobei die wenigstens eine objektspezifische Eigenschaft ferner eine relative Bewegungsgeschwindigkeit eines mit der wenigstens einen Fahrzeugkamera (20) erfassten Objekts bezüglich des Fahrzeugs (1) umfasst, und wobei die Auswerteeinheit dazu ausgebildet ist, die Reihe von Kameraaufnahmen wenigstens teilweise basierend auf der relativen Bewegungsgeschwindigkeit von mit der wenigstens einen Fahrzeugkamera (20) erfassten Objekten auszuwerten. Vorrichtung nach Anspruch 10, 11 oder 12, wobei die wenigstens eine Fahrzeugkamera (20) dazu ausgebildet ist, eine Reihe von Sequenzen von Kameraaufnahmen mit unterschiedlichen Aufnahmebildraten aufzunehmen, und wobei die wenigstens eine objektspezifische Eigenschaft eine aktuelle Einblendungsrate eines mit der wenigstens einen Fahrzeugkamera erfassten Objekts umfasst. Vorrichtung nach einem der Ansprüche 10 bis 13, wobei die Vorrichtung eine Steuereinheit (40) zum Ansteuern der wenigstens einen Fahrzeugkamera (20) umfasst, und wobei die Steuereinheit (40) dazu ausgebildet ist, Aufnahmebildrate der wenigstens einen Fahrzeugkamera (20) anzupassen, so dass das durch die Projektionsvorrichtung (11) des Fahrzeugs (1) projizierte Objekt von sonstigen in dem Blickfeld befindlichen und durch die Fahrzeugkamera (20) erfassten Objekten besser unterschieden werden kann. Fahrzeug, wobei das Fahrzeug wenigstens eine Vorrichtung (10) zum Erkennen von Objekten auf einer Fahrbahnoberfläche nach einem der Ansprüche 10 bis 14 aufweist.
- 19 -
EP22813183.5A 2021-12-16 2022-10-31 Verfahren und vorrichtung zum erkennen von objekten auf einer fahrbahnoberfläche Pending EP4449378A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021214551.5A DE102021214551A1 (de) 2021-12-16 2021-12-16 Verfahren und Vorrichtung zum Erkennen von Objekten auf einer Fahrbahnoberfläche
PCT/EP2022/080319 WO2023110209A1 (de) 2021-12-16 2022-10-31 Verfahren und vorrichtung zum erkennen von objekten auf einer fahrbahnoberfläche

Publications (1)

Publication Number Publication Date
EP4449378A1 true EP4449378A1 (de) 2024-10-23

Family

ID=84362891

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22813183.5A Pending EP4449378A1 (de) 2021-12-16 2022-10-31 Verfahren und vorrichtung zum erkennen von objekten auf einer fahrbahnoberfläche

Country Status (3)

Country Link
EP (1) EP4449378A1 (de)
DE (1) DE102021214551A1 (de)
WO (1) WO2023110209A1 (de)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19730414A1 (de) * 1997-07-16 1999-01-21 Opel Adam Ag Verfahren und Vorrichtung zur vorausschauenden Fahrbahnbeurteilung
MX357830B (es) * 2014-08-04 2018-07-26 Nissan Motor Aparato de cálculo de la posición propia y método de cálculo de la posición propia.
CN107851184B (zh) 2015-07-28 2022-12-23 苹果公司 用于光和图像投影的系统和方法
JP2017116446A (ja) 2015-12-25 2017-06-29 アイシン・エィ・ダブリュ株式会社 車両誘導システム、方法およびプログラム
DE102017207729A1 (de) 2017-05-08 2018-11-08 Robert Bosch Gmbh Verfahren und Vorrichtung zur Detektion eines sich nicht in einem Erfassungsbereich einer Kamera befindlichen Objekts
US10909373B1 (en) * 2018-08-24 2021-02-02 Snap Inc. Augmented reality system using structured light

Also Published As

Publication number Publication date
WO2023110209A1 (de) 2023-06-22
DE102021214551A1 (de) 2023-06-22

Similar Documents

Publication Publication Date Title
DE102012223481B4 (de) Vorrichtung und Verfahren zum Verfolgen der Position eines peripheren Fahrzeugs
DE102020002994B4 (de) Verfahren zur Messung eines Abstandes zwischen einem Objekt und einem optischen Sensor, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Abstandsmessvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Abstandsmessvorrichtung
DE102009015142B4 (de) Fahrzeugumgebungs-Erkennungs-Vorrichtung und Steuerungssystem zum Verfolgen eines vorausfahrenden Fahrzeugs
WO2010145848A1 (de) Verfahren und vorrichtung zum erkennen einer rückwärtigen fahrzeugbeleuchtung
DE102018004782B4 (de) Verfahren und Vorrichtung zum Erfassen einer Umgebung, sowie Fahrzeug mit einer solchen Vorrichtung
DE102019119478B4 (de) Fahrzeugradar-steuervorrichtung und -verfahren
DE102016200828A1 (de) Objekterfassungsvorrichtung und Objekterfassungsverfahren
EP3677019B1 (de) Verfahren und vorrichtung zur vorhersehbaren belichtungssteuerung zumindest einer ersten fahrzeugkamera
DE112017004391T5 (de) Bilderzeugungsvorrichtung, Bilderzeugungsverfahren, Aufzeichungsmedium und Bildanzeigesystem
EP3151543A1 (de) Bildaufnahmeeinrichtung für ein kraftfahrzeug und verfahren zum betreiben einer derartigen bildaufnahmeeinrichtung
EP3833576B1 (de) Kameraüberwachungssystem
DE10238215A1 (de) Verfahren und Vorrichtung zur Fahrerinformation bzw. zur Reaktion bei Verlassen der Fahrspur
DE102011086402A1 (de) Verfahren und Fahrerassistenzsystem zur Erfassung einer Fahrzeugumgebung
WO2023110209A1 (de) Verfahren und vorrichtung zum erkennen von objekten auf einer fahrbahnoberfläche
DE2951780C2 (de) Objektuntersuchungs- oder -erkennungssystem
DE102021209392A1 (de) Verfahren und Vorrichtung zum Detektieren eines mittels einer Projektionsvorrichtung eines Fahrzeugs projizierten Objekts
DE102017206247B4 (de) Verfahren zur prädiktiven Belichtungssteuerung einer Fahrzeugkamera
DE102014018364A1 (de) Vorrichtung und Verfahren zur Unterstützung eines Fahrers eines Fahrzeugs, insbesondere eines Nutzfahrzeugs
EP4111232B1 (de) Umgebungserkennungssystem eines kraftfahrzeugs, verfahren zum betrieb eines umgebungserkennungssystems, computerprogrammprodukt sowie kraftfahrzeug
DE102018006758B4 (de) Fahrzeugkamerasystem und Verfahren zum Aufnehmen von Bildern vor einem Fahrzeug
DE102017214653B4 (de) Verfahren zum Bereitstellen eines Bildsignals eines Umgebungsbereichs eines Kraftfahrzeugs sowie Kraftfahrzeug
DE102022204203A1 (de) Verfahren und Vorrichtung zum Erfassen einer Umgebung eines Fahrzeugs
EP4514640B1 (de) Verfahren und vorrichtung zum projizieren von objekten
DE102024001248B4 (de) Verfahren zur Steuerung einer Beleuchtungsvorrichtung eines Kraftwagens sowie Beleuchtungssystem
DE102019209292A1 (de) Verfahren zum Betreiben einer Umfeldsensorik eines Fahrzeugs und Umfeldsensorik

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240514

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)