DE102022203952A1 - Method and device for detecting the surroundings of a vehicle - Google Patents

Method and device for detecting the surroundings of a vehicle Download PDF

Info

Publication number
DE102022203952A1
DE102022203952A1 DE102022203952.1A DE102022203952A DE102022203952A1 DE 102022203952 A1 DE102022203952 A1 DE 102022203952A1 DE 102022203952 A DE102022203952 A DE 102022203952A DE 102022203952 A1 DE102022203952 A1 DE 102022203952A1
Authority
DE
Germany
Prior art keywords
projection
view
field
vehicle
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022203952.1A
Other languages
German (de)
Inventor
Philipp Roeckl
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stellantis Auto Sas Fr
Original Assignee
PSA Automobiles SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PSA Automobiles SA filed Critical PSA Automobiles SA
Priority to DE102022203952.1A priority Critical patent/DE102022203952A1/en
Publication of DE102022203952A1 publication Critical patent/DE102022203952A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/24—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead
    • B60Q1/249—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead for illuminating the field of view of a sensor or camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

Ein Verfahren zum Erfassen einer Umgebung eines Fahrzeugs (1) wird angegeben. Das Verfahren umfasst Erfassen (400) eines Blickfelds (100) mit wenigstens einer Fahrzeugkamera (20) zum Erzeugen einer ersten Sequenz von Frames und Auswerten (500) der ersten Sequenz von Frames zum Erkennen wenigstens eines Projektionsobjekts in wenigstens einem Teilblickfeld (200). Das Verfahren umfasst ferner Erzeugen (600) einer zweiten Sequenz von Frames unter Maskierung wenigstens eines in dem wenigstens einen Teilblickfeld (200) erkannten Projektionsobjekts, falls beim Auswerten der ersten Sequenz von Frames wenigstens ein Projektionsobjekt in dem wenigstens einem Teilblickfeld (200) erkannt wird. Ferner wird eine Vorrichtung (10) zum Erfassen einer Umgebung sowie ein Fahrzeug (1) angegeben.A method for detecting the surroundings of a vehicle (1) is specified. The method includes detecting (400) a field of view (100) with at least one vehicle camera (20) to generate a first sequence of frames and evaluating (500) the first sequence of frames to detect at least one projection object in at least one partial field of view (200). The method further comprises generating (600) a second sequence of frames while masking at least one projection object recognized in the at least one partial field of view (200) if at least one projection object is recognized in the at least one partial field of view (200) when evaluating the first sequence of frames. Furthermore, a device (10) for detecting an environment and a vehicle (1) are specified.

Description

Die vorliegende Offenbarung betrifft im Allgemeinen Umgebungserfassungsverfahren. Im Speziellen betrifft die vorliegende Offenbarung ein Verfahren und eine Vorrichtung zum Erfassen einer Umgebung eines Fahrzeugs.The present disclosure relates generally to environmental sensing methods. More specifically, the present disclosure relates to a method and apparatus for detecting an environment of a vehicle.

Es sind Verfahren zum Erfassen von Umgebungen bekannt. Insbesondere sind Verfahren zum Erfassen von Fahrzeugumgebungen bekannt. Beispielsweise wird eine Umgebung mittels einer Kamera erfasst, um einem Fahrerassistenzsystem Informationen über die Fahrzeugumgebung bereitzustellen. Die Erfassung einer Fahrzeugumgebung kann durch verschiedene Faktoren beeinflusst bzw. beeinträchtigt werden. Beispielsweise können etwaige in der zu erfassenden Umgebung auftretende Lichtprojektionen zu einer falschen bzw. fehlerhaften Erfassung der Umgebung führen. Eine fehlerhaft erfasste Umgebung kann von dem Fahrerassistenzsystem falsch interpretiert werden, was zu Störungen in der Fahrzeugsteuerung und sogar zu lebensgefährlichen Situationen führen kann.Methods for detecting environments are known. In particular, methods for detecting vehicle environments are known. For example, an environment is recorded using a camera in order to provide a driver assistance system with information about the vehicle surroundings. The detection of a vehicle environment can be influenced or impaired by various factors. For example, any light projections occurring in the environment to be detected can lead to incorrect or incorrect detection of the environment. An incorrectly detected environment can be misinterpreted by the driver assistance system, which can lead to malfunctions in the vehicle control and even life-threatening situations.

Eine Aufgabe der Ausführungsformen der vorliegenden Offenbarung ist es, ein Verfahren zum Erfassen einer Umgebung eines Fahrzeugs bereitzustellen, welches es ermöglich, die Fahrzeugumgebung zuverlässig und präzise zu erfassen.An object of the embodiments of the present disclosure is to provide a method for detecting an environment of a vehicle, which makes it possible to reliably and precisely detect the vehicle environment.

Zur Lösung dieser Aufgabe wird nach einem ersten Aspekt ein Verfahren zum Erfassen einer Umgebung eines Fahrzeugs vorgeschlagen. Das Verfahren umfasst Erfassen eines Blickfelds mit wenigstens einer Fahrzeugkamera zum Erzeugen einer ersten Sequenz von Frames. Die wenigstens eine Fahrzeugkamera kann insbesondere als Teil eines Fahrerassistenzsystems bzw. ADAS (Advanced Driver Assistance System) ausgebildet sein und eine oder mehrere Kameras, insbesondere Digitalkameras, außerhalb und/oder innerhalb des Fahrzeugs umfassen. Insbesondere kann die wenigstens eine Fahrzeugkamera eine oder mehrere Fahrzeugkameras für die Straßenerkennung umfassen. Die Sequenz von Frames kann insbesondere eine Sequenz von Bildaufnahmen bzw. digitalen Bilddaten umfassen.To solve this problem, a method for detecting the surroundings of a vehicle is proposed according to a first aspect. The method includes capturing a field of view with at least one vehicle camera to generate a first sequence of frames. The at least one vehicle camera can in particular be designed as part of a driver assistance system or ADAS (Advanced Driver Assistance System) and include one or more cameras, in particular digital cameras, outside and/or inside the vehicle. In particular, the at least one vehicle camera can include one or more vehicle cameras for road detection. The sequence of frames can in particular comprise a sequence of image recordings or digital image data.

Das Verfahren umfasst ferner Auswerten der ersten Sequenz von Kameraaufnahmen zum Erkennen wenigstens eines Projektionsobjekts in wenigstens einem Teilblickfeld. Das wenigstens eine Teilblickfeld kann insbesondere eine oder mehrere Teilbereiche des Blickfelds der wenigstens einen Fahrzeugkamera umfassen. Das Blickfeld bzw. das Teilblickfeld kann insbesondere einen Abschnitt einer Fahrbahn bzw. Fahrbahnoberfläche umfassen, auf welcher sich das Fahrzeug befindet. Das Verfahren umfasst auch Erzeugen einer zweiten Sequenz von Frames unter Maskierung wenigstens eines in dem wenigstens einen Teilblickfeld erkannten Projektionsobjekts, falls beim Auswerten der ersten Sequenz von Frames wenigstens ein Projektionsobjekt in dem wenigstens einem Teilblickfeld erkannt wird. Das Auswerten kann insbesondere in einer Auswerteeinheit mit einem Prozessor erfolgen, welche als Teil der wenigstens einen Fahrzeugkamera oder als eine separate Einheit ausgebildet sein kann. Das Auswerten kann ferner wenigstens teilweise durch einen Prozessor eines Fahrzeugsteuergeräts vorgenommen werden.The method further includes evaluating the first sequence of camera recordings to detect at least one projection object in at least one partial field of view. The at least one partial field of view can in particular include one or more partial areas of the field of view of the at least one vehicle camera. The field of view or the partial field of view can in particular include a section of a road or road surface on which the vehicle is located. The method also includes generating a second sequence of frames while masking at least one projection object recognized in the at least one partial field of view if at least one projection object is recognized in the at least one partial field of view when evaluating the first sequence of frames. The evaluation can be carried out in particular in an evaluation unit with a processor, which can be designed as part of the at least one vehicle camera or as a separate unit. The evaluation can also be carried out at least partially by a processor of a vehicle control unit.

Als projizierte Objekte werden insbesondere Bilder bzw. Symbole verstanden, welche auf die Fahrbahn und/oder auf andere Oberflächen, wie beispielsweise Gebäudewände, projiziert werden. Beispielsweise können Projektionsobjekt von einem Projektionsmodul des Fahrzeugs und/oder eines anderen Fahrzeugs auf die Fahrbahn projiziert werden, um insbesondere dem Fahrer des Fahrzeugs und/oder anderen Verkehrsteilnehmern als Orientierungshilfe bzw. als Verkehrshinweis zu dienen. Insbesondere können die Objekte Pfeile und/oder Linien als Wegweiser bzw. Guiding-Lines für die Unterstützung der Fahrzeugsteuerung umfassen. Die projizierten Objekte können insbesondere normierte Symbole bzw. Piktogramme mit vordefinierter Hinweisfunktionen für den Fahrzeugfahrer umfassen.Projected objects are understood to mean, in particular, images or symbols that are projected onto the roadway and/or onto other surfaces, such as building walls. For example, projection objects can be projected onto the road by a projection module of the vehicle and/or another vehicle, in particular to serve as an orientation aid or as a traffic notice for the driver of the vehicle and/or other road users. In particular, the objects can include arrows and/or lines as signposts or guiding lines to support vehicle control. The projected objects can in particular include standardized symbols or pictograms with predefined information functions for the vehicle driver.

Das Erkenn wenigstens eines Projektionsobjekts kann insbesondere auf wenigstens einer objektspezifischen Eigenschaft basieren, wobei die wenigstens eine objektspezifische Eigenschaft eine strukturelle Eigenschaft von Objekten umfassen kann, so dass das Projektionsobjekt anhand der vordefinierten Struktur des projizierten Objekts von sonstigen, durch die wenigstens eine Fahrzeugkamera erfassten, Objekten unterschieden werden kann.The detection of at least one projection object can in particular be based on at least one object-specific property, wherein the at least one object-specific property can include a structural property of objects, so that the projection object can be distinguished from other objects detected by the at least one vehicle camera based on the predefined structure of the projected object can be distinguished.

Die zweite Sequenz von Frames kann insbesondere dem Fahrerassistenzsystem zur Erfassung der Umgebung zur Verfügung gestellt. Aufgrund der Maskierung bzw. Ausblendung der erkannten Projektionsobjekte kann somit ein von projizierten Objekten, wie projizierte Symbole und/oder Inhalte, gereinigtes Bild der Umgebung bereitgestellt dem Fahrerassistenzsystem bereitgestellt werden. Auf Bilderkennung basierte Funktionen von Fahrerassistenzsystemen, wie beispielsweise automatische Notbremse, Straßenschildanzeige, oder Spurhalteassistent, können somit vor Beeinträchtigungen durch projizierte Objekte geschützt werden. Das Erkennen von Projektionsobjekten erfolgt dabei in dem wenigstens einen Teilblickfeld. The second sequence of frames can in particular be made available to the driver assistance system for detecting the environment. Due to the masking or hiding of the detected projection objects, an image of the environment cleaned of projected objects, such as projected symbols and/or content, can be provided to the driver assistance system. Functions of driver assistance systems based on image recognition, such as automatic emergency braking, road sign display, or lane departure warning, can thus be protected from interference by projected objects. The recognition of projection objects takes place in the at least one partial field of view.

Das Erkennen ist somit auf das wenigstens eine Teilblickfeld fokussiert, wodurch die Auswertung vereinfacht und die Effizienz des Verfahrens erhöht werden kann. Sicherheitsrelevante Informationen, wie Straßenmarkierungen, Objekte, Fahrbedingungen, können für das Fahrerassistenzsystem in dem gesamten Blickfeld der Fahrzeugkamera erfasst werden.The recognition is therefore focused on at least one partial field of view, which simplifies the evaluation and increases the efficiency of the method. Safety-relevant information, such as road markings, objects, driving conditions, can be recorded for the driver assistance system in the entire field of view of the vehicle camera.

Das wenigstens eine Teilblickfeld kann insbesondere wenigstens ein vordefiniertes Teilblickfeld der wenigstens einen Fahrzeugkamera umfassen. Das wenigstens eine Teilblickfeld kann insbesondere so vordefiniert sein, dass bestimmte Bereiche des Blickfelds, in welchen Projektionen mit hoher Wahrscheinlichkeit auftreten können, von dem wenigstens einen Teilblickfeld erfasst werden. Bereiche des Blickfelds mit häufig auftretenden Projektionen können somit gezielt nach Projektionsobjekten untersucht werden, um dann diese ggf. durch die Maskierung auszublenden. Somit wird der restliche, außerhalb der vordefinierten Teilblickfelds liegende, Bereich des Blickfelds, aus der Suche nach Projektionsobjekten ausgeschlossen, wodurch eine ressourcenschonende und schnelle Suche nach Projektionsobjekten ermöglicht wird.The at least one partial field of view can in particular include at least one predefined partial field of view of the at least one vehicle camera. The at least one partial field of view can in particular be predefined in such a way that certain areas of the field of view in which projections can occur with high probability are captured by the at least one partial field of view. Areas of the field of vision with frequently occurring projections can thus be specifically examined for projection objects in order to then mask them out if necessary. This means that the remaining area of the field of view that lies outside the predefined partial field of view is excluded from the search for projection objects, thereby enabling a resource-saving and quick search for projection objects.

In einigen Ausführungsbeispielen umfasst das Verfahren Markieren von erkannten Projektionsobjekten. Insbesondere kann ein beim Auswerten der ersten Sequenz von Frames erkanntes Projektionsobjekt in der zweiten Sequenz von Frames als markiert bzw. als identifiziert gekennzeichnet werden. Anhand der Markierung kann ein erkanntes Projektionsobjekt von anderen Objekten leicht unterschieden werden, um es ggf. auszublenden bzw. zu maskieren.In some embodiments, the method includes marking detected projection objects. In particular, a projection object recognized when evaluating the first sequence of frames can be marked as marked or identified in the second sequence of frames. Using the marking, a recognized projection object can be easily distinguished from other objects in order to hide or mask it if necessary.

Das Markieren kann ein frameweises Markieren von Projektionsobjekten umfassen, wobei eine in einem Frame erfolgte Markierung auf ein nachfolgendes Frame übertragen werden kann. Bei der frameweisen bzw. „frame-by-frame“ Markierung kann ein projiziertes Objekt innerhalb bzw. während eines Frames erkannt werden. Durch die Übertragung der in einem Frame vorgenommenen Markierung auf ein darauffolgendes Frame kann die einmal erfolge Markierung beibehalten werden, so dass bei der Auswertung der Kameraaufnahmen an Rechenleistung gespart werden kann.The marking can include a frame-by-frame marking of projection objects, whereby a marking made in one frame can be transferred to a subsequent frame. With frame-by-frame or “frame-by-frame” marking, a projected object can be recognized within or during a frame. By transferring the marking made in one frame to a subsequent frame, the marking made once can be retained, so that computing power can be saved when evaluating the camera recordings.

In einigen Ausführungsformen wird die Markierung auf nachfolgende Frames so lange an nachfolgende Frames weitergegeben, bis die Projektion des Projektionsobjekts deaktiviert ist. Insbesondere kann anhand des Fehlens des Projektionsobjekts in der ersten Sequenz von Frames auf die Deaktivierung der Projektion zurückgeschlossen werden. Die Deaktivierung der Projektion kann insbesondere durch die Fahrzeug-Sensorik erfasst und der Auswerteeinheit übermittelt werden.In some embodiments, the marker is propagated to subsequent frames until the projection of the projection object is disabled. In particular, the deactivation of the projection can be concluded based on the absence of the projection object in the first sequence of frames. The deactivation of the projection can be detected in particular by the vehicle sensor system and transmitted to the evaluation unit.

Das Verfahren kann ferner Projizieren wenigstens eines Projektionsobjekts innerhalb wenigstens eines, insbesondere vordefinierten, Projektionsfelds umfassen, wobei das Projektionsfeld wenigstens teilweise von dem wenigstens einen Teilblickfeld erfasst wird. Das wenigstens ein Projektionsobjekt kann insbesondere eine oder mehrere Eigenprojektionen umfassen. Insbesondere kann das wenigstens eine Projektionsobjekt ein oder mehrere mittels einer an dem Fahrzeug installierten Projektionsvorrichtung auf die Fahrbahnoberfläche projizierte Objekte umfassen. Die Projektionsvorrichtung kann insbesondere ein oder mehrere Scheinwerferprojektionsmodule einer Scheinwerfervorrichtung des Fahrzeugs aufweisen. Die Projektionsvorrichtung kann insbesondere ein Projektionsmodul eines linken Scheinwerfers und ein Projektionsmodul eines rechten Scheinwerfers umfassen. Die Projektionsmodule können insbesondere dazu ausgebildet sein, Objekte in einen gemeinsamen Projektionsbereich und/oder in jeweils einen individuellen Projektionsbereich zu projizieren.The method can further comprise projecting at least one projection object within at least one, in particular predefined, projection field, the projection field being at least partially captured by the at least one partial field of view. The at least one projection object can in particular include one or more self-projections. In particular, the at least one projection object can comprise one or more objects projected onto the road surface by means of a projection device installed on the vehicle. The projection device can in particular have one or more headlight projection modules of a headlight device of the vehicle. The projection device can in particular comprise a projection module of a left headlight and a projection module of a right headlight. The projection modules can in particular be designed to project objects into a common projection area and/or into an individual projection area.

Aufgrund der Beschränkung der Projektion bzw. des wenigstens einen projizierten Objekts auf das wenigstens eine Teilblickfeld der Fahrzeugkamera kann die Auswertung der Sequenz von Kameraaufnahmen zum Erkennen des wenigstens einen projizierten Objekts vereinfacht werden. Insbesondere können Bild- bzw. Mustererkennungsalgorithmen (pattern matching algorithm) zum Erkennen des wenigstens einen projizierten Objekts auf das wenigstens eine Teilblickfeld der Fahrzeugkamera eingeschränkt werden. Insbesondere kann eine aktive Suche nach projizierten Objekten auf das wenigstens eine Teilblickfeld der Fahrzeugkamera eingeschränkt werden, wodurch eine ressourcensparende und schnelle Auswertung ermöglicht wird.Due to the limitation of the projection or the at least one projected object to the at least one partial field of view of the vehicle camera, the evaluation of the sequence of camera recordings for recognizing the at least one projected object can be simplified. In particular, image or pattern recognition algorithms (pattern matching algorithm) for recognizing the at least one projected object can be restricted to the at least one partial field of view of the vehicle camera. In particular, an active search for projected objects can be limited to the at least one partial field of view of the vehicle camera, thereby enabling a resource-saving and quick evaluation.

Das wenigstens eine Projektionsfeld kann im Wesentlichen vollständig von dem wenigstens einen Teilblickfeld erfasst werden. Durch die im Wesentlichen vollständige Erfassung des wenigstens einen Projektionsfeld von dem wenigstens einen Teilblickfeld können Projektionsobjekte innerhalb des gesamten Projektionsfelds der Projektionsvorrichtung erkannt und maskiert bzw. ausgeblendet werden.The at least one projection field can be essentially completely captured by the at least one partial field of view. By substantially completely capturing the at least one projection field from the at least one partial field of view, projection objects can be recognized and masked or hidden within the entire projection field of the projection device.

In einigen Ausführungsbeispielen ist das wenigstens eine Teilblickfeld um einen Toleranzfaktor bzw. Toleranzrahmen größer als das wenigstens eine vordefinierte Projektionsfeld. Insbesondere kann das wenigstens eine Teilblickfeld neben dem wenigstens einen Projektionsfeld wenigstens ein das wenigstens eine Projektionsfeld umgebende Toleranzfeld umfassen. Das Vorsehen des Toleranzfelds um das wenigstens eine vordefinierte Projektionsfeld ermöglicht eine robuste und zuverlässige Maskierung bzw. Ausblendung von projizierten Objekten. Insbesondere können dadurch Ausrichtungstoleranzen und/oder Auswirkungen der Fahrzeugbewegung Rechnung getragen werden.In some exemplary embodiments, the at least one partial field of view is larger by a tolerance factor or tolerance frame than the at least one predefined projection field. In particular, the at least one partial field of view can include at least one tolerance field surrounding the at least one projection field in addition to the at least one projection field. The provision of tolerance Field around the at least one predefined projection field enables robust and reliable masking or suppression of projected objects. In particular, this allows alignment tolerances and/or effects of vehicle movement to be taken into account.

Nach einem zweiten Aspekt wird eine Vorrichtung zum Erfassen einer Umgebung eines Fahrzeugs bereitgestellt. Die Vorrichtung umfasst wenigstens eine Fahrzeugkamera zum Erfassen eines Blickfelds und zum Erzeugen einer ersten Sequenz von Frames sowie eine Auswerteeinheit zum Auswerten der ersten Sequenz von Frames zum Erkennen wenigstens eines Projektionsobjekts in wenigstens einem Teilblickfeld. Die Auswertereinheit ist so ausgebildet, eine zweite Sequenz von Frames unter Maskierung wenigstens eines in dem wenigstens einen Teilblickfeld erkannten Projektionsobjekts zu erzeugen, falls beim Auswerten der ersten Sequenz von Frames wenigstens ein Projektionsobjekt in dem wenigstens einem Teilblickfeld erkannt wird.According to a second aspect, a device for detecting an environment of a vehicle is provided. The device comprises at least one vehicle camera for detecting a field of view and for generating a first sequence of frames and an evaluation unit for evaluating the first sequence of frames to detect at least one projection object in at least one partial field of view. The evaluation unit is designed to generate a second sequence of frames while masking at least one projection object recognized in the at least one partial field of view if at least one projection object is recognized in the at least one partial field of view when evaluating the first sequence of frames.

Aufgrund der Maskierung bzw. Ausblendung der erkannten Projektionsobjekte kann somit ein von projizierten Objekten, wie projizierte Symbole und/oder Inhalte, gereinigtes Bild der Umgebung bereitgestellt dem Fahrerassistenzsystem bereitgestellt werden. Auf Bilderkennung basierte Funktionen von Fahrerassistenzsystemen, wie Spuren- Formen, und/oder Objekterkennung, können somit vor Beeinträchtigungen durch projizierte Objekte geschützt werden. Das Erkennen von Projektionsobjekten erfolgt dabei in dem wenigstens einen Teilblickfeld. Das Erkennen ist somit auf das wenigstens eine Teilblickfeld fokussiert, wodurch die Auswertung vereinfacht und die Effizienz des Verfahrens erhöht werden kann. Sicherheitsrelevante Informationen, wie Straßenmarkierungen, Objekte, Fahrbedingungen, können für das Fahrerassistenzsystem in dem gesamten Blickfeld der Fahrzeugkamera erfasst werden.Due to the masking or hiding of the detected projection objects, an image of the environment cleaned of projected objects, such as projected symbols and/or content, can be provided to the driver assistance system. Functions of driver assistance systems based on image recognition, such as trace shapes and/or object recognition, can thus be protected from interference by projected objects. The recognition of projection objects takes place in the at least one partial field of view. The recognition is therefore focused on at least one partial field of view, which simplifies the evaluation and increases the efficiency of the method. Safety-relevant information, such as road markings, objects, driving conditions, can be recorded for the driver assistance system in the entire field of view of the vehicle camera.

Die Vorrichtung kann ferner eine Projektionsvorrichtung zum Projizieren wenigstens eines Projektionsobjekts innerhalb wenigstens eines Projektionsfelds umfasst, wobei das wenigstens ein Projektionsfeld wenigstens teilweise von dem Teilblickfeld erfasst wird. Die Vorrichtung kann insbesondere eine oder mehrere Projektionsvorrichtungen zum Projizieren von Objekten auf die Fahrbahnoberfläche umfassen. Die Projektionsvorrichtung kann insbesondere ein oder mehrere Scheinwerferprojektionsmodule einer Scheinwerfervorrichtung des Fahrzeugs aufweisen. Die Projektionsvorrichtung kann insbesondere ein Projektionsmodul eines linken Scheinwerfers und ein Projektionsmodul eines rechten Scheinwerfers umfassen. Die Projektionsmodule können insbesondere dazu ausgebildet sein, Objekte in einen gemeinsamen Projektionsbereich und/oder in jeweils einen individuellen Projektionsbereich zu projizieren.The device can further comprise a projection device for projecting at least one projection object within at least one projection field, wherein the at least one projection field is at least partially captured by the partial field of view. The device can in particular comprise one or more projection devices for projecting objects onto the road surface. The projection device can in particular have one or more headlight projection modules of a headlight device of the vehicle. The projection device can in particular comprise a projection module of a left headlight and a projection module of a right headlight. The projection modules can in particular be designed to project objects into a common projection area and/or into an individual projection area.

Nach einem dritten Aspekt wird ein Fahrzeug angegeben, wobei das Fahrzeug wenigstens eine Vorrichtung zum Erfassen einer Umgebung gemäß dem zweiten Aspekt aufweist. Das Fahrzeug zeichnet sich durch eine präzise Erfassung der Umgebung und eine erhöhe Fahrsicherheit aus, aufgrund der zuverlässige Unterdrückung von störenden Projektionen. Denn die Maskierung bzw. Ausblendung von projizierten Objekten kann verhindern, dass das Fahrerassistenzsystem Projektionsobjekte mit realen Objekten, wie beispielsweise Straßenmarkierungen, Fahrzeuge oder Personen, verwechselt.According to a third aspect, a vehicle is specified, wherein the vehicle has at least one device for detecting an environment according to the second aspect. The vehicle is characterized by precise detection of the surroundings and increased driving safety due to the reliable suppression of disruptive projections. Masking or hiding projected objects can prevent the driver assistance system from confusing projection objects with real objects, such as road markings, vehicles or people.

Die Erfindung wird nun anhand der beigefügten Figuren näher erläutert. Für gleiche oder gleichwirkende Teile werden in den Figuren gleiche Bezugszeichen verwendet.

  • 1 zeigt schematisch ein Fahrzeug mit einer Vorrichtung zum Erfassen einer Umgebung gemäß einem Ausführungsbeispiel, und
  • 2 zeigt ein Flussdiagramm eines Verfahrens zum Erfassen einer Umgebung gemäß einem Ausführungsbeispiel.
The invention will now be explained in more detail with reference to the attached figures. The same reference numbers are used in the figures for parts that are the same or have the same effect.
  • 1 shows schematically a vehicle with a device for detecting an environment according to an exemplary embodiment, and
  • 2 shows a flowchart of a method for detecting an environment according to an exemplary embodiment.

1 zeigt schematisch ein Fahrzeug mit einer Vorrichtung zum Erfassen einer Umgebung gemäß einem Ausführungsbeispiel. 1 zeigt insbesondere ein Fahrzeug 1, welches auf einer Fahrbahn 2 fährt, welche durch eine horizontale gerade Linie symbolisch dargestellt ist. In dem Fahrzeug 1 ist eine Vorrichtung 10 zum Erfassen einer Umgebung gemäß einem Ausführungsbeispiel implementiert. Die Vorrichtung 10 umfasst eine Fahrzeugkamera 20 sowie eine Auswerteeinheit 30. Die Fahrzeugkamera 20 kann insbesondere als Teil eines Frontkamerasystems des Fahrzeugs 1 oder als eine separate Kamera ausgebildet sein. Die Auswerteeinheit 30 kann insbesondere einen Prozessor (nicht gezeigt) und eine Speichereinheit (nicht gezeigt) zur Speicherung von Daten und von maschinenlesbaren Anweisungen für den Prozessor enthalten. Die Auswerteeinheit 30 kann insbesondere als Teil der Fahrzeugkamera 20 bzw. des Kamerasystems des Fahrzeugs 1 ausgebildet sein. In dem gezeigten Ausführungsbeispiel ist die Auswerteeinheit 30 als Teil des Steuergeräts 50 des Fahrzeugs 1 ausgebildet. 1 shows schematically a vehicle with a device for detecting an environment according to an exemplary embodiment. 1 shows in particular a vehicle 1 which is traveling on a road 2, which is symbolically represented by a horizontal straight line. A device 10 for detecting an environment is implemented in the vehicle 1 according to an exemplary embodiment. The device 10 includes a vehicle camera 20 and an evaluation unit 30. The vehicle camera 20 can in particular be designed as part of a front camera system of the vehicle 1 or as a separate camera. The evaluation unit 30 can in particular contain a processor (not shown) and a storage unit (not shown) for storing data and machine-readable instructions for the processor. The evaluation unit 30 can in particular be designed as part of the vehicle camera 20 or the camera system of the vehicle 1. In the exemplary embodiment shown, the evaluation unit 30 is designed as part of the control unit 50 of the vehicle 1.

Die Fahrzeugkamera 1 ist dazu ausgebildet, ein Blickfeld 100 zu erfassen und eine Sequenz von Bildaufnahmen bzw. Frames, insbesondere für ein Fahrerassistenzsystem des Fahrzeugs 1, zu erzeugen. Die Auswerteeinheit 30 ist dazu ausgebildet, die von der Fahrzeugkamera 20 erzeugten Sequenzen von Frames auszuwerten. Insbesondere ist die Auswerteeinheit 30 dazu ausgebildet sein, in wenigstens einem Teilblickfeld 200 der Fahrzeugkamera 20 Projektionsobjekte zu erkenn. In dem gezeigten Ausführungsbeispiel liegt das Blickfeld 100 sowie das Teilflickfeld 200 in der Ebene der Fahrbahn 2 bzw. in der Fahrbahnebene.The vehicle camera 1 is designed to capture a field of view 100 and to generate a sequence of image recordings or frames, in particular for a driver assistance system of the vehicle 1. The evaluation unit 30 is designed to evaluate the sequences of frames generated by the vehicle camera 20. In particular, the evaluation unit 30 is designed to be designed in at least to recognize 20 projection objects in a partial field of view 200 of the vehicle camera. In the exemplary embodiment shown, the field of view 100 and the partial patch field 200 lie in the plane of the roadway 2 or in the roadway level.

Das wenigstens eine Teilblickfeld 200 kann insbesondere wenigstens ein vordefiniertes Teilblickfeld umfassen, in welchem erwartungsgemäß Projektionen auftreten können. Die Auswerteeinheit 30 ist ferner dazu ausgebildet, ein gefundenes bzw. erkanntes Projektionsobjekt zu maskieren bzw. eine Sequenz von Kameraaufnahmen bzw. digitalen Bildern unter Maskierung des gefundenen Projektionsobjekts zu erzeugen.The at least one partial field of view 200 can in particular include at least one predefined partial field of view in which projections can occur as expected. The evaluation unit 30 is further designed to mask a found or recognized projection object or to generate a sequence of camera recordings or digital images while masking the found projection object.

In der in 1 darstellten Ausführungsform weist das Fahrzeug 1 eine Projektionsvorrichtung 60 zum Projizieren wenigstens eines Projektionsobjekts auf die Fahrbahn 2 auf. Die Projektionsvorrichtung 60 kann insbesondere eine oder mehrere HD (High Definition) Projektionsmodule zum Bereitstellen von hochaufgelösten Projektionen umfassen. Mittels der Projektionsvorrichtung 60 können Objekte in einem Projektionsfeld 300 projiziert werden. Das Blickfeld 100 der Fahrzeugkamera 20, das Teilblickfeld 200 und das Projektionsfeld 300 der Projektionsvorrichtung 60 werden in 1 als Fahrbahnabschnitte symbolisch dargestellt. Das Projektionsblickfeld 300 liegt innerhalb des Teilblickfelds 200, welches sich innerhalb des Blickfelds 100 befindet.In the in 1 In the embodiment shown, the vehicle 1 has a projection device 60 for projecting at least one projection object onto the road 2. The projection device 60 can in particular include one or more HD (high definition) projection modules for providing high-resolution projections. Using the projection device 60, objects can be projected into a projection field 300. The field of view 100 of the vehicle camera 20, the partial field of view 200 and the projection field 300 of the projection device 60 are in 1 symbolically represented as road sections. The projection field of view 300 lies within the partial field of view 200, which is located within the field of view 100.

In einigen Ausführungsformen ist die Projektionsvorrichtung 60 dazu ausgebildet, Objekte in einem linken und in einem rechten Projektionsfeld zu projizieren. Die Projektionsvorrichtung 60 kann insbesondere dazu ausgebildet sein, in für Rechtsverkehr konfigurierte sowie für Linksverkehr konfigurierte Fahrzeuge eingesetzt zu werden. Je nach Fahrzeugkonfiguration kann dabei das linke, das rechte oder beide Projektionsfelder zum Projizieren von Projektionsobjekten zu verwenden. Das wenigstens eine Teilblickfeld kann entsprechend ein linkes und ein rechtes Teilblickfeld umfassen, um die beiden Projektionsfelder abzudecken.In some embodiments, the projection device 60 is designed to project objects in a left and a right projection field. The projection device 60 can in particular be designed to be used in vehicles configured for right-hand traffic and vehicles configured for left-hand traffic. Depending on the vehicle configuration, the left, right or both projection fields can be used to project projection objects. The at least one partial field of view can accordingly include a left and a right partial field of view in order to cover the two projection fields.

Wird ein Projektionsobjekt innerhalb des Projektionsfelds 300 projiziert, so kann es von der Auswertesoftware als Projektionsobjekt erkannt werden und maskiert werden, so dass das Fahrerassistenzsystem das Projektionsobjekt mit anderen sich in dem Blickfeld 100 befindenden Objekten, wie Straßenmarkierungen oder Fahrzeugen, nicht verwechseln kann.If a projection object is projected within the projection field 300, it can be recognized as a projection object by the evaluation software and masked so that the driver assistance system cannot confuse the projection object with other objects located in the field of view 100, such as road markings or vehicles.

2 zeigt ein Flussdiagramm eines Verfahrens zum Erfassen einer Umgebung gemäß einem Ausführungsbeispiel. Gemäß dem Verfahren 350 wird in einem Verfahrensschritt 400 das Blickfeld mit der Fahrzeugkamera 20 erfasst und eine erste Sequenz von Bildaufnahmen bzw. Frames erzeugt. In einigen Ausführungsbeispielen wird die Fahrzeugkamera 20 vorher insbesondere zusammen mit dem Fahrerassistenzsystem des Fahrzeugs 1 aktiviert. Eine Sequenz von Frames kann grundsätzlich ein oder mehrere Frames bzw. Bildaufnahmen umfassen. In einem darauffolgenden Verfahrensschritt 500 wird die erste Sequenz von Frames zum Erkennen wenigstens eines Projektionsobjekts in wenigstens einem Teilblickfeld 200 ausgewertet. 2 shows a flowchart of a method for detecting an environment according to an exemplary embodiment. According to the method 350, in a method step 400, the field of view is captured with the vehicle camera 20 and a first sequence of image recordings or frames is generated. In some exemplary embodiments, the vehicle camera 20 is activated beforehand, in particular together with the driver assistance system of the vehicle 1. A sequence of frames can basically include one or more frames or image recordings. In a subsequent method step 500, the first sequence of frames is evaluated for recognizing at least one projection object in at least one partial field of view 200.

In einem Abfrageschritt 550 wird geprüft, ob ein Projektionsobjekt in dem Teilflickfeld 200 zu erkennen ist. Wird in dem Abfrageschritt 550 festgestellt, dass beim Auswerten der ersten Sequenz von Frames kein Projektionsobjekt innerhalb des Teilblickfelds 200 erkannt wurde, so wird die erste Sequenz von Frames zur Weitergabe an das Fahrerassistenzsystem 700 herangezogen. Wird hingegen in dem Abfrageschritt 550 festgestellt, dass sich ein Projektionsobjekt in dem Teilblickfeld 200 befindet, so wird in einem darauffolgenden Schritt 600 das erkannte Projektionsobjekt maskiert. Das Maskieren des erkannten Projektionsobjekts in dem Schritt 600 kann insbesondere Erzeugen einer zweiten Sequenz von Frames unter Maskierung des erkannten Projektionsobjekts umfassen. Dem Fahrerassistenzsystem 700 wird dabei die zweite Sequenz von Frames bzw. Bildaufnahmen zur Erfassung der Fahrzeugumgebung bereitgestellt. Die oben beschriebenen Verfahrensschritte 400, 500 und 600, können wiederholt durchgeführt werden, so dass die Auswertung der Reihe von Sequenzen iterativ auf aktuelle Situation angepasst werden kann.In a query step 550 it is checked whether a projection object can be recognized in the partial patch field 200. If it is determined in the query step 550 that no projection object was recognized within the partial field of view 200 when evaluating the first sequence of frames, the first sequence of frames is used for forwarding to the driver assistance system 700. However, if it is determined in the query step 550 that a projection object is in the partial field of view 200, the detected projection object is masked in a subsequent step 600. Masking the recognized projection object in step 600 may in particular include generating a second sequence of frames while masking the recognized projection object. The driver assistance system 700 is provided with the second sequence of frames or image recordings for recording the vehicle surroundings. The method steps 400, 500 and 600 described above can be carried out repeatedly so that the evaluation of the series of sequences can be iteratively adapted to the current situation.

Das Verfahren 350 kann einen Markierungsschritt, insbesondere nach dem Auswerteschritt 500 bzw. vor dem Erzeugen der zweiten Sequenz von Frames im Schritt 600, umfassen. Beim Markieren wird ein in dem wenigstens einen Teilblickfeld erkanntes Projektionsobjekt markiert, wobei das erkannte Projektionsobjekt als markiert gekennzeichnet wird. Beim Markieren eines erkannten Projektionsobjekts kann dem erkannten Projektionsobjekt ein Label bzw. Identifikationskennzeichen zugeordnet werden.The method 350 can include a marking step, in particular after the evaluation step 500 or before generating the second sequence of frames in step 600. When marking, a projection object recognized in the at least one partial field of view is marked, the recognized projection object being marked as marked. When marking a recognized projection object, a label or identification mark can be assigned to the recognized projection object.

In einigen Ausführungsbeispielen erfolgt das Markieren von erkannten Objekten frameweise (on a frame-to-frame basis), wobei eine in einem Frame erfolgte Markierung auf ein nachfolgendes Frame übertragen werden kann. Die Übertragung einer bereits bestehenden Markierung auf nachfolgende Frames kann den Rechenaufwand für die Wiedererkennung bzw. erneute Markierung des bereits erkannten Projektionsobjekts reduzieren.In some embodiments, recognized objects are marked frame by frame (on a frame-to-frame basis), whereby marking made in one frame can be transferred to a subsequent frame. The transfer of an already existing marking to subsequent frames can reduce the computational effort for the recognition or re-marking of the already recognized projection object.

In einigen Ausführungsformen wird eine bereits erfolgte Markierung eines erkannten Projektionsobjekts so lange an nachfolgende Frames weitergegeben, bis die Projektion des Projektionsobjekts deaktiviert ist.In some embodiments, marking of a recognized projection object that has already been made is known to subsequent frames until the projection of the projection object is deactivated.

In einigen Ausführungsbeispielen umfasst das Verfahren 350 Projizieren wenigstens eines Projektionsobjekts innerhalb wenigstens eines Projektionsfelds 300 mittels einer Projektionsvorrichtung 60 des Fahrzeugs 1. Das wenigstens eine Projektionsfeld 300 kann insbesondere wenigstens teilweise von dem Teilblickfeld 200 erfasst werden. Insbesondere kann sich das Projektionsobjekt wenigstens teilweise in dem Teilblickfeld 200 befinden und beim Auswerten der der ersten Sequenz von Frames erkannt werden. Wird die Projektion deaktiviert, so wird eine bereits erfolgte Markierung zurückgesetzt. Die Erkennung von Projektionsobjekten in dem Teilblickfeld 200 kann ebenfalls zurückgesetzt werden. Die Deaktivierung der Projektion kann insbesondere durch eine Fahrzeug-Sensorik erfasst und der Auswerteeinheit übermittelt werden.In some exemplary embodiments, the method 350 includes projecting at least one projection object within at least one projection field 300 by means of a projection device 60 of the vehicle 1. The at least one projection field 300 can in particular be at least partially captured by the partial field of view 200. In particular, the projection object can be located at least partially in the partial field of view 200 and can be recognized when evaluating the first sequence of frames. If the projection is deactivated, any marking that has already been made will be reset. The detection of projection objects in the partial field of view 200 can also be reset. The deactivation of the projection can be detected in particular by a vehicle sensor system and transmitted to the evaluation unit.

In einigen Ausführungsbeispielen wird das wenigstens eine Projektionsfeld 300 im Wesentlichen vollständig von dem wenigstens einen Teilblickfeld erfasst. Insbesondere kann das wenigstens eine Teilblickfeld 200 um einen Toleranzrahmen größer als das wenigstens eine Projektionsfeld 300 sein. Das Vorsehen des Toleranzrahmens des Projektionsfelds 300 innerhalb des Teilblickfelds ermöglicht eine robuste und zuverlässige Maskierung bzw. Ausblendung von projizierten Objekten. Insbesondere können dadurch Ausrichtungstoleranzen und/oder Auswirkungen der Fahrzeugbewegung Rechnung getragen werden.In some embodiments, the at least one projection field 300 is substantially completely captured by the at least one partial field of view. In particular, the at least one partial field of view 200 can be larger than the at least one projection field 300 by a tolerance frame. Providing the tolerance frame of the projection field 300 within the partial field of view enables robust and reliable masking or blanking out of projected objects. In particular, this allows alignment tolerances and/or effects of vehicle movement to be taken into account.

Insbesondere kann die Suche nach Projektionsobjekten im Wesentlichen auf das Projektionsfeld der Projektionsvorrichtung beschränkt sein. Außerhalb des Projektionsfeldes 300 und innerhalb des Blickfelds 100 der Fahrzeugkamera 20 liegenden Objekte können somit ohne weiteren Rechenaufwand als Fremdobjekte identifiziert und von Eigenprojektionen unterschieden werden.In particular, the search for projection objects can be essentially limited to the projection field of the projection device. Objects lying outside the projection field 300 and within the field of view 100 of the vehicle camera 20 can therefore be identified as foreign objects and distinguished from self-projections without any further computational effort.

In einigen Ausführungsbeispielen umfasst das Verfahren Erfassen einer Information über das projizierte Objekt. Insbesondere kann diese Information über einen Datenkommunikationsbus von der Fahrzeugkamera 20 der Auswerteeinheit 30 übermittelt werden. Das Auswerten kann dann wenigstens teilweise auf der erfassten Information basiert werden. Beispielsweise kann die Information einen Unterbereich in dem Projektionsfeld spezifizieren, in welchem das Objekt projiziert wird. Die Auswertung der Reihe von Sequenzen der Kameraaufnahmen kann sich dann auf den spezifizierten Unterbereich des Projektionsfelds konzentrieren, wodurch der Auswertungsaufwand reduziert werden kann.In some embodiments, the method includes acquiring information about the projected object. In particular, this information can be transmitted from the vehicle camera 20 to the evaluation unit 30 via a data communication bus. The evaluation can then be based at least partially on the recorded information. For example, the information may specify a subregion in the projection field in which the object is projected. The evaluation of the series of sequences of the camera recordings can then concentrate on the specified sub-area of the projection field, whereby the evaluation effort can be reduced.

Die Information kann ferner Art und/oder Geometrie des projizierten Objekts umfassen. Die Information über die Art bzw. die Geometrie des Projektionsobjekts können bei der Auswertung der Reihe von Sequenzen der Kameraaufnahmen verwendet werden, um das Projektionsobjekt von sonstigen Objekten besser zu unterscheiden. Insbesondere können Objekte, welche der Art bzw. den geometrischen Angaben des projizierten Objekts nicht entsprechen, verhältnismäßig leicht bzw. mit wenig Rechenaufwand als Fremdobjekte identifiziert werden.The information may further include the type and/or geometry of the projected object. The information about the type or geometry of the projection object can be used when evaluating the series of sequences of camera recordings in order to better distinguish the projection object from other objects. In particular, objects that do not correspond to the type or geometric information of the projected object can be identified as foreign objects relatively easily or with little computational effort.

In einigen Ausführungsbeispielen werden vordefinierte Eigenschaften und/oder Verhalten von projizierten Objekten bzw. des projizierten Inhalts an die Fahrzeugkamera bzw. an die Auswerteeinheit übersandt. Die vordefinierten Eigenschaften von Projektionsobjekten können beispielsweise Position, Form und/oder Dauer von Projektionsobjekten umfassen. Basierend auf den vordefinierten Eigenschaften von Projektionsobjekten kann die Auswerteeinheit die Projektionsobjekte leichter bzw. mit weniger Rechenaufwand erkennen und von in der Umgebung real existierenden Objekten unterscheiden.In some exemplary embodiments, predefined properties and/or behavior of projected objects or the projected content are sent to the vehicle camera or to the evaluation unit. The predefined properties of projection objects may include, for example, position, shape and/or duration of projection objects. Based on the predefined properties of projection objects, the evaluation unit can recognize the projection objects more easily or with less computing effort and distinguish them from objects that actually exist in the environment.

In einigen Ausführungsbeispielen wird überprüft, ob eine Markierung vorliegt. Wird festgestellt, dass für ein in dem wenigstens einen Teilblickfeld erkanntes Objekt keine Markierung vorliegt und es zu keiner der vorbestimmten Kategorie gehört, so wird die Projektionsvorrichtung für eine bestimmte Zeit deaktiviert, um zu verifizieren, dass das erkannte Objekt kein durch die Projektionsvorrichtung projiziertes Projektionsobjekt ist.In some exemplary embodiments, a check is made to see whether a marking is present. If it is determined that there is no marking for an object recognized in the at least one partial field of view and that it does not belong to any of the predetermined categories, the projection device is deactivated for a certain time in order to verify that the recognized object is not a projection object projected by the projection device .

Obwohl zumindest eine beispielhafte Ausführungsform in der vorhergehenden Beschreibung gezeigt wurde, können verschiedene Änderungen und Modifikationen vorgenommen werden. Die genannten Ausführungsformen sind lediglich Beispiele und nicht dazu vorgesehen, den Gültigkeitsbereich, die Anwendbarkeit oder die Konfiguration der vorliegenden Offenbarung in irgendeiner Weise zu beschränken. Vielmehr stellt die vorhergehende Beschreibung dem Fachmann einen Plan zur Umsetzung zumindest einer beispielhaften Ausführungsform zur Verfügung, wobei zahlreiche Änderungen in der Funktion und der Anordnung von in einer beispielhaften Ausführungsform beschriebenen Elementen gemacht werden können, ohne den Schutzbereich der angefügten Ansprüche und ihrer rechtlichen Äquivalente zu verlassen. Außerdem können nach den hier beschriebenen Prinzipien auch mehrere Module bzw. mehrere Produkte miteinander verbunden werden, um weitere Funktionen zu erhalten.Although at least one exemplary embodiment has been shown in the foregoing description, various changes and modifications may be made. The noted embodiments are merely examples and are not intended to limit the scope, applicability, or configuration of the present disclosure in any way. Rather, the foregoing description provides those skilled in the art with a plan for implementing at least one exemplary embodiment, wherein numerous changes in the function and arrangement of elements described in an exemplary embodiment can be made without departing from the scope of the appended claims and their legal equivalents . In addition, several modules or several products can be connected to one another according to the principles described here in order to obtain additional functions.

BezugszeichenlisteReference symbol list

11
Fahrzeugvehicle
22
Fahrbahn roadway
1010
Vorrichtungcontraption
2020
FahrzeugkameraVehicle camera
3030
AuswerteeinheitEvaluation unit
5050
SteuergerätControl unit
6060
Projektionsvorrichtung Projection device
100100
Blickfeldfield of view
200200
TeilblickfeldPartial field of view
300300
Projektionsfeld Projection field
350350
VerfahrenProceedings
400400
VerfahrensschrittProcedural step
500500
VerfahrensschrittProcedural step
550550
VerfahrensschrittProcedural step
600600
VerfahrensschrittProcedural step
700700
FahrerassistenzsystemDriver assistance system

Claims (10)

Verfahren zum Erfassen einer Umgebung eines Fahrzeugs (1), umfassend: - Erfassen (400) eines Blickfelds (100) mit wenigstens einer Fahrzeugkamera (20) zum Erzeugen einer ersten Sequenz von Frames, - Auswerten (500) der ersten Sequenz von Frames zum Erkennen wenigstens eines Projektionsobjekts in wenigstens einem Teilblickfeld (200), und, - Erzeugen (600) einer zweiten Sequenz von Frames unter Maskierung wenigstens eines in dem wenigstens einen Teilblickfeld (200) erkannten Projektionsobjekts, falls beim Auswerten der ersten Sequenz von Frames wenigstens ein Projektionsobjekt in dem wenigstens einem Teilblickfeld (200) erkannt wird.Method for detecting an environment of a vehicle (1), comprising: - Detecting (400) a field of view (100) with at least one vehicle camera (20) to generate a first sequence of frames, - evaluating (500) the first sequence of frames to detect at least one projection object in at least one partial field of view (200), and, - Generating (600) a second sequence of frames while masking at least one projection object recognized in the at least one partial field of view (200) if at least one projection object is recognized in the at least one partial field of view (200) when evaluating the first sequence of frames. Verfahren nach Anspruch 1, wobei das wenigstens eine Teilblickfeld (200) wenigstens ein vordefiniertes Teilblickfeld (200) der Fahrzeugkamera (20) umfasst.Procedure according to Claim 1 , wherein the at least one partial field of view (200) comprises at least one predefined partial field of view (200) of the vehicle camera (20). Verfahren nach Anspruch 1 oder 2, wobei das Verfahren Markieren von erkannten Projektionsobjekten umfasst.Procedure according to Claim 1 or 2 , wherein the method includes marking recognized projection objects. Verfahren nach Anspruch 3, wobei das Markieren ein frameweises Markieren von Projektionsobjekten umfasst, und wobei eine in einem Frame erfolgte Markierung auf ein nachfolgendes Frame übertragen wird.Procedure according to Claim 3 , wherein the marking comprises marking projection objects on a frame-by-frame basis, and wherein a marking made in one frame is transferred to a subsequent frame. Verfahren nach Anspruch 3 oder 4, wobei die Markierung eines erkannten Objekts so lange an nachfolgende Frames weitergegeben wird, bis die Projektion des Projektionsobjekts deaktiviert ist.Procedure according to Claim 3 or 4 , where the marker of a detected object is passed on to subsequent frames until the projection of the projection object is deactivated. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren ferner Projizieren wenigstens eines Projektionsobjekts innerhalb wenigstens eines Projektionsfelds (300) umfasst, und wobei das wenigstens ein Projektionsfeld (300) wenigstens teilweise von dem wenigstens einen Teilblickfeld (200) erfasst wird.Method according to one of the preceding claims, wherein the method further comprises projecting at least one projection object within at least one projection field (300), and wherein the at least one projection field (300) is at least partially captured by the at least one partial field of view (200). Verfahren nach Anspruch 6, wobei das wenigstens eine Projektionsfeld (300) im Wesentlichen vollständig von dem wenigstens einen Teilblickfeld (200) erfasst wird.Procedure according to Claim 6 , wherein the at least one projection field (300) is essentially completely captured by the at least one partial field of view (200). Vorrichtung zum Erfassen einer Umgebung eines Fahrzeugs (1), umfassend: - wenigstens eine Fahrzeugkamera (20) zum Erfassen eines Blickfelds (100) und zum Erzeugen einer ersten Sequenz von Frames, - eine Auswerteeinheit (30) zum Auswerten der ersten Sequenz von Frames zum Erkennen wenigstens eines Projektionsobjekts in wenigstens einem Teilblickfeld (200), wobei die Auswerteeinheit (30) dazu ausgebildet ist, eine zweite Sequenz von Frames unter Maskierung wenigstens eines in dem wenigstens einen Teilblickfeld (200) erkannten Projektionsobjekts zu erzeugen, falls beim Auswerten der ersten Sequenz von Frames wenigstens ein Projektionsobjekt in dem wenigstens einem Teilblickfeld (200) erkannt wird.Device for detecting the surroundings of a vehicle (1), comprising: - at least one vehicle camera (20) for capturing a field of view (100) and for generating a first sequence of frames, - an evaluation unit (30) for evaluating the first sequence of frames for recognizing at least one projection object in at least one partial field of view (200), the evaluation unit (30) being designed to generate a second sequence of frames while masking at least one in the at least one partial field of view (200) recognized projection object if at least one projection object is recognized in the at least one partial field of view (200) when evaluating the first sequence of frames. Vorrichtung nach Anspruch 8, wobei die Vorrichtung (10) ferner eine Projektionsvorrichtung (60) zum Projizieren wenigstens eines Projektionsobjekts innerhalb wenigstens eines Projektionsfelds (300) umfasst, und wobei das wenigstens ein Projektionsfeld (300) wenigstens teilweise von dem Teilblickfeld (200) erfasst wird.Device according to Claim 8 , wherein the device (10) further comprises a projection device (60) for projecting at least one projection object within at least one projection field (300), and wherein the at least one projection field (300) is at least partially captured by the partial field of view (200). Fahrzeug, wobei das Fahrzeug wenigstens eine Vorrichtung (10) zum Erfassen einer Umgebung des Fahrzeugs nach einem der Ansprüche 8 oder 9 aufweist.Vehicle, wherein the vehicle has at least one device (10) for detecting an environment of the vehicle according to one of Claims 8 or 9 having.
DE102022203952.1A 2022-04-25 2022-04-25 Method and device for detecting the surroundings of a vehicle Pending DE102022203952A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022203952.1A DE102022203952A1 (en) 2022-04-25 2022-04-25 Method and device for detecting the surroundings of a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022203952.1A DE102022203952A1 (en) 2022-04-25 2022-04-25 Method and device for detecting the surroundings of a vehicle

Publications (1)

Publication Number Publication Date
DE102022203952A1 true DE102022203952A1 (en) 2023-10-26

Family

ID=88238626

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022203952.1A Pending DE102022203952A1 (en) 2022-04-25 2022-04-25 Method and device for detecting the surroundings of a vehicle

Country Status (1)

Country Link
DE (1) DE102022203952A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080044060A1 (en) 2006-08-10 2008-02-21 Nissan Motor Co., Ltd. Image processor and image processing method
US10737611B2 (en) 2015-06-09 2020-08-11 Denso Corporation Road surface display device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080044060A1 (en) 2006-08-10 2008-02-21 Nissan Motor Co., Ltd. Image processor and image processing method
US10737611B2 (en) 2015-06-09 2020-08-11 Denso Corporation Road surface display device

Similar Documents

Publication Publication Date Title
DE102012221563B4 (en) FUNCTIONAL DIAGNOSIS AND VALIDATION OF A VEHICLE-BASED IMAGING SYSTEM
DE102017107264A1 (en) VISIBLE RAIN RECOGNITION USING DEEP LEARNING
DE102012223481B4 (en) Apparatus and method for tracking the position of a peripheral vehicle
DE102016200828B4 (en) Object detection device and object detection method
DE102006060893A1 (en) Device and method for determining a free space in front of a vehicle
EP2932434A1 (en) Method and device for anaylzing trafficability
EP3782117A1 (en) Method, device and computer-readable storage medium having instructions for processing sensor data
DE102007010186A1 (en) Apparatus, method and computer program for image-based tracking of surveillance objects
DE112018000768T5 (en) Procedure for recognizing false positive events related to a traffic light
DE102017215283A1 (en) Method for anonymizing an image for a camera system of a motor vehicle, image processing device, camera system and motor vehicle
DE102014113372B4 (en) Filter device
DE102017207438B4 (en) Method, device and its use for determining the articulation angle of a team
DE102016012345A1 (en) Method for recognizing objects
DE102016223094A1 (en) Method and system for detecting a raised object located within a parking lot
EP3614299A1 (en) Method and assembly for identifying objects on installations
DE102022203952A1 (en) Method and device for detecting the surroundings of a vehicle
DE102017217063A1 (en) A recognition system, method of operation and training method for generating a 3D model with reference data
DE102019211459B4 (en) Method and device for checking a calibration of environmental sensors
DE102019132012A1 (en) Method and system for the detection of small unclassified obstacles on a road surface
DE102022204203A1 (en) Method and device for detecting the surroundings of a vehicle
DE102017212379A1 (en) Method and system for detecting a free area within a parking lot
DE102016218213A1 (en) Classification of static objects with a moving camera
DE102017115475A1 (en) Method for detecting an obstacle in an environmental region of a motor vehicle, evaluation device, driver assistance system and motor vehicle
DE102021214551A1 (en) Method and device for detecting objects on a road surface
DE102016223144A1 (en) Method and system for detecting a raised object located within a parking lot

Legal Events

Date Code Title Description
R084 Declaration of willingness to licence
R163 Identified publications notified
R081 Change of applicant/patentee

Owner name: STELLANTIS AUTO SAS, FR

Free format text: FORMER OWNER: PSA AUTOMOBILES SA, POISSY, FR