DE102020101718A1 - Verfahren und Vorrichtung zum Ermitteln der Ausrichtung einer Fläche eines Objekts - Google Patents

Abstract

Ein Verfahren zum Ermitteln der Ausrichtung einer Fläche (26) eines Objekts (12) in einem Erfassungsbereich vor oder hinter einem Fahrzeug (14) mittels einer Kamera (16) des Fahrzeugs (14) umfasst die folgenden Schritte: Erfassen eines ersten Bilds (22) des Erfassungsbereichs mittels der Kamera (16). Erfassen eines zweiten Bilds (24) des Erfassungsbereichs zeitlich auf die Erfassung des ersten Bilds (22) folgend und mittels der Kamera (16). Erzeugen von dem ersten Bild (22) entsprechenden ersten Bilddaten und dem zweiten Bild (24) entsprechenden zweiten Bilddaten. Ermitteln von acht Bildkoordinaten von jeweils vier Bildpunkten in dem ersten Bild (22) und dem zweiten Bild (24), die vier Punkten (a bis d) auf der Fläche (26) des Objekts (12) entsprechen, mittels der ersten Bilddaten und der zweiten Bilddaten. Ermitteln eines Normalenvektors (n) der Fläche (26) des Objekts (12) mittels der acht Bildkoordinaten. Ermitteln der Ausrichtung der Fläche (26) des Objekts (12) mittels des Normalenvektors (n).

Description

• Die Erfindung betrifft ein Verfahren und Vorrichtung zum Ermitteln der Ausrichtung einer Fläche eines Objekts in einem Erfassungsbereich vor oder hinter einem Fahrzeug, insbesondere einem Straßenfahrzeug, mittels einer Kamera des Fahrzeugs.
• Im Bereich des autonomen Fahrens sowie bei Fahrassistenzsystemen sollen Bilddaten von Bildern, die durch eine an einem Fahrzeug befestigte Kamera aufgenommen werden, verarbeitet werden, um die Ausrichtung einer Fläche eines Objekts zu ermittelt. Wird die Ausrichtung eines solchen Objekts falsch ermittelt, kann es zu gefährlichen Situationen kommen. Wird beispielsweise eine Fahrbahnmarkierung, die einer Rückseite eines Fahrzeugs ähnlich sieht, fälschlicherweise für ein Fahrzeug gehalten, kommt es zu einer plötzlichen Notbremsung. Wird umgekehrt die Rückseite eines Fahrzeugs fälschlicherweise als eine Fahrbahnmarkierung identifiziert, kann es zu einem Auffahrunfall kommen.
• Das Dokument EP 2 092 270 B1 offenbart ein Verfahren und eine Vorrichtung zur Erkennung und Positionsbestimmung ebener Objekte auf Bildern unter Verwendung einer Stereokamera.
• Das Dokument Malis at al., Deeper understanding of the homography decomposition for vision-based control. RR-6303, INRIA. 2007, pp.90. offenbart ein Verfahren zur Berechnung einer sogenannten Homographiematrix, mit deren Hilfe die Bewegung einer kalibrierten Kamera zwischen der Aufnahme zweier Bilder eines ebenen Objekts abgeschätzt werden kann. Das Dokument offenbart ferner ein analytisches Verfahren zur Berechnung eines Normalenvektors auf Grundlage der Homographiematrix.
• Es ist Aufgabe der Erfindung, ein Verfahren und eine Vorrichtung anzugeben, bei dem das Ermitteln der Ausrichtung einer Fläche eines Objekts in einem Erfassungsbereich vor oder hinter einem Fahrzeug mittels einer Kamera des Fahrzeugs einfach möglich ist.
• Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 und durch eine Vorrichtung mit den Merkmalen des unabhängigen Verfahrensanspruchs gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen angegeben.
• Das Verfahren zum Ermitteln der Ausrichtung einer Fläche eines Objekts in einem Erfassungsbereich vor oder hinter einem Fahrzeug mittels einer Kamera des Fahrzeugs umfasst die folgenden Schritte:
• - Erfassen eines ersten Bilds des Erfassungsbereichs mittels der Kamera.
• - Erfassen eines zweiten Bilds des Erfassungsbereichs mittels der Kamera zeitlich auf die Erfassung des ersten Bilds folgend.
• - Erzeugen von dem ersten Bild entsprechenden ersten Bilddaten und dem zweiten Bild entsprechenden zweiten Bilddaten.
• - Ermitteln von acht Bildkoordinaten von jeweils vier Bildpunkten in dem ersten Bild und dem zweiten Bild, die vier Punkten auf der Fläche des Objekts entsprechen, ausgehend von den der ersten Bilddaten und der zweiten Bilddaten.
• - Ermitteln eines Normalenvektors der Fläche des Objekts mittels der acht Bildkoordinaten.
• - Ermitteln der Ausrichtung der Fläche des Objekts mittels des Normalenvektors.
• Die Kamera ist vorzugsweise fest mit dem Fahrzeug verbunden. Der Erfassungsbereich kann insbesondere ein Teil einer Fahrbahn vor bzw. hinter dem Fahrzeug sein. Das Fahrzeug ist insbesondere ein Straßenfahrzeug.
• Zum Ermitteln der Ausrichtung der Fläche wird zunächst das erste Bild erfasst. Zeitlich darauffolgend wird das zweite Bild erfasst. Ist das Fahrzeug in diesen Zeitraum in Bewegung, verändert sich die Position des Objekts relativ zu dem Fahrzeug zwischen der Aufnahme des ersten und des zweiten Bilds. Mit wenigen Ausnahmen, beispielsweise, wenn das Objekt ein weiteres Fahrzeug ist, das sich mit der exakt selben Geschwindigkeit wie das Fahrzeug mit der Kamera bewegt, sind die vier Bildkoordinaten der vier Bildpunkte in dem ersten Bild verschieden von den vier Bildkoordinaten der vier Bildpunkte in dem zweiten Bild. Aus dieser Verschiebung der Bildpunkte kann mit geometrischen Verfahren der Normalenvektor und damit die Ausrichtung der Fläche des Objekts relativ zu dem Fahrzeug bestimmt werden. Zum Ermitteln der Ausrichtung der Fläche ist es dabei ausreichend, wenn das erste und das zweite Bild nichtstereoskopische Bilder sind. Zum Durchführen des Verfahrens ist somit nur eine Monokamera, d.h. eine Kamera, die ein einziges Objektiv aufweist und nur nichtstereoskopische Bilder erfassen kann, erforderlich. Das erfindungsgemäße Verfahren ist somit einfach durchzuführen.
• In einer bevorzugten Ausführungsform wird mittels der acht Bildkoordinaten eine Homographie ermittelt, welche die vier Bildpunkte in dem ersten Bild in die vier Bildpunkte in dem zweiten Bild überführt. Die Homographie wird in Form einer Homographiematrix ermittelt und der Normalenvektor wird mittels der Homographiematrix ermittelt. Die Homographie ist eine geometrische Abbildung, welche die vier Bildkoordinaten der vier Bildpunkte in dem ersten Bild in die vier Bildkoordinaten der vier Bildpunkte in dem zweiten Bild überführt. Diese Abbildung kann in Form der Homographiematrix dargestellt werden, die mittels geeigneter Verfahren aus den acht Bildkoordinaten ermittelt werden kann. Aus den Einträgen der Homographiematrix kann der Normalenvektor schnell und robust ermittelt werden. Somit ist mittels der Homographiematrix eine zuverlässige Bestimmung der Ausrichtung der Fläche möglich.
• In einer weiteren bevorzugten Ausführungsform wird mittels der Homographiematrix ein Abstand zwischen der Kamera und der Fläche des Objekts ermittelt. Insbesondere wird ein Abstand zwischen einer Blende der Kamera und der Fläche des Objekts ermittelt. Vorzugsweise wird der Abstand entlang des Normalenvektors bestimmt. Ähnlich wie der Normalenvektor kann auch der Abstand zwischen der Kamera und der Fläche aus den Einträgen der Homographiematrix ermittelt werden. Somit ist mittels der Homographiematrix eine zuverlässige Bestimmung des Abstands zwischen der Kamera und der Fläche des Objekts möglich.
• Vorzugsweise wird die Homographiematrix in einem numerischen oder analytischen Verfahren ermittelt. Dadurch ist die einfache Berechnung der Homographiematrix möglich.
• In einer weiteren bevorzugten Ausführungsform wird mittels des Normalenvektors ein Nickwinkel ermittelt, der einer Verkippung des Normalenvektors um die Querachse des Fahrzeugs gegen die Vertikalachse des fahrzeugfesten Koordinatensystems entspricht. Mittels des Nickwinkels wird die Ausrichtung der Fläche des Objekts ermittelt. Ein Nickwinkel von 90° bedeutet, dass die Fläche senkrecht zur Fahrtrichtung des Fahrzeugs ist. Ein Nickwinkel von 0° bedeutet, dass die Fläche des Objekts parallel zu der Fahrbahn ist, auf der sich das Fahrzeug bewegt. Anhand des Nickwinkels kann somit beispielsweise zuverlässig entschieden werden, ob das Objekt gefahrlos überfahren werden kann.
• In einer weiteren bevorzugten Ausführungsform wird mittels der ersten Bilddaten ein Bildbereich des ersten Bilds ermittelt, welcher die Fläche des Objekts umfasst. Mittels einer Teilmenge der ersten Bilddaten, die dem Bildbereich entspricht, werden Bildkoordinaten ermittelt, die den vier Bildpunkten in dem ersten Bild entsprechen. Insbesondere wird der Bildbereich des ersten Bilds mit Hilfe eines Bilderkennungsverfahren ermittelt. Vorzugsweise kommt ein Bilderkennungsverfahren zum Einsatz, dass bestimmte Klassen von Objekten, beispielsweise Fahrbahnmarkierungen, Fahrzeuge, Verkehrszeichen, andere Verkehrsteilnehmer, identifizieren kann. Vorzugsweise ist der Bildbereich ein die Fläche des Objekts minimal umgebendes Rechteck. Durch ermitteln des Bildbereichs, wird das erste Bild auf einen relevanten Bereich beschnitten. Dies macht die Weiterverarbeitung einfacher. Es können auch mehr als ein Bildbereich des ersten Bilds ermittelt werden, die jeweils einem Objekt mit einer Fläche entsprechen, deren Ausrichtung ermittelt wird.
• In einer weiteren bevorzugten Ausführungsform werden mittels der ersten Bilddaten unter Verwendung eines Bilderkennungsverfahrens, insbesondere eines Maschinenlernverfahrens, die Bildkoordinaten ermittelt, die den vier Bildpunkten in dem ersten Bild entsprechen. Insbesondere ist das Bilderkennungsverfahren derart ausgebildet, dass die drei der vier Punkte linear unabhängig sind. Dadurch wird sichergestellt, dass die Homographiematrix erfolgreich ermittelt werden kann. Somit kann durch die Verwendung des Bilderkennungsverfahrens die Robustheit und damit die Zuverlässigkeit der Ermittlung der Ausrichtung der Fläche erhöht werden.
• In einer weiteren bevorzugten Ausführungsform werden mittels der ersten Bilddaten, der zweiten Bilddaten und der Bildkoordinaten, die den vier Bildpunkten in dem ersten Bild entsprechen, unter Verwendung eines Bildverarbeitungsverfahrens, insbesondere eines auf optischem Fluss basierenden Verfahrens oder eines Maschinenlernverfahrens, weitere Bildkoordinaten ermittelt, die den vier Bildpunkten in dem zweiten Bild entsprechen. Die Positionen der vier Bildpunkte in dem Bildrahmen der Kamera verändern sich zwischen der Aufnahme des ersten Bilds und der Aufnahme des zweiten Bilds. Die vier Bildpunkte bewegen sich gleichsam durch den Bildrahmen. Das Bildverarbeitungsverfahren verfolgt diese Bewegung, sodass die vier Bildpunkte schnell in dem zweiten Bild gefunden werden können. Somit wird hierdurch insbesondere die Ermittlung der Ausrichtung der Fläche beschleunigt. Zur Verfolgung der Bewegung und zum Auffinden der Bildpunkte in dem zweiten Bild kann insbesondere ein Trackingverfahren eingesetzt werden.
• In einer weiteren bevorzugten Ausführungsform wird auf Grundlage der Ausrichtung der Fläche des Objekts ermittelt, ob das Fahrzeug das Objekt gefahrlos überfahren kann. Insbesondere Objekte, deren Fläche in der Ebene der Fahrbahn liegen, beispielsweise Fahrbahnmarkierungen, können gefahrlos überfahren werden. Die Ermittlung der Ausrichtung der Fläche liefert ein einfach zu bestimmendes Kriterium mit dem ermittelt werden kann, ob das Fahrzeug das Objekt gefahrlos überfahren kann.
• In einer weiteren bevorzugten Ausführungsform wird die Ausrichtung der Fläche des Objekts als Eingabeparameter eines Objekterkennungsverfahrens weiterverarbeitet. Das Objekterkennungsverfahren kann beispielsweise unterscheiden, ob es sich bei dem Objekt um eine Rückseite eines Fahrzeugs handelt oder ob eine Fahrbahnmarkierung als solche fehlidentifiziert wurde. Dies kann dazu genutzt werden, dass Objekterkennungsverfahren zuverlässiger zu machen.
• In einer weiteren bevorzugten Ausführungsform wird auf Grundlage der Ausrichtung der Fläche des Objekts ermittelt, ob das Objekt eine Fahrbahnmarkierung ist. Liegt die Fläche des Objekts in der Ebene der Fahrbahn, kann mit großer Wahrscheinlichkeit davon ausgegangen werden, dass es sich bei dem Objekt um eine Fahrbahnmarkierung handelt. Diese Information kann beispielsweise durch ein Fahrassistenzsystem genutzt werden, um diese Fahrbahnmarkierung für einen Fahrer des Fahrzeugs hervorzuheben. Ebenso kann die Information, ob es sich bei dem Objekt um eine Fahrbahnmarkierung handelt, durch ein System zum autonomen Fahren des Fahrzeugs verwendet werden, um eine Trajektorie zu bestimmen, d.h. beispielsweise ein Ausweich- oder Abbremsmanöver vorzunehmen.
• Die Erfindung betrifft ferner eine Vorrichtung zum Ermitteln der Ausrichtung einer Fläche eines Objekts in einem Erfassungsbereich vor oder hinter einem Fahrzeug, insbesondere einem Straßenfahrzeug, mit einer Kamera, die ausgebildet ist, ein erstes Bild des Erfassungsbereichs zu erfassen, zeitlich auf die Erfassung des ersten Bilds folgend ein zweites Bild des Erfassungsbereichs zu erfassen, und dem ersten Bild entsprechende erste Bilddaten und dem zweiten Bild entsprechende zweite Bilddaten zu erzeugen, und mit einer Steuereinheit, die ausgebildet ist, mittels der ersten Bilddaten und der zweiten Bilddaten acht Bildkoordinaten von jeweils vier Bildpunkten in dem ersten Bild und dem zweiten Bild zu ermitteln, die vier Punkten auf der Fläche des Objekts entsprechen. Mittels der acht Bildkoordinaten ermittelt die Steuereinheit einen Normalenvektor der Fläche des Objekts, und mittels des Normalenvektors die Ausrichtung der Fläche des Objekts.
• Die Vorrichtung hat dieselben Vorteile wie das beanspruchte Verfahren und kann auf die gleiche Weise, insbesondere mit den Merkmalen der anhängigen Ansprüche, weitergebildet werden.
• Es ist vorteilhaft, wenn die Kamera eine Monokamera ist. Monokameras sind kostengünstiger als vergleichbare Stereokameras. Zudem erfordern Monokamera keine aufwendige Kalibrierung. Durch die Verwendung einer Monokamera ist die Vorrichtung somit insbesondere kostengünstiger herstellbar und hat einen geringen Wartungsaufwand.
• Vorzugsweise ist die Kamera mit dem Fahrzeug fest verbunden.
• Weitere Merkmale und Vorteile ergeben sich aus der folgenden Beschreibung, die eine Ausführungsform in Verbindung mit den beigefügten Figuren näher erläutert.
• Es zeigen:
• 1 eine schematische Darstellung einer Vorrichtung zum Ermitteln der Ausrichtung einer Fläche eines Objekts in einem Erfassungsbereich vor oder hinter einem Fahrzeug;
• 2 eine schematische Darstellung einer Kamera der Vorrichtung gemäß 1 und des Objekts;
• 3a eine schematische Darstellung eines ersten Bilds des Erfassungsbereichs;
• 3b eine schematische Darstellung eines zweiten Bilds des Erfassungsbereichs;
• 4 ein Flussdiagramm eines Ablaufs zum Ermitteln der Ausrichtung der Fläche
• 1 zeigt schematische Darstellung einer Vorrichtung 10 zum Ermitteln der Ausrichtung einer Fläche eines Objekts 12 in einem Erfassungsbereich vor oder hinter einem Fahrzeug 14.
• Das Objekt 12 ist in 1 beispielhaft als eine Fahrbahnmarkierung dargestellt, die einer Vorder- oder Rückseite eines weiteren Fahrzeugs ähnlich sieht. Alternativ kann es sich bei dem Objekt 12 beispielsweise auch um ein weiteres Fahrzeug handeln.
• Die Vorrichtung 10 umfasst eine Kamera 16, die als Monokamera ausgebildet und fest mit dem Fahrzeug 14 verbunden ist. Die Kamera 16 ist derart in Fahrtrichtung des Fahrzeugs 14 ausgerichtet, dass sie einen Erfassungsbereich auf einer Fahrbahn 18 vor dem Fahrzeug 14 erfassen kann. Die Vorrichtung 10 umfasst ferner eine Bildverarbeitungs- und Auswerteeinheit 20, die über ein Kabel 21 mit der Kamera 16 verbunden ist und welche eine Steuereinheit der Vorrichtung bildet. Die Bildverarbeitungs- und Auswerteeinheit 20 ist ausgebildet mittels Bilddaten, die aus von der Kamera 16 aufgenommenen Bildern 22, 24 (siehe 3a und 3b) erzeugt werden, die Ausrichtung der Fläche 26 (siehe 2) des Objekts 12 zu ermitteln. Hierzu werden mittels der Kamera 16 ein erstes Bild 22 des Erfassungsbereichs erfasst und zeitlich auf die Erfassung des ersten Bilds 22 folgend ein zweites Bild 24 des Erfassungsbereichs mittels der Kamera 16 erfasst. Es werden dem ersten Bild 22 entsprechende erste Bilddaten und dem zweiten Bild 24 entsprechende zweite Bilddaten erzeugt. Die Bildverarbeitungs- und Auswerteeinheit 20 ermittelt aus den Bilddaten acht Bildkoordinaten von jeweils vier Bildpunkten in dem ersten Bild 22 und dem zweiten Bild 24, die vier Punkten a bis d (siehe 2) auf der Fläche 26 des Objekts 12 entsprechen. Mittels dieser acht Bildkoordinaten ermittelt die Bildverarbeitungs- und Auswerteeinheit 20 einen Normalenvektor n der Fläche 26 des Objekts 12. Ferner ermittelt die Bildverarbeitungs- und Auswerteeinheit 20 mittels des Normalenvektors n die Ausrichtung der Fläche 26 des Objekts 12. Das Ermittlungsverfahren ist im Folgenden anhand der 2 bis 4 noch näher beschrieben.
• 2 zeigt eine schematische Darstellung der Kamera 16 der Vorrichtung 10 gemäß 1 und des Objekts 12. 2 zeigt ferner ein Koordinatenkreuz 28 eines kamerafesten Koordinatensystems. Da die Kamera 16 fest mit dem Fahrzeug 14 verbunden ist, ist das kamerafeste Koordinatensystem zugleich ein fahrzeugfestes Koordinatensystem. Dabei ist eine erste Koordinatenrichtung X die Fahrtrichtung des Fahrzeugs 14, eine zweite Koordinatenrichtung Y die Querachse des Fahrzeugs 14 und eine dritte Koordinatenrichtung Z die Vertikalachse des Fahrzeugs 14.
• Die Lage der vier Punkte a bis d auf der Fläche 26 des Objekts 12 ist in 2 durch vier Pfeile P1 bis P4 dargestellt, die von einer Kameraoptik 30 der Kamera 16 ausgehen. Die Position der vier Punkte a bis d relativ zu der Kamera 16 ändert sich bedingt durch eine Relativbewegung zwischen dem Fahrzeug 14 und dem Objekt 12 vom Zeitpunkt der Aufnahme des ersten Bilds 22 zu dem Zeitpunkt der Aufnahme des zweiten Bilds 24. Hierdurch verändern sich auch die Bildkoordinaten der den vier Punkten a bis d auf der Fläche 26 des Objekts 12 jeweils zugeordneten Bildpunkte. Mit anderen Worten: Die den vier Punkten a bis d auf der Fläche 26 des Objekts 12 jeweils zugeordneten Bildpunkte haben in dem ersten Bild 22 andere Bildkoordinaten als in dem zweiten Bild 24. Dies ist im Folgenden anhand der 3a und 3b noch näher beschrieben.
• Wie sich die Bildkoordinaten der vier Punkte a bis d auf der Fläche 26 des Objekts 12 verändern, hängt zum einen von der Relativbewegung zwischen dem Fahrzeug 14 und dem Objekt 12 und zum andern von der Ausrichtung der Fläche 26 ab. Daher ist es der Bildverarbeitungs- und Auswerteeinheit 20 möglich mittels der Bilddaten die Ausrichtung der Fläche 26 in Form des Normalenvektors n zu ermitteln, der in 2 als Pfeil dargestellt ist, der von der Fläche 26 des Objekts 12 ausgeht und in Richtung der Kameraoptik 30 der Kamera 16 weist. Wie der Normalenvektor n bestimmt wird, ist im Folgenden anhand von 4 noch näher beschrieben. Durch den Normalenvektor n ist ferner ein Abstand zwischen dem Fahrzeug 14 und dem Objekt 12 als der Abstand zwischen der Kameraoptik 30 und dem Aufsetzpunkt des Normalenvektors n auf der Fläche 26 des Objekts 12 definiert. Dieser Abstand ist in 2 als gestrichelte Linie 32 dargestellt.
• 3a zeigt eine schematische Darstellung des ersten Bilds 22 des Erfassungsbereichs, das durch die Kamera 16 aufgenommen wurde. Das erste Bild zeigt den Erfassungsbereich auf der Fahrbahn 18 vor dem Fahrzeug 14 mit dem Objekt 12. Die Lage der Bildpunkte, die den vier Punkte a bis d auf der Fläche 26 des Objekts 12 entsprechen, sind in den 3a und 3b durch Kreuze dargestellt.
• 3b zeigt eine schematische Darstellung des zweiten Bilds 24 des Erfassungsbereichs, das durch die Kamera 16 aufgenommen wurde. Das zweiten Bild 24 zeigt den Erfassungsbereich auf der Fahrbahn 18 vor dem Fahrzeug 14 mit dem Objekt 12 zu einem späteren Zeitpunkt als der, zu dem die Aufnahme des ersten Bilds 22 erfolgt ist. Die Lage der den vier Punkte a bis d auf der Fläche 26 des Objekts 12 entsprechenden Bildpunkte hat sich im Vergleich zu 3a verändert, da sich zwischen der Aufnahme des ersten Bilds 22 und der Aufnahme des zweiten Bilds 24 die relative Position zwischen dem Fahrzeug 14 und dem Objekt 12 verändert hat.
• 4 zeigt ein Flussdiagramm eines Ablaufs zum Ermitteln der Ausrichtung der Fläche 26.
• Im Schritt S10 wird der Ablauf gestartet. Im Schritt S12 mittels der Kamera 16 das erste Bild 22 des Erfassungsbereichs erfasst. Anschließend wird im Schritt S14 unter Verwendung eines Bilderkennungsverfahrens, insbesondere eines Maschinenlernverfahrens, ermittelt, ob in dem ersten Bild 22 ein relevantes Objekt 12 vorhanden ist. Kann ein solches Objekt 12 in dem ersten Bild 22 nicht ermittelt werden, wird der Ablauf in Schritt S24 beendet. Andernfalls werden mittels eines geeigneten Verfahrens die Bildkoordinaten der vier Bildpunkte in dem ersten Bild 22 ermittelt, die den vier Punkten a bis d auf der Fläche 26 des Objekts 12 entsprechen. Die Punkte werden hierbei derart ausgewählt, dass drei der vier Punkte a bis d linear unabhängig sind. Anschließend wird zeitlich auf den Schritt S12 folgend in Schritt S16 das zweite Bild 24 des Erfassungsbereichs erfasst. Im Schritt S18 wird mittels des Bilderkennungsverfahrens ermittelt, ob das Objekt 12 in dem zweiten Bild 24 vorhanden ist. Kann das Objekt 12 in dem zweiten Bild 24 nicht wieder ermittelt werden, wird der Ablauf in Schritt S24 beendet. Andernfalls werden mittels eines geeigneten, insbesondere einem auf optischem Fluss basierenden Verfahrens, die Bildkoordinaten der vier Bildpunkte in dem zweiten Bild 24 ermittelt, die den vier Punkten a bis d auf der Fläche 26 des Objekts 12 entsprechen.
• Im Schritt S20 wird mittels der acht Bildkoordinaten eine Homographiematrix H ermittelt, welche die Bildkoordinaten der vier Bildpunkte in dem ersten Bild 22 in die Bildkoordinaten der vier Bildpunkte in dem zweiten Bild 24 überführt. Anschließend wird im Schritt S22 aus Einträgen der Homographiematrix H der Normalenvektor n berechnet. Hierzu wird zunächst die Matrix S bestimmt, indem die Homographiematrix H symmetrisiert wird: $$S=H^{T}H-I$$

  
• Dabei ist / die 3×3 Einheitsmatrix. Im Folgenden werden die Einträge der symmetrischen Matrix S mit s_ij und der dem Eintrag s_ij jeweils zugeordnete Minor mit Ms _ij bezeichnet. Der Normalenvektor n kann dann ausgedrückt werden als $$\begin{array}{c}n=\frac{n^i}{\Vert n^f\Vert }\\ n^i=\left(\begin{array}{c}{S}_{12}+\sqrt{-M_{S_{33}}}\\ S_{22}\\ S_{23}+{\epsilon }_{13}\sqrt{-M_{S_{11}}}\end{array}\right)\end{array}$$

  
• Wobei ∈₁₃ das Vorzeichen des dem Element s₁₃ zugeordneten Minors von S ist.
• Anschließend wird im Schritt S24 wird aus dem Normalenvektor n ein Nickwinkel ermittelt, der einer Verkippung des Normalenvektors n um die y-Achse, d.h. die Querachse, des Fahrzeugs 14 gegen die z-Achse, d.h. die Vertikalachse des fahrzeugfesten Koordinatensystems entspricht. Mittels des Nickwinkels wird dann die Ausrichtung der Fläche 26 des Objekts 12 bestimmt. Anschließend wird das Verfahren im Schritt S26 beendet.
• Anhand der 1 bis 4 sind das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung anhand einer Ausführungsform beispielhaft beschrieben. Insbesondere befindet sich der Erfassungsbereich in der gezeigten Ausführungsform vor dem Fahrzeug 14. Es versteht sich von selbst, dass die gezeigten Ausführungsformen des Verfahrens entsprechend auch auf einen Bereich hinter dem Fahrzeug 14 anwendbar sind.
• Bezugszeichenliste

10

Vorrichtung

12

Objekt

14

Fahrzeug

16

Kamera

18

Fahrbahn

20

Bildverarbeitungs- und Auswerteeinheit

21

Kabel

22, 24

Bild

26

Fläche

28

Koordinatenkreuz

30

Kameraoptik

32

Abstand

X, Y, Z

Koordinatenachsen

a, b, c, d

Punkte

n

Normalenvektor

• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• EP 2092270 B1 [0003]

Claims (15)

1. Verfahren zum Ermitteln der Ausrichtung einer Fläche (26) eines Objekts (12) in einem Erfassungsbereich vor oder hinter einem Fahrzeug (14), insbesondere einem Straßenfahrzeug, mittels einer Kamera (16) des Fahrzeugs (14), bei dem mittels der Kamera (16) ein erstes Bild (22) des Erfassungsbereichs erfasst wird, zeitlich auf die Erfassung des ersten Bilds (22) folgend und mittels der Kamera (16) ein zweites Bild (24) des Erfassungsbereichs erfasst wird, dem ersten Bild (22) entsprechende erste Bilddaten und dem zweiten Bild (24) entsprechende zweite Bilddaten erzeugt werden, mittels der ersten Bilddaten und der zweiten Bilddaten acht Bildkoordinaten von jeweils vier Bildpunkten in dem ersten Bild (22) und dem zweiten Bild (24) ermittelt werden, die vier Punkten (a bis d) auf der Fläche (26) des Objekts (12) entsprechen, mittels der acht Bildkoordinaten ein Normalenvektor (n) der Fläche (26) des Objekts (12) ermittelt wird, und mittels des Normalenvektors n die Ausrichtung der Fläche (26) des Objekts (12) ermittelt wird.
2. Verfahren nach Anspruch 1, wobei mittels der acht Bildkoordinaten eine Homographie ermittelt wird, welche die vier Bildpunkte in dem ersten Bild (22) in die vier Bildpunkte in dem zweiten Bild (24) überführt, wobei die Homographie in Form einer Homographiematrix ermittelt wird, und wobei der Normalenvektor n mittels der Homographiematrix ermittelt wird.
3. Verfahren nach Anspruch 2, wobei mittels der Homographiematrix ein Abstand zwischen der Kamera (16) und der Fläche (26) des Objekts (12) ermittelt wird.
4. Verfahren nach Anspruch 2 oder 3, wobei die Homographiematrix in einem numerischen oder analytischen Verfahren ermittelt wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei mittels des Normalenvektors (n) ein Nickwinkel ermittelt wird, der einer Verkippung des Normalenvektors (n) um die Querachse (Y) des Fahrzeugs (14) gegen die Vertikalachse (Z) des fahrzeugfesten Koordinatensystems entspricht, und wobei mittels des Nickwinkels die Ausrichtung der Fläche (26) des Objekts (12) ermittelt wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei mittels der ersten Bilddaten ein Bildbereich des ersten Bilds (22) ermittelt wird, welcher die Fläche (26) des Objekts (12) umfasst, und mittels einer Teilmenge der ersten Bilddaten, die dem Bildbereich entspricht, Bildkoordinaten ermittelt werden, die den vier Bildpunkten in dem ersten Bild (22) entsprechen.
7. Verfahren nach Anspruch 6, wobei der Bildbereich ein die Fläche (26) des Objekts (12) minimal umgebendes Rechteck ist.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei mittels der ersten Bilddaten unter Verwendung eines Bilderkennungsverfahrens, insbesondere eines Maschinenlernverfahrens, die Bildkoordinaten ermittelt werden, die den vier Bildpunkten in dem ersten Bild (22) entsprechen.
9. Verfahren nach einem der vorhergehenden Ansprüche, wobei mittels der ersten Bilddaten, der zweiten Bilddaten und der Bildkoordinaten, die den vier Bildpunkten in dem ersten Bild (22) entsprechen, unter Verwendung eines Bildverarbeitungsverfahrens, insbesondere eines auf optischem Fluss basierenden Verfahrens oder eines Maschinenlernverfahrens, weitere Bildkoordinaten ermittelt werden, die den vier Bildpunkten in dem zweiten Bild (24) entsprechen.
10. Verfahren nach einem der vorhergehenden Ansprüche, wobei auf Grundlage der Ausrichtung der Fläche (26) des Objekts (12) ermittelt wird, ob das Fahrzeug (14) das Objekt (12) gefahrlos überfahren kann.
11. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Ausrichtung der Fläche (26) des Objekts (12) als Eingabeparameter eines Objektekennungsverfahrens weiterverarbeitet wird.
12. Verfahren nach einem der vorhergehenden Ansprüche, wobei auf Grundlage der Ausrichtung der Fläche (26) des Objekts (12) ermittelt wird, ob das Objekt (12) eine Fahrbahnmarkierung ist.
13. Vorrichtung (10) zum Ermitteln der Ausrichtung einer Fläche (26) eines Objekts (12) in einem Erfassungsbereich vor oder hinter einem Fahrzeug (14), insbesondere einem Straßenfahrzeug, mit einer Kamera (16), die ausgebildet ist, ein erstes Bild (22) des Erfassungsbereichs zu erfassen, zeitlich auf die Erfassung des ersten Bilds (22) folgend ein zweites Bild (24) des Erfassungsbereichs zu erfassen, und dem ersten Bild (22) entsprechende erste Bilddaten und dem zweiten Bild (24) entsprechende zweite Bilddaten zu erzeugen, und mit einer Bildverarbeitungs- und Auswerteeinheit (20), die ausgebildet ist, mittels der ersten Bilddaten und der zweiten Bilddaten acht Bildkoordinaten von jeweils vier Bildpunkten in dem ersten Bild (22) und dem zweiten Bild (24) zu ermitteln, die vier Punkten (a bis d) auf der Fläche (26) des Objekts (12) entsprechen, mittels der acht Bildkoordinaten ein Normalenvektor n der Fläche (26) des Objekts (12) zu ermitteln, und mittels des Normalenvektors n die Ausrichtung der Fläche 26 des Objekts 12 zu ermitteln.
14. Vorrichtung (10) nach Anspruch 13, wobei die Kamera (16) eine Monokamera ist.
15. Vorrichtung (10) nach Anspruch 13 oder 14, wobei die Kamera (16) mit dem Fahrzeug (14) fest verbunden ist.

Images