DE102016124747A1

DE102016124747A1 - Erkennen eines erhabenen Objekts anhand perspektivischer Bilder

Info

Publication number: DE102016124747A1
Application number: DE102016124747.2A
Authority: DE
Inventors: Ciaran Hughes; Pantelis ERMILIOS; Jonathan Horgan; Guenter Bauer
Original assignee: Bayerische Motoren Werke AG; Connaught Electronics Ltd
Current assignee: Bayerische Motoren Werke AG; Connaught Electronics Ltd
Priority date: 2016-12-19
Filing date: 2016-12-19
Publication date: 2018-06-21
Also published as: EP3555806A1; US20190354778A1; WO2018114943A1; US10902271B2

Abstract

Die Erfindung stellt ein Verfahren zum Erkennen eines erhabenen Objekts (2) anhand von Bildern mit den folgenden Schritten bereit:- Erfassen eines ersten Bildes aus einer ersten Kamera (13) und eines zweiten Bildes aus einer zweiten Kamera (11) mit einer von der ersten Kamera (13) unterschiedlichen Perspektive, wobei der Umgebungsbereich (U) durch das erste Bild und das zweite Bild jeweils zumindest teilweise abgebildet wird,- Transformieren des ersten Bildes und des zweiten Bildes in ein gemeinsames Bezugssystem nach einer jeweiligen vorgegebenen Transformationsvorschrift,- Bilden von Gradienten über Pixelwerte von Pixeln entlang jeweiliger Gradientenlinien (30) in dem transformierten ersten Bild (51) und dem transformierten zweiten Bild (61),- Summieren der Gradienten entlang mehrerer paralleler Summationslinien (31) zu einer Gradientensumme (32), wobei die Summationslinien (31) und die Gradientenlinien (30) senkrecht aufeinander stehen und Maxima (8) der Gradientensumme (32) Grenzen des erhabenen Objekts (2) repräsentieren,- Ermitteln eines ersten Paares (78) der Maxima (75, 76) der Gradientensumme (32) in dem transformierten ersten Bild (51) und eines zweiten Paares (79) der Maxima (85, 86) der Gradientensumme (32) in dem transformierten zweiten Bild (61), wobei die Paare (78, 79) nach einem vorbestimmten Kriterium miteinander korrespondieren,- Erkennen des erhabenen Objekts (2), wenn zumindest ein Abstand (D3) zwischen den Maxima (75, 76) des ersten Paares (78) in dem transformierten ersten Bild (51) von einem Abstand (D4) der Maxima (85, 86) des korrespondierenden zweiten Paares (79) in dem transformierten zweiten Bild (61) abweicht.

Description

Die Erfindung betrifft ein Verfahren zum Erkennen eines erhabenen Objekts in einem Umgebungsbereich eines Kraftfahrzeugs, wobei anhand perspektiver Bilder aus zwei unterschiedlichen Kameras unterschiedlicher Perspektiven ein dreidimensionaler Effekt erzielt werden kann. Die Erfindung betrifft außerdem eine Fahrerassistenzeinrichtung zum Erkennen eines erhabenen Objekts. Ein dritter Aspekt der Erfindung betrifft ein Kraftfahrzeug mit einer Fahrerassistenzeinrichtung zum Erkennen eines erhabenen Objekts in einem Umgebungsbereich des Kraftfahrzeugs.
Aus dem Stand der Technik bekannt sind Kameras, die eine Umgebung eines Kraftfahrzeugs erfassen und einem Nutzer, beispielsweise auf einem Bildschirm, zur Verfügung stellen. Beispiele hierfür sind Rückfahrkameras sowie Fahrerassistenzsysteme, welche die Umgebung des Kraftfahrzeugs aus der Vogelperspektive zeigen. Die Erkennung erhabener Objekte ist mittels einer Kamera jedoch nicht ohne weiteres möglich, da es sich um ein zweidimensionales Bild der Umgebung handelt. Insbesondere ist die Unterscheidung von ebenen Objekten wie Fahrbahnmarkierungen und erhabenen Objekten wie Bordsteinen nicht möglich. Gerade beim Rangieren eines Kraftfahrzeugs, beispielsweise beim Einparken oder beim Befahren einer engen Umgebung, kann die Erkennung des Bordsteins zum Steuern des Kraftfahrzeugs jedoch sehr wichtig sein.
Die US 2015/003 59 83 A1 offenbart beispielsweise ein Verfahren zum Warnen vor einer Kollision eines Kraftfahrzeugs mit einem Objekt, beispielsweise einem Bordstein, wobei eine seitlich an dem Kraftfahrzeug angeordnete Kamera den Bordstein zweidimensional erfasst und im Falle einer möglichen Kollision mit dem Bordstein eine Warnung ausgibt.
Um einem zweidimensionalen Bild eine Umgebung eines Kraftfahrzeugs eine dreidimensionale Komponente zu verleihen, kombiniert die WO 2015/039 776 A1 eine Kamera mit einem Entfernungsmesser. Eine Recheneinheit ist dazu ausgebildet, anhand von Bilddaten der Kamera sowie anhand von Entfernungsdaten des Entfernungsmessers einen dreidimensionalen Bildeindruck zu erzeugen.
Die DE 10 2014 017 904 A1 betrifft ein Verfahren zur Detektion eines erhabenen Objekts in einer Umgebung eines Kraftfahrzeugs. Dabei können mittels Triangulation zweier Bilder unterschiedlicher Perspektive aus unterschiedlichen Kameras erhabene Objekte durch das Aufstellen und Verifizieren von Objekt-Hypothesen ermittelt werden.
Es ist Aufgabe der vorliegenden Erfindung, ein alternatives Verfahren zum Erkennen eines erhabenen Objekts anhand von Bildern bereitzustellen.
Diese Aufgabe wird erfindungsgemäß gelöst durch die Gegenstände der unabhängigen Patentansprüche. Vorteilhafte Ausführungsformen mit zweckmäßigen Weiterbildungen sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
Im Rahmen des vorliegenden Verfahrens zum Erkennen eines erhabenen Objekts in einem Umgebungsbereich eines Kraftfahrzeugs werden zunächst ein erstes Bild aus einer ersten Kamera und ein zweites Bild aus einer zweiten Kamera erfasst (i). Durch das erste Bild und das zweite Bild wird der Umgebungsbereich jeweils zumindest teilweise abgebildet. Insbesondere wird der Umgebungsbereich durch das erste Bild und das zweite Bild jeweils aus einer unterschiedlichen Perspektive zumindest teilweise abgebildet. Die erste Kamera und die zweite Kamera haben eine unterschiedliche Perspektive. Vorzugsweise erfassen die erste Kamera und die zweite Kamera den Umgebungsbereich aus einer unterschiedlichen Perspektive. Insbesondere bilden sowohl das erste Bild als auch das zweite Bild zumindest teilweise das erhabene Objekt ab. Das erste Bild und/oder das zweite Bild können jeweils Teil einer Bildfolge, beispielsweise ein Serienbild oder eine Videoaufnahme, sein. Dann wird das vorliegende Verfahren insbesondere für mehrere oder alle Bilder der jeweiligen Bildfolge durchgeführt. Dadurch ist die Erkennung des erhabenen Objekts auch in bewegten Bildern ermöglicht.
Das erste Bild und das zweite Bild werden in einem nächsten Schritt (ii) nach einer jeweiligen vorgegebenen Transformationsvorschrift in ein gemeinsames Bezugssystem transformiert. Hierzu sind aus dem Stand der Technik unterschiedliche Verfahren bekannt, welche die jeweilige vorgegebene Transformationsvorschrift bilden können. Das erste Bild kann durch die Transformation in ein transformiertes erstes Bild überführt werden. Das zweite Bild kann durch die Transformation in ein transformiertes zweites Bild überführt werden. Das transformierte erste Bild und das transformierte zweite Bild können beliebige Objekte, insbesondere das erhabene Objekt, in einer Umgebung des Kraftfahrzeugs mit zumindest im Wesentlichen, abgesehen von perspektivischen Verzerrungen, gleichen Größenverhältnissen abbilden. Das transformierte erste Bild und das transformierte zweite Bild können den Umgebungsbereich des Kraftfahrzeugs jeweils zumindest teilweise aus derselben Perspektive abbilden. Im Folgenden werden das erste transformierte Bild und das zweite transformierte Bild als die transformierten Bilder bezeichnet, wenn von beiden Bildern die Rede ist. Das erste Bild und das zweite Bild können ein Bildausschnitt aus einem ersten Gesamtbild, welches durch die erste Kamera erfasst wird, beziehungsweise einem zweiten Gesamtbild, welches durch die zweite Kamera erfasst wird, sein.
In dem transformierten ersten Bild und dem transformierten zweiten Bild werden Gradienten über Pixelwerte von Pixeln entlang jeweiliger Gradientenlinien gebildet (iii). Eine Anzahl der Gradientenlinien kann an eine Spaltenanzahl der jeweiligen transformierten Bilder angepasst sein. Beispielsweise weisen die transformierten Bilder jeweils eine Auflösung von 1024 × 1024 Pixeln, also eine Spaltenanzahl sowie eine Zeilenanzahl von jeweils 1024, auf. Dann können 1024 Gradientenlinien vorgesehen sein. Alternativ können mehrere Spalten der jeweiligen transformierten Bilder zusammengefasst oder übersprungen beziehungsweise ausgelassen werden, woraus eine geringere Zahl von Gradientenlinien folgt. Die jeweiligen Gradientenlinien verlaufen insbesondere parallel zueinander. Die Gradienten können den Verlauf beziehungsweise die Veränderung der Pixelwerte entlang der jeweiligen Gradientenlinien beschreiben. Der Pixelwert kann eine Helligkeit, ein Farbwert oder eine Textur eines jeweiligen Pixels beschreiben. Vorzugsweise beschreibt der Gradient einen Bildgradienten, im Englischen auch „image gradient“ genannt.
Die Gradienten werden entlang mehrerer paralleler Summationslinien zu einer Gradientensumme summiert (iv). Die Gradientensumme kann eine Gradientensummenfunktion sein. Durch die Gradientensumme beziehungsweise die Gradientensummenfunktion kann jeder der mehreren parallelen Summationslinien ein Gradientensummenwert zugeordnet sein, der insbesondere der Summe der Gradienten entlang der jeweiligen Summationslinien entspricht. Die Summationslinien und die Gradientenlinien stehen senkrecht aufeinander. Analog zu der Anzahl der Gradientenlinien kann eine Anzahl der Summationslinien an die Zeilenanzahl der jeweiligen transformierten Bilder angepasst sein. Im Falle der Auflösung von 1024 x 1024 Pixeln können 1024 Summationslinien vorgesehen sein. Alternativ können mehrere Zeilen der jeweiligen transformierten Bilder zusammengefasst oder übersprungen beziehungsweise ausgelassen werden, woraus eine geringere Zahl von Summationslinien folgt. Maxima der Gradientensumme repräsentieren insbesondere eine Kante in dem jeweiligen transformierten Bild, die zumindest im Wesentlichen parallel zu den mehreren parallelen Summationslinien ausgerichtet ist. Vorzugsweise repräsentieren die Maxima der Gradientensumme Grenzen beziehungsweise Kanten des erhabenen Objekts.
In einem nächsten Schritt wird ein erstes Paar der Maxima der Gradientensumme in dem transformierten ersten Bild ermittelt und ein zweites Paar der Maxima der Gradientensumme in dem transformierten zweiten Bild ermittelt (v). Die Paare korrespondieren nach einem vorbestimmten Kriterium miteinander. Beispielsweise werden als diejenigen Maxima für das erste Paar der Gradientensumme in dem transformierten ersten Bild die beiden größten Maxima der Gradientensumme in dem transformierten ersten Bild ermittelt. Beispielsweise werden als diejenigen Maxima für das zweite Paar der Gradientensumme in dem transformierten zweiten Bild die größten Maxima der Gradientensumme in dem transformierten zweiten Bild ermittelt. Die Paare können dann nach dem vorbestimmten Kriterium derart miteinander korrespondieren, dass es sich um die schärfsten Kanten der jeweiligen transformierten Bilder handelt. Alternativ oder zusätzlich können die Maxima der jeweiligen transformierten Bilder nach einer vorbestimmten Reihenfolge, beispielsweise von oben nach unten, durchnummeriert werden, wobei jedem Maximum eine Nummer zugeordnet ist. Beispielsweise erhält das oberste Maximum jeden Bildes die Nummer 1. Die Paare können dann nach dem vorbestimmten Kriterium derart miteinander korrespondieren, dass deren Maxima dieselbe Nummer zugeordnet ist. Vorzugsweise können diejenigen Maxima nach dem vorbestimmten Kriterium für die jeweiligen Paare ermittelt werden, welche dieselben Grenzen des erhabenen Objekts in dem jeweiligen transformierten Bild repräsentieren.
Das erhabene Objekt kann dann erkannt (vi) werden, wenn ein Abstand zwischen den Maxima des ersten Paares in dem transformierten ersten Bild von einem Abstand der Maxima des korrespondierenden zweiten Paares in dem transformierten zweiten Bild abweicht. Bei der Transformation des ersten Bilds und des zweiten Bilds in das gemeinsame Bezugssystem können an dem erhabenen Objekt perspektivische Verzerrungen auftreten. Dies ist durch die unterschiedlichen Perspektiven der ersten Kamera und der zweiten Kamera und/oder durch die unterschiedlichen Perspektiven des ersten Bildes und des zweiten Bildes bedingt. Insbesondere können die Grenzen des erhabenen Objekts in dem transformierten ersten Bild und dem transformierten zweiten Bild unterschiedliche relative Abstände haben. Im Falle eines ebenen Objekts, z.B. einer Fahrbahnmarkierung, treten insbesondere keine perspektivischen Verzerrungen auf und/oder die Grenzen des ebenen Objekts haben in den transformierten Bildern unterschiedliche relative Abstände. Da die Maxima der Gradientensumme die Grenzen des erhabenen Objekts repräsentieren und das erste und das zweite Paar nach dem vorbestimmten Kriterium miteinander korrespondieren, kann aufgrund eines abweichenden Abstandes zwischen des ersten Paares und des zweiten Paares darauf geschlossen werden, dass es sich bei einem Objekt um ein erhabenes Objekt handelt. Auf diese Weise kann ein alternatives Verfahren zum Erkennen eines erhabenen Objekts bereitgestellt werden.
Anstatt Paare von Maxima zu bilden, kann zum Auswerten der Gradientensummen ein Differenzverlauf aus der Gradientensumme des transformierten ersten Bild und der Gradientensumme des transformierten zweiten Bildes gebildet (x) werden. Beispielsweise kann die Gradientensumme des transformierten ersten Bildes von der Gradientensumme des transformierten zweiten Bildes subtrahiert werden. Insbesondere werden die Gradientensummen der beiden transformierten Bilder hierzu in einem Bereich subtrahiert, in dem sich das erhabene Objekt befindet. Alternativ oder zusätzlich kann ein Betrag der Differenz der beiden Gradientensummen als der Differenzverlauf ermittelt werden.
Das erhabene Objekts kann dann erkannt (xi) werden, wenn der Differenzverlauf und/oder ein Integral über den Differenzverlauf einen vorbestimmten Schwellwert überschreiteen. Beispielsweise wird das erhabene Objekt erkannt, wenn die betragsmäßige Differenz der Gradientensummen in einem Punkt ihres Verlaufs den vorbestimmten Schwellwert überschreitet. Alternativ oder zusätzlich kann ein Integral über den Differenzverlauf gebildet werden. Das Integral kann die Fläche unter dem Differenzverlauf beschreiben. Weist das Integral einen Wert auf, der größer ist als der vorbestimmte Schwellwert oder ein weiterer vorbestimmter Schwellwert kann auf das erhabene Objekt erkannt werden.
Dadurch, dass die Maxima der jeweiligen Gradientensummen der beiden transformierten Bilder einen unterschiedlichen Abstand voneinander aufweisen, wenn diese das erhabene Objekt repräsentieren, kann der Differenzverlauf den Schwellwert überschreiten. Die beiden Maxima werden nicht vollständig voneinander subtrahiert. Im Falle eines flachen Objekts können die Maxima der jeweiligen Gradientensummen der transformierten Bilder einen gleichen Abstand voneinander aufweisen, weshalb sich ein flacher Differenzverlauf ergibt, da beide Maxima voneinander subtrahiert werden.
Sind die transformierten Bilder innerhalb des gemeinsamen Bezugssystems verschoben, so kann sich auch für ein flaches Objekt fälschlicherweise einen Differenzverlauf ergeben, der den Schwellwert überschreitet. Deshalb werden die Gradientensummen der beiden transformierten Bilder vor dem Bilden des Differenzverlaufs vorzugsweise aneinander ausgerichtet. Beispielsweise kann eine der Gradientensummen in einem vorgegeben Bereich parallel zu den Gradientenlinien verschoben werden. Der Differenzverlauf kann für mehrere Positionen der verschobenen Gradientensumme gebildet werden. Für den Wert der Verschiebung, für den der Differenzverlauf und/oder das Integral über den Differenzverlauf ein Minimum erreicht, kann von einer optimalen Ausrichtung der beiden Gradientensummen ausgegangen werden. Überschreiten der Differenzverlauf und/oder das Integral über den Differenzverlauf den vorbestimmten Schwellwert dennoch, so kann das erhabene Objekt erkannt werden.
In einer Weiterbildung der Erfindung werden das erste Bild und das zweite Bild in eine Vogelperspektive als gemeinsames Bezugssystem transformiert. Die Vogelperspektive kann das Kraftfahrzeug und den Umgebungsbereich von oben zeigen. Eine derartige Vogelperspektive wird im Englischen auch als top-view oder birds-view bezeichnet. Die in die Vogelperspektive transformierten Bilder können einem Fahrer des Kraftfahrzeugs nach der Erkennung des erhabenen Objekts auf einem Bildschirm des Kraftfahrzeugs angezeigt werden.
In weiterer Ausgestaltung der Erfindung wird als das erhabene Objekt ein Bordstein erkannt. Insbesondere wird erkannt, ob es sich bei einem Objekt um ein flaches Objekt, beispielsweise die Fahrbahnmarkierung, oder um ein erhabenes Objekt, beispielsweise den Bordstein, handelt. Auf diese Weise kann dem Fahrer des Kraftfahrzeugs ein besonders vorteilhaftes Fahrerassistenzsystem zum Navigieren bereitgestellt werden.
In weiterer Ausgestaltung der Erfindung ist vorgesehen, dass dem erhabenen Objekt eine Höhe zugeordnet wird. Die Höhe des erhabenen Objekts kann diesem beispielsweise anhand einer Position des erhabenen Objekts, insbesondere relativ zu dem Kraftfahrzeug, sowie anhand des Verhältnisses der Abstände des ersten Paares und des zweiten Paares der Maxima zueinander zugeordnet werden. Beispielsweise wird dem erhabenen Objekt, wenn dessen Position in einem vorbestimmten Positionsbereich liegt und das Verhältnis der Abstände der Maxima des ersten Paares und des zweiten Paares in einem vorbestimmten Intervall liegt, ein vorbestimmter Höhenwert für die Höhe zugeordnet. Alternativ oder zusätzlich kann die Höhe dem erhabenen Objekt durch Berechnung zugeordnet werden. Beispielsweise kann der Höhenwert für das erhabene Objekt anhand der transformierten Bilder sowie anhand perspektivischer Informationen, insbesondere eine Position der ersten Kamera, eine Position der zweiten Kamera und die Position des erhabenen Objekts, berechnet werden. Beispielsweise kann das Berechnen mittels einer Triangulation erfolgen. Anhand der Höhe kann beispielsweise festgestellt werden, ob das erhabene Objekt durch das Kraftfahrzeug überfahren werden kann oder nicht.
Eine Weiterbildung der Erfindung sieht vor, dass ein Überlappungsbereich des Umgebungsbereichs durch das erste Bild und durch das zweite Bild abgebildet wird und das erhabene Objekt zumindest teilweise innerhalb des Überlappungsbereichs erkannt wird. Mit anderen Worten bilden das erste Bild und das zweite Bild sowie das erste transformierte Bild und das zweite transformierte Bild den Überlappungsbereich des Umgebungsbereichs ab. Das erhabene Objekt kann sich innerhalb des Überlappungsbereichs befinden. Demnach kann das erhabene Objekt sowohl durch das erste Bild als auch durch das zweite Bild beziehungsweise sowohl durch das transformierte erste Bild als auch durch das transformierte zweite Bild abgebildet werden. Das erste Bild und das zweite Bild können das erhabene Objekt, insbesondere einen Teilbereich des erhabenen Objekts, aus einer jeweiligen unterschiedlichen Perspektive abbilden. Beim Transformieren des ersten Bildes und des zweiten Bildes in das transformierte erste Bild und das transformierte zweite Bild, welche dieselbe Perspektive haben, entstehen perspektive Verzerrungen an dem erhabenen Objekt. In dem Überlappungsbereich kann das erhabene Objekt demnach anhand abweichender Abstände zwischen den Maxima des ersten Paares und des korrespondierenden zweiten Paares erkannt werden, wobei die Maxima insbesondere dieselben Grenzen des erhabenen Objekts in demselben Teilbereich des erhabenen Objekts repräsentieren.
In weiterer Ausgestaltung ist vorgesehen, dass ein weiterer Überlappungsbereich des Umgebungsbereichs durch ein weiteres erstes Bild aus einer weiteren ersten Kamera und ein weiteres zweites Bild aus einer weiteren zweiten Kamera abgebildet wird und das erhabene Objekt zwischen dem Überlappungsbereich und dem weiteren Überlappungsbereich durch Interpolation zwischen dem Überlappungsbereich und dem weiteren Überlappungsbereich erkannt wird. Die erste Kamera kann der weiteren ersten Kamera oder die zweite Kamera kann der weiteren zweiten Kamera entsprechen. Insbesondere ist zumindest entweder die erste Kamera von der weiteren ersten Kamera oder die zweite Kamera von der weiteren zweiten Kamera verschieden. Das erhabene Objekt kann, insbesondere unabhängig voneinander, mittels des erfindungsgemäßen Verfahrens in dem Überlappungsbereich und dem weiteren Überlappungsbereich erkannt werden. Vorzugsweise erstreckt sich das erhabene Objekt sowohl über den Überlappungsbereich als auch über den weiteren Überlappungsbereich. Der Überlappungsbereich und der weitere Überlappungsbereich sind insbesondere getrennt voneinander, wobei zwischen dem Überlappungsbereich und dem weiteren Überlappungsbereich vorzugsweise ein Zwischenbereich liegt. Der Zwischenbereich hat insbesondere eine endliche Ausdehnung. Vorzugsweise weisen der Überlappungsbereich und der weitere Überlappungsbereich einen endlichen Abstand voneinander auf, beispielsweise zumindest 10 cm, 50 cm, 100 cm oder 200 cm. Der Zwischenbereich wird insbesondere nur durch das erste Bild und/oder das zweite Bild und/oder ein weiteres Bild einer weiteren Kamera abgebildet, wobei das erhabene Objekt vorzugsweise zweidimensional abgebildet ist. Deshalb kann das erhabene Objekt in dem Zwischenbereich nicht ohne weiteres erkannt werden. Erstreckt sich das erhabene Objekt zumindest teilweise über den Zwischenbereich, den Überlappungsbereich sowie den weiteren Überlappungsbereich, so kann das erhabene Objekt durch Interpolation zwischen dem Überlappungsbereich und dem weiteren Überlappungsbereich auch in dem Zwischenbereich, also zwischen dem Überlappungsbereich und dem weiteren Überlappungsbereich, erkannt werden. Wird das erhabene Objekt sowohl in dem Überlappungsbereich als auch in dem weiteren Überlappungsbereich erkannt, so kann darauf geschlossen werden, dass das erhabene Objekt auch in dem Zwischenbereich erhaben ist. Dies gilt insbesondere, wenn in dem Zwischenbereich eine zweidimensionale Abbildung des erhabenen Objekts erkannt wird. Beispielsweise wird ein Bordstein, der sich über den Überlappungsbereich und den weiteren Überlappungsbereich sowie den Zwischenbereich erstreckt und sowohl in dem Überlappungsbereich als auch in dem weiteren Überlappungsbereich als erhabenes Objekt erkannt wird, auch in dem Zwischenbereich als erhabenes Objekt erkannt.
Eine Weiterbildung der Erfindung sieht vor, dass das erhabene Objekt durch Extrapolation des ersten Bildes und/oder des zweiten Bildes in einem Teilbereich des Umgebungsbereichs erkannt wird, der maximal durch das erste oder das zweite Bild abgebildet ist. Alternativ oder zusätzlich kann das erhabene Objekt durch Extrapolation des transformierten ersten Bildes und/oder des transformierten zweiten Bildes in einem Teilbereich des Umgebungsbereichs erkannt werden, der maximal durch das erste oder das zweite Bild abgebildet ist. Insbesondere wird das erste Bild beziehungsweise das transformierte erste Bild und/oder das zweite Bild beziehungsweise das transformierte zweite Bild dahingehend extrapoliert, dass ein virtueller Überlappungsbereich, der insbesondere den Teilbereich des Umgebungsbereichs umfasst, entsteht. Der virtuelle Überlappungsbereich kann durch das (transformierte) erste Bild und ein extrapoliertes (transformiertes) zweites Bild oder durch das (transformierte) zweite Bild und ein extrapoliertes (transformiertes) erstes Bild oder durch das extrapolierte (transformierte) erste Bild und das extrapolierte (transformierte) zweite Bild abgebildet sein. Vorzugsweise wird eine Darstellung des erhabenen Objekts, vorzugsweise dessen Grenzen, für das jeweilige extrapolierte (transformierte) Bild extrapoliert. Mit anderen Worten können durch Extrapolation des (transformierten) ersten Bildes und/oder des (transformierten) zweiten Bildes (transformierte) Bilder des Teilbereichs des Umgebungsbereichs mitunterschiedlicher Perspektive erzeugt werden. Dadurch ist eine noch umfassendere Erkennung des erhabenen Objekts in dem Umgebungsbereich des Kraftfahrzeugs ermöglicht.
In weiterer Ausgestaltung der Erfindung wird zum Ermitteln der Gradientensumme zunächst eine Hauptorientierungsrichtung des erhabenen Objekts erkannt und die Gradientenlinien senkrecht zu der Hauptorientierungsrichtung des erhabenen Objekts ausgerichtet. Beispielsweise kann das transformierte Bild, insbesondere das erste transformierte Bild und/oder das zweite transformierte Bild, gedreht werden um die Gradientenlinien senkrecht zur Hauptorientierungsrichtung auszurichten. In diesem Fall können die Gradientenlinien eine feste Orientierung haben. Alternativ kann ein 2D-Gradientenvektor an jedem Bildpunkt berechnet werden und auf eine Histogrammachse projiziert werden, die gedreht wird, um senkrecht zu der Hauptorientierung des vorher berechneten Bildes zu sein. Die Hauptorientierungsrichtung des erhabenen Objekts kann auf einfache Art und Weise mittels eines Bildanalyseverfahrens, wie es aus dem Stand der Technik bekannt ist, ermittelt werden. Insbesondere verläuft die Hauptorientierungsrichtung des erhabenen Objekts parallel zu den Grenzen des erhabenen Objekts. Die Grenzen können anhand der Maxima der Gradientensumme besonders gut erkannt werden, wenn der Gradient entlang von Gradientenlinien, die senkrecht zu den Grenzen des erhabenen Objekts verlaufen, gebildet wird beziehungsweise die Gradientensumme durch Summationslinien, die parallel zu den Grenzen verlaufen, gebildet wird.
Ein zweiter Aspekt der Erfindung betrifft eine Fahrerassistenzeinrichtung zum Erkennen eines erhabenen Objekts in einem Umgebungsbereich eines Kraftfahrzeugs. Die Fahrerassistenzeinrichtung ist dazu ausgebildet, ein Verfahren der oben genannten Art durchzuführen.
Ein dritter Aspekt der Erfindung betrifft ein Kraftfahrzeug mit einer Fahrerassistenzeinrichtung zum Erkennen eines erhabenen Objekts in einem Umgebungsbereich des Kraftfahrzeugs. Das Kraftfahrzeug weist eine erste Kamera zum Erfassen eines ersten Bildes und eine zweite Kamera zum Erfassen eines zweiten Bildes auf. Die erste Kamera und die zweite Kamera sind dazu ausgebildet, den Umgebungsbereich durch das erste Bild und das zweite Bild jeweils zumindest teilweise abzubilden beziehungsweise zu erfassen. Die zweite Kamera weist eine von der ersten Kamera unterschiedliche Perspektive auf. Insbesondere erfassen die erste Kamera und die zweite Kamera den Umgebungsbereich aus einer unterschiedlichen Perspektive. Insbesondere sind die erste Kamera und die zweite Kamera an unterschiedlichen Positionen an dem Kraftfahrzeug angeordnet. Eine Geometrieeinheit des Kraftfahrzeugs beziehungsweise der Fahrerassistenzeinrichtung ist zum Transformieren des ersten Bildes und des zweiten Bildes in ein gemeinsames Bezugssystem nach einer jeweiligen vorgegebenen Transformationsvorschrift ausgebildet.
Das Kraftfahrzeug beziehungsweise die Fahrerassistenzeinrichtung umfasst eine Recheneinheit zum Bilden von Gradienten über Pixelwerte von Pixeln entlang jeweiliger Gradientenlinien in dem transformierten ersten Bild und dem transformierten zweiten Bild. Die Recheneinheit ist zusätzlich zum Summieren der Gradienten entlang mehrerer paralleler Summationslinien zu einer Gradientensumme ausgebildet. Dabei stehen die Summationslinien und die Gradientenlinien senkrecht aufeinander. Maxima der Gradientensumme repräsentieren Grenzen des erhabenen Objekts. Weiterhin ist die Recheneinheit zum Ermitteln eines ersten Paares der Maxima der Gradientensumme in dem transformierten ersten Bild und eines zweiten Paares der Maxima der Gradientensumme in dem transformierten zweiten Bild ausgebildet. Dabei korrespondieren die Paare nach einem vorbestimmten Kriterium miteinander. Die Recheneinheit ist dazu ausgelegt, das erhabene Objekt zu erkennen, wenn zumindest ein Abstand zwischen den Maxima des ersten Paares in dem transformierten ersten Bild von einem Abstand der Maxima des korrespondierenden zweiten Paares in dem transformierten zweiten Bild abweicht.
Vorteilhafte Ausführungsformen und zweckmäßige Weiterbildungen des erfindungsgemäßen Verfahrens gelten analog auch für die erfindungsgemäße Fahrerassistenzeinrichtung und das erfindungsgemäße Kraftfahrzeug.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
Dabei zeigen:

1 schematisch ein Kraftfahrzeug aus einer Vogelperspektive, wobei mehrere Kameras des Kraftfahrzeugs Überlappungsbereiche aufweisen,
2 eine schematische Vorderansicht eines Kraftfahrzeugs mit zwei Kameras, die ein erhabenes Objekt aus unterschiedlichen Perspektiven erfassen,
3 transformierte Bilder aus einer Frontkamera und einer Heckkamera eines Kraftfahrzeugs,
4 transformierte Bilder aus einer linken Seitenkamera und einer rechten Seitenkamera eines Kraftfahrzeugs, sowie
5 eine schematische Übersicht über zwei unterschiedliche Differenzverläufe.

1 zeigt ein Kraftfahrzeug 1 mit mehreren Kameras 10 die jeweils einen Umgebungsbereich des Kraftfahrzeugs zumindest teilweise erfassen beziehungsweise abbilden. Jede der Kameras 10 weist einen jeweiligen Erfassungsbereich 95 auf. Die Kameras 10 können beispielsweise jeweils einen Erfassungswinkel von 180° aufweisen. Die jeweiligen Kameras 10 können sich in ihrem Erfassungsbereich 95 überlappen, vorliegend werden Überlappungsbereiche 20 von jeweils zumindest zwei Kameras 10 erfasst. Vorliegend umfasst das Kraftfahrzeug eine Frontkamera 11, eine Heckkamera 12, eine linke Seitenkamera 13, insbesondere an einem linken Außenspiegel des Kraftfahrzeugs 1, sowie eine rechte Seitenkamera 14, insbesondere an einem rechten Außenspiegel des Kraftfahrzeugs 1. Jede der Kameras 10 kann eine erste Kamera oder eine zweite Kamera im Sinne der Erfindung darstellen, wobei unterschiedliche Kameras 10 die erste Kamera und die zweite Kamera darstellen müssen. Vorzugsweise weisen die Kameras 10, welche die erste Kamera und die zweite Kamera verkörpern, einen Überlappungsbereich 20 auf.
Ein Erfassungsbereich 91 der Frontkamera 11 und ein Erfassungsbereich 93 der linken Seitenkamera 13 weisen einen Überlappungsbereich 21 auf, der Erfassungsbereich 91 der Frontkamera 11 und ein Erfassungsbereich 94 der rechten Seitenkamera 14 weisen einen Überlappungsbereich 24 auf, ein Erfassungsbereich 92 der Heckkamera 12 und der Erfassungsbereich 93 der linken Seitenkamera 13 weisen einen Überlappungsbereich 22 auf und der Erfassungsbereich 92 der Heckkamera 12 sowie der Erfassungsbereich 94 der rechten Seitenkamera 14 weisen einen Überlappungsbereich 23 auf. Die Überlappungsbereiche 20 können insbesondere in Randbereichen eines Fischaugenobjektivs der Kameras 10 auftreten und können daher eine geringere Auflösung gegenüber einen Zentrum des Aufnahmebereichs aufweisen. Da jeder der Überlappungsbereiche 20 von zwei Kameras 10 in jeweiligen Bildern aus einer unterschiedlichen Perspektive erfasst beziehungsweise abgebildet wird, können mittels des vorliegenden Verfahrens räumliche Informationen über den Umgebungsbereich U aus den Bildern der Kameras 10 extrahiert werden.
Die Kameras 10 können Teil eines Fahrerassistenzsystems 9 des Kraftfahrzeugs 1 sein, welches das Kraftfahrzeug 1 und eine Umgebung des Kraftfahrzeugs 1, insbesondere die Umgebungsbereiche U, auf einem Bildschirm des Kraftfahrzeugs 1 aus einer Vogelperspektive darstellt. Dabei kann es sich um ein auch im Deutschen als „surroundview“ bezeichnetes System mit vier Kameras 10 handeln. Die Darstellung auf dem Bildschirm kann beispielsweise im Wesentlichen der 1 entsprechen. Das Kraftfahrzeug 1 befindet sich auf einer Fahrbahn 4, beispielsweise einer Straße oder einem Parkplatz. Auf der Fahrbahn 4 sind flache Objekte 3, beispielsweise Fahrbahnmarkierungen, angeordnet. Die Fahrbahn 4 ist vorliegend zumindest teilweise durch ein erhabenes Objekt 2, beispielsweise einem Bordstein, von einem Sperrbereich 5, beispielsweise einem Gehsteig oder einem Grünstreifen, getrennt. Insbesondere soll durch das Fahrerassistenzsystem 9 das erhabene Objekt 2 erkannt werden und vorzugsweise von dem flachen Objekt 3, insbesondere der Fahrbahnmarkierung, unterschieden werden können. Alternativ oder zusätzlich kann das Fahrerassistenzsystem 9 Informationen beziehungsweise Daten für eine, zumindest teilweise, autonome Fahrt des Kraftfahrtzeugs 1 bereitstellen.
Das erhabene Objekt 2, das flache Objekt 3, die Fahrbahn 4 und der Sperrbereich 5 können Bereiche von Interesse für einen Fahrer des Kraftfahrzeugs 1 beziehungsweise für das Fahrerassistenzsystem 9 darstellen. Bereiche von Interesse werden im Englischen häufig als „region of interest“ bezeichnet.
2 zeigt das Kraftfahrzeug 1 auf der Fahrbahn 4 in der Nähe des erhabenen Objekts 2. Das erhabene Objekt 2 wird vorliegend von der linken Seitenkamera 13 und der Frontkamera 11 erfasst. Hilfslinien 18, 19 soll veranschaulichen, wie das erhabene Objekt 2 durch die unterschiedlichen Perspektiven der Frontkamera 11 und der linken Seitenkamera 13 perspektivisch verzerrt werden kann. Dieses Phänomen wird auch als Parallaxe bezeichnet. Insbesondere wird eine horizontale Ausdehnung b des erhabenen Objekts 2 sowie eine vertikale Ausdehnung a des erhabenen Objekts 2 beziehungsweise einer Seitenfläche 6 des erhabenen Objekts 2 perspektivisch verzerrt. Aus der Perspektive der linken Seitenkamera 13 entspricht die vertikale Ausdehnung a der Ausdehnung a'm, und die horizontale Ausdehnung b der Ausdehnung b'm. Aus der Perspektive der Frontkamera 11 entspricht die vertikale Ausdehnung a der Ausdehnung a'f und die horizontale Ausdehnung b der Ausdehnung b'f. Dabei sind die Ausdehnung b'm und die Ausdehnung b'f ähnlich und insbesondere näherungsweise gleich. Aufgrund perspektivischer Gegebenheiten sind die Ausdehnung a'm und die Ausdehnung a'f deutlich verschieden. Anhand dieser perspektiven Verzerrung kann das erhabene Objekt 2 erkannt werden.
Aus den Kameras 10 werden jeweilige Bilder des Umgebungsbereichs U erfasst. Diese Bilder bilden den Umgebungsbereich U beziehungsweise die Überlappungsbereiche 20 aus unterschiedlichen Perspektiven ab beziehungsweise stellen den Umgebungsbereich U beziehungsweise die Überlappungsbereiche 20 aus verschiedenen Perspektiven dar. Insbesondere werden diese Bilder aus den Kameras 10, beispielsweise durch eine Geometrieeinheit 16, erfasst. Durch die Geometrieeinheit 16 werden die Bilder in ein gemeinsames Bezugssystem nach einer jeweiligen vorgegebenen Transformationsvorschrift transformiert. Vorliegend werden die Bilder in die Vogelperspektive als gemeinsames Bezugssystem transformiert. Im Allgemeinen ist jedoch eine Transformation in ein beliebiges gemeinsames Bezugssystem beziehungsweise in eine beliebige Perspektive möglich. Beispielsweise können die Bilder aller Kameras 10 statt in die Vogelperspektive in die Perspektive der linken Seitenkamera 13 transformiert werden. Durch die Transformation werden transformierte Bilder 7 erhalten. Die folgenden Schritte des vorliegenden Verfahrens können durch eine Recheneinheit 17 des Kraftfahrzeugs durchgeführt werden.
Die 3 und die 4 zeigen transformierte Bilder 7 beispielhafter Überlappungsbereiche 20, ähnlich wie in 1 dargestellt. Dabei zeigen die transformierten Bilder 7 in 3 die Überlappungsbereiche 20 aus der Perspektive der linken Seitenkamera 13 sowie der rechten Seitenkamera 14 und die transformierten Bilder 7 in 4 die Überlappungsbereiche 20 aus der Perspektive der Frontkamera 10 und der Heckkamera 12. Das transformierte Bild 54 bildet den Überlappungsbereich 24 aus der Perspektive der rechten Seitenkamera 14 ab, das transformierte Bild 53 bildet den Überlappungsbereich 23 aus der Perspektive der rechten Seitenkamera 14 ab, das transformierte Bild 52 bildet den Überlappungsbereich 22 aus der Perspektive der linken Seitenkamera 13 ab und das transformierte Bild 51 bildet den Überlappungsbereich 21 aus der Perspektive der linken Seitenkamera 13 ab. Das transformierte Bild 64 bildet den Überlappungsbereich 24 aus der Perspektive der Frontkamera 11 ab, das transformierte Bild 61 bildet den Überlappungsbereich 21 aus Sicht der Frontkamera 11 ab, das transformierte Bild 63 bildet den Überlappungsbereich 23 aus der Perspektive der Heckkamera 12 ab und das transformierte Bild 62 bildet den Überlappungsbereich 22 aus der Perspektive der Heckkamera 12 ab. Es ist jeweils gut zu erkennen, dass die jeweiligen transformierten Bilder 7, welche denselben Überlappungsbereich 20 aus unterschiedlichen Perspektiven unterschiedlicher Kameras 10 abbilden, insbesondere abgesehen von perspektivischen Verzerrungen, ähnlich oder gleich aussehen. Beispielsweise sind das transformierte Bild 51 und das transformierte Bild 61 des Überlappungsbereichs 21 abgesehen von perspektivischen Verzerrungen sehr ähnlich.
In einem Beispiel ist die linke Seitenkamera 13 die erste Kamera und die Frontkamera 11 die zweite Kamera. In diesem Beispiel bilden sowohl das erste Bild als auch das zweite Bild den Überlappungsbereich 21 ab. Das erste Bild wird in das transformierte erste Bild transformiert, was in diesem Beispiel dem transformierten Bild 51 entspricht. Das zweite Bild wird in das transformierte zweite Bild transformiert, was in diesem Beispiel dem transformierten Bild 61 entspricht. In dem ersten transformierten Bild 51 und dem zweiten transformierten Bild 61 wird entlang von Gradientenlinien 30 ein Gradient über Pixelwerte von Pixeln entlang der jeweiligen Gradientenlinien 30 gebildet. Die Anzahl der Gradientenlinien 30 entspricht insbesondere einer Spaltenanzahl des jeweiligen transformierten Bildes 51, 61. Beispielsweise weisen die transformierten Bilder 51, 61 eine Auflösung von 1024 x 1024 auf, was in einer Spaltenanzahl von 1024 resultiert. Die Pixelwerte, über die der Gradient gebildet wird, ist insbesondere eine Helligkeit beziehungsweise eine Luminanz, ein Farbwert oder ein Texturwert. Vorliegend wird der Gradient über die Helligkeit beziehungsweise die Luminanz gebildet und gibt demnach eine Helligkeitsveränderung entlang einer jeweiligen Gradientenlinie 30 an.
In einem nächsten Schritt werden die Gradienten entlang von Summationslinien 31 aufsummiert. Die Summationslinien 31 stehen dabei senkrecht auf den Gradientenlinien 30. Die Anzahl der Summationslinien 31 kann insbesondere einer Zeilenanzahl des transformierten Bildes 51, 61 angepasst sein und beträgt vorliegend 1024. Somit liegen 1024 Gradientenlinien 30 und 1024 Summationslinien 31 vor. Jede der Summationslinien 31 schneidet jede der Gradientenlinien 30 genau einmal. In den Schnittpunkten einer jeweiligen Summationslinie 31 mit jeder der Gradientenlinien 30 liegen Gradientenwerte vor. Diese Gradientenwerte werden entlang jeder der Summationslinien 31 aufsummiert. Somit entspricht die Anzahl der Summanden entlang einer der Summationslinien 31 genau der Anzahl der Gradientenlinien 30. Die Summe aller Gradientenwerte entlang einer der Summationslinien 31 entspricht einem Gradientensummenwert der jeweiligen Summationslinien 31. Eine Gradientensumme 32 entspricht vorliegend dem vertikalen Verlauf der Gradientensummenwerte. Die Gradientensumme 32 kann als Histogramm, insbesondere über die Gradientenwerte, aufgefasst werden.
Beim Summieren der einzelnen Gradientenwerte entlang der Summationslinien 31 können beispielsweise die einzelnen Gradientenwerte summiert werden oder ein Betrag der einzelnen Gradientenwerte summiert werden oder ein Quadrat der einzelnen Gradientenwerte summiert werden. Wird das Quadrat der einzelnen Gradientenwerte summiert, so werden die Gradientenwerte zunächst quadriert. Anschließend kann der Gradientensummenwert beispielsweise durch die Wurzel der quadrierten und summierten Gradientenwerte gebildet werden. Die Gradientenlinien 30 und die Summationslinien 31 sind in 3 und 4 nur auszugsweise dargestellt, da der Übersicht halber jeweils nur drei Linien dargestellt sind.
Die Gradientensumme 32 kann mehrere Maxima 8 aufweisen. Die Maxima 8 können dabei die Grenzen des erhabenen Objekts 2 repräsentieren. Vorliegend repräsentiert in dem transformierten ersten Bild 51 und dem transformierten zweiten Bild 61 je ein Maximum 75, 85 eine Grenze zwischen der Fahrbahn 4 und der Seitenfläche 6 des erhabenen Objekts 2. Je ein Maximum 76, 86 repräsentiert eine Grenze zwischen der Seitenfläche 6 und der Oberseite des erhabenen Objekts 2. Je ein Maximum 77, 87 repräsentiert eine Grenze zwischen der Oberseite des erhabenen Objekts 2 und dem Sperrbereich 5. Das Maximum 75 in dem transformierten ersten Bild 51 und das Maximum 85 in dem transformierten zweiten Bild 61 korrespondieren, das Maximum 76 in dem transformierten ersten Bild 51 und das Maximum 86 in dem transformierten zweiten Bild 61 korrespondieren und das Maximum 77 in dem transformierten ersten Bild 51 und das Maximum 87 in dem transformierten zweiten Bild 61 korrespondieren, da diese genannten Maxima 75, 85, 76, 86, 77, 87 jeweils dieselbe Grenze des erhabenen Objekts 2 repräsentieren.
Bezugnehmend auf 2 entspricht ein Abstand D3 zwischen dem Maximum 75 und dem Maximum 76 in Bild 51 der Ausdehnung a'm und ein Abstand D4 zwischen dem Maximum 85 und dem Maximum 86 in Bild 51 der Ausdehnung a'f.
Die korrespondierenden Maxima 75, 85, 76, 86, 77, 87 in dem transformierten ersten Bild 51 und dem transformierten zweiten Bild 61 können mittels eines vordefinierten Kriteriums ausgewählt werden. Beispielsweise werden die Maxima 75, 85, 76, 86, 77, 87 anhand ihres Maximalwertes als korrespondierend ausgewählt. Alternativ oder zusätzlich können die Maxima 75, 85, 76, 86, 77, 87 beispielsweise von oben nach unten durchgezählt werden und jedem der Maxima 75, 85, 76, 86, 77, 87 eine Nummer zugewiesen werden. Beispielsweise korrespondiert in diesem Fall jeweils das oberste Maximum 75 in dem transformierten ersten Bild 51 mit dem obersten Maximum 85 in dem transformierten zweiten Bild 61 und das zweite Maximum 76 in dem transformierten ersten Bild 51 mit dem zweiten Maximum 86 in dem transformierten zweiten Bild 61. Aus den Maxima 75, 85, 76, 86, 77, 87 können jeweils korrespondierende Paare 78, 79 ermittelt werden. Beispielsweise werden alle möglichen Paare unter den Maxima 75, 85, 76, 86, 77, 87 ermittelt. Es korrespondieren insbesondere genau die Paare 78, 79, welche aus in dem transformierten ersten Bild 51 und dem transformierten zweiten Bild 61 korrespondierenden Maxima 75, 85, 76, 86, 77, 87 bestehen.
Alternativ oder zusätzlich werden nach dem vordefinierten Kriterium nicht die einzelnen Maxima 75, 76, 77 als korrespondierend ausgewählt, sondern die beiden höchsten Maxima 75, 76 in dem transformierten ersten Bild 51 und die beiden höchsten Maxima 85, 86 in dem transformierten zweiten Bild 61 als korrespondierend ausgewählt. Die beiden höchsten Maxima 75, 76 in dem transformierten ersten Bild 51 können als das erste Paar 78 ermittelt werden. Die beiden höchsten Maxima 85, 86 in dem transformierten zweiten Bild 61 können als das korrespondierende zweite Paar 79 ermittelt werden. In diesem Fall werden nicht die korrespondierenden Maxima 75, 85, 76, 85 sondern korrespondierenden die Paare 78, 79 ermittelt.
Das erhabene Objekt 2 wird dann erkannt, wenn ein Abstand D3 zwischen den Maxima 75, 76 des ersten Paares 78 in dem transformierten ersten Bild 51 von einem Abstand D4 zwischen den Maxima 85, 86 des zweiten Paares 79 in dem transformierten zweiten Bild 61 abweicht. Der Abstand D3 entspricht insbesondere der Ausdehnung a'm in 2 und der Abstand D4 entspricht insbesondere der Ausdehnung a'f in 2. Demnach kann das erhabene Objekt 2 durch Auswerten der Maxima 8 der Gradientensumme 32, wobei die Maxima 8 die Grenzen des erhabenen Objekts 2 repräsentieren, erkannt werden.
Alternativ oder zusätzlich kann dem erhabenen Objekt 2 eine Höhe zugeordnet werden. Die Höhe des erhabenen Objekts, in 2 repräsentiert durch die Ausdehnung a, kann diesem beispielsweise anhand einer Position des erhabenen Objekts 2, insbesondere einer Relativposition relativ zu dem Kraftfahrzeug 1, sowie anhand des Verhältnisses der Abstände D3, D4 des ersten Paares 78 und des zweiten Paares 79 der Maxima 75, 85, 76, 86 zueinander zugeordnet werden. Die Höhe kann dem erhabenen Objekt 2 durch Berechnung zugeordnet werden. Vorliegend wird ein Höhenwert für das erhabene Objekt 2 anhand der transformierten Bilder 51, 61, vorzugsweise anhand des Verhältnisses der Abstände D3, D4, anhand einer Position der Frontkamera 11, anhand einer Position der linken Seitenkamera 13 und der Position des erhabenen Objekts 2 berechnet. Beispielsweise kann das Berechnen mittels einer Triangulation erfolgen. Anhand der Höhe kann beispielsweise festgestellt werden, ob das erhabene Objekt 2 durch das Kraftfahrzeug 1 überfahren werden kann oder nicht.
Im Falle einer vergleichbaren Auswertung für den Überlappungsbereich 24 anhand der transformierten Bilder 54, 64 wird ein erstes Paar 72 von Maxima 70, 71 in dem transformierten Bild 54 und ein zweites Paar 82 von Maxima 80, 81 in dem transformierten Bild 64 ermittelt. Ein Abstand D1 zwischen den Maxima 70, 71 des ersten Paares 72 und ein Abstand D2 zwischen den Maxima 80, 81 des zweiten Paares 82 ist vorliegend gleich. Daher kann auf ein flaches Objekt 3 geschlossen werden, da keine perspektivische Verzerrung auftritt.
Um das erhabene Objekt 2 in einem Umgebungsbereich U zu erkennen, der kein Überlappungsbereich 20 zweier Kameras 10 ist, kann eine Extrapolation der Erfassungsbereiche 95 der Kameras 10 erfolgen. In einem nicht gezeigten Beispiel weisen die Frontkamera 11 und die linke Seitenkamera 13 keinen Überlappungsbereich 20 auf. Das erhabene Objekt 2 kann beispielsweise sowohl von der Frontkamera 11 als auch von der linken Seitenkamera 13 erfasst werden. Durch eine Extrapolation des Verlaufs der erhabenen Objekts 2 kann so ein virtueller Überlappungsbereich erzeugt werden. In diesem virtuellen Überlappungsbereich kann das vorliegende Verfahren durchgeführt werden.
In weiterer Ausgestaltung der Erfindung kann in einem Zwischenbereich 90 zwischen dem Überlappungsbereich 21 und dem Überlappungsbereich 22 das erhabene Objekt 2 durch Interpolation zwischen dem Überlappungsbereich 21 und dem Überlappungsbereich 22 erkannt werden. Das erhabene Objekt 2 wird sowohl in dem Überlappungsbereich 21 als auch dem Überlappungsbereich 22 als erhabenes Objekt erkannt. Der Zwischenbereich 90 liegt insbesondere in dem Erfassungsbereich 93 der linken Seitenkamera 13. Die linke Seitenkamera 13 erfasst das erhabene Objekt 2 vorliegend in dem Zwischenbereich 90. Da bekannt ist, dass das erhabene Objekt 2 sowohl in dem Überlappungsbereich 21 als auch in dem Überlappungsbereich 22 ein erhabenes Objekt ist, kann darauf geschlossen werden, dass das erhabene Objekt 2 auch in dem Zwischenbereich 90 ein erhabenes Objekt ist.
Zum Ermitteln der Gradientensumme 32 ist vorgesehen, dass mittels eines Bildanalyseverfahrens eine Hauptorientierungsrichtung des erhabenen Objekts 2 ermittelt wird. Die Gradientenlinien 30 können dann senkrecht zu der Hauptorientierungsrichtung des erhabenen Objekts 2 ausgerichtet werden. Zum Beispiel können die transformierten Bilder, insbesondere das transformierte erste Bild 51 und/oder das transformierte zweite Bild 61, gedreht werden, um die Gradientenlinien 30 senkrecht zur Hauptorientierungsrichtung des erhabenen Objekts 2 auszurichten. In diesem Fall können die Gradientenlinien eine feste Orientierung haben. Die Summationslinien 31 können parallel zu den Grenzen des erhabenen Objekts 2 ausgerichtet werden. Bildanalyseverfahren zum Erkennen der Hauptorientierungsrichtung des erhabenen Objekts 2 sind aus dem Stand der Technik bekannt. Zum Beispiel kann die Hauptorientierung eines transformierten Bildbereichs, beispielsweise eines transformierten Bildbereichs eines oder beider transformierter Bilder 51, 61, welche das erhabene Objekt 2 zeigen, durch Auswerten der Verteilung der Bildpunktintensitäten innerhalb des transformierten Bildbereichs mit aus dem Stand der Technik bekannten Verfahren berechnet werden. Ein Beispiel für ein solches Verfahren ist die Auswertung von Eigenwerten und Eigenvektoren eines Strukturtensors (auch als „second-moment matrix“ bezeichnet) des transformierten Bildbereichs oder in ähnlicherweise durch Auswerten der Eigenwerte und Eigenvektoren einer Kovarianzmatrix („covariance matrix“), die aus zentralen Momenten zweiten Grades („second order central moments“) des transformierten Bildbereichs gebildet sind, oder durch Lokalisieren eines maximalen Wertes in einem Histogramm von Gradientenorientierungen des transformierten Bildbereiches.
Alternativ oder zusätzlich zu der Auswertung der Abstände D3, D4 zwischen den Maxima 75, 85, 76, 86 kann das erhabene Objekt 2 durch Subtraktion der Gradientensumme 97 des transformierten ersten Bildes 51 und der Gradientensumme 98 des transformierten zweiten Bildes 61 ermittelt werden. Es kann ein Differenzverlauf 93 resultieren, der insbesondere die Differenz oder die betragsmäßige Differenz der Gradientensumme 97 des transformierten ersten Bildes 51 und der Gradientensumme 98 des transformierten zweiten Bildes 61 beschreibt. 5 zeigt schematisch die Auswertung anhand des Differenzverlaufs 93 und/oder eines Integrals 96 über den Differenzverlauf 93. Beispielsweise wird die Gradientensumme 97 des transformierten ersten Bildes 51 von der Gradientensumme 98 des transformierten zweiten Bildes 61 subtrahiert. Vorliegend wird die Gradientensumme 97 des transformierten ersten Bildes 51 von der Gradientensumme 98 des transformierten zweiten Bildes 61 subtrahiert und der Betrag der Differenz als der Differenzverlauf 93 gebildet. Das Integral 96 kann eine Größe einer Fläche unter dem Differenzverlauf 93 betreffen.
Gemäß 5 überschreitet der Differenzverlauf 93 einen vorbestimmten Schwellenwert 95 in zumindest einem Punkt. Das Integral 96 des Differenzverlaufs 93 ist größer als ein vorbestimmter Flächenschwellenwert. Daher kann davon ausgegangen werden, dass eine dreidimensionale Struktur, also das erhabene Objekt 2, vorliegt. Daher kann das erhabene Objekt 2 erkannt werden. Es kann entweder ermittelt werden, ob der Differenzverlauf 93 einen vorbestimmten Schwellenwert 95 in zumindest einem Punkt überschreitet oder ob das Integral 96 des Differenzverlaufs 93 ist größer als ein vorbestimmter Flächenschwellenwert. Eine der beiden Bedingungen kann ausreichend sein, um das erhabene Objekt 2 zu erkennen.
Vorliegend wird die Gradientensumme 91 des transformierten ersten Bildes 54 von der Gradientensumme 92 des transformierten zweiten Bildes 64 subtrahiert und der Betrag der Differenz als der Differenzverlauf 94 gebildet. In diesem Fall ergibt sich für das transformierte Bild 54 und das transformierte Bild 64 ein sehr flacher Differenzverlauf 94, der stets unter dem vorbestimmten Schwellenwert liegt 95. Daher kann das flache Objekt 3 erkannt werden.
Um Fehler in einer Kalibrierung oder in der Erfassung auszugleichen, kann es vorgesehen sein, den Verlauf der Gradientensumme 97, 98 des transformierten ersten Bildes 51 und des transformierten zweiten Bildes 61 aneinander auszurichten, bevor der Differenzverlauf 93 gebildet wird. Beispielweise werden die beiden Gradientensummen 97, 98 in den jeweiligen Bildern 51, 61 durch Vergleich von Positionen der Maxima 8 oder durch Minimierung der Integrals 96 unter dem Differenzverlauf 93 aneinander ausgerichtet. Deshalb werden die Gradientensummen 97, 98 der beiden transformierten Bilder vor dem Bilden des Differenzverlaufs 93 vorzugsweise aneinander ausgerichtet. Beispielsweise kann eine der Gradientensummen 97, 98 in einem vorgegeben Bereich parallel zu den Gradientenlinien 30 verschoben werden. Der Differenzverlauf 93 kann für mehrere Positionen der verschobenen Gradientensumme gebildet werden. Für den Wert der Verschiebung, für den der Differenzverlauf 93 und/oder das Integral 96 über den Differenzverlauf 93 ein Minimum erreicht, kann von einer optimalen Ausrichtung der beiden Gradientensummen ausgegangen werden.
Auch eine Kombination der unterschiedlichen Auswertemethoden ist möglich. Die genannte Auswertungsmethode kann durch das Ausrichten leicht an unterschiedliche Realbedingungen angepasst werden, z.B. Wasser auf einer Linse einer der Kameras 10, signifikante Fehler in der Kalibrierung, Unebenheiten der Fahrbahn 4.
Insgesamt ist durch das Ausführungsbeispiel gezeigt, wie ein alternatives Verfahren zum Erkennen eines erhabenen Objekts anhand von Bildern bereitgestellt wird. Insbesondere ist das vorliegende Verfahren gegenüber dem Stand der Technik besonders einfach und mit geringerer Rechenleistung durchführbar.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2015/0035983 A1 [0003]
WO 2015/039776 A1 [0004]
DE 102014017904 A1 [0005]

Claims

Verfahren zum Erkennen eines erhabenen Objekts (2) in einem Umgebungsbereich (U) eines Kraftfahrzeugs (1), mit den Schritten: - Erfassen (i) eines ersten Bildes aus einer ersten Kamera (13) und eines zweiten Bildes aus einer zweiten Kamera (11) mit einer von der ersten Kamera (13) unterschiedlichen Perspektive, wobei der Umgebungsbereich (U) durch das erste Bild und das zweite Bild jeweils zumindest teilweise abgebildet wird, - Transformieren (ii) des ersten Bildes und des zweiten Bildes in ein gemeinsames Bezugssystem nach einer jeweiligen vorgegebenen Transformationsvorschrift, - Bilden (iii) von Gradienten über Pixelwerte von Pixeln entlang jeweiliger Gradientenlinien (30) in dem transformierten ersten Bild (51) und dem transformierten zweiten Bild (61), - Summieren (iv) der Gradienten entlang mehrerer paralleler Summationslinien (31) zu einer jeweiligen Gradientensumme (32) für das transformierte erste Bild (51) und das transformierte zweite Bild (61), wobei die Summationslinien (31) und die Gradientenlinien (30) senkrecht aufeinander stehen und Maxima (8) der Gradientensumme (32) Grenzen des erhabenen Objekts (2) repräsentieren, - Ermitteln (v) eines ersten Paares (78) der Maxima (75, 76) der Gradientensumme (32) in dem transformierten ersten Bild (51) und eines zweiten Paares (79) der Maxima (85, 86) der Gradientensumme (32) in dem transformierten zweiten Bild (61), wobei die Paare (78, 79) nach einem vorbestimmten Kriterium miteinander korrespondieren, - Erkennen (vi) des erhabenen Objekts (2), wenn zumindest ein Abstand (D3) zwischen den Maxima (75, 76) des ersten Paares (78) in dem transformierten ersten Bild (51) von einem Abstand (D4) der Maxima (85, 86) des korrespondierenden zweiten Paares (79) in dem transformierten zweiten Bild (61) abweicht.
Verfahren zum Erkennen eines erhabenen Objekts (2) in einem Umgebungsbereich (U) eines Kraftfahrzeugs (1), mit den Schritten: - Erfassen (i) eines ersten Bildes aus einer ersten Kamera (13) und eines zweiten Bildes aus einer zweiten Kamera (11) mit einer von der ersten Kamera (13) unterschiedlichen Perspektive, wobei der Umgebungsbereich (U) durch das erste Bild und das zweite Bild jeweils zumindest teilweise abgebildet wird, - Transformieren (ii) des ersten Bildes und des zweiten Bildes in ein gemeinsames Bezugssystem nach einer jeweiligen vorgegebenen Transformationsvorschrift, - Bilden (iii) von Gradienten über Pixelwerte von Pixeln entlang jeweiliger Gradientenlinien (30) in dem transformierten ersten Bild (51) und dem transformierten zweiten Bild (61), - Summieren (iv) der Gradienten entlang mehrerer paralleler Summationslinien (31) zu einer jeweiligen Gradientensumme (32) für das transformierte erste Bild (51) und das transformierte zweite Bild (61), wobei die Summationslinien (31) und die Gradientenlinien (30) senkrecht aufeinander stehen und Maxima (8) der Gradientensumme (32) Grenzen des erhabenen Objekts (2) repräsentieren, - Bilden (x) eines Differenzverlaufs (93) aus der Gradientensumme (97) des transformierten ersten Bildes (51) und der Gradientensumme (98) des transformierten zweiten Bildes (61), - Erkennen (xi) des erhabenen Objekts (2), wenn der Differenzverlauf (93) und/oder ein Integral (96) über den Differenzverlauf (93) einen vorbestimmten Schwellwert (95) überschreitet.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das erste Bild und das zweite Bild in eine Vogelperspektive als gemeinsames Bezugssystem transformiert werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das als das erhabene Objekt (2) ein Bordstein erkannt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass dem erhabenen Objekt (2) eine Höhe zugeordnet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Überlappungsbereich (21) des Umgebungsbereichs (U) durch das erste Bild und durch das zweite Bild abgebildet wird und das erhabene Objekt (2) zumindest teilweise innerhalb des Überlappungsbereichs (21) erkannt wird.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass ein weiterer Überlappungsbereich (22) des Umgebungsbereichs (U) durch ein weiteres erstes Bild aus einer weiteren ersten Kamera (13) und ein weiteres zweites Bild aus einer weiteren zweiten Kamera (12) abgebildet wird und das erhabene Objekt (2) zwischen dem Überlappungsbereich (21) und dem weiteren Überlappungsbereich (22) durch Interpolation zwischen dem Überlappungsbereich (21) und dem weiteren Überlappungsbereich (22) erkannt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das erhabene Objekt (2) durch Extrapolation des transformierten ersten Bildes und/oder des transformierten zweiten Bildes in einem Teilbereich des Umgebungsbereichs (U) erkannt wird, der durch maximal das erste oder das zweite Bild abgebildet ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zum Ermitteln der Gradientensumme (32) zunächst eine Hauptorientierungsrichtung des erhabenen Objekts (2) erkannt wird und die Gradientenlinien (30) senkrecht zu der Hauptorientierungsrichtung des erhabenen Objekts (2) ausgerichtet werden.
Fahrerassistenzeinrichtung (9) zum Erkennen eines erhabenen Objekts (2) in einem Umgebungsbereich (U) eines Kraftfahrzeugs (1), die dazu ausgebildet ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
Kraftfahrzeug (1) mit einer Fahrerassistenzeinrichtung (9) zum Erkennen eines erhabenen Objekts (2) in einem Umgebungsbereich (U) des Kraftfahrzeugs (1), mit - einer ersten Kamera (13) zum Erfassen eines ersten Bildes und einer zweiten Kamera (11) mit einer von der ersten Kamera (13) unterschiedlichen Perspektive zum Erfassen eines zweiten Bildes, wobei die Kameras (11, 13) dazu ausgebildet sind, den Umgebungsbereich (U) durch das erste Bild und das zweite Bild jeweils zumindest teilweise zu erfassen, - einer Geometrieeinheit (16) zum Transformieren des ersten Bildes und des zweiten Bildes in ein gemeinsames Bezugssystem nach einer jeweiligen vorgegebenen Transformationsvorschrift, - einer Recheneinheit (17) zum Bilden von Gradienten über Pixelwerte von Pixeln entlang jeweiliger Gradientenlinien (30) in dem transformierten ersten Bild (51) und dem transformierten zweiten Bild (61), zum Summieren der Gradienten entlang mehrerer paralleler Summationslinien (31) zu einer jeweiligen Gradientensumme (32) für das transformierte erste Bild (51) und das transformierte zweite Bild (61), wobei die Summationslinien (31) und die Gradientenlinien (30) senkrecht aufeinander stehen und Maxima (8) der Gradientensumme (32) Grenzen des erhabenen Objekts (2) repräsentieren, zum Ermitteln eines ersten Paares (78) der Maxima (75,76) der Gradientensumme (32) in dem transformierten ersten Bild (51) und eines zweiten Paares (79) der Maxima (85, 86) der Gradientensumme (32) in dem transformierten zweiten Bild (61), wobei die Paare (78, 79) nach einem vorbestimmten Kriterium miteinander korrespondieren, und zum Erkennen des erhabenen Objekts (2), wenn zumindest ein Abstand (D3) zwischen den Maxima (75, 76) des ersten Paares (78) in dem transformierten ersten Bild (51) von einem Abstand (D4) der Maxima (85, 86) des korrespondierenden zweiten Paares (79) in dem transformierten zweiten Bild (61) abweicht.
Kraftfahrzeug (1) mit einer Fahrerassistenzeinrichtung (9) zum Erkennen eines erhabenen Objekts (2) in einem Umgebungsbereich (U) des Kraftfahrzeugs (1), mit - einer ersten Kamera (13) zum Erfassen eines ersten Bildes und einer zweiten Kamera (11) mit einer von der ersten Kamera (13) unterschiedlichen Perspektive zum Erfassen eines zweiten Bildes, wobei die Kameras (11, 13) dazu ausgebildet sind, den Umgebungsbereich (U) durch das erste Bild und das zweite Bild jeweils zumindest teilweise zu erfassen, - einer Geometrieeinheit (16) zum Transformieren des ersten Bildes und des zweiten Bildes in ein gemeinsames Bezugssystem nach einer jeweiligen vorgegebenen Transformationsvorschrift, - einer Recheneinheit (17) zum Bilden von Gradienten über Pixelwerte von Pixeln entlang jeweiliger Gradientenlinien (30) in dem transformierten ersten Bild (51) und dem transformierten zweiten Bild (61), zum Summieren der Gradienten entlang mehrerer paralleler Summationslinien (31) zu einer jeweiligen Gradientensumme (32) für das transformierte erste Bild (51) und das transformierte zweite Bild (61), wobei die Summationslinien (31) und die Gradientenlinien (30) senkrecht aufeinander stehen und Maxima (8) der Gradientensumme (32) Grenzen des erhabenen Objekts (2) repräsentieren, zum Bilden eines Differenzverlaufs (93) aus der Gradientensumme (97) des transformierten ersten Bildes (51) und der Gradientensumme (98) des transformierten zweiten Bildes (61) und zum Erkennen des erhabenen Objekts (2), wenn der Differenzverlauf (93) und/oder ein Integral (96) über den Differenzverlauf (93) einen vorbestimmten Schwellwert (95) überschreitet.