DE102017104957A1

DE102017104957A1 - Verfahren zum Bestimmen einer Bewegung von zueinander korrespondierenden Bildpunkten in einer Bildsequenz aus einem Umgebungsbereich eines Kraftfahrzeugs, Auswerteeinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug

Info

Publication number: DE102017104957A1
Application number: DE102017104957.6A
Authority: DE
Inventors: Senthil Kumar Yogamani; Sunil Chandra
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2017-03-09
Filing date: 2017-03-09
Publication date: 2018-09-13

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen einer Bewegung (M) von zueinander korrespondierenden Bildpunkten in zumindest zwei Bildern (B1, B2) einer von einer Kamera (4) eines Kraftfahrzeugs (1) aus einem Umgebungsbereich (3) des Kraftfahrzeugs (1) erfassten Bildsequenz, wobei an zumindest einem Bildpunkt in einem ersten Bild (B1) der Bildsequenz ein Strukturtensor bestimmt wird, durch welchen zumindest eine photometrische Kenngröße in einer Nachbarschaft des Bildpunktes beschrieben wird, ein optischer Fluss der Bildsequenz anhand des Strukturtensors bestimmt wird, die Bewegung (M) der zueinander korrespondierenden Bildpunkte in dem ersten Bild (B1) und einem zweiten Bild (B2) der Bildsequenz anhand des optischen Flusses bestimmt wird, und wobei nichtlineare Bildverzerrungen eines Bildinhaltes in dem ersten Bild (B1) im Vergleich zum zweiten Bild (B2) und/oder Bewegungsgrenzen (7) in dem ersten und zweiten Bild (B1, B2) berücksichtigt werden, indem zumindest zwei partielle Strukturtensoren für den zumindest einen Bildpunkt bestimmt werden und der Strukturtensor als ein adaptiver Strukturtensor anhand der zumindest zwei partiellen Strukturtensoren bestimmt wird. Die Erfindung betrifft außerdem eine Auswerteeinrichtung (5), ein Fahrerassistenzsystem (2) sowie ein Kraftfahrzeug (1).

Description

Die Erfindung betrifft ein Verfahren zum Bestimmen einer Bewegung von zueinander korrespondierenden Bildpunkten in zumindest zwei Bildern einer, von einer Kamera eines Kraftfahrzeugs aus einem Umgebungsbereich des Kraftfahrzeugs erfassten Bildsequenz, wobei an zumindest einem Bildpunkt in einem ersten Bild der Bildsequenz ein Strukturtensor bestimmt wird, durch welchen zumindest eine photometrische Kenngröße in einer Nachbarschaft des Bildpunktes beschrieben wird, ein optischer Fluss der Bildsequenz anhand des Strukturtensors bestimmt wird und die Bewegung der zueinander korrespondierenden Bildpunkte in dem ersten Bild und einem zweiten Bild der Bildsequenz anhand des optischen Flusses bestimmt wird. Die Erfindung betrifft außerdem eine Auswerteeinrichtung, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug.
Es ist bereits aus dem Stand der Technik bekannt, einen Umgebungsbereich eines Kraftfahrzeugs, beispielsweise mittels Kameras zu überwachen, um Objekte in dem Umgebungsbereich erkennen und verfolgen bzw. „tracken“ zu können. Dazu können die Bewegungen der Objekte beispielsweise anhand von einer Bildsequenz der Kamera des Kraftfahrzeugs geschätzt werden. Zur Bewegungsschätzung („Motion Estimation“) anhand der Bildsequenz werden in der Regel Bewegungsvektoren bestimmt, welche eine Transformation eines ersten Bildes der Bildsequenz in ein zweites Bild der Bildsequenz beschreiben. Das erste und das zweite Bild sind üblicherweise zwei aufeinanderfolgend erfasste Einzelbilder bzw. Frames der Bildsequenz. Die Bestimmung solcher Bewegungsvektoren kann beispielsweise mittels der Methode des optischen Flusses erfolgen. Der optische Fluss einer Bildsequenz ist das Vektorfeld von in die Bildebene projizierten Geschwindigkeiten von Punkten eines Objektraumes, beispielsweise der Objekte des Umgebungsbereiches des Kraftfahrzeugs.
Der optische Fluss kann beispielsweise mittels der Lucas-Kanade-Methode bestimmt werden, welche eine zur Berechnung des optischen Flusses notwendige zusätzliche Nebenbedingung aufstellt, nämlich dass der Fluss in einer lokalen Umgebung bzw. Nachbarschaft eines betrachteten Bildpunktes bzw. Pixels, für den der Fluss bestimmt wird, konstant ist. Das der Lucas-Kanade-Methode zugrundeliegende Modell ist translatorisch. Es wird also davon ausgegangen, dass Transformationen zwischen den Bildern der Bildsequenz linear sind. In der Realität existieren jedoch auch andere Arten von Transformationen zwischen den Bildern der Bildsequenz, die bei der Lucas-Kanade-Methode nicht berücksichtigt werden. Solche Transformationen können Rotationen von Bildinhalten, nicht-lineare Deformationen, beispielsweise Verzerrungen, und photometrische Transformationen sein.
In der US 2004/0165781 A1 ist ein Verfahren zur Bewegungsschätzung beschrieben, bei welchem Bewegungsvektoren von zueinander korrespondierenden Punkten in zumindest drei Einzelbildern mittels der Gleichungen für den optischen Fluss sowie mittels eines Systems von trifokalen Tensoren bestimmt werden. Bei dem beschriebenen Verfahren kann verhindert werden, dass ein von dem Bildinhalt abhängiges Aperturproblem oder ein Bewegungsunschärfeproblem bei der Bewegungsschätzung auftritt. In diesem Fall müssen jedoch zumindest drei Einzelbilder ausgewertet werden.
Es ist Aufgabe der vorliegenden Erfindung, eine Lösung bereitzustellen, wie eine Bewegung von zueinander korrespondierenden Bildpunkten in einer Bildsequenz aus einem Umgebungsbereich eines Kraftfahrzeugs besonders genau, mit geringem Rechenaufwand und geringer Rechenzeit bestimmt werden kann.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, eine Auswerteeinrichtung, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst. Vorteilhafte Ausführungsformen der Erfindung sind Gegenstand der abhängigen Ansprüche, der Beschreibung sowie der Figuren.
Bei einem Aspekt eines Verfahren zum Bestimmen einer Bewegung von zueinander korrespondierenden Bildpunkten in zumindest zwei Bildern einer von einer Kamera eines Kraftfahrzeugs aus einem Umgebungsbereich des Kraftfahrzeugs erfassten Bildsequenz wird insbesondere an zumindest einem Bildpunkt in einem ersten Bild der Bildsequenz ein Strukturtensor bestimmt, durch welchen zumindest eine photometrische Kenngröße in einer Nachbarschaft des Bildpunktes beschrieben wird, ein optischer Fluss der Bildsequenz anhand des Strukturtensors bestimmt und die Bewegung der zueinander korrespondierenden Bildpunkte in dem ersten Bild und einem zweiten Bild der Bildsequenz anhand des optischen Flusses bestimmt. Insbesondere werden nichtlineare Bildverzerrungen eines Bildinhaltes in dem ersten Bild im Vergleich zum zweiten Bild und/oder Bewegungsgrenzen in dem ersten und zweiten Bild berücksichtigt, wobei zumindest zwei partielle Strukturtensoren für den Bildbereich bestimmt werden und der Strukturtensor als ein adaptiver Strukturtensor anhand der zumindest zwei partiellen Strukturtensoren bestimmt wird.
Bevorzugt wird bei einem Verfahren zum Bestimmen einer Bewegung von zueinander korrespondierenden Bildpunkten in zumindest zwei Bildern einer von einer Kamera eines Kraftfahrzeugs aus einem Umgebungsbereich des Kraftfahrzeugs erfassten Bildsequenz wird an zumindest einem Bildpunkt in einem ersten Bild der Bildsequenz ein Strukturtensor bestimmt, durch welchen zumindest eine photometrische Kenngröße in einer Nachbarschaft des Bildpunktes beschrieben wird, ein optischer Fluss der Bildsequenz anhand des Strukturtensors bestimmt und die Bewegung der zueinander korrespondierenden Bildpunkte in dem ersten Bild und einem zweiten Bild der Bildsequenz anhand des optischen Flusses bestimmt. Darüber hinaus werden nichtlineare Bildverzerrungen eines Bildinhaltes in dem ersten Bild im Vergleich zum zweiten Bild und/oder Bewegungsgrenzen in dem ersten und zweiten Bild berücksichtigt, wobei zumindest zwei partielle Strukturtensoren für den Bildbereich bestimmt werden und der Strukturtensor als ein adaptiver Strukturtensor anhand der zumindest zwei partiellen Strukturtensoren bestimmt wird.
Mittels des Verfahrens kann ein Fahrerassistenzsystem für das Kraftfahrzeug realisiert werden, welches einen Fahrer des Kraftfahrzeugs beim Führen des Kraftfahrzeugs unterstützt. Beispielsweise kann das Fahrerassistenzsystem als ein automatischer Parkassistent ausgebildet sein, welcher dazu ausgelegt ist, das Kraftfahrzeug zumindest semi-autonom in eine Parklücke einzuparken. Der Umgebungsbereich des Kraftfahrzeugs kann mittels zumindest einer fahrzeugseitigen Kamera überwacht werden. Die von der zumindest einen Kamera erfassten Bilder können einer Auswerteeinrichtung des Fahrerassistenzsystems übermittelt werden, welche dazu ausgelegt ist, die Bilder der Bildsequenz zu analysieren und Objekte, beispielsweise stationäre Hindernisse und/oder Fußgänger, in der aus dem Umgebungsbereich erfassten Bildsequenz zu erkennen. Diese Objekte in dem Umgebungsbereich können in den Bildern verfolgt bzw. „getrackt“ werden.
Zum Verfolgen bzw. „Tracken“ der Objekte können markante Merkmale bzw. Features der Objekte in den Bildern der erfassten Bildsequenz identifiziert werden und die zueinander korrespondierenden Merkmale in zumindest zwei aufeinanderfolgend erfassten Bilder der Bildsequenz identifiziert bzw. bestimmt werden. Die zueinander korrespondierenden Merkmale sind diejenigen Merkmale, welche von demselben Teil des Objektes stammen, jedoch in den Bildern, beispielsweise aufgrund von einer Bewegung des Objektes und/oder des Kraftfahrzeugs, unterschiedliche Bildpositionen aufweisen. Zum Bestimmen bzw. Schätzen einer Bewegung der Merkmale und damit zum Schätzen einer Bewegung des gesamten Objektes anhand der zweidimensionalen Bilder kann beispielsweise die Methode des optischen Flusses angewandt werden. Der optische Fluss beschreibt die scheinbare Bewegung von Objekten in einer visuellen Szene, die durch eine Relativbewegung zwischen einem Beobachter, hier der fahrzeugseitigen Kamera, und den Objekten verursacht wird. Bei der Methode des optischen Flusses wird versucht, an jeder Position eines, eine bestimmte Intensität bzw. Helligkeit aufweisenden Bildpunktes die Bewegung zwischen zwei Einzelbilder zu berechnen, die zu einem ersten Zeitpunkt und einem darauffolgenden zweiten Zeitpunkt aufgenommen wurden. Unter der Randbedingung, dass sich die Intensität eines betrachteten Bildpunktes zwischen den zwei Einzelbildern nicht ändert („brightness constancy constraint“), kann ein Gleichungssystem aufgestellt werden, welches einen Zusammenhang zwischen den Geschwindigkeitskomponenten der Bildpunkte sowie den Intensitätskomponenten der Bildpunkte beschreibt.
Zur Lösung dieses unterbestimmten Gleichungssystems kann der Strukturtensor („structure tensor“), auch als Zweite-Momente-Matrix („second-moment matrix“) bezeichnet, verwendet werden. Als Momente werden in der Bildverarbeitung bestimmte gewichtete Mittelwerte aus den Helligkeitswerten der einzelnen Bildpunkte bzw. Pixel eines Bildes bezeichnet. Durch den Strukturtensor wird insbesondere eine Verteilung von Gradienten der Helligkeitswerte bzw. Intensitätswerte als die zumindest eine photometrische Kenngröße in der Nachbarschaft des Bildpunktes beschrieben.
Dabei ist es nun vorgesehen, dass bei der Bestimmung des optischen Flusses mittels des Strukturtensors nicht nur translatorische, lineare Bildveränderungen bzw. Transformationen berücksichtigt werden, sondern auch nichtlineare Bildverzerrungen und/oder Bewegungsgrenzen („Motion Boundaries“). Insbesondere können dadurch Unstetigkeiten in dem bestimmten optischen Fluss vermieden werden. Dazu wird als der Strukturtensor ein adaptiver, anpassungsfähiger Strukturtensor bestimmt, welcher solche nichtlinearen Bildverzerrungen, beispielsweise Größenskalierungen und Rotationen, und/oder Bewegungsgrenzen handhaben bzw. bewältigen kann.
Zum Bestimmen des adaptiven Strukturtensors werden insbesondere für jeden, zu betrachtenden Bildpunkt die zumindest zwei partiellen Strukturtensoren bestimmt. Zum Bestimmen des adaptiven Strukturtensors kann zunächst als die Nachbarschaft des Bildpunktes ein den Bildpunkt umgebender Bildbereich bzw. Patch in dem ersten Bild bestimmt werden. Dieser Bildbereich kann nach einer vorbestimmten, von der zu berücksichtigenden Bildveränderung abhängigen Anweisung in zumindest zwei Teilbildbereiche unterteilt werden und für jeden Teilbildbereich jeweils ein partieller Strukturtensor bestimmt werden. Auch kann vorgesehen sein, dass für einen zu betrachtenden Bildpunkt zumindest zwei, beispielsweise unterschiedlich große, Bildbereiche bestimmt werden und für jeden bestimmten Bildbereich ein partieller Strukturtensor bestimmt wird.
Die partiellen Strukturtensoren können beispielsweise zu dem adaptiven Strukturtensor kombiniert werden oder es kann einer der partiellen Strukturtensoren ausgewählt und als der adaptive Strukturtensor bestimmt bzw. festgesetzt werden. Dadurch, dass der Strukturtensor besonders einfach und ohne großen Rechenaufwand berechnet werden kann, können auch die partiellen Strukturtensoren einfach und schnell, insbesondere unter rechnerischen Echtzeitanforderungen, bestimmt werden und dabei gleichzeitig verschiedene, nicht lineare Bildveränderungen berücksichtigt werden. Der aus dem adaptiven Strukturtensor bestimmte optische Fluss bildet die Bewegung der zueinander korrespondierenden Merkmale und damit der Objekte besonders genau nach.
Vorzugsweise wird anhand des optischen Flusses eine Lage von zumindest einem Objekt in dem Umgebungsbereich des Kraftfahrzeugs relativ zum Kraftfahrzeug bestimmt, wobei die anhand des optischen Flusses bestimmte Lage des Objektes beim Bereitstellen zumindest einer Fahrerassistenzfunktion berücksichtigt wird. Insbesondere kann eine sich zeitlich verändernde Lage des Objektes relativ zum Kraftfahrzeug, also eine Bewegung des Objektes, bestimmt werden und diese sich zeitlich verändernde Lage beim Bereitstellen der Fahrerassistenzfunktion berücksichtigt werden. Beispielsweise kann durch das Fahrerassistenzsystem eine kollisionsvermeidende Maßnahme eingeleitet werden, wenn eine Kollision des Kraftfahrzeugs mit dem Objekt droht. Das Fahrerassistenzsystem kann beispielsweise ein Warnsignal für den Fahrer ausgeben und/oder das Kraftfahrzeug automatisch abbremsen, um die Kollision des Kraftfahrzeugs mit dem Objekt zu vermeiden.
Gemäß einer Ausführungsform der Erfindung wird als die nichtlineare Bildverzerrung eine Größenskalierung des Bildinhaltes des ersten Bildes im Vergleich zum zweiten Bild berücksichtigt. Insbesondere werden zum Berücksichtigen der Größenskalierung des Bildinhaltes ein erster, die Nachbarschaft des Bildpunktes beschreibender Bildbereich anhand des ersten Bildes sowie ein erster partieller Strukturtensor für den ersten Bildbereich und zumindest ein im Vergleich zum ersten Bildbereich skalierter zweiter, die Nachbarschaft des Bildpunktes beschreibender Bildbereich sowie ein zweiter partieller Strukturtensor für den zweiten Bildbereich bestimmt. Hier wird berücksichtigt, dass ein Objekt mit einer ersten Größe in einem ersten Bild erfasst bzw. detektiert wird, wobei dasselbe Objekt in einem zweiten, darauffolgend erfassten Bild eine andere, zweite Größe aufweisen kann. Dies resultiert beispielsweise daraus, dass sich das Objekt auf die Kamera zubewegt bzw. von der Kamera wegbewegt und/oder sich die Kamera aufgrund der Bewegung des Kraftfahrzeugs auf das Objekt zubewegt bzw. sich von dem Objekt wegbewegt.
Zunächst wird der erste Bildbereich für den Bildpunkt, welcher beispielsweise ein markantes Merkmal bzw. Feature des Objektes in dem Umgebungsbereich des Kraftfahrzeugs sein kann, bestimmt. Beispielsweise kann der erste Bildbereich anhand der Größe des Objektes in dem ersten Bild bestimmt werden. Der erste Bildbereich kann die zu dem Objekt korrespondierenden Bildpunkte aufweisen. Der erste Bildbereich weist dabei eine erste Größe auf. Wenn nun der Strukturtensor nur für den ersten Bildbereich bestimmt wird, so wird eine Skalierung des Objektes, also eine Größenänderung des Objektes, von dem ersten Bild zu dem zweiten Bild nicht berücksichtigt. Daher wird für den ersten Bildbereich der erste partielle Strukturtensor bestimmt. Außerdem wird der zweite Bildbereich, welcher im Vergleich zum ersten Bildbereich vergrößert oder verkleinert ist, bestimmt und für diesen zweiten Bildbereich der zweite partielle Strukturtensor bestimmt. Der zweite Bildbereich weist also eine im Vergleich zur ersten Größe veränderte zweite Größe auf. Anhand der partiellen Strukturtensoren wird dann der adaptive, an den Skalierungsbereich angepasste Strukturtensor bestimmt.
Es erweist sich als vorteilhaft, wenn der zweite Bildbereich im Vergleich zum ersten Bildbereich vergrößert bestimmt wird und ein im Vergleich zum ersten Bildbereich verkleinerter dritter Bildbereich sowie ein dritter partieller Strukturtensor für den dritten Bildbereich bestimmt werden. Der erste Bildbereich wird also zumindest einmal verkleinert und zumindest einmal vergrößert, wobei für jeden skalierten Bildbereich ein partieller Strukturtensor bestimmt wird. Es können auch mehrere verkleinerte und mehrere vergrößerte Bildbereiche bestimmt werden, wobei für jeden der Bildbereiche ein individueller, partieller Strukturtensor bestimmt werden kann. Somit können Größenskalierungen des Bildinhaltes in beide Richtungen bei der Bestimmung des optischen Flusses berücksichtigt werden.
Vorzugsweise werden als die Bildbereiche mit den unterschiedlichen Skalierungen konzentrische Quadrate aufweisend den Bildpunkt als Mittelpunkt bestimmt. Beispielsweise kann als der erste Bildbereich ein erstes Quadrat mit einer ersten Seitenlänge, beispielsweise sieben Bildpunkte bzw. Bildelemente, bestimmt werden, welches der Größe des zu betrachtenden Objektes in dem ersten Bild entspricht. Als der zweite Bildbereich kann ein zweites Quadrat mit einer zweiten Seitenlänge, beispielsweise neun Bildpunkte, und als der dritte Bildbereich ein drittes Quadrat mit einer dritten Seitenlänge, beispielsweise fünf Bildpunkte, bestimmt werden. Das in der Mitte der Quadrate liegende Bildelement ist dabei der Bildpunkt, für den der optische Fluss bestimmt werden soll. Durch die konzentrische Anordnung kann ein Rechenaufwand besonders gering gehalten werden, da die größer dimensionierten partiellen Strukturtensoren unter Berücksichtigung der bereits bestimmten, niedriger dimensionierten Strukturtensoren bestimmt werden können.
Dabei kann vorgesehen sein, dass einer der für die skalierten Bildbereiche bestimmten partiellen Strukturtensoren als der adaptive Strukturtensor zum Bestimmen des optischen Flusses ausgewählt wird. Alternativ dazu werden die bestimmten partiellen Strukturtensoren zu dem adaptiven Strukturtensor zur Bestimmung des optischen Flusses kombiniert. Es wird also entweder derjenige partielle Strukturtensor ausgewählt, welcher für denjenigen Bildbereich bestimmt wurde, dessen Größe am ehesten mit der Größe des Objektes in dem zweiten Bild übereinstimmt oder es wird eine Kombination aus allen bestimmten partiellen Strukturtensoren bestimmt.
In einer weiteren Ausführungsform der Erfindung wird als die nichtlineare Bildverzerrung eine Rotation des Bildinhaltes in dem ersten Bild im Vergleich zum zweiten Bild berücksichtigt. Bevorzugt wird ein den Bildpunkt umgebender, die Nachbarschaft des Bildpunktes beschreibender Bildbereich bestimmt, der Bildbereich in zumindest zwei Teilbildbereiche unterteilt, für jeden Teilbildbereich jeweils ein partieller Strukturtensor bestimmt und die partiellen Strukturtensoren zu dem adaptiven Strukturtensor kombiniert. Insbesondere wird der Bildbereich in vier Teilbildbereiche unterteilt und es werden vier partielle Strukturtensoren bestimmt. Der Bildinhalt des Bildbereiches kann beispielsweise bei einer Kurvenfahrt des Kraftfahrzeugs rotieren, da bei der Kurvenfahrt des Kraftfahrzeugs auch die fahrzeugseitige Kamera rotiert. Um dies zu berücksichtigen, kann der Strukturtensor des Bildbereiches geteilt werden, indem der Bildbereich in die zumindest zwei Teilbildbereiche unterteilt wird und für jeden Teilbildbereich ein individueller, partieller Strukturtensor bestimmt wird. Der Bildbereich ist insbesondere quadratisch ausgebildet. Die vier Teilbildbereiche sind insbesondere ebenfalls quadratisch ausgebildet und weisen die gleiche Größe auf.
Es erweist sich als vorteilhaft, wenn der Bildbereich zum Berücksichtigen der Rotation des Bildinhaltes in logarithmischen Polarkoordinaten bestimmt wird. Bei logarithmischen Polarkoordinaten („log-polar coordinates“) wird ein Bildpunkt durch zwei Zahlen identifiziert, eine für den Logarithmus einer Distanz zu einem bestimmten Punkt, beispielsweise dem Mittelpunkt, und eine für einen Winkel. Die Bestimmung des Strukturtensors für den in logarithmischen Polarkoordinaten dargestellten Bildbereich entspräche einer Berechnung des Strukturtensors in kartesischen Koordinaten in einem kreisförmigen Bildbereich mit kreissegmentförmigen Teilbildbereichen. Durch die Darstellung des Bildbereiches in logarithmischen Polarkoordinaten ergibt sich der Vorteil, da der Bildbereich rotationsinvariant ist.
In einer weiteren Ausführungsform der Erfindung wird zum Berücksichtigen der Bewegungsgrenzen ein den Bildpunkt umgebender, die Nachbarschaft des Bildpunktes beschreibender Bildbereich bestimmt, in dem Bildbereich zumindest eine Bewegungsgrenze identifiziert, der Bildbereich entlang der Bewegungsgrenze in zumindest zwei Teilbildbereiche unterteilt und für jeden der Teilbildbereiche ein partieller Strukturtensor bestimmt. Bewegungsgrenzen eines statischen oder dynamischen Objektes, beispielsweise eines Fußgängers, sind Konturen in den Bildern, an welchen sich die markanten Merkmale sammeln bzw. „clustern“. Dabei grenzt ein Teilbildbereich auf der einen Seite an die Kontur bzw. an die Bewegungsgrenze an. Dies entspricht beispielsweise einem sich in dem Umgebungsbereich hinter dem Objekt befindlichen Hintergrund. Ein weiterer Teilbereich grenzt auf der anderen Seite an die Kontur an. Dies ist beispielsweise ein zu dem Objekt gehöriger Vordergrund. Zum Berücksichtigen dieser Kontur bzw. Bewegungsgrenze wird diese Kontur zunächst anhand der markanten, starken Merkmale in dem die Kontur umfassenden Bildbereich erkannt. Beispielsweise kann die Kontur als ein Übergang zwischen zwei verschiedenen Texturmustern in dem Bildbereich erkannt werden, wobei ein erstes Texturmuster zu dem Objekt gehört und ein zweites Texturmuster zu dem Hintergrund gehört. Dann wird der Bildbereich entlang dieser erkannten Kontur in zumindest zwei Teilbildbereiche unterteilt. Für die zumindest zwei Teilbildbereiche wird dann der jeweilige partielle Strukturtensor bestimmt und die partiellen Strukturtensoren zu dem adaptiven Strukturtensor kombiniert.
Die Erfindung betrifft außerdem eine Auswerteeinrichtung für ein Fahrerassistenzsystem eines Kraftfahrzeugs, welche dazu ausgelegt ist, ein erfindungsgemäßes Verfahren oder eine vorteilhafte Ausführungsform davon durchzuführen. Die Auswerteeinrichtung, welche beispielsweise in ein fahrzeugseitiges Steuergerät integriert sein kann, ist dazu ausgelegt, die von zumindest einer Kamera des Kraftfahrzeugs aus einem Umgebungsbereich des Kraftfahrzeugs erfasste Bildsequenz zu empfangen, die Bildsequenz zu analysieren und eine Bewegung von Bildpunkten in zumindest zwei Bildern der Bildsequenz zu bestimmen.
Ferner betrifft die Erfindung ein Fahrerassistenzsystem für ein Kraftfahrzeug zum Unterstützen eines Fahrers des Kraftfahrzeugs beim Führen des Kraftfahrzeugs, aufweisend zumindest einer Kamera zum Erfassen einer Bildsequenz aus einem Umgebungsbereich des Kraftfahrzeugs sowie eine erfindungsgemäße Auswerteeinrichtung. Das Fahrerassistenzsystem ist insbesondere als ein Parkassistenzsystem ausgebildet, welches den Fahrer bei Parkvorgängen unterstützen kann. Beispielsweise kann das Parkassistenzsystem das Kraftfahrzeug zumindest semi-autonom, insbesondere autonom bzw. automatisch, einparken und dabei den Umgebungsbereich anhand von der Bildsequenz überwachen.
Ein erfindungsgemäßes Kraftfahrzeug umfasst ein erfindungsgemäßes Fahrerassistenzsystem. Das Kraftfahrzeug ist insbesondere als ein Personenkraftwagen ausgebildet.
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten, bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für die erfindungsgemäße Auswerteeinrichtung, für das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
Dabei zeigen:

1 eine schematische Darstellung einer Ausführungsform eines erfindungsgemäßen Kraftfahrzeugs;
2 eine schematische Darstellung von zwei zeitlich nacheinander erfassten Bildern einer Bildsequenz;
3 eine schematische Darstellung von skalierten Bildbereichen zur Bestimmung des optischen Flusses;
4 eine schematische Darstellung von Bewegungsgrenzen;
5a, 5b eine schematische Darstellung von zwei zeitlich nacheinander erfassten Bilder einer Bildsequenz mit Bewegungsgrenzen;
6 eine schematische Darstellung eines in vier Teilbildbereiche unterteilten Bildbereiches eines Bildes der Bildsequenz; und
7 eine schematische Darstellung einer Koordinatentransformation von kartesischen Koordinaten in logarithmische Polarkoordinaten.

In der Figuren sind gleiche sowie funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
1 zeigt eine Ausführungsform eines Kraftfahrzeugs 1 gemäß der vorliegenden Erfindung. Das Kraftfahrzeug 1 ist im vorliegenden Fall als ein Personenkraftwagen ausgebildet. Das Kraftfahrzeug 1 weist ein Fahrerassistenzsystem 2 auf, welches einen Fahrer des Kraftfahrzeugs 1 beim Führen des Kraftfahrzeugs 1 unterstützen kann. Das Fahrerassistenzsystem 2 kann beispielsweise als ein Parkassistenzsystem ausgebildet sein und den Fahrer des Kraftfahrzeugs 1 bei einem Parkmanöver unterstützen. Beispielsweise kann das Fahrerassistenzsystem 2 das Kraftfahrzeug 1 automatisch bzw. autonom einparken.
Zum Unterstützen des Fahrers kann das Fahrerassistenzsystem 2 einen Umgebungsbereich 3 des Kraftfahrzeugs 1 überwachen, um beispielsweise ein Objekt 6 in dem Umgebungsbereich 3 erkennen und verfolgen zu können. Durch Verfolgen des Objektes 6 kann eine Kollision des Kraftfahrzeugs 1 mit dem Objekt 6 vermieden werden, indem das Fahrerassistenzsystem 2 rechtzeitig eine kollisionsvermeidende Maßnahme, beispielsweise die Ausgabe eines Warnsignals an den Fahrer, einleitet. Das Objekt 6 kann ein statisches Objekt, beispielsweise ein stationäres Hindernis, oder ein dynamisches Objekt, beispielsweise ein Fußgänger, sein. Das Objekt 6 kann seine Position über die Zeit relativ zum Kraftfahrzeug 1 ändern, beispielsweise weil es selbst eine Bewegung M durchführt und/oder weil das Kraftfahrzeug 1 eine Bewegung, beispielsweise eine Kurvenfahrt K, durchführt. Zum Überwachen des Umgebungsbereiches 3 weist das Fahrerassistenzsystem 2 zumindest eine fahrzeugseitige Kamera 4 auf, welche dazu ausgelegt ist, eine Bildsequenz aus dem Umgebungsbereich 3 des Kraftfahrzeugs 1 zu erfassen.
Außerdem weist das Fahrerassistenzsystem 2 eine Auswerteeinrichtung 5 auf, welche beispielsweise in ein fahrzeugseitiges Steuergerät integriert sein kann. Die Auswerteeinrichtung 5 ist dazu ausgelegt, die von der zumindest einen Kamera 4 erfasste Bildsequenz zu empfangen und Bilder B1, B2 (siehe 2) der Bildsequenz zu analysieren. Hier zeigt das zu einem ersten Zeitpunkt erfasste erste Bild B1 der Bildsequenz das Objekt 6 an einer ersten Bildposition. Die Auswerteeinrichtung 5 kann das Objekt 6 in dem ersten Bild B1 anhand von markanten Merkmalen bzw. Features des Objektes 6 erkennen bzw. identifizieren. Das zu einem auf den ersten Zeitpunkt folgenden zweiten Zeitpunkt erfasste zweite Bild B2 zeigt das Objekt 6' an einer zweiten Bildposition. Das Objekt 6, 6' hat durch die Bewegung M des Objektes 6 und/oder durch die Bewegung K des Kraftfahrzeugs 1 seine Position relativ zum Kraftfahrzeug 1 in dem Umgebungsbereich 3 und damit auch seine Bildposition in den Bildern B1, B2 geändert. Um nun das Objekt 6 verfolgen zu können, werden die zu den Merkmalen des Objektes 6 in dem ersten Bild B1 korrespondierenden Merkmale des Objektes 6' in dem zweiten Bild B2 identifiziert und die Bewegung der Merkmale bestimmt bzw. geschätzt. Zum Bestimmen bzw. Schätzen der Bewegung der Merkmale und damit zum Schätzen der Bewegung des gesamten Objektes 6, 6' anhand der zweidimensionalen Bilder B1, B2 kann die Methode des optischen Flusses angewandt werden. Der optische Fluss repräsentiert Bewegungsinformationen in den Bildern B1, B2, beispielsweise in Form von diskreten Verschiebungen.
Für den zweidimensionalen, zeitabhängigen Fall weist ein Bildpunkt in dem ersten, zu einem ersten Zeitpunkt t erfassten Bild B1 an einer ersten Bildposition (x, y, t) eine Helligkeit bzw. Intensität I(x, y, t) auf. Wenn sich der Bildpunkt um (Δx, Δy, Δt) bewegt, weist dieser in dem zweiten, zu einem zweiten Zeitpunkt t + Δ t erfassten Bild B2 eine Position (x + Δx, y + Δ y, t + Δt) und eine Intensität I(x + Δx, y + Δ y, t + Δ t) auf. Unter der Nebenbedingung, dass sich die Intensität des Bildpunktes zwischen den zwei Bildern B1, B2 nicht geändert hat, kann folgende Gleichung aufgestellt werden: $I (x, y, z) = I (x + Δ x, y + Δ y, t + Δ t) .$
Unter Verwendung der Taylor-Entwicklung kann aus der obigen Gleichung gefolgert werden, dass: $I_{x} V_{x} + I_{y} y_{x} = - I_{t},$
mit den partiellen Ableitungen $I_{x} = \frac{\partial I}{\partial x}, I_{y} = \frac{\partial I}{\partial y}, I_{t} = \frac{\partial I}{\partial t}$
und den Geschwindigkeitskomponenten V_x,V_y von I(x,y,t). Diese Kostenfunktion ist unterbestimmt. Über einen Bildbereich gesammelt ergibt sich ein lineares Problem der kleinsten Fehlerquadrate. Das Lucas-Kanade-Verfahren formuliert die linearen kleinsten Quadrate als ein quadratisches L2-Fehler-Minimierungsproblem und findet eine Annäherung erster Ordnung des verschobenen Bildes, um eine iterative Version des Gradientenabfalls bekommen.
Bei der Lucas-Kanade-Methode wird der Strukturtensor bestimmt als $A = \sum_{u} \sum_{v} w (u, v) ⌊ \begin{matrix} I_{x}^{2} & I_{x} I_{y} \\ I_{x} I_{y} & I_{y}^{2} \end{matrix} ⌋ = ⌊ \begin{matrix} 〈 I_{x}^{2} 〉 & 〈 I_{x} I_{y} 〉 \\ 〈 I_{x} I_{y} 〉 & 〈 I_{y}^{2} 〉 \end{matrix} ⌋$
mit der Fensterfunktion w(u, v).Vor allem die Eigenwerte spielen eine zentrale Rolle in der Lucas-Kanade-Methode. Die Eigenwerte beschreiben insbesondere eine Verteilung des Gradienten I_x,I_y innerhalb des Fensters w(u, v).
Die Kostenfunktion des Lucas-Kanade-Verfahrens ist translatorisch und eignet sich daher in der Regel nur für lineare Transformationen zwischen den Bildern B1, B2. Nichtlineare Bildverzerrungen der Bilder B1, B2, beispielsweise Größenskalierungen sowie Rotationen von Bildinhalten der Bilder B1, B2, können jedoch mittels des Lucas-Kanade-Verfahrens nicht berücksichtigt werden. Außerdem sind beispielsweise Fußgänger wichtige Objekte, die verfolgt werden müssen. Durch solche Objekte treten Bewegungsgrenzen („Motion Boundaries“) auf, durch welche der Bildbereich des Bildes in den Fußgänger und den Hintergrund aufgeteilt bzw. aufgespalten wird.
Um bei der Bestimmung des optischen Flusses mittels des Strukturtensors nicht nur translatorische, lineare Bildveränderungen bzw. Transformationen zu berücksichtigen, sondern auch nichtlineare Bildverzerrungen und/oder Bewegungsgrenzen wird vorgeschlagen, dass als der Strukturtensor ein adaptiver, anpassungsfähiger Strukturtensor bestimmt wird. Zum Bestimmen des adaptiven Strukturtensors werden insbesondere an jedem, zu betrachtenden Bildpunkt zumindest zwei partiellen Strukturtensoren bestimmt und der adaptive Strukturtensor anhand der zumindest zwei partiellen Strukturtensoren bestimmt. Anders ausgedrückt wird der Strukturtensor in die mehreren, partiellen Strukturtensoren aufgespaltet.
In 2, in welcher das Skalierungsproblem veranschaulicht ist, ist gezeigt, dass das Objekt 6 in dem ersten Bild B1 eine erste Größe aufweist und somit einen ersten Bildbereich P1 in dem ersten Bild B1 belegt. Das selbe Objekt 6' weist in dem zweiten Bild B2 jedoch eine zweite Größe auf und belegt dabei einen im Vergleich zum ersten Bildbereich P1 größeren zweiten Bildbereich P2, wobei die tatsächliche Größe des Objektes 6 in dem zweiten Bild B1 nur einen Bildbereich P1' belegen würde. Anstatt den Strukturtensor nur für den ersten Bildbereich P1, welcher beispielsweise eine Größe von 7x7 Bildpunkten aufweist, zu berechnen, wird ein erster partieller Strukturtensor für den ersten Bildbereich P1 berechnet. Außerdem wird, wie in 3 gezeigt, ein zweiter partieller Strukturtensor für den zweiten, größeren Bildbereich P2 berechnet, welcher beispielsweise eine Größe von 9x9 Bildpunkten aufweist. Auch kann ein dritter partieller Strukturtensor für einen im Vergleich zum ersten Bildbereich P1 kleineren dritten Bildbereich P3 bestimmt werden, wobei der dritte Bildbereich P3 beispielsweise eine Größe von 5x5 Bildpunkten aufweist.
So kann sowohl der Fall, dass sich das Objekt 6 und die Kamera 4 aufeinander zubewegen, als auch der Fall, dass sich das Objekt 6 und die Kamera 4 voneinander wegbewegen, berücksichtigt werden. Dabei kann der erste Bildbereich P1 nur um jeweils eine Größenordnung vergrößert und verkleinert werden oder um mehrere Größenordnungen vergrößert und verkleinert werden. Rechnerisch ergibt sich dabei keine Redundanz, da die höher dimensionierten, für größere Bildbereiche bestimmten Tensoren aus den niedriger dimensionierten, für kleinere Bildbereiche bestimmten Tensoren berechnet werden können. Dabei können die verschiedenen Skalierungen berechnet werden und diese über den Skalierungsraum verglichen werden. Bei einer Vergrößerung bildet der zweite Bildbereich P2 das Objekt 6 beispielsweise besser ab als der erste Bildbereich P1.
Anhand von 4, Fig. 5a, Fig. 5b und 6 wird das Problem der Bewegungsgrenzen 7 (siehe 4, 6) bei der Bestimmung des optischen Flusses veranschaulicht. Die Bewegungsgrenzen 7 entsprechen der Kontur eines Objektes, beispielsweise eines Fußgängers 8, 8' welcher in den zwei nacheinander erfassten Bildern B1, B2 gemäß Fig. 5a und Fig. 5b, zu sehen ist. Der Fußgänger 8 weist in dem ersten Bild B1 einen ersten Abstand zum Kraftfahrzeug 1 auf. Zwischen der Erfassung des ersten Bildes B1 und des zweiten Bildes B2 hat sich der Fußgänger 8 bewegt, sodass der Fußgänger 8' in dem zweiten Bild B2 einen im Vergleich zum ersten Abstand kleineren zweiten Abstand zum Kraftfahrzeug 1 aufweist. Der Fußgänger 8 bzw. seine Bewegungsgrenze 7 teilt einen Bildbereich P4 in einen zum Fußgänger 8 gehörigen Vordergrund 10 und einen zum Umgebungsbereich 3 des Kraftfahrzeugs 1 gehörigen Hintergrund 11. Wenn sich der Fußgänger 8 bewegt, so verschwindet im zweiten Bild B2 ein Teilbereich des Hintergrundes 11, welcher in dem ersten Bild B1 noch zu sehen war. Umgekehrt erscheint in dem zweiten Bild B2 ein Teil des Hintergrundes 11, welcher in dem ersten Bild B1 noch nicht zu sehen war. Bei sich bewegenden Objekten clustern bzw. sammeln sich Merkmale 9 typischerweise entlang der Kontur bzw. Bewegungsgrenze 7, sodass eine Hälfte des Bildbereiches P4 der Hintergrund 11 und die andere Hälfte der Vordergrund 10 ist. Hier wird der Strukturtensor aufgeteilt, indem der Bildbereich P4 aufgeteilt wird.
Zur Bestimmung der Bewegungsgrenze 7 kann zunächst erfasst werden, ob sich ein dynamisches Objekt, beispielsweise der Fußgänger 8, und/oder ein stationäres, sich aufgrund der Bewegung des Kraftfahrzeugs 1 bewegendes Objekt 6 in dem ersten Bild B1 befindet. Die Kontur 7 kann anhand von Unähnlichkeiten von Texturmustern zwischen dem Vordergrund 10 und dem Hintergrund 11 erkannt werden. Aufgrund der Relativbewegung zwischen dem Objekt 6, 8 und dem Kraftfahrzeug 1 bewegt sich die Kontur 7 zwischen dem Vordergrund 10 und dem Hintergrund 11 und kann beispielsweise in dem zweiten Bild B2 verschwunden sein.
Um die Bewegungsgrenzen 7 zu berücksichtigen, kann der Bildbereich P4 entlang der Konturen 7 in Teilbildbereiche 13, 14, 15, 16 (siehe 6) unterteilt werden. Für jeden Teilbildbereich 13, 14, 15, 16 kann dann ein individueller Strukturtensor bestimmt werden. So können partielle, zu dem Vordergrund 10 gehörige Strukturtensoren bestimmt werden, indem partielle Strukturtensoren für die Teilbildbereiche 13, 14 bestimmt werden, und partielle, zu dem Hintergrund 10 gehörige Strukturtensoren bestimmt werden, indem partielle Strukturtensoren für die Teilbildbereiche 12, 15 bestimmt werden. Schließlich kann der adaptive Strukturtensor aus den bestimmten, partiellen Strukturtensoren bestimmt werden, beispielsweise indem die partiellen Strukturtensoren zu dem adaptiven Strukturtensor kombiniert werden.
Zum Berücksichtigen von Rotationen des Bildinhaltes, beispielsweise bei der Kurvenfahrt K des Kraftfahrzeugs 1 kann ein Bildbereich, beispielsweise der Bildbereich P4, bestimmt werden. Dieser Bildbereich P4 kann in vier, insbesondere quadratische und gleich große Teilbildbereiche 16, 17, 18, 19 unterteilt werden. Für jeden der quadratischen Teilbildbereiche 16, 17, 18, 19 wird dann ein individueller partieller Strukturtensor bestimmt. Der Strukturtensor wird also wiederum unterteilt, um Rotationen handhaben zu können. Auch kann vorgesehen sein, dass der Bildbereich P4 in einem logarithmischen Polarkoordinatensystem bestimmt wird, wie es in 8 gezeigt ist. Dazu werden alle Punkte x, y einer kartesischen Ebene 20 in Punkte α, β einer logarithmisch-polaren Ebene 21 transformiert.
Insgesamt wurden also die wichtigen Probleme bei der Bestimmung des optischen Flusses gezeigt. Um nichtlineare Bildverzerrungen und/oder Bewegungsgrenzen 7 bei der Bestimmung des optischen Flusses zu berücksichtigen, wird der Strukturtensor aufgeteilt, indem partielle Strukturtensoren bestimmt werden. Diese partiellen Strukturtensoren können dann zu dem Strukturtensor kombiniert werden, sodass dieser adaptiv ausgebildet ist und an nichtlineare Bildverzerrungen und/oder Bewegungsgrenzen 7 anpassbar ist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2004/0165781 A1 [0004]

Claims

Verfahren zum Bestimmen einer Bewegung (M) von zueinander korrespondierenden Bildpunkten in zumindest zwei Bildern (B1, B2) einer von einer Kamera (4) eines Kraftfahrzeugs (1) aus einem Umgebungsbereich (3) des Kraftfahrzeugs (1) erfassten Bildsequenz, wobei: - an zumindest einem Bildpunkt in einem ersten Bild (B1) der Bildsequenz ein Strukturtensor bestimmt wird, durch welchen zumindest eine photometrische Kenngröße in einer Nachbarschaft des Bildpunktes beschrieben wird, - ein optischer Fluss der Bildsequenz anhand des Strukturtensors bestimmt wird, - die Bewegung (M) der zueinander korrespondierenden Bildpunkte in dem ersten Bild (B1) und einem zweiten Bild (B2) der Bildsequenz anhand des optischen Flusses bestimmt wird, dadurch gekennzeichnet, dass nichtlineare Bildverzerrungen eines Bildinhaltes in dem ersten Bild (B1) im Vergleich zum zweiten Bild (B2) und/oder Bewegungsgrenzen (7) in dem ersten und zweiten Bild (B1, B2) berücksichtigt werden, indem zumindest zwei partielle Strukturtensoren für den zumindest einen Bildpunkt bestimmt werden und der Strukturtensor als ein adaptiver Strukturtensor anhand der zumindest zwei partiellen Strukturtensoren bestimmt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als die nichtlineare Bildverzerrung eine Größenskalierung des Bildinhaltes des ersten Bildes (B1) im Vergleich zum zweiten Bild (B2) berücksichtigt wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass zum Berücksichtigen der Größenskalierung des Bildinhaltes ein erster, die Nachbarschaft des Bildpunktes beschreibender Bildbereich (P1) anhand des ersten Bildes (B1) sowie ein erster partieller Strukturtensor für den ersten Bildbereich (P1) bestimmt werden, und zumindest ein im Vergleich zum ersten Bildbereich (P2) skalierter zweiter, die Nachbarschaft des Bildpunktes beschreibender Bildbereich (P2) sowie ein zweiter partieller Strukturtensor für den zweiten Bildbereich (P2) bestimmt werden.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass der zweite Bildbereich (P2) im Vergleich zum ersten Bildbereich (P1) vergrößert bestimmt wird und ein im Vergleich zum ersten Bildbereich (P1) verkleinerter dritter Bildbereich (P3) sowie ein dritter partieller Strukturtensor für den dritten Bildbereich (P3) bestimmt werden.
Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass als die Bildbereiche (P1, P2, P3) mit den unterschiedlichen Skalierungen konzentrische Quadrate aufweisend den Bildpunkt als Mittelpunkt bestimmt werden.
Verfahren nach einem der Ansprüche 2 bis 5, dadurch gekennzeichnet, dass einer der für die skalierten Bildbereiche (P1. P2, P3) bestimmten partiellen Strukturtensoren als der adaptive Strukturtensor zum Bestimmen des optischen Flusses ausgewählt wird oder die bestimmten partiellen Strukturtensoren zu dem adaptiven Strukturtensor zum Bestimmen des optischen Flusses kombiniert werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als die nichtlineare Bildverzerrung eine Rotation des Bildinhaltes in dem ersten Bild (B1) im Vergleich zum zweiten Bild (B2) berücksichtigt wird.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass zum Berücksichtigen der Rotation des Bildinhaltes ein den Bildpunkt umgebender, die Nachbarschaft des Bildpunktes beschreibender Bildbereich (P4) bestimmt wird, der Bildbereich (P4) in zumindest zwei Teilbildbereiche (16, 17, 18, 19) unterteilt wird, für jeden Teilbildbereich (16, 17, 18, 19) jeweils ein partieller Strukturtensor bestimmt wird und die partiellen Strukturtensoren zu dem adaptiven Strukturtensor kombiniert werden.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass der Bildbereich (P4) zum Berücksichtigen der Rotation des Bildinhaltes in logarithmischen Polarkoordinaten bestimmt wird.
Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass der Bildbereich (P4) in vier Teilbildbereiche (16, 17, 18, 19) unterteilt wird und vier partielle Strukturtensoren bestimmt werden.
Verfahren nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass zum Berücksichtigen der Bewegungsgrenzen (7) ein den Bildpunkt umgebender, die Nachbarschaft des Bildpunktes beschreibender Bildbereich (P4) bestimmt wird, in dem Bildbereich (P4) zumindest eine Bewegungsgrenze (7) identifiziert wird, der Bildbereich (P4) entlang der Bewegungsgrenze in zumindest zwei Teilbildbereiche (12, 13, 14, 15) unterteilt wird, für jeden der Teilbildbereiche (12, 13, 14, 15) ein partieller Strukturtensor bestimmt wird und die bestimmten partiellen Strukturtensoren zu dem adaptiven Strukturtensor kombiniert werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass anhand des optischen Flusses eine Lage von zumindest einem Objekt (6, 8) in dem Umgebungsbereich (3) des Kraftfahrzeugs (1) relativ zum Kraftfahrzeug (1) bestimmt wird, wobei die anhand des optischen Flusses bestimmte Lage des Objektes (6, 8) beim Bereitstellen zumindest einer Fahrerassistenzfunktion berücksichtigt wird.
Auswerteeinrichtung (5) für ein Fahrerassistenzsystem (2) eines Kraftfahrzeugs (1), welche dazu ausgelegt ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
Fahrerassistenzsystem (2) für ein Kraftfahrzeug (1) zum Unterstützen eines Fahrers des Kraftfahrzeugs (1) beim Führen des Kraftfahrzeugs (1), aufweisend zumindest einer Kamera (4) zum Erfassen einer Bildsequenz aus einem Umgebungsbereich (3) des Kraftfahrzeugs (1) sowie eine Auswerteeinrichtung (5) nach Anspruch 13.
Kraftfahrzeug (1) mit einem Fahrerassistenzsystem (2) nach Anspruch 14.