-
Stand der Technik
-
Die vorliegende Erfindung betrifft ein Verfahren zur Detektion von Disparitäten in zwei von einem Kamerasystem erfassten Einzelbildern.
-
Zur Bestimmung der Tiefe bzw. Distanz von Objekten relativ zu einem Fahrzeug oder Kamerasystem werden klassischerweise Stereokameras in Kombination mit Algorithmen zur Schätzung der Disparität eingesetzt. Dadurch, dass zunehmend mehr Kameras an Fahrzeugen angeordnet werden, ergeben sich neue und unkonventionelle Stereokonfigurationen. Die überlappenden Bildbereiche mehrerer Kameras sind dabei oftmals gering, da der Hauptverwendungszweck nicht die Bestimmung von Distanzen oder Tiefen ist. Dennoch kann es zielführend sein, Disparitäten in diesen Bereichen zu bestimmen. Diese können beispielsweise genutzt werden, um zu detektieren, ob eine Nebenspur frei oder belegt ist, zur Kartierung oder Lokalisierung oder zur Stützung/Verbesserung von Maschinen-Learning-Verfahren wie ViDAR genutzt werden. Für diese Anwendung müssen Stereodisparitäten nicht wie üblich in einem großen Bildbereich berechnet werden. Stattdessen ist es ausreichend, Disparitäten beispielsweise entlang nur einer Bildspalte zu bestimmen. Das Verarbeitungsschema klassischer Stereoverfahren ist für diesen Anwendungsfall jedoch sehr ungünstig und ressourcenintensiv. Generell besteht ein klassisches Stereoverfahren aus den drei Schritten Bildrektifizierung, Feature-Vektor-Berechnung und Matching.
-
Es wird daher ein Verarbeitungsschema zur Bildverarbeitung benötigt, durch das der bislang notwendige Ressourcenbedarf reduziert werden kann.
-
Offenbarung der Erfindung
-
Das erfindungsgemäße Verfahren zur Detektion von Disparitäten in zwei von einem Kamerasystem erfassten Einzelbildern, die einen zumindest teilweise überlappenden Bildbereich abbilden, umfasst ein Selektieren eines ersten Merkmals in einem ersten Einzelbild der beiden Einzelbilder, ein Selektieren eines zweiten Merkmals in dem ersten Einzelbild der beiden Einzelbilder, wobei das zweite Merkmal in einer gemeinsamen Bildzeile mit dem ersten Merkmal liegt, und ein Ausführen einer Disparitätssuche in einem Disparitätsbereich des zweiten Einzelbildes der beiden Einzelbilder, um ein zu dem ersten Merkmal korrespondierendes erstes Merkmal und ein zu dem zweiten Merkmal korrespondierendes zweites Merkmal zu suchen, wobei der Disparitätsbereich ein Abschnitt einer Bildzeile des zweiten Einzelbildes ist und derart gewählt ist, dass dieser lediglich einen Abschnitt eines maximalen Disparitätsbereichs umfasst, in dem das durch das ersten Merkmal abgebildete Objekt theoretisch in der Bildzeile des zweiten Einzelbildes abgebildet sein kann.
-
Die erfindungsgemäß Vorrichtung zur Detektion von Disparitäten umfasst eine Bildverarbeitungseinheit, welche dazu eingerichtet ist, zwei von einem Kamerasystem erfasste Einzelbilder zu empfangen, die einen zumindest teilweise überlappenden Bildbereich abbilden, ein erstes Merkmal in einem ersten Einzelbild der beiden Einzelbilder zu selektieren, ein zweites Merkmal in dem ersten Einzelbild der beiden Einzelbilder zu selektieren, wobei das zweite Merkmal in einer gemeinsamen Bildzeile mit dem ersten Merkmal liegt, und eine Disparitätssuche in einem Disparitätsbereich des zweiten Einzelbildes der beiden Einzelbilder auszuführen, um ein zu dem ersten Merkmal korrespondierendes erstes Merkmal und ein zu dem zweiten Merkmal korrespondierendes zweites Merkmal zu suchen, wobei der Disparitätsbereich ein Abschnitt einer Bildzeile des zweiten Einzelbildes ist und derart gewählt ist, dass dieser lediglich einen Abschnitt eines maximalen Disparitätsbereichs umfasst, in dem das durch das ersten Merkmal abgebildete Objekt theoretisch in der Bildzeile des zweiten Einzelbildes abgebildet sein kann.
-
Die erfassten Einzelbilder weisen einen zumindest teilweise überlappenden Bildbereich auf. Das bedeutet, dass in den Einzelbildern zumindest teilweise ein gleicher Bereich der realen Welt aus unterschiedlicher Perspektive dargestellt ist.
-
Die Einzelbilder können bereits einer Bildverarbeitung unterliegen, beispielsweise um diese zu rektifizieren.
-
Es erfolgt ein Selektieren eines ersten Merkmals und eines zweiten Merkmals. Die Merkmale sind dabei Bildmerkmale, welche beispielsweise jeweils durch eine Gruppe von Bildpunkten in dem ersten Einzelbild gebildet werden. Es werden zumindest zwei Merkmale in dem ersten Einzelbild selektiert, wobei diese in einer gemeinsamen Bildzeile liegen. Eine Bildzeile wird durch eine Zeile von Bildpunkten gebildet. Das bedeutet mit anderen Worten, dass das erste und das zweite Merkmal in dem ersten Einzelbild nebeneinander liegen.
-
Es erfolgt ein Ausführen einer Disparitätssuche in einem Disparitätsbereich des zweiten Einzelbildes. Dabei werden Bildmerkmale aus dem ersten Einzelbild in dem zweiten Einzelbild gesucht. Die korrespondierenden Merkmale sind dabei Bildbereiche in dem zweiten Einzelbild, welche eine hohe Ähnlichkeit zu den selektierten Merkmalen aus dem ersten Einzelbild aufweisen, da diese typischerweise einen gleichen Bereich der realen Welt abbilden. Entsprechend wird bei der Disparitätssuche in dem zweiten Einzelbild ein zu dem ersten Merkmal und ein zu dem zweiten Merkmal korrespondierendes Merkmal gesucht. Ist ein solches Merkmal vorhanden, so wird dieses bei der Suche gefunden, ansonsten verläuft die Suche erfolglos.
-
Bevorzugt wird für das Ausführen der Disparitätssuche nacheinander aus dem Disparitätsbereich zu vergleichende Merkmale aus dem zweiten Einzelbild geladen und dann mit dem ersten Merkmal und dann mit dem zweiten Merkmal verglichen, um zu ermitteln, ob das jeweils geladene Merkmal ein korrespondierendes Merkmal ist. Es wird somit vermieden, dass ein Merkmal aus dem Disparitätsbereich für die Suche von Korrespondenzen mehrfach in einen Speicher geladen werden muss.
-
Die Disparitätssuche ist auf einen Disparitätsbereich beschränkt. Das bedeutet, dass nicht das gesamte zweite Einzelbild durchsucht wird, um korrespondierende Merkmale zu suchen. So wird typischerweise zunächst eine Bildzeile in dem zweiten Einzelbild ausgewählt, in der die Disparitätssuche für das erste Merkmal und das zweite Merkmal erfolgen soll. Die Einzelbilder werden entweder derart erfasst oder derart vorbearbeitet, dass korrespondierende Bildinhalte in korrespondierenden Bildzeilen des ersten Einzelbildes und des zweiten Einzelbildes liegen.
-
Gemäß dem Stand der Technik wird bei einer Disparitätssuche typischerweise ein maximaler Disparitätsbereich durchsucht. Das bedeutet, dass nach korrespondierenden Merkmalen in einem Bereich der Bildzeile durchsucht wird, in dem das durch das erste Merkmal abgebildete Objekt theoretisch in der Bildzeile des zweiten Einzelbildes theoretisch abgebildet sein kann, wenn dieses Objekt einen beliebigen Abstand zu dem Kamerasystem aufweist. Dieser maximale Disparitätsbereich hängt von einer Geometrie des Kamerasystems ab und erstreckt sich über die gesamte Bildzeile oder ist auf einen Bereich der Bildzeile begrenzt, wobei der Bereich der Bildzeile nicht durchsucht wird, der abseits eines Punktes liegt, in dem das korrespondierende erste Merkmal in der Bildzeile des zweiten Bildes abgebildet wäre, wenn das durch das erste abgebildete Objekt unendlich weit von dem Kamerasystem entfernt wäre.
-
Erfindungsgemäß wird nur ein Abschnitt des maximalen Disparitätsbereichs bei der Disparitätssuche durchsucht, der maximale Disparitätsbereich also nur teilweise und nicht gänzlich durchsucht. Dies führt dazu, dass die notwendigen Rechenkapazitäten reduziert werden. Dieses Reduzieren des Disparitätsbereichs auf einen Teilbereich des maximalen Disparitätsbereichs kann jedoch auch dazu führen, dass ein zu dem ersten Merkmal korrespondierendes erstes Merkmal in dem zweiten Einzelbild nicht gefunden wird, obwohl dieses in dem zweiten Einzelbild dargestellt ist. Dies kann beispielsweise dann der Fall sein, wenn das mit dem ersten Merkmal abgebildete Objekt aus der realen Welt zu nah an den Kamerasystemen angeordnet ist. Um bei der Disparitätssuche in dem Disparitätsbereich dennoch zu einem Ergebnis bei der Suche zu kommen, ist das zweite Merkmal selektiert worden und wird bei der Disparitätssuche in dem Disparitätsbereich ebenfalls gesucht. Da das zweite Merkmal in dem ersten Einzelbild neben dem ersten Merkmal abgebildet ist, ist es wahrscheinlich, dass durch dieses ein anderes Objekt in der realen Welt abgebildet wird, welches mit einer gewissen Wahrscheinlichkeit in einer unterschiedlichen Distanz zu dem Kamerasystem gelegen ist. Somit kann es dazu kommen, dass das korrespondierende zweite Merkmal bei der Disparitätssuche gefunden wird, auch wenn das korrespondierende erste Merkmal bei der Disparitätssuche nicht gefunden wird. Dies gilt auch in umgekehrter Weise.
-
Es wird somit der Suchbereich der Disparitätssuche verringert und die Suche auf das zweite Merkmal erweitert. So wird durch das Reduzieren des maximalen Disparitätsbereichs eine Wahrscheinlichkeit für eine erfolgreiche Suche bezüglich des ersten Merkmals verringert. Die Wahrscheinlichkeit für eine erfolgreiche Suche bezüglich aller Merkmale wird jedoch gleichzeitig durch das Selektieren zweier Merkmale in dem ersten Einzelbild wieder erhöht. Es wird somit erreicht, dass insbesondere für einen bestimmten Bereich des ersten Einzelbildes mit hoher Wahrscheinlichkeit korrespondierende Merkmale in dem zweiten Einzelbild gefunden werden.
-
Es wird somit ein besonders effizientes Berechnen von dünn besetzten/sporadischen Disparitäten erreicht. Hierdurch wird ein Verarbeitungsschema zur Bildverarbeitung bereitgestellt, durch das der bislang benötigte Ressourcenbedarf stark reduziert wird.
-
Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.
-
Bevorzugt ist der Disparitätsbereich derart gewählt ist, dass dieser einen Abschnitt der Bildzeile des zweiten Einzelbildes ausschließt, in dem das erste korrespondierende erste Merkmal zu finden ist, wenn das durch das erste Merkmal abgebildetes Objekt bei einem Erfassen der Einzelbilder näher als eine bestimmte erste Distanz an dem Kamerasystem angeordnet ist. Das bedeutet im Umkehrschluss, dass das korrespondierende erste Merkmal in dem zweiten Einzelbild nicht gefunden werden kann, wenn das zugehörige Objekt näher als eine bestimmte erste Distanz an dem Kamerasystem befindlich ist. Die erste Distanz ist dabei insbesondere eine Distanz entlang einer Sichtlinie zwischen der das erste Einzelbild erfassenden Kamera und einer Position des durch das erste Merkmal abgebildeten Objektes in der realen Welt. Alternativ ist die erste Distanz eine Distanz, welche eine kürzeste Distanz zwischen einer Ebene, in welcher ein Bildsensor einer Kamera des Kamerasystems angeordnet ist, und der Position des Objektes, welches durch das erste Merkmal abgebildet wird. Dieses Begrenzen des Disparitätsbereichs führt dazu, dass die Disparitätssuche nicht bis zu einem Rand des zweiten Einzelbildes ausgeführt werden muss.
-
Auch ist es vorteilhaft, wenn der Disparitätsbereich derart gewählt ist, dass dieser einen Abschnitt der Bildzeile des zweiten Einzelbildes ausschließt, in dem das erste korrespondierende erste Merkmal zu finden ist, wenn das durch das erste Merkmal abgebildetes Objekt bei einem Erfassen der Einzelbilder mehr als eine bestimmte zweite Distanz von dem Kamerasystem entfernt angeordnet ist. Dies führt dazu, dass das korrespondierende erste Merkmal bei der Disparitätssuche nicht gefunden wird, wenn das durch das erste Merkmal abgebildete Objekt in der realen Welt weiter als die zweite Instanz von dem Kamerasystem entfernt angeordnet ist. Die zweite Distanz ist dabei insbesondere eine Distanz entlang einer Sichtlinie zwischen der das erste Einzelbild erfassenden Kamera und einer Position des durch das erste Merkmal abgebildeten Objektes in der realen Welt. Alternativ ist die zweite Distanz eine Distanz, welche eine kürzeste Distanz zwischen einer Ebene, in welcher ein Bildsensor einer Kamera des Kamerasystems angeordnet ist, und der Position des Objektes, welches durch das erste Merkmal abgebildet wird. Die zweite Distanz ist dabei insbesondere so gewählt, dass diese auch zu einer Beschränkung des Disparitätsbereichs führt, die größer ist als eine Beschränkung, welche dann erfolgen würde, wenn die zweite Distanz gegen unendlich gehen würde. Die zweite Distanz ist bevorzugt größer als die erste Distanz.
-
Auch ist es vorteilhaft, wenn die Disparitätssuche für eine Vielzahl erster Merkmale und eine Vielzahl zweiter Merkmale ausgeführt wird, wobei die Vielzahl erster Merkmale das erste Merkmal umfasst und die Vielzahl erster Merkmale in einer gemeinsamen ersten Bildspalte angeordnet sind, wobei die Vielzahl zweiter Merkmale das zweite Merkmal umfasst und die Vielzahl zweiter Merkmale in einer gemeinsamen zweiten Bildspalte angeordnet sind und wobei die Disparitätssuche für jedes Merkmal aus der Vielzahl erster Merkmale und für jedes Merkmal aus der Vielzahl zweiter Merkmale in einer jeweils zugehörigen Bildzeile des zweiten Einzelbildes ausgeführt wird. Es werden damit sogenannte Slices gebildet. So wird durch die Vielzahl erster Merkmale ein erstes Slice und durch die Vielzahl zweiter Merkmale ein zweites Slice gebildet. Der Disparitätsbereich umfasst eine Vielzahl von gleichen Abschnitten unterschiedlicher Bildzeilen des zweiten Einzelbildes. Die Vielzahl erster Merkmale und die Vielzahl zweiter Merkmale, also der erste Slice und der zweite Slice, sind beide in dem überlappenden Bildbereich gelegen. Es kann somit ein besonders effizientes Suchen von Disparitäten erreicht werden.
-
Auch ist es vorteilhaft, wenn ein Selektieren eines dritten Merkmales in dem ersten Einzelbild erfolgt, wobei das dritte Merkmal in einer gemeinsamen Bildzeile mit dem ersten Merkmal liegt, wobei das Ausführen der Disparitätssuche in dem Disparitätsbereich des zweiten Einzelbildes ferner erfolgt, um ein zu dem dritten Merkmal korrespondierendes drittes Merkmal zu suchen. Die Chancen für ein Auffinden einer Disparität bei der Disparitätssuche wird somit weiter erhöht. Es ist insbesondere vorteilhaft, wenn die Disparitätssuche für eine Vielzahl dritter Merkmale ausgeführt wird, wobei die Vielzahl dritter Merkmale das dritte Merkmal umfasst und die Vielzahl dritter Merkmale in einer gemeinsamen Bildspalte angeordnet sind, wobei die Disparitätssuche für jedes Merkmal aus der Vielzahl dritter Merkmale zusätzlich zu der Disparitätssuche für jedes der Merkmale aus der Vielzahl erster und zweiter Merkmale erfolgt. Das bedeutet mit anderen Worten, dass bevorzugt eine gemeinsame Disparitätssuche für drei Slices ausgeführt wird. Auch eine Verwendung weiterer zusätzlicher Slices ist vorteilhaft.
-
Ferner ist es vorteilhaft, wenn das Verfahren ein Rektifizieren des ersten Einzelbildes und des zweiten Einzelbildes umfasst, wobei die Einzelbilder derart erzeugt werden, dass zueinander korrespondierende Merkmale der beiden Einzelbilder in korrespondierenden Bildzeilen abgebildet werden. Dies ist auch als sogenannte Stereo-Rektifizierung bekannt. Dabei werden bevorzugt zunächst korrespondierende Epipolarkurven in dem ersten Einzelbild und in dem zweiten Einzelbild erkannt. Durch die Stereorektifizierung werden aus den Epipolarkurven Geraden gebildet, wobei das bzw. die Einzelbilder entsprechend verzerrt werden. Es wird somit ermöglicht, das klassische Stereoalgorithmen zur Disparitätsberechnung oder Disparitätssuche verwendet werden können.
-
Auch ist es vorteilhaft, wenn basierend auf einem bei der Disparitätssuche gefundenen korrespondierenden ersten Merkmal und/oder einem bei der Disparitätssuche gefundenen korrespondierenden zweiten Merkmal eine Distanz oder Tiefe zwischen einem dem jeweiligen Merkmal zugehörigen Objekt und im Kamerasystem errechnet wird. Das erfindungsgemäße Verfahren ist somit insbesondere für eine Abstandsdetektion geeignet.
-
Ferner ist es vorteilhaft, wenn das Kamerasystem an einem Fahrzeug angeordnet ist, wobei die beiden Einzelbilder bevorzugt von jeweils einer Kamera erfasst werden oder von einer einzelnen Kamera in zeitlicher Abfolge erfasst werden. Es können somit Kameras für das erfindungsgemäße Verfahren genutzt werden, die bereits für eine Umfelderfassung an einem Fahrzeug angeordnet sind. Ist lediglich eine einzelne Kamera verfügbar, welch ein eine bestimmte Richtung ausgerichtet ist, so kann bei einer Bewegung des Fahrzeuges ein Erfassen der beiden Einzelbilder in zeitlicher Abfolge erfolgen.
-
Auch ist es vorteilhaft, wenn das Kamerasystem eine Kamera mit einer Fischaugenlinse umfasst. Es können somit insbesondere auch solche Kameras genutzt werden, um die beiden Einzelbilder zu erfassen, welche nicht einem Stereokamerasystem zugehörig sind. Insbesondere können solche Kamerasysteme genutzt werden, welche bei einer Umfelderfassung des Fahrzeuges genutzt werden.
-
Das erfindungsgemäße Verfahren weist alle Vorteile der erfindungsgemäßen Vorrichtungen auf.
-
Die vorstehend genannten Vorteile gelten in entsprechender Weise auch für ein Computerprogramm zur Ausführung auf einem Computer oder einer Vorrichtung nach einer der vorgenannten Ausführungsformen, wobei das Computerprogramm ausgebildet und/oder eingerichtet ist, bei seiner Ausführung wenigstens einen der Schritte der vorgenannten Verfahren auszuführen und/oder zu implementieren.
-
Ferner gelten die vorstehend genannten Vorteile in entsprechender Weise auch für ein Speichermedium, wobei das zuvor genannte Computerprogramm auf dem Speichermedium gespeichert ist.
-
Kurze Beschreibung der Zeichnungen
-
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. In der Zeichnung ist:
- 1 eine Darstellung eines Fahrzeuges mit einer erfindungsgemäßen Vorrichtung zur Detektion von Disparitäten und einem zugehörigen Kamerasystem gemäß einer ersten Ausführungsform der Erfindung,
- 2 eine Darstellung eines Fahrzeuges mit einer erfindungsgemäßen Vorrichtung zum Detektieren von Disparitäten mit einem zugehörigen Kamerasystem gemäß einer zweiten Ausführungsform der Erfindung,
- 3 eine beispielhafte Darstellung zweier rektifizierter Einzelbilder,
- 4 eine schematische Darstellung zur Illustration einer Disparitätssuche,
- 5 eine erste schematische Darstellung, welche eine Anordnung eines beispielhaften Objektes gegenüber einem Kamerasystem darstellt,
- 6 eine zweite schematische Darstellung, welche eine Anordnung eines Objektes gegenüber dem Kamerasystem darstellt,
- 7a eine beispielhafte Darstellung eines Ergebnisses einer Disparitätssuche für einen einzelnen Slice,
- 7b eine beispielhafte Darstellung eines Ergebnisses einer Disparitätssuche bei einer Verwendung von zwei Slices und einem begrenzten Disparitätsbereich, und
- 7c eine beispielhafte Darstellung eines Ergebnisses einer Disparitätssuche bei einer Verwendung einer Vielzahl von Slices bei einem eingeschränkten Disparitätsbereich.
-
Ausführungsformen der Erfindung
-
Ein Verfahren zur Detektion von Disparitäten in zwei von einem Kamerasystem erfassten Einzelbildern 1, 2 wird von einer Vorrichtung zur Detektion von Disparitäten ausgeführt. Die Vorrichtung ist bevorzugt an einem Fahrzeug 100 angeordnet und umfasst eine Bildverarbeitungseinheit 103, durch welche das Verfahren ausgeführt wird.
-
Für das Erfassen der Einzelbilder 1, 2 sind an dem Fahrzeug 100 Kameras 101, 102 angeordnet. Dies ist beispielhaft in den 1 und 2 dargestellt. So ist aus 1 beispielsweise ersichtlich, dass an einem Fahrzeug 100 eine erste Kamera 101 und eine zweite Kamera 102 angeordnet sind. Die beiden Kameras 101, 102 sind dabei in eine Fahrtrichtung des Fahrzeuges 100 ausgerichtet und bilden ein Stereokamerasystem. Auch zur Verarbeitung der Bilder eines Stereokamerasystems ist das erfindungsgemäße Verfahren geeignet. Es ist jedoch auch möglich, dass die beiden Kameras, von welchen die Einzelbilder 1, 2 erfasst werden, beliebig an dem Fahrzeug 100 angeordnet sind, wobei diese jedoch zumindest einen teilweise überlappenden Bildbereich 9 aufweisen. Dies ist beispielhaft in 2 dargestellt. So ist aus 2 beispielsweise ersichtlich, dass die erste Kamera 101 und die zweite Kamera 102 jeweils einen seitlichen Bereich neben dem Fahrzeug 100 erfassen. Die beiden Kameras 101, 102 weisen dabei einen unterschiedlichen Sichtbereich auf und sind nicht parallel zueinander ausgerichtet. Der überlappende Sichtbereich 9 ist ein Bereich in der realen Welt, welcher von den beiden Kameras 101, 102 des Kamerasystems erfasst wird. Dabei ist es optional möglich, dass die Kameras 101, 102 des Kamerasystems auch Fischaugenlinsen aufweisen, um ein möglichst weites Umfeld des Fahrzeugs 100 zu erfassen.
-
Der Bildverarbeitungseinheit 103 wird von der ersten Kamera 101 das erste Einzelbild 1 und von der zweiten Kamera 102 das zweite Einzelbild 2 bereitgestellt. Die beiden Einzelbilder 1, 2 werden zunächst einer Vorverarbeitung unterzogen. Dabei werden die Abschnitte der Einzelbilder 1, 2 detektiert, die den überlappenden Bildbereich 9 abbilden. Dabei werden insbesondere korrespondierende Epipolarkurven in den beiden Einzelbildern 1, 2 ermittelt, welche jeweils korrespondierende Bildinhalte durchlaufen. Die Epipolarkurven werden durch ein Verzerren der beiden Einzelbilder 1, 2 derart verformt, dass diese Geraden bilden. Dieser Vorgang wird auch als Stereorektifizierung bezeichnet.
-
In 3 ist dazu links das stereorektifizierte erste Einzelbild 1 und in 3 rechts das stereorektifizierte zweite Einzelbild 2 dargestellt. Diese wurden nicht so wie in 3 dargestellt von den Kameras 101, 102 erfasst, sondern unterliegen bereits einer Stereorektifizierung. Es ist somit nur der überlappenden Bildbereich 9 der ursprünglich erfassten Einzelbilder 1, 2 dargestellt. Dieser ist gegenüber der ursprünglichen Aufnahme derart verzerrt, dass beispielsweise die optische Verzerrung, welche von den Fischaugenlinsen herrührt, derart variiert wurde, dass zwei Einzelbilder entstehen, die auch von einer Stereokamera erfasst sein könnten.
-
Bei der durch Bildinterpolation ausgeführten Rektifizierung der Bilder werden stereorektifizierte Bilder erzeugt, bei denen korrespondierende Bildpunkte in den gleichen Bildzeilen liegen. Korrespondierende Inhalte sind dabei solche Inhalte, welche in der realen Welt gleiche Objekte abbilden. So ist beispielsweise in 3 eine linke seitliche Kante eines Schildes abgebildet, welche als ein erstes Merkmal 10 angesehen werden kann. Das erste Merkmal 10 liegt dabei in einer zugehörigen Bildzeile 3a. Ein zu dem ersten Merkmal 10 korrespondierendes erstes Merkmal 11 ist in dem zweiten Einzelbild 2 dargestellt. Dieses liegt dabei in der korrespondierenden Bildzeile 3b, wobei das korrespondierende erste Merkmal ebenfalls die linke seitliche Kante des Schildes abbildet. Es ist ersichtlich, dass alle in dem ersten Einzelbild 1 gezeigten Merkmale jeweils auch auf einer korrespondierenden Bildzeile des zweiten Einzelbildes 2 zu finden sind. So ist in 3 ferner beispielhaft ein zweites Merkmal 20 gezeigt, durch welches eine rechte Kante des Schildes abgebildet wird, und welches ebenfalls in der dem ersten Merkmal 10 zugehörigen Bildzeile 3a liegt. In entsprechender Weise liegt das korrespondierende zweite Merkmal 21 auch in der korrespondierenden Bildzeile 3b des zweiten Einzelbildes 2 und liegt somit in einer gemeinsam korrespondierenden Bildzeile 3b mit dem korrespondierenden ersten Merkmal 11.
-
Es ergibt sich daraus, dass bei einer Suche von Bildkorrespondenzen, also bei der Suche von korrespondierenden Merkmalen, nicht das gesamte zweite Einzelbild durchsucht werden muss, um ein korrespondierendes Merkmal zu einem in dem ersten Einzelbild 1 gelegenen Merkmal zu finden. Es ist hinreichend wenn eine Bildzeile 3b durchsucht wird, die zu einer Bildzeile 3a des ersten Einzelbildes korrespondiert, also die gleichen Merkmale abbildet. Für die Stereorektifizierung der Einzelbilder 1, 2 können unterschiedliche aus dem Stand der Technik bekannte Verfahren angewendet werden.
-
Gemäß dem hier beschriebenen Verfahren erfolgt ein Selektieren eines ersten Merkmals 10 in dem ersten Einzelbild 1 und ein Selektieren eines zweiten Merkmals 20 in dem ersten Einzelbild 1. Das erste Merkmal 10 und das zweite Merkmal 20 liegen dabei in einer gemeinsamen Bildzeile 3a. Dies ist beispielhaft in 3 dargestellt. Es wird eine Disparitätssuche ausgeführt, wobei in dem zweiten Einzelbild solche Merkmale gesucht werden, die zu dem ersten Merkmal 10 und zu dem zweiten Merkmal 20 korrespondieren. Es wird somit ein korrespondierendes erstes Merkmal 11 und ein korrespondierendes zweites Merkmal 21 gesucht.
-
Um korrespondierende Merkmale in dem zweiten Einzelbild 2 zu suchen, wird bevorzugt nicht direkt nach Bildhelligkeitswerten gesucht, sondern es wird für jeden Bildpunkt, also für jedes Merkmal, ein Feature-Vektor oder auch Merkmalsvektor erzeugt. Die Berechnung der Merkmalsvektoren oder FeatureVektoren erfolgt dabei auf Basis lokaler Bildnachbarschaft. So können in den Merkmalsvektor beispielsweise Helligkeitsvergleiche oder ähnliches einfließen. Dies hat den Vorteil, dass die Suche nach korrespondierenden Merkmalen unempfindlicher beispielsweise gegenüber Änderungen der Gesamtbildhelligkeit sind. So können beispielsweise unterschiedliche Belichtungszeiten oder unterschiedliche Apparatur der unterschiedlichen Kamera des Kamerasystems keinen negativen Einfluss nehmen.
-
Die Suche nach korrespondierenden Merkmalen in dem zweiten Einzelbild 2 wird hier als Disparitätssuche bezeichnet, da basierend auf einem aufgefundenen korrespondierenden Merkmal in dem zweiten Einzelbild 2 eine Disparität ermittelt wird. Die Disparität ist dabei eine Verschiebung des korrespondierenden Merkmals in dem zweiten Einzelbild 2 gegenüber dem zugehörigen Merkmal in dem ersten Einzelbild 1. Die Disparitätssuche ist in 4 beispielhaft dargestellt. So wird in dem ersten Einzelbild 1 ein Merkmal ausgewählt, welches beispielsweise durch einen zentralen Bildpunkt und eine Reihe den zentralen Bildpunkt umgebender weiterer Bildpunkte definiert. Diese Gruppe von Bildpunkten, typischerweise neun Bildpunkte, ergibt einen Feature-Footprint, also die Basis für das Ermitteln eines Merkmalsvektors. Bei der Suche nach dem korrespondierenden Merkmal in dem zweiten Einzelbild 2 wird für die Bildpunkte in der korrespondierenden Bildzeile 3b des zweiten Einzelbildes 2 jeweils ein entsprechender Merkmalsvektor berechnet. Der Merkmalsvektor mit der größten Ähnlichkeit zu dem Merkmalsvektor aus dem ersten Einzelbild 1 wird als korrespondierender Merkmalsvektor angesehen und der zentrale Bildpunkt wird als Lage des korrespondierenden ersten Merkmals 11 gewählt.
-
Bei der Disparitätssuche für ein Merkmal aus einer Bildzeile 3a werden nicht alle Bildzeilen des zweiten Einzelbildes 2 durchsucht, sondern lediglich die korrespondierende Bildzeile 3b des zweiten Einzelbildes. Um einen notwendigen Rechenaufwand weiter zu reduzieren, wird jedoch nicht die gesamte korrespondierende Bildzeile 3b nach dem korrespondierenden Merkmal durchsucht, sondern es wird lediglich ein Abschnitt eines maximalen Disparitätsbereichs durchsucht. Die Auswahl des Abschnitts des maximalen Disparitätsbereichs wird mit Hinblick auf die 5 und 6 weiter beschrieben.
-
5 zeigt einen ersten Bildsensor 5 der ersten Kamera 101 und einen zweiten Bildsensor 6 der zweiten Kamera 102. Ferner ist ein Objekt 12 dargestellt, welches durch das erste Merkmal 10 abgebildet wird. Das erste Merkmal 10 bzw. das durch das erste Merkmal 10 abgebildete Objekt 12 liegt auf einem Sichtstrahl 8 der ersten Kamera 101 und wird auf einem zugehörigen Punkt auf dem ersten Bildsensor 5 abgebildet. Für den zweiten Bildsensor 6 und somit für das zweite Einzelbild 2 ist ein zugehöriger Disparitätsbereich 4 abgebildet, welcher so dargestellt ist, dass die Auswirkung einer Auswahl des Disparitätsbereichs 4 in der realen Welt ersichtlich ist. So ist beispielsweise ersichtlich, dass es vorteilhaft ist, wenn der Disparitätsbereich in einer ersten Richtung, in 5 rechts, derart begrenzt ist, dass dieser maximal einen Bildpunkt umfasst, durch welchen ein Sichtstrahl der zweiten Kamera 102 läuft, der parallel zu dem Sichtstrahl 8 ist, auf welchen das Objekt 12 gelegen ist, welches durch das erste Merkmal 10 abgebildet ist. Dies ergibt sich daraus, dass das Objekt 12 keinesfalls außerhalb dieses Disparitätsbereichs 4 auf dem zweiten Bildsensor 6 abgebildet werden kann, selbst wenn dieses unendlich weit von dem Kamerasystem entfernt ist. In die andere Richtung kann der Disparitätsbereich 4 in der korrespondierenden Bildzeile 3b bis zu einem Rand des zweiten Bildsensors 6 bzw. das Ende der korrespondierenden Bildzeile 3b reichen. Dies weist den Vorteil auf, dass das Objekt 12 auch dann noch zu korrespondierenden Merkmalen in den Einzelbildern 1, 2 führen kann, wenn dieses sehr nah an dem Kamerasystem befindlich ist. In einem solchen Fall spricht man von einem maximalen Disparitätsbereich 4, welcher erfindungsgemäß jedoch beschränkt ist.
-
6 zeigt, wozu ein Beschränken des Disparitätsbereiches führt. So muss das Objekt 12 mehr als eine bestimmte erste Distanz von dem Kamerasystem entfernt sein, damit dieses bei der Disparitätssuche zu einem Auffinden des korrespondierenden ersten Merkmals führt. Ein erfolgreiches Auffinden des korrespondierenden ersten Merkmals bezeichnet dabei einen Fall, bei dem das gefundene korrespondierende erste Merkmal auch tatsächlich das Objekt 12 abbildet.
-
Es ist mit Blick auf 6 ersichtlich, dass bei einer Lage des Objektes 12 auf dem Sichtstrahl 8 ein korrespondierendes erstes Merkmal 11 in dem zweiten Einzelbild 1, 2 nur dann gefunden wird, wenn der Disparitätsbereich 4 weit genug gewählt ist. Befindet sich das erste Objekt 12 zu nah an dem ersten Bildsensor 5, so rückt dieses aus dem Abschnitt des maximalen Disparitätsbereichs, welcher in 6 als Disparitätsbereich 4 markiert ist. In entsprechender Weise darf das erste Objekt 12 auch nicht zu weit von dem ersten Bildsensor 5 entfernt sein, da dieses sonst ebenfalls aus dem Disparitätsbereich 4 rutscht. Das bedeutet mit anderen Worten, dass für das erste Merkmal 10 nur dann ein korrespondierendes erstes Merkmal 11 gefunden werden kann, wenn das durch das erste Merkmal 10 abgebildete erste Objekt 12 innerhalb eines bestimmten Abstandsintervalls gegenüber dem Kamerasystem angeordnet ist. Entsprechend ist ein Abschnitt der korrespondierenden Bildzeile 3b des zweiten Einzelbildes 2 von dem Disparitätsbereich 4 ausgeschlossen, wobei dieser ausgeschlossene Bereich so gewählt ist, dass das durch das erste Merkmal 10 abgebildete Objekt 12 nicht in dem Disparitätsbereich 4 abgebildet wird, wenn das Objekt 12 bei dem Erfassen der Einzelbilder 1, 2 näher als eine bestimmte erste Distanz an dem Kamerasystem angeordnet ist. Umgekehrt ist der Disparitätsbereich 4 auch so begrenzt, dass das durch das erste Merkmal 10 abgebildete Objekt 12 nicht in den Disparitätsbereich fällt bzw. in diesem abgebildet wird, wenn das Objekt 12 weiter als eine bestimmte zweite Distanz von dem Kamerasystem entfernt angeordnet ist.
-
Die mit 6 beschriebene Beschränkung des Disparitätsbereichs 4 wird durch das gleichzeitige Suchen nach korrespondierenden Merkmalen für das erste Merkmal 10 und das zweite Merkmal 20 bei dem Ausführen einer gemeinsamen Disparitätssuche ausgeglichen. Es ist dazu ersichtlich, dass ein zweites Objekt 22, welches durch das zweite Merkmal 20 auf dem ersten Bildsensor 5 abgebildet wird und somit auf einem weiteren Sichtstrahl 31 liegt, aufgrund des eingeschränkten Disparitätsbereichs nicht zwingend bei der Disparitätssuche gefunden wird, obwohl dieses durch den zweiten Bildsensor 6 erfasst wird. Das korrespondierende zweite Merkmal 21 wird nur dann bei der Disparitätssuche gefunden, wenn dieses in den Disparitätsbereich 4 rückt, was dann der Fall ist, wenn das zweite Objekt weiter als die zweite Distanz entlang des weiteren Sichtstrahls 31 von dem Kamerasystem entfernt ist.
-
Der daraus resultierende Effekt bei der Merkmalssuche oder Disparitätssuche mit begrenztem Disparitätsbereich ist in den 7a bis 7c dargestellt. Dabei wird das erfindungsgemäße Verfahren für eine Vielzahl erster Merkmale 13 und eine Vielzahl zweiter Merkmale 23 ausgeführt. Die Vielzahl erster Merkmale 13 umfasst dabei das erste Merkmal 10 und die Vielzahl erster Merkmale 13 ist in einer gemeinsamen Bildspalte angeordnet. Es wird somit ein sogenanntes Slice gebildet, hier als erstes Slice bezeichnet. In entsprechender Weise umfasst die Vielzahl zweiter Merkmale 23 das zweite Merkmal 20 und die Vielzahl zweiter Merkmale 23 ist ebenfalls in einer gemeinsamen Bildspalte angeordnet und bildet somit ebenfalls ein Slice, hier als zweites Slice bezeichnet. Für die einzelnen Merkmale eines Slices wird eine entsprechende Disparitätssuche für die jeweils entsprechende korrespondierende Bildzeile 3b ausgeführt.
-
In 7a ist eine Verwendung eines einzelnen Slices dargestellt. So ist in 7a links gezeigt, dass an einer bestimmten Stelle des ersten Einzelbildes 1 eine Bildspalte als Vielzahl erster Merkmale 13 ausgewählt ist. In 7a rechts ist dargestellt, wo die zu den ersten Merkmalen 23 korrespondierenden ersten Merkmale in dem zweiten Einzelbild 2 gefunden werden, so der Disparitätsbereich 4 hinreichend groß gewählt ist.
-
In 7b ist dazu dargestellt, wenn ferner die Disparitätssuche für die Vielzahl zweiter Merkmale 23 ausgeführt wird, welche ebenfalls in einer Bildspalte des ersten Einzelbildes 1 angeordnet sind, die unterschiedlich zu der Bildspalte ist, in der die Vielzahl erster Merkmale 13 angeordnet ist. Ferner ist in 7b dabei dargestellt, zu welchem Effekt die Begrenzung des Disparitätsbereiches führt. So ist in 7b in dem zweiten Einzelbild 2 ersichtlich, dass nicht alle Korrespondenzen, also nicht alle korrespondierenden ersten Merkmale 13 gefunden werden, da der Disparitätsbereich 4 gegenüber dem in 7a gezeigten Beispiel begrenzt ist. So werden für die ersten Merkmale in 7b in einem unteren Bereich der Einzelbilder keine Korrespondenzen, also keine korrespondierenden Merkmale in dem zweiten Einzelbild 2 gefunden. Allerdings werden in diesem Bereich korrespondierende Merkmale gefunden, die zu der Vielzahl zweiter Merkmale 23 korrespondieren. Im Ergebnis können also für den durch den Disparitätsbereich 4 gebildeten Bildabschnitt dennoch Aussagen über eine Tiefe oder Distanz getroffen werden, in der sich die abgebildeten Objekte gegenüber dem Kamerasystem befinden.
-
7c zeigt ein weiteres Beispiel, bei dem ferner ein Selektieren eines dritten Merkmals in dem ersten Einzelbild 1 erfolgt ist, wobei das dritte Merkmal in einer gemeinsamen Bildzeile mit dem ersten Merkmal 10 und dem zweiten Merkmal 20 liegt. Bei dem Ausführen der Disparitätssuche in dem Disparitätsbereich 4 wird dabei zusätzlich nach einem zu dem dritten Merkmal korrespondierenden dritten Merkmal gesucht. Das bedeutet mit anderen Worten, dass die Disparitätssuche basierend auf drei Slices oder, wie in 7c dargestellt, einer Vielzahl von Slices erfolgt. So ist in 7c das zweite Einzelbild 2 mit den darin angeordneten korrespondierenden Merkmalen dargestellt und es ist ersichtlich, dass sogar bei einem sehr engen Auswählen des Disparitätsbereiches 4 für wesentliche Abschnitte des Disparitätsbereichs 4 Korrespondenzen gefunden werden.
-
Es ergibt sich also, dass die Anzahl notwendiger Vergleiche bei der Suche nach korrespondierenden Merkmalen in dem zweiten Einzelbild 2 signifikant reduziert werden kann.
-
Ein einfaches/klassisches Verfahren zur Stereoberechnung detaillierter beschrieben dient als Basis für die nachfolgende weitere Beschreibung des erfindungsgemäßen Verfahrens.
-
Stereo-basierte Verfahren zur Tiefenschätzung beinhalten typischerweise die folgenden drei Schritte: Zunächst erfolgt eine Rektifizierung der Bilder. Dabei werden durch Bildinterpolation stereorektifizierte Bilder erzeugt bei denen korrespondierende Bildpunkte in den gleichen Bildzeilen liegen. Dies ist mit 3 dargestellt.
-
Dann erfolgt eine Berechnung von Merkmalsvektoren (Featurevektoren). Stereoverfahren arbeiten typischerweise nicht direkt auf den Bildhelligkeitswerten, sondern berechnen für jeden Bildpunkt Featurevektoren auf Basis der lokalen Bildnachbarschaft. Dies können bspw. Helligkeitsvergleiche o.ä. sein. Dies hat den Vorteil, dass die Verfahren unempfindlicher bspw. gegen Änderungen der Gesamtbildhelligkeit (z.B. durch andere Belichtungszeit oder Apertur) sind.
-
Anschließend erfolgt eine Disparitätsberechnung/-Schätzung. Schließlich wird durch Vergleich der Merkmalsvektoren und unter Berücksichtigung einer entsprechenden Abstandsmetrik der Beste Match/Korrespondenz für jeden Bildpunkt gefunden. Dabei wird das Featurevektor-Paar gesucht, dass die geringsten (Matching-) Kosten erzeugt.
-
Es ist anzumerken, dass manche Verfahren Schritte kombinieren. So führen bspw. Verfahren die auf der normalisierten Kreuz-Korrelation basieren den zweiten Schritt nicht explizit aus. Allerdings wird sowohl eine lokale Schätzung der Varianz und des Mittelwertes durchgeführt. Diese Schritte zählen damit zu 2. Andererseits gibt es auch Verfahren, die die Schritte 1. und 2. kombinieren, indem sie die Merkmale direkt ausrechnen (unter Berücksichtigung der Kamerageometrie und Kalibrierung) ohne eine explizite Rektifizierung durchzuführen. Das erfindungsgemäße Verfahren lässt sich hervorragend mit solchen Ansätzen kombinieren.
-
Die gesamte Geometrie und Disparitätsschätzung ist in 5 visualisiert, welches eine typische Stereo-Anordnung zeigt. Die Kameras werden (virtuell, durch Rektifizierung) so ausgerichtet, dass ihre Bildebenen und Blickrichtungen parallel sind. Nun soll die Disparität für einen Punkt in der linken Kamera bestimmt werden1. Der zu dem Bildpunkt gehörende Sichtstrahl trifft auf einen 3D-Punkt (das Objekt 12). Ziel ist es nun das Abbild des 3D-Punktes im Bild der rechten Kamera zu finden. Dafür wird der Bereich zwischen einem parallelen Sichtstrahl bis hin zum Sichtstrahl maximaler Disparität abgesucht. Im Bild wird dafür zunächst ein Featurevektor aus der Umgebung des Bildpunktes in der linken Kamera (FeatureFootprint) bestimmt. In der rechten Kamera werden Featurevektoren entsprechend für jeden Bildpunkt im Bereich von der ersten Bildspalte (Bildspalte des Punktes im Linken Bild) bis hin zu einer maximalen Disparität berechnet. Diese Featurevektoren des rechten Kamerabildes werden dann gegen den Featurevektor des linken Bild gematcht/verglichen. Das Paar, dass die geringsten (Matching-) Kosten erzeugt, gewinnt und der Abstand zur ersten Bildspalte wird als Disparität ausgegeben. Wäre der 3D-Punkt unendlich weit entfernt, so läge er auf dem ursprünglichen Sichtstrahl der linken Kamera und dem parallelen Sichtstrahl der rechten Kamera und hätte eine Disparität von Null. Die minimale Distanz in der ein Objekt erkannt werden kann, ergibt sich daraus, wie viele mögliche Disparitäten berechnet/betrachtet werden. Daraus ergibt sich auch der Sichtstrahl maximaler Disparität. Generell würde man diese Distanz gerne sehr klein halten. Allerdings müssen dann mehr Merkmalsvektoren berechnet und verglichen werden. Die maximale Disparität bestimmt damit direkt die minimale Detektionsdistanz.
-
Gemessene Tiefen/Disparitäten sind für viele Anwendungen erforderlich. Dabei sind häufig dünn besetzte/sporadische Messungen ausreichend. Konkret ist hier die Berechnung von Disparitäten entlang einer einzelnen Bildspalte ausreichend. Für diesen Anwendungsfall wird das erfindungsgemäße Verfahren vorgeschlagen, dass deutlich effizienter als ein klassischer/naiver Ansatz ist. Die Aufgabe der Erfindung liegt damit in der effizienten Berechnung dünn besetzter/sporadischen Disparitäten.
-
Ein Prinzip der Erfindung liegt darin, den Disparitäts-Suchbereich zu verkleinern aber gleichzeitig nicht gegen einen Merkmalsvektor aus dem Bild der linken Kamera, sondern gegen mehrere zu vergleichen. Der Disparitätsbereich, auch als Disparitätssuchbereich bezeichnet, wird dazu beispielsweise gegenüber Verfahren mit maximalen Disparitätsbereich halbiert. Dadurch kann die Distanz zu nahegelegenen Objekten nicht mehr bestimmt werden. Um dies wieder zu ermöglich, wird ein weiterer Sichtstrahl (also korrespondierende Bildpunkt und Featurevektor) hinzugenommen. Dieser neue Sichtstrahl würde eigentlich eine Erweiterung des Disparitätssuchbereiches erfordern. Dieses Vorgehen erlaubt es daher beispielsweise für das erste Merkmal 11 nur Distanzen zu Objekten in geringen Distanzen und für das zweite Merkmal 12 nur Distanzen zu Objekten in größeren Distanzen zu bestimmen. Wie in der Visualisierung gemäß 6 gezeigt, wird man in diesem Fall nur eine (valide) Disparität für Sichtstrahl 8 und somit das erste Merkmal 10 bestimmen können. Für die genannten Anwendungen ist es nicht erforderlich für welche konkrete Spalte ein Sichtstrahl bestimmt wurde.
-
Das beschriebene Vorgehen findet damit Bildkorrespondenzen im zweiten Einzelbild 2, die sich auf eine von zwei Spalten im ersten Einzelbild beziehen. Der Vorteil des Verfahrens liegt auch darin, dass der Disparitätssuchbereich halbiert wird. Dies wird im Folgenden nun genauer diskutiert anhand eines Disparitätssuchbereiches von D = 80 Pixeln.
-
Klassisches Verfahren: Für die Berechnung der Disparität einer Spalte aus Z Zeilen müssen im ersten Einzelbild Z * F Bildpunkte rektifiziert werden und Z Featurevektoren berechnet werden, wobei F hier die Breite des FeatureFootprints ist. Im Rechten Bild müssen Z (D + (F - 1)) Bildpunkte rektifiziert werden und Z * D Featurevektoren berechnet werden. Insgesamt müssen also Z * D Vergleiche durchgeführt werden.
-
Erfindungsgemäßes Verfahren: Im Extremfall würde der Disparitätssuchbereich um den Faktor T geteilt (sliced). Damit müssten im ersten Einzelbild T * Z * F Bildpunkte rektifiziert werden und T * Z Featurevektoren berechnet werden. Im zweiten Einzelbild müssten hingegen nur Z (D/T + (F - 1)) Bildpunkte rektifiziert werden und Z * D/T Featurevektoren berechnet werden. Insgesamt müssen wieder Z * D Vergleiche durchgeführt werden.
-
Mit steigendem T sinkt die Anzahl der zu rektifizierenden Bildbereiche/Pixel sowie die Anzahl der zu berechnenden Featurevektoren. Die Anzahl der Featurevektorvergleiche bleibt immer gleich. Für T = 5 kann die Anzahl der zu berechnenden Featurevektoren fast um Faktor vier gesenkt werden. Dieser Trend setzt sich für steigende T jedoch nicht weiter fort. Zu beachten ist auch, dass es sinnvoll sein kann, für eine Reduzierung des maximalen Disparitätssuchbereichs um Faktor bspw. 4 mehr als vier Sichtstrahlen zu benutzen. Dies ist dadurch begründet, dass Objekte zwischen die Sichtstrahlen fallen können, d.h. kleine Objekte nicht erkannt werden. Die Vorteile des Verfahrens bzw. Verarbeitungsschemas bezüglich der Laufzeit und des Ressourcenbedarfs sind damit:
- - Weniger Pixel müssen rektifiziert werden (Schritt 1).
- - Weniger Featurevektoren müssen berechnet werden (Schritt 2).
-
Obwohl die Anzahl der Featurevektorvergleiche nicht sinkt, werden die Featurevektoren des zweiten Einzelbildes mehrfach (T-fach) gegen die verschiedenen Featurevektoren des linken Bildes verglichen. Aufgrund der Mehrfachnutzung der Featurevektoren aus dem rechten Bild können diese im Speicher verbleiben uns müssen nur einmal geladen werden, was zu einer Beschleunigung des dritten Schrittes führen kann.
-
Nebst oben stehender Offenbarung wird explizit auf die Offenbarung der 1 bis 7c verwiesen.
