DE102016113904A1

DE102016113904A1 - Online Pro-Merkmal-Deskriptoranpassung

Info

Publication number: DE102016113904A1
Application number: DE102016113904.1A
Authority: DE
Inventors: Andrew Richardson; Edwin Olson
Original assignee: Ford Global Technologies LLC; University of Michigan
Current assignee: Ford Global Technologies LLC; University of Michigan
Priority date: 2015-07-31
Filing date: 2016-07-27
Publication date: 2017-02-02
Also published as: RU2016129943A; US9811760B2; CN106447592A; RU2708955C2; CN106447592B; MX2016009706A; MX362765B; RU2016129943A3; US20170032217A1

Abstract

Ein Bildverarbeitungssystem beinhaltet eine Verarbeitungseinrichtung mit einer Speichereinrichtung zum Speichern von computerausführbaren Befehlen. Die Verarbeitungseinrichtung ist programmiert, einen ersten Deskriptor in einem ersten Bild zu definieren, eine Maske aus dem ersten Deskriptor zu erzeugen und einen zweiten Deskriptor in einem zweiten Bild zu definieren. Die Verarbeitungseinrichtung ist ferner programmiert, den ersten Deskriptor mit dem zweiten Deskriptor zu vergleichen, um einen ersten Fehlervektor zu definieren, einen zweiten Fehlervektor durch Anwenden einer Maske zu bestimmen und den Gesamtfehler des zweiten Fehlervektors zu berechnen, um einen Fehler zwischen dem ersten Deskriptor und dem zweiten Deskriptor zu bestimmen.

Description

HINTERGRUND
Merkmalsdeskriptoren, die durch eine Sequenz von zwei-Pixel-Intensitätsvergleichen erzeugt werden, sind dazu fähig, Bildmerkmale prägnant und schnell zu repräsentieren. Diese binären oder booleschen Stringdeskriptoren, die ein Ergebnis eines Vergleichs in einem einzigen Bit speichern, benötigen wenig Speicher pro Merkmal, was den Speicherplatzbedarf und die Netzwerkübertragungsbandbreite verringert. Berechnen und Abgleichen dieser Deskriptoren benötigt eine geringere Laufzeit im Vergleich zu Alternativen wie dem Scale-Invariant Feature Transform(SIFT)-Algorithmus und dem Speeded Up Robust Features(SURF)-Algorithmus bei vergleichbarer Abgleichgenauigkeit.
Das Binary Robust Independent Elementary Features(BRIEF)-Verfahren ist nennenswert aufgrund seiner Fähigkeit, Laufzeitverbesserungen durch die Verwendung von Vektorbefehlen zu erreichen. Eine Verringerung in der Speicherbenutzung und in der Laufzeit eignet sich für die Anforderungen von Echtzeitvisionsanwendungen mit hohem FPS.
KURZDARSTELLUNG DER ZEICHNUNGEN
1 ist ein Blockdiagramm eines beispielhaften Bildverarbeitungssystems zum Vergleichen von Blickwinkeländerungen in Bildern.
2A veranschaulicht ein Beispielbild, das von dem Verarbeitungssystem von 1 verarbeitet wurde.
2B veranschaulicht einen beispielhaften ersten Deskriptor mit mehreren ersten Testpunkten, die mit dem Beispielbild von 2A nach einem Weichzeichnen assoziiert sind.
2C veranschaulicht einen beispielhaften Maskendeskriptor, der eine Teilmenge der ersten Testpunkte beinhaltet, wobei die Maske aus dem ersten, in dem Beispielbild von 2B nach dem Weichzeichnen gezeigten Deskriptor erzeugt wurde.
2D veranschaulicht einen beispielhaften zweiten Deskriptor mit mehreren zweiten Testpunkten, die mit dem Beispielbild von 2A nach dem Weichzeichnen von einem anderen Blickwinkel aus gesehen assoziiert sind.
3 ist ein Flussdiagramm eines beispielhaften Prozesses, der von dem Bildverarbeitungssystem ausgeführt werden kann.
AUSFÜHRLICHE BESCHREIBUNG
Die Vergleiche unter Verwendung von BRIEF sind festgeschrieben und passen sich nicht an den Bildinhalt individueller Merkmale an. Demzufolge reagieren manche Tests empfindlich auf Blickwinkeländerung, da Intensitätswerte, die sich bei dem festgeschriebenen Abtastmuster verschieben, Veränderungen in den Testergebnissen bewirken können. Dies kann zu einer erhöhten Falschabgleichrate führen, da manche Testergebnisse nicht robust sind.
Erlernen einer einzigartigen Deskriptorstruktur für jedes Merkmal in einem Bild während der Laufzeit kann Blickwinkeländerungseffekte berücksichtigen. Dies beinhaltet Anpassen der Bildverarbeitung an boolesche Stringdeskriptoren, was diesen Ansatz für Echtzeitsysteme brauchbar macht. Ein beispielhaftes Bildverarbeitungssystem, das Blickwinkeländerungen berücksichtigen kann, beinhaltet eine Verarbeitungseinrichtung mit einer Speichereinrichtung zum Speichern von computerausführbaren Befehlen. Die Verarbeitungseinrichtung ist programmiert, einen ersten Deskriptor in einem ersten Bild zu definieren, eine Maske aus dem ersten Bild zu erzeugen und einen zweiten Deskriptor in einem zweiten Bild zu definieren. Die Verarbeitungseinrichtung ist ferner programmiert, den ersten Deskriptor mit dem zweiten Deskriptor zu vergleichen, um einen ersten Fehlervektor zu definieren, die Maske auf den ersten Fehlervektor anzuwenden, um einen zweiten Fehlervektor zu bestimmen, und die Einträge, die nicht null sind, im zweiten Fehlervektor zu zählen, um einen Fehler zwischen dem ersten Deskriptor und dem zweiten Deskriptor zu bestimmen.
Das vorgeschlagene System verwendet eine asymmetrische Arbeitsaufteilung zwischen Referenzmerkmalen und Abfragemerkmalen. Ein Referenzmerkmal kann in einem Schlüsselbild oder einer Karte enthalten sein, während ein Abfragemerkmal aus Live-Bildern extrahiert werden kann. Zusätzlich dazu kann eine asymmetrische Deskriptordarstellung für Referenz- und Abfragemerkmale verwendet werden.
Die Laufzeit für das Abgleichen mit dem vorgeschlagenen System kann trotz dieser Asymmetrie in ähnlichen Bereichen liegen, mit Verbesserungen in der Präzision und im Wiederabruf. Simulieren des Blickwinkeländerungseffekts auf Referenzmerkmalsdeskriptoren und Definieren eines geeigneten Gewichtsvektors, um unzuverlässige Intensitätstests zu unterdrücken, erreicht die Verbesserungen von Präzision und Wiederabruf.
Das vorgeschlagene System implementiert einen Prozess zur Berechnung von Deskriptorgewichtsvektoren mittels synthetischer Beobachtungen einer Bildfläche und bietet eine wirkungsvolle Abstandsfunktion für gewichtete Deskriptoren. Somit beinhaltet das vorgeschlagene System eine Erweiterung für BRIEF, die eine Pro-Merkmal-Anpassung ermöglicht, um ein Merkmal robust zu beschreiben. Dieses System, vorliegend als TailoredBRIEF bezeichnet, konzentriert sich auf die Deskriptor- und Abgleichaspekte und operiert online, wenn neue Merkmale detektiert werden.
Der BRIEF-Deskriptor fasst ein lokales Erscheinungsbild durch Intensitätstests zwischen Pixelpaaren, die ein Bildmerkmal einschließen, zusammen. Die booleschen Ausgaben der Tests werden effizient im Speicher mit jeweils einem Bit gespeichert. Durch die Speicherung auf diese Weise können die exklusiv-ODER(XOR)- und Populationszählungs(POPCNT)-Befehle verwendet werden, um die Anzahl von Bit-Fehlern zwischen zwei Deskriptoren effizient zu berechnen, was auch als Hamming-Distanz bekannt ist. Dieser prägnante Deskriptor kann relativ schnell abgeglichen werden, insbesondere im Vergleich zu Systemen wie etwa SURF.
Bevor ein BRIEF-Deskriptor berechnet wird, muss eine Menge von Testpunkten mittels beispielsweise einer Gauß-Verteilung oder einer anderen parametrisierten Zufallsverteilung definiert werden. Sobald sie einmal definiert sind, können dieselben Testpunkte wiederholt verwendet werden. Skaleninvarianz kann erreicht werden, indem die Größe der Positionen der Testpunkte gemäß dem Maßstab eines Merkmals angepasst werden.
Um einen Deskriptor für ein gegebenes Merkmal gemäß BRIEF zu bestimmen, werden für jedes skalierte Testpunktepaar beide Bildintensitäten relativ zur Position des Merkmals betrachtet. Falls die zweite Intensität höher ist, wird das entsprechende Bit im Deskriptor gesetzt. Beim Berechnen des Fehlers zwischen zwei Deskriptoren wird ein Fehlervektor erstellt, indem die Deskriptoren mit dem XOR-Befehl unterschieden werden und die Fehler mit POPCNT gezählt werden, um die Hamming-Distanz zu bestimmen.
Merkmalsabgleich kann durch Berechnen von nächsten Nachbarn eines Merkmalsvektors in einem Deskriptorraum erzielt werden, aber kann durch Erscheinungsbildänderungen eines Bildmerkmals aufgrund einer Vielzahl von Effekten, wie etwa Sensorrauschen, Beleuchtungsänderungen und Blickwinkeländerungen, erschwert werden. Für Deskriptoren, die aus zwei-Punkte-Intensitätsvergleichen bestehen, können diese Blickwinkeländerungen die Testpunkte auf der Bildfläche verschieben und können zu einem unterschiedlichen Ergebnis für einen bestimmten Intensitätsvergleich führen. Dies kann den Abgleichfehler für eine tatsächliche Übereinstimmung erhöhen, was die Falschabgleichrate erhöhen kann.
Der Blickwinkeländerungseffekt auf den Deskriptor kann simuliert werden, indem die Testpositionen transformiert werden und ein Deskriptor aus dem ursprünglichen Bild extrahiert wird. Dies entspricht dem Anwenden der inversen Transformation auf das Bild vor der Deskriptorextrahierung, ist aber einfacher, da die vollständige Menge von transformierten Testpositionen cache-gespeichert werden kann. Die unter einer simulierten Blickwinkeländerung berechneten Deskriptoren können dann mit dem ursprünglichen Deskriptor verglichen werden.
Durch das Online-Erlernen kann die Genauigkeit des auf Deskriptoren basierenden Merkmalsabgleichs verbessert werden. Dies kann hauptsächlich erreicht werden, indem der Effekt von Erscheinungsbildänderungen auf die Beschaffenheit eines individuellen Merkmalsdeskriptors berücksichtigt wird. Dies kann Simulieren des Ergebnisses dieser Erscheinungsbildänderungen beinhalten, um Trainingsdaten zu erzeugen, die im Gegenzug dazu verwendet werden können, einen booleschen Gewichtsvektor, als eine Deskriptormaske bezeichnet, zu erzeugen. Diese Maske kann wiederholt in der inneren Schleife des Abgleichprozesses verwendet werden, wenn der Abgleichfehler für ein bestimmtes Merkmalspaar berechnet wird.
Intensitätstests sind nicht gleichermaßen zuverlässig. Sogar für optimierte Testpunktepositionen existiert eine Bildfläche für ein gegebenes Paar von Testpunkten, dass bei einer kleinen Störung unterschiedliche Ergebnisse erzeugen wird. Falls Tests für individuelle Bildflächeninstanzen erlernt werden würden, könnte dieser Effekt minimiert werden.
Einzigartige Mengen von Testpunkten für jedes Referenzmerkmal könnten verwendet werden, um mehrere Deskriptoren für jedes Abfragemerkmal zu extrahieren. Dies würde jedoch die Rechenzeiten verlängern. Eine Alternative beinhaltet Extrahieren eines einzigen Deskriptors für jedes Bildmerkmal und Erlernen eines Gewichts für jeden Test. Angenommen, dass die Tests unabhängig voneinander sind und Fehler gemäß einer Bernoulli-Verteilung ergeben, kann die Wahrscheinlichkeit p_i für jeden Test i durch Stichprobenentnahme von Blickwinkeländerungsparametern und angemessenes Verzerren der Bildfläche oder der Testpunkte abgeschätzt werden. Die Wahrscheinlichkeit eines richtigen Abgleichs kann als eine Funktion der Testfehler und der Bernoulli-Wahrscheinlichkeiten berechnet werden. Dies kann jedoch eine Schlüsseleigenschaft von BRIEF negieren, da es die Anzahl der Operationen erhöhen würde, die benötigt wird, um den Fehler zwischen zwei Deskriptoren zu berechnen. Eine Alternative kann Erlernen eines booleschen Gewichtsvektors und Anwenden einer UND-Operation auf diesen und den Fehlervektor beinhalten, um verrauschte Tests zu unterdrücken. Auf diese Weise kann die Teilmenge von Tests ausgewählt werden, die für eine bestimmte Bildfläche zuverlässig sind. Dieser boolesche Gewichtsvektor kann während des Abgleichens wirkungsvoll angewendet werden. Die booleschen Gewichte können wie im BRIEF-Deskriptor Bit-gepackt gespeichert werden.
Masken könnten für beide Merkmalsmengen anstatt für eine erlernt werden. Für viele System kann dies jedoch unnötig sein. Für Systeme wie visuelle Odometrie und visuelle SLAM können Referenzmerkmale nur periodisch hinzugefügt werden. Durch Ausnutzen dieser Asymmetrie kann ein Ausführen zusätzlicher Bearbeitungsschritte an den Referenzmerkmalen die Extrahierungszeit eines Deskriptors für die Abfragemerkmale nicht beeinflussen. Zusätzlich dazu kann sich die Speicherbenutzung nur für Referenzmerkmale erhöhen, die den zweifachen Speicher benötigen, während der Speicher für Abfragemerkmale unverändert bleiben kann.
Trainingsdaten, von denen eine Deskriptormaske berechnet werden soll, können erfasst werden, indem Stichproben von Blickwinkeländerungen von einheitlichen Verteilungen im Maßstab und in 3-Achsen-Rotation entnommen werden. Die vollständige Transformation ist in Gleichung 1 dargestellt, wobei R eine 3D-Rotationsmatrix repräsentiert, die aus Rotationstermen auf gleicher Ebene und außerhalb der Ebene, die aus Stichproben aus Verteilungen mit Erwartungswert Null entnommen wurden, erzeugt wurde. Die Koordinaten der ursprünglichen Testpunkte x und y im Bereich [–0,5, 0,5] sind rotiert. Das Ergebnis kann so projiziert werden, als ob es sich bei Streckeneinheit von einer Kamera mit Brennweite s befindet, wobei s aus einer Stichprobe einer Verteilung mit einem Mittelwert von 1 entnommen wird.
Während nur Stichproben von einer kleinen Anzahl von Blickwinkeländerungsparametern entnommen werden, könnten andere Terme, wie etwa additives Rauschen, ohne Weiteres in die Gleichung (1) integriert werden. Andere Blickwinkeländerungsparametrisierungen können verwendet werden.
Die transformierten Koordinaten der Testpunkte x_p können einmalig berechnet und gespeichert werden. Erlernen der Deskriptormasken kann beinhalten: 1) Berechnen aller transformierten Deskriptoren; 2) Vergleichen des ursprünglichen Deskriptors mit jedem der transformierten Deskriptoren und Berechnen der Fehleranzahl für jeden Test i; 3) Schätzen der Stichprobenwahrscheinlichkeit p_i(Fehler) für jeden Test und 4) falls p_i(Fehler) größer als ein Schwellenwert ist, den Test i verwerfen, indem sein Gewicht Null gesetzt wird.
Weichzeichnen des Bildes vor dem Erlernen der Deskriptormaske kann einen nennenswerten Einfluss auf die Wiederholbarkeit von Tests haben. Das Bild kann unter Verwendung von beispielsweise einem Boxfilter weichgezeichnet werden. Das Weichzeichnen des Bildes unterdrückt nicht alle Sensitivitäten auf Blickwinkeländerungen und unterdrückt nicht, dass die Vorteile des Weichzeichnens und des Erlernens der Deskriptormaske nicht exklusiv sind.
Die dargestellten Elemente können viele verschiedene Formen annehmen und mehrere und/oder alternative Komponenten und Ausstattungen beinhalten. Die veranschaulichten beispielhaften Komponenten sind nicht als einschränkend auszulegen. Tatsächlich können zusätzliche oder alternative Komponenten und/oder Implementierungen verwendet werden.
1 ist ein Blockdiagramm eines beispielhaften Bildverarbeitungssystems 100 zum Vergleichen von Blickwinkeländerungen in Bildern. Wie dargestellt, beinhaltet das Bildverarbeitungssystem 100 eine Verarbeitungseinrichtung 105 und eine Speichereinrichtung 110. Die Speichereinrichtung 110 kann eine elektronische Einrichtung mit flüchtigen oder nicht-flüchtigen Medien zum Speichern von computerausführbaren Befehlen beinhalten. Die Verarbeitungseinrichtung 105 kann eine beliebige elektronische Einrichtung beinhalten, die dazu konfiguriert und programmiert ist, auf in der Speichereinrichtung 110 gespeicherte computerausführbare Befehle zuzugreifen und diese auszuführen. Die Befehle können Befehle beinhalten, die mit einem Verarbeiten von Bildern assoziiert sind, die von einer Kamera 115 aufgenommen wurden, die in das Bildverarbeitungssystem 100 integriert sein kann oder nicht. Die Kamera 115 kann eine beliebige Bildaufnahmeeinrichtung beinhalten, die dazu konfiguriert ist, diverse (z.B. sequentielle) Bilder von beispielsweise unterschiedlichen Blickwinkeln relativ zu einem Referenzbild aufzunehmen. Die unterschiedlichen Blickwinkel können eine Ansicht eines Objektes im Referenzbild aber von einer anderen Distanz oder einem anderen Winkel aus beinhalten. Somit kann das Objekt relativ zu demselben, im Referenzbild abgebildeten Objekt skaliert oder rotiert sein. Wie zuvor erörtert, können unterschiedliche Blickwinkel gemäß Neigung, Gieren usw. relativ zum Referenzbild definiert sein.
Entsprechend der Beschreibung des TailoredBRIEF-Bildverarbeitungssystems 100 kann die Verarbeitungseinrichtung 105 programmiert sein, das erste, durch die Kamera 115 aufgenommene Bild zu erhalten. Ein beispielhaftes „erstes Bild“ oder „Referenzbild“ ist im Folgenden mit Bezug auf 2A dargestellt und beschrieben. Wie zuvor erörtert, kann die Verarbeitungseinrichtung 105 programmiert sein, das erste Bild weichzuzeichnen. Das Weichzeichnen des ersten Bildes kann beispielsweise Anwenden einer Boxfiltermethode auf das erste Bild beinhalten. Die Verarbeitungseinrichtung 105 kann programmiert sein, einen ersten Deskriptor anhand der weichgezeichneten oder der ursprünglichen Version des ersten Bildes zu definieren. Der erste Deskriptor kann mehrere erste Testpunkte beinhalten, wie im Folgenden mit Bezug auf 2B dargestellt und beschrieben ist.
Die Verarbeitungseinrichtung 105 kann programmiert sein, eine Maske aus dem ersten Deskriptor wie zuvor beschrieben zu erzeugen. Die Maske kann eine Teilmenge der mehreren ersten Testpunkte zulassen. Die Teilmenge kann beispielsweise jene Testpunkte beinhalten, die wahrscheinlich robust sind. Somit kann die Verarbeitungseinrichtung 105 programmiert sein, die mehreren ersten Testpunkte gegen Robustheit zu testen und eine Maske zu erzeugen, die nicht-robuste Testpunkte unterdrückt. Die Maske kann einen Bit-Wert für jeden Testpunkt beinhalten. Der Bit-Wert der über die Maske zuzulassenden Testpunkte kann beispielsweise einen Bit-Wert von 1 beinhalten.
Die Verarbeitungseinrichtung 105 kann ferner programmiert sein, ein zweites Bild zu erhalten. Wie zuvor erörtert, kann das zweite Bild eine Blickwinkeländerung der Kamera 115 relativ zu einem Objekt, das in dem ersten Bild repräsentiert ist, repräsentieren. Wie bei dem ersten Bild kann die Verarbeitungseinrichtung 105 programmiert sein, das zweite Bild weichzuzeichnen und einen zweiten Deskriptor basierend auf der weichgezeichneten Version des zweiten Bildes zu definieren. Das Weichzeichnen des zweiten Bildes kann beispielsweise Anwenden einer Boxfiltermethode auf das zweite Bild beinhalten. Die Verarbeitungseinrichtung 105 kann programmiert sein, den zweiten Deskriptor anhand der weichgezeichneten oder der ursprünglichen Version des zweiten Bildes zu definieren. Der zweite Deskriptor kann mehrere zweite Testpunkte beinhalten.
Die Verarbeitungseinrichtung 105 kann dann einen ersten Fehlervektor definieren. Das Definieren des ersten Fehlervektors kann Vergleichen des ersten Deskriptors mit dem zweiten Deskriptor beinhalten. Zum Beispiel kann die Verarbeitungseinrichtung 105 programmiert sein, eine exklusiv-ODER(XOR)-Operation auf den ersten Deskriptor und den zweiten Deskriptor anzuwenden. Um einen zweiten Fehlervektor zu bestimmen, der beispielsweise Fehler im ersten Fehlervektor unterdrückt, kann die Verarbeitungseinrichtung 105 programmiert sein, eine UND-Operation auf die Maske und den ersten Fehlervektor anzuwenden. Die Verarbeitungseinrichtung 105 kann ferner programmiert sein, einen Fehler zwischen dem ersten Deskriptor und dem zweiten Deskriptor zu identifizieren. Eine Möglichkeit, diesen Fehler zu berechnen, kann beispielsweise Anwenden einer Populationszählungs(POPCNT)-Operation auf den zweiten Fehlervektor beinhalten.
2A–2D stellen beispielhafte Beziehungen zwischen dem ersten und dem zweiten Deskriptor dar, die durch die Verarbeitungseinrichtung 105 bestimmt werden können. 2A veranschaulicht ein Beispielbild 200, das durch das mit Bezug auf 1 beschriebene Bildverarbeitungssystem 100 verarbeitet werden kann. Nun mit Bezug auf 2B kann das Bild 200 weichgezeichnet sein und der erste, durch die Linien 205 repräsentierte Deskriptor, kann mittels der zuvor beschriebenen Methoden bestimmt werden. Für Vereinfachungszwecke sind nur wenige der Linien 205, die den ersten Deskriptor repräsentieren, in 2B beschriftet. 2C veranschaulicht einen Maskendeskriptor 210, der aus dem mit Bezug auf 2B dargestellten ersten Deskriptor 205 erzeugt werden kann. Für Vereinfachungszwecke sind nur wenige der Linien 210, die den Maskendeskriptor repräsentieren, in 2C beschriftet. 2D veranschaulicht einen beispielhaften zweiten, durch die Linien 215 dargestellten Deskriptor, der mit dem Beispielbild von 2A, wie mit einem anderen Blickwinkel berechnet, assoziiert ist. Für Vereinfachungszwecke sind nur wenige der Linien 215, die den zweiten Deskriptor repräsentieren, in 2D beschriftet. Wie zuvor erläutert kann die Verarbeitungseinrichtung 105 den ersten und den zweiten Fehlervektor aus dem ersten Deskriptor, dem zweiten Deskriptor und der Maske, die in den 2B–2D veranschaulicht sind, bestimmen.
3 ist ein Flussdiagramm eines beispielhaften Prozesses 300, der von dem Bildverarbeitungssystem 100 ausgeführt werden kann. Zum Beispiel kann der Prozess 300 von der Verarbeitungseinrichtung 105 ausgeführt werden, um beispielsweise durch die Kamera 115 aufgenommene Bilder auszuwerten. Die Bilder können ein gemeinsames Objekt, aber von unterschiedlichen Blickpunkten aus, repräsentieren.
Bei Block 305 kann das Bildverarbeitungssystem 100 ein erstes Bild erhalten. Das erste Bild kann beispielsweise ein Bild eines mit der Kamera 115 aufgenommenen Objektes beinhalten. Das erste Bild kann auch als das „Referenzbild“ bezeichnet werden. Das erste Bild kann beispielsweise von der Verarbeitungseinrichtung 105 erhalten werden.
Bei Block 310 kann das Bildverarbeitungssystem 100 das erste Bild weichzeichnen. Die Verarbeitungseinrichtung 105 kann zum Beispiel das erste Bild durch Anwenden einer Boxfiltermethode auf das erste Bild weichzeichnen.
Bei Block 315 kann das Bildverarbeitungssystem 100 den ersten Deskriptor definieren, der mit dem ersten Bild assoziiert ist. In einem möglichen Ansatz kann die Verarbeitungseinrichtung 105 den ersten Deskriptor anhand der weichgezeichneten oder der ursprünglichen Version des ersten Bildes definieren. Der erste Deskriptor kann mehrere erste Testpunkte beinhalten.
Bei Block 320 kann das Bildverarbeitungssystem 100 eine Maske erzeugen. In einer möglichen Implementierung kann die Verarbeitungseinrichtung 105 die Maske erzeugen, um beispielsweise eine Teilmenge der Testpunkte im ersten Deskriptor zuzulassen. Die Verarbeitungseinrichtung 105 kann die Maske erzeugen, um jene Testpunkte einzuschließen, die wahrscheinlich am robustesten sind. Zum Beispiel kann die Verarbeitungseinrichtung 105 die ersten Testpunkte auf Robustheit gegenüber Blickwinkeländerung testen und unzuverlässige Testpunkte (d.h. Testpunkte mit einer Fehlerrate über einem vorbestimmten Schwellenwert) herausfiltern. Jegliche verbleibenden Testpunkte (d.h. die zuverlässigsten Testpunkte) können die Testpunkte bilden, die benutzt werden, um die Maske zu erzeugen. Die Maske kann einen Bit-Wert für jeden Testpunkt beinhalten. Der Bit-Wert der über die Maske zuzulassenden Testpunkte kann beispielsweise einen Bit-Wert von 1 beinhalten.
Bei Block 325 kann das Bildverarbeitungssystem 100 ein zweites Bild erhalten. Zum Beispiel kann die Verarbeitungseinrichtung 105 das zweite Bild von der Kamera 115 erhalten. Das zweite Bild kann eine Blickwinkeländerung der Kamera 115 relativ zu dem im ersten Bild repräsentierten Inhalt repräsentieren.
Bei Block 330 kann das Bildverarbeitungssystem 100 das zweite Bild weichzeichnen. Die Verarbeitungseinrichtung 105 kann in einem möglichen Ansatz das zweite Bild durch Anwenden einer Boxfiltermethode auf das zweite Bild weichzeichnen.
Bei Block 335 kann das Bildverarbeitungssystem 100 einen zweiten Deskriptor basierend auf der weichgezeichneten oder der ursprünglichen Version des zweiten Bildes definieren. Der zweite Deskriptor kann von der Verarbeitungseinrichtung 105 gemäß mehreren zweiten Testpunkten definiert werden.
Bei Block 340 kann das Bildverarbeitungssystem 100 den ersten Fehlervektor aus dem ersten und dem zweiten Deskriptor bestimmen. Definieren des ersten Fehlervektors kann beinhalten, dass die Verarbeitungseinrichtung 105 den ersten Deskriptor mit dem zweiten Deskriptor vergleicht. Zum Beispiel kann die Verarbeitungseinrichtung 105 eine exklusiv-ODER(XOR)-Operation auf den ersten Deskriptor und den zweiten Deskriptor anwenden.
Bei Block 345 kann das Bildverarbeitungssystem 100 den zweiten Fehlervektor (d.h. einen Maskenfehlervektor) bestimmen, der beispielsweise Fehler im ersten Fehlervektor unterdrückt. Um den zweiten Fehlervektor zu bestimmen, kann die Verarbeitungseinrichtung 105 eine UND-Operation auf die Maske und den ersten Fehlervektor anwenden.
Bei Block 350 kann das Bildverarbeitungssystem 100 einen Fehlerwert vom zweiten Fehlervektor identifizieren, um beispielsweise einen Fehler zwischen dem ersten und dem zweiten Deskriptor zu identifizieren. Zum Beispiel kann die Verarbeitungseinrichtung 105 eine Populationszählungs(POPCNT)-Operation auf den zweiten Fehlervektor anwenden.
Allgemein können beschriebene Datenverarbeitungssysteme und/oder -einrichtungen ein beliebiges einer Reihe von Computerbetriebssystemen einsetzen, einschließlich, jedoch keinesfalls darauf beschränkt, Versionen und/oder Varianten des Ford Sync^®-Betriebssystems, des Microsoft Windows^®-Betriebssystems, des Unix-Betriebssystems (z.B. des Solaris^®-Betriebssystems, das von der Oracle Corporation in Redwood Shores, Kalifornien, USA, vertrieben wird), des AIX-UNIX-Betriebssystems, das von International Business Machines in Armonk, New York, USA, vertrieben wird, des Linux-Betriebssystems, der Betriebssysteme MAC OS X und iOS, die von der Apple Inc. in Cupertino, Kalifornien, USA, vertrieben werden, des BlackBerry OS, das von Blackberry, Ltd. in Waterloo, Kanada vertrieben wird, und des Android-Betriebssystems, das von Google Inc. und der Open Handset Alliance entwickelt wurde. Beispiele für Datenverarbeitungseinrichtungen umfassen ohne Einschränkung einen Computer im Fahrzeug, einen Arbeitsplatzcomputer, einen Server, einen Desktop-Computer, ein Notebook, einen Laptop oder einen handgehaltenen Computer oder ein anderes Datenverarbeitungssystem und/oder eine andere Datenverarbeitungseinrichtung.
Datenverarbeitungseinrichtungen beinhalten allgemein computerausführbare Befehle, wobei die Befehle durch eine oder mehrere Datenverarbeitungseinrichtungen ausführbar sind, wie den oben aufgeführten. Computerausführbare Befehle können von Computerprogrammen kompiliert oder interpretiert werden, die unter Verwendung einer Vielfalt von Programmiersprachen und/oder -technologien erstellt wurden, einschließlich, ohne Einschränkung, und entweder allein oder in Kombination, Java^TM, C, C++, Visual Basic, Java Script, Perl usw. Allgemein empfängt ein Prozessor (z.B. ein Mikroprozessor) Befehle z.B. von einem Speicher, einem computerlesbaren Medium usw. und führt diese Befehle aus, wodurch ein oder mehrere Prozesse durchgeführt wird bzw. werden, einschließlich eines oder mehrerer der vorliegend beschriebenen Prozesse. Derartige Befehle und andere Daten können unter Verwendung einer Vielfalt von computerlesbaren Medien gespeichert und übertragen werden.
Ein computerlesbares Medium (das auch als ein prozessorlesbares Medium bezeichnet wird) beinhaltet ein beliebiges nicht vergängliches (z.B. fassbares) Medium, das am Bereitstellen von Daten (z.B. Befehlen) teilnimmt, die von einem Computer (z.B. von einem Prozessor eines Computers) gelesen werden können. Ein derartiges Medium kann viele Formen annehmen, einschließlich unter anderem nichtflüchtige und flüchtige Medien. Zu nichtflüchtigen Medien können beispielsweise optische oder Magnetplatten und ein anderer permanenter Speicher zählen. Zu flüchtigen Medien kann beispielsweise ein dynamischer Direktzugriffsspeicher (DRAM) zählen, der in der Regel einen Hauptspeicher bildet. Derartige Befehle können von einem oder mehreren Übertragungsmedien übertragen werden, einschließlich Koaxialkabeln, Kupferdraht und Glasfasern, einschließlich der Drähte, die einen Systembus umfassen, der mit einem Prozessor eines Computers gekoppelt ist. Zu üblichen Formen von computerlesbaren Medien zählen beispielsweise eine Floppy-Disk, eine Diskette, eine Festplatte, ein Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, eine DVD, ein beliebiges anderes optisches Medium, Lochkarten, Papierband, ein beliebiges anderes physisches Medium mit Lochmustern, ein RAM, ein PROM, ein EPROM, ein FLASH-EEPROM, ein beliebiger anderer Speicherchip oder eine beliebige andere Speicherpatrone oder ein beliebiges anderes Medium, von dem ein Computer lesen kann.
Zu Datenbanken, Datenbehältern oder anderen Datenspeichern, die vorliegend beschrieben sind, können verschiedene Arten von Mechanismen zum Speichern und Abrufen verschiedener Arten von Daten sowie Zugreifen auf diese zählen, einschließlich einer hierarchischen Datenbank, eines relationalen Datenbankverwaltungssystems (RDMBS) usw. Jeder derartige Datenspeicher ist allgemein in einer Datenverarbeitungseinrichtung enthalten, die ein Computerbetriebssystem einsetzt, wie eines der oben erwähnten, und auf ihn wird mittels eines Netzes auf eine beliebige oder beliebige mehrere einer Vielfalt von Methoden zugegriffen. Auf ein Dateisystem kann durch ein Computerbetriebssystem zugegriffen werden und kann Dateien enthalten, die in verschiedenen Formaten gespeichert sind. Eine RDBMS setzt allgemein die Structured Query Language (SQL) neben einer Sprache zum Erstellen, Speichern, Bearbeiten und Ausführen gespeicherter Vorgänge, wie die oben erwähnte PL/SQL-Sprache.
In einigen Beispielen können Systemelemente als computerlesbare Befehle (z.B. Software) auf einer oder mehreren Datenverarbeitungseinrichtungen (z.B. Servern, Personalcomputern usw.) umgesetzt werden, die auf damit verbundenen computerlesbaren Medien (z.B. Platten, Speichern usw.) gespeichert ist. Ein Computerprogrammprodukt kann derartige Befehle, die auf computerlesbaren Medien gespeichert sind, zum Ausführen der hierin beschriebenen Funktionen umfassen.
In Bezug auf die vorliegend beschriebenen Prozesse, Systeme, Verfahren, Heuristik usw. versteht es sich, dass, obwohl die Schritte derartiger Prozesse usw. als gemäß einer bestimmten geordneten Abfolge erfolgend beschrieben wurden, derartige Prozesse mit den beschriebenen Schritten ausgeübt werden könnten, die in einer Reihenfolge durchgeführt werden, die sich von der hierin beschriebenen Reihenfolge unterscheidet. Es versteht sich weiterhin, dass bestimmte Schritte gleichzeitig durchgeführt werden könnten, dass andere Schritte hinzugefügt werden könnten oder dass bestimmte vorliegend beschriebene Schritte weggelassen werden könnten. Anders ausgedrückt, die Beschreibungen von Prozessen hierin sind zum Zwecke der Veranschaulichung bestimmter Ausführungsformen bereitgestellt und sollten keinesfalls als die Ansprüche einschränkend aufgefasst werden.
Dementsprechend versteht es sich, dass die obige Beschreibung veranschaulichend und nicht einschränkend sein soll. Viele Ausführungsformen und Anwendungen, die sich von den bereitgestellten Beispielen unterscheiden, würden beim Lesen der obigen Beschreibung offensichtlich werden. Der Schutzumfang sollte nicht unter Bezugnahme auf die obige Beschreibung bestimmt werden, sondern sollte stattdessen unter Bezugnahme auf die angefügten Ansprüche bestimmt werden, zusammen mit dem vollen Schutzumfang von Äquivalenten, auf die derartige Ansprüche Anspruch haben. Es ist antizipiert und beabsichtigt, dass künftige Entwicklungen in den vorliegend erörterten Technologien erfolgen werden und dass die offenbarten Systeme und Verfahren in derartige künftige Ausführungsformen eingebunden werden. Zusammenfassend versteht es sich, dass die Anmeldung zur Modifizierung und Abänderung geeignet ist.
Alle in den Ansprüchen verwendeten Begriffe sind so beabsichtigt, dass ihnen ihre weitesten vernünftigen Deutungen und ihre gewöhnlichen Bedeutungen verliehen sind, wie sie von den Fachleuten in Bezug auf die vorliegend beschriebenen Technologien verstanden werden, sofern kein ausdrücklicher Hinweis auf das Gegenteil vorliegend gemacht wird. Insbesondere sollte die Verwendung der Artikel in der Einzahl, wie „ein/eine“, „der/die/das“, „besagter/besagte/besagtes“ usw. so gelesen werden, dass ein oder mehrere der angegebenen Elemente vorgetragen werden, sofern nicht ein Anspruch eine gegenteilige ausdrückliche Einschränkung vorträgt.
Die Zusammenfassung soll dem Leser gestatten, schnell die Natur der technischen Offenbarung festzustellen. Sie wird in dem Verständnis unterbreitet, dass sie nicht verwendet wird, um den Schutzbereich oder die Bedeutung der Ansprüche auszulegen oder zu beschränken. Außerdem können in der obigen ausführlichen Beschreibung verschiedene Merkmale in verschiedenen Ausführungsformen zusammen gruppiert worden sein, um die Offenbarung zu vereinheitlichen. Dieses Verfahren der Offenbarung sollte nicht mit einer Absicht widerspiegelnd interpretiert werden, dass die beanspruchten Ausführungsformen mehr Merkmale benötigen, als die in jedem Anspruch vorgetragen werden. Vielmehr, wie die folgenden Ansprüche widerspiegeln, liegt der Gegenstand der Erfindung in weniger als allen Merkmalen einer einzelnen offenbarten Ausführungsform. Somit werden die folgenden Ansprüche hiermit in die ausführliche Beschreibung aufgenommen, wobei ein Anspruch als eine separate Ausführungsform für sich selbst steht.

Claims

Bildverarbeitungssystem, umfassend: eine Verarbeitungseinrichtung mit einer Speichereinrichtung zum Speichern von computerausführbaren Befehlen, wobei die Verarbeitungseinrichtung programmiert ist: einen ersten Deskriptor in einem ersten Bild zu definieren; eine Maske aus dem ersten Bild zu erzeugen; einen zweiten Deskriptor in einem zweiten Bild zu definieren; den ersten Deskriptor mit dem zweiten Deskriptor zu vergleichen, um einen ersten Fehlervektor zu definieren; einen zweiten Fehlervektor durch Anwenden der Maske zu bestimmen und einen Fehler zwischen dem ersten Deskriptor und dem zweiten Deskriptor mittels dem zweiten Fehlervektor zu bestimmen.
Bildverarbeitungssystem nach Anspruch 1, wobei die Verarbeitungseinrichtung programmiert ist, das erste Bild vor dem Definieren des ersten Deskriptors weichzuzeichnen und das zweite Bild vor dem Definieren des zweiten Deskriptors weichzuzeichnen.
Bildverarbeitungssystem nach Anspruch 1 oder Anspruch 2, wobei der erste Deskriptor mittels mehreren ersten Testpunkten berechnet wird und wobei der zweite Deskriptor mehrere zweite Testpunkte beinhaltet.
Bildverarbeitungssystem nach Anspruch 3, wobei die Maske eine Teilmenge der mehreren ersten Testpunkte zulässt.
Bildverarbeitungssystem nach Anspruch 4, wobei die Maske einen Bit-Wert für jeden aus der Teilmenge der mehreren ersten Testpunkte beinhaltet.
Bildverarbeitungssystem nach einem der Ansprüche 3 bis 5, wobei Erzeugen der Maske beinhaltet: Testen der mehreren ersten Testpunkte auf Robustheit gegenüber Blickwinkeländerung; und Unterdrücken von unzuverlässigen Testpunkten von den mehreren ersten Testpunkten.
Bildverarbeitungssystem nach einem der Ansprüche 1 bis 6, wobei Vergleichen des ersten Deskriptors mit dem zweiten Deskriptor Anwenden einer exklusiv-ODER(XOR)-Operation auf den ersten Deskriptor und den zweiten Deskriptor beinhaltet.
Bildverarbeitungssystem nach einem der Ansprüche 1 bis 7, wobei Bestimmen des zweiten Fehlervektors Anwenden einer UND-Operation auf die Maske und den ersten Fehlervektor beinhaltet.
Bildverarbeitungssystem nach Anspruch 8, wobei Anwenden der UND-Operation Fehler im ersten Fehlervektor unterdrückt.
Bildverarbeitungssystem nach einem der Ansprüche 1 bis 9, wobei Vergleichen des ersten Deskriptors mit dem zweiten Deskriptor Anwenden einer Populationszählungs(POPCNT)-Operation auf den zweiten Fehlervektor beinhaltet.
Bildverarbeitungssystem nach einem der Ansprüche 1 bis 10, ferner umfassend eine Kamera, die dazu konfiguriert ist, das erste Bild und das zweite Bild aufzunehmen, wobei das zweite Bild eine Blickwinkeländerung der Kamera relativ zum ersten Bild repräsentiert.
Bildverarbeitungssystem nach Anspruch 11, wobei das erste Bild verwendet wird, um mehrere Deskriptoren und Masken zu erzeugen, und das zweite Bild verwendet wird, um mehrere Deskriptoren zu erzeugen, und wobei die Deskriptoren und die Masken, die aus dem ersten Bild erzeugt wurden, mit Deskriptoren verglichen werden, die aus mehreren nachfolgenden Bildern bestimmt wurden.
Verfahren, umfassend Definieren eines ersten Deskriptors in einem ersten Bild; Erzeugen einer Maske aus dem ersten Deskriptor; Definieren eines zweiten Deskriptors in einem zweiten Bild; Vergleichen des ersten Deskriptors mit dem zweiten Deskriptor, um einen ersten Fehlervektor zu definieren; Bestimmen eines zweiten Fehlervektors durch Anwenden einer Maske; und Bestimmen eines Fehlers zwischen dem ersten Deskriptor und dem zweiten Deskriptor von dem zweiten Fehlervektor.
Verfahren nach Anspruch 13, ferner umfassend: Weichzeichnen des ersten Bildes vor dem Definieren des ersten Deskriptors; und Weichzeichnen des zweiten Bildes vor dem Definieren des zweiten Deskriptors.
Verfahren nach Anspruch 13 oder Anspruch 14, wobei der erste Deskriptor mehrere erste Testpunkte beinhaltet und wobei der zweite Deskriptor mehrere zweite Testpunkte beinhaltet.
Verfahren nach Anspruch 15, wobei die Maske eine Teilmenge der mehreren ersten Testpunkte zulässt.
Verfahren nach Anspruch 16, wobei Erzeugen der Maske beinhaltet: Testen der mehreren ersten Testpunkte auf Robustheit gegenüber Blickwinkeländerung; und Filtern von unzuverlässigen Testpunkten von den mehreren ersten Testpunkten.
Verfahren nach einem der Ansprüche 13 bis 17, wobei Vergleichen des ersten Deskriptors mit dem zweiten Deskriptor Anwenden einer exklusiv-ODER(XOR)-Operation auf den ersten Deskriptor und den zweiten Deskriptor beinhaltet.
Verfahren nach einem der Ansprüche 13 bis 18, wobei Bestimmen des zweiten Fehlervektors Anwenden einer UND-Operation auf die Maske und den ersten Fehlervektor beinhaltet, um Fehler in dem ersten Fehlervektor zu unterdrücken.
Verfahren nach einem der Ansprüche 13 bis 19, wobei Vergleichen des ersten Deskriptors mit dem zweiten Deskriptor Anwenden einer Populationszählungs(POPCNT)-Operation auf den zweiten Fehlervektor beinhaltet.