DE102015201953A1

DE102015201953A1 - System und Verfahren zum Erzeugen einer Tiefenkarte durch iterative Interpolation und Krümmung

Info

Publication number: DE102015201953A1
Application number: DE102015201953.5A
Authority: DE
Inventors: c/o Honda Patents & Techn. Murarka Aniket; c/o Honda Patents & Techn. Einecke Nils
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2014-02-08
Filing date: 2015-02-04
Publication date: 2015-08-27
Also published as: US20150228079A1; US9336604B2; JP2015149059A; CN104835136B; JP6601935B2; CN104835136A

Abstract

Ein computerimplementiertes Verfahren zum Erzeugen einer Tiefenkarte, umfassend ein Erzeugen einer anfänglichen Tiefenkarte für ein erstes Bild, wobei das erste Bild eines von einem Paar von Stereobildern ist, die von einer Bildgebungsvorrichtung empfangen wurden, wobei das Paar von Stereobildern das erste Bild und ein zweites Bild umfasst, und Erzeugen einer geschätzten Tiefenkarte auf der Grundlage der anfänglichen Tiefenkarte durch Hypothesieren von Tiefenwerten für fehlende Regionen in der anfänglichen Tiefenkarte. Das Verfahren umfasst ein Krümmen des zweiten Bilds auf der Grundlage der geschätzten Tiefenkarte, Erzeugen einer gekrümmten Tiefenkarte auf der Grundlage des ersten Bilds und des gekrümmten zweiten Bilds und Erzeugen einer neuen Tiefenkarte für das erste Bild bezogen auf das zweite Bild auf der Grundlage der gekrümmten Tiefenkarte und der geschätzten Tiefenkarte.

Description

VERWANDTE ANMELDUNGEN
Diese Anmeldung beansprucht Priorität der vorläufigen US-Anmeldung Eingangs-Nr. 61/937496, eingereicht am 8. Februar 2014, die ausdrücklich durch Bezugnahme hierin eingeschlossen ist.
HINTERGRUND
Computer-Stereovisionssysteme weisen in der Regel zwei Kameras auf, um zwei unterschiedliche Ansichten derselben Bildszene zu erhalten. Gegenstände und Oberflächen in den zwei unterschiedlichen Ansichten können aufgrund der unterschiedlichen Perspektiven der Kameras auf der Bildszene an geringfügig unterschiedlichen Stellen erscheinen. Lokale Blockzuordnungs-Stereoverfahren können verwendet werden, um Tiefen aus den zwei unterschiedlichen Ansichten zu gewinnen. Jedoch kann es schwierig sein, Gegenstände und Oberflächen in Ansichten mit komplizierten Oberflächen, zum Beispiel nicht texturierten Oberflächen und geneigten Oberflächen, zu gewinnen. Somit gelingt es mit lokalen Blockzuordnungs-Stereoverfahren zum Gewinnen von Tiefen aus Kamerabildern aufgrund von frontoparalleler Annahme und mangelnder Textur u. a. Problemen in der Regel nicht, gültige Tiefen zu bestimmen.
KURZE BESCHREIBUNG
Gemäß einem Gesichtspunkt umfasst ein computerimplementiertes Verfahren zum Erzeugen einer Tiefenkarte das Erzeugen einer anfänglichen Tiefenkarte für ein erstes Bild, wobei das erste Bild eines von einem Paar von Stereobildern ist, die von einer Bildgebungsvorrichtung empfangen werden, wobei die Stereobilder das erste Bild und ein zweites Bild umfassen, Erzeugen einer geschätzten Tiefenkarte auf der Grundlage der anfänglichen Tiefenkarte durch Hypothesieren der Tiefenwerte für fehlende Regionen in der anfänglichen Tiefenkarte und Krümmen des zweiten Bilds auf der Grundlage der geschätzten Tiefenkarte. Das Verfahren umfasst das Erzeugen einer gekrümmten Tiefenkarte auf der Grundlage des ersten Bilds und des gekrümmten zweiten Bilds und Erzeugen einer neuen Tiefenkarte für das erste Bild bezogen auf das zweite Bild auf der Grundlage der gekrümmten Tiefenkarte und der geschätzten Tiefenkarte.
Gemäß einem anderen Gesichtspunkt umfasst ein nichttransitorisches computerlesbares Medium Anweisungen, die beim Ausführen durch einen Prozessor ein Verfahren zum Erzeugen einer Tiefenkarte durchführen, einschließlich des Erzeugens einer anfänglichen Tiefenkarte für ein erstes Bild, wobei das erste Bild eines von einem Paar von Stereobildern einer Bildszene, die von einer Bildgebungsvorrichtung empfangen wurde, ist, wobei das Paar von Stereobildern das erste Bild und ein zweites Bild einschließt, Erzeugen einer geschätzten Tiefenkarte auf der Grundlage der anfänglichen Tiefenkarte durch Hypothesieren von Tiefenwerten für fehlende Regionen in der anfänglichen Tiefenkarte und Krümmen des zweiten Bilds auf der Grundlage der geschätzten Tiefenkarte. Das Verfahren umfasst das Erzeugen einer gekrümmten Tiefenkarte auf der Grundlage des ersten Bilds und des gekrümmten zweiten Bilds und Erzeugen einer neuen Tiefenkarte für das erste Bild bezogen auf das zweite Bild auf der Grundlage der gekrümmten Tiefenkarte und der geschätzten Tiefenkarte.
Gemäß einem weiteren Gesichtspunkt weist ein Computersystem zum Erzeugen einer Tiefenkarte einen Prozessor und ein Modul der geschätzten Tiefenkarte auf, das bewirkt, dass der Prozessor eine anfängliche Tiefenkarte für ein erstes Bild erzeugt, wobei das erste Bild eines von einem Paar von Stereobildern einer Bildszene ist, empfangen von einer Bildgebungsvorrichtung, wobei das Paar von Stereobildern das erste Bild und ein zweites Bild aufweist und eine geschätzte Tiefenkarte auf der Grundlage der anfänglichen Tiefenkarte durch Hypothesieren der Tiefenwerte für fehlende Regionen in der anfänglichen Tiefenkarte erzeugt. Das System weist ein Tiefenkartenverfeinerungsmodul auf, das bewirkt, dass der Prozessor das zweite Bild auf der Grundlage der geschätzten Tiefenkarte krümmt, eine gekrümmte Tiefenkarte auf der Grundlage des ersten Bilds und des gekrümmten zweiten Bilds erzeugt und eine neue Tiefenkarte für das erste Bild bezogen auf das zweite Bild auf der Grundlage der gekrümmten Tiefenkarte und der geschätzten Tiefenkarte erzeugt.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Die neuartigen Merkmale, die als charakteristisch für die Offenbarung angenommen werden, sind in den beiliegenden Ansprüchen dargelegt. In den folgenden Beschreibungen sind gleiche Teile in der Patentschrift und den Zeichnungen jeweils mit den gleichen Zahlen gekennzeichnet. Die Zeichnungen sind nicht unbedingt maßstabsgerecht gezeichnet, und bestimmte Figuren können der Klarheit und Kürze halber in übertriebener oder verallgemeinerter Form dargestellt sein. Die Offenbarung selbst jedoch, sowie ein bevorzugter Anwendungsmodus, weitere Aufgaben und Verbesserungen davon, sind am besten unter Bezugnahme auf die folgende ausführliche Beschreibung veranschaulichender Ausführungsformen beim Lesen in Verbindung mit den beiliegenden Zeichnungen zu verstehen, wobei Folgendes gilt:
1 ist eine Prinzipskizze eines beispielhaften Systems zum Erzeugen einer Tiefenkarte durch iterative Interpolation und Krümmung gemäß einem Gesichtspunkt der vorliegenden Anmeldung;
2a ist ein veranschaulichendes Beispiel für standardgemäße lokale Blockzuordnung für eine geringfügig geneigte Oberfläche gemäß einem Gesichtspunkt der vorliegenden Anmeldung;
2b ist ein veranschaulichendes Beispiel für lokale Blockzuordnung für eine geringfügig geneigte Oberfläche gemäß einer beispielhaften Ausführungsform zum Erzeugen einer Tiefenkarte durch iterative Interpolation und Krümmung gemäß einem Gesichtspunkt der vorliegenden Anmeldung;
3 ist ein Fließschema, das ein beispielhaftes Verfahren zum Erzeugen einer Tiefenkarte durch iterative Interpolation und Krümmung gemäß einem Gesichtspunkt der vorliegenden Anmeldung darstellt;
4a ist eine Prinzipskizze eines beispielhaften Blocks von Pixeln, der zur beispielhaften horizontalen linearen Interpolation gemäß einem Gesichtspunkt der vorliegenden Anmeldung verwendet wird;
4b ist eine Prinzipskizze eines beispielhaften Blocks von Pixeln, der zur multidirektionalen linearen Interpolation gemäß einem Gesichtspunkt der vorliegenden Anmeldung verwendet wird;
5a ist ein beispielhaftes linkes Stereobild gemäß einem Gesichtspunkt der vorliegenden Anmeldung;
5b ist eine beispielhafte Disparitätskarte des linken Stereobilds von 5a gemäß einem Gesichtspunkt der vorliegenden Anmeldung;
5c ist eine beispielhafte Disparitätskarte des linken Stereobilds von 5a nach einer Iteration gemäß einem Gesichtspunkt der vorliegenden Anmeldung; und
5d ist eine beispielhafte Disparitätskarte des linken Stereobilds von 5a nach acht Iterationen gemäß einem Gesichtspunkt der vorliegenden Anmeldung.
AUSFÜHRLICHE BESCHREIBUNG
Es folgen Definitionen ausgewählter Begriffe, die hierin verwendet werden. Zu den Definitionen gehören verschiedene Beispiele und/oder Formen von Komponenten, die innerhalb des Umfangs eines Begriffes liegen und die zur Implementierung verwendet werden können. Die Beispiele sollen nicht einschränkend sein. Ferner versteht ein normaler Fachmann, dass die hierin erörterten Komponenten, kombiniert, weggelassen oder mit anderen Komponenten organisiert oder in unterschiedliche Architekturen eingebracht werden können.
Ein „Bus”, wie hier verwendet, bezieht sich auf eome in sich verbundene Architektur, die funktionsfähig mit anderen Computerkomponenten innerhalb eines Computers oder zwischen Computern verbunden ist. Der Bus kann Daten zwischen den Computerkomponenten übertragen. Dementsprechend kann der Bus mit verschiedenen Vorrichtungen, Modulen, Logiken und Peripheriegeräten mithilfe anderer Busse kommunizieren. Der Bus kann eine einzelne innere Busverbindungsarchitektur und/oder andere Bus- oder Netzarchitekturen (z. B. extern) sein. Der Bus kann u. a. ein Speicherbus, ein Speichercontroller, ein Peripheriebus, ein externer Bus, ein Kreuzschienenschalter und/oder ein lokaler Bus sein. In einigen Ausführungsformen kann der Bus ein Fahrzeug-Bus sein, der Komponenten innerhalb eines Fahrzeug mit Protokollen wie einem Controller Area network (CAN), Local Interconnect Network (LIN) u. a. miteinander verbindet.
„Computerkommunikation”, wie hier verwendet, bezieht sich auf eine Kommunikation zwischen zwei oder mehr Rechnervorrichtungen (z. B. Computer, tragbares Gerät, Minicomputer, Mobiltelefon, Netzwerkvorrichtung) und kann zum Beispiel eine Netzwerkübertragung, eine Dateiübertragung, eine Appletübertragung, eine E-Mail, eine Hypertext-Übertragungsprotokoll-(HTTP-)Übertragung und so weiter sein. Eine Computerkommunikation kann zum Beispiel über ein Drahtlossystem (z. B. IEEE 802.11), ein Ethernet-System (z. B. IEEE 802.3), ein Token-Ring-System (z. B. IEEE 802.5), ein Local Area Network (LAN), ein Wide Area Network (WAN), ein Direktverbindungssystem, ein Leitungsvermittlungssystem, ein Paketvermittlungssystem u. a. erfolgen.
Eine „Tiefenkarte”, wie hier verwendet, ist generell ein Bild oder ein Bildkanal, das bzw. der Informationen bezüglich des Abstands der Oberflächen von Gegenständen der Szene von einem Betrachtungspunkt enthält. In einigen Ausführungsformen weist die Tiefenkarte eine zweidimensionale Matrix (z. B. eine Gruppierung) von Tiefenwerten auf, wobei jeder Tiefe einer jeweiligen Stelle in einer Szene entspricht und den Abstand von einem bestimmten Bezugspunkt zur jeweiligen Stelle der Szene angibt. In einigen Ausführungsformen ist eine Disparitätskarte eine Tiefenkarte, bei der die Tiefeninformationen von versetzten Bildern derselben Szene abgeleitet sind. Eine Disparitätskarte kann eine inverse Tiefenkarte sein, die durch mittels Transformation erhaltene Kamerakalibrationsparameter erhalten wird.
Ein „Laufwerk”, wie hier verwendet, kann zum Beispiel ein Magnetplattenlaufwerk, ein Festkörperlaufwerk, ein Diskettenlaufwerk, ein Bandlaufwerk, ein ZIP-Laufwerk, eine Flash-Speicherkarte und/oder ein Speicherstick sein. Außerdem kann das Laufwerk eine CD-ROM (Compact Disk ROM), ein Laufwerk für beschreibbare CDs (CD-R-Laufwerk), ein Laufwerk für wiederbeschreibbare CDs (CD-RW-Laufwerk) und/oder ein Laufwerk für Digital-Video-ROMs (DVD ROM) sein. Auf dem Laufwerk kann ein Betriebssystem gespeichert sein, das Ressourcen einer Computervorrichtung steuert oder zuweist.
„Lokale Blockzuordnungs-Stereoverfahren”, wie hier verwendet, sind ein Entsprechungsverfahren zum Berechnen von Disparitäten zwischen Bildern. Generell wird für jedes Pixel in einem ersten Bild ein erster Block um das Pixel extrahiert. In einem zweiten Bild wird eine Suche nach einem zweiten Block durchgeführt, der mit dem ersten Block am besten übereinstimmt. Die Suche erfolgt in einem vorbestimmten Bereich von Pixeln um das Pixel in dem ersten Bild. Der erste Block und der zweite Block werden verglichen, und es wird ein Pixel mit minimalen Übereinstimmungskosten (bzw. -abschlägen) ausgewählt. Die verwendeten Kostenfunktionen können u. a. summierte absolute Differenz (SAD), Rangtransformationskorrelation (NCC) und summierte normalisierte Kreuzkorrelation (SNCC) einschließen.
Ein „Speicher”, wie hier verwendet, kann flüchtigen Speicher und/oder nichtflüchtigen Speicher einschließen. Zu nichtflüchtigem Speicher können zum Beispiel ROM (Festwertspeicher), PROM (programmierbarer Festwertspeicher), EPROM (löschbarer PROM) und EEPROM (elektrisch löschbarer PROM) gehören. Zu flüchtigem Speicher können zum Beispiel RAM (Direktzugriffsspeicher), synchroner RAM (SRAM), dynamischer RAM (DRAM), synchroner DRAM (SDRAM), SDRAM mit doppelter Datenübertragungsrate (DDRSDRAM), und Direct-Rambus-RAM (DRRAM) gehören. Auf dem Speicher kann ein Betriebssystem gespeichert sein, das Ressourcen einer Computervorrichtung steuert oder zuweist.
Ein „Eingabe-/Ausgabe”-Gerät, wie hier verwendet, kann eine Tastatur, ein Mikrofon, eine Vorrichtung zum Anzeigen und Auswählen, Kameras, Bildgebungsvorrichtungen, Videokarten, Displays, ein Laufwerk, Netzwerkgeräte u. a. einschließen. Das Eingabe-/Ausgabe-Gerät kann Eingabe-/Ausgabe-Anschlüsse, zum Beispiel serielle Anschlüsse, parallele Anschlüsse und USB-Anschlüsse, einschließen.
Ein „Modul”, wie hier verwendet, umfasst, ohne darauf beschränkt zu sein, ein nichttransitorisches computerlesbares Medium, auf dem Anweisungen, Anweisungen in Ausführung auf einer Maschine, Hardware, Firmware, Software in Ausführung auf einer Maschine und/oder Kombinationen von jedem, um eine oder mehrere Funktion(en) oder Handlung(en) durchzuführen und/oder eine Funktion oder Handlung von einem anderen Modul, Verfahren und/oder System zu bewirken. Ein Modul kann auch Logik, einen softwaregesteuerten Mikroprozessor, einen diskreten Logikschaltkreis, einen analogen Schaltkreis, einen digitalen Schaltkreis, ein programmiertes Logikgerät, ein Speichergerät, das Ausführungsanweisungen enthält, Logikgatter, eine Kombination von Gattern und/oder andere Schaltkreiskomponenten einschließen. Es können mehrere Module zu einem Modul kombiniert sein, und einzelne Module können können auf mehrere Module verteilt sein.
Eine „funktionsfähige Verbindung” oder eine Verbindung, worüber Instanzen „funktionsfähig verbunden” sind, ist eine, bei der Signale, physische Kommunikationen und/oder logische Kommunikationen gesendet und/oder empfangen werden können. Eine funktionsfähige Verbindung kann eine physische Schnittstelle, eine Daten Schnittstelles und/oder eine elektrische Schnittstelle einschließen.
Ein „Prozessor”, wie hier verwendet, verarbeitet Signale und führt allgemeine Rechnung und arithmetische Funktionen durch. Durch den Prozessor verarbeitete Signale können digitale Signale, Datensignale, Computeranweisungen, Prozessoranweisungen, Nachrichten, ein Bit, einen Bitstrom oder andere Mittel einschließen, die empfangen, gesendet und/oder erfasst werden können. Allgemein kann der Prozessor aus einer Vielzahl von unterschiedlichen Prozessoren stammen, einschließlich Mehr-, Einzel- und Mehrkern-Prozessoren und -Koprozessoren und anderen Mehr-, Einzel- und Mehrkern-Prozessor- und -Koprozessorarchitekturen. Der Prozessor kann verschiedene Module einschließen, um verschiedene Funktionen auszuführen.
Ein „Fahrzeug” wie hier verwendet, bezieht sich auf jedes bewegte Fahrzeug, das in der Lage ist, einen oder mehrere menschliche Insassen zu befördern, und durch irgendeine Energieform angetrieben wird. Der Begriff „Fahrzeug” schließt Folgendes ein, ohne darauf beschränkt zu sein: Autos, LKW, Transporter, Kleinbusse, Geländewagen, Motorräder, Mopeds, Boote, Wassermotorräder und Flugzeuge. In einigen Fällen weist ein Kraftfahrzeug einen oder mehrere Motoren. Ferner kann sich der Begriff „Fahrzeug” auf ein Elektrofahrzeug (EF) beziehen, das in der Lage ist, einen oder mehrere menschliche Insassen zu befördern, und ganz oder teilweise von einem oder mehreren Elektromotoren, die von einer elektrischen Batterie betrieben werden, angetrieben wird. Das EF kann Batterie-Elektrofahrzeuge (BEV) und Plug-in-Hybridelektrofahrzeuge (PHEV) einschließen. Außerdem kann sich Der Begriff „Fahrzeug” auf ein autonomes Fahrzeug und/oder selbstfahrendes Fahrzeug, das von irgendeiner Energieform angetrieben wird, beziehen. Das autonome Fahrzeug kann, muss aber nicht einen oder mehrere menschliche Insassen befördern.
Ein „Fahrzeugssystem”, wie hier verwendet, kann, ohne jedoch darauf beschränkt zu sein, jegliche automatischen oder manuellen Systeme einschließen, die verwendet werden können, um das Fahrzeug, das Fahren und/oder die Sicherheit zu verbessern. Zu beispielhaften Fahrzeugsystemen gehören, ohne jedoch darauf beschränkt zu sein: ein elektronisches Stabilitätskontrollsystem, ein Antiblockiersystem, ein Notbremsassistenzsystem, ein automatisches Bremsbereitschaftssystem, ein Staufolge-Fahrsystem, ein Geschwindigkeitsregelsystem, ein Auffahrwarnsystem, ein Kollisionsminderungsbremssystem, ein automatisches Geschwindigkeitsregelsystem, ein Spurwechselwarnsystem, ein Toter-Winkel-Anzeigesystem, ein Spurhalteassistenzsystem, ein Navigationssystem, ein Übertragungssystem, Bremspedalsysteme, ein Elektroservolenkungssystem, visuelle Vorrichtungen (z. B. Kamerasysteme, Näherungssensorsysteme), ein Klimaanlagensystem, ein elektronisches Vorspannsystem u. a.
Bezugnehmend auf die Zeichnungen, wobei die Darstellungen Zwecken der Veranschaulichung einer oder mehrerer beispielhafter Ausführungsformen und nicht Zwecken der Einschränkung selbiger dienen, zeigt nun 1 eine Prinzipskizze eines beispielhaften Systems 100 zum Erzeugen einer Tiefenkarte durch iterative Interpolation und Krümmung. Die Komponenten des Systems 100 sowie die Komponenten anderer Systeme, Hardware-Architekturen und Software-Architekturen, die hierin erörtert sind, können für verschiedene Ausführungsformen kombiniert, weggelassen oder in unterschiedlicher Architektur organisiert werden. Ferner können das System 100 und/oder eine oder mehrere Komponenten des Systems 100 in einigen Ausführungsformen mit einem Fahrzeug oder Fahrzeugsystemen (z. B. Infotainmentsystemen, Navigationssystemen, Fahrzeugkopfeinheiten) (nicht dargestellt) implementiert werden.
In der dargestellten Ausführungsform von 1 weist das System 100 einen Computer 102 mit Vorkehrungen für Verarbeitung, Kommunikation und Interaktion mit verschiedenen Komponenten des Systems 100 auf. Generell weist der Computer 102 einen Prozessor 104, einen Speicher 106, ein Laufwerk 108 und eine Kommunikationsschnittstelle 110 auf, die für Computerkommunikation mithilfe eines Busses 112 jeweils funktionsfähig verbunden sind. Der Computer kann in einigen Ausführungsformen in ein Fahrzeug (nicht dargestellt), zum Beispiel eine Motorsteuereinheit, eine Fahrzeugkopfeinheit, ein Bildgebungssystem u. a. integriert oder damit verbunden sein. Die Kommunikationsschnittstelle 112 stellt Software und Hardware bereit, um Datenein- und -ausgang zwischen den Komponenten des Computers 102 und anderen Komponenten, Netzwerken und Datenquellen, die hierin beschrieben sind, zu erleichtern. Wie ausführlicher mit den Systeme und den Verfahren, die hierin erörtert sind, erläutert ist, weist der Prozessor 104 zudem ein Modul der geschätzten Tiefenkarte 118 und ein Tiefenkartenverfeinerungsmodul 120 auf.
Der Computer 102 ist auch funktionsfähig für Computerkommunikation mit einer Bildgebungsvorrichtung 114 und einer Anzeigevorrichtung 116 verbunden. Die Bildgebungsvorrichtung 114 kann eine oder mehrere Kameras aufweisen. Die Bildgebungsvorrichtung 114 erhält ein Paar von Bildern von einer Ansicht. Das Paar von Bildern kann ein erstes Bild und ein zweites Bild der Ansicht sein. Zum Beispiel kann das Paar von Bildern ein linkes Bild und ein rechtes Bild der Ansicht sein. Die Bildgebungsvorrichtung 114 kann jede Art von Vorrichtung zum Erhalten und/oder Erfassen von Bilddaten um der Ansicht sein. Zum Beispiel kann die Bildgebungsvorrichtung 114 eine oder mehrere Stereokameras, 3D-Kameras, 2D-Kameras, mobile Tiefenkameras, Videokameras, CCD-Kameras, CMOS-Kameras, Kameras an tragbaren Geräten u. a. sein. Innerhalb eines Fahrzeugs kann die Bildgebungsvorrichtung 114 innerhalb des Fahrzeugs oder außerhalb des Fahrzeug angeordnet sein, zum Beispiel vorwärts gerichtete Kameras. In anderen Ausführungsformen kann die Bildgebungsvorrichtung 114 eine oder mehrere Bildgebungsvorrichtungen von einem oder mehreren tragbaren Geräten (nicht dargestellt) einschließen, die für Computerkommunikation mit dem Computer 102 funktionsfähig verbunden sind. In einer weiteren Ausführungsform kann das Paar von Bildern von einem Netzwerk (nicht dargestellt), einer Datenbank (nicht dargestellt) oder einer anderen Vorrichtung, die das von einer Bildgebungsvorrichtung erhaltene Paar von Bildern speichert, erhalten werden.
In der in 1 gezeigten Ausführungsform kann die Anzeigevorrichtung 116 Eingabe- und/oder Ausgabegeräte zum Empfangen und/oder Anzeigen von Informationen von dem Computer 102 einschließen. Zum Beispiel kann die Anzeigevorrichtung 116 ein Bildanzeigebildschirm, ein Touchscreen, das Display eines tragbaren Geräts, ein Display in einem Fahrzeug, ein Heads-Up-Display, ein LCD-Display u. a. sein. In einigen Ausführungsformen können die Tiefenkarte und Bilder, die in den hierin erörterten Verfahren und Systemen verarbeitet werden, auf der Anzeigevorrichtung 116 angezeigt werden.
Das Modul der geschätzten Tiefenkarte 118 und das Tiefenkartenverfeinerungsmodul 120 von 1 werden nun im Bezug auf ein beispielhaftes System zum Erzeugen einer Tiefenkarte Gemäß einer beispielhaften Ausführungsform ausführlich erörtert. Das Modul der geschätzten Tiefenkarte bewirkt, dass der Prozessor eine anfängliche Tiefenkarte für ein erstes Bild erzeugt. Das erste Bild ist eines von einem Paar von Stereobildern einer Bildszene (z. B. derselben Bildszene), die von einer Bildgebungsvorrichtung, zum Beispiel der Bildgebungsvorrichtung 114, empfangen wurde. Das Paar von Stereobildern weist das erste Bild und ein zweites Bild der Bildszene auf. In einigen Ausführungsformen ist das erste Bild ein linkes Bild (z. B. ein Bild, das eine linke Perspektive der Bildszene zeigt) und das zweite Bild ein rechtes Bild (z. B. ein Bild, das eine rechte Perspektive der Bildszene zeigt) oder umgekehrt. Die hierin erörterten beispielhaften Systeme und Verfahren sind so beschrieben, dass das erste Bild ein linkes Bild ist und das zweite Bild ein rechtes Bild ist, jedoch sind, wie vorstehend erläutert, andere Ausführungsformen vorgesehen. Es versteht sich ferner, dass in einigen Ausführungsformen das erste Bild und das zweite Bild Farbstereobilder sind und das System 100 die Farbstereobilder in Graustufen (z. B. Einkanalbilder) umwandeln kann oder das System 100 die Stereobilder in Farbe verarbeiten kann.
Das Paar von Stereobildern wird nun im Bezug auf 2a und 2b erörtert. 2a ist ein veranschaulichendes Beispiel von standardgemäßer lokaler Blockzuordnung für eine leicht geneigte Oberfläche. 2a umfasst ein erstes Bild (z. B. ein linkes Bild, L) 202a einer Bildszene und ein zweites Bild (z. B. ein rechtes Bild, R) 202b der Bildszene. In 2a und 2b ist die Bildszene eine Straßenansicht, die zum Beispiel von einer vorwärts gerichteten Kamera (z. B. der Bildgebungsvorrichtung 114) an einem Fahrzeug aufgenommen wurde. In dem ersten Bild 202a und dem zweiten Bild 202b ist eine Straße 204a (z. B. ein Gegenstand in der Bildszene) im Bezug auf die Bildebenen beider Kameras (z. B. Blickpunkte) geneigt. Wie in 2a dargestellt, wird ein Block 206a mithilfe eines lokalen Blockzuordnungsverfahrens in dem ersten Bild 202a berechent, wobei der Block 206a die Straße 204a umfasst. Ein Block 206b wird mithilfe lokaler Blockzuordnung in dem zweiten Bild 202b auf der Grundlage des Blocks 206a berechnet. Die Disparitätswerte zwischen den entsprechenden Blöcken (d. h. dem Block 206a und dem Block 206b) in 2a variieren drastisch, teilweise aufgrund der stark geneigten Oberfläche der Straße 204a in dem zweiten Bild 202b. Dies führt zu sehr ungleichen entsprechenden Blöcken, und diese Ungleichheit kann zu ungenauen Korrelationswerten und Regionen ungenauer oder fehlender Tiefen in einer Tiefenkarte, die auf der Grundlage des Blocks 206a und des Blocks 206b erzeugt wird.
Im Gegensatz zu 2a ist 2b ein veranschaulichendes Beispiel von lokaler Blockzuordnung für eine leicht geneigte Oberfläche gemäß einer beispielhaften Ausführungsform zum Erzeugen einer Tiefenkarte durch iterative Interpolation und Krümmung. Ähnlich 2a umfasst 2b ein erstes Bild (z. B. ein linkes Bild, L) 210a einer Bildszene und ein zweites Bild (z. B. ein rechtes Bild, R) 210b der Bildszene. In dem ersten Bild 210a und dem zweiten Bild 210b ist eine Straße 212a (z. B. ein Gegenstand in der Bildszene) stark geneigt. Anders als bei 2a, wo die Straße von unterschiedlichen Blickpunkten betrachtet wird, wird eine geschätzte Tiefenkarte (wie hierin beschrieben) jedoch verwendet, um den Blickpunkt von Bild 210b so zu ändern, dass er dem von Bild 210a entspricht. Dies wird durch Krümmen von Bild 202b erreicht, um ein Bild 210b zu erhalten, wie anhand der hierin erörterten beispielhaften Verfahren und Systeme beschrieben ist. Wie in 2b dargestellt, wird ein Block 214a mithilfe lokaler Blockzuordnungsverfahren des ersten Bilds 210a berechnet und umfasst die Straße 212a. Ein Block 214b wird durch lokale Blockzuordnung des zweiten Bilds 210b, das gekrümmt ist, auf der Grundlage des Blocks 214a berechnet. Die Disparitätswerte zwischen entsprechenden Blöcken (d. h. einem Block 214a und einem Block 214b) in 2b sind minimal, was zu ähnlichen entsprechenden Blöcken führt, was teilweise daran liegt, dass das zweite Bild 210b gekrümmt ist. Dementsprechend ist eine Tiefenkarte, die auf der Grundlage des Blocks 214a und des Blocks 213b erzeugt wird, genauer.
Wiederum bezugnehmend auf 1 erzeugt das Modul der geschätzten Tiefenkarte 118 eine geschätzte Tiefenkarte auf der Grundlage der anfänglichen Tiefenkarte durch Hypothesieren von Tiefenwerten für fehlende Regionen in der anfänglichen Tiefenkarte. Die Tiefenwerte für fehlende Regionen können mithilfe von Interpolation, zum Beispiel horizontaler linearer Interpolation und/oder multidirektionaler Interpolation, die ausführlicher im Bezug auf 3, 4a und 4b unten erörtert werden, hypothesiert werden. Generell wird die anfängliche Tiefenkarte von dem Modul der geschätzten Tiefenkarte 118 mithilfe eines lokalen Blockzuordnungsverfahrens erzeugt, und die geschätzte Tiefenkarte wird von dem Modul der geschätzten Tiefenkarte 118 durch Füllen von Regionen mit fehlenden Tiefenwerte durch Interpolation erzeugt.
Die geschätzte Tiefenkarte kann von dem Tiefenkartenverfeinerungsmodul 120 zum Beispiel verwendet werden, um das zweite Bild zu krümmen, wie im zweiten Bild 210b von 2b dargestellt. Insbesondere bewirkt das Tiefenkartenverfeinerungsmodul 120, dass der Prozessor 104 das zweite Bild auf der Grundlage der geschätzten Tiefenkarte krümmt. Das Tiefenkartenverfeinerungsmodul 120 erzeugt eine gekrümmte Tiefenkarte auf der Grundlage des ersten Bilds und des gekrümmten zweiten Bilds. Das Tiefenkartenverfeinerungsmodul 120 erzeugt eine neue Tiefenkarte für das erste Bild bezogen auf das zweite Bild auf der Grundlage der gekrümmten Tiefenkarte und der geschätzten Tiefenkarte. In einigen Ausführungsformen erzeugt das Tiefenkartenverfeinerungsmodul 120 eine neue Tiefenkarte durch Entkrümmung der gekrümmten Tiefenkarte. Entkrümmung der Tiefenkarte schließt das Tiefenkartenverfeinerungsmodul 120 ein, das eine Disparität zwischen entsprechenden Pixeln in der geschätzten Tiefenkarte und dem gekrümmten zweiten Bild erkennt. Die Disparität wird dann zu der gekrümmten Tiefenkarte hinzugegeben, wodurch eine neue Tiefenkarte erzeugt wird.
In einer Ausführungsform führt der Prozessor 104 das Modul der geschätzten Tiefenkarte 118 und das Tiefenkartenverfeinerungsmodul 120 iterativ aus und überschreibt die anfängliche Tiefenkarte mit der neuen Tiefenkartenausgabe durch das Tiefenkartenverfeinerungsmodul 120. In einer weiteren Ausführungsform führt der Prozessor 104 das Modul der geschätzten Tiefenkarte 118 und das Tiefenkartenverfeinerungsmodul 120 iterativ aus, bis bestimmt wird, dass die entsprechenden Werte der Tiefenkarte von der vorherigen Iteration (die z. B. die anfängliche Tiefenkarte sein kann) und der neuen Tiefenkarte konstant bleiben. Die Details des Iterationsverfahrens werden mit 3 ausführlicher beschrieben. Dieser iterative und krümmende Ansatz erhöht den Prozentsatz gültiger Tiefen für lokale Verfahren, während der Prozentsatz von Pixeln mit fehlerhaften Tiefen niedrig gehalten wird.
Das in der vorstehend beschriebenen 1 dargestellte System 100 wird nun im Bezug auf das Verfahren von 3 beschrieben. Es versteht sich, dass die vorstehend in 1 erörterten Systeme und Komponenten ähnlich mit dem Verfahren von 3 implementiert werden können. Das Verfahren von 3 zeigt ein beispielhaftes Verfahren zum Erzeugen einer Tiefenkarte durch iterative Interpolation und Krümmung. Wie vorstehend erwähnt, wird das Verfahren von 3 erörtert, wobei ein erstes Bild ein linkes Bild (L) einer Bildszene ist und das zweite Bild ein rechtes Bild (R) der Bildszene ist, es versteht sich jedoch, dass in anderen Ausführungsformen das erste Bild das rechte Bild sein könnte und das zweite Bild das linke Bild sein könnte.
Bezugnehmend auf 3 umfasst bei Block 310 das Verfahren das Erzeugen einer anfänglichen Tiefenkarte für das erste Bild (d. h. das linke Bild, L), hierin als D_L bezeichnet. In einer Ausführungsform kann das Modul der geschätzten Tiefenkarte 118 von 1 die anfängliche Tiefenkarte D_L für das erste Bild (d. h. das linke Bild, L) erzeugen. Insbesondere wird die anfängliche Tiefenkarte D_L für ein erstes Bild erzeugt, wobei das erste Bild eines von einem Paar von Stereobildern ist, die von einer Bildgebungsvorrichtung empfangen werden, wobei das Paar von Stereobildern das erste Bild und ein zweites Bild umfasst. In 3 wird ein linkes Bild (d. h. ein erstes Bild) als Eingabe 302 bei Block 210 empfangen, und ein rechtes Bild (d. h. ein zweites Bild) wird als Eingabe 304 bei Block 310 empfangen. Das linke Bild und das rechte Bild werden zum Beispiel von der Bildgebungsvorrichtung 114 von 1 erhalten.
Die anfängliche Tiefenkarte D_L wird aus einem ungekrümmten linken Bild und einem ungekrümmten rechten Bild erzeugt (z. B. den Originalbildern; L, R). In einigen Ausführungsformen wird die anfängliche Tiefenkarte D_L mithilfe eines lokalen Blockzuordnungsverfahrens erzeugt. Außerdem versteht es sich, dass andere Bildverarbeitungsschritte nach dem Erzeugen der anfänglichen Tiefenkarte D_L angewendet werden können, zum Beispiel Links-Rechts-Überprüfung und/oder Entfernung kleiner Disparitätsregionen. Ferner wird auch ein Zähler ITER, der eine Iteration einer Schleife angibt, als Eingabe 306 bei Block 310 empfangen. Wie dargestellt wird bei Eingabe 306 bei einer ersten Iteration ITER auf 0 gesetzt. Der Prozessor 104 von 1 kann den Zähler ITER beibehalten. In dem in 3 dargestellten Verfahren wird Block 310 bei einer ersten Iteration (d. h. ITER = 0) ausgeführt.
In einigen Situationen weist sogar mit Nachverarbeitungsverfahren die anfängliche Tiefenkarte D_L viele Regionen mit fehlenden Tiefen (z. B. Löcher) auf. Wiederum bezugnehmend auf 3 umfasst dementsprechend bei Block 312 das Verfahren das Erzeugen einer geschätzten Tiefenkarte auf der Grundlage der anfänglichen Tiefenkarte durch Hypothesieren von Tiefenwerten für fehlende Regionen in der anfänglichen Tiefenkarte. Die geschätzte Tiefenkarte ist hierin mit D_I gekennzeichnet. In einer Ausführungsform erzeugt das Modul der geschätzten Tiefenkarte 118 von 1 eine geschätzte Tiefenkarte auf der Grundlage der anfänglichen Tiefenkarte. Wie hierin ausführlicher erläutert, beruht, wenn ITER > 0, die geschätzte Tiefenkarte auf der neuen Tiefenkarte D neu / L . Also, wenn ITER > 0, dann D_L = D neu / L
Hypothesieren von Tiefenwerten für fehlende Regionen kann auf verschiedene Wege erfolgen, zum Beispiel durch Interpolation bei Block 314. Bei Block 314 wird der ITER-Zähler um 1 erhöht, zum Beispiel erhöht der Prozessor 104, der den ITER-Zähler beibehalten kann, den ITER-Zähler um 1. Ferner wird bei Block 314 die Tiefenkarte D_L interpoliert, um die geschätzte Tiefenkarte D_I zu erhalten. In einer Ausführungsform umfasst das Erzeugen der geschätzten Tiefenkarte auf der Grundlage der anfänglichen Tiefenkarte durch Hypothesieren von Tiefenwerten für fehlende Regionen in der anfänglichen Tiefenkarte das Schätzen der Tiefenwerte mit horizontaler Interpolation. Bei horizontaler Interpolation wird jede Reihe horizontal und linear gefüllt, wobei zwischen dem ersten linken und rechten Pixel mit einem gültigen Disparitätseintrag interpoliert wird. In einer Ausführungsform wird die Interpolation zwischen dem ersten linken udn rechten Pixel abgeschlossen, wenn bestimmt wird, dass der Disparitätswert innerhalb eines vorgegebenen Schwellenwerts liegt. Zum Beispiel könnte der vorgegebene Schwellenwert auf eine Anzahl von Pixeln, zum Beispiel 40 Pixel, festgelegt werden. Die verbleibenden Pixel werden mit der kleinsten benachbarten Disparität gefüllt.
4a ist eine Prinzipskizze eines beispielhaften Blocks von Pixeln 402, der für horizontale lineare Interpolation verwendet wird. In 4a ist der Block von Pixeln 402 ein Block von 10×10 Pixeln, ausgehend von der Koordinate (1a, 1a) und zur Koordinate (100a, 100a) verlaufend. Die in 4a dargestellten schwarzen Punkte (z. B. der schwarze Punkt 404) sind Pixel eines Bilds, die einen Wert aufweisen. Wenn ein erstes Bild mit dem Block von Pixeln 402 zum Beispiel der Anzeigevorrichtung 116 von 1 ohne Interpolation angezeigt werden sollte, gäbe es fehlende Pixel und Regionen, da einige Pixel keine Werte aufweisen. Zum Beispiel hat das Pixel bei Koordinate (1a, 2a) keinen Wert. Die Pixel in dem Block von Pixeln 402, die keinen Wert aufweisen, können interpoliert werden, und in dem in 4a dargestellten Beispiel werden diese Pixel mit horizontaler linearer Interpolation interpoliert, wie durch den Pfeil 406 dargestellt. Dementsprechend interpoliert der Prozessor 104 in einer Ausführungsform den Wert von Pixeln, die keinen Wert aufweisen, mithilfe ausgewählter Pixel aus dem Block von Pixeln 402. In dieser Ausführungsform zum Beispiel kann der Wert der Pixel, die sich bei Koordinate (6a, 5a) befinden, mithilfe gültiger Disparitätswerte für das Pixel links (z. B. (6a, 4a)) und eines gültigen Disparitätswerts für das Pixel rechts (z. B. (6a, 6a)) interpoliert werden. Die horizontale lineare Interpolation kann für jede Reihe oder eine Teilmenge von Reihen und/oder Pixeln angewendet werden.
In einer anderen Ausführungsform umfasst das Erzeugen der geschätzten Tiefenkarte auf der Grundlage der anfänglichen Tiefenkarte durch Hypothesieren von Tiefenwerten für fehlende Regionen in der anfänglichen Tiefenkarte das Schätzen der Tiefenwerte mit multidirektionaler linearer Interpolation. Die multidirektionale lineare Interpolation kann auf der Iteration (d. h. ITER) beruhen. In einer Ausführungsform ändert sich ferner die Interpolationsrichtung für jede Iteration. Zum Beispiel ist die Interpolationsrichtung gemäß der Iterationszahl um 180 Grad verteilt. Zum Beispiel ist im Falle von zwei Iterationen die erste Interpolation (d. h. ITER = 1) horizontal bei 0 Grad, und die zweite Interpolation (d. h. ITER = 2) ist vertikal bei 90 Grad. Im Falle von vier Iterationen ist die erste Interpolation (d. h. ITER = 1) horizontal bei 0 Grad, die zweite Interpolation (d. h. ITER = 2) vertikal bei 90 Grad, die dritte Interpolation (d. h. ITER = 3) bei 45 Grad und die vierte Interpolation (d. h. ITER = 4) bei 135 Grad. Die verbleibenden Pixel können mit der kleinsten benachbarten Disparität gefüllt werden.
4b ist eine Prinzipskizze eines beispielhaften Blocks von Pixeln 408, der gemäß beispielhafter multidirektionaler linearer Interpolation verwendet wird. In 4b ist der Block von Pixeln 408 ein Block von 10×10 Pixeln, ausgehend von der Koordinate (1b, 1b) und zur Koordinate (100b, 100b) verlaufend. Die in 4b dargestellten schwarzen Punkte (z. B. der schwarze Punkt 410), sind Pixel eines Bilds, die einen Wert aufweisen. Wenn ein erstes Bild mit dem Block von Pixeln 408 zum Beispiel der Anzeigevorrichtung 116 von 1 ohne Interpolation angezeigt werden sollte, gäbe es fehlende Pixel und Regionen, da einige Pixel keine Werte aufweisen. Zum Beispiel hat das Pixel bei Koordinate (1b, 2b) keinen Wert. Die Pixel in dem Block von Pixeln 408, die keine Werte aufweisen, können interpoliert werden, und in dem Beispiel von 4b werden diese Pixel mit multidirektionaler linearer Interpolation auf der Grundlage der Iteration interpoliert. zum Beispiel ist für die erste Iteration i₁ (d. h. ITER = 1) die Interpolation horizontal bei 0 Grad. Für die zweite Iteration i₂ (d. h. ITER = 2) ist die Interpolation vertikal bei 90 Grad. Für die dritte Iteration i₃ (d. h. ITER = 3) ist die Interpolation bei 45 Grad. Für die vierte Iteration i₄ (d. h. ITER = 4) ist die Interpolation bei 135 Grad. Es versteht sich, dass die multidirektionale lineare Interpolation eine oder mehrere Interpolationen einschließen kann, einschließlich mehr als vier Iterationen. Die multidirektionale lineare Interpolation kann für jede Reihe oder eine Teilmenge von Reihen und/oder Pixeln angewendet werden.
Wiederum bezugnehmend auf 3, umfasst das Verfahren bei Schritt 316 ein Krümmen des zweiten Bilds auf der Grundlage der geschätzten Tiefenkarte D_I. In einer Ausführungsform krümmt das Tiefenkartenverfeinerungsmodul 120 das zweite Bild auf der Grundlage der geschätzten Tiefenkarte D_I Insbesondere wird in einer Ausführungsform die geschätzte Tiefenkarte D_I verwendet, um das rechte Bild (R) zu krümmen, um ein neues Bild R_W zu erhalten. Insbesondere weist ein Krümmen des zweiten Bilds auf der Grundlage der geschätzten Tiefenkarte ein Bestimmen einer Intensität eines oder mehrerer Pixel in dem zweiten Bild auf der Grundlage einer Intensität eines entsprechenden Pixels in der geschätzten Tiefenkarte auf. Anders ausgedrückt, wird zum Berechnen des neuen Bilds R_W die Intensität bei Pixelposition (x, y) in R_W von R (d. h. dem ursprünglichen rechten Bild) folgendermaßen berechnet: R_w(x, y) = R(x – D_I(x, y), y) (1)
Wiederum bezugnehmend auf 3, umfasst bei Block 318 das Verfahren ein Erzeugen einer gekrümmten Tiefenkarte auf der Grundlage des ersten Bilds und des gekrümmten zweiten Bilds. Die gekrümmte Tiefenkarte ist hierin mit D_W gekennzeichnet. In einer Ausführungsform erzeugt das Tiefenkartenverfeinerungsmodul 120 die gekrümmte Tiefenkarte auf der Grundlage des ersten Bilds und des gekrümmten zweiten Bilds. In der in 3 dargestellten Ausführungsform beruht die gekrümmte Tiefenkarte auf dem linken Bild L und dem gekrümmten rechten Bild R_W. Somit sind nach Krümmung des zweiten Bilds (d. h. R_W) Unterschiede zwischen dem neuen Bildpaar (L, R_W) reduziert. Dementsprechend ist eine neue Disparitätskarte (d. h. D_W) auf der Grundlage des neuen Bildpaars weniger anfällig für perspektivische Effekte, da die Bilder des neuen Bildpaars einander mehr ähneln.
Wenn Entsprechungen zwischen dem linken Bild und dem gekrümmten rechten Bild gefunden werden, wird nach positiven und negativen Disparitäten gesucht. Insbesondere wird nach negativen Disparitäten gesucht, da die Disparitätsschätzungen in D_I höhe sein können als die tatsächliche Disparität für einige Pixel, und als Folge könnten die Pixel in dem gekrümmten rechten Bild zu weit nach rechts verschoben sein. Daher kann in einer Ausführungsform der gesamte Disparitätssuchbereich für jede Iteration modifiziert werden. Zum Beispiel kann der Disparitätssuchbereich bei den folgenden Iterationen reduziert werden. Als veranschaulichendes Beispiel kann der ursprüngliche Suchbereich von 0 bis 128 Pixel betragen, während der Suchbereich bei nachfolgenden Iterationen –8 bis 8 Pixel betragen kann. Außerdem versteht es sich, dass andere Nachverarbeitungsschritte bei der gekrümmten Disparitätskarte angewendet werden können, zum Beispiel Links-Rechts-Überprüfung und Entfernung kleiner Disparitätsregionen.
Bei Block 320 umfasst das Verfahren das Erzeugen einer neuen Tiefenkarte für das erste Bild bezogen auf das zweite Bild auf der Grundlage der gekrümmten Tiefenkarte und der geschätzten Tiefenkarte. Die neue Tiefenkarte ist als D neu / L In einer Ausführungsform umfasst das Erzeugen der neuen Tiefenkarte ein Entkrümmen der gekrümmten Tiefenkarte bei Block 322. In der in 3 dargestellten Ausführungsform enthält die gekrümmte Tiefenkarte D_W Disparitäten, die Pixel in dem linken Bild mit Pixeln in dem gekrümmten rechten Bild (d. h. R_W) in Beziehung setzen. Somit muss die gekrümmte Tiefenkarte „entkrümmt” werden, um Tiefenwerte bezogen auf das ursprüngliche rechte Bild zu erhalten und nachfolgend eine neue Tiefenkarte zu erzeugen.
In einer Ausführungsform umfasst das Entkrümmen der gekrümmten Tiefenkarte ein Erkennen einer Disparität zwischen entsprechenden Pixeln in der geschätzten Tiefenkarte und dem gekrümmten zweiten Bild und Hinzufügen der Disparität zur gekrümmten Tiefenkarte. Insbesondere wird die Disparität, um die das entsprechende Pixel in dem gekrümmten rechten Bild verschoben wurde, zu D_W hinzugefügt, und die interpolierte Tiefenkarte, die mit D_I gekennzeichnet ist, wird verwendet, da das gekrümmte rechte Bild mithilfe der interpolierten Tiefenkarte erhalten wurde, und zwar wie folgt: D neu / L(x, y) = D_W(x, y) + D_I(x – D_W(x, y), y) (2)
In einer Ausführungsform kann die neue Tiefenkarte auch weiter gefiltert werden, um eine Anhäufung von Fehlern über mehrere Iterationen zu vermeiden. Insbesondere werden die Werte von Pixeln in der geschätzten Tiefenkarte entweder verworfen oder angenommen, je nachdem, ob die Werte der Pixel in der geschätzten Tiefenkarte mit dem Wert der Pixel in der gekrümmten Tiefenkarte übereinstimmen, wie bei Block 324 dargestellt. In einer Ausführungsform wird die neue Tiefenkarte überprüft, um sicherzustellen, dass die neue Tiefenkarte keine Disparitäten außerhalb des ursprünglichen Suchbereichs der lokalen Blockzuordnung bei Block 314 aufweist. Ferner werden Pixel, die korrekte geschätzte Tiefenwerte in der letzten Iteration (d. h. nach den zwei Nachverarbeitungsschritten) aufweisen, ihre letzten Werte zugeordnet, und Pixel, für die Tiefenwerte erstmalig bei der aktuellen Iteration berechnet wurden, dürfen ihre Tiefenwerte nur behalten, wenn sie innerhalb eines Schwellenwerts der interpolierten (z. B. geschätzten) Tiefenwerte liegen. Zum Beispiel wird D neu / L(x, y) nur akzeptiert, wenn: |D neu / L(x, y) – D_I(x, y)| < t (3) wobei t ein vorgegebener Wert von Pixeln ist, zum Beispiel 0,5 Pixel. Dementsprechend sind ältere Disparitäten bevorzugt, und Disparitäten, die nicht mit den interpolierten Disparitäten übereinstimmen, werden verworfen.
Erneut bezugnehmend auf das Verfahren von 3, können die Blöcke von 3 iterativ ausgeführt werden. Insbesondere wird bei der folgenden Iteration die Tiefenkarte D_L (die die anfängliche Tiefenkarte sein kann) durch die neue Tiefenkarte D neu / L , die bei Block 320 erzeugt wird, ersetzt. In einer Ausführungsform werden die Blöcke von 3 iterativ für eine festgelegte Anzahl von Iterationen ausgeführt. Wie bei Block 326 dargestellt, wird bestimmt, ob ITER <= MAX_ITER ist, wobei MAX_ITER ein vorgegebener Wert ist. Wenn JA, wird das Verfahren mit Block 312 fortgesetzt, um eine geschätzte Tiefenkarte zu erzeugen D_I. Wenn NEIN, endet das Verfahren, und in einer Ausführungsform wird bei Block 340 die neue Tiefenkarte zum Beispiel an das Display 116 ausgegeben (1). In einigen Ausführungsformen wird die neue Tiefenkarte ausgegeben und kann weiter verarbeitet werden.
In einer anderen Ausführungsform umfasst das Verfahren bei Block 328 ein Vergleichen der neuen Tiefenkarte D neu / L der Tiefenkarte D_L von der vorherigen Iteration. Das Verfahren wird iterativ fortgesetzt, bis bestimmt wird, dass die entsprechenden Werte zwischen der neuen Tiefenkarte D neu / L der vorherigen Tiefenkarte D_L konstant sind. Wenn bei Block 328 die entsprechenden Werte zwischen der neuen Tiefenkarte und der anfänglichen Tiefenkarte nicht konstant sind (NEIN), wird das Verfahren bei Block 312 fortgesetzt, um eine geschätzte Tiefenkarte zu erzeugen D_I. Wenn bei Block 328 die entsprechenden Werte zwischen der neuen Tiefenkarte und der vorherigen Tiefenkarte konstant sind (JA), endet das Verfahren, und in einer Ausführungsform wird bei Block 326 die neue Tiefenkarte zum Beispiel an das Display 116 ausgegeben. In einigen Ausführungsformen wird die neue Tiefenkarte ausgegeben und kann weiter verarbeitet werden. Dieser iterative und krümmende Ansatz erhöht den Prozentsatz gültiger Tiefen für lokale Verfahren, während der Prozentsatz von Pixeln mit fehlerhaften Tiefen niedrig gehalten wird.
Bezugnehmend auf 5a–5d werden nun beispielhafte Ergebnisse der hierin erörterten Systeme und Verfahren beschrieben. 5a ist ein beispielhaftes linkes Stereobild. Zum Beispiel werden das erste Bild 210a von 2b und/oder das linke Bild als Eingabe 302 in 3 empfangen. Das linke Stereobild von 5a ist eine Straßenansicht, die zum Beispiel von einer vorwärts gerichteten Kamera an einem Fahrzeug (z. B. von der Bildgebungsvorrichtung 114) aufgenommen wurde. Das linke Stereobild von 5a wurde in Graustufen umgewandelt. 5b ist eine beispielhafte Disparitätskarte des linken Stereobilds von 5a anhand standardgemäßer lokaler Blockzuordnungsverfahren, zum Beispiel wie mit 2a beschrieben. 5c ist eine beispielhafte Disparitätskarte des linken Stereobilds von 5a nach einer Iteration gemäß den hierin erörterten Systemen und Verfahren iterativer Interpolation und Krümmung. Wie in 5c dargesetllt, gibt es eine erhebliche Verbesserung in Tiefenschätzungen für die Straße und einige Verbesserungen für das Gebäude im Vergleich zu der Disparitätskarte in 5b. In einigen Ausführungsformen hat sich gezeigt, dass die Dichte nach einer Iteration um durchschnittlich 7–13% erhöht werden kann. 5d ist eine beispielhafte Disparitätskarte des linken Stereobilds von 5a nach acht Iterationen gemäß den hierin erörterten Systemen und Verfahren iterativer Interpolation und Krümmung. Wie in 5d dargestellt, gibt es erhebliche Verbesserungen in den Tiefenschätzungen für die Straße, das Gebäude und den Busch auf der linken Seite des Bilds. Dementsprechend erhöht dieser iterative und krümmende Ansatz den Prozentsatz gültiger Tiefen für lokale Verfahren, während der Prozentsatz von Pixeln mit fehlerhaften Tiefen niedrig gehalten wird.
Die hierin erörterten Ausführungsformen können auch im Zusammenhang mit nichttransitorischem computerlesbaren Speichermedium, das vom Computer ausführbare Anweisungen speichert, beschrieben und implementiert werden. Zu nichttransitorischen computerlesbaren Speichermedien gehören Computer-Speichermedien und Kommunikationsmedien. Zum Beispiel Flash-Speicher-Laufwerke, Digital Versatile Discs (DVDs), Compact Discs (CDs), Disketten und Kassetten. Zu nichttransitorischen computerlesbaren Speichermedien können flüchtige und nichtflüchtige, entfernbare und nicht entfernbare Medien gehören, die in irgendeinem Verfahren oder irgendeiner Technologie zum Speichern von Informationen, wie computerlesbaren Anweisungen, Datenstrukturen, Modulen oder anderen Daten, implementiert sind. Nichttransitorische computerlesbare Speichermedien schließen transitorische und propagierte Datensignale aus.
Es wird davon ausgegangen, dass unterschiedliche Implementierungen der vorstehend offenbarten sowie anderer Merkmale und Funktionen, oder Alternativen bzw. Varianten davon, wünschenswerterweise mit vielen anderen unterschiedlichen System oder Anwendungen kombiniert werden können. Außerdem, dass verschiedene, derzeit unvorhergesehene oder unerwartete Alternativen, Modifikationen Variationen oder Verbesserungen daran später durch Fachleute erfolgen können, welche ebenfalls durch die nachfolgenden Ansprüche abgedeckt werden sollen.
Ein computerimplementiertes Verfahren zum Erzeugen einer Tiefenkarte, umfassend ein Erzeugen einer anfänglichen Tiefenkarte für ein erstes Bild, wobei das erste Bild eines von einem Paar von Stereobildern ist, die von einer Bildgebungsvorrichtung empfangen wurden, wobei das Paar von Stereobildern das erste Bild und ein zweites Bild umfasst, und Erzeugen einer geschätzten Tiefenkarte auf der Grundlage der anfänglichen Tiefenkarte durch Hypothesieren von Tiefenwerten für fehlende Regionen in der anfänglichen Tiefenkarte. Das Verfahren umfasst ein Krümmen des zweiten Bilds auf der Grundlage der geschätzten Tiefenkarte, Erzeugen einer gekrümmten Tiefenkarte auf der Grundlage des ersten Bilds und des gekrümmten zweiten Bilds und Erzeugen einer neuen Tiefenkarte für das erste Bild bezogen auf das zweite Bild auf der Grundlage der gekrümmten Tiefenkarte und der geschätzten Tiefenkarte.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

IEEE 802.11 [0019]
IEEE 802.3 [0019]
IEEE 802.5 [0019]

Claims

Computerimplementiertes Verfahren zum Erzeugen einer Tiefenkarte, umfassend: Erzeugen einer anfänglichen Tiefenkarte für ein erstes Bild, wobei das erste Bild eines von einem Paar von Stereobildern ist, die von einer Bildgebungsvorrichtung empfangen wurden, wobei das Paar von Stereobildern das erste Bild und ein zweites Bild einschließt; Erzeugen einer geschätzten Tiefenkarte auf der Grundlage von der anfänglichen Tiefenkarte durch Hypothesieren von Tiefenwerten für fehlende Regionen in der anfänglichen Tiefenkarte; Krümmen des zweiten Bilds auf der Grundlage der geschätzten Tiefenkarte; Erzeugen einer gekrümmten Tiefenkarte auf der Grundlage des ersten Bilds und des gekrümmten zweiten Bilds; und Erzeugen einer neuen Tiefenkarte für das erste Bild bezogen auf das zweite Bild auf der Grundlage der gekrümmten Tiefenkarte und der geschätzten Tiefenkarte.
Computerimplementiertes Verfahren nach Anspruch 1, wobei Anspruch 1 iterativ ausgeführt wird und die anfängliche Tiefenkarte bei jeder Iteration durch die neue Tiefenkarte ersetzt wird.
Computerimplementiertes Verfahren nach Anspruch 2, wobei Anspruch 1 iterativ für eine festgelegte Anzahl von Iterationen ausgeführt wird.
Computerimplementiertes Verfahren nach Anspruch 2, umfassend ein Vergleichen der neuen Tiefenkarte mit der anfänglichen Tiefenkarte und wobei Anspruch 1 iterativ ausgeführt wird, bis bestimmt wird, dass die entsprechenden Werte zwischen der neuen Tiefenkarte und der vorherigen Tiefenkarte konstant sind.
Computerimplementiertes Verfahren nach Anspruch 1, wobei das Erzeugen der geschätzten Tiefenkarte auf der Grundlage der anfänglichen Tiefenkarte durch Hypothesieren von Tiefenwerten für fehlende Regionen in der anfänglichen Tiefenkarte ein Hypothesieren der Tiefenwerte mit horizontaler linearer Interpolation umfasst.
Computerimplementiertes Verfahren nach Anspruch 2, wobei das Erzeugen der geschätzten Tiefenkarte auf der Grundlage der anfänglichen Tiefenkarte durch Hypothesieren von Tiefenwerten für fehlende Regionen in der anfänglichen Tiefenkarte ein Hypothesieren der Tiefenwerte mit multidirektionaler Interpolation auf der Grundlage der Iteration umfasst.
Computerimplementiertes Verfahren nach Anspruch 6, wobei sich die Interpolationsrichtung für jede Iteration ändert.
Computerimplementiertes Verfahren nach Anspruch 1, wobei ein Krümmen des zweiten Bilds auf der Grundlage der geschätzten Tiefenkarte ein Bestimmen einer Intensität eines oder mehrerer Pixel in dem zweiten Bild auf der Grundlage einer Intensität eines entsprechenden Pixels in der geschätzten Tiefenkarte umfasst.
Computerimplementiertes Verfahren nach Anspruch 1, wobei das Erzeugen der neuen Tiefenkarte ein Krümmen der gekrümmten Tiefenkarte umfasst.
Computerimplementiertes Verfahren nach Anspruch 9, wobei das Entkrümmen der gekrümmten Tiefenkarte ein Erkennen einer Disparität zwischen entsprechenden Pixeln in der geschätzten Tiefenkarte und dem gekrümmten zweiten Bild und Hinzufügen der Disparität zur gekrümmten Tiefenkarte umfasst.
Nichttransitorisches computerlesbares Medium, das Anweisungen umfasst, die bei Ausführung durch einen Prozessor ein Verfahren zum Erzeugen einer Tiefenkarte durchführen, umfassend: Erzeugen einer anfänglichen Tiefenkarte für ein erstes Bild, wobei das erste Bild eines von einem Paar von Stereobildern einer Bildszene ist, das von einer Bildgebungsvorrichtung empfangen wurde, wobei das Paar von Stereobildern das erste Bild und ein zweites Bild umfasst; Erzeugen einer geschätzten Tiefenkarte auf der Grundlage der anfänglichen Tiefenkarte durch Hypothesieren von Tiefenwerten für fehlende Regionen in der anfänglichen Tiefenkarte; Krümmen des zweiten Bilds auf der Grundlage der geschätzten Tiefenkarte; Erzeugen einer gekrümmten Tiefenkarte auf der Grundlage des ersten Bilds und des gekrümmten zweiten Bilds; und Erzeugen einer neuen Tiefenkarte für das erste Bild bezogen auf das zweite Bild auf der Grundlage der gekrümmten Tiefenkarte und der geschätzten Tiefenkarte.
Nichttransitorisches computerlesbares Medium nach Anspruch 11, wobei der Prozessor Anspruch 11 iterativ ausführt und die anfängliche Tiefenkarte bei jeder Iteration mit der neuen Tiefenkarte überschreibt.
Nichttransitorisches computerlesbares Medium nach Anspruch 11, wobei der Prozessor Anspruch 11 iterativ ausführt, bis der Prozessor bestimmt, dass die Werte der neuen Tiefenkarte im Vergleich zur Tiefenkarte von der vorherigen Iteration konstant bleiben.
Nichttransitorisches computerlesbares Medium nach Anspruch 11, wobei das Erzeugen einer neuen Tiefenkarte ein Entkrümmen der gekrümmten Tiefenkarte umfasst.
Nichttransitorisches computerlesbares Medium nach Anspruch 14, wobei das Entkrümmen der gekrümmten Tiefenkarte ein Erkennen einer Disparität zwischen entsprechenden Pixeln in der geschätzten Tiefenkarte und dem gekrümmten zweiten Bild und Hinzufügen der Disparität zur gekrümmten Tiefenkarte umfasst.
Computersystem zum Erzeugen einer Tiefenkarte, umfassend: einen Prozessor; ein Modul der geschätzten Tiefenkarte, das bewirkt, dass der Prozessor eine anfängliche Tiefenkarte für ein erstes Bild erzeugt, wobei das erste Bild eines von einem Paar von Stereobildern einer Bildszene ist, empfangen von einer Bildgebungsvorrichtung, wobei das Paar von Stereobildern das erste Bild und ein zweites Bild aufweist und eine geschätzte Tiefenkarte auf der Grundlage der anfänglichen Tiefenkarte durch Hypothesieren der Tiefenwerte für fehlende Regionen in der anfänglichen Tiefenkarte erzeugt; und ein Tiefenkartenverfeinerungsmodul, das bewirkt, dass der Prozessor das zweite Bild auf der Grundlage der geschätzten Tiefenkarte krümmt, eine gekrümmte Tiefenkarte auf der Grundlage des ersten Bilds und des gekrümmten zweiten Bilds erzeugt und eine neue Tiefenkarte für das erste Bild bezogen auf das zweite Bild auf der Grundlage der gekrümmten Tiefenkarte und der geschätzten Tiefenkarte erzeugt.
System nach Anspruch 16, wobei der Prozessor das Modul der geschätzten Tiefenkarte und das Tiefenkartenverfeinerungsmodul iterativ ausführt und die anfänglich Tiefenkarte mit der neuen Tiefenkartenausgabe durch das Tiefenkartenverfeinerungsmodul überschreibt.
System nach Anspruch 16, wobei der Prozessor das Modul der geschätzten Tiefenkarte und das Tiefenkartenverfeinerungsmodul iterativ ausführt, bis bestimmt wird, dass die entsprechenden Werte der anfänglichen Tiefenkarte und der neuen Tiefenkarte konstant bleiben.
System nach Anspruch 16, wobei das Tiefenkartenverfeinerungsmodul die gekrümmte Tiefenkarte entkrümmt.
System nach Anspruch 19, wobei das Entkrümmen der Tiefenkarte umfasst, dass das Tiefenkartenverfeinerungsmodul eine Disparität zwischen entsprechenden Pixeln in der geschätzten Tiefenkarte und dem gekrümmten zweiten Bild erkennt und die Disparität zu der gekrümmten Tiefenkarte hinzufügt.