DE102013214497A1 - Stereo-Bildverarbeitungsvorrichtung und Verfahren derselben - Google Patents

Stereo-Bildverarbeitungsvorrichtung und Verfahren derselben Download PDF

Info

Publication number
DE102013214497A1
DE102013214497A1 DE102013214497.0A DE102013214497A DE102013214497A1 DE 102013214497 A1 DE102013214497 A1 DE 102013214497A1 DE 102013214497 A DE102013214497 A DE 102013214497A DE 102013214497 A1 DE102013214497 A1 DE 102013214497A1
Authority
DE
Germany
Prior art keywords
images
stereo
areas
image
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102013214497.0A
Other languages
English (en)
Inventor
Jin Ha Choi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Original Assignee
Hyundai Motor Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co filed Critical Hyundai Motor Co
Publication of DE102013214497A1 publication Critical patent/DE102013214497A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/133Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

Eine Stereo-Bildverarbeitungsvorrichtung umfasst eine Bilderfassungsvorrichtung, die Bilder erfasst, die durch eine Stereokamera erfasst werden, die Kameras umfasst, bei denen Erkennungsbereiche ihrer dynamischen Bereiche unterschiedlich eingestellt werden, und eine Abbildungsvorrichtung, die die Bilder mit Bezug auf die bestimmten Abbildungsbereiche der Bilder abbildet, die aus den von den Bildern extrahierten Merkmalen bestimmt werden. Die Stereo-Bildverarbeitungsvorrichtung umfasst ferner eine Tracking-Vorrichtung, die lineare Komponenten aus den Abbildungsbildern durch die Abbildungsvorrichtung verfolgt, um ein Referenz-Liniensegment zu bestimmen, und einen Stereo-Bildprozessor, der ein Stereobild für die Bilder auf der Grundlage der bestimmten Referenz-Liniensegmente, die in den Abbildungsbereichen bestimmt werden, erzeugt.

Description

  • Technisches Gebiet
  • Die vorliegende Offenbarung betrifft eine Stereo-Bildverarbeitungsvorrichtung und ein Verfahren derselben, und insbesondere eine Technik, um Bilder von mehreren Kameras mit unterschiedlichen Einstellungen des dynamischen Bereichs zu verarbeiten.
  • HINTERGRUND
  • Im Allgemeinen umfasst eine Stereokamera mindestens eine Kamera mehr als eine bestehende monokulare Kamera, um stereoskopische Bilder zu erfassen, die beispielsweise durch Radar erhalten werden.
  • Jedoch beträgt die Bildgrenze einer einen Stereoabgleich umfassenden monokularen Kamera in einer bestehenden Stereokamera 60 fps. Ferner stellt eine Stereokamera die für jeden der Algorithmen geeignete Belichtung durch eine Belichtungssteuerung in vier Schritten ein. In diesem Fall beträgt die Bildfrequenz für jeden Algorithmus nur 15 fps, so dass, wenn eine Steuerung durch Verfolgen durchgeführt wird, die Bildfrequenz niedrig ist und somit ein Schritt zum Verfolgen schlecht wird. Dementsprechend wird die Fehlerkennung erhöht.
  • ZUSAMMENFASSUNG
  • Demzufolge ist eine Ausführungsform der vorliegenden Erfindung gemacht worden, um die oben beschriebenen Probleme zu lösen, während durch den Stand der Technik erreichte Vorteile erhalten bleiben.
  • Ein durch die vorliegende Offenbarung zu erzielender Gegenstand besteht darin, eine Stereo-Bildverarbeitungsvorrichtung und ein Verfahren derselben bereitzustellen, wobei dynamische Bereiche der Kameras unterschiedlich eingestellt werden, um Bilder mit einer verbesserten Sichtbarkeit bereitzustellen.
  • Ein weiterer durch die vorliegende Offenbarung zu erzielender Gegenstand besteht darin, eine Stereo-Bildverarbeitungsvorrichtung und ein Verfahren derselben bereitzustellen, wobei Log-Skalen von Abbildungsbereichen durch eine Graph-Umwandlung von Bildern, die durch Kameras mit unterschiedlichen dynamischen Bereichen erfasst werden, mit einem hohen Dynamikumfang (High Dynamic Range – HDR) minimiert werden.
  • In einer Ausgestaltung der vorliegenden Offenbarung wird eine Stereo-Bildverarbeitungsvorrichtung beschrieben, umfassend: eine Bilderfassungsvorrichtung, die Bilder erfasst, die durch eine Stereokamera erfasst werden, die Kameras umfasst, wobei Erkennungsgrenzen ihrer dynamischen Bereiche unterschiedlich eingestellt sind; eine Abbildungsvorrichtung, die die Bilder vorverarbeitet, um Abbildungsbereiche der Bilder auf der Grundlage von Merkmalen der Bilder zu bestimmen, und die Bilder mit Bezug auf die bestimmten Abbildungsbereiche der Bilder abbildet; eine Tracking-Vorrichtung, die lineare Komponenten aus den Abbildungsbildern durch die Abbildungsvorrichtung verfolgt, um ein Referenz-Liniensegment zu bestimmen; und einen Stereo-Bildprozessor, der ein Stereobild für die Bilder auf der Grundlage der bestimmten Referenz-Liniensegmente, die in den Abbildungsbereichen bestimmt werden, erzeugt.
  • Die Abbildungsvorrichtung kann einen Stereoabgleich mit Bezug auf Randbereiche der Bilder durchführen oder eine vorgegebene Log-Skala berechnen, um die Abbildungsbereiche der Bilder auf der Grundlage des Ergebnisses zu bestimmen.
  • Die Vorrichtung kann ferner eine Dynamikbereich-Einstellvorrichtung umfassen, die die Erkennungsbereiche von dynamischen Bereichen für die in der Stereokamera umfassten Kameras einstellt.
  • Die Stereokamera kann umfassen: eine erste Kamera, wobei der Erkennungsbereich ihres dynamischen Bereichs auf einen Bereich eingestellt ist, der einen dunklen Bereich hervorhebt, und eine zweite Kamera, wobei der Erkennungsbereich ihres dynamischen Bereichs auf einen Bereich eingestellt ist, der einen hellen Bereich hervorhebt.
  • Die Erkennungsbereiche der dynamischen Bereiche der ersten und der zweiten Kamera können unterschiedlich eingestellt werden.
  • Die Abbildungsvorrichtung kann eine lineare Umwandlung in einem bestimmten Bereich in dem Dynamikbereich-Graph für jedes abzugleichende Bild durchführen.
  • Die Abbildungsvorrichtung kann einen in dem Dynamikbereich-Graph gemeinsamen linearen Abschnitt für jedes Bild als einen Abbildungsbereich bestimmen.
  • Die Tracking-Vorrichtung kann einen durchschnittlichen Gradienten der Liniensegmente berechnen, die aus Abbildungsbereichen für die Bilder erfasst werden, um den durchschnittlichen Gradienten als ein Referenz-Liniensegment zu bestimmen.
  • Eine Ausgestaltung der vorliegenden Offenbarung stellt ein Stereo-Bildverarbeitungsverfahren bereit, umfassend: Erfassen von Bildern, die durch eine Stereokamera erfasst werden, die Kameras umfasst, wobei Erkennungsgrenzen ihrer dynamischen Bereiche unterschiedlich eingestellt werden; Vorverarbeiten der Bilder, um Abbildungsbereiche der Bilder auf der Grundlage von Merkmalen der Bilder zu bestimmen, und Abbilden der Bilder mit Bezug auf die bestimmten Abbildungsbereiche der Bilder; Verfolgen von linearen Komponenten aus den Abbildungsbildern durch die Abbildungsvorrichtung, um ein Referenz-Liniensegment zu bestimmen; und Erzeugen eines Stereobildes für die Bilder auf der Grundlage der bestimmten Referenz-Liniensegmente, die in den Abbildungsbereichen bestimmt werden.
  • Das Verfahren kann ferner ein Einstellen der Erkennungsbereiche von dynamischen Bereichen für die in der Stereokamera umfassten Kameras umfassen.
  • Das Bestimmen der Abbildungsbereiche kann ein Durchführen eines Stereoabgleichs mit Bezug auf einen Rand der Bilder oder Berechnen einer vorgegebenen Log-Skala umfassen, um die Abbildungsbereiche der Bilder auf der Grundlage des Ergebnisses zu bestimmen.
  • Das Abbilden der Bilder kann ein Durchführen einer linearen Umwandlung in einem bestimmen Bereich in dem Dynamikbereich-Graph für jedes abzugleichende Bild umfassen.
  • Das Abbilden der Bilder kann ein Bestimmen eines gemeinsamen linearen Abschnitts in dem Dynamikbereich-Graph für jedes Bild als einen Abbildungsbereich umfassen.
  • Das Bestimmen des Referenz-Liniensegments kann ein Berechnen eines durchschnittlichen Gradienten der Liniensegmente umfassen, die aus Abbildungsbereichen der Bilder erfasst werden, um den durchschnittlichen Gradienten als das Referenz-Liniensegment zu bestimmen.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • Die obigen und weiteren Aufgaben, Merkmale und Vorteile der vorliegenden Offenbarung werden aus der folgenden ausführlichen Beschreibung in Verbindung mit den beigefügten Zeichnungen deutlicher, wobei:
  • 1 zeigt ein Blockdiagramm, das eine Anordnung einer Stereo-Bildverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt;
  • 2A und 2B zeigen Ansichten zum Darstellen eines Vorgangs zum Einstellen eines dynamischen Bereichs einer Stereokamera gemäß einer Ausführungsform der vorliegenden Erfindung;
  • 3A bis 3D zeigen Ansichten zum Darstellen eines Vorgangs einer Graph-Umwandlung einer Stereo-Bildverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung;
  • 4A bis 4E zeigen Ansichten zum Darstellen eines Vorgangs zum Stereoabgleich einer Stereo-Bildverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung;
  • 5A und 5B zeigen Ansichten zum Darstellen eines Vorgangs zum verfolgen einer Stereo-Bildverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung; und
  • 6 zeigt ein Flussdiagramm, das einen Betriebsablauf eines Stereo-Bildverarbeitungsverfahrens gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Im Folgenden werden Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben.
  • 1 zeigt ein Blockdiagramm, das eine Anordnung einer Stereo-Bildverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. In 1 ist die Stereo-Bildverarbeitungsvorrichtung 100 gemäß einer Ausführungsform der vorliegenden Erfindung (nachfolgend als die ”Bildverarbeitungsvorrichtung” bezeichnet) eingerichtet, um eine Bilderfassungsvorrichtung 110, eine Dynamikbereich-Einstellvorrichtung 120, eine Abbildungsvorrichtung 130, eine Tracking-Vorrichtung 140 und einen Stereo-Bildprozessor 150 zu umfassen.
  • Zuerst erfasst die Bilderfassungsvorrichtung 110 durch eine Stereokamera 10 erfasste Bilder.
  • Hierbei umfasst die Stereokamera 10 eine erste Kamera 11 und eine zweite Kamera 15. Obwohl die Stereokamera 10 mehr als zwei Kameras umfassen kann, wird aus Gründen der Vereinfachung der Beschreibung bei den folgenden Ausführungsformen davon ausgegangen, dass die Stereokamera 10 zwei Kameras umfasst.
  • Die Dynamikbereich-Einstellvorrichtung 120 stellt einen Erkennungsbereich eines dynamischen Bereichs von jeder in der Stereokamera 10 umfassten Kamera ein. Hierbei stellt der dynamische Bereich eine durch die Kamera sichtbare Gradation dar, die einen Bereich von Dichtestufen zwischen dem hellsten Teil und dem dunkelsten Teil darstellt. Die Dynamikbereich-Einstellvorrichtung 120 stellt einen eine dunkle Fläche oder eine helle Fläche betonenden Bereich für jede Kamera ein. Als ein Beispiel kann die Dynamikbereich-Einstellvorrichtung 120 den Erkennungsbereich des dynamischen Bereichs der ersten Kamera 11 auf einen Bereich zum Hervorheben der dunklen Fläche einstellen, während der Erkennungsbereich des dynamischen Bereichs der zweiten Kamera 15 auf einen Bereich zum Hervorheben der hellen Fläche eingestellt wird. In manchen Fällen können die erste Kamera 11 und die zweite Kamera 15 die Erkennungsbereiche der dynamischen Bereiche variabel einstellen.
  • Demzufolge erfasst die Bilderfassungsvorrichtung 110 Bilder, die durch die Stereokamera 10 mit Kameras erfasst werden, wobei deren Erkennungsbereiche ihrer dynamischen Bereiche durch die Dynamikbereich-Einstellvorrichtung 120 unterschiedlich eingestellt werden.
  • Die Abbildungsvorrichtung 130 führt einen Stereoabgleich mit Bezug auf die Randbereiche der durch die Bilderfassungsvorrichtung 110 erfassten Bilder durch. Hierbei bestimmt die Abbildungsvorrichtung 130 Abbildungsbereiche der Bilder auf der Grundlage der Abgleichergebnisse und bildet die Bilder mit Bezug auf die bestimmten Abbildungsbereiche der Bilder ab.
  • Hierbei wendet die Abbildungsvorrichtung 130 eine lineare Umwandlung auf einen bestimmten Bereich in einem Dynamikbereich-(dynamic range – DR)Graph für jedes Bild an, um einen Stereoabgleich durchzuführen, und bestimmt einen gemeinsamen linearen Abschnitt in dem DR-Graph für die Bilder als einen Abbildungsbereich.
  • Die Tracking-Vorrichtung 140 verfolgt eine lineare Komponente in den Abbildungsbildern durch die Abbildungsvorrichtung 130, um ein Referenz-Liniensegment zu bestimmen. Hierbei berechnet die Tracking-Vorrichtung 140 einen durchschnittlichen Gradienten der aus den Abbildungsbildern erfassten Liniensegmente, um ihn als einen Gradienten des Referenz-Liniensegments zu bestimmen.
  • Zum Beispiel bestimmt die Tracking-Vorrichtung 140 einen mittleren Wert zwischen dem Gradienten des Liniensegments, das aus dem durch die erste Kamera 11 erfassten ersten Bild erfasst wird, und dem Gradienten des Liniensegments, das aus dem durch die zweite Kamera 15 erfassten zweiten Bild erfasst wird, als den Gradienten des Referenz-Liniensegments.
  • Der Stereo-Bildprozessor 150 kalibriert, in den Abbildungsbildern, unterschiedliche Gradienten von linearen Liniensegmenten der Bilder auf der Grundlage des Gradienten des durch die Tracking-Vorrichtung 140 bestimmten Referenz-Liniensegments, um Stereobilder für die Bilder zu erzeugen.
  • Hierbei können als ein Beispiel die durch den Stereo-Bildprozessor 150 erzeugten Stereobilder durch in einem Fahrzeug montierte Anzeigemittel, wie beispielsweise einem Navigations-Bildschirm, einem Head-up-Display (HUD) und einem eingebauten Monitor für Automobile angezeigt werden.
  • 2A und 2B zeigen Ansichten zum Darstellen eines Vorgangs zum Einstellen eines dynamischen Bereichs einer Stereokamera gemäß einer Ausführungsform der vorliegenden Erfindung.
  • Ein Erkennungsbereich eines dynamischen Bereichs einer Kamera wird in Dichtestufen des hellsten Teils und des dunkelsten Teils eingestellt und ein Bild wird mit Bezug auf den Erkennungsbereich des dynamischen Bereichs, der zum Zeitpunkt des Betriebs der Kamera eingestellt ist, erfasst.
  • Hierbei stellt die Bildverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung unterschiedliche Erkennungsbereiche von dynamischen Bereichen für in einer Stereokamera umfasste Kameras ein.
  • Als ein Beispiel stellt die Bildverarbeitungsvorrichtung den Erkennungsbereich der dynamischen Bereiche für die erste Kamera auf einen eine dunkle Fläche betonenden Bereich wie in 2A dargestellt ein und stellt den Erkennungsbereich des dynamischen Bereichs für die zweite Kamera auf einen eine dunkle Fläche betonenden Bereich wie in 2B dargestellt ein.
  • Für die Stereokamera mit mehr als zwei Kameras können Erkennungsbereiche von dynamischen Bereichen durch Dividieren des Erkennungsbereichs des hellsten Bereichs und des Erkennungsbereichs des dunkelsten Bereichs durch die Anzahl von Kameras eingestellt werden. Hierbei ist das Einstellen des Erkennungsbereichs eines dynamischen Bereichs nicht auf eine bestimmte Struktur beschränkt, sondern kann gemäß Ausführungsformen verschiedenartig anwendbar sein.
  • Hierbei erzeugt die Bildverarbeitungsvorrichtung ein endgültiges Stereobild unter Verwendung des Bildes, das durch die Stereokamera erfasst wird, die Kameras umfasst, deren Erkennungsbereiche ihrer dynamischen Bereiche unterschiedlich eingestellt sind.
  • Unter der Annahme, dass eine Verstärkung zum Erfassen eines Bildes gemäß einer Belichtungssteuerung M beträgt, und falls die Bildverarbeitungsvorrichtung Erkennungsbereiche von dynamischen Bereichen von N Kameras unterschiedlich einstellt, wird eine Verstärkung von M × N erhalten, wodurch die Sichtbarkeit eines Stereobildes verbessert wird, da der Verstärkungswert erhöht wird.
  • 3A, 3B, 3C und 3D stellen einen Vorgang einer Graph-Umwandlung einer Stereo-Bildverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung dar. Unter Bezugnahme auf 3 umfasst eine Stereokamera eine erste Kamera und eine zweite Kamera, wie dies in 3A dargestellt ist. Hierbei weisen sowohl die erste Kamera als auch die zweite Kamera unterschiedlich eingestellte Erkennungsbereiche von dynamischen Bereichen auf.
  • Wenn durch die erste und die zweite Kamera erfasste Bilder erfasst werden, werden bestimmte Bereiche in DR-Graphen wie in 3B dargestellt begrenzt, und die Graphen werden in solche, wie in 3C dargestellt umgewandelt. Hierbei wird eine lineare Umwandlung in den DR-Graphen innerhalb bestimmter Bereiche von 3B durchgeführt, um die in 3C dargestellten Graphen zu erzeugen. Dementsprechend führt die Bildverarbeitungsvorrichtung einen Stereoabgleich wie in 4D dargestellt innerhalb begrenzter Bereiche durch, in welchen die lineare Umwandlung in den DR-Graphen durchgeführt wurde.
  • Für die in 3B und 3C dargestellten begrenzten Bereiche wird eine Log-Skala minimiert, um den Stereoabgleich durchzuführen, um die lineare Umwandlung zu vereinfachen.
  • 4A, 4B, 4C, 4D und 4E stellen einen Vorgang zum Stereoabgleich einer Stereo-Bildverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung dar.
  • 4A stellt ein erstes Bild dar, das durch eine erste Kamera erfasst wird, bei der ein Erkennungsbereich eines dynamischen Bereichs auf einen eine dunkle Fläche betonenden Bereich wie in 2A eingestellt wird, und 4B stellt ein zweites Bild dar, das durch eine zweite Kamera erfasst wird, bei der ein Erkennungsbereich eines dynamischen Bereichs auf einen Bereich zum Hervorheben einer hellen Fläche wie in 23 eingestellt wird.
  • Die Bildverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung führt einen Stereoabgleich mit Bezug auf Randbereiche des in 4A dargestellten ersten Bildes und Randbereiche des in 4B dargestellten zweiten Bildes durch, um einen Abbildungsbereich zu bestimmen. Falls ein Bereich P1 in 4A als ein Abbildungsbereich des ersten Bildes bestimmt wird und ein Bereich P2 in 4B als ein Abbildungsbereich des zweiten Bildes bestimmt wird, werden das erste und das zweite Bild durch Abbilden des Bereichs P1 des ersten Bildes und des Bereichs P2 des zweiten Bildes wie in 4C dargestellt abgebildet. Schließlich wird ein Bereich P in dem in 4C dargestellten dem Abbildungsbild der Abbildungsbereich.
  • Wenn das erste und das zweite Bild wie in 4C dargestellt abgebildet werden, führt die Bildverarbeitungsvorrichtung ein Verfolgen auf den Abbildungsbildern wie in 4 dargestellt durch. Hierbei führt die Bildverarbeitungsvorrichtung das Verfolgen durch Kombinieren von Informationen aus dem ersten Bild mit Informationen aus dem zweiten Bild durch. Ferner kann die Bildverarbeitungsvorrichtung die Zuverlässigkeit unter Berücksichtigung eines Übertragungszustandes des ersten und des zweiten Bildes bewerten, um dies beim Verfolgen zu berücksichtigen.
  • Die Grade der Zuverlässigkeit gemäß den Übertragungszuständen des ersten und des zweiten Bildes sind unten in Tabelle 1 angegeben. [Tabelle 1]
    Grad der Zuverlässigkeit Zustand
    3 Übertragen von sowohl dem ersten als auch dem zweiten Bild
    2 Übertragen nur bei Belichtung gemäß Algorithmus
    1 Übertragen nur bei Belichtung nicht gemäß Algorithmus
    0 Keine Übertragungsinformationen
  • Die Bildverarbeitungsvorrichtung überprüft wie in Tabelle 1 beschrieben die Zuverlässigkeitsgrade gemäß den Zuständen des ersten und des zweiten Bildes und bestimmt einen Bereich zum Durchführen des Verfolgens auf der Grundlage der ermittelten Zuverlässigkeitsgrade. Hierbei führt die Bildverarbeitungsvorrichtung das Verfolgen innerhalb des bestimmten Bereichs durch. Ein Vorgang zum Durchführen des Verfolgens in der Bildverarbeitungsvorrichtung wird unter Bezugnahme auf 5 ausführlich beschrieben.
  • 5A und 5B stellen einen Vorgang zum Verfolgen einer Stereo-Bildverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung dar.
  • Wie in 5A dargestellt, wird in Abbildungsbildern des ersten und des zweiten Bildes, falls der Verfolgungsbereich für eine Fahrspur L1 in dem ersten Bild und eine Fahrspur L2 in dem zweiten Bild als ein Bereich Q bestimmt werden, ein Referenz-Liniensegment auf der Grundlage von in dem Bereich Q umfassten Liniensegmentinformationen wie in 5B dargestellt bestimmt, um basierend darauf ein endgültiges Stereobild zu erzeugen.
  • Ein Betriebsablauf der Stereo-Bildverarbeitungsvorrichtung gemäß der Ausführungsform der vorliegenden Erfindung, die wie oben angegeben eingerichtet ist, wird nachfolgend ausführlich beschrieben.
  • 6 zeigt ein Flussdiagramm, das einen Betriebsablauf eines Stereo-Bildverarbeitungsverfahrens gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Unter Bezugnahme auf 6 stellt die Bildverarbeitungsvorrichtung gemäß der Ausführungsform der vorliegenden Erfindung unterschiedliche Erkennungsbereiche von dynamischen Bereichen für in einer Stereokamera umfasste Kameras ein (S100) und erfasst mehrere Bilder, die durch die Kameras mit den in Schritt S100 eingestellten dynamischen Bereichen erfasst werden (S110).
  • Anschließend führt die Bildverarbeitungsvorrichtung eine lineare Umwandlung in DR-Graphen der in Schritt S110 erfassten Bilder durch, um lineare Logs zu erhalten (S120), und führt einen Stereoabgleich in den Bildern durch, die in Schritt S120 linear umgewandelt werden (S130). Hierbei bestimmt die Bildverarbeitungsvorrichtung Abbildungsbereiche für die Bilder auf der Grundlage des Ergebnisses des Stereoabgleichs (S140) und bildet die Bilder mit Bezug auf die in Schritt S140 bestimmten Abbildungsbereiche ab (S150).
  • Schritt S130 ist optional und kann in anderen Ausführungsformen weggelassen werden. Zum Beispiel, falls Log-Skalen für die Bilder bereits eingestellt worden sind, braucht kein separater Stereoabgleich durchgeführt werden, und demzufolge kann Schritt S130 weggelassen werden.
  • Hierbei führt die Bildverarbeitungsvorrichtung ein Verfolgen auf linearen Komponenten durch, die in dem in Schritt S150 erzeugten Abbildungsbild umfasst sind, um ein Stereobild mit einem Referenzsegment mit einem durchschnittlichen Gradienten unter Liniensegmenten in den Bildern zu erzeugen (S170), und zeigt das in Schritt S170 erzeugte Stereobild über Anzeigemittel wie beispielsweise einem HUD und einem Navigationssystem an (S180).
  • Wie oben beschrieben, kann gemäß Ausführungsformen der vorliegenden Erfindung durch unterschiedliches Einstellen der dynamischen Bereiche von in einer Stereokamera umfassten Kameras die Sichtbarkeit eines Stereobildes verbessert werden.
  • Ferner werden gemäß Ausführungsformen der vorliegenden Erfindung Log-Skalen von Abbildungsbereichen durch eine HDR-(High Dynamic Range)Graph-Umwandlung von Bildern minimiert, die durch Kameras mit unterschiedlichen dynamischen Bereichen erfasst werden, um Abgleichfehler zu minimieren.
  • Obwohl die Stereo-Bildverarbeitungsvorrichtung und das Verfahren derselben gemäß den Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben worden ist, ist die vorliegende Offenbarung nicht auf die in der vorliegenden Beschreibung offenbarten Ausführungsformen und die beigefügten Zeichnungen beschränkt, sondern kann verändert werden, ohne von dem Umfang und Geist der vorliegenden Offenbarung abzuweichen.
  • Bezugszeichenliste
  • 10
    STEREOKAMERA
    11
    ERSTE KAMERA
    12
    ZWEITE KAMERA
    15
    NTH KAMERA
    110
    BILDERFASSUNGSVORRICHTUNG
    120
    DYNAMIKBEREICH-EINSTELLVORRICHTUNG
    130
    ABBILDUNGSVORRICHTUNG
    140
    TRACKING-VORRICHTUNG
    150
    STEREO-BILDPROZESSOR

Claims (14)

  1. Stereo-Bildverarbeitungsvorrichtung, aufweisend: eine Bilderfassungsvorrichtung, die Bilder erfasst, die durch eine Stereokamera erfasst werden, die Kameras umfasst, bei denen Erkennungsbereiche ihrer dynamischen Bereiche unterschiedlich eingestellt sind; eine Abbildungsvorrichtung, die die Bilder vorverarbeitet, um Abbildungsbereiche der Bilder auf der Grundlage von aus den Bildern extrahierten Merkmalen zu bestimmen, und die Bilder mit Bezug auf die bestimmten Abbildungsbereiche der Bilder abbildet; eine Tracking-Vorrichtung, die lineare Komponenten aus den Abbildungsbildern durch die Abbildungsvorrichtung verfolgt, um ein Referenz-Liniensegment zu bestimmen; und einen Stereo-Bildprozessor, der ein Stereobild für die Bilder auf der Grundlage der bestimmten Referenz-Liniensegmente, die in den Abbildungsbereichen bestimmt werden, erzeugt.
  2. Vorrichtung nach Anspruch 1, wobei die Abbildungsvorrichtung einen Stereoabgleich mit Bezug auf Randbereiche der Bilder durchführt oder eine vorgegebene Log-Skala berechnet, um die Abbildungsbereiche der Bilder auf der Grundlage des Ergebnisses zu bestimmen.
  3. Vorrichtung nach Anspruch 1, ferner aufweisend eine Dynamikbereich-Einstellvorrichtung, die die Erkennungsbereiche von dynamischen Bereichen für die in der Stereokamera umfassten Kameras einstellt.
  4. Vorrichtung nach Anspruch 1, wobei die Stereokamera umfasst: eine erste Kamera, bei der der Erkennungsbereich ihres dynamischen Bereichs auf einen Bereich eingestellt ist, der eine dunkle Fläche hervorhebt; und eine zweite Kamera, bei der der Erkennungsbereich ihres dynamischen Bereichs auf einen Bereich eingestellt ist, der eine helle Fläche hervorhebt.
  5. Vorrichtung nach Anspruch 4, wobei der Erkennungsbereich ihrer dynamischen Bereiche der ersten und der zweiten Kamera unterschiedlich eingestellt sind.
  6. Vorrichtung nach Anspruch 1, wobei die Abbildungsvorrichtung eine lineare Umwandlung in einem bestimmten Bereich in einem Dynamikbereich-Graph für jedes der Bilder durchführt, um einen Abgleich für jedes der Bilder durchzuführen.
  7. Vorrichtung nach Anspruch 1, wobei die Abbildungsvorrichtung einen in einem dynamischen Bereich gemeinsamen linearen Abschnitt als den Abbildungsbereich bestimmt.
  8. Vorrichtung nach Anspruch 1, wobei die Tracking-Vorrichtung einen durchschnittlichen Gradienten der Liniensegmente berechnet, die aus den Bildern erfasst werden, um so den durchschnittlichen Gradienten als den Referenz-Liniensegment-Gradienten zu bestimmen.
  9. Stereo-Bildverarbeitungsverfahren, aufweisend: Erfassen von Bildern, die durch eine Stereokamer erfasst werden, die Kameras umfasst, bei denen Erkennungsgrenzen ihrer dynamischen Bereiche unterschiedlich eingestellt werden; Bestimmen von Abbildungsbereichen der Bilder auf der Grundlage von Merkmalen, die aus den Bildern durch Vorverarbeiten der Bilder extrahiert werden; Abbilden der Bilder mit Bezug auf die bestimmten Abbildungsbereiche der Bilder; Bestimmen eines Referenz-Liniensegments durch Verfolgen von linearen Komponenten aus den Abbildungsbildern in dem Abbilden; und Erzeugen eines Stereobildes für die Bilder auf der Grundlage der Referenz-Liniensegmente, die in den Abbildungsbereichen bestimmt werden.
  10. Verfahren nach Anspruch 9, ferner aufweisend: Einstellen der Erkennungsbereiche von dynamischen Bereichen für die Kameras, die in der Stereokamera umfasst sind, vor dem Erfassen der Bilder.
  11. Verfahren nach Anspruch 9, wobei das Bestimmen der Abbildungsbereiche ein Durchführen eines Stereoabgleichs mit Bezug auf Randbereiche der Bilder oder Berechnen einer vorgegebenen Log-Skala umfasst, um die Abbildungsbereiche der Bilder auf der Grundlage des Ergebnisses zu bestimmen.
  12. Verfahren nach Anspruch 9, wobei das Abbilden der Bilder ein Durchführen einer linearen Umwandlung in einem bestimmten Bereich in dem Dynamikbereich-Graph für jedes der Bilder umfasst, um so jedes der Bilder abzubilden.
  13. Verfahren nach Anspruch 12, wobei das Abbilden der Bilder ein Bestimmen eines gemeinsamen linearen Abschnitts in dem dynamischen Bereich als den Abbildungsbereich umfasst.
  14. Verfahren nach Anspruch 9, wobei das Bestimmen des Referenz-Liniensegments ein Berechnen eines durchschnittlichen Gradienten der Liniensegmente umfasst, die aus den Bildern erfasst werden, um ihn so als den Gradienten des Referenz-Liniensegments zu bestimmen.
DE102013214497.0A 2013-03-19 2013-07-24 Stereo-Bildverarbeitungsvorrichtung und Verfahren derselben Pending DE102013214497A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130029181A KR101439013B1 (ko) 2013-03-19 2013-03-19 스테레오 영상 처리 장치 및 방법
KR10-2013-0029181 2013-03-19

Publications (1)

Publication Number Publication Date
DE102013214497A1 true DE102013214497A1 (de) 2014-09-25

Family

ID=51484756

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102013214497.0A Pending DE102013214497A1 (de) 2013-03-19 2013-07-24 Stereo-Bildverarbeitungsvorrichtung und Verfahren derselben

Country Status (4)

Country Link
US (1) US9635340B2 (de)
KR (1) KR101439013B1 (de)
CN (1) CN104065940B (de)
DE (1) DE102013214497A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10931934B2 (en) * 2014-09-02 2021-02-23 FLIR Belgium BVBA Watercraft thermal monitoring systems and methods
US20170113611A1 (en) * 2015-10-27 2017-04-27 Dura Operating, Llc Method for stereo map generation with novel optical resolutions
KR20190051395A (ko) 2017-11-06 2019-05-15 삼성전자주식회사 피검사 장치의 검사 시스템 및 방법
US10757320B2 (en) 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
US20190208136A1 (en) * 2017-12-29 2019-07-04 Waymo Llc High-speed image readout and processing

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4009163B2 (ja) 2002-08-30 2007-11-14 富士通株式会社 物体検知装置、物体検知方法および物体検知プログラム
JP3977776B2 (ja) * 2003-03-13 2007-09-19 株式会社東芝 ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
JP4260707B2 (ja) * 2004-08-05 2009-04-30 三菱電機株式会社 撮像装置
KR100672856B1 (ko) 2005-04-14 2007-01-22 한국과학기술연구원 넓은 다이내믹 레인지를 갖는 카메라 영상신호 처리장치
JP4806329B2 (ja) * 2006-10-23 2011-11-02 三洋電機株式会社 撮像装置及び撮像方法
US8774559B2 (en) * 2009-01-19 2014-07-08 Sharp Laboratories Of America, Inc. Stereoscopic dynamic range image sequence
KR100987031B1 (ko) 2009-01-21 2010-10-11 포항공과대학교 산학협력단 공간 해상도와 다이내믹 레인지가 향상된 영상 생성 방법과그 장치, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
JP2010193180A (ja) 2009-02-18 2010-09-02 Olympus Corp 画像処理装置及び画像処理プログラム
KR101158678B1 (ko) * 2009-06-15 2012-06-22 (주)알파캠 입체 영상 시스템 및 입체 영상 처리 방법
KR101241803B1 (ko) 2010-06-25 2013-03-14 엠텍비젼 주식회사 멀티 카메라 시스템을 이용한 차량용 영상 녹화 장치 및 방법
US9210322B2 (en) * 2010-12-27 2015-12-08 Dolby Laboratories Licensing Corporation 3D cameras for HDR
CN102413342A (zh) * 2011-09-05 2012-04-11 清华大学 双目立体视频的几何校正方法及系统
CN102881014B (zh) * 2012-09-07 2015-02-11 航天恒星科技有限公司 一种基于图割的快速立体匹配方法

Also Published As

Publication number Publication date
CN104065940B (zh) 2018-03-27
US9635340B2 (en) 2017-04-25
CN104065940A (zh) 2014-09-24
US20140285620A1 (en) 2014-09-25
KR101439013B1 (ko) 2014-09-05

Similar Documents

Publication Publication Date Title
EP3186952B1 (de) Bildaufnahmevorrichtung und verfahren zur bildaufnahme
DE112013004103B4 (de) Verfahren und Vorrichtung zum Erzeugen einer Disparitätskarte
DE102018208920A1 (de) Informationsverarbeitungsvorrichtung und Abschätzungsverfahren für ein Abschätzen einer Blickrichtung einer Person und eine Lernvorrichtung und ein Lernverfahren
EP3186776B1 (de) Bildaufnahmevorrichtung und verfahren zur bildaufnahme
DE102013214497A1 (de) Stereo-Bildverarbeitungsvorrichtung und Verfahren derselben
EP3089106B1 (de) Verfahren zur reflexionskorrektur von abbildungen und diesbezügliche vorrichtungen
DE102011054658A1 (de) Verfahren zur Unterscheidung zwischen einem realen Gesicht und einer zweidimensionalen Abbildung des Gesichts in einem biometrischen Erfassungsprozess
DE102020003314A1 (de) Bildmanipulieren mit geometrischen und fotometrischen Transformationen
DE112011103452T5 (de) Verfahren zum Angleichen von Pixeln einer Entfernungsdarstellung
DE102019101482A1 (de) Erkennungsvorrichtung für die äussere umgebung eines fahrzeugs
DE102016122649B3 (de) Biometrisches Verfahren
DE102014117120A1 (de) Bildverarbeitungsvorrichtung
DE102017201286A1 (de) Vorrichtung, system und verfahren zum steuern der belichtung einer mehrsicht-kamera
DE102014006717A1 (de) Verfahren zur Erzeugung einer dreidimensionalen Information eines Objektes mit einem Digitalmikroskop und Datenverarbeitungsprogramm zur Abarbeitung des Verfahrens
DE102016006242A1 (de) Informationsverarbeitungsvorrichtung, steuerverfahren für informationsverarbeitungsvorrichtung, bildverarbeitungssystem und speichermedium
DE102012211961A1 (de) Verfahren und Vorrichtung zum Berechnen einer Veränderung eines Abbildungsmaßstabs eines Objekts
DE112021002519T5 (de) Referenzoberflächenerkennung zur mobilen bemessung
EP3073446B1 (de) Verfahren zum darstellen einer fahrzeugumgebung eines fahrzeuges
DE102017009118A1 (de) Bildabgleich für serienbilder
EP3384461A1 (de) Verfahren und vorrichtung zur bildkorrektur
EP3420533B1 (de) Verfahren zum kalibrieren eines optischen messaufbaus
DE102018100738A1 (de) Selektive Merkmalsextraktion
DE102016124123A1 (de) Verfahren zum Erzeugen eines Clusters von Bildbereichen zum Erfassen eines Zielobjekts in einem Bild, Computerprogrammprodukt, Kamerasystem und Kraftfahrzeug
EP3316216B1 (de) Verfahren zum prüfen eines gegenstands
DE102016104043A1 (de) Verfahren zum Erzeugen eines rauschreduzierten Bilds anhand eines Rauschmodells von mehreren Bildern, sowie Kamerasystem und Kraftfahrzeug

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication