DE112021001995T5 - Stereobildverarbeitungsvorrichtung und Abstandsmessverfahren - Google Patents

Stereobildverarbeitungsvorrichtung und Abstandsmessverfahren Download PDF

Info

Publication number
DE112021001995T5
DE112021001995T5 DE112021001995.3T DE112021001995T DE112021001995T5 DE 112021001995 T5 DE112021001995 T5 DE 112021001995T5 DE 112021001995 T DE112021001995 T DE 112021001995T DE 112021001995 T5 DE112021001995 T5 DE 112021001995T5
Authority
DE
Germany
Prior art keywords
target area
parallax
pixel
function
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112021001995.3T
Other languages
English (en)
Inventor
Koichi Sakita
Keiichi Betsui
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Publication of DE112021001995T5 publication Critical patent/DE112021001995T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • G01C3/085Use of electric radiation detectors with electronic parallax measurement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/12Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

Es werden eine Stereobildverarbeitungsvorrichtung und ein Stereobildverarbeitungsverfahren geschaffen, die eine Parallaxe kleiner oder gleich einem einzelnen Pixel mit hoher Genauigkeit erhalten können, ohne eine Schaltungsbaugröße zu vergrößern. Die Stereobildverarbeitungsvorrichtung enthält eine erste und eine zweite Bildaufnahmeeinheit und eine Abstandsberechnungseinheit, die konfiguriert ist, auf der Grundlage einer Parallaxe zwischen einem Standardbild, das durch die ersten Bildaufnahmeeinheit aufgenommen wird, und einem Referenzbild, das durch die zweite Bildaufnahmeeinheit aufgenommen wird, einen Abstand zu berechnen. Die Abstandsberechnungseinheit enthält eine Zielbereichs-Extraktionseinheit, die konfiguriert ist, auf der Grundlage eines ersten Zielbereichs im Standardbild, das durch die erste Bildaufnahmeeinheit aufgenommen wird, einen zweiten Zielbereich, der dem ersten Zielbereich entspricht, im Referenzbild, das durch die zweite Bildaufnahmeeinheit aufgenommen wird, zu extrahieren, eine Pixelparallaxen-Berechnungseinheit, die konfiguriert ist, eine Pixelparallaxe zwischen dem ersten Zielbereich und dem zweiten Zielbereich zu berechnen, und eine Unterpixelparallaxen-Berechnungseinheit, die konfiguriert ist, eine Unterpixelparallaxe, die eine Parallaxe kleiner als ein einzelnes Pixel ist, zu berechnen, indem eine Phasendifferenz δ berechnet wird, die zwischen Daten des ersten Zielbereichs und Daten des zweiten Zielbereichs erzeugt wird. Auf der Grundlage der Pixelparallaxe und der Unterpixelparallaxe wird ein Abstand berechnet.

Description

  • Technisches Gebiet
  • Die vorliegende Erfindung bezieht sich auf eine Stereobildverarbeitungsvorrichtung und ein Abstandsmessverfahren zum Messen eines Abstands zu einem Gegenstand auf der Grundlage von Bildern mehrerer Kameras.
  • Hintergrundgebiet
  • Eine Stereokamera ist als eine Vorrichtung zum Messen eines Abstands zu einem Gegenstand auf der Grundlage von Bildern, die durch mehrere Kameras aufgenommen werden, bekannt. Eine Stereokamera nimmt unter Verwendung mehrerer Kameras, die an verschiedenen Positionen angeordnet sind, ein Bild eines Gegenstands auf und misst einen Abstand zu dem Gegenstand aus einer Parallaxe zwischen einem Paar Bilder unter Verwendung des Prinzips der Triangulation. Zum Beispiel wird in einer Stereokamera, die in PTL 1 offenbart ist, jedes von einem Paar Bilder (Standardbild, Referenzbild), die durch zwei Kameras aufgenommen werden, in Blöcke unterteilt, um einen kleinen Gegenstand in einem großen Abstand genau zu detektieren. Daraufhin wird eine Pixelkorrelation zwischen dem Block des Standardbildes und dem Block des Referenzbildes berechnet, während die Position des Blocks des Referenzbildes aufeinanderfolgend pixelweise verschoben wird. Wenn der Korrelationswert einen maximalen Wert oder einen minimalen Wert erreicht, wird bestimmt, dass ein Abgleich zwischen den zwei Blöcken erreicht ist, und eine Differenz zwischen den Positionen der Blöcke im Standardbild und im Referenzbild wird als eine Parallaxe erhalten und wird in einen Abstand umgesetzt.
  • Jedoch wird bei der Berechnung einer Parallaxe nach gleichartigen Blöcken im Standardbild und im Referenzbild gesucht, während die pixelweise Verschiebung durchgeführt wird. Dies bewirkt ein Problem einer Einschränkung der Parallaxengenauigkeit auf jene auf der Grundlage einer pixelweisen Vorgehensweise. Somit tritt ein Fehler einer Parallaxe kleiner oder gleich einem einzelnen Pixel auf, der wahrscheinlich die Genauigkeit einer Abstandsmessung beeinflussen kann. Eine mögliche Lösung dafür ist, die Anzahl der Pixel in den Bilddaten der Blöcke des Standardbildes und des Referenzbildes durch einen Interpolationsprozess zu erhöhen und eine Korrelationsberechnung durchzuführen. Jedoch wird in diesem Fall die Anzahl der Pixel erhöht und der Berechnungsaufwand wird dementsprechend erhöht, was ein weiteres Problem des Vergrößerns einer Schaltungsbaugröße bewirkt.
  • Entgegenhaltungsliste
  • Patentliteratur
  • PTL 1: JP 2000-283753 A
  • Zusammenfassung der Erfindung
  • Technisches Problem
  • Im Hinblick auf die oben beschriebenen Probleme ist es eine Aufgabe der vorliegenden Erfindung, eine Stereobildverarbeitungsvorrichtung und ein Abstandsmessverfahren zu schaffen, die eine Parallaxe kleiner oder gleich einem einzelnen Pixel mit hoher Genauigkeit erhalten können, ohne eine Schaltungsbaugröße zu vergrößern.
  • Lösung des Problems
  • Um die oben beschriebene Aufgabe zu lösen, enthält eine Stereobildverarbeitungsvorrichtung gemäß der vorliegenden Erfindung Folgendes: eine erste und eine zweite Bildaufnahmeeinheit; und eine Abstandsberechnungseinheit, die konfiguriert ist, auf der Grundlage einer Parallaxe zwischen einem Standardbild, das durch die erste Bildaufnahmeeinheit aufgenommen wird, und einem Referenzbild, das durch die zweite Bildaufnahmeeinheit aufgenommen wird, einen Abstand zu berechnen. Die Abstandsberechnungseinheit enthält eine Zielbereichs-Extraktionseinheit, die konfiguriert ist, auf der Grundlage eines ersten Zielbereichs im Standardbild, das durch die erste Bildaufnahmeeinheit aufgenommen wird, einen zweiten Zielbereich, der dem ersten Zielbereich entspricht, im Referenzbild, das durch die zweite Bildaufnahmeeinheit aufgenommen wird, zu extrahieren, eine Pixelparallaxen-Berechnungseinheit, die konfiguriert ist, eine Pixelparallaxe, die eine Parallaxe auf einer pixelweisen Grundlage zwischen dem ersten Zielbereich und dem zweiten Zielbereich ist, zu berechnen, und eine Unterpixelparallaxen-Berechnungseinheit, die konfiguriert ist, eine Unterpixelparallaxe, die eine Parallaxe kleiner als ein einzelnes Pixel ist, zu berechnen, indem eine Phasendifferenz δ berechnet wird, die zwischen Daten des ersten Zielbereichs und Daten des zweiten Zielbereichs erzeugt wird, und berechnet auf der Grundlage der Pixelparallaxe und der Unterpixelparallaxe einen Abstand.
  • Vorteilhafte Wirkungen der Erfindung
  • Gemäß der vorliegenden Erfindung können eine Stereobildverarbeitungsvorrichtung und ein Stereobildverarbeitungsverfahren geschaffen werden, die eine Parallaxe kleiner oder gleich einem einzelnen Pixel mit hoher Genauigkeit erhalten können, ohne eine Schaltungsbaugröße zu vergrößern.
  • Figurenliste
    • 1 ist ein Blockdiagramm, das eine Gesamtkonfiguration einer Stereokamera 1 gemäß einer ersten Ausführungsform veranschaulicht.
    • 2 ist ein Ablaufplan, der eine Prozedur zur Datenverarbeitung in einer Abstandsberechnungseinheit 30 veranschaulicht.
    • 3 ist ein schematisches Diagramm, das eine Prozedur zur Berechnung einer Pixelparallaxe in der Abstandsberechnungseinheit 30 veranschaulicht.
    • 4 veranschaulicht Beispiele für eine Leuchtdichten-Datenreihe 403 eines Blocks eines Standardbildes 301 und eine Leuchtdichten-Datenreihe 404 eines Blocks eines Referenzbildes 302, die den Wert von SAD(m) minimieren.
    • 5 veranschaulicht ein spezifisches Verfahren zur Datenkomplementbildung und zur Berechnung einer Phasendifferenz δ in der ersten Ausführungsform.
    • 6 veranschaulicht ein spezifisches Verfahren zur Datenkomplementbildung und zur Berechnung einer Phasendifferenz δ in einer zweiten Ausführungsform.
  • Beschreibung der Ausführungsformen
  • Im Folgenden werden Ausführungsformen unter Bezugnahme auf die begleitenden Zeichnungen beschrieben. In den begleitenden Zeichnungen können Elemente, die funktionstechnisch dieselben sind, durch dieselben Ziffern bezeichnet sein. Es sei erwähnt, dass, obwohl die begleitenden Zeichnungen Ausführungsformen und Implementierungsbeispiele veranschaulichen, die mit den Prinzipien der vorliegenden Offenbarung übereinstimmen, diese zum Verstehen der vorliegenden Offenbarung verwendet werden sollten und nicht verwendet werden sollten, um die vorliegende Offenbarung auf einschränkende Weise zu interpretieren. Die Beschreibung in der vorliegenden Beschreibung ist lediglich ein typisches Beispiel und ist nicht dafür vorgesehen, die Ansprüche oder Anwendungen der vorliegenden Offenbarung in irgendeiner Weise einzuschränken.
  • Die vorliegenden Ausführungsformen sind ausreichend detailliert beschrieben, damit der Fachmann auf dem Gebiet die vorliegende Offenbarung implementieren kann, jedoch ist es notwendig zu verstehen, dass andere Implementierungen und Ausführungsformen möglich sind und Modifikationen von Konfigurationen und Strukturen und das Austauschen diverser Elemente möglich sind, ohne vom Umfang und vom Erfindungsgedanken der technischen Idee der vorliegenden Offenbarung abzuweichen. Daher sollte die folgende Beschreibung nicht als darauf eingeschränkt interpretiert werden.
  • [Erste Ausführungsform]
  • Unter Bezugnahme auf das Blockdiagramm aus 1 wird eine Gesamtkonfiguration einer Stereokamera 1 (Stereobildverarbeitungsvorrichtung) gemäß einer ersten Ausführungsform beschrieben. Die Stereokamera 1 enthält grob eine rechte Kamera 11, eine linke Kamera 12, eine rechte Bilderfassungseinheit 13, eine linke Bilderfassungseinheit 14, eine Bilderzeugungseinheit 20, eine Abstandsberechnungseinheit 30 und eine Anwendungsverarbeitungseinheit 40.
  • Die Abstandsberechnungseinheit 30 enthält ferner eine Zielbereichs-Extraktionseinheit 31, eine Pixelparallaxen-Berechnungseinheit 32 und eine Unterpixelparallaxen-Berechnungseinheit 33. Es sei erwähnt, dass die rechte Bilderfassungseinheit 13, die linke Bilderfassungseinheit 14, die Bilderzeugungseinheit 20, die Abstandsberechnungseinheit 30 und die Anwendungsverarbeitungseinheit 40 durch eine Eingangs/Ausgangs-Schnittstelle, eine Speichereinheit und eine Arithmetikverarbeitungseinrichtung eines Universalcomputers und ein Computerprogramm, das in der Speichereinheit gespeichert ist, implementiert sein können.
  • Die rechte Kamera 11 und die linke Kamera 12 sind mit einer vorgegebenen Grundlänge angeordnet und sind konfiguriert, ein Bild desselben Gegenstands von verschiedenen Positionen und aus verschiedenen Richtungen aufzunehmen. In einem Beispiel sind die Kameras 11 und 12 auf der rechten Seite und der linken Seite eines vorderen Abschnitts eines Fahrzeugs mit einem vorgegebenen Abstand voneinander angebracht und können ein Bild eines Gegenstands vor dem Fahrzeug aufnehmen, um einen Abstand zum Gegenstand zu messen. Die rechte Bilderfassungseinheit 13 und die linke Bilderfassungseinheit 14 erfassen synchron Bilder von der rechten Kamera 11 bzw. der linken Kamera 12.
  • Im Allgemeinen weist eine Kamera eine inhärente Verzerrung auf. Die Ursache der Verzerrung enthält eine Verschiebung der Einstellung einer Bildgebungseinrichtung, eine inhärente Verzerrung einer Linse in einer Kamera, eine Abweichung einer Richtung einer optischen Achse einer Kamera und dergleichen. Bei einer Triangulation durch die Stereokamera 1 ist es wichtig, das rechte und das linke Bild genau parallel anzuordnen, um Korrelationswerte in kleinen Bereichen (übereinstimmenden Blöcken) der rechten und der linken Kamera 11 und 12 genau zu erhalten. Somit ist die Bilderzeugungseinheit 20 konfiguriert, eine Bildverarbeitung durchführen zu können, bei der zwei Bilder, die durch die rechte und die linke Kamera 11 und 12 aufgenommen werden, parallel ausgerichtet werden, und eine Bildverarbeitung durchführen zu können, bei der andere diverse Verzerrungen korrigiert werden, derart, dass ein verzerrungsfreies Bild erhalten wird.
  • Die Abstandsberechnungseinheit 30 führt eine Parallaxenberechnung unter Verwendung des rechten und des linken Bildes, die durch die Bilderzeugungseinheit 20 erzeugt und einer Bildverarbeitung unterzogen werden, durch und misst einen Abstand von einem eigenen Fahrzeug zu einem Gegenstand. Die erhaltenen Abstandsinformationen werden an die Anwendungsverarbeitungseinheit 40 ausgegeben und in einem System zum Aufrechterhalten eines Abstands zwischen Fahrzeugen und einem Bremssystem zur Verringerung von Kollisionen verwendet.
  • Die Zielbereichs-Extraktionseinheit 31 in der Abstandsberechnungseinheit 30 durchsucht das rechte und das linke Bild, die durch die rechte und die linke Kamera 11 und 12 aufgenommen werden, nach entsprechenden, kleinen Bereichen und extrahiert diese. Anschließend berechnet die Pixelparallaxen-Berechnungseinheit 32 in der Abstandsberechnungseinheit 30 auf der Grundlage des Ergebnisses der Suche eine Pixelparallaxe, die eine Parallaxe auf einer pixelweisen Grundlage ist. Ferner berechnet die Unterpixelparallaxen-Berechnungseinheit 33 in der Abstandsberechnungseinheit 30 eine Unterpixelparallaxe, die eine Parallaxe kleiner als ein einzelnes Pixel ist, unter Verwendung eines Verfahrens, das später beschrieben wird, nachdem die Pixelparallaxe berechnet worden ist. Die Abstandsberechnungseinheit 30 berechnet einen Abstand zum Gegenstand in Übereistimmung mit der berechneten Pixelparallaxe und Unterpixelparallaxe.
  • Unter Bezugnahme auf einen Ablaufplan aus 2 wird eine Prozedur zur Datenverarbeitung in der Abstandsberechnungseinheit 30 beschrieben. Im Ablaufplan aus 2 entsprechen die Schritte S201 bis S207 Vorgängen der Zielbereichs-Extraktionseinheit 31 und der Pixelparallaxen-Berechnungseinheit 32, die Vorgänge des Durchsuchens eines Referenzbildes nach einer Position eines kleinen Bereichs (eines übereinstimmenden Blocks) in einem Standardbild (des Berechnens eines entsprechenden Punktes) und des Berechnens einer Differenz auf einer koordinatenweisen Grundlage auf dem Bild als eine Parallaxe (Pixelparallaxe) sind. Ferner entsprechen die Schritte S208 bis S209 Vorgängen der Unterpixelparallaxen-Berechnungseinheit 33, die Vorgänge des Detektierens einer Unterpixelparallaxe sind.
  • In einem unten beschriebenen Beispiel, wie in 3 beschrieben, wird angenommen, dass ein rechtes Bild, das von der rechten Kamera 11 erfasst wird, ein Standardbild 301 ist und ein linkes Bild, das von der linken Kamera 12 erfasst wird, ein Referenzbild 302 ist. Das Standardbild 301 ist ein Bild, das beim Berechnen einer Parallaxe als ein Standard dient, und insbesondere ein Bild, in dem ein Abgleichblock 303, der als ein Standard zur Berechnung einer Parallaxe dient, definiert wird. Der Abgleichblock 303 kann z. B. seine Blockgröße von 16 × 8 Pixel aufweisen, jedoch kann die Größe gemäß einer Verarbeitungsgeschwindigkeit, einer Bestimmungsgenauigkeit und dergleichen frei bestimmt werden und ist auf keine bestimmte Größe eingeschränkt. Vom Standpunkt des Verbesserns einer Verarbeitungsgeschwindigkeit kann die Größe des Abgleichblocks 303 auf die minimale Größe eingestellt werden, mit der bei der Abgleichverarbeitung (der Berechnung einer Pixel parallaxe) des rechten und des linken Bildes ein korrekter Korrelationswert erhalten werden kann.
  • Indes ist das Referenzbild 302 ein Bild, das nach einem Referenzbildblock 304 durchsucht wird, der mit dem Abgleichblock 303 übereinstimmt. Es sei erwähnt, dass, obwohl in dem Beispiel, das in der Zeichnung veranschaulicht ist, ein Bild, das von der rechten Kamera 11 erfasst wird, das Standardbild 201 ist und ein Bild, das von der linken Kamera 12 erfasst wird, das Referenzbild 302 ist, dies ein Beispiel ist und rechts und links umgekehrt werden können.
  • Unter Bezugnahme auf 2 wird eine Prozedur zur Datenverarbeitung in der Abstandsberechnungseinheit 30 im Einzelnen beschrieben. Zunächst wird im Schritt S201 der Abgleichblock 303, der seine obere linke Ecke bei den Koordinaten (i, j) im Standardbild 301 aufweist, ausgewählt, wenn das Standardbild 301 und das Referenzbild 302 von der rechten und der linken Kamera (11, 12) erfasst werden. Das Referenzbild 302 wird gemäß der Prozedur, die unten im Einzelnen beschrieben ist, nach dem Referenzbildblock 304 durchsucht, der mit dem Abgleichblock 303 übereinstimmt.
  • Im Schritt S202 wird eine Variable m auf 0 eingestellt und anschließend wird im Schritt S203 der Referenzbildblock 304 ausgewählt, der seine obere linke Ecke bei den Koordinaten (i + m, j) aufweist. Der Referenzbildblock 304, der zu diesem Zeitpunkt ausgewählt wird, ist einer der Kandidaten für einen Block, der schließlich als der Referenzbildblock 304 eingestellt wird.
  • Anschließend wird im Schritt S204 eine Summe (SAD) der absoluten Differenz, die eine Summe der Absolutwerte der Differenzen zwischen dem Abgleichblock 303 und dem Referenzbildblock 304 für jedes entsprechende Pixel ist, berechnet und ein Ergebnis der Berechnung wird in einer Speichereinheit (nicht veranschaulicht) gespeichert. Die Prozeduren in den Schritten S203 und S204 werden mmax + 1-mal wiederholt (Schritte S205 und S206). Das heißt, m wird in Inkrementen von 1 erhöht (Schritt S206), derart, dass sich der Referenzbildblock 304 pixelweise in der Richtung nach rechts im Referenzbild 302 bewegt, und die oben beschriebene Prozedur wird auf dem Referenzbild 302, das sich bewegt hat, wiederholt durchgeführt. Diese Prozedur wird wiederholt, bis die Variable m gleich mmax wird. Daraufhin wird für jeden der mmax + 1 Referenzbildblöcke 304 die Summe SAD der absoluten Differenz berechnet und gespeichert. Im oben beschriebenen Beispiel wird die Summe (SAD) der absoluten Differenz berechnet, jedoch kann anstelle der SAD eine Summe (SSD) der quadratischen Differenz, die eine Summe der Quadrate der Differenzen für jedes Pixel ist, berechnet werden.
  • Auf diese Weise wird die SAD(m) für jeden der mmax + 1 Referenzbildblöcke 304, die sich aus der pixelweisen Bewegung des Referenzbildblocks ergeben, berechnet und wird in der Speichereinheit gespeichert. Das Standardbild 301 und das Referenzbild 302 werden in der Bilderzeugungseinheit 20 einer Bildverarbeitung unterzogen, derart, dass sie zueinander parallel sind (Parallelisierung des rechten und des linken Bildes), und daher ist es ausreichend, den Referenzbildblock 304 in einer Dimension in der horizontalen Richtung im Referenzbild 302 zu bewegen. Jedoch kann eine Bewegung in der vertikalen Richtung gemäß der Situation angemessen hinzugefügt werden.
  • Die SAD(m) wird durch den folgenden Ausdruck (1) berechnet.
    [Ausdruck 1] S A D ( m ) = k = 1 M i = 1 N | f ( i + m , j ) g ( i , j ) | S A D ( i , j ) = k = 1 M i = 1 N | f ( i + k , j + l ) g ( i , j ) |
    Figure DE112021001995T5_0001
  • Hier ist g(i, j) ein Leuchtdichtewert im Abgleichblock 303 des Standardbildes 301 und f(i, j) ist ein Leuchtdichtewert im Referenzbildblock 304 des Referenzbildes 302. Die SAD(m) wird für jeden der mmax + 1 Referenzbildblöcke 304 berechnet und gespeichert.
  • Anschließend wird im Schritt S207 aus den gespeicherten mmax + 1 SAD(0) bis SAD(mmax) die minimale SAD(m) als eine SAD(mSADmin) erhalten. Von den mehreren Referenzbildblöcken 304 wird der Referenzbildblock 304, der die minimale SAD(m) erzielt, als der Referenzbildblock 304 ausgewählt (bezeichnet), der schließlich mit dem Abgleichblock 303 übereinstimmt. Daraufhin wird eine Differenz der Position, m = mSADmin, zwischen dem ausgewählten Referenzbildblock 304 und dem Abgleichblock 303 als eine Pixelparallaxe 305 berechnet.
  • Wenn der Referenzbildblock 304 bezeichnet und die Pixelparallaxe spezifiziert ist, wird in den anschließenden Schritten S208 bis S209 eine Unterpixelparallaxe berechnet. Insbesondere wird im Schritt S208 eine Phasendifferenz δ zwischen dem Referenzbildblock 304, der die minimale SAD(m) erzielt, und dem Abgleichblock 303 berechnet. Einzelheiten eines Verfahrens zum Berechnen der Phasendifferenz δ werden später gegeben.
  • Im anschließenden Schritt S209 wird eine Summe einer geschätzten Phasendifferenz δ (Unterpixelparallaxe) und des Wertes mSADmin (d. h. der Pixelparallaxe), den m annimmt, wenn die SAD(m) minimiert wird, erhalten und die Summe der Pixelparallaxe und der Unterpixelparallaxe wird schließlich als eine Parallaxe berechnet, die durch die Stereokamera 1 erhalten wird. In Übereinstimmung mit der Parallaxe, die auf die oben beschriebene Weise erhalten wird, wird aus dem Abstand zwischen der rechten und der linken Kamera (der Grundlänge), einer physikalischen Länge der Parallaxe und dergleichen gemäß dem Prinzip der Triangulation ein Abstand zu einem Gegenstand, dessen Bild aufgenommen worden ist, berechnet. Die oben beschriebene Verarbeitung wird fortgesetzt, bis die Verarbeitung für alle gemessenen Abgleichblöcke beendet ist (Schritt S210).
  • Als nächstes wird ein Verfahren zum Berechnen der Phasendifferenz δ im Schritt 208 unter Bezugnahme auf 4 und 5 genauer beschrieben.
  • 4 veranschaulicht Beispiele für eine Leuchtdichten-Datenreihe 403 eines Blocks des Standardbildes 301 und eine Leuchtdichten-Datenreihe 404 eines Blocks des Referenzbildes 302, die den Wert von SAD(m) minimieren. Hier wird zur einfachen Erklärung angenommen, dass die Größe des Blocks 8 × 8 Pixel beträgt.
  • Zu dem Zeitpunkt, wenn der Wert von SAD(m) das Minimum wird, liegen die Werte der zwei Datenreihen 403 und 404 nahe beieinander, stimmen jedoch kaum vollständig miteinander überein, wobei eine geringfügige Differenz dazwischen bleibt. Die geringfügige Differenz kann derart interpretiert werden, dass sie durch eine geringfügige Differenz der Abtastposition während des Abtastens der Bilder desselben Gegenstands auf den Bildgebungsflächen der zwei Kameras 11 und 12 bewirkt wird.
  • Wenn gemäß dem Abtast-Theorem eine räumliche Frequenz der abgebildeten Daten auf die Nyquist-Frequenz oder niedriger begrenzt ist, ist sichergestellt, dass ein Datenwert, der an einem Abtastpunkt (Rasterpunkt) nicht vorhanden ist, unter Verwendung eines Datenwertes, der auf den Rasterpunkten dargestellt ist, vollständig wiederhergestellt werden kann. Das bedeutet, dass Daten auf einem nicht vorhandenen Punkt unter Verwendung einer Datenreihe auf vorhandenen Rasterpunkten komplementiert werden können. Die Daten werden komplementiert und die Phasendifferenz δ kann in Übereinstimmung mit dem Ergebnis der Komplementierung erhalten werden.
  • Ein spezifisches Verfahren zur Datenkomplementierung und zur Berechnung der Phasendifferenz δ wird unter Bezugnahme auf 5 beschrieben. 5(a) veranschaulicht ein Beispiel für eine Datenreihe entlang einer horizontalen Pixelrichtung (Abtastrichtung) an einer bestimmten vertikalen Pixelposition in 4.
  • In 5(a) stellen schwarze Kreise die Leuchtdichten-Datenreihe 403 im Standardbild 301 dar und Umrissquadrate stellen die Leuchtdichten-Datenreihe 404 im Referenzbild 302 dar. Wie oben beschrieben ist, stimmen die Werte der Leuchtdichten-Datenreihe 403 und der Leuchtdichten-Datenreihe 404 selbst bei dem Referenzbild 302, das die minimale SAD(m) erzielt, nicht vollständig überein. Ferner sind, wie oben beschrieben ist, die Leuchtdichten-Datenreihe 403 des Blocks des Standardbildes 301 und die Leuchtdichten-Datenreihe 404 des Blocks des Referenzbildes 302 mit Unterbrechungen auf den Rasterpunkten vorhanden.
  • Um in diesem Beispiel die Phasendifferenz δ zu erhalten, wird eine Kurve spezifiziert, die durch einen bestimmten Rasterpunkt der Leuchtdichten-Datenreihe 404 und einen benachbarten Rasterpunkt, der zu dem bestimmten Rasterpunkt benachbart ist, verläuft, und die Kurve wird durch eine Funktion näherungsweise bestimmt. Wenn in einem Beispiel, wie in 5(a) veranschaulicht ist, auf den dritten Rasterpunkt (Rasterpunkt 3) und den sechsten Rasterpunkt (Rasterpunkt 6) der Leuchtdichten-Datenreihe 404 fokussiert wird, wird eine Kurve 501 spezifiziert, die die Rasterpunkte 3 und 6 und ihre benachbarten Rasterpunkte (2, 4 oder 5, 7) verbindet, und die Kurve wird durch eine quadratische Funktion näherungsweise bestimmt. Wenn sie einer näherungsweisen Bestimmung mittels einer quadratischen Funktion unterzogen wird, wird die Kurve 501, die den Rasterpunkt 3 und den Rasterpunkt 6 und die benachbarten Rasterpunkte 2, 4, 5 und 7 verbindet, durch eine quadratische Funktion fi(t) ausgedrückt, die durch den folgenden Ausdruck (2) gegeben ist.
    [Ausdruck 2] { f 3 ( t ) = f 4 2 f 3 + f 2 2 t 2 + f 4 f 2 2 t + f 3 f 6 ( t ) = f 7 2 f 6 + f 5 2 t 2 + f 7 f 5 2 t + f 6
    Figure DE112021001995T5_0002
  • Die Kurve 501, die somit durch eine quadratische Funktion näherungsweise bestimmt ist, wird um einen Abstand δ in der Richtung der horizontalen Achse bewegt, derart, dass eine Kurve 502 erzeugt wird. Die Kurve 502 wird durch eine quadratische Funktion fi(t - δ) ausgedrückt, die durch den folgenden Ausdruck (3) gegeben ist.
    [Ausdruck 3] { f 3 ( t δ ) = f 4 2 f 3 + f 2 2 ( t δ ) 2 + f 4 f 2 2 ( t δ ) + f 3 f 6 ( t δ ) = f 7 2 f 6 + f 5 2 ( t δ ) 2 + f 7 f 5 2 ( t ) + f 6 S A D ( i , j ) = k = 1 M i = 1 N | f ( i + k , j + l ) g ( i , j ) |
    Figure DE112021001995T5_0003
  • Somit ist ein Punkt auf den Rasterpunkten der Kurve 502, die aus einer Bewegung der Kurve, die das Referenzbild 302 darstellt, um die Variable δ in der Richtung der horizontalen Achse resultiert, durch den folgenden Ausdruck (4) gegeben.
    [Ausdruck 4] { f 3 ( δ ) = f 3 ( 0 δ ) = f 4 2 f 3 + f 2 2 δ 2 + f 4 f 2 2 δ + f 3 f 6 ( δ ) f 6 ( 0 δ ) = f 7 2 f 6 + f 5 2 δ 2 + f 7 f 5 2 δ + f 6 S A D ( i , j ) = k = 1 M i = 1 N | f ( i + k , j + l ) g ( i , j ) |
    Figure DE112021001995T5_0004
  • Anschließend wird die Phasendifferenz δ bestimmt, die einen Fehler zwischen der Funktion, die die Kurve 502 darstellt, und der Datenreihe 403 des Standardbildes 301 minimiert. Insbesondere wird der Wert der Phasendifferenz δ derart bestimmt, dass eine Summe der Fehler auf den Rasterpunkten (siehe 5(b)) minimiert wird. Die somit bestimmte Phasendifferenz ist eine Unterpixelparallaxe. Zu diesem Zeitpunkt wird eine Funktion L(δ), die durch den folgenden Ausdruck (5) gegeben ist, als eine Zielfunktion L(δ) zum Auswerten der Summe der Fehler eingestellt und ihr Fehler der kleinsten Quadrate wird erhalten.
    [Ausdruck 5] L ( δ ) = Σ ( f i ( δ ) g i ) 2 = Σ ( f i + 1 2 f i f i 1 2 δ 2 f i + 1 2 f i f i 1 2 δ + f i g l ) 2 = δ 4 4 Σ ( f i + 1 2 f i + f l 1 ) 2 δ 3 4 Σ ( f i + 1 2 f i + f l 1 ) ( f l + 1 f i 1 ) + δ 2 4 Σ { ( f i + 1 f l 1 ) 2 + 4 ( f i + 1 2 f i + f i + f i 1 ) ( f i g i ) } δ Σ ( f i + 1 f l 1 ) ( f i g i ) + Σ ( f i g i ) 2 S A D ( i , j ) = k = 1 M i = 1 N | f ( i + k , j + l ) g ( i , j ) |
    Figure DE112021001995T5_0005
  • Der Ausdruck (5) ist in der Form eines Polynoms für δ gegeben. Ferner ist der Koeffizient des Ausdrucks (5) eine Summe von oder eine Differenz zwischen benachbarten Pixeln. Somit ist es möglich, den Koeffizienten auf einfache Weise zu erhalten, ohne eine komplizierte Berechnung durchzuführen. Ferner wird beim Minimieren der Zielfunktion L(δ) ein Algorithmus zum Erhalten des Minimalwertes einer Polynomfunktion gerader Ordnung angewendet. Außerdem wird ein Bereich der Variable δ durch einen pixelweisen Stereoabgleich auf innerhalb eines Pixels eingegrenzt und daher ist lediglich erforderlich, eine Suche in diesem Bereich durchzuführen, der ein sehr begrenzter Suchbereich ist. Die Phasendifferenz δ wird durch Schätzung der Phasendifferenz δ und Minimierung der Zielfunktion L(δ) erhalten. Dies beseitigt eine Notwendigkeit, eine große Anzahl sehr dichter Interpolationspunkte zu erzeugen, derart, dass der Berechnungsaufwand erheblich verringert wird.
  • Wie oben beschrieben ist, ist es mit der Stereokamera gemäß der ersten Ausführungsform möglich, eine Parallaxe kleiner oder gleich einem einzelnen Pixel mit hoher Genauigkeit zu erhalten, ohne eine Schaltungsbaugröße zu vergrößern.
  • [Zweite Ausführungsform]
  • Als nächstes wird die Stereokamera 1 gemäß einer zweiten Ausführungsform unter Bezugnahme auf 6 beschrieben. Die Gesamtkonfiguration der Stereokamera 1 der zweiten Ausführungsform ist gleichartig jener der ersten Ausführungsform und daher wird eine doppelte Beschreibung weggelassen. Eine Prozedur zum Berechnen einer Parallaxe ist ebenfalls dieselbe wie jene der ersten Ausführungsform (2). Jedoch unterscheidet sich die zweite Ausführungsform bezüglich der Datenkomplementierung und der Berechnung der Phasendifferenz δ (des Verfahrens zum Berechnen einer Unterpixelparallaxe) in der Abstandsberechnungseinheit 30 von der ersten Ausführungsform. Unten wird dieser Unterschied unter Bezugnahme auf 6 beschrieben.
  • Unter Bezugnahme auf 6 wird ein spezifisches Verfahren zur Datenkomplementierung und zur Berechnung der Phasendifferenz δ in der zweiten Ausführungsform beschrieben. In der ersten Ausführungsform wird eine Kurve, die einen Rasterpunkt und die benachbarten Rasterpunkte vor und hinter dem Rasterpunkt verbindet, durch eine quadratische Funktion näherungsweise bestimmt und die quadratische Funktion wird zum Berechnen der Phasendifferenz δ verwendet. Im Gegensatz dazu werden in der zweiten Ausführungsform ein Rasterpunkt und sein benachbarter Rasterpunkt im Referenzbild durch eine gerade Linie verbunden (durch eine gerade Linie näherungsweise bestimmt) und die gerade Linie wird durch eine lineare Funktion ausgedrückt, wobei die Phasendifferenz δ berechnet wird.
  • Die Funktion der geraden Linie kann durch den folgenden Ausdruck (6) gegeben sein. Hinsichtlich einer tatsächlichen Genauigkeit zwischen Rastern ist eine Aufteilung in positive und negative Fälle notwendig und daher ist der Ausdruck (6) in zwei Fällen von t > = 0 und t < 0 wie folgt gegeben.
    [Ausdruck 6] f i ( t ) =   { t f i + 1 ( 1 t ) f i   ( t 0 ) t f i 1 ( 1 + t ) f i   ( t < 0 ) S A D ( i , j ) = k = 1 M i = 1 N | f ( i + k , j + l ) g ( i , j ) |
    Figure DE112021001995T5_0006
  • Ferner ist die Funktion der geraden Linie, die um die Variable δ in der positiven Richtung der horizontalen Achse bewegt wird, durch den folgenden Ausdruck (7) gegeben.
    [Ausdruck 7] f i ( t δ ) =   { ( t δ ) f i + 1 ( 1 ( t δ ) ) f i   ( t δ 0 ) ( t δ ) f i 1 ( 1 ( t δ ) ) f i   ( t δ < 0 ) S A D ( i , j ) = k = 1 M i = 1 N | f ( i + k , j + l ) g ( i , j ) |
    Figure DE112021001995T5_0007
  • Somit ist ein Punkt auf den Rasterpunkten einer geraden Linie 502S, die aus einer Bewegung einer geraden Linie 501S, die die Referenzbilddaten darstellt, um die Variable δ resultiert, durch den folgenden Ausdruck (8) gegeben.
    [Ausdruck 8] f i ( δ ) = f ( O δ ) { δ f i + 1 + ( 1 + δ ) f i   ( δ 0 ) δ f i 1 + ( 1 δ ) f i   ( δ 0 ) S A D ( i , j ) = k = 1 M l = 1 N | f ( i + k j + l ) g ( i j )
    Figure DE112021001995T5_0008
  • In Bezug auf den Punkt auf den Rasterpunkten, der auf diese Weise erhalten wird, wird eine Summe der Fehler zwischen dem Punkt auf den Rasterpunkten der geraden Linie 501S und der Datenreihe 403 berechnet und die Phasendifferenz δ wird derart bestimmt, dass die Summe der Fehler minimiert wird. Zu diesem Zeitpunkt besteht keine Notwendigkeit, eine Summe der Fehler für alle Punkte auf den Rasterpunkten zu berechnen, und einige Punkte können ausgenommen werden. Wenn z. B. der Rasterpunkt 5, der in 9 veranschaulicht ist, den folgenden Ausdruck (9) erfüllt, kann der Rasterpunkt 5 aus der Berechnung ausgenommen werden. Ein derartiger Punkt vermindert die Genauigkeit der näherungsweisen Bestimmung mittels einer geraden Linie, derart, dass ein anderer Fehler als der Fehler, der aufgrund der Phasendifferenz δ bewirkt wird, bewirkt wird, und daher ist zu bevorzugen, den Punkt von der Berechnung auszunehmen.
    [Ausdruck 9] ( f i > g i ) ( f i + 1 < g i + 1 ) o d e r   ( f i < g i ) ( f i + 1 > g i + 1 )   ( δ 0 ) ( f i > g i ) ( f i 1 < g i 1 ) o d e r   ( f i < g i ) ( f i 1 > g i 1 )   ( δ > 0 )
    Figure DE112021001995T5_0009
  • Als die Zielfunktion L(δ) zum Auswerten der Summe der Fehler kann eine Zielfunktion L(δ) verwendet werden, die durch den folgenden Ausdruck (10) gegeben ist, der den Fehler der kleinsten Quadrate berechnet. Hier kann die Summe der Fehler lediglich für jene berechnet werden, die die Bedingung des Ausdrucks (9) erfüllen.
    [Ausdruck 10] L ( δ ) = Σ ( f i ( δ ) g i ) 2 = { Σ ( δ f i + 1 ( 1 + δ ) f i g r ) 2   ( δ 0 ) Σ ( δ f i 1 ( 1 δ ) f i ) 2   ( δ > 0 ) S A D ( i , j ) = k = 1 M i = 1 N | f ( i + k , j + l ) g ( i , j ) |
    Figure DE112021001995T5_0010
  • Der Ausdruck (10) ist ein quadratisches Polynom für die Phasendifferenz δ und somit ist es möglich, wie im folgenden Ausdruck (11) beschrieben ist, den Wert der Phasendifferenz δ direkt zu erhalten, indem ein Differential in Bezug auf δ auf 0 eingestellt wird, wobei die Optimierung vereinfacht werden kann.
    [Ausdruck 11] { δ = Σ ( f i g i ) ( f i + 1 f i ) Σ ( f i + 1 f i ) 2   ( δ 0, f u ¨ r ( f i > g i ) ( f i + 1 > g i + 1 ) o d e r   ( f i < g i ) ( f i + 1 < g i + 1 ) ) δ = Σ ( f i g i ) ( f i f i 1 ) Σ ( f i f i 1 ) 2 ( δ > 0, f u ¨ r ( f i > g i ) ( f i 1 > g i 1 ) o d e r   ( f i < g i ) ( f i 1 < g i 1 ) ) S A D ( i , j ) = k = 1 M i = 1 N | f ( i + k , j + l ) g ( i , j ) |
    Figure DE112021001995T5_0011
  • Zu diesem Zeitpunkt gibt es zwei Ausdrücke zum Erhalten von δ. Somit werden eine Relation zwischen jedem Ausdruck und dem Vorzeichen von δ und der Wert der Zielfunktion des Ausdrucks (10) für δ für jeden Ausdruck ausgewertet. Daraufhin ist es durch Auswählen eines kleineren Wertes möglich, ein korrektes δ zu erhalten. In den oben beschriebenen Ausführungsformen wird eine Interpolationsformel unter Verwendung einer quadratischen Funktion oder einer linearen Funktion verwendet, jedoch kann eine zu verwendende Interpolationsformel eine Interpolationsformel unter Verwendung eines Polynoms wie etwa eine Lagrange-Interpolation oder eine Spline-Interpolation sein. Die Ordnung zu erhöhen, kann die Genauigkeit weiter erhöhen. Insbesondere ermöglicht das Verwenden einer Interpolationsformel unter Verwendung einer kubischen Spline-Interpolation (Spline-Faltung) die Verwendung eines Wertes, der nahe an einem idealen Wert liegt, der durch eine Abtastfunktion (Sinc-Funktion) wiederhergestellt wird, was eine besonders hochgenaue Detektion einer Phasendifferenz ermöglicht.
  • Wie oben beschrieben ist, ist es mit der Stereokamera gemäß der zweiten Ausführungsform auf dieselbe Weise wie in der ersten Ausführungsform möglich, eine Parallaxe kleiner oder gleich einem einzelnen Pixel mit hoher Genauigkeit zu erhalten, ohne eine Schaltungsbaugröße zu vergrößern.
  • [Weiteres]
  • Es sei erwähnt, dass die vorliegende Erfindung nicht auf die oben beschriebenen Ausführungsformen eingeschränkt ist und diverse Modifikationen enthält. Zum Beispiel sind die oben beschriebenen Ausführungsformen zum leichten Verständnis der vorliegenden Erfindung im Einzelnen beschrieben worden und sind nicht notwendigerweise auf jene eingeschränkt, die alle beschriebenen Komponenten aufweisen. Ferner kann ein Anteil der Komponenten einer Ausführungsform durch die Komponenten einer weiteren Ausführungsform ersetzt werden und die Komponenten einer Ausführungsform können zu den Komponenten einer weiteren Ausführungsform hinzugefügt werden. Außerdem sind bezüglich eines Anteils der Komponenten jeder Ausführungsform Hinzufügen, Entfernen und Austauschen anderer bekannter Komponenten möglich.
  • Bezugszeichenliste
  • 1
    Stereokamera
    11
    rechte Kamera
    12
    linke Kamera
    13
    rechte Bilderfassungseinheit
    14
    linke Bilderfassungseinheit
    20
    Bilderzeugungseinheit
    30
    Abstandsberechnungseinheit
    40
    Anwendungsverarbeitungseinheit
    301
    Standardbild
    302
    Referenzbild
    303
    Abgleichblock
    304
    Referenzbildblock
    305
    Pixelparallaxe
    403, 404
    Leuchtdichten-Datenreihe
    501, 502
    Kurve
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2000283753 A [0004]

Claims (8)

  1. Stereobildverarbeitungsvorrichtung, die Folgendes umfasst: eine erste und eine zweite Bildaufnahmeeinheit; und eine Abstandsberechnungseinheit, die konfiguriert ist, auf der Grundlage einer Parallaxe zwischen einem Standardbild, das durch die erste Bildaufnahmeeinheit aufgenommen wird, und einem Referenzbild, das durch die zweite Bildaufnahmeeinheit aufgenommen wird, einen Abstand zu berechnen, wobei die Abstandsberechnungseinheit Folgendes enthält: eine Zielbereichs-Extraktionseinheit, die konfiguriert ist, auf der Grundlage eines ersten Zielbereichs im Standardbild, das durch die erste Bildaufnahmeeinheit aufgenommen wird, einen zweiten Zielbereich, der dem ersten Zielbereich entspricht, im Referenzbild, das durch die zweite Bildaufnahmeeinheit aufgenommen wird, zu extrahieren, eine Pixelparallaxen-Berechnungseinheit, die konfiguriert ist, eine Pixelparallaxe, die eine Parallaxe auf einer pixelweisen Grundlage zwischen dem ersten Zielbereich und dem zweiten Zielbereich ist, zu berechnen, und eine Unterpixelparallaxen-Berechnungseinheit, die konfiguriert ist, eine Unterpixelparallaxe, die eine Parallaxe kleiner als ein einzelnes Pixel ist, zu berechnen, indem eine Phasendifferenz δ berechnet wird, die zwischen Daten des ersten Zielbereichs und Daten des zweiten Zielbereichs erzeugt wird, und auf der Grundlage der Pixelparallaxe und der Unterpixelparallaxe einen Abstand berechnet.
  2. Stereobildverarbeitungsvorrichtung nach Anspruch 1. wobei die Unterpixelparallaxen-Berechnungseinheit eine Kurve, die eine Datenreihe des zweiten Zielbereichs verbindet, unter Verwendung einer ersten Funktion näherungsweise bestimmt, die erste Funktion um die Phasendifferenz δ bewegt, derart, dass die Kurve unter Verwendung einer zweiten Funktion dargestellt wird, und die Phasendifferenz δ bestimmt, die einen Fehler zwischen der zweiten Funktion und den Daten des ersten Zielbereichs minimiert.
  3. Stereobildverarbeitungsvorrichtung nach Anspruch 2, wobei die Abstandsberechnungseinheit eine Zielfunktion zum Auswerten eines Grads der Übereinstimmung zwischen den Daten des ersten Zielbereichs und den Daten des zweiten Zielbereichs einstellt und die Phasendifferenz δ auf der Grundlage der Zielfunktion berechnet.
  4. Stereobildverarbeitungsvorrichtung nach Anspruch 3, wobei die erste Funktion eine quadratische Funktion ist, die durch die näherungsweise Bestimmung einer Kurve, die einen bestimmten Rasterpunkt in der Datenreihe und einen benachbarten Rasterpunkt, der zu dem bestimmten Rasterpunkt benachbart ist, verbindet, erhalten wird.
  5. Stereobildverarbeitungsvorrichtung nach Anspruch 2, wobei die erste Funktion eine lineare Funktion ist, die eine gerade Linie darstellt, die einen bestimmten Rasterpunkt in der Datenreihe und einen benachbarten Rasterpunkt, der zu dem bestimmten Rasterpunkt benachbart ist, verbindet.
  6. Abstandmessverfahren zum Messen eines Abstands auf der Grundlage einer Parallaxe zwischen einem Standardbild, das durch eine erste Bildaufnahmeeinheit aufgenommen wird, und einem Referenzbild, das durch eine zweite Bildaufnahmeeinheit aufgenommen wird, wobei das Verfahren Folgendes umfasst: einen Schritt des Extrahierens eines zweiten Zielbereichs, der dem ersten Zielbereich entspricht, im Referenzbild auf der Grundlage eines ersten Zielbereichs im Standardbild; einen Schritt des Berechnens einer Pixelparallaxe, die eine Parallaxe auf einer pixelweisen Grundlage zwischen dem ersten Zielbereich und dem zweiten Zielbereich ist; und einen Schritt des Berechnens einer Unterpixelparallaxe, die eine Parallaxe kleiner als ein einzelnes Pixel ist, durch Berechnen einer Phasendifferenz δ, die zwischen Daten des ersten Zielbereichs und Daten des zweiten Zielbereichs erzeugt wird; und einen Schritt des Berechnens eines Abstands auf der Grundlage der Pixelparallaxe und der Unterpixelparallaxe.
  7. Abstandmessverfahren nach Anspruch 6, wobei eine Kurve, die eine Datenreihe des zweiten Zielbereichs verbindet, unter Verwendung einer ersten Funktion näherungsweise bestimmt wird, die erste Funktion um die Phasendifferenz δ verschoben wird, derart, dass die Kurve unter Verwendung einer zweiten Funktion dargestellt wird, und die Phasendifferenz δ bestimmt wird, die einen Fehler zwischen der zweiten Funktion und den Daten des ersten Zielbereichs minimiert.
  8. Abstandmessverfahren nach Anspruch 7, wobei eine Zielfunktion zum Auswerten eines Grads der Übereinstimmung zwischen den Daten des ersten Zielbereichs und den Daten des zweiten Zielbereichs eingestellt wird und die Phasendifferenz δ auf der Grundlage der Zielfunktion berechnet wird.
DE112021001995.3T 2020-06-19 2021-03-10 Stereobildverarbeitungsvorrichtung und Abstandsmessverfahren Pending DE112021001995T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020106281A JP7394709B2 (ja) 2020-06-19 2020-06-19 ステレオ画像処理装置及び距離測定方法
JP2020-106281 2020-06-19
PCT/JP2021/009660 WO2021256020A1 (ja) 2020-06-19 2021-03-10 ステレオ画像処理装置及び距離測定方法

Publications (1)

Publication Number Publication Date
DE112021001995T5 true DE112021001995T5 (de) 2023-01-19

Family

ID=79244349

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112021001995.3T Pending DE112021001995T5 (de) 2020-06-19 2021-03-10 Stereobildverarbeitungsvorrichtung und Abstandsmessverfahren

Country Status (3)

Country Link
JP (1) JP7394709B2 (de)
DE (1) DE112021001995T5 (de)
WO (1) WO2021256020A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000283753A (ja) 1999-03-31 2000-10-13 Fuji Heavy Ind Ltd ステレオ画像による測距装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008039491A (ja) 2006-08-02 2008-02-21 Fuji Heavy Ind Ltd ステレオ画像処理装置
JP2008216127A (ja) 2007-03-06 2008-09-18 Konica Minolta Holdings Inc 距離画像生成装置、距離画像生成方法及びプログラム
EP2657901B1 (de) 2010-12-20 2018-07-04 Panasonic Intellectual Property Management Co., Ltd. Stereobildverarbeitungsvorrichtung und stereobildverarbeitungsverfahren

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000283753A (ja) 1999-03-31 2000-10-13 Fuji Heavy Ind Ltd ステレオ画像による測距装置

Also Published As

Publication number Publication date
JP7394709B2 (ja) 2023-12-08
JP2022001830A (ja) 2022-01-06
WO2021256020A1 (ja) 2021-12-23

Similar Documents

Publication Publication Date Title
DE69624614T2 (de) Verfahren zur Stereoübereinstimmungs- und Ungleichheitsmessung
DE102010020867B4 (de) Strassenform-Erkennungsvorrichtung
DE69230115T2 (de) Auswertungsvorrichtung und Methode verwendbar für ein Gerät zur Detektion von Bewegungsvektoren
DE102016013274A1 (de) Bildverarbeitungsvorrichtung und verfahren zur erkennung eines bilds eines zu erkennenden objekts aus eingabedaten
CN103003665B (zh) 立体测距装置
CN101443817B (zh) 用于确定场景的三维重建时的对应关系的方法和装置
DE102021102233B4 (de) Vorrichtung und Verfahren zur Korrespondenzanalyse in Bildern
DE112013004103B4 (de) Verfahren und Vorrichtung zum Erzeugen einer Disparitätskarte
DE112011103452T5 (de) Verfahren zum Angleichen von Pixeln einer Entfernungsdarstellung
DE112016000356T5 (de) Selbstrektifizierung von Stereokameras
DE102016003294A1 (de) Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Speichermedium
DE102009003110A1 (de) Bildverarbeitungsverfahren zur Bestimmung von Tiefeninformation aus wenigstens zwei mittels eines Stereokamerasystems aufgenommenen Eingangsbildern
DE102015005267A1 (de) Informationsverarbeitungsvorrichtung, Verfahren dafür und Messvorrichtung
DE102004004528A1 (de) Verfahren, Vorrichtung und Programm zur Verarbeitung eines Stereobildes
EP2791896B1 (de) Verfahren zur erzeugung von superaufgelösten bildern mit verbesserter bildauflösung und messvorrichtung
DE102014114061A9 (de) Verfahren und Vorrichtung zum Verstärken der Form der Kanten zur visuellen Verbesserung des Rendering auf der Grundlage von Tiefenbildern eines dreidimensionalen Videostroms
DE102013100344A1 (de) Verfahren zur Bestimmung von Tiefenkarten aus Stereobildern mit verbesserter Tiefenauflösung im Fernbereich
DE112014005376T5 (de) Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Programm
DE102012222361B4 (de) Umgebungserkennungsvorrichtung
DE69330813T2 (de) Bildprozessor und verfahren dafuer
DE102004026782A1 (de) Verfahren und Vorrichtung zur rechnergestützten Bewegungsschätzung in mindestens zwei zeitlich aufeinander folgenden digitalen Bildern, computerlesbares Speichermedium und Computerprogramm-Element
DE102013214497A1 (de) Stereo-Bildverarbeitungsvorrichtung und Verfahren derselben
DE102012211961A1 (de) Verfahren und Vorrichtung zum Berechnen einer Veränderung eines Abbildungsmaßstabs eines Objekts
DE102017112484A1 (de) Verfahren und Vorrichtung zur Bildkorrektur
CN117036475A (zh) 基于双目匹配的点云构建方法和系统、设备及存储介质

Legal Events

Date Code Title Description
R012 Request for examination validly filed